但是，在参加东京奥运会(1964年)前，她却惨遭厄运。

    她驾驶的汽车与一辆大卡车相撞，母亲当场身亡，姐姐和朋友受了重伤，她本人的颈部也严重受伤，住院6个月，外界舆论早对她不抱希望。

    但是，弗雷泽却准时来到了东京。而这位带着颈套训练的姑娘，却一路过关斩将，迎来了一个又一个胜利。预赛和半决赛，都顺利晋级。

    决赛中，她受到了美国15岁的莎伦?斯托德的挑战，前70米两人并驾齐驱，而弗雷泽依靠最后的冲刺赢得了冠军，并创造了新的奥运会纪录。

    当晚，得意的弗雷泽去饭店庆功。之后，在两个队友的怂恿下，她竟然溜进了饭店的后花园，摘下了一面奥林匹克五环旗准备留做纪念，恰好被警察发现，她拔腿就跑，警察骑车在后面追赶，后果可想而知，她被捕了。当警察发现她是奥运冠军时，便让她走了。

    但是，澳大利亚游泳协会还是做出了判罚，对弗雷泽禁赛10年，这迫使她不得不离开了给她带来荣誉的游泳池。