トラウマ(？)的なやつを克服したいです

よく、〜出来ないのは小さい頃〜があったからだとか言うじゃないですか。私は、少し対人恐怖症気味といいますか、異性がちょっとダメで、怖くなったり拒絶してしまう事が多いです。その原因はずっと父親がいない事(生まれたばかりの頃に両親が離婚)だと思っていたのですが、最近原因がもう１つある事に気付きまして。それがうちのおばあちゃんなんですけど、私が小さい頃から容赦のないおばあちゃんでして、小学生の頃に、少しでも帰るのが遅くなると、「今度っからはもっと遅く帰ってきてもいいよ、それでどっかの男に捕まって犯されてくればいい」というような事を言われていました。遅くなるたび毎回これでした。
どうしたらこの記憶を払拭して、みんなみたいに男の人と仲良くできるようになるんでしょうか。
今年から物理学科に進学する事になったので、周りは男の人だらけです。拒絶して人間関係を悪くしたくありません。なんとかなるでしょうか。