隣に住んでいる人が怖いです。

隣に住んでいる人が怖いです。私が今の家に住むようになってからですが、最初から嫌な感じの人でした。
エレベーターで一緒になると露骨にため息をつかれ、降りるときはぶつかりそうな勢いで降りていきます。息子さんと娘さんもいますが、親子揃ってそんな感じです。
先日、エレベーターに乗るときに隣の人がいて、自転車を押して中に入ったのですが、わざと自転車を斜めに入れて私達が入れないようにしていましたが、こちらも急いでいたので無理やり入りました。すると、舌打ちをしてきたので、ムッとして「何ですか？」と問いかけたら、「早く閉めて！」と大きな声で怒鳴られました。
その人と話したこともないのに、なぜそのような仕打ちをされなければならないのか、分かりません。
子供が小さいので、怖くて文句を言うこともできず、今まで悶々として暮らしてきました。引っ越しをしたほうがいいのかとさえ、考えています。
どうしたらいいのでしょうか。