「惚れられたくないから雑な対応する」って何？

タイトル通りです。雑談です。
私は30代女で、オシャレに気を遣わないタイプです。アルバイトや正社員も含めていくつかの職場で働いてきましたが、たびたび男性から「本気で好きになられそうだからお前には優しくしない」というようなことを言われてきました。
要は「お前から好意を寄せられたくない」ということだと思うのですが、言われるたびに失礼すぎてめちゃくちゃ笑ってしまいます。
「関心のない相手から性欲を向けられるのは気持ち悪い」という気持ちはとてもよく分かるのですが、こういう人とは仕事上での普通のやりとりもできなくなる場合が多いので困ります。
私は基本的に人間が嫌いなので、女性男性どちらに対しても距離が近いとかやたら身体に触るとかはありません。誰とでも分け隔てなく、業務以外のことはまったく喋りません。変なことを言うようですが、その状態でも「こいつ俺に気があるな」と思わせてしまうのは、何なんでしょう？
ちなみに、そのようなことを言ってくる男性を実際に好きになったことはありません。