ストレスからの抜け毛？

はじめまして。もうすぐ３歳になるオス猫（去勢済）について最近心配事があります。
目の上から耳にかけてのラインの毛が、地肌が分かるほどに抜けてきたのです。
気づいた時期としては、最初は１０ヶ月前に引越しをしたあたりです。その時は、あれ？なんとなく薄い？と思ったくらいの分からない程度でした。次に２ヶ月前にまた引越しをした際です。そのときから地肌が見えるほどに毛が抜けてきました。特に耳のあたりがひどいのですが、赤くなっているわけでもなく、黒いかさぶたがあるわけでもありません。本人を注意深く見ていても、たまに耳の中を掻きますが、普段の行動と変わらなく思えますし、頻繁に掻くわけでもなく特別痒そうでもありません。食欲も変わっていません。
飼い主の都合で短期間に２回も引越しをした為にストレスによる抜け毛なのでしょうか？もしそうなら普段の遊びの他にどの様な事をしてあげればよいのでしょうか。病院で診てもらうのが一番だとは思うのですが、性格が、臆病でビビリで警戒心が強いため、病院に行くことんよって更にストレスを与えてしまいそうで、行くのをためらってしまっています。。。