天正12（1584）年、羽柴秀吉と徳川家康との間に小牧・長久手の戦いが勃発。このとき、内ヶ島氏理はかつて味方した成政に味方して越中に出陣しています。

しかし留守中、羽柴秀吉の配下・金森長近が飛騨国に侵攻。金森勢は白川郷にまで攻め込んで来ました。

向牧戸城、荻町城は懐柔によって寝返り、帰雲城も占領されます。氏理は国許に引き返しますが、結局は降伏することとなりました。

しかし戦後、内ヶ島家は帰雲城をはじめとする本領安堵が認められます。秀吉は内ヶ島家の鉱山師としての技術を高く評価していたようです。

結局はここでも経済力によって、内ヶ島家は命脈を保つことが出来ました。

領地を安堵され内ヶ島氏理は、祝宴を開くため、一族郎党を帰雲城に集めます。そして、祝宴が明日に迫った日、信じられないことが起きました。

すなわち天正13年11月29日（1586年1月18日）深夜、突然の大地震が白川郷を襲いました。いわゆる天正大地震です。震源域は飛騨を含め、北陸から近畿、東海地方にまで広がる史上例を見ないほどの大規模な地震でした。

この地震によって、白川郷でも大規模な山崩れが発生。帰雲山は山体崩壊をきたし、帰雲城は城下町ともども一瞬にして崩落した土砂の地中深くに埋まりました。

城主内ケ島氏理以下、一族郎党を含む領民五百人はことごとく遭難。一夜にして大名・内ヶ島家は滅亡したと伝えられます。飛騨国では、白川谷の被害が最も激甚であったため「白川地震」とも呼ばれています。

ちなみにこの天正13年は、羽柴秀吉が関白となり、朝廷から豊臣姓を下賜された年です。大名としての内ヶ島家は滅亡しましたが、生き残りも確認されています。

氏理の弟・経聞坊（きょうもんぼう）ともう一人の弟は仏門に入っていたため、難を逃れています。