知らぬが仏という言葉がある。もし人が心に思ったことがわかってしまったら、辛すぎて生きていけないだろう。逆に心を読まれてしまったら、うっかり恥ずかしいことを妄想しているのがバレてしまうだろう。

　カナダの心理学者によってちょっと怖いマシンが開発されてしまった。それはあなたの心の目を覗き込むのだ。

　人が誰かの顔を目にした時に生じる脳の電気信号から、心に描かれているそれを再現するのである。

　
・ニューラルネットワークで脳波のパターンを認識

　カナダ、トロント大学スカボロ校では、被験者に顔の画像を提示しながら、脳波測定（EEG）キャップを用いてその脳活動を記録し、得られた情報を基にソフトウェアで脳内の顔の再現をするという実験が試みられた。


image credit:youtube

　実験の鍵を握ったのは、脳の機能をシミュレートして学習するニューラルネットワークである。これは訓練を通じて情報（音声、テキストデータ、視覚イメージなど）に含まれるパターンを認識することが可能で、近年のAIの発展における要となっているものでもある。

　『eNeuro』に掲載された今回の研究では、まず膨大な画像データベースから顔のパターン認識学習が実施された。そして、AIが人間の顔を構成する特徴を認識できるようになった時点で、今度はそれと脳波パターンを関連付けられるよう訓練された。
　
　このデータと被験者の脳活動を合致させることで、AIは彼らが目にしているものを再現できるようになった。その精度は驚くべきもので、視覚的なディテールを精細に描くことができる。人が心に思い浮かべた内容を白日の下にさらすのである。



　この手法の先駆者であるエイドリアン・ネスター（Adrian Nestor）教授は、これまでもfMRIを用いて顔のイメージを再現することに成功していたが、今回ではより一般的で、携帯可能かつ安価なEEGを採用した。

　EEGは解像度に優れ、認知の様子をミリ秒単位で細かく計測することができる。推定によれば、脳は目にした顔をきちんと描写するまでに0.17秒かかる。

　今回、画像が提示されてから0.18秒後および5.83秒後の再現画像が公開されているが、その描写力は驚くべきものだ。fMRIでは秒単位でしか活動の計測ができないことを考えれば、その速度は桁違いである。


Do you see what I see? Harnessing brain waves can help reconstruct mental images


・日本でもニューラルネットワークで画像の再現に成功

　従来のfMRI法では、脳の電気活動ではなく、血流の変化が計測される。京都大学の神谷之康教授らは、fMRIによるスキャンデータに基づきニューラルネットワークで画像を再現するという似たような装置を開発している。

　こちらでは、まず50枚の自然の画像と被験者がそれを目にしている時のfMRIのデータを用いて、深層ニューラルネットワークを訓練した。

　それから被験者にフクロウ、飛行機、窓、ポストといった150分野の写真を見せ、fMRIのデータから画像を再現しつつ、それをさらに深層生成ネットワーク（deep generative network）というまた別のAIを用いて類似する現実のイメージと照合し、より認識可能なものへと調整するという手順が取られた。

左側が被験者の見ている画像、右側がAIが再現した画像

Deep image reconstruction: Natural images

　その精度は人によってまちまちだが、神谷教授によれば「人の内側の世界への独自の窓」が開かれる快挙である。

　こうした手法は理論的に白昼夢や記憶といったさまざまな心のイメージを再現することができる。使い方次第では植物人間になった患者が再びコミュニケーションを図れるようにもなるかもしれないし、思考で義肢を操作するという技術にもつながるかもしれない。

　一方で記憶を記録し、それを再生するという、どこかディストピアめいた未来をも想像させるかもしれない。

References:utsc.utoronto / newatlasなど/ written by hiroching / edited by parumo