たとえばブロックくずしにおいては、最初にブロックの端に穴を開けて、ボールをブロックの奥に放り込んでブロックの裏側を崩すということをやるようになったのだ。

■ 記憶を再生して復習する

筆者はコンピューター・プログラムに詳しくはないので、わかりやすい表現ができず、直訳になってしまうのだが、この『DQN』は、“Deep Newral Network”（深い神経系のネットワーク）と、規模を拡大させることができる様式の“Reinforcement Learning”（強化学習）を連携させることができる、いくつもの機能を活用して成り立っているという。

“Reinforcement Learning”というのは、特定の状況下で将来獲得する報酬（ゲームの場合は得点のこと）を最大限にするために、なにをなすべきかを決定する機械用の学習体系だ。

そして、それらのなかでもっとも重要なのは、神経生理学にヒントを得た“Experience Replay”（経験の再生）というメカニズムだ。人間の脳においては、睡眠中に海馬が最近の経験を思い出して認識を深めるという活動が起こっているそうだが、これと同様に『DQN』の学習段階においても、過去に起こったことの記憶を引っ張り出してきてトレーニングするというものだ。

この“Experience Replay”の機能を停止すると、『DQN』のパフォーマンスは著しく悪化するという。つまり、この機能が『DQN』の成果にとって非常に重要だということだ。

この手の技術は、将来さまざまな分野で役に立つことが期待される。たとえば、スマートフォンのGoogleアプリに複雑な作業を命令しても、それを成し遂げられるようになっていくだろう。

また、このブログの著者は、「私たちはこの学習アルゴリズムが、気象学や物理学、薬学、ゲノム科学など、より大きいスケールの複雑なデータを扱う研究者にも新しい理解のヒントを与えられることを望んでいます」と書いている。

近年のロボット工学や人工知能の進歩はめざましいが、それらの記事を読むたびに感じられるのが、“まずは人間、あるいは他の生物を知ることからスタートしている”という点だ。このGoogleのブログの最後にも触れられているが、ロボットや人工知能の進化は、それと同時に“人間や生物への理解がいっそう深まる”という点にも、同じくらいの価値があるように思う。

これだけ硬い内容を書いてきてなんだが、文章中に“DQN”という文字が出てくるたびに、やっぱり「くすっ」と笑ってしまう。いつか人工知能にもこの面白さが理解できるときが来るのだろうか。

【