AIの反乱を避けるため、自己不信を植えこむべきと研究者（米研究）

［画像を見る］

　人工知能の発達が加速を続け、着実にシンギュラリティ（機械が人間の知能を上回る点）へと向かっている今、我々は人類が地球上の頂点に君臨し続けるための方策を講じなければならない。

　多くの専門家が人間を上回る能力を有する機械の開発を危険視する。それが大量の失業者を生み出す可能性は現実的であるし、将来的に人間が絶滅させられる未来も否定できない。

　この事態を防ぐためのアイデアを提唱する専門家がいる。それによると、AIに自己不信を植え付けておけばいいという。

・疑心暗鬼になるAIは人間に承認を求める？
　自らを疑うAIは、ちょうど犬のように人間からの承認を必要とするようになる。これが我々が地上の頂点に君臨し続けることを保証するというのだ。

　

　カリフォルニア大学の研究チームの研究からは、自己不信を持つロボットはより従順になることが判明している。

［画像を見る］

・システムの電源オフ、再起動実験
　『arXiv』に掲載された論文は、不適切な行動をとるAIシステムの潜在的リスクを緩和するために利用できる主要なツールの1つが、システムの電源を切る能力であることは明らかと論じる。

　よってAIシステムの性能を発展させる際、そうしたシステムに電源を切ろうとする人間を阻もうというサブ目標を持たせないよう確保することが重要だ。

　本論文が論じているのは、AIにそれを許容させるインセンティブである。

　シミュレーションで、ロボットが人間によってシャットダウンさせられ、自分で再起動できるような状況を作ってみた。