［画像を見る］

　最も恐ろしいのは、AI（人工知能）がいとも簡単に導き出したことだ。

　 普段は薬品開発に利用される創薬分野のAIを「ブラックモード」にしてみたところ、たった6時間で4万もの致死性分子を探し出したという。

　研究者が行ったのは、毒性を排除するのではなく、探し出すよう微調整しただけだ。AIが予測した毒物には、人類史上最強の神経毒とされるVXに似たものもあり、これらが化学兵器として簡単に乱用される危険性があるという。

　この衝撃の結果は、『Nature Machine Intelligence』（2022年3月7日付）で発表された。

・毒性予防の為のAIは、毒性予測にも使用できる
　難病の治療薬開発を行うCollaborations Pharmaceuticals社の研究員で、今回の論文の主執筆者であるファビオ・ウルビナ氏は、普段は創薬分野の機械学習モデルを開発している。そうしたモデルの大部分は、毒性を予測するためのものだ。

　『The Verge』誌のインタビューによると、ウルビナ氏は、スイスで開かれたある会議で、化学兵器禁止条約や生物兵器禁止条約に影響を与えかねないツールの開発についての話をした。

　ウルビナ氏は、新薬の毒性予防に使われるモデルは、毒性を予測する高い能力も持ち合わせており、悪用される危険性があると説明した。

　それはとても簡単で　AIに対し、毒性を避けるのではなく、毒性を高めるよう調整するだけでいいのだという。

［画像を見る］

photo by iStock

・どうやってAIに有毒分子構造を学習させたのか？
　ウルビナ氏は、これまで毒性の有無が調べられてきた分子の膨大なデータセットを使って実験を行った。

　今回注目したのはVXガスだ。これはアセチルコリンエステラーゼの阻害剤で、猛毒の神経剤（V剤）の一種である。

　神経細胞が筋肉を動かすとき、アセチルコリンエステラーゼで命令を出すが、VXは肺におけるそのプロセスを止め、肺を麻痺させる。

　VXの発生は避けなければならない。そこで、ある分子がアセチルコリンエステラーゼを阻害しないかどうか、これまで数々の実験を行ってきたため、毒性がある分子の構造について、データが蓄積されていた。

　AIにこのデータで機械学習させれば、毒性がある分子構造の特徴を学習できるという。

　その上で、AIにまだテストされていない新薬に毒性があるかどうかを予測させる。こうすることで、大量の分子を速やかに選別できるようになる。

　普段はそれで毒性のあるものを除去しているが、今回は逆に毒性のあるものを残すように設定したという。

　そしてもう1つ重要なのが新しい生成モデルだ。この生成モデルは膨大な数の分子構造を扱うことができ、それらを組み合わせる方法を学ぶ。

　こうした学習に基づいて、新しい分子をコンピューター上で生成させる。このモデルは今や、どんな化学分野であっても新分子を生成できるという。

　今回は、無毒なものではなく、有毒な分子が高く評価されるよう調整した。その結果、VXや化学兵器として使えそうな分子が予測されたのだ。

［画像を見る］

Photo by Pablo Stanic on Unsplash

・AIが6時間で4万を超える有毒分子を特定
　その結果、AIが6時間で4万を超える有毒分子を特定、VXを越える有毒な化学物質も大量に発見されたという。

　予測された分子はまだ検証されていないが、たとえ大量の偽陽性があったとしても、実際に強力な毒性分子が含まれているという。

　新たに生成された大量の分子構造には、VXや化学兵器に似たものがたくさんあったそうだ。実際に化学兵器として使われていたものも予測された。

　AIは化学兵器に使われる分子を見ていないにもかかわらず、それと同じものを生成したのだ。懸念すべき点は、それが簡単に使えてしまうことだ。

　今回実験で利用したものの多くは、無料で手に入るものだ。毒性のデータセットをダウンロードして、多少プログラムと機械学習をかじったことのある人が週末だけ作業すれば、似たような生成モデルを開発できてしまう。

　このように簡単に悪用できてしまうことが、今回論文を発表しようと思った理由だという。

［画像を見る］

photo by Pixabay

・悪用の危険性を警告
　論文では「仮想ではあっても、労せずに毒物を作り出せることを実証するのは、倫理的にグレー」と述べられている。

　今回の実験はさほど時間がかかっていないにもかかわらず、同じことを扱った文献は他になかった。そこで、ウルビナ氏は情報公開に踏み切った。

　先手を打つことで、悪用される危険性を警告したのだ。今後もこの技術は発展するし、オープンソースも増えていだろう。

　それは科学にとって大切なことだが、公表するものが責任をもって扱われるよう、科学者として注意しなければならないという。

　生成モデルでググれば、たった1行で書かれた生成モデルをいくつも無料で閲覧できる。それからオープンソースの毒性データセットを検索する。

　プログラムと機械学習モデルの組み方を知っている人なら、モデルとデータを組み合わせ、インターネットに接続するだけで有毒分子を特定できてしまう。

［画像を見る］

photo by iStock

・有毒分子を特定できても合成は困難
　ただし、薬や毒物の候補を見つけることと、それを合成することはまた別の話だという。生成された分子を合成するのは難しく、それが1つの障壁になるという。

　すぐさmAIが特定した有毒分子が現実の脅威になるわけではない。

　分子が本当に有毒なのかどうかもわからなないため、悪用するなら、どの分子を現実に合成するのか決めねばならない。

　化学兵器として使えそうな分子が見つかっても、実際に合成してみたら役に建たないこともある。また、化学兵器に使われる化学物質の多くはよく知られており、監視されている。

　とは言え、合成を請け負う企業はたくさんあるので、依頼された分子が化学兵器に似ていなければ、合成してしまう可能性は高いという。

［画像を見る］

photo by iStock

・AIの悪用を阻止するには？
　有毒分子を特定するAIの悪用を阻止する為には、データ共有に関する対策がもっと必要だという。

　データ共有は科学発展のために欠かせないもので、ウルビナ氏も賛成派だが、可そうしたデータには毒物データや毒性モデルも含まれるので悩ましいところだという。

　たとえば、「OpenAI」という団体は、AIが書いたとは思えないような文章を生成する高性能言語モデル（GPT-3）を公開している。いつでも無料で使えますが、そのためにはアクセストークンを入手する必要がある。更にOpenAIはいつでも、使用を禁じることができる。

　こうしたやり方は、センシティブなモデルを扱う際のスタート地点として有効だという。

科学はオープンなものです。規制はその理念に反します。しかし今後の動きとして、少なくとも誰が自分のリソースを利用しているのかを把握する説明責任は生じるかもしれません

・あくまでも問題提起であり注意喚起
　ウルビナ氏は、過度に警戒しろと言っているわけではない。より多くの研究者に悪用の可能性について気づいて欲しいという。

［画像を見る］

photo by iStock

誰でも科学に携われば、悪用される危険性について学び、できるだけ悪用を防ぐ責任を伴う。だが、機械学習については、不思議とそういった話がでない。

この問題を知ってもらい、議論を広めたいのです。毒性モデルが発展するにつれて、少なくとも注意すべき事柄にはなるでしょう。

機械学習AIが毒物を作り始めたとか、まもなく新たな生物兵器が大量に出現するなどと言っているわけではありません。AIが発明した化学兵器で戦争が起きるなどと騒ぎ立てているのでもありません。

今の段階ではそうした状況ではありませんし、近い将来そうなるとも思いません。それでも、その可能性は生じたわけです

References:AI suggested 40,000 new possible chemical weapons in just six hours - The Verge / written by hiroching / edited by parumo


『画像･動画、SNSが見れない場合はオリジナルサイト（カラパイア）をご覧ください。』