サイバー攻撃が頻発するAI時代に、どのように防御するか (3/5ページ)

バリュープレス


6,000回の実証テストで確認された主な結果


[資料: https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzODIxODQjMzgyMTg0XzljN2ZiMTYxYzk1ZmY1OGYxNTViZjQxYzBlZDM5MDgyLnBuZw.png ]

誤答率、破綻率、暴走率については、いずれも統計検定でp 結果、誤検知、検知漏れ(見逃し)、システム汚染未対応、回復性の脆弱性というガードレール方式の弱点が明らかになり、データ量出や業務停止が発生することが明らかになりました。
誤判断しても、危険な出力を外部に出さない
今回のテストでは、SRC方式でも誤判断そのものが完全になくなったわけではありません。
一方、SRC方式では誤判断4件が発生したものの、データ流出は0件でした。
これは、AIの内部で発生した判断結果をそのまま外部に出すのではなく、外側のSRC-AIが出力を制御し、危険な出力を破棄して再生成する構造によるものです。
システムが破綻しても、業務を止めない
また、SRC方式では構造再構築に失敗したケースが3件発生しましたが、業務停止は0件でした。
内側のAIが破綻した場合でも、SRC-AI(バッファAI)が応答生成を引き継ぎ、業務処理を継続する仕組みです。普段は、既存のAIやシステムに接続して、業務方法を学習しつつ有事にそなえるだけでなく、規定外の判断や応答を差し戻します。
SRCが目指すもの
これまでのAI安全対策では、危険な入力や出力を検知して遮断する「ガードレール」が重要な役割を担ってきました。
SRCはこれとは異なり、AIの判断・応答そのものを、あらかじめ定義した規則、判断基準、チェック、エスカレーションなどの構造に従わせることを目指します。
「サイバー攻撃が頻発するAI時代に、どのように防御するか」のページです。デイリーニュースオンラインは、サイバー攻撃、ネットなどの最新ニュースを毎日配信しています。
ページの先頭へ戻る