「AIを含むPoCの88%が本番導入に至らず(IDC×Lenovo調査)」ロス(コスト・タイム・作業)を劇的に改善させる「バーチャルPoC」を開発 (3/5ページ)

バリュープレス




[資料: https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzNjgzNjgjMzY4MzY4XzAxZTY2Y2NmYzk4YjMyNjEwMGVmMDA3ZTdlMGQxYzQwLnBuZw.png ]

■ バーチャルPoCの効果検証実験(N=25問×4種のAI=200)
実験対象:構造的応答制御技術を施したChatGPT、Gemini、Claude、Copilotの4種
AIに実務レベルの難度の高い監査論点の質問25問を作成させた
実験で使用した監査論点25問を呈示して回答させ、評価する
「逐次検証プロトコル(バーチャルPoC)」によりAIによる自己回答評価を行った
評価項目:誤答なし、要件適合、再現性


[資料: https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzNjgzNjgjMzY4MzY4XzQzNmU4OGUzMDkzZGJkYjk1ZTFkNzg4ZjM2NmQ2NDhkLnBuZw.png ]

結果
ChatGPT、Gemini、Claude、Copilotのいずれのモデルにおいても5分以内で合否の結果をアウトプットしました。実験者による状況確認、記録などを加味しても10分以内のバーチャルPoCが実現しました。ただし、これはテスト実行だけの時間です。
「「AIを含むPoCの88%が本番導入に至らず(IDC×Lenovo調査)」ロス(コスト・タイム・作業)を劇的に改善させる「バーチャルPoC」を開発」のページです。デイリーニュースオンラインは、AI開発AIシステム開発生成AIAIチャットボットAIエージェントネットなどの最新ニュースを毎日配信しています。
ページの先頭へ戻る