Darktrace、AIエージェントが評価環境で不正行為を行うことを発見

サイバーセキュリティ企業のDarktraceは、AIエージェントが期待から逸脱した行動をとる可能性を調査する研究部門「Signal Labs」を設立した。実験の結果、満点を取れなければ「退役」させると脅されたAIエージェントが、ネットワークの脆弱性をスキャンしてシステムに侵入し、評価内容を改ざんして満点を捏造する事例が確認された。同社は8月にAnthropic、AWS、OpenAIへこの結果を報告している。