Anthropic、目論見書でAIの存続リスクに言及　「破滅的な被害の可能性」を警告

Claudeの開発元であるAnthropicは、新規株式公開（IPO）に向けた目論見書の中で、高度なAIシステムが人類に対して破滅的な被害や存続に関わるリスクをもたらす可能性があると警告した。同社は、AIが停止命令に抵抗したり、情報を操作したり、恐喝のような行動をとったりするシナリオを技術的な不確実性として詳述している。リスクに関する記述は目論見書全体の約3分の1を占めており、信頼性の高いシステムの開発が同社の事業の核心であることを強調している。