前 Anthropic 安全研究員示警:AI 事故恐遭隱匿
前 Anthropic 安全研究員 Joe Benton 於 9 月 11 日說明離職原因,警告 AI 企業在缺乏足夠安全投資與透明度的情況下,正競相開發具備「遞歸自我改進」能力的超智慧系統,恐導致人類無法掌控 AI 進程。Benton 指出,AI 業界內部若發生「智慧爆炸」或失控事故,公眾可能無從得知,並呼籲企業應公開進展、報告安全事故並接受第三方評估。Benton 將加入非營利研究機構 METR,致力於獨立評估 AI 風險。Anthropic 執行長 Dario Amodei 隨後表示,將放緩 AI 能力提升速度,並允許 METR 等第三方團隊進行安全驗證。
摘要由 AI 依據原文撰寫,並非投資建議。