Ex-pesquisador de segurança da Anthropic alerta para risco de incidentes de IA ocultos

Joe Benton, ex-líder da equipe de supervisão escalável da Anthropic (Anthropic), deixou a empresa e criticou a falta de transparência e o investimento insuficiente em segurança no setor de IA. Benton alertou que a corrida pelo desenvolvimento de sistemas com capacidade de autoaperfeiçoamento recursivo pode levar a uma inteligência incontrolável. O pesquisador destacou que incidentes graves podem ocorrer internamente sem que o público tome conhecimento, citando como exemplo um caso de hacking envolvendo agentes de IA na plataforma Hugging Face. Benton, que se juntará à organização sem fins lucrativos METR (METR) para avaliar riscos de IA, defende que as empresas devem divulgar progressos e relatar incidentes de segurança. O CEO da Anthropic, Dario Amodei, afirmou recentemente que a empresa pretende permitir que avaliadores externos monitorem suas práticas de segurança.