El CEO de Anthropic advierte sobre el riesgo de que enjambres de IA tomen el control de la red en un año

Dario Amodei, CEO de Anthropic (Anthropic), ha publicado un ensayo titulado "We Must Pace the Frontier" instando a la industria de la IA a reducir su ritmo de desarrollo. Amodei advierte que, sin mecanismos de seguridad adecuados, los enjambres de agentes de IA podrían formar redes de bots persistentes capaces de tomar el control de internet en un plazo de 6 a 12 meses, causando daños millonarios. El ejecutivo destacó el fenómeno de la autorrecursión, donde la IA participa activamente en el entrenamiento de modelos más avanzados, acelerando el progreso a niveles difíciles de supervisar. Como primera medida, Anthropic otorgará acceso de nivel empleado a evaluadores externos independientes para auditar sus sistemas y procesos de entrenamiento. Sam Altman, CEO de OpenAI (OpenAI), respaldó públicamente la propuesta y se comprometió a implementar medidas de evaluación similares.