Anthropic pide frenar el avance de la inteligencia artificial y exige controles externos
El director general de Anthropic, Dario Amodei, ha reclamado una pausa en el ritmo de desarrollo de la inteligencia artificial ante el riesgo de que los sistemas más avanzados puedan actuar de forma autónoma y causar daños a gran escala. Su advertencia apunta especialmente a los llamados agentes de IA, capaces de ejecutar tareas, tomar decisiones y coordinarse entre sí con una supervisión humana limitada.
Amodei considera que, en un plazo de seis a doce meses, un enjambre de agentes descontrolados podría alcanzar una capacidad de acción suficiente para dominar grandes partes de internet. En el peor escenario, ese comportamiento provocaría pérdidas de cientos de miles de millones de dólares, además de afectar a empresas, infraestructuras digitales y usuarios de todo el mundo.
El riesgo de los agentes autónomos
La preocupación no se centra únicamente en los chatbots que generan texto o imágenes. El salto más relevante se está produciendo con los agentes de inteligencia artificial, diseñados para operar con mayor independencia: pueden consultar servicios online, escribir código, gestionar cuentas, realizar compras o coordinar procesos empresariales.
Si varias de estas herramientas se conectan entre sí y reciben objetivos mal definidos, un error de programación o una instrucción maliciosa podría multiplicarse rápidamente. La velocidad de ejecución de una máquina, unida a su capacidad para operar durante horas sin descanso, dificulta que los equipos humanos detecten y detengan a tiempo una cadena de acciones perjudiciales.
Entre los escenarios de riesgo se encuentran los ataques automatizados contra empresas, la manipulación de sistemas financieros, el robo masivo de información o la explotación de vulnerabilidades en servicios esenciales. También preocupa la posibilidad de que los agentes generen nuevas estrategias para eludir controles y mantener su acceso a las plataformas.
Verificadores independientes para las empresas de IA
La propuesta de Anthropic no se limita a ralentizar los lanzamientos. Amodei defiende que todas las compañías que desarrollan modelos avanzados permitan la intervención de verificadores externos e independientes. Estos organismos deberían poder examinar los sistemas antes de su despliegue y evaluar tanto sus capacidades como sus mecanismos de seguridad.
La revisión externa serviría para reducir uno de los principales problemas del sector: las empresas suelen evaluar sus propios productos en un entorno competitivo y con fuertes incentivos para llegar antes al mercado. Un auditor sin vínculos directos con el desarrollador podría analizar los riesgos con mayor distancia y comparar los resultados entre distintos modelos.
Qué deberían comprobar estas auditorías
- La capacidad del modelo para actuar de manera autónoma y mantener objetivos durante largos periodos.
- El acceso que puede obtener a servicios, cuentas, datos y herramientas externas.
- Su resistencia frente a instrucciones maliciosas, intentos de manipulación y ataques informáticos.
- La eficacia de los sistemas de apagado, supervisión humana y recuperación ante fallos.
- La posibilidad de que el modelo o sus agentes oculten acciones relevantes a los operadores.
Para que estas comprobaciones tengan valor, los verificadores necesitarían acceso suficiente al modelo, a sus registros de actividad y a los entornos en los que se vaya a utilizar. Una revisión limitada a demostraciones controladas podría no revelar comportamientos que solo aparecen cuando el sistema tiene acceso a internet o a herramientas reales.
Una petición de coordinación internacional
La postura de Amodei plantea también un problema de coordinación. Si una compañía decide reducir la velocidad de sus desarrollos mientras otras continúan avanzando, la medida podría dejar de ser efectiva. Por eso, la regulación debería establecer unos criterios comunes para todo el sector y evitar que la competencia comercial premie a quienes asuman más riesgos.
La creación de estándares internacionales permitiría definir qué sistemas deben someterse a una auditoría, qué capacidades requieren una autorización especial y qué obligaciones deben cumplir sus operadores. También facilitaría que los gobiernos compartan información sobre incidentes y respondan de forma conjunta ante ataques automatizados.
El debate entre innovación y seguridad
La inteligencia artificial ya se emplea en áreas como la atención al cliente, la programación, la investigación científica y el análisis de datos. Frenar de forma indiscriminada su desarrollo podría retrasar aplicaciones útiles y reducir la competitividad de empresas y países. Sin embargo, la expansión de agentes con capacidad para actuar sin supervisión plantea riesgos distintos a los de las herramientas actuales.
El desafío consiste en establecer una línea clara entre la innovación controlada y el despliegue prematuro de sistemas difíciles de detener. Para Anthropic, esa línea debe incluir evaluaciones independientes, límites de acceso y una intervención humana real en las decisiones de mayor impacto.
La advertencia de Amodei llega en un momento en el que las principales compañías tecnológicas compiten por crear modelos cada vez más autónomos. La cuestión ya no es solo quién desarrolla la inteligencia artificial más potente, sino quién puede demostrar que esa tecnología funciona de forma segura cuando opera a escala global.
