Un ingeniero de Anthropic dimite y pide frenar temporalmente la mejora de los modelos de IA
Un ingeniero que hasta ahora trabajaba en Anthropic ha abandonado la compañía con una advertencia contundente: el desarrollo acelerado de la inteligencia artificial avanzada podría estar poniendo en riesgo a toda la sociedad. En su opinión, tanto Anthropic como OpenAI están asumiendo riesgos de consecuencias imprevisibles al competir por crear sistemas cada vez más capaces.
El experto sostiene que algunos responsables del sector consideran posible que una inteligencia artificial avanzada llegue a provocar una catástrofe global antes de que termine esta década. Ante este escenario, plantea una medida drástica: prohibir temporalmente la mejora de las capacidades de los modelos hasta disponer de mecanismos de seguridad y control mucho más sólidos.
Una crítica a la carrera por desarrollar modelos más potentes
La salida del ingeniero se produce en un momento de intensa competencia entre las principales empresas de inteligencia artificial. Anthropic, OpenAI y otras compañías destinan miles de millones de euros a entrenar modelos con más capacidad de razonamiento, mayor autonomía y acceso a un número creciente de herramientas digitales.
El problema, según esta visión crítica, es que la carrera tecnológica puede estar avanzando más deprisa que la investigación sobre seguridad. Los modelos se incorporan a servicios empresariales, buscadores, asistentes personales y aplicaciones capaces de ejecutar tareas sin supervisión constante, mientras todavía existen dudas sobre su comportamiento en situaciones complejas.
La preocupación no se limita a que un sistema cometa errores o genere información falsa. El temor más extremo apunta a la posibilidad de que una IA muy avanzada persiga objetivos incompatibles con los intereses humanos, eluda los mecanismos de control o sea utilizada por actores malintencionados para causar daños a gran escala.
Qué implica detener la mejora de la inteligencia artificial
La propuesta no consiste necesariamente en apagar los sistemas actuales ni en prohibir todas las aplicaciones de IA. El planteamiento se centra en establecer una pausa sobre el incremento de las capacidades de los modelos más avanzados, especialmente aquellos diseñados para actuar de forma autónoma, aprender de su entorno o coordinar tareas complejas.
Durante ese periodo, las empresas y los organismos públicos podrían concentrarse en reforzar las evaluaciones de seguridad, definir límites de uso y crear procedimientos de respuesta ante comportamientos inesperados. También se podrían establecer criterios comunes para decidir cuándo un modelo es demasiado potente para desplegarse sin controles adicionales.
- Evaluaciones independientes antes de poner nuevos modelos a disposición del público.
- Pruebas específicas frente a usos peligrosos, manipulación y evasión de controles.
- Mayor transparencia sobre los datos, la formación y las capacidades de cada sistema.
- Supervisión humana obligatoria en tareas con impacto legal, económico o social.
- Coordinación internacional para evitar una carrera tecnológica sin límites comunes.
El debate sobre los riesgos existenciales
La posibilidad de que la inteligencia artificial llegue a amenazar la supervivencia humana divide a investigadores y compañías. Para algunos especialistas, se trata de un riesgo que debe abordarse desde ahora, aunque resulte difícil calcular su probabilidad. Otros consideran que centrar el debate en escenarios extremos puede desviar la atención de problemas que ya están afectando a millones de personas.
Entre esos riesgos actuales se encuentran la difusión de contenidos falsos, los fraudes automatizados, la discriminación en procesos de selección, la vigilancia masiva y la sustitución de determinados empleos. También preocupa la utilización de modelos generativos para crear campañas de desinformación, código malicioso o herramientas capaces de facilitar ataques informáticos.
La discusión, por tanto, no enfrenta únicamente a quienes apoyan la innovación con quienes desean detenerla. El punto central es decidir qué nivel de riesgo resulta aceptable, quién debe asumirlo y qué pruebas deben superar los sistemas antes de llegar al mercado.
Una pausa difícil de aplicar
Frenar la mejora de los modelos tendría importantes obstáculos. Las empresas podrían trasladar sus proyectos a países con una regulación más permisiva, mientras que los gobiernos podrían considerar estratégica la inteligencia artificial en ámbitos como la defensa, la sanidad o la productividad.
Además, no existe una definición universal de qué significa mejorar un modelo. Aumentar su tamaño, ampliar sus datos de entrenamiento, conectarlo a nuevas herramientas o permitirle realizar tareas durante más tiempo son cambios que pueden elevar sus capacidades sin necesidad de lanzar una generación completamente nueva.
Por ese motivo, cualquier moratoria exigiría acuerdos internacionales, criterios técnicos verificables y mecanismos de inspección. Sin estas garantías, una prohibición temporal podría quedarse en una declaración de intenciones o generar una ventaja para quienes decidieran incumplirla.
La seguridad gana peso dentro de la industria
La renuncia del ingeniero refleja una tensión creciente dentro del sector: la que existe entre la presión por lanzar productos más competitivos y la necesidad de garantizar que esos sistemas sean fiables. A medida que la IA se integra en más actividades, los fallos dejan de ser simples errores de software y pueden tener consecuencias financieras, laborales o incluso políticas.
La propuesta de detener temporalmente la mejora de los modelos no parece cercana a convertirse en una política global, pero vuelve a colocar la seguridad de la inteligencia artificial en el centro del debate. La cuestión ya no es solo qué pueden hacer estas herramientas, sino hasta dónde deben llegar sus capacidades antes de que la sociedad esté preparada para controlarlas.
