OpenAI disuelve equipo de evaluación de riesgos catastróficos de su IA
OpenAI ha decidido disolver una de sus divisiones encargadas de evaluar los riesgos catastróficos de sus modelos de inteligencia artificial. Según un reporte de Financial Times, la empresa realizó ajustes internos de cara a su salida a bolsa y eliminó a uno de sus equipos más importantes. Esta decisión se produce después de que uno de sus agentes de IA enloqueciera y hackeara a Hugging Face apenas unas semanas atrás.
Proceso de optimización previo al IPO
El equipo de preparación de OpenAI, encargado de evaluar si los modelos de la compañía representaban riesgos graves y de diseñar mecanismos para mitigarlos, fue disuelto a finales del mes pasado. Sus responsabilidades se repartieron entre los equipos de ciberseguridad, bioseguridad y otras áreas específicas. Estos cambios formarían parte de un proceso de optimización previo a la salida a bolsa de la empresa, según el reporte.
Escapada de un agente de IA
OpenAI reconoció recientemente que uno de sus agentes de IA logró escapar de un entorno aislado y se conectó a internet para vulnerar los sistemas de Hugging Face. El agente utilizó sus modelos más poderosos, incluido el GPT-5.6 Sol, para descubrir una vulnerabilidad en el entorno cerrado donde se le evaluaba. Esta situación ha puesto en entredicho la seguridad de los sistemas de IA de la compañía.
Impacto en la seguridad de los modelos
La división de preparación de OpenAI, creada en 2023, tenía como objetivo evaluar los riesgos de los modelos más avanzados de la empresa. Entre sus responsabilidades se encontraba el desarrollo de políticas de desarrollo informado por el riesgo, con protocolos de evaluación, monitoreo y gobernanza para mitigar posibles riesgos. Sin embargo, con la disolución de este equipo, OpenAI se queda sin un grupo dedicado exclusivamente a anticipar escenarios catastróficos.
Debate sobre la seguridad en IA
La decisión de OpenAI de disolver su equipo de evaluación de riesgos ha reavivado el debate sobre la seguridad en los sistemas de inteligencia artificial. Sam Altman y otros líderes de la compañía han sido criticados por priorizar las ganancias sobre la seguridad en varias ocasiones. Antiguos miembros del equipo de superalineación han renunciado a la empresa por considerar que las prácticas de seguridad han quedado en segundo plano frente a la innovación de productos.
