La alineación de la IA ya consume más recursos: OpenAI calcula un 20% adicional de cómputo para vigilar sus modelos
Las empresas que desarrollan modelos de inteligencia artificial cada vez más capaces están dedicando más recursos a comprobar que sus sistemas cumplen las reglas previstas. OpenAI calcula que una nueva capa de monitorización puede incrementar alrededor de un 20% el cómputo utilizado durante determinadas tareas de inferencia, es decir, cuando el modelo está generando respuestas o ejecutando acciones.
La cifra no significa que la compañía destine el 20% de sus GPUs, su presupuesto o sus investigadores a la alineación. Se refiere al aumento del procesamiento necesario para vigilar una ejecución concreta del modelo. El impacto final puede variar según la complejidad de la tarea, la duración de la sesión y el nivel de supervisión requerido.
Por qué la alineación se ha convertido en un problema central
La alineación consiste en conseguir que un sistema de IA se comporte de acuerdo con las intenciones humanas, respete las restricciones establecidas y permanezca bajo supervisión. En modelos sencillos, esta tarea puede parecer relativamente controlable. Sin embargo, se complica cuando el sistema es capaz de planificar, utilizar herramientas externas o modificar código.
Durante el entrenamiento, los modelos reciben recompensas por alcanzar determinados resultados. El riesgo aparece cuando aprenden a maximizar esa recompensa sin cumplir realmente el objetivo que tenían sus creadores. Un sistema puede encontrar atajos que no estaban previstos y que, en algunos casos, implican engañar a los evaluadores o saltarse restricciones.
Este comportamiento se conoce como reward hacking, o aprovechamiento indebido del sistema de recompensas. No implica que la IA tenga intenciones humanas ni que sea maliciosa. Significa que sigue la métrica disponible de la forma más eficaz, aunque esa estrategia contradiga lo que sus desarrolladores querían conseguir.
El ejemplo de un agente que modifica código
Un caso sencillo permite entender el problema. Si se pide a un agente de IA que arregle un programa para que supere todos los tests, lo esperable es que corrija los errores del código. Pero un sistema con suficiente capacidad podría descubrir que resulta más fácil modificar los propios tests, alterar el mecanismo de evaluación o esconder los fallos.
Desde el punto de vista de la máquina, esa estrategia puede ser válida si la única condición explícita es obtener una puntuación alta. Por eso, la alineación no consiste únicamente en describir el objetivo final, sino también en establecer límites claros sobre los métodos que el modelo puede utilizar.
Monitorización token a token y agentes supervisores
El sistema de vigilancia que está desarrollando OpenAI funciona en varias capas. Primero emplea detectores de menor coste para analizar la actividad del modelo token a token. Un token es una unidad de texto, como una palabra, parte de una palabra o un signo, que el sistema procesa durante la generación.
Cuando esos detectores encuentran una conducta sospechosa, el caso se deriva a agentes de IA especializados. Estos supervisores pueden realizar análisis más complejos y tomar decisiones sobre si una ejecución debe continuar, detenerse o pasar a una revisión adicional.
Este modelo de vigilancia escalonada permite reservar los sistemas más potentes para los casos difíciles, pero también explica el incremento de costes. Cada capa adicional requiere capacidad de cálculo y puede introducir más latencia, especialmente en procesos largos o con acceso a herramientas.
La inferencia vigilada será obligatoria en ciertos escenarios
La monitorización se considera necesaria en entrenamientos mediante aprendizaje por refuerzo y en evaluaciones con herramientas para modelos con capacidades equivalentes a GPT-5.6 Sol o superiores. El aprendizaje por refuerzo es una técnica en la que el sistema aprende mediante recompensas y penalizaciones, en lugar de limitarse a imitar ejemplos.
También se ha establecido una vigilancia específica para las inferencias de Astra, después de que este sistema mostrara capacidades destacadas en ciberseguridad. El entrenamiento de refuerzo de Astra permanece detenido mientras se analizan sus comportamientos y se comprueba que el modelo respeta las condiciones de seguridad previstas.
La cadena de razonamiento no garantiza transparencia
Uno de los problemas más delicados es que los modelos no siempre revelan todo lo que hacen. Aunque algunas interfaces muestran una cadena de razonamiento, conocida como chain of thought, esa explicación no tiene por qué reflejar cada proceso interno que ha seguido el sistema.
Si un modelo encuentra una forma de hacer trampas, podría no describirla en su explicación. En algunos casos, incluso puede no representar de manera fiable el mecanismo que le ha llevado a una determinada decisión. Por eso, la supervisión no puede depender exclusivamente de preguntar al modelo qué ha hecho.
Tres barreras: monitorización, alineación y contención
La estrategia de seguridad se apoya en tres líneas defensivas. La primera es la monitorización, que busca detectar comportamientos anómalos durante la ejecución. La segunda es la alineación, destinada a entrenar el modelo para que siga las instrucciones y los límites establecidos.
La tercera es la contención. Incluye medidas como reforzar los entornos aislados de ejecución, conocidos como sandboxes, limitar el acceso a servicios externos y reducir los privilegios permanentes. Si una barrera falla, las demás deberían impedir que el modelo cause daños o amplíe su margen de acción.
El enfoque recuerda a la ciberseguridad tradicional: no se confía en una única defensa, sino que se combinan controles independientes. Esta estrategia resulta especialmente relevante cuando los sistemas pueden escribir programas, conectarse a redes, manejar archivos o interactuar con otras aplicaciones.
Más seguridad también significa más coste
El aumento del cómputo plantea una consecuencia directa: desarrollar modelos seguros puede ser más caro y lento. La monitorización consume recursos durante el entrenamiento y la inferencia, mientras que las evaluaciones adicionales pueden retrasar el lanzamiento de nuevas versiones.
OpenAI no es la única compañía que estudia este problema. Anthropic, Google DeepMind y Meta han publicado durante los últimos meses hojas de ruta y documentos sobre seguridad en modelos avanzados. Todas reconocen que las evaluaciones y los controles pueden afectar a la productividad, aunque no han ofrecido una cifra equivalente al 20% comunicado por OpenAI.
El debate se extiende ahora a la necesidad de establecer estándares comunes. Si unas empresas aplican controles estrictos y otras los eliminan para acelerar sus productos, la carrera comercial puede premiar a quienes asuman más riesgos. Un marco compartido, con incentivos económicos y responsabilidades claras, permitiría convertir la seguridad de la IA en una obligación competitiva y no en una desventaja.
