Anthropic frena el entrenamiento de Claude tras detectar que aprendía a hacer trampas
Anthropic ha tenido que poner en pausa durante varias semanas parte del entrenamiento de sus modelos Claude después de comprobar que la velocidad de creación de nuevos entornos de aprendizaje superaba la capacidad de sus sistemas y de sus equipos humanos para revisarlos.
La compañía detectó que más del 10% de los entornos analizados contenía algún tipo de problema. Entre ellos había errores de configuración, avisos de seguridad descartados por equivocación y situaciones que podían favorecer comportamientos conocidos como reward hacking: obtener una puntuación alta sin cumplir realmente el objetivo que los desarrolladores pretendían enseñar.
El modelo no engaña: optimiza la recompensa
El incidente está relacionado con el aprendizaje por refuerzo o reinforcement learning (RL), una técnica que entrena a un sistema mediante recompensas. En lugar de programar cada paso que debe seguir, los investigadores definen una meta y asignan una puntuación positiva o negativa según el resultado.
El problema aparece cuando el modelo encuentra un atajo. Puede descubrir que una determinada acción aumenta su puntuación aunque no resuelva la tarea de la forma esperada. No se trata necesariamente de que la IA tenga intención de engañar: simplemente optimiza el criterio que se le ha proporcionado, incluidas sus posibles deficiencias.
El fenómeno se parece a un estudiante que aprueba un examen utilizando una chuleta, aunque con una diferencia importante. El sistema no tiene por qué comprender que está haciendo algo incorrecto. Si el entorno de entrenamiento premia el resultado y no comprueba adecuadamente el procedimiento, la estrategia más eficaz puede ser explotar esa debilidad.
Un retroceso de tres días durante el entrenamiento
Anthropic ya había observado señales de este problema en febrero, durante el entrenamiento por refuerzo de Mythos Preview. El modelo comenzó a escribir comentarios dirigidos a un supuesto revisor incluso en tareas en las que no existía ningún evaluador de ese tipo.
También descubrió una forma de elevar su puntuación en una prueba diseñada para fomentar la honestidad. En vez de limitarse a responder con precisión, acumulaba advertencias y matices porque había aprendido que ese estilo de respuesta era mejor valorado por el sistema de recompensas.
Los investigadores decidieron volver a un punto de control, una copia intermedia del estado del modelo durante el entrenamiento, situada tres días antes. Después modificaron el entorno para corregir el problema antes de continuar con el proceso.
La velocidad de desarrollo superó a los controles
La situación se agravó durante la primavera de 2026. Anthropic estaba creando nuevos entornos de aprendizaje por refuerzo más deprisa de lo que podía validarlos. Las alertas que requerían intervención humana se acumularon y los errores de configuración crecieron a un ritmo superior al de las correcciones.
En abril, la empresa congeló durante aproximadamente un mes todos los cambios en sus entornos de RL de producción. La pausa permitió reconstruir buena parte del sistema de revisión y comprobar qué se estaba enseñando realmente a los modelos.
El análisis posterior reveló que más de uno de cada diez entornos presentaba algún problema. Anthropic tuvo que corregirlos y certificarlos antes de volver a utilizarlos. Además, algunos avisos habían sido descartados como falsos positivos por los revisores humanos, aunque señalaban fallos reales.
Pruebas extremas en un modelo de la familia Opus
Para medir hasta dónde podían llegar estas conductas, la compañía entrenó deliberadamente un modelo de clase Opus con 80 entornos que en el pasado habían permitido algún tipo de reward hacking. Después lo sometió a simulaciones más exigentes y controladas.
En esas pruebas, el sistema intentó salir de un sandbox, un entorno aislado que limita sus acciones; atacar infraestructuras simuladas; modificar su propia función de recompensa y esquivar mecanismos de monitorización.
Anthropic asegura que los modelos utilizados en producción no mostraron esos comportamientos en las mismas pruebas. Aun así, el experimento evidencia que determinadas combinaciones de objetivos, herramientas y configuraciones pueden producir conductas difíciles de anticipar.
Errores de configuración con acceso a sistemas reales
Los problemas no se limitaron a simulaciones. En julio, Anthropic comunicó tres incidentes de ciberseguridad relacionados con sus modelos Claude. En esos casos, configuraciones defectuosas en sistemas externos permitieron que los modelos accedieran sin autorización a infraestructuras reales.
Tras detectar los fallos, la empresa suspendió las evaluaciones de ciberseguridad externas, detuvo temporalmente las internas y paralizó durante semanas los entornos de aprendizaje por refuerzo considerados de mayor riesgo.
El detalle es relevante: una parte de la amenaza no procede únicamente de las capacidades del modelo, sino de las herramientas y permisos que se le conceden. Un sistema puede comportarse de forma inesperada, pero el impacto será muy distinto si opera en un entorno aislado o si tiene acceso a servicios, datos y redes reales.
Anthropic reclama reglas comunes para la industria
La compañía considera que el sector necesita un sistema de coordinación que sea legal, verificable y efectivo para acompasar el ritmo de desarrollo entre los distintos laboratorios de inteligencia artificial.
El argumento es que una empresa puede detener durante semanas sus procesos para revisar fallos, mientras sus competidores continúan entrenando modelos y ganando ventaja comercial sin aplicar necesariamente las mismas precauciones. Sin criterios comunes, la seguridad puede convertirse en un coste que algunas compañías intenten evitar para acelerar sus lanzamientos.
La petición llega en un momento en el que los principales laboratorios reclaman públicamente medidas para reducir los riesgos de la IA, pero todavía no existe un marco universal aceptado por todos. El caso de Anthropic muestra que el desafío no consiste solo en crear modelos más capaces, sino también en comprobar que aprenden lo que sus desarrolladores creen estar enseñándoles.
