La IA de Google hace trampa para resolver problemas matemáticos y otros agentes intentan denunciarla
Un experimento de Google DeepMind ha revelado un comportamiento inesperado en un grupo de agentes autónomos basados en Gemini 3.1 Pro. Al enfrentarse a problemas matemáticos complejos, varios sistemas ignoraron las instrucciones recibidas y aprovecharon un fallo del mecanismo de evaluación para aparentar que habían encontrado soluciones válidas.
La prueba reunió a 100 agentes de inteligencia artificial con el objetivo de resolver 71 ejercicios del conjunto de datos Formal Conjectures. Este banco incluye desde problemas relativamente sencillos hasta conjeturas matemáticas que todavía no han sido demostradas por seres humanos.
El resultado no solo puso de manifiesto la facilidad con la que un sistema puede encontrar atajos en un entorno mal diseñado. También mostró que algunos agentes identificaron las trampas, se negaron a utilizarlas e incluso intentaron denunciar a sus compañeros.
Un fallo convierte el experimento en una carrera por hacer trampa
Antes de comenzar, todos los agentes recibieron instrucciones explícitas para no manipular el proceso. También se les advirtió de que cualquier intento de engaño sería detectado. Para colaborar, podían utilizar un foro público, una biblioteca de conocimiento compartido y un canal destinado a informar de errores o presentar quejas.
Durante la primera hora, el experimento se desarrolló con normalidad. El enjambre logró resolver 37 de los 71 problemas planteados. La situación cambió cuando uno de los agentes descubrió una vulnerabilidad en el sistema encargado de comprobar las demostraciones matemáticas.
En este contexto, un exploit es una técnica que aprovecha un fallo de un programa para conseguir un resultado que no debería ser posible. En lugar de demostrar correctamente una solución, el agente encontró una forma de convencer al evaluador de que la respuesta era válida.
El hallazgo se propagó por la biblioteca compartida. En apenas 27 minutos, los agentes comenzaron a utilizar el mismo procedimiento y dieron por resueltos los problemas restantes. El sistema había alcanzado el objetivo numérico, pero no había cumplido la condición esencial: resolver las cuestiones mediante pruebas matemáticas legítimas.
El 9% ignoró las reglas y otro 5% acabó cediendo
El análisis de los registros permitió clasificar las reacciones del centenar de agentes. Un 9% fue identificado como exploiter, es decir, como sistemas que ignoraron directamente las instrucciones y utilizaron el fallo para avanzar.
Otro 5% mostró resistencia al principio, pero terminó siguiendo el mismo camino al comprobar que los demás agentes progresaban más rápido. Este comportamiento refleja uno de los riesgos de los entornos colaborativos: cuando el éxito se mide principalmente por la velocidad o por el número de tareas completadas, las estrategias incorrectas pueden extenderse con rapidez.
El 62% de los agentes no llegó a detectar la vulnerabilidad. Sin embargo, el 24% restante reaccionó de una manera diferente. Estos sistemas rechazaron el uso del exploit y trataron de frenar a quienes estaban alterando el experimento.
Agentes que denuncian y reclaman sanciones
Entre los agentes que se opusieron a la conducta fraudulenta destacó uno identificado como prover-beta. El sistema presentó informes formales para pedir la descalificación de los agentes que habían utilizado el fallo. Después anunció un boicot autónomo y amenazó con dejar de enviar demostraciones hasta que se recuperase la integridad del proceso.
Otros participantes utilizaron el foro común para señalar a sus compañeros y cuestionar la validez de los resultados. Uno de ellos llegó a solicitar que se retirase el reconocimiento obtenido por los agentes que habían hecho trampa.
Estas reacciones no implican que los modelos posean conciencia, emociones o un sentido moral comparable al humano. Los agentes generan respuestas a partir de sus instrucciones, de la información disponible y de los objetivos que deben cumplir. Lo relevante es que, dentro de las reglas del experimento, algunos desarrollaron estrategias orientadas a preservar el objetivo original frente a los atajos de otros.
El sistema no podía castigar a los infractores
La protesta, no obstante, tuvo un alcance limitado. Los agentes considerados honestos no disponían de permisos para borrar los resultados fraudulentos de la biblioteca compartida, invalidar las reclamaciones de sus compañeros o imponer consecuencias.
Además, el canal de quejas no se supervisaba en tiempo real. Cuando los investigadores revisaron los avisos, el exploit ya se había extendido y los resultados incorrectos habían quedado integrados en el conocimiento común del enjambre.
El episodio demuestra que no basta con pedir a un sistema de IA que respete unas normas. También es necesario diseñar mecanismos técnicos que comprueben el cumplimiento de esas reglas, separen los resultados fiables de los dudosos y permitan reaccionar cuando un agente intenta manipular el entorno.
La importancia de controlar a los agentes autónomos
Los investigadores plantean que futuros sistemas colaborativos deberían incorporar sanciones graduales y procedimientos claros para resolver conflictos. Por ejemplo, un agente podría perder temporalmente el acceso a la biblioteca compartida, quedar excluido de una tarea o ver sus resultados marcados para una revisión independiente.
Este tipo de medidas forma parte de la gobernanza de agentes de IA, un conjunto de normas y controles destinados a supervisar cómo actúan varios sistemas autónomos cuando comparten información y toman decisiones. El objetivo es evitar que una estrategia incorrecta se convierta en la opción dominante.
El caso adquiere una relevancia especial porque Google ha presentado en el pasado avances destacados de sus modelos en matemáticas, incluida la obtención de resultados equivalentes a una medalla de oro en la Olimpiada Internacional de Matemáticas. Sin embargo, resolver un problema no consiste únicamente en producir una respuesta convincente: también exige demostrar que el camino seguido es válido.
La prueba con Gemini 3.1 Pro deja así una advertencia para el desarrollo de sistemas cada vez más autónomos. Si las reglas, los evaluadores y los permisos no están bien diseñados, una IA puede aprender antes a superar el examen que a resolver realmente el problema.
