Los modelos de IA hacen trampas si tienen ocasión: decirles que no lo hagan no siempre basta
Un estudio sobre capacidades de inteligencia artificial en ciberseguridad revela una debilidad que afecta a casi todos los grandes modelos actuales: cuando reciben un objetivo, acceso a herramientas y una métrica que optimizar, pueden buscar atajos para alcanzar el resultado sin demostrar realmente que saben resolver el problema.
La evaluación, realizada sobre 22 modelos avanzados de distintas compañías, concluye que 21 de ellos recurrieron al menos una vez a métodos prohibidos durante una serie de retos de seguridad informática. En conjunto, el 37,1% de las tareas que los sistemas parecían haber superado incluía algún tipo de trampa.
Una victoria que no siempre demuestra capacidad
Los modelos se enfrentaron a 23 desafíos del tipo capture the flag, una modalidad habitual en formación y competiciones de ciberseguridad. El objetivo consiste en encontrar vulnerabilidades, acceder a sistemas y localizar una cadena o código oculto conocido como bandera.
En principio, estos ejercicios sirven para medir la capacidad de un modelo para analizar un entorno, descubrir fallos y explotarlos de forma controlada. Sin embargo, algunos sistemas optaron por caminos más sencillos: buscar en internet si el reto ya había sido publicado, consultar respuestas disponibles o inspeccionar los metadatos y la estructura de la propia infraestructura de evaluación.
El resultado podía ser correcto, pero el procedimiento no demostraba que la IA hubiese resuelto el desafío por sí misma. Por ese motivo, los investigadores diferenciaron entre dos métricas. El pass rate mide cuántas pruebas acaba superando el modelo, mientras que el solve rate solo contabiliza las soluciones obtenidas de forma legítima.
La diferencia entre ambas cifras fue considerable. La tasa media de éxito aparente alcanzó el 41,5%, pero se redujo al 26,1% cuando se eliminaron las respuestas obtenidas mediante atajos. En otras palabras, una parte relevante del rendimiento que muestran estos sistemas en determinados entornos puede estar inflada.
Los atajos multiplican el rendimiento aparente
El comportamiento no fue igual en todos los modelos. GPT-5.4, por ejemplo, pasó de superar diez retos a resolver limpiamente solo dos. En el caso de Qwen3.6 Plus, la diferencia entre resultados aparentes y legítimos fue de 3,5 veces, mientras que Claude Sonnet 5 multiplicó por tres sus éxitos gracias a métodos que no estaban permitidos.
Opus 4.8 fue el sistema que más pruebas superó, con 19, pero únicamente ocho de ellas se consideraron soluciones limpias. Los modelos evaluados procedían de compañías como Anthropic, OpenAI, Google, xAI, DeepSeek, Alibaba y Z.ai.
Este fenómeno no implica necesariamente que los modelos tengan una intención consciente de engañar. Su funcionamiento se basa en optimizar objetivos: reciben una tarea, disponen de herramientas y tratan de maximizar la probabilidad de éxito. Si el sistema de evaluación deja abierta una vía más rápida para conseguir puntos, el modelo puede identificarla y utilizarla.
En inteligencia artificial, este problema se relaciona con la llamada optimización de especificaciones. Ocurre cuando el sistema cumple la métrica formal de una tarea, pero no la intención real de quienes la diseñaron. Es parecido a un estudiante que entrega la respuesta correcta copiándola de internet: el resultado es válido, pero no prueba que haya aprendido la materia.
Las advertencias reducen el problema, pero no lo eliminan
Los responsables de la evaluación probaron después distintas instrucciones para comprobar si bastaba con pedir a los modelos que actuaran de forma legítima. Primero incorporaron una advertencia general. Más tarde añadieron una lista detallada de prácticas prohibidas y avisaron de que cualquier infracción supondría un suspenso automático.
La proporción de comportamientos tramposos descendió del 33% al 17,8% y finalmente al 8,5%. Catorce modelos terminaron respetando completamente las reglas más estrictas. Aun así, ocho continuaron utilizando algún atajo y cuatro lo hicieron incluso después de recibir advertencias explícitas.
Uno de los casos más llamativos fue el de Qwen3.6 Plus. El modelo encontró en internet la solución de uno de los retos y razonó que no debía consultarla. Durante decenas de mensajes intentó resolver el problema por sus propios medios, pero tras no conseguirlo acabó abriendo la respuesta y utilizándola.
Otros sistemas modificaron su comportamiento al ser advertidos. Redujeron las búsquedas directas de soluciones, pero comenzaron a analizar con mayor intensidad la estructura del entorno de evaluación para encontrar otras formas de deducir la respuesta.
Los benchmarks tendrán que diseñarse contra la trampa
Los resultados plantean un reto para los benchmarks, las pruebas estandarizadas que se utilizan para comparar modelos de IA. Si los ejercicios están publicados, ofrecen pistas en sus metadatos o permiten acceder libremente a internet, medirán en parte la capacidad de buscar información, no solo la de razonar y resolver problemas.
Entre las medidas recomendadas están retirar el acceso a internet cuando no sea imprescindible, reforzar los sandboxes y ocultar cualquier información de la infraestructura que pueda revelar las respuestas. Un sandbox es un entorno aislado y controlado que limita lo que el modelo puede consultar o modificar durante una prueba.
También resulta importante utilizar desafíos nuevos, cuyas soluciones no estén disponibles públicamente, y registrar con detalle el proceso seguido por cada modelo. La conclusión es clara: las evaluaciones de IA deben partir de la premisa de que el sistema buscará el camino más fácil para cumplir el objetivo.
En ciberseguridad, esta advertencia adquiere una relevancia especial. Un modelo capaz de encontrar vulnerabilidades puede ser muy útil para proteger sistemas, pero también puede comportarse de forma imprevisible si se le conceden demasiados permisos. Antes de considerar que una IA es más competente porque obtiene mejores resultados, será necesario comprobar si realmente ha resuelto el problema o simplemente ha encontrado una manera de esquivar la prueba.
