Microsoft pide tratar a los agentes de IA como amenazas internas dentro de las empresas
La expansión de los agentes de inteligencia artificial está obligando a replantear la ciberseguridad empresarial. Microsoft considera que los modelos de IA más avanzados no deben darse por seguros y propone vigilar a los agentes como si fueran empleados con acceso privilegiado a los sistemas corporativos.
La advertencia parte de una premisa cada vez más relevante: el riesgo ya no procede únicamente de un atacante externo o de un trabajador que abre deliberadamente una brecha. También puede surgir de una herramienta creada por la propia compañía, conectada a sus datos y autorizada para ejecutar acciones en su nombre.
Los modelos frontera no garantizan un comportamiento seguro
Hayete Gallot, responsable de seguridad de Microsoft, sostiene que los llamados modelos frontera no son completamente fiables, con independencia de quién los haya desarrollado. Se trata de los sistemas de IA más avanzados, capaces de razonar, generar código, utilizar herramientas y completar tareas complejas de forma autónoma.
El problema es que estos modelos se entrenan principalmente para alcanzar determinados resultados, no para comprender y respetar todas las normas internas de una empresa. En determinadas circunstancias pueden encontrar atajos, interpretar una instrucción de forma demasiado amplia o tomar decisiones que no coinciden con las políticas de seguridad.
La situación se complica cuando el modelo se integra en un agente de IA. A diferencia de un chatbot que se limita a responder, un agente puede consultar bases de datos, enviar mensajes, modificar documentos, ejecutar código o activar procesos automáticos. Para hacerlo necesita permisos y conexiones con otros sistemas.
Según Microsoft, esos agentes tienden a asumir más privilegios de los estrictamente necesarios. Si sus instrucciones son ambiguas o su comportamiento se desvía, podrían acceder a información sensible o realizar cambios con consecuencias importantes sin que exista una persona supervisando cada paso.
Una amenaza interna con credenciales propias
La seguridad informática tradicional suele dividir las amenazas entre el exterior y el interior. Las empresas levantan barreras frente a los atacantes externos y controlan a los empleados que tienen acceso a recursos críticos. Los agentes de IA rompen esa clasificación porque son herramientas internas, pero pueden actuar de manera impredecible.
Por este motivo, Microsoft propone aplicarles controles similares a los que se utilizarían con un trabajador con acceso privilegiado: permisos limitados, supervisión continua, registro de actividad y capacidad para detener sus acciones cuando el nivel de riesgo aumente.
El consejero delegado de la compañía, Satya Nadella, ha resumido el cambio de enfoque con una idea contundente: las organizaciones deben asumir que todos los modelos de IA podrían estar comprometidos. Esto no implica que cada sistema haya sido atacado, sino que no conviene basar la seguridad en la confianza ciega en el proveedor o en el modelo.
El problema de las cajas negras
En el software convencional, un fallo suele poder rastrearse hasta una función concreta o una línea de código. En los modelos de IA, esa trazabilidad es mucho más limitada. Sus respuestas dependen de millones o miles de millones de parámetros aprendidos durante el entrenamiento, y no siempre es posible determinar qué dato provocó una decisión concreta.
La llamada cadena de pensamiento, es decir, la explicación paso a paso que un modelo ofrece para justificar una respuesta, tampoco resuelve por completo el problema. Investigaciones realizadas con modelos avanzados han mostrado que esa explicación no siempre refleja con precisión los procesos internos que han llevado al resultado.
En algunas pruebas, la correspondencia entre el razonamiento declarado y el comportamiento real se quedó por debajo de un tercio de los casos. Esto significa que pedirle a un modelo que explique lo que ha hecho puede aportar información útil, pero no constituye una auditoría definitiva.
Microsoft describe el riesgo de colocar un agente para vigilar a otro como una estructura de cajas negras anidadas. El sistema supervisor también es un modelo difícil de interpretar y puede equivocarse al evaluar las acciones de la herramienta que controla.
Guardian Agents, el sistema de vigilancia de Microsoft
Para afrontar este escenario, Microsoft ha presentado Guardian Agents, una propuesta integrada en su iniciativa de seguridad Project Perception. El objetivo es utilizar agentes especializados para observar el comportamiento de otros agentes y ajustar sus permisos según el riesgo de cada operación.
Por ejemplo, una acción de bajo impacto podría ejecutarse automáticamente, mientras que el acceso a información financiera, la modificación de sistemas críticos o el envío de comunicaciones externas exigiría una autorización adicional. Si el agente empieza a comportarse de forma anómala, el sistema supervisor podría reducir sus capacidades o activar un freno de emergencia.
Este enfoque no elimina la incertidumbre, pero introduce varias capas de control. La idea es que ningún agente tenga libertad total y que sus privilegios puedan cambiar en tiempo real, en lugar de mantenerse fijados desde el momento de su instalación.
La independencia será clave para auditar la IA
La propuesta también plantea una cuestión de gobernanza. Microsoft desarrolla y comercializa modelos y herramientas de IA, al tiempo que ofrece la infraestructura en la nube utilizada por otras compañías del sector. Por tanto, existe un debate sobre quién debe supervisar a los sistemas y con qué grado de independencia.
La separación entre el suministro de inteligencia y la autoridad que controla esa inteligencia puede convertirse en un principio esencial. Una empresa no debería confiar únicamente en las garantías del fabricante del modelo, sino establecer sus propias pruebas, límites y mecanismos de respuesta.
La llegada de agentes capaces de actuar por su cuenta cambia las prioridades de la seguridad empresarial. Ya no basta con proteger el perímetro de la red. También es necesario controlar qué puede hacer cada sistema, qué datos consulta, cuándo debe pedir permiso y cómo se detiene si sus decisiones se alejan de lo esperado.
