El gran riesgo de la inteligencia artificial no es solo cómo usarla, sino cómo protegerla
La adopción acelerada de la inteligencia artificial está llevando a muchas empresas a incorporar herramientas y sistemas automatizados antes de haber definido cómo protegerlos. Para Jordi García Castillón, experto en IA, ciberseguridad y cloud y director de CibraLAB, este orden de prioridades puede convertir una mejora de productividad en una nueva vía de ataque.
El problema se agrava cuando la inteligencia artificial deja de limitarse a responder preguntas y empieza a conectarse con otros servicios corporativos. Un agente de IA con acceso al correo electrónico, a documentos internos o a aplicaciones de gestión puede ejecutar tareas por sí mismo. Si interpreta una instrucción maliciosa como una orden válida, las consecuencias pueden ir mucho más allá de una respuesta incorrecta.
El prompt injection convierte los documentos en una amenaza
Una de las técnicas que más preocupan en este escenario es el prompt injection, conocido también como inyección de instrucciones. Consiste en introducir órdenes diseñadas para manipular el comportamiento de un sistema de inteligencia artificial.
Estas instrucciones no tienen por qué aparecer en la conversación directa con el usuario. Pueden estar ocultas en un correo electrónico, un PDF, una página web, una hoja de cálculo o cualquier otro documento que el sistema analice. La IA puede interpretar ese contenido como parte de las instrucciones que debe seguir, aunque en realidad proceda de un atacante.
El riesgo aumenta cuando el modelo tiene capacidad para actuar sobre otros sistemas. Una orden escondida en un archivo podría intentar provocar el envío de información, modificar registros, acceder a recursos internos o iniciar procesos sin una validación humana suficiente.
De responder a ejecutar acciones
La evolución hacia los agentes autónomos está cambiando la naturaleza de esta amenaza. Un chatbot convencional suele limitarse a generar texto, pero un agente conectado a herramientas puede consultar bases de datos, crear documentos, enviar mensajes o completar operaciones en nombre de un empleado.
Esta capacidad permite automatizar tareas repetitivas y agilizar procesos, pero también amplía la superficie de ataque. Cuantos más permisos tiene el agente, mayor es el impacto potencial de una manipulación. El sistema puede funcionar correctamente desde el punto de vista técnico y, aun así, ejecutar una instrucción peligrosa porque no ha sabido distinguir entre datos y órdenes.
Por eso, la seguridad no puede añadirse al final del proyecto como un complemento. Debe formar parte del diseño inicial de cualquier solución de inteligencia artificial, especialmente cuando maneja información confidencial o interactúa con aplicaciones críticas.
La implantación rápida puede generar una falsa sensación de seguridad
Según García Castillón, el error más habitual de las empresas consiste en implantar la IA antes de conocer sus riesgos. La presión por reducir costes, automatizar tareas y aprovechar las nuevas capacidades tecnológicas puede llevar a desplegar herramientas sin revisar adecuadamente sus permisos, sus fuentes de información o los datos que procesan.
Además, muchas organizaciones confían en que los filtros integrados en los modelos serán suficientes para bloquear comportamientos peligrosos. Sin embargo, ningún sistema de protección debería sustituir a una estrategia completa de ciberseguridad, control de accesos y supervisión.
Medidas para proteger los sistemas de IA
La protección de una solución de inteligencia artificial requiere combinar controles técnicos, procedimientos internos y formación de los empleados. Entre las medidas más relevantes se encuentran:
- Aplicar el principio de mínimo privilegio: cada agente debe disponer únicamente de los permisos imprescindibles para realizar su función.
- Separar datos e instrucciones: el sistema debe tratar los documentos externos como contenido no confiable y no como órdenes prioritarias.
- Requerir aprobación humana: las acciones sensibles, como enviar información o modificar registros, deberían necesitar una validación antes de ejecutarse.
- Supervisar las conexiones: es necesario controlar qué aplicaciones, cuentas y repositorios puede consultar la IA.
- Registrar la actividad: los registros permiten detectar comportamientos anómalos y reconstruir lo ocurrido tras un incidente.
- Realizar pruebas de seguridad: los sistemas deben someterse a evaluaciones específicas frente a inyecciones de instrucciones y otros ataques.
La gobernanza debe avanzar al mismo ritmo que la innovación
La seguridad de la IA no depende únicamente del departamento tecnológico. También exige definir quién puede utilizar cada herramienta, qué información está permitido introducir y cómo deben revisarse las respuestas o acciones generadas automáticamente.
Las empresas necesitan establecer políticas claras para el uso de modelos de inteligencia artificial, clasificar los datos que manejan y evaluar los riesgos antes de conectar un agente con sistemas corporativos. También deben formar a los empleados para que identifiquen documentos sospechosos y comprendan que una respuesta generada por IA no es necesariamente fiable.
La inteligencia artificial puede aportar mejoras importantes a la productividad, pero su despliegue sin controles puede abrir una puerta directa a los sistemas internos. La conclusión del experto es clara: antes de preguntar qué puede hacer una IA por una empresa, conviene determinar qué podría hacer un tercero si consigue manipularla.
