Anthropic abre sus sistemas a evaluadores externos para examinar los riesgos de sus modelos de IA
Anthropic ha decidido ampliar la supervisión independiente de sus sistemas de inteligencia artificial con una medida poco habitual en el sector: conceder a los evaluadores externos de METR un nivel de acceso comparable al de un empleado. El objetivo es que puedan analizar con mayor profundidad el comportamiento de sus modelos y detectar riesgos que podrían pasar desapercibidos en las pruebas internas.
La iniciativa llega en un momento de creciente preocupación por la evolución de la inteligencia artificial avanzada. Los modelos son cada vez más capaces de programar, utilizar herramientas, seguir instrucciones complejas y desenvolverse en entornos digitales. Estas habilidades ofrecen importantes oportunidades, pero también plantean dudas sobre su control, sus límites y las consecuencias de un uso indebido.
Una auditoría con acceso más amplio
El acceso concedido a los especialistas de METR pretende superar las limitaciones habituales de una evaluación externa. En muchas auditorías, los investigadores trabajan con versiones restringidas de los sistemas, conjuntos de pruebas previamente definidos o interfaces que no permiten observar todos los procesos relevantes.
Con permisos más amplios, los evaluadores podrán estudiar el comportamiento de los modelos en escenarios más variados y cercanos a su funcionamiento real. Esto incluye comprobar cómo responden ante instrucciones ambiguas, objetivos conflictivos, intentos de manipulación o tareas que exigen mantener una estrategia durante un periodo prolongado.
La revisión no se limita a medir si un modelo responde correctamente. También busca determinar si puede identificar y respetar sus propias restricciones, si intenta sortear los controles establecidos o si muestra comportamientos inesperados cuando dispone de más autonomía y herramientas.
Qué riesgos se pretenden detectar
Las pruebas de seguridad de los modelos de inteligencia artificial abarcan distintos tipos de amenazas. Entre ellas se encuentran la generación de instrucciones peligrosas, la ayuda para desarrollar actividades maliciosas, la filtración de información sensible y la capacidad de actuar de forma no prevista por sus responsables.
También resulta relevante analizar la denominada pérdida de control. Este concepto engloba los escenarios en los que un sistema avanzado podría perseguir un objetivo de manera inadecuada, ocultar información sobre sus acciones o encontrar métodos para esquivar los mecanismos diseñados para limitarlo.
La posibilidad de examinar el modelo con mayor libertad permite a los investigadores buscar fallos de forma activa, en lugar de limitarse a comprobar una lista cerrada de comportamientos. En la práctica, esto puede traducirse en ataques controlados, pruebas de resistencia y situaciones diseñadas para forzar respuestas contradictorias.
El papel de METR en la evaluación de la IA
METR es una organización especializada en evaluar las capacidades y los riesgos de los sistemas de inteligencia artificial avanzados. Su trabajo se centra en crear pruebas que permitan medir hasta dónde puede llegar un modelo cuando se le asignan tareas complejas y cuánto tiempo es capaz de trabajar de forma autónoma.
Este tipo de evaluaciones resulta especialmente importante porque los métodos tradicionales no siempre reflejan el comportamiento de los modelos en condiciones reales. Una inteligencia artificial puede obtener buenos resultados en pruebas de referencia y, al mismo tiempo, mostrar vulnerabilidades cuando debe tomar decisiones encadenadas o interactuar con herramientas externas.
La participación de un equipo independiente aporta además una perspectiva distinta a la de la compañía que desarrolla la tecnología. Los evaluadores externos no están vinculados a los objetivos comerciales o de producto de la empresa y pueden dedicar más esfuerzos a buscar resultados incómodos o difíciles de interpretar.
Más transparencia, aunque no sea una garantía absoluta
La decisión de Anthropic refuerza su compromiso público con la seguridad, pero no elimina por sí sola los riesgos asociados a la inteligencia artificial. Una auditoría solo ofrece una fotografía del comportamiento de un modelo bajo unas condiciones determinadas. Las capacidades pueden cambiar cuando se actualiza el sistema, se incorporan nuevas herramientas o se despliega en entornos diferentes.
Además, el acceso de los evaluadores debe gestionarse con cuidado. Una revisión más profunda puede exigir permisos para consultar componentes sensibles, registrar interacciones o probar funciones que, si se hacen públicas sin protección, podrían facilitar un uso indebido. La transparencia, por tanto, debe combinarse con medidas para proteger la información y evitar que las pruebas se conviertan en una nueva fuente de riesgos.
Un paso hacia controles más independientes
La apertura de los sistemas a evaluadores externos refleja un cambio en la forma de abordar la seguridad de la IA. Ya no basta con que las propias compañías certifiquen que sus modelos cumplen determinados criterios. La supervisión independiente, la documentación de los resultados y la repetición de las pruebas serán cada vez más importantes a medida que estas herramientas asuman tareas de mayor responsabilidad.
El resultado de la auditoría puede servir para identificar fallos antes de que lleguen a los usuarios, mejorar los mecanismos de protección y establecer límites más claros para el uso de modelos avanzados. También permitirá comprobar si las promesas de seguridad se mantienen cuando la inteligencia artificial se enfrenta a situaciones complejas y no previstas.
Anthropic presenta así el acceso de METR como un compromiso firme con una IA más segura. La verdadera medida de ese compromiso estará en cómo se responda a los hallazgos: si se corrigen las vulnerabilidades detectadas, si se comunican los resultados relevantes y si las futuras versiones se someten a controles igual de exigentes.
