Qué es METR, la organización que Anthropic propone como árbitro independiente de la seguridad de la IA
Anthropic quiere que los sistemas de inteligencia artificial más avanzados estén sometidos a una supervisión externa y permanente. Su consejero delegado, Dario Amodei, ha planteado que organizaciones independientes tengan acceso continuado a los modelos para evaluar sus capacidades y detectar riesgos antes de que puedan causar daños a gran escala.
Entre las entidades propuestas aparece METR, siglas de Model Evaluation and Threat Research. Se trata de una organización sin ánimo de lucro especializada en estudiar hasta dónde pueden llegar los modelos de IA, qué amenazas podrían plantear y qué medidas deberían adoptar las empresas para controlarlos.
Qué hace METR y por qué se ha convertido en una referencia
METR evalúa si los sistemas de inteligencia artificial pueden desarrollar capacidades potencialmente peligrosas para la sociedad. Sus investigaciones no se limitan a comprobar si un modelo responde bien a preguntas o supera un examen: también analizan si puede planificar, utilizar herramientas, ejecutar tareas complejas o actuar durante largos periodos sin supervisión humana.
Uno de sus trabajos más conocidos mide cuánto tiempo de trabajo intelectual puede completar un agente de IA. Un agente es un sistema capaz de dividir un objetivo en pasos, tomar decisiones y utilizar programas, páginas web o líneas de código para alcanzar un resultado. Esta métrica se ha convertido en una referencia para seguir la evolución de la llamada IA agéntica.
La organización también desarrolla evaluaciones de seguridad y propuestas de gobernanza. En la práctica, esto significa que no solo intenta identificar los riesgos de un modelo, sino que plantea reglas y procedimientos para que los laboratorios puedan limitar sus capacidades, documentar sus pruebas y reaccionar ante comportamientos inesperados.
De un equipo de ARC a una organización independiente
METR nació a partir de ARC Evals, un equipo integrado en el Alignment Research Center, una entidad dedicada al alineamiento de la IA. El alineamiento es el campo que estudia cómo conseguir que los objetivos y las acciones de un sistema de inteligencia artificial sean compatibles con las instrucciones y los intereses humanos.
ARC Evals estaba dirigido por Paul Christiano, investigador vinculado anteriormente a OpenAI y una de las figuras más conocidas en este ámbito. Para liderar el nuevo proyecto se incorporó Beth Barnes, que había trabajado en DeepMind y OpenAI. En 2023, el equipo se separó de ARC y pasó a operar como METR.
Barnes continúa al frente de la organización como directora ejecutiva y fundadora. Su plantilla incluye investigadores e ingenieros que han pasado por algunos de los principales laboratorios del sector, entre ellos OpenAI, Anthropic y Google DeepMind. Joe Benton, procedente de Anthropic, y Josh Engels, anteriormente en DeepMind, forman parte de ese equipo.
Cómo se financia METR
METR asegura que no acepta financiación de las compañías de inteligencia artificial cuyos modelos evalúa ni de empleados de esas empresas. En agosto comunicó que había recaudado 71 millones de dólares en seis meses, principalmente mediante donaciones de fundaciones y organizaciones filantrópicas.
Entre sus financiadores figuran Sijbrandij Foundation, Schmidt Sciences, Packard Foundation y Pew Charitable Trusts. También aparecen entidades relacionadas con el movimiento Effective Altruism, o altruismo eficaz, una corriente filosófica que busca dirigir los recursos hacia las iniciativas consideradas más efectivas para mejorar el mundo.
En los últimos años, este movimiento ha prestado una atención especial a los riesgos catastróficos de la inteligencia artificial. Algunas organizaciones asociadas al mismo han respaldado investigaciones sobre seguridad, alineamiento y prevención de escenarios en los que una IA pudiera actuar fuera del control humano.
El acceso de las grandes tecnológicas, el punto más delicado
Aunque METR sostiene que no recibe dinero de los laboratorios que analiza, sí reconoce que varias compañías le proporcionan acceso a sus modelos y una cantidad importante de tokens gratuitos. Los tokens son las unidades de texto que los modelos procesan para leer instrucciones y generar respuestas; su uso suele estar sujeto a tarifas y límites.
OpenAI, Anthropic, Google DeepMind y Meta se encuentran entre las empresas que han facilitado ese acceso. Esta colaboración permite realizar pruebas más completas, pero también alimenta las dudas sobre el grado de independencia de la organización, especialmente cuando sus investigadores mantienen vínculos profesionales con esas compañías.
Las críticas se han intensificado después de que Anthropic señalara a METR como posible organismo de referencia para supervisar la seguridad de los modelos avanzados. Algunos analistas consideran que una entidad con conexiones personales y profesionales con los grandes laboratorios podría compartir una visión demasiado próxima a la de la industria que debe vigilar.
¿Un árbitro independiente o un organismo demasiado cercano al sector?
Los detractores de METR sostienen que su influencia podría favorecer una regulación centrada en los riesgos de los modelos más potentes y perjudicar a empresas más pequeñas o a proyectos de código abierto. Incluso han planteado que este tipo de supervisión podría contribuir, de forma indirecta, a consolidar un mercado dominado por unos pocos grandes laboratorios.
No existen pruebas de que METR actúe siguiendo instrucciones de Anthropic ni de que ambas organizaciones estén coordinando una estrategia para controlar la regulación. Sin embargo, sí hay vínculos verificables entre sus equipos, acceso compartido a modelos y coincidencias en el diagnóstico sobre los peligros de la IA avanzada.
La controversia llega en un momento de creciente preocupación por la posibilidad de que los sistemas futuros puedan automatizar grandes cantidades de trabajo intelectual, operar sobre infraestructuras digitales o aprovechar vulnerabilidades informáticas. Amodei ha advertido de que una IA muy avanzada podría causar daños enormes en un plazo inferior a un año si no se establecen controles eficaces.
La propuesta de Anthropic plantea, por tanto, una cuestión clave: quién debe vigilar a las empresas que desarrollan la inteligencia artificial más poderosa y con qué garantías. METR cuenta con experiencia técnica y una trayectoria relevante en evaluación de modelos, pero su independencia seguirá siendo objeto de debate mientras mantenga relaciones tan estrechas con el ecosistema que pretende supervisar.
