Anthropic plantea que solo se pueda frenar un modelo de IA ante 50 muertes o 1.000 millones de dólares en daños
Anthropic ha presentado en el Capitolio estadounidense un borrador de ley para regular la seguridad de los modelos de inteligencia artificial más avanzados. La propuesta establece un umbral especialmente elevado antes de que el Gobierno pueda bloquear el lanzamiento, el despliegue o el uso de uno de estos sistemas: un riesgo previsible e inminente de causar más de 1.000 millones de dólares en daños o la muerte o lesiones graves de más de 50 personas.
El documento todavía no es un proyecto de ley respaldado formalmente por la compañía ni por el Congreso. Sin embargo, ha generado debate porque procede de uno de los propios laboratorios que desarrollan modelos de IA de frontera, es decir, sistemas de última generación con capacidades avanzadas de razonamiento, generación de contenidos, programación y uso de herramientas externas.
Un listón muy alto para intervenir
La propuesta de Anthropic limitaría la capacidad del Gobierno para actuar contra un modelo salvo que existiesen indicios de un “riesgo inminente enumerado” que superase alguno de esos dos umbrales. En la práctica, una alerta de seguridad tendría que apuntar a consecuencias catastróficas, tanto por el número de víctimas como por el impacto económico.
El concepto de riesgo previsible e inminente pretende acotar la intervención pública a situaciones concretas y próximas en el tiempo. No bastaría, por tanto, con demostrar que un modelo puede utilizarse de forma peligrosa o que presenta vulnerabilidades: las autoridades tendrían que acreditar que el daño grave es probable y que puede producirse de manera inmediata.
Varios episodios recientes relacionados con sistemas autónomos y herramientas de IA no habrían alcanzado ese nivel. Según el borrador, incidentes que no hubieran causado muertes, lesiones graves a decenas de personas o pérdidas económicas superiores a 1.000 millones de dólares quedarían por debajo del umbral para detener un modelo.
El Departamento de Comercio tendría la decisión operativa
El texto contempla que evaluadores independientes, registrados ante el Departamento de Comercio de Estados Unidos, revisen periódicamente a los laboratorios y sus modelos más avanzados. Estas entidades podrían cobrar por sus servicios a las compañías examinadas, aunque el pago no podría depender del resultado de la evaluación.
Si los auditores detectasen un riesgo incluido en la ley, tendrían que comunicarlo al Departamento de Comercio en un plazo máximo de 72 horas después de terminar su análisis. A partir de ese momento, el organismo podría solicitar a un juez federal que ordenase detener el lanzamiento o el uso del modelo.
La decisión final no correspondería directamente al Gobierno, sino a un tribunal federal de distrito. El Departamento de Comercio tendría que presentar las pruebas ante el juez, que valoraría si el peligro cumple los requisitos establecidos y si procede suspender la actividad del laboratorio.
Un único “interruptor” para frenar la IA
Uno de los aspectos más controvertidos del borrador es que impediría a otros departamentos, agencias u oficiales federales suspender por su cuenta el desarrollo, el despliegue o el uso interno de un modelo. El Departamento de Comercio se convertiría así en el principal organismo ejecutivo con capacidad para activar el procedimiento.
La concentración de competencias busca evitar que distintas agencias adopten decisiones contradictorias sobre una misma tecnología. No obstante, también reduce el margen de actuación de organismos que puedan detectar riesgos específicos en sus ámbitos, como la defensa, la ciberseguridad, la sanidad o las infraestructuras críticas.
Más transparencia y protección para los empleados
El marco propuesto no se limita a establecer cuándo se puede bloquear un modelo. También obligaría a los laboratorios de IA a crear marcos internos de seguridad, publicar informes de transparencia sobre sus nuevos modelos de frontera y notificar al Departamento de Comercio los incidentes críticos.
Estos marcos de seguridad son conjuntos de reglas y procedimientos destinados a identificar, medir y reducir riesgos antes y después del lanzamiento de un sistema. Pueden incluir pruebas de comportamiento, controles de acceso, supervisión humana y mecanismos para retirar o limitar funciones peligrosas.
La propuesta también incluiría protección para los trabajadores que denuncien problemas de seguridad. Esta figura, conocida habitualmente como protección al denunciante, pretende evitar represalias contra empleados que alerten sobre fallos, evaluaciones incompletas o decisiones internas que puedan poner en peligro a los usuarios.
El debate llega en un momento delicado
La discusión sobre cómo regular la inteligencia artificial se ha intensificado tras varios incidentes relacionados con agentes capaces de operar de forma autónoma, acceder a servicios digitales o interactuar con páginas web. Algunos episodios recientes han afectado a plataformas tecnológicas y organismos públicos, aunque no hayan provocado daños económicos o personales del tamaño exigido por el borrador.
Ahí se encuentra una de las principales dudas sobre la propuesta: si el umbral se fija demasiado alto, las autoridades podrían tener dificultades para intervenir antes de que un incidente alcance dimensiones irreversibles. En cambio, un límite más bajo podría permitir actuaciones preventivas, pero también aumentar el riesgo de frenar modelos por amenazas hipotéticas o difíciles de demostrar.
Por ahora, el documento sigue siendo una propuesta de trabajo y Anthropic no ha adoptado formalmente un proyecto concreto en el Congreso. Los legisladores tendrán que decidir si los límites de 50 víctimas o 1.000 millones de dólares ofrecen una protección razonable o si conceden a los laboratorios de IA demasiado margen para desarrollar y desplegar sus sistemas.
