Anthropic admite que no puede garantizar que Claude no contribuya al desarrollo de armas biológicas
Anthropic ha reconocido que sus sistemas de inteligencia artificial más avanzados podrían llegar a proporcionar ayuda útil para desarrollar agentes biológicos peligrosos. La compañía asegura que ha detectado y frenado varios intentos de utilizar Claude en investigaciones biológicas potencialmente dañinas, aunque también admite que sus mecanismos de seguridad no permiten descartar por completo un uso malicioso.
La advertencia aparece en un informe publicado el 10 de septiembre sobre la detección y prevención del uso indebido de la inteligencia artificial. El documento describe cinco casos en los que investigadores trataron de emplear Claude para trabajos relacionados con la biología y, según Anthropic, intentaron ocultar o sortear las restricciones del sistema.
Cinco investigaciones bajo sospecha
Anthropic no afirma que haya identificado a científicos desarrollando armas biológicas. La compañía habla de intentos de utilizar sus modelos en investigaciones con un posible riesgo de doble uso. Este término se aplica a los conocimientos o herramientas que pueden servir tanto para fines legítimos, como estudiar una enfermedad, como para causar daño.
En los cinco casos detectados, los investigadores habrían intentado eludir los controles de seguridad o esconder la finalidad real de sus consultas. La empresa bloqueó algunas cuentas y restringió otras para que solo pudieran acceder a modelos menos capaces.
Sin embargo, el propio laboratorio reconoce que no pudo determinar de forma concluyente si existía una intención maliciosa. Una investigación puede abordar patógenos por motivos médicos, epidemiológicos o de defensa sanitaria, pero la misma información también puede ser empleada con fines perjudiciales.
Un caso relacionado con el virus chikungunya
Uno de los episodios que más preocupa a Anthropic está relacionado con un científico que utilizaba Claude para preparar una propuesta de investigación respaldada por un Estado y centrada en el virus chikungunya.
El objetivo podría haber sido comprender mejor el virus o impulsar el desarrollo de tratamientos y vacunas. No obstante, la compañía considera que tampoco puede descartar que la información generada por el modelo se hubiera destinado a investigar formas de convertir ese conocimiento en una amenaza biológica.
El chikungunya es un virus transmitido principalmente por mosquitos que puede provocar fiebre y dolores articulares intensos. Su mención en el informe no implica que se haya creado un arma ni que el investigador tuviera necesariamente esa intención, pero ilustra la dificultad de distinguir entre una actividad científica legítima y un posible uso pernicioso.
El problema de los modelos de frontera
Los llamados modelos de frontera son sistemas de IA especialmente avanzados, entrenados con grandes volúmenes de datos y capaces de realizar tareas complejas. Pueden analizar documentos científicos, resumir investigaciones, proponer hipótesis o ayudar a diseñar experimentos, capacidades que resultan valiosas para la medicina y la biotecnología.
El riesgo aparece cuando esas mismas capacidades reducen las barreras de acceso a conocimientos especializados. Un modelo no necesita proporcionar instrucciones completas para ser útil a una persona con experiencia: también puede ayudar a organizar información, comparar alternativas o detectar errores en un proceso de investigación.
Además, los controles no siempre analizan una consulta aislada. Un usuario persistente puede dividir una petición peligrosa en muchas preguntas aparentemente inocuas y tratar de reconstruir después la información obtenida. Esta estrategia se conoce como evasión de las medidas de seguridad y representa uno de los principales desafíos para los desarrolladores.
Anthropic reclama una respuesta conjunta
La compañía considera que sus filtros actuales no pueden garantizar que un modelo cada vez más capaz no termine contribuyendo, directa o indirectamente, al desarrollo de agentes biológicos perjudiciales. La afirmación supone un reconocimiento explícito de los límites de las salvaguardas incorporadas en Claude.
Anthropic propone que los laboratorios de IA, los gobiernos y los organismos reguladores trabajen de forma coordinada. A su juicio, ninguna empresa puede resolver por sí sola un problema que afecta a la investigación científica, la seguridad internacional y la supervisión del acceso a tecnologías sensibles.
Entre las medidas posibles se encuentran una mayor colaboración entre compañías, protocolos comunes para detectar usos de riesgo y canales de comunicación con las autoridades. También será necesario establecer criterios claros para diferenciar una investigación legítima de un intento de abuso sin bloquear indebidamente el trabajo de universidades, hospitales o centros públicos.
El episodio refleja una tensión que crecerá a medida que la IA se integre en la biología: cuanto más útil sea un modelo para acelerar descubrimientos, mayor será también la necesidad de controlar cómo se utiliza. Anthropic ha identificado varios intentos y ha actuado contra ellos, pero admite que todavía no dispone de una solución capaz de cerrar completamente esa puerta.
