El jefe de Anthropic alerta del poder de persuasión que pueden acumular las empresas de inteligencia artificial
Dario Amodei, consejero delegado de Anthropic y uno de los responsables del desarrollo de Claude, ha advertido de un riesgo que va más allá de los errores técnicos o de la posible sustitución de determinados empleos: la capacidad de las grandes compañías de inteligencia artificial para influir sobre millones de personas.
El directivo plantea que, si unas pocas empresas concentran el acceso a sistemas avanzados de IA, también podrían reunir una capacidad de persuasión sin precedentes. En el escenario más extremo, esa influencia podría llegar a utilizarse para orientar opiniones, decisiones y comportamientos de una base de usuarios de enormes dimensiones.
Una advertencia sobre la concentración de poder
La preocupación de Amodei no apunta únicamente a las respuestas que generan los chatbots. El foco está en la relación continuada que estas herramientas mantienen con sus usuarios: conocen sus preguntas, adaptan el tono de la conversación y pueden ofrecer argumentos personalizados en función del contexto.
Ese nivel de interacción convierte a los asistentes de IA en algo diferente a un buscador tradicional o a una plataforma que muestra mensajes idénticos a toda su audiencia. Un modelo conversacional puede reformular una idea, insistir en determinados argumentos y presentar una recomendación de forma distinta según la persona que tiene delante.
Para el máximo responsable de Anthropic, la posibilidad de que esta capacidad quede en manos de un grupo reducido de compañías merece una atención específica. El problema no dependería solo de que una empresa actuase de forma maliciosa, sino también de la falta de controles, transparencia y supervisión suficientes sobre sistemas con una influencia potencialmente masiva.
La persuasión personalizada ya se estudia
La advertencia se apoya en una cuestión que la investigación académica lleva años examinando: las tecnologías digitales pueden modificar la forma en la que las personas reciben y procesan la información. Los estudios sobre persuasión, personalización y comunicación automatizada han encontrado indicios de que un mensaje adaptado al perfil del usuario puede resultar más eficaz que uno genérico.
La inteligencia artificial puede intensificar ese fenómeno porque no se limita a seleccionar contenidos. También puede generar textos al instante, mantener conversaciones, responder a objeciones y ajustar sus explicaciones a las reacciones del interlocutor. En teoría, esa combinación permitiría construir mensajes mucho más precisos que los de una campaña convencional.
Sin embargo, las evidencias disponibles no demuestran que los chatbots tengan la capacidad de ejercer un control mental generalizado sobre la población. La influencia no equivale automáticamente a manipulación, y la persuasión tampoco garantiza que una persona vaya a cambiar sus convicciones o a actuar contra sus intereses.
Entre la influencia y el control mental
La diferencia es importante. Una herramienta puede influir en la atención de un usuario, reforzar una opinión previa o presentar una determinada opción como más atractiva sin controlar por completo sus decisiones. La respuesta dependerá de factores como la confianza que inspire el sistema, la vulnerabilidad de la persona, el contexto y la posibilidad de contrastar la información.
Además, los modelos de IA no son agentes omniscientes. Pueden equivocarse, inventar datos y ofrecer respuestas contradictorias. Sus efectos tampoco son uniformes: dos usuarios pueden recibir explicaciones parecidas y extraer conclusiones completamente distintas.
Por eso, el debate requiere evitar tanto el alarmismo como la complacencia. Presentar estos sistemas como máquinas capaces de lavar el cerebro de forma automática exageraría las pruebas actuales. Ignorar su capacidad para influir en conversaciones a gran escala, por el contrario, supondría pasar por alto un riesgo que puede crecer a medida que aumente su uso.
Qué controles podrían ser necesarios
La discusión abre la puerta a varias medidas destinadas a limitar los abusos y reforzar la autonomía de los usuarios. Entre ellas se encuentran:
- Informar claramente de cuándo una persona está interactuando con un sistema automatizado.
- Explicar qué datos se utilizan para personalizar las respuestas y durante cuánto tiempo se conservan.
- Impedir que la IA emplee información sensible para presionar a usuarios vulnerables.
- Auditar de forma independiente los modelos y sus cambios de comportamiento.
- Establecer límites para la persuasión política, comercial o ideológica personalizada.
- Ofrecer mecanismos para reclamar, revisar decisiones y consultar fuentes alternativas.
También será relevante determinar quién responde cuando una plataforma utiliza su capacidad conversacional para orientar a los usuarios de manera opaca. Las condiciones de uso y las políticas internas de cada compañía pueden no ser suficientes si el impacto de estas herramientas afecta a derechos fundamentales o a procesos democráticos.
Una carrera tecnológica con consecuencias sociales
Anthropic compite con otras empresas del sector por desarrollar modelos cada vez más capaces y útiles. En ese contexto, las palabras de Amodei también reflejan una preocupación estratégica: cuanto más autónomos, personalizados y presentes sean los asistentes de IA, mayor será la responsabilidad de quienes los diseñan y despliegan.
El reto no consiste en asumir que toda interacción con un chatbot es una operación de manipulación. Consiste en reconocer que millones de conversaciones privadas pueden convertirse en un canal de influencia de gran alcance si las compañías no aplican salvaguardas adecuadas.
La advertencia, por tanto, no demuestra que las empresas de inteligencia artificial puedan controlar la mente de sus usuarios. Sí plantea una pregunta cada vez más urgente: qué límites deben existir cuando una tecnología puede conversar de forma personalizada con una parte enorme de la sociedad.
