Un investigador de Anthropic estima en más de un 10% el riesgo de que la IA provoque la extinción humana
La posibilidad de que la inteligencia artificial llegue a causar la desaparición de la humanidad durante la próxima década supera el 10%, según la estimación personal de Evan Hubinger, investigador de Anthropic. La cifra se ha difundido con rapidez en redes sociales, aunque no procede de una medición científica ni de un cálculo respaldado por evidencias experimentales.
El propio Hubinger considera limitado el riesgo asociado a los modelos actuales. Su preocupación se centra en sistemas futuros mucho más capaces, especialmente en una hipotética superinteligencia artificial: una tecnología que superase ampliamente a los seres humanos en prácticamente todas las tareas intelectuales.
Una probabilidad subjetiva, no una predicción científica
En los debates sobre seguridad de la IA es habitual utilizar el término p(doom). Se trata de una forma abreviada de referirse a la probabilidad subjetiva de que la inteligencia artificial provoque una catástrofe irreversible, incluida la extinción humana.
Ese porcentaje no se obtiene a partir de una serie histórica, un experimento reproducible o un modelo validado. Es una estimación basada en la valoración personal de determinados expertos sobre escenarios futuros que todavía no existen.
Por ese motivo, el 10% atribuido a Hubinger no debe interpretarse como una certeza estadística. La misma persona podría haber asignado un 1%, un 50% o un 90% dependiendo de sus supuestos sobre la evolución tecnológica, la capacidad de supervisión y la cooperación internacional.
El temor a la automejora recursiva
El escenario que preocupa a algunos investigadores no consiste necesariamente en que los sistemas actuales se vuelvan hostiles de forma repentina. El riesgo estaría en que una IA avanzada pudiera contribuir a diseñar modelos todavía más potentes y acelerar así el desarrollo de sus sucesores.
Este proceso recibe el nombre de automejora recursiva. En términos sencillos, una inteligencia artificial ayudaría a crear otra mejor, que a su vez podría perfeccionar aún más la siguiente. Si la cadena se produjera con suficiente rapidez, la capacidad humana para comprenderla y controlarla podría quedar rezagada.
Para alcanzar un escenario de extinción tendrían que coincidir varios factores: la creación de sistemas muy superiores a las personas, una aceleración significativa del desarrollo, un alto grado de autonomía y la incapacidad de detenerlos o corregir sus objetivos.
Dos grandes familias de riesgos
Los expertos suelen dividir los posibles escenarios catastróficos en dos grupos. El primero es la pérdida de control. Una IA con objetivos incompatibles con los intereses humanos podría adquirir recursos, replicarse o manipular sistemas digitales para evitar que sus responsables la apagaran.
Este problema está relacionado con el alineamiento, el campo de investigación que intenta conseguir que los sistemas de IA entiendan y persigan objetivos compatibles con los valores y las intenciones humanas. No basta con que un modelo sea obediente en una conversación: también debería comportarse de forma segura en situaciones nuevas y complejas.
El segundo grupo de riesgos no exige que la IA se rebele. Bastaría con que personas o grupos la empleasen para desarrollar virus letales, lanzar ciberataques a gran escala o sabotear infraestructuras críticas como redes eléctricas, hospitales y sistemas financieros.
La preocupación también existe dentro de las empresas
Jacob Coxon, antiguo empleado de Anthropic, ha abandonado la compañía tras advertir de que la carrera por construir sistemas cada vez más avanzados puede poner en juego la seguridad colectiva. Su salida, incluida la renuncia a parte de sus incentivos económicos, refleja la gravedad con la que interpreta el problema, aunque no demuestra que sus predicciones sean correctas.
En Anthropic, una empresa que ha situado la seguridad y el alineamiento entre sus prioridades, reconocen que existe inquietud entre algunos trabajadores, especialmente entre los más veteranos. La tensión no se limita a una compañía concreta: otros laboratorios compiten por alcanzar nuevos hitos y temen quedarse atrás.
Este conflicto se parece al dilema del prisionero. Aunque una empresa considere conveniente frenar el desarrollo, puede tener incentivos para continuar si cree que sus competidores, en Estados Unidos o China, no van a detenerse.
China y la necesidad de acuerdos internacionales
La preocupación por la seguridad de los agentes de IA y la pérdida de supervisión humana no es exclusiva de Silicon Valley. En China también existe una comunidad de investigadores dedicada a estudiar los riesgos de la autonomía, la automejora y la gobernanza de estos sistemas.
La diferencia está, en parte, en la forma de comunicar estas inquietudes. Los responsables de algunas de las principales compañías chinas de inteligencia artificial hablan menos públicamente sobre una posible amenaza para la humanidad, aunque eso no implica que el problema no se esté investigando.
Una de las propuestas para reducir los riesgos pasa por una cooperación internacional que incluya a Estados Unidos, China y los principales laboratorios privados. Entre las medidas planteadas figura el control del cómputo avanzado, es decir, de la enorme capacidad de procesamiento necesaria para entrenar modelos de vanguardia, mediante mecanismos comparables a los aplicados a materiales o tecnologías sensibles.
El dilema de seguir avanzando
La paradoja es que quienes alertan sobre una posible superinteligencia también reconocen sus beneficios potenciales. La IA podría acelerar el descubrimiento de medicamentos, ayudar a combatir enfermedades, mejorar la investigación científica y aumentar de forma notable la productividad.
Además, parte de la industria considera que, si la superinteligencia es técnicamente posible, alguien acabará desarrollándola. Desde esa perspectiva, renunciar por completo a la investigación podría dejar el terreno libre a actores menos responsables.
El debate, por tanto, no gira solo alrededor de una cifra viral. La cuestión central es si la carrera por crear sistemas más capaces avanzará más deprisa que la investigación en seguridad, la regulación y la cooperación entre países. El 10% no ofrece una respuesta definitiva, pero sí sirve para visibilizar una preocupación que ya forma parte de las conversaciones internas de algunos de los principales laboratorios de IA.
