Carmela Troncoso reclama límites para la inteligencia artificial: no todo lo técnicamente posible debe llegar al mercado
La investigadora española Carmela Troncoso se ha sumado a un grupo de alrededor de medio millar de profesionales que reclaman una mayor responsabilidad a las empresas que desarrollan y entrenan modelos de inteligencia artificial. Su mensaje apunta a uno de los grandes debates tecnológicos del momento: cómo avanzar en IA sin convertir la carrera por construir sistemas cada vez más potentes en una competición sin controles suficientes.
La petición llega en un contexto de inversiones millonarias, lanzamientos constantes y una fuerte rivalidad internacional por dominar la próxima generación de modelos. Frente a esta dinámica, los firmantes defienden que la seguridad y la evaluación de riesgos deben formar parte del desarrollo desde el principio, y no añadirse únicamente cuando el producto ya está listo para desplegarse.
Una comparación con los límites de la ingeniería
Troncoso resume su posición con una comparación sencilla: tampoco construimos coches que vayan a 400 kilómetros por hora. La idea no es negar el progreso tecnológico, sino plantear si todas las capacidades que una empresa puede alcanzar deben incorporarse necesariamente a sus productos.
En el caso de la inteligencia artificial, aumentar la potencia de un modelo puede mejorar su capacidad para redactar, programar, analizar información o automatizar tareas. Pero también puede amplificar errores, facilitar usos maliciosos y hacer más difícil anticipar qué ocurrirá cuando el sistema se utilice a gran escala y en entornos que sus creadores no controlan.
La analogía con el automóvil también pone el foco en la regulación. Los vehículos se diseñan con límites de velocidad, sistemas de seguridad, pruebas y requisitos legales porque sus riesgos son conocidos y afectan directamente a la sociedad. Los modelos de IA, en cambio, avanzan en muchos casos más deprisa que las normas destinadas a supervisarlos.
Más responsabilidad para las empresas que entrenan modelos
El llamamiento de los profesionales no se limita a pedir prudencia a los usuarios. La responsabilidad principal, sostienen, debe recaer en las compañías que recopilan datos, entrenan modelos y deciden cómo se ponen a disposición del público.
Estas empresas tienen capacidad para establecer barreras de seguridad, realizar auditorías independientes y retirar funciones que presenten riesgos desproporcionados. También pueden documentar con mayor transparencia los datos utilizados, las limitaciones conocidas del sistema y las pruebas realizadas antes de su lanzamiento.
La cuestión es especialmente relevante con los modelos generativos, capaces de producir texto, imágenes, audio, vídeo y código. Su versatilidad permite utilizarlos en educación, sanidad, investigación o atención al cliente, pero también para crear desinformación, automatizar fraudes, suplantar identidades o generar contenidos perjudiciales a gran velocidad.
El desafío de controlar sistemas cada vez más autónomos
El debate se intensifica ante la posibilidad de desarrollar sistemas más autónomos y próximos a lo que algunos expertos denominan superinteligencia. Se trata de una hipótesis en la que una IA podría superar ampliamente las capacidades humanas en un amplio conjunto de tareas, con consecuencias difíciles de prever.
Aunque ese escenario todavía forma parte de la discusión científica y empresarial, sus posibles efectos ya influyen en la forma de abordar la seguridad de la IA. Para los críticos de la carrera sin límites, esperar a que aparezcan daños concretos para actuar sería una estrategia demasiado arriesgada.
Por eso, entre las medidas reclamadas suelen figurar:
- Evaluaciones de seguridad antes y después del lanzamiento de un modelo.
- Pruebas realizadas por equipos independientes de las compañías desarrolladoras.
- Mayor transparencia sobre los datos, los objetivos y las limitaciones de cada sistema.
- Protocolos para frenar o retirar modelos cuando se detecten riesgos graves.
- Reglas claras sobre la responsabilidad legal de las empresas y sus directivos.
Innovar sin confundir velocidad con progreso
La posición de Troncoso y del resto de firmantes no plantea detener la investigación en inteligencia artificial. El objetivo es introducir una reflexión sobre el ritmo y las condiciones de ese desarrollo. La innovación, sostienen, no debería medirse únicamente por el tamaño de un modelo, la cantidad de datos empleados o la rapidez con la que llega al mercado.
El desafío para la industria será demostrar que sus sistemas son suficientemente seguros, comprensibles y controlables antes de integrarlos en servicios esenciales. Para las administraciones, la tarea consistirá en crear normas capaces de proteger a los ciudadanos sin bloquear los usos beneficiosos de la tecnología.
La advertencia de la investigadora española resume una preocupación cada vez más extendida: que la capacidad técnica avance mucho más deprisa que la responsabilidad necesaria para gestionar sus consecuencias. En la carrera por construir la inteligencia artificial más potente, establecer límites puede ser tan importante como mejorar sus prestaciones.
