Un solo error de la inteligencia artificial podría agravar la desconfianza en la ciencia
La inteligencia artificial avanza con rapidez en ámbitos como la investigación biomédica, el diagnóstico clínico y el análisis de grandes volúmenes de datos. Sin embargo, su incorporación también plantea un riesgo que va más allá de los fallos técnicos: un error visible y grave podría deteriorar todavía más la confianza del público en la ciencia y en la medicina.
David Relman, catedrático de microbiología en la Universidad de Stanford, resume la amenaza con una advertencia contundente: Basta un error para destruir en un segundo la confianza que le queda al público en la ciencia y en la medicina. Su reflexión pone el foco en la responsabilidad de las empresas y las instituciones que desarrollan o utilizan estas herramientas.
La precisión no basta si no existe confianza
Los sistemas de inteligencia artificial pueden procesar información a una velocidad difícil de igualar por los equipos humanos. En medicina, esta capacidad puede ayudar a detectar patrones, priorizar pruebas o acelerar determinadas tareas de investigación. Pero su utilidad depende también de que sus resultados sean comprensibles, verificables y utilizados bajo supervisión profesional.
Un sistema puede ofrecer respuestas convincentes y, al mismo tiempo, contener errores, datos incompletos o conclusiones mal interpretadas. El problema se vuelve especialmente delicado cuando la herramienta interviene en decisiones relacionadas con la salud, la seguridad o la investigación de agentes biológicos.
En estos ámbitos, una equivocación no solo puede afectar a un paciente o a un proyecto concreto. También puede alimentar la percepción de que la tecnología se está desplegando antes de comprender sus consecuencias. Esa reacción resulta especialmente sensible en un momento en el que parte de la población ya cuestiona las recomendaciones de expertos, organismos sanitarios y centros de investigación.
Las empresas refuerzan sus sistemas de seguridad
Ante este temor, las compañías tecnológicas han comenzado a reforzar sus sistemas de seguridad. Entre las medidas habituales se encuentran las evaluaciones previas al lanzamiento, los controles de acceso, la supervisión humana y la revisión de las respuestas que puedan implicar riesgos médicos o biológicos.
También se presta una atención creciente a la capacidad de los modelos para rechazar determinadas peticiones, detectar usos potencialmente peligrosos y limitar la generación de instrucciones que puedan facilitar daños. Estas barreras no eliminan todos los riesgos, pero pueden reducir la probabilidad de que un fallo se convierta en un incidente de mayor alcance.
- Evaluaciones independientes antes de poner un sistema a disposición del público.
- Supervisión de expertos en medicina, microbiología, ética y seguridad.
- Registro y análisis de los errores para corregirlos con rapidez.
- Restricciones específicas en consultas relacionadas con salud o agentes biológicos.
- Información clara sobre las limitaciones y el nivel de fiabilidad de cada herramienta.
La supervisión humana sigue siendo imprescindible
La automatización no debería confundirse con la sustitución del criterio profesional. En el entorno sanitario, una recomendación generada por IA debe considerarse un apoyo y no un diagnóstico definitivo. La decisión final requiere contexto, experiencia y la posibilidad de contrastar la información con otras pruebas.
El mismo principio se aplica a la investigación. Un modelo puede sugerir hipótesis o ayudar a organizar resultados, pero sus propuestas deben someterse a métodos científicos convencionales, revisión por pares y comprobaciones independientes. La velocidad de una herramienta no puede sustituir a la validación de sus conclusiones.
La transparencia será otro elemento decisivo. Los usuarios necesitan saber cuándo interviene una inteligencia artificial, qué datos utiliza y cuáles son sus límites. Cuando una organización oculta un error o presenta como infalible un sistema que no lo es, el daño reputacional puede ser mayor que el provocado por el fallo inicial.
Un desafío tecnológico y social
La advertencia de Relman no plantea necesariamente un rechazo a la inteligencia artificial. Más bien subraya que su desarrollo debe avanzar acompañado de controles sólidos, normas claras y una comunicación responsable. La confianza pública no se construye con promesas, sino con resultados reproducibles, mecanismos de rendición de cuentas y capacidad para reconocer los errores.
El reto consiste en aprovechar el potencial de la IA sin trasladar sus riesgos a pacientes, investigadores o ciudadanos. Para ello, las empresas deberán demostrar que la seguridad forma parte del diseño desde el principio y no es una respuesta improvisada después de un incidente.
En ciencia y medicina, la credibilidad es un activo difícil de recuperar una vez perdido. Por eso, cada nuevo sistema debe evaluarse no solo por lo que es capaz de hacer, sino también por la forma en que puede fallar y por las consecuencias de esos fallos.
