El sistema de diagnóstico de Microsoft alcanza un 83,2 % de aciertos, pero el experimento tiene letra pequeña
La revista Science ha publicado un estudio revisado por pares sobre DxO, el sistema de inteligencia artificial con el que Microsoft asegura haber alcanzado un 83,2 % de aciertos en una colección de casos clínicos del New England Journal of Medicine. En la misma prueba, un grupo de médicos generalistas obtuvo un 36,1 %.
El resultado también fue favorable a la IA en un segundo conjunto de datos formado por 325 ingresos reales de urgencias: un 80,3 % de aciertos para DxO frente al 46,8 % de los médicos. Sin embargo, una lectura detallada del estudio muestra que la comparación es más limitada de lo que puede sugerir el titular.
Qué es DxO y cómo funciona
DxO, siglas de Diagnostic Orchestrator, no es un modelo médico creado desde cero por Microsoft. Se trata de una capa de coordinación que utiliza modelos de lenguaje de terceros, en este caso de OpenAI, y los organiza como si fueran un panel de especialistas con funciones complementarias.
El sistema decide qué preguntas hacer, qué pruebas solicitar y cómo combinar la información disponible. Un modelo denominado Gatekeeper actúa como intermediario entre la IA y el expediente clínico. Su función es devolver únicamente los datos que podrían obtenerse en una consulta real.
Cuando una información no aparece en el expediente, el Gatekeeper genera resultados sintéticos neutrales. Así evita que la ausencia de un dato se convierta en una pista indirecta sobre el diagnóstico. La respuesta final la revisa otro modelo, el Judge, mediante una rúbrica de cinco niveles diseñada por médicos.
El estudio considera acertados los niveles 4 y 5. Son aquellos en los que el diagnóstico propuesto sería suficientemente preciso como para no cambiar el manejo del paciente.
Dos pruebas y una comparación desigual
La investigación utilizó 304 casos clínicos publicados por el New England Journal of Medicine y 325 episodios de urgencias procedentes de MIMIC-IV-ED, una base de datos de notas clínicas reales. El primer conjunto contiene casos complejos y didácticos, mientras que el segundo se aproxima más a la documentación habitual de un servicio de urgencias.
Los médicos participaron en dos modalidades. En la prueba a libro cerrado no podían consultar buscadores ni modelos de lenguaje y lograron un 22,3 % de aciertos. En la modalidad a libro abierto sí tuvieron acceso a esas herramientas y llegaron al 36,1 %.
Este último porcentaje es el que se compara con el 83,2 % de DxO. No obstante, existe una diferencia relevante en el tamaño de las muestras: el resultado de la IA se calculó sobre los 304 casos, mientras que la evaluación de los médicos se realizó únicamente sobre 56 casos reservados durante el desarrollo del sistema.
El estudio tampoco publica en su versión final el número de médicos participantes. La versión preliminar indicaba que habían intervenido 21 profesionales, con una mediana de 12 años de experiencia, incluidos especialistas en medicina interna, atención primaria y urgencias.
La IA formula muchas más preguntas
Una de las diferencias más significativas no está en la tasa de aciertos, sino en la estrategia de diagnóstico. Los médicos formularon una media de 5,6 preguntas antes de solicitar la primera prueba. DxO realizó 25,5 preguntas de media.
El sistema obtiene buena parte de su ventaja al ampliar la anamnesis, es decir, la recopilación estructurada de información sobre síntomas, antecedentes y exposiciones. Ese enfoque puede ayudar especialmente en casos relacionados con infecciones poco frecuentes, viajes o contactos ambientales, donde una pista concreta resulta más útil que una batería amplia de pruebas.
La diferencia también tiene implicaciones prácticas. El diagnóstico de DxO requiere más interacción con el expediente y puede aumentar el coste cuando busca el máximo nivel de precisión.
Una simulación sin imágenes ni exploración física
Los resultados no proceden de consultas completas con pacientes. Las sesiones se basaron en expedientes de texto y no incluyeron exploraciones físicas, imágenes médicas, registros de ondas ni preparaciones de anatomía patológica.
Esta limitación es importante porque muchas decisiones clínicas dependen de datos multimodales. Una radiografía, un electrocardiograma, una ecografía o una biopsia pueden cambiar por completo la orientación diagnóstica y no están representados en esta evaluación.
Además, los casos utilizados no reflejan la diversidad habitual de un centro sanitario. Los casos clínicos complejos tienden a sobrerrepresentar enfermedades difíciles y excluyen, en general, a personas sanas o con problemas leves. Por tanto, no permiten estimar bien los falsos positivos ni el comportamiento del sistema ante la mayoría de las consultas rutinarias.
Más precisión no siempre significa menor coste
El análisis económico se realizó con precios CPT y datos públicos de un sistema sanitario estadounidense. Las preguntas de historia clínica y exploración se trataron como parte de un coste fijo de la visita.
En la configuración de mayor precisión, DxO alcanzó el 83,2 % de aciertos con un coste medio estimado de 5.431 dólares. Los médicos lograron el 36,1 % con un coste de 4.725 dólares. En otras palabras, la versión que sustenta el titular no es más barata que la alternativa humana.
La IA sí ofrece una relación más favorable entre coste y precisión en configuraciones menos exigentes: un 80,9 % de aciertos por 2.241 dólares y un 79,6 % por 1.303 dólares. El sistema domina, según el estudio, la frontera entre coste y rendimiento, pero la afirmación de que es simultáneamente más preciso y barato depende de la configuración elegida.
El propio estudio limita sus conclusiones
Los autores advierten de que los resultados no demuestran la superioridad de DxO frente a especialistas, equipos multidisciplinares o la práctica clínica real. La comparación se realiza principalmente con médicos individuales, mientras que el diagnóstico hospitalario suele incluir consultas entre profesionales, derivaciones y pruebas presenciales.
También se reconoce que la rúbrica mide la corrección del diagnóstico a nivel de enfermedad, pero no evalúa la seguridad del tratamiento, la idoneidad terapéutica ni la calidad del seguimiento a largo plazo.
Por ahora, el trabajo presenta una prueba de capacidad diagnóstica en un entorno controlado, no una validación para sustituir a los médicos. Su principal conclusión es más concreta: una IA capaz de preguntar mucho, coordinar varios modelos y analizar grandes volúmenes de información puede superar a profesionales generalistas en determinados casos complejos. Trasladar esa ventaja a pacientes reales exigirá estudios prospectivos, datos multimodales y comparaciones con equipos clínicos completos.
