Donde el agua trabaja aparece como escrita por IA en un 99% según Pangram, pero el detector no es una prueba definitiva
La novela Donde el agua trabaja, del autor peruano David Silva Rojas, se encuentra en el centro de una polémica sobre el uso de inteligencia artificial en la literatura. La obra ganó en julio el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros y seleccionado entre más de 2.200 manuscritos procedentes de 22 países.
Las bases del certamen establecían una condición explícita: las obras no podían haber sido escritas, total o parcialmente, con herramientas de inteligencia artificial. Cualquier indicio en ese sentido podía provocar la descalificación, incluso después de la resolución del concurso.
Tras la publicación del libro en septiembre, un análisis realizado con Pangram atribuye a la novela un 99% de probabilidad de haber sido generada por inteligencia artificial. El resultado ha puesto bajo presión al autor, a la editorial y al jurado, que había destacado precisamente la construcción de la obra y el uso de sus silencios.
Qué es Pangram y qué mide realmente
Pangram es un clasificador de texto basado en redes neuronales. En términos sencillos, se trata de un sistema entrenado con grandes cantidades de textos humanos y generados por modelos de lenguaje para intentar distinguir unos de otros.
La herramienta no identifica de forma directa qué programa se ha utilizado ni puede reconstruir el proceso de escritura. Lo que hace es calcular la probabilidad de que determinados patrones lingüísticos sean más propios de un texto creado por una IA que de uno redactado por una persona.
Entre sus técnicas se encuentran los llamados prompts espejo, que buscan analizar cómo respondería un modelo de lenguaje ante un texto similar, y la revisión por secciones. Sus responsables aseguran que el sistema está diseñado para reducir los falsos positivos, es decir, los casos en los que un texto humano se etiqueta incorrectamente como artificial.
Pangram Labs afirma que su detector presenta una tasa de falsos positivos del 0,0041% y una de falsos negativos del 0,34%. Un falso negativo se produce cuando un texto generado por IA no es detectado. Un estudio independiente de la Universidad de Chicago situó a Pangram como una de las herramientas comerciales menos propensas a clasificar textos humanos como producidos por una máquina.
Una prueba con controles y resultados llamativos
El análisis no se limitó a la novela premiada. También se examinaron 175 obras de éxito. Según los resultados difundidos, cuatro de cada diez superventas autopublicados en Amazon contenían al menos un 25% de texto que Pangram asociaba con inteligencia artificial.
Para comprobar el comportamiento del sistema se utilizaron varios grupos de control. En primer lugar, se analizaron 56 libros publicados entre 2019 y 2020, antes de la popularización de ChatGPT, que obtuvieron un 0% de contenido atribuido a IA. También se introdujeron textos sintéticos creados expresamente con modelos de lenguaje, que el detector identificó como artificiales.
Por último, se examinaron obras de autores reconocidos como Javier Cercas, Isabel Allende o Antonio Muñoz Molina. Todos los textos fueron clasificados como humanos. Estos resultados apuntan a una calibración cuidadosa, pero no eliminan las limitaciones inherentes a cualquier sistema de detección automática.
El porcentaje no demuestra quién escribió la novela
El principal problema es que un 99% no equivale a una prueba de autoría. El resultado puede justificar una investigación y la petición de borradores, notas, versiones previas o cualquier otro material que permita reconstruir el proceso creativo, pero no determina por sí solo qué ocurrió.
Un detector no puede establecer si una IA escribió la obra completa, si corrigió fragmentos, si propuso personajes y tramas o si se utilizó únicamente para reformular determinados párrafos. Tampoco puede diferenciar siempre entre una colaboración permitida y una infracción de las bases de un concurso.
La frontera entre autoría y asistencia puede ser especialmente compleja. En el ámbito editorial existen desde hace décadas obras firmadas por una persona pero redactadas con la colaboración intensiva de periodistas, investigadores o escritores profesionales. El caso de las memorias de deportistas y celebridades, elaboradas por autores no siempre visibles, demuestra que la cuestión no se reduce a una división simple entre humano y máquina.
Los detectores también pueden equivocarse
La fiabilidad de estas herramientas ha sido cuestionada en distintas pruebas. Un texto humano que pasa por una herramienta de IA y después es modificado de forma sustancial puede ser clasificado como humano en una proporción relevante de los casos. Además, pequeños cambios en el formato, la puntuación o incluso los espacios pueden alterar el veredicto.
También se han observado errores cuando se analizan muestras demasiado cortas. Una página aislada ofrece menos información estadística que una novela completa y puede generar resultados inestables. Por ese motivo, un porcentaje elevado debe interpretarse como una señal de alerta, no como una sentencia automática.
OpenAI retiró en el pasado su propio detector de textos generados por IA después de admitir que no alcanzaba una precisión suficiente. La compañía mantiene otras investigaciones sobre identificación de contenido sintético, pero el sector todavía no dispone de un método universalmente fiable.
Un conflicto con consecuencias para el autor
La polémica en torno a Donde el agua trabaja plantea una paradoja: una inteligencia artificial puede convertirse en la herramienta encargada de decidir si otra inteligencia artificial intervino en una obra. Si el resultado es erróneo, el daño reputacional puede ser inmediato, mientras que un falso negativo suele no tener consecuencias visibles.
En este caso, las bases del premio sí establecían una prohibición clara. Por ello, el resultado de Pangram puede ser suficiente para abrir una investigación formal, pero cualquier decisión definitiva debería apoyarse también en pruebas documentales y en las explicaciones del autor y de la organización convocante.
La discusión de fondo no consiste únicamente en saber si se utilizó IA, sino en determinar cuánta intervención hubo, con qué finalidad y si esa intervención contravenía las reglas. Mientras los detectores sigan trabajando con probabilidades, ningún porcentaje, por alto que sea, debería sustituir a una evaluación humana y a un proceso transparente.
