Pangram atribuye un 99% de texto generado por IA a la novela ganadora del Premio Almadía Ventosa-Arrufat
La novela Donde el agua trabaja, del escritor peruano David Silva Rojas, ha quedado bajo sospecha después de que el detector Pangram estimara que el 99% de su contenido habría sido generado por inteligencia artificial. La obra ganó en julio el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros, tras imponerse entre más de 2.200 manuscritos procedentes de 22 países.
El caso resulta especialmente delicado porque las bases del certamen prohibían expresamente el uso total o parcial de herramientas de IA. El reglamento establecía que cualquier indicio podía implicar la descalificación de la obra, incluso después de la resolución del premio.
El resultado de Pangram ha provocado dudas sobre el proceso de selección, la actuación del jurado y la responsabilidad del autor y de la editorial. Sin embargo, el porcentaje ofrecido por el sistema no constituye por sí mismo una prueba definitiva de autoría ni permite conocer con precisión cómo se habría utilizado una herramienta de inteligencia artificial.
Qué es Pangram y qué mide su análisis
Pangram es un clasificador de texto basado en redes neuronales. Este tipo de sistema se entrena con grandes cantidades de documentos humanos y textos producidos por modelos de lenguaje para identificar patrones estadísticos que puedan distinguir unos de otros.
En términos sencillos, el detector no reconoce una firma invisible de ChatGPT ni puede observar el proceso de escritura. Analiza aspectos como la elección de palabras, la estructura de las frases, la previsibilidad del texto y la regularidad del estilo para calcular la probabilidad de que haya intervenido una IA generativa.
La compañía que desarrolla Pangram asegura que su tecnología está diseñada para reducir los falsos positivos, es decir, los casos en los que un texto escrito por una persona se clasifica erróneamente como generado por una máquina. También afirma que el sistema puede analizar una obra por secciones y que está preparado para no penalizar especialmente a quienes escriben en una lengua que no es la materna.
Según los datos comunicados por la empresa, su tasa de falsos positivos sería del 0,0041% y la de falsos negativos, del 0,34%. Una evaluación independiente de la Universidad de Chicago concluyó que Pangram tendía a etiquetar como humanos menos textos humanos que otros detectores comerciales.
Un análisis con controles previos
La revisión no se habría limitado a Donde el agua trabaja. También se analizaron 175 novelas de éxito para comprobar el comportamiento de la herramienta en distintos tipos de literatura. El resultado más llamativo fue que cuatro de cada diez superventas autopublicados en Amazon presentaban al menos un 25% de contenido que Pangram relacionaba con el uso de IA.
El procedimiento incluyó varios grupos de control. Por un lado, se examinaron 56 libros publicados entre 2019 y 2020, antes de la popularización de ChatGPT, que obtuvieron un resultado del 0% de contenido generado por IA. Por otro, se utilizaron textos creados artificialmente para comprobar que el detector era capaz de identificarlos.
También se analizaron obras de autores reconocidos, entre ellos Javier Cercas, Isabel Allende y Antonio Muñoz Molina. Todos los textos fueron clasificados como humanos. Estos controles respaldan la utilidad del sistema para detectar ciertos patrones, aunque no eliminan sus limitaciones.
Un detector no es una prueba de autoría
El principal problema es que un porcentaje de probabilidad no explica qué papel ha desempeñado una persona y cuál una herramienta automática. Un texto puede haber sido redactado por una IA, corregido parcialmente, reescrito por un autor o construido a partir de ideas y fragmentos generados previamente.
La fiabilidad de estos sistemas también puede cambiar cuando el texto se modifica. En algunas pruebas, ensayos escritos originalmente por personas y alterados de forma sustancial por una herramienta de IA fueron clasificados como humanos en el 41% de los casos. Además, se han documentado resultados distintos al añadir espacios, cambiar palabras o variar la longitud de la muestra.
La longitud es otro factor relevante. Los detectores suelen trabajar mejor con grandes volúmenes de texto que con fragmentos breves, en los que hay menos señales estadísticas que analizar. Un resultado obtenido sobre una página no tiene necesariamente el mismo valor que el procedente de una novela completa.
La investigación deberá ir más allá del porcentaje
La detección automática puede servir para abrir una investigación, pero no debería cerrar por sí sola un caso de posible fraude. Para determinar si se incumplieron las bases del premio sería necesario revisar borradores, metadatos, versiones previas, notas de trabajo y el proceso de edición, además de escuchar las explicaciones del autor y de la editorial.
El debate tampoco se reduce a decidir si una obra es humana o artificial. La cuestión central es cuánto se utilizó la IA y con qué finalidad: generar ideas, proponer una estructura, corregir el estilo o escribir capítulos completos son prácticas muy diferentes desde el punto de vista editorial y ético.
En este caso existe, no obstante, una condición concreta: el concurso prohibía cualquier uso parcial o total de estas herramientas. Por eso, un resultado del 99% puede justificar una revisión exhaustiva, pero no debería confundirse con una sentencia automática.
La paradoja es evidente: una inteligencia artificial puede terminar actuando como árbitro para decidir si otra inteligencia artificial participó en la creación de una obra. Si se produce un falso positivo, el daño para la reputación de un escritor puede ser inmediato; si hay un falso negativo, el sistema puede no detectar una infracción. La literatura, por ahora, sigue necesitando pruebas humanas para resolver una controversia que los porcentajes no pueden explicar por completo.
