Un investigador sostiene que las redes neuronales pueden ser mucho más comprensibles de lo que se pensaba
La falta de transparencia de la inteligencia artificial se ha convertido en uno de los principales obstáculos para su desarrollo seguro. Incluso algunos de los científicos que impulsaron los modelos actuales admiten que todavía no saben explicar con precisión cómo organizan la información los grandes sistemas de lenguaje ni por qué llegan a una respuesta concreta.
Nick Cammarata, investigador especializado en interpretabilidad mecanicista en la empresa Goodfire, cree que esta situación podría cambiar. Su hipótesis es que las redes neuronales actuales no son estructuras tan caóticas como aparentan y que, con las herramientas adecuadas, es posible reconstruir buena parte de los mecanismos internos que utilizan.
Su propuesta no demuestra que el problema de la interpretabilidad esté resuelto, pero plantea una vía de investigación ambiciosa. El objetivo es identificar qué representan las neuronas artificiales, cómo se relacionan entre sí y de qué manera esas conexiones permiten a un modelo construir conceptos cada vez más complejos.
El problema de la caja negra
Los modelos de lenguaje se entrenan con enormes cantidades de texto y ajustan miles de millones de parámetros, unos valores numéricos que determinan cómo procesan la información. Durante ese proceso aprenden regularidades, relaciones entre palabras y patrones asociados a conceptos, pero los investigadores no pueden observar fácilmente cómo se almacena todo ese conocimiento.
Por eso se suele describir a estos sistemas como cajas negras. Es posible analizar la entrada y la respuesta, pero resulta mucho más difícil seguir paso a paso las operaciones internas que llevan al modelo a elegir una palabra, clasificar una imagen o generar una explicación.
Esta limitación afecta directamente a la seguridad. Si un sistema produce una respuesta falsa, discriminatoria o peligrosa, conocer el motivo permitiría corregir el comportamiento con mayor precisión. También ayudaría a detectar capacidades no deseadas antes de que aparezcan en productos utilizados por millones de personas.
Investigadores como Geoffrey Hinton y Yoshua Bengio han reconocido que todavía no existe una comprensión completa del funcionamiento interno de las redes neuronales. En el sector tecnológico, responsables como Sam Altman y Dario Amodei también han señalado que los avances en capacidad no han ido acompañados de un conocimiento equivalente sobre los mecanismos internos.
Una nueva interpretación de las neuronas artificiales
El trabajo de Cammarata se centra en la llamada polisemia neuronal. El término describe el comportamiento de una neurona que parece activarse ante conceptos diferentes. En un modelo de visión, por ejemplo, una misma unidad podría reaccionar ante la cara de un gato y la parte frontal de un automóvil.
La explicación más extendida hasta ahora recurría a la superposición. Según esta idea, las redes neuronales tienen un número limitado de unidades y deben aprovechar cada una para representar varias características distintas. La información quedaría, por tanto, comprimida y mezclada dentro de las neuronas.
Cammarata considera que esta interpretación puede ser incorrecta en muchos casos. Su hipótesis es que la neurona no está asociando de forma arbitraria conceptos inconexos, sino que responde a un patrón común. En el ejemplo anterior, podría detectar una forma en V presente tanto en ciertos rasgos de un animal como en el diseño de un vehículo.
Esta diferencia es importante. Si las neuronas reaccionan a propiedades compartidas, analizar la red permitiría descubrir las abstracciones que emplea. La inteligencia artificial no estaría almacenando únicamente objetos o palabras, sino también formas, relaciones y estructuras que conectan elementos aparentemente alejados.
De las letras a las palabras y los conceptos
Otra pieza de la propuesta es la generalización recursiva. Una neurona puede comenzar identificando un patrón sencillo y, a medida que la red aprende, responder también a variantes más elaboradas que contienen ese patrón.
En un modelo de lenguaje, una unidad podría detectar inicialmente una secuencia de letras. Después, esa misma representación podría participar en el reconocimiento de palabras, expresiones o estructuras gramaticales relacionadas. El proceso no sería una agrupación aleatoria, sino el resultado de las conexiones que el modelo ha ido construyendo durante el entrenamiento.
Comprender esta evolución ayudaría a explicar cómo una red neuronal pasa de elementos simples a conceptos abstractos. También podría facilitar la creación de mapas internos del modelo, capaces de mostrar qué circuitos se activan cuando analiza una frase, identifica una intención o genera una predicción.
Los modelos actuales podrían ser más fáciles de estudiar
Una de las conclusiones más llamativas de la investigación es que las redes neuronales modernas podrían ser más interpretables que las primeras generaciones, pese a su mayor tamaño y complejidad.
El investigador atribuye parte de las dificultades históricas a problemas de diseño que perjudicaban el aprendizaje de las capas profundas. También señala que las primeras herramientas de visualización eran limitadas y que algunos métodos de evaluación confundían una explicación convincente con una explicación realmente correcta.
La interpretabilidad mecanicista busca precisamente evitar ese error. No basta con describir qué parece hacer una neurona: es necesario comprobarlo mediante intervenciones, pruebas controladas y análisis de los circuitos que producen cada comportamiento.
Una pieza clave para la seguridad de la IA
La propuesta ha recibido una respuesta positiva en el entorno tecnológico, aunque todavía debe superar la revisión de otros investigadores y demostrar que funciona a gran escala. Los modelos de lenguaje más avanzados contienen miles de millones de parámetros y sus circuitos pueden ser mucho más difíciles de reconstruir que los de sistemas pequeños.
Si la hipótesis se confirma, sus consecuencias serían relevantes. Los desarrolladores podrían localizar con mayor rapidez los mecanismos que provocan errores, manipulación o respuestas inesperadas. También tendrían más herramientas para modificar el comportamiento de un modelo sin alterar capacidades que sí funcionan correctamente.
La transparencia no eliminaría por sí sola todos los riesgos de la inteligencia artificial. Sin embargo, permitiría pasar de observar únicamente los resultados a examinar las causas. Ese cambio sería fundamental para mejorar la alineación de los modelos, es decir, su capacidad para actuar de acuerdo con las instrucciones humanas y con unos límites de seguridad definidos.
Por ahora, las redes neuronales siguen siendo parcialmente opacas. Pero la investigación de Cammarata plantea una posibilidad menos inquietante: quizá el problema no sea que la IA resulte incomprensible por naturaleza, sino que todavía no hemos aprendido a leer correctamente el lenguaje interno con el que está construida.
