Por qué la IA parece olvidar lo que le dijiste al principio: tokens y ventana de contexto, sin jerga
Una conversación larga con un chatbot puede empezar con una instrucción muy clara y terminar de otra manera. Si al principio pides un tono formal y sin emojis, pero 40 mensajes después aparece un icono o el estilo se vuelve más relajado, no tiene por qué tratarse de un fallo puntual. Es una consecuencia de cómo los modelos de inteligencia artificial procesan el texto.
La explicación está en dos conceptos: tokens y ventana de contexto. El primero describe las piezas en las que el modelo divide el lenguaje; el segundo, la cantidad de información que puede manejar durante una conversación. Incluso con ventanas de un millón de tokens, la IA no recuerda todos los elementos con la misma precisión.
Qué es un token y por qué no equivale exactamente a una palabra
Antes de analizar una petición, un modelo de lenguaje fragmenta el texto en unidades más pequeñas llamadas tokens. Un token puede ser una palabra corta, una parte de una palabra, un signo de puntuación o incluso un espacio, dependiendo del sistema y del idioma.
En inglés, por ejemplo, una palabra breve y habitual como the puede ocupar un solo token, mientras que tokenization puede dividirse en varias piezas. En español las equivalencias cambian, por lo que las reglas aproximadas utilizadas para el inglés no deben aplicarse como una conversión exacta.
Los tokens sirven para calcular cuánto texto puede procesar un modelo y, en muchos servicios, también cuánto cuesta utilizarlo. Una conversación no solo incluye las preguntas del usuario: también suma las respuestas anteriores, los documentos adjuntos y las instrucciones del sistema.
La ventana de contexto es la memoria de trabajo
La ventana de contexto es el espacio de trabajo que el modelo tiene disponible para generar una respuesta. No es una memoria permanente ni equivale a todo lo que el sistema conoce gracias a su entrenamiento. Es, más bien, el conjunto de información que puede tener presente en ese momento.
En un chat, cada nuevo turno se añade a ese espacio. Cuando la conversación crece, también lo hace la cantidad de tokens que el modelo debe revisar. Si se alcanza el límite, el sistema tiene que eliminar parte de los mensajes, resumirlos o aplicar otros mecanismos para hacer sitio.
Las cifras actuales son muy elevadas. Algunas API para desarrolladores ofrecen ventanas de hasta un millón de tokens, una capacidad que puede equivaler, de forma aproximada, a decenas de miles de líneas de código o a varias novelas en inglés. Sin embargo, el límite de una aplicación de chat puede ser diferente y depende del modelo, el producto y el plan contratado.
Los modelos de razonamiento consumen tokens que no siempre se ven
En los modelos diseñados para resolver problemas complejos hay otro factor: los tokens de razonamiento. El sistema puede realizar pasos internos antes de mostrar la respuesta final. Aunque esos pasos no sean visibles para el usuario, ocupan espacio dentro de la ventana de contexto y pueden contabilizarse como parte del uso.
Por eso, una respuesta aparentemente breve no siempre implica un consumo pequeño. Una operación matemática, un análisis de código o una tarea con varias condiciones puede requerir muchos más tokens internos de los que muestra el resultado.
El efecto Lost in the Middle: la información del centro se pierde antes
Disponer de una ventana grande no significa que el modelo preste la misma atención a todo lo que contiene. Las investigaciones sobre contextos extensos han identificado un patrón conocido como Lost in the Middle, que puede traducirse como perderse en la parte intermedia.
El rendimiento suele ser mejor cuando el dato importante aparece al principio o al final del contexto. En cambio, puede empeorar cuando esa información queda enterrada entre muchos mensajes, instrucciones o documentos. El resultado se parece a una curva en forma de U: los extremos se procesan mejor que el centro.
Este comportamiento se observó en tareas como responder preguntas basadas en varios documentos o localizar un dato dentro de una lista extensa. Los modelos han mejorado desde los primeros estudios sobre el fenómeno, pero la documentación técnica actual sigue advirtiendo de que la precisión puede degradarse cuando aumenta demasiado el contexto.
Seis hábitos para que la IA no pierda instrucciones importantes
- Repite las reglas esenciales. Si el tono, el formato o las restricciones son importantes, recuérdalos al principio de cada bloque de trabajo y no solo en el primer mensaje.
- Coloca lo prioritario al principio y al final. Resume las instrucciones clave al abrir la conversación y vuelve a incluirlas justo antes de pedir la respuesta definitiva.
- Divide las tareas largas. Es mejor trabajar por fases que mantener durante horas un único chat con documentos, correcciones y objetivos mezclados.
- Usa resúmenes intermedios. Pide al modelo que sintetice las decisiones tomadas, los requisitos y los asuntos pendientes antes de continuar.
- Separa documentos y objetivos. Indica qué archivo debe analizar, qué información es relevante y qué resultado esperas. Pegar todo sin estructura dificulta la recuperación de datos.
- Abre una conversación nueva cuando cambie el proyecto. Un chat limpio reduce el ruido y evita que instrucciones antiguas compitan con las actuales.
La idea de que una ventana de un millón de tokens equivale a una memoria infinita resulta engañosa. La capacidad es enorme, pero la atención no se distribuye de forma uniforme y los resúmenes automáticos pueden perder detalles concretos.
La clave para utilizar bien la IA no está en introducir todo lo posible, sino en decidir qué información necesita el modelo, cómo organizarla y cuándo volver a destacar lo importante. Una conversación más corta y estructurada suele ser más fiable que un chat interminable lleno de contexto.
