Lost in translation, lost in the middle: la IA y el olvido

La ventana de contexto es, dicho de forma simple, todo lo que una IA tiene delante en un momento dado de la conversación, tu primer mensaje, sus respuestas, los documentos que has subido, todo. Hace un año escribí sobre el síndrome de Dory, ese momento en que la IA parece olvidar algo que le dijiste al principio de un hilo largo, sencillamente porque ya no cabe. Un año después, los modelos vienen con ventanas mucho más grandes y con sistemas que comprimen la conversación automáticamente para que nada relevante se quede fuera. ¿Nada? Ahí es donde quiero pararme hoy, porque tener más espacio no significa prestar atención de forma pareja a todo lo que hay dentro. Vamos a explorar cómo la IA gestiona el contexto.

Lost in the middle

No sé si recordáis Lost in Translation, la película de Sofia Coppola con Bill Murray y Scarlett Johansson. Yo si. Unos amigos me recomendaron no verla, decían que era muy mala. Pasó el tiempo, seguí con mi vida, olvidé su recomendación y pagué la entrada de cine correspondiente. ¿Era mala? A mí me encantó, y precisamente la parte que a otros les pareció lenta y pesada, ese tramo en el que Coppola transmite el hastío y el aislamiento de Bill Murray en Tokio, fue lo que más me gustó porque me hizo sentir igual que el protagonista.

Recupero la película porque olvidé una recomendación y ese olvido resultó positivo, y porque el nombre en inglés se parece al fenómeno del que quiero hablar, lost in the middle, perdido en el medio. Describe algo muy concreto, cuando le das a la IA una conversación larga, presta más atención a lo primero que le dijiste y a lo último, y pierde fuerza justo en el tramo intermedio. La información no ha desaparecido, sigue ahí, técnicamente cabe en la ventana, pero el modelo le dedica menos peso por estar en el centro. Es distinto del problema de Dory, aquello era un problema de espacio, esto es un problema de atención.

Y aquí está la parte incómoda de la pregunta que dejé abierta. Los sistemas de compresión que usan hoy Claude o ChatGPT cuando una conversación crece deciden qué conservar y qué resumir, pero lo hacen basándose en ese mismo mecanismo de atención desigual. Si el modelo ya presta menos atención a lo que hay en medio, es razonable pensar que también será lo primero que sacrifique al comprimir. Más ventana no soluciona el sesgo, solo lo aplaza un poco más.

Esto cambia cómo conviene comportarse. Si mezclas varios temas en un mismo hilo largo, el modelo sigue prestando su atención privilegiada a lo primero del hilo y a lo último dicho, pero si lo último ya no tiene que ver con lo del comienzo del hilo, la atención se divide entre lo que importa y lo que no. Pienso en un pastor, sabe exactamente hacia dónde debe ir el rebaño, son las ovejas las que se desvían, y su trabajo es recordarles sin descanso la dirección correcta. Con la IA, ese pastor eres tú, y la conversación es tu forma de mantener el rebaño en su sitio.

De ahí salen tres hábitos que uso desde hace tiempo y que sí funcionan. Cambio de conversación en cuanto cambio de tema, para que el hilo no arrastre señales de un asunto distinto compitiendo por la atención. Convierto los PDF a markdown antes de subirlos, porque el modelo procesa mejor un texto limpio que un documento con ruido de formato. Y uso Proyectos en vez de subir documentos sueltos en cada chat, porque el contexto persiste de forma estable, sin depender de qué decida priorizar el sistema de compresión cuando el hilo se alarga.

Ninguno de estos trucos hace que la IA sea infalible, solo te devuelve el control sobre qué es lo que de verdad debe mirar. Y quizá ahí está lo interesante, no se trata de exigirle a la máquina una memoria perfecta que ni nosotros tenemos, sino de asumir que, igual que recordamos el principio y el final de una película y olvidamos su tramo central, la IA necesita que alguien le recuerde constantemente hacia dónde caminar.

Sígueme

Conectando tecnología y vida cotidiana de forma sencilla.
Sigue explorando con Curiosidad Artificial