⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#long-context#retrieval#context-engineering

Long context y lost in the middle

Las ventanas de contexto explotaron: cientos de miles de tokens, a veces millones. Pero una ventana grande no es lo mismo que usarla bien. Los modelos subatienden de manera confiable el medio de inputs largos, así que "meter todo adentro" es una trampa.

Lost in the middle

En muchos modelos, la precisión sobre un hecho ubicado en un contexto largo tiene forma de U: alta cuando la información relevante está cerca del inicio o el final, y notablemente más baja cuando está enterrada en el medio. Un modelo puede tener una ventana de 200K y aun así "perderse" una oración en la posición 100K. La ventana es la capacidad, no una garantía de attention.

Una preocupación relacionada y más nueva es context rot: a medida que los inputs se vuelven muy largos, la confiabilidad general deriva hacia abajo aunque la respuesta esté técnicamente presente.

Por qué pasa

Los datos de entrenamiento tienen muchos menos documentos genuinamente largos y de importancia uniforme que documentos cortos, y los efectos posicionales + la dilución de attention hacen que la saliencia se concentre en los bordes. El modelo aprendió que los inicios y finales llevan más señal.

Qué hacer

  • Recuperá y después ubicá bien: usá RAG para traer solo lo relevante en vez de volcar todo; poné el contexto más importante al inicio o final, no en el medio.
  • Comprimí: resumí historial y material vencido; mantené la ventana densa en señal (context engineering).
  • Rerankeá para que los mejores chunks queden en las posiciones de alta attention.
  • No pagues por contexto que no necesitás: más tokens = más costo y latencia para resultados a menudo peores.

Tratá la ventana de contexto como espacio caro y sesgado por attention, no como un balde. Curación le gana a capacidad.

Conecta con: ventana de contexto · retrieval y reranking · context engineering

Notas relacionadas

Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...Modelos de Lenguaje y FundacionalesEmergent abilities e in-context learningEl payoff sorprendente de la escala: los modelos aprenden de ejemplos en el prompt sin actualizar pesos. Qué es real sobre emergence y qué es artefacto de métrica.