⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#context-window#kv-cache#inference

Ventana de contexto y KV cache

La ventana de contexto es todo lo que el modelo puede "ver" a la vez: system prompt, historial, documentos recuperados, el mensaje del usuario y los tokens que ya generó. Es toda la memoria de trabajo del modelo; nada fuera de ella existe para el modelo.

La ventana es un presupuesto duro

Medida en tokens, la ventana es finita (desde unos pocos K hasta ~1M según el modelo). Todo compite por ella: instrucciones, ejemplos few-shot, contexto recuperado y la conversación en curso. Cuando se llena, algo debe descartarse o resumirse: ese es todo el trabajo de context engineering. El modelo no tiene memoria entre llamadas; la persistencia es algo que vos diseñás poniendo de nuevo las cosas correctas en la ventana.

El KV cache: por qué la generación es rápida

La generación es autoregresiva: un token por vez, cada uno condicionado por todos los anteriores. Ingenuamente, cada token nuevo tendría que reprocesar toda la secuencia. El KV cache guarda las Keys y Values de attention ya calculadas para tokens previos, así cada paso nuevo solo calcula attention para el nuevo token contra el pasado cacheado. Sin eso, las generaciones largas serían insoportablemente lentas.

El costo: el cache crece con la longitud de secuencia y consume memoria GPU; a menudo ese es el límite real de cuán largo puede ser el contexto que servís y cuántos requests entran en una GPU. Por eso los contextos largos son caros tanto en latencia como en dinero.

Implicancias prácticas

  • Prompt caching: los providers pueden cachear el KV de un prefijo estable (un system prompt o documento largo), así las llamadas repetidas evitan recalcularlo: más barato y rápido. Poné lo estable primero.
  • Más contexto ≠ mejor: más allá del costo, la calidad se degrada (lost in the middle). Curá, no vuelques todo.
  • El costo cuadrático de attention es la razón por la que todo esto importa.

Conecta con: presupuesto de tokens · límites de long context · context engineering

Notas relacionadas

Modelos de Lenguaje y FundacionalesFrom prompt to generated tokenTrace one autoregressive step through tokenization, embeddings, transformer blocks, logits, probability shaping, sampling, and the KV cache.Modelos de Lenguaje y FundacionalesQuantization e inferenciaQuantization achica un modelo bajando la precisión numérica, intercambiando un poco de calidad por grandes mejoras de memoria y velocidad. Las bases y las perillas...Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...