⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#positional-encoding#rope#context

Positional encodings y RoPE

Self-attention trata sus inputs como un conjunto: no tiene una noción inherente de orden. Pero "perro muerde hombre" ≠ "hombre muerde perro", así que la posición debe agregarse explícitamente. Cómo se hace eso determina en silencio hasta dónde puede extender su contexto un modelo.

El problema

Attention calcula relevancia comparando cada token con todos los demás, ignorando dónde están ubicados. Sin información posicional, el modelo no podría distinguir el primero del último. Entonces inyectamos posición en las representaciones de tokens.

De absoluto a rotary

  • Absolute positional encodings (transformer original): agregan un vector dependiente de la posición a cada token embedding. Simple, pero ata el modelo a las posiciones que vio durante entrenamiento, así que extender más allá de la longitud entrenada funciona mal.
  • RoPE (Rotary Position Embedding): el default moderno. En vez de agregar posición, rota los vectores query/key por un ángulo proporcional a la posición. La consecuencia elegante: attention termina dependiendo de la distancia relativa entre tokens, no del índice absoluto.

Por qué RoPE importa para long context

Como RoPE codifica posición relativa, se degrada con más gracia más allá de la longitud de entrenamiento y puede interpolarse/extenderse (scaling NTK/YaRN) para estirar la ventana de contexto de un modelo sin reentrenamiento completo. Eso explica buena parte del salto de contextos de 2K a 128K+ tokens. Igual no vuelve gratis al long context: mirá lost in the middle.

La idea en una línea

Attention no ve orden; los positional encodings restauran el orden. RoPE codifica posición relativa mediante rotación, por eso los modelos long-context actuales se apoyan en él.

Conecta con: attention no ve orden · ventana de contexto · long context

Notas relacionadas

Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...Modelos de Lenguaje y FundacionalesEmergent abilities e in-context learningEl payoff sorprendente de la escala: los modelos aprenden de ejemplos en el prompt sin actualizar pesos. Qué es real sobre emergence y qué es artefacto de métrica.