⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#transformers#attention

Mapa de attention del transformer

Attention permite que la representación de un token lea desde representaciones de otros tokens. No es memoria mágica; es un patrón de ruteo aprendido sobre el contexto actual.

Por qué importa

  • Explica por qué el orden y el formato del contexto afectan el comportamiento del modelo.
  • Ayuda a separar problemas de retrieval de problemas de razonamiento o instrucción.
  • Da un modelo mental para límites de contexto, compresión y estructura de prompt.

Chequeo práctico

Cuando un LLM ignora un detalle, preguntate si el detalle era visible, saliente y conectado con la tarea. Después probá con un contexto más chico y más nítido antes de cambiar de modelo.

Notas relacionadas

Modelos de Lenguaje y FundacionalesEl decoder transformerCómo la arquitectura estilo GPT ensambla attention, capas feed-forward, residuales y norms en un predictor causal del próximo token.Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...