⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#transformers#architecture#gpt

El decoder transformer

Todo LLM estilo GPT tiene la misma forma: convertir tokens en vectores, pasarlos por una pila de bloques idénticos y leer una distribución de probabilidad sobre el próximo token. Entender ese pipeline desmitifica a toda la familia.

El pipeline, de punta a punta

  1. Tokenizá el texto en IDs enteros (tokenization).
  2. Embeddeá cada token en un vector y agregá un positional encoding para representar el orden.
  3. N bloques transformer, cada uno haciendo dos cosas: - Masked self-attention: cada token mezcla información de tokens anteriores (ver attention). - Feed-forward network (FFN/MLP): una transformación no lineal por token donde se almacena buena parte del "conocimiento" del modelo. Ambos están envueltos en conexiones residuales + LayerNorm, que es lo que permite entrenar decenas de bloques apilados.
  4. Unembeddeá el vector final hacia logits sobre el vocabulario; softmax → probabilidades del próximo token (decoding elige uno).

"Decoder-only" y enmascaramiento causal

La propiedad clave: un token solo puede atender a tokens anteriores (una máscara causal). Esto hace que el modelo sea autoregresivo: predice cada próximo token a partir del contexto izquierdo, que es exactamente lo que requieren el pretraining de próximo token y la generación. (El transformer original también tenía un encoder; los LLMs generativos modernos lo eliminan y se quedan con el decoder.)

Dónde viven los parámetros

  • Attention rutea información entre posiciones (relaciones, sintaxis, correferencia).
  • Capas FFN contienen aproximadamente dos tercios de los parámetros y actúan como la memoria asociativa del modelo para hechos y patrones.
  • Profundidad (más bloques) y ancho (vectores más grandes) son las perillas principales de scaling.

Trampa

La arquitectura es pequeña y repetitiva: unos pocos cientos de líneas de código. La capacidad viene de escala y datos, no de una genialidad arquitectónica. No busques la magia en el diagrama; está en los billones de tokens de entrenamiento.

Conecta con: attention · pretraining · tokenization

Notas relacionadas

Modelos de Lenguaje y FundacionalesMapa de attention del transformerUna nota conceptual corta sobre attention como ruteo entre representaciones de tokens.Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...