⌘K
ENES
GitHub
conceptModelos de Lenguaje y Fundacionales~1 min de lecturaActualizado 2026-06-07#llms#tokenization#bpe#tokens

Tokenization: por qué los modelos ven tokens, no palabras

Un LLM nunca ve texto: ve una secuencia de IDs de tokens enteros. Tokenization es la capa de traducción, y una cantidad sorprendente de comportamientos "raros" de los LLMs se rastrean directamente hasta ella.

Por qué subwords (BPE)

Los caracteres hacen que las secuencias sean demasiado largas; las palabras completas hacen que el vocabulario sea enorme y se atragante con palabras raras/nuevas. Byte-Pair Encoding (BPE) parte la diferencia: arranca desde caracteres y fusiona codiciosamente los pares más frecuentes hasta tener un vocabulario de piezas subword. Las palabras comunes se vuelven un token; las raras se dividen en partes ("tokeniz", "ation"). Esto maneja cualquier input, incluso palabras nunca vistas en entrenamiento.

Qué explica tokenization

  • Fallan tareas de ortografía/caracteres ("¿cuántas r hay en strawberry?"): el modelo ve un token, no letras, así que razonar a nivel carácter le resulta poco natural.
  • La aritmética es inestable: los números se tokenizan de forma inconsistente ("1234" puede ser un token, "1235" varios), así que los dígitos no se alinean limpio.
  • Los idiomas no ingleses cuestan más: los tokenizers se entrenan mayormente en inglés, así que otros idiomas se fragmentan en más tokens → más costo y contexto efectivo menor.
  • Espacios finales / formatos raros pueden cambiar la tokenization y mover las salidas.

Economía de tokens

Pagás (en dinero, latencia y presupuesto de contexto) por token, no por palabra. Regla mental aproximada: ~1 token ≈ 4 caracteres ≈ ¾ de palabra en inglés. Estimar cantidad de tokens es esencial para costo y para entrar en la ventana de contexto.

Trampa

Los límites de tokens son invisibles pero tienen consecuencias. Cuando un prompt se comporta raro con números, código o texto no inglés, sospechá de tokenization antes que de la "inteligencia" del modelo.

Conecta con: la arquitectura · presupuesto de contexto · costo por token

Notas relacionadas

Modelos de Lenguaje y FundacionalesFrom prompt to generated tokenTrace one autoregressive step through tokenization, embeddings, transformer blocks, logits, probability shaping, sampling, and the KV cache.Modelos de Lenguaje y FundacionalesModelos base vs instruct vs chatUn modelo base completa texto; un modelo instruct/chat sigue pedidos. El stack de post-training (SFT + preference alignment) que convierte uno en otro.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Modelos de Lenguaje y FundacionalesDecoding y samplingUn modelo emite una distribución de probabilidad; decoding la convierte en texto. Temperature, top-p/top-k, greedy vs sampling: las perillas que controlan...