⌘K
ENES
GitHub
phase~1 min de lecturaActualizado 2026-07-19#phase#training#inference#systems

Fase 03 — Entrenamiento e Inferencia

Entrenamiento e inferencia ejecutan graphs relacionados con restricciones distintas. Training guarda activaciones y gradientes; inferencia optimiza carga, tráfico de memoria, batching, caching y latencia.

Modelo mental

Entrenamiento es medir y actualizar repetidamente; inferencia es ejecutar un graph de sólo lectura bajo scheduling. Ambos están limitados por shapes, memoria, precisión, paralelismo y confiabilidad.

Hoja de ruta por ramas

Conecta con: Fase 02 — Aprendizaje y Modelos · Fase 04 — Contexto y Agencia

Fuentes principales

Notas relacionadas

Sistemas de InferenciaBatching for LLM servingBatching improves GPU utilization, but LLM serving needs dynamic and continuous batching because requests have different prompt and output lengths.Modelos de Lenguaje y FundacionalesVentana de contexto y KV cacheLa ventana de contexto es la memoria de trabajo del modelo; el KV cache es lo que vuelve rápida la generación. Ambos explican por qué los prompts largos cuestan...Sistemas de InferenciaCost modeling for LLM servingLLM serving cost models connect traffic, token counts, model size, hardware, utilization, cache rate, retries, and quality gates.Sistemas de InferenciaFlashAttention and efficient attentionFlashAttention speeds transformer attention by reducing memory reads and writes, making attention more IO-aware.