⌘K
ENES
GitHub
conceptFundamentos del Aprendizaje~1 min de lecturaActualizado 2026-06-07#foundations#systems#evaluation

Modelos mentales para sistemas de AI

Un sistema de AI es un loop: inputs, comportamiento del modelo, restricciones de producto, señales de evaluación y feedback humano. El modelo es importante, pero no es todo el sistema.

Marcos útiles

  • Modelo como componente: tratá el modelo como un servicio falible dentro de un producto más grande.
  • Distribution shift: preguntá qué cambia entre los ejemplos que testeás y los usuarios que servís.
  • Presupuesto de error: decidí qué fallas son tolerables, visibles, recuperables o inaceptables.

Enlace hacia adelante

Usá esta nota antes de diseñar diseño RAG de primera pasada o escribir un playbook de evaluación.

Notas relacionadas

Fundamentos del AprendizajeMétricas de evaluación y qué escondenAccuracy miente en datos desbalanceados. Precision, recall, F1, ROC-AUC: qué mide cada una y cómo elegir la métrica que coincide con el costo de equivocarse.Fundamentos del AprendizajeSplits train/validación/test y data leakageCómo estimar honestamente el rendimiento real, y las formas sutiles en que se filtra información e infla tus scores.Fundamentos del AprendizajeFeatures, representaciones y la maldición de la dimensionalidadLos modelos no ven el mundo: ven features. Cómo la calidad de la representación decide todo y por qué las dimensiones altas son raras.Fundamentos del AprendizajeGeneralización, overfitting y el tradeoff sesgo-varianzaUn modelo solo sirve si funciona sobre datos que nunca vio. Overfitting, underfitting y el tradeoff que gobierna ambos.