Análisis de errores: leer los errores de tu modelo

La forma más rápida de mejorar un modelo es mirar en qué se equivoca, no cambiar algoritmos. Un F1 de 0.87 no te dice nada sobre cómo llegar a 0.90. El análisis de errores sí.

Leé primero los errores a mano

Sacá una muestra de predicciones equivocadas y categorizalas. Los patrones aparecen rápido:

• "La mitad de los errores son una categoría mal etiquetada" → corregí las etiquetas.
• "Falla en inputs cortos" → brecha de feature o cobertura de datos.
• "Confiado y equivocado en un subgrupo" → sesgo o shift.

Contar tipos de error te dice el valor esperado de cada arreglo: corregí primero el bucket que es grande y barato.

Sliceá, no promedies

Una métrica agregada puede estar bien mientras un slice crítico está roto. Evaluá siempre por segmento (región, dispositivo, clase, largo de input, tier de cliente). El modelo que tiene 95% de accuracy global pero 60% en tus usuarios de mayor valor es un fracaso vestido de éxito.

Las learning curves diagnostican el cuello de botella

Graficá error de entrenamiento vs validación a medida que crece data/tamaño:

Esto mapea directamente al tradeoff sesgo-varianza.

Trampa

Tunear contra un solo número invita a la ley de Goodhart. Acompañá el score con slices y una matriz de confusión, o vas a optimizar la métrica mientras el producto empeora.

Conecta con: el workflow · métricas · evaluar sistemas