⌘K
ENES
GitHub
conceptMachine Learning Estadístico~1 min de lecturaActualizado 2026-06-07#machine-learning#regression#classification#baseline

Regresión lineal y logística

Estos son los primeros modelos a probar y los últimos en jubilar por completo. Son rápidos, interpretables, difíciles de overfittear y, crucialmente, una sola neurona en una red neuronal es uno de ellos. Entendé estos y deep learning se vuelve menos misterioso.

Regresión lineal: predecir un número

Ajustá una suma ponderada de features para predecir un valor continuo: ŷ = w·x + b. Entrená minimizando error cuadrático mediante gradient descent (o una solución cerrada). Cada peso es legible: "manteniendo lo demás fijo, +1 acá mueve la predicción en wᵢ".

Supuestos que conviene conocer: relación más o menos lineal, errores no brutalmente heteroscedásticos, features no perfectamente colineales. Rompelos fuerte y los coeficientes se vuelven inestables o engañosos.

Regresión logística: predecir una probabilidad

Para clasificación, envolvé el mismo score lineal en una sigmoid para comprimirlo a [0, 1]: una probabilidad más o menos calibrada. Entrená con loss de cross-entropy. A pesar del nombre, es un clasificador. Un threshold (default 0.5, pero tunealo; ver métricas) convierte la probabilidad en una decisión.

Una regresión logística es exactamente la capa de salida de una red neuronal de clasificación. La parte "deep" solo aprende mejores features para alimentarla.

Por qué siguen siendo el baseline default

  • Rápidos para entrenar y predecir, incluso con muchos datos.
  • Interpretables: los coeficientes se pueden inspeccionar, algo clave para confianza y debugging.
  • Difíciles de overfittear con regularización, excelentes cuando los datos son limitados.
  • Un buen score acá significa que un modelo complejo debe ganarse el riesgo adicional.

Trampa

Los modelos lineales necesitan features razonables: escalalas, codificá categóricas y agregá términos de interacción/no lineales a mano, porque el modelo no puede descubrirlos por sí solo (ese es el sesgo inductivo lineal).

Conecta con: regularización · gradient descent · la neurona dentro de una red

Notas relacionadas

Machine Learning EstadísticoEl workflow de aprendizaje supervisado, de punta a puntaEl loop repetible desde encuadrar el problema hasta desplegar un modelo, y por qué un baseline tonto es el primer modelo más valioso que construís.Machine Learning EstadísticoClustering y PCA: aprender sin etiquetasLas dos herramientas no supervisadas más útiles: encontrar grupos con k-means y comprimir/visualizar datos con PCA (y cuándo usar UMAP).Machine Learning EstadísticoCross-validation bien hechaCómo estimar rendimiento sin desperdiciar datos ni engañarte: k-fold, stratified, grouped, time-series y la nested CV que requiere el tuning.Machine Learning EstadísticoÁrboles de decisión y ensembles (RF, gradient boosting)Por qué los árboles con gradient boosting siguen siendo el ganador default en datos tabulares, y cómo bagging y boosting doman la inestabilidad de un solo árbol.