Computación y Autodiff
Una función matemática no se entrena sola: hay que representarla como operaciones sobre arrays, ejecutarla en un orden definido, diferenciarla, planificarla sobre hardware y observarla bajo precisión finita.
Modelo mental
El forward pass crea valores y dependencias. El autodiff reverso recorre esas dependencias hacia atrás, multiplica derivadas locales y acumula cada camino que llega a un parámetro compartido. Las librerías de tensores agregan shapes, kernels vectorizados, devices, memoria y sincronización.
Nota fundacional actual
Roadmap
Shapes y strides · vectorización · compute graphs · motor de autodiff reverso · forward mode · floating point y mixed precision · randomness y reproducibilidad · GPUs y kernels.
Conecta con: Matemática para IA · Deep Learning · Sistemas de Inferencia
Fuentes principales
- PyTorch Autograd mechanics — comportamiento del motor de producción.
- JAX automatic differentiation — transformaciones y productos Jacobiano-vector.
- micrograd — implementación compacta para estudiar el mecanismo.