Arquitecturas de Modelos
Una arquitectura especifica un cómputo parametrizado y sus sesgos inductivos: qué interacciones son baratas, qué caminos de información existen, qué simetrías codifica y cómo escala el costo.
Modelo mental
Las CNN reutilizan filtros locales; las RNN comprimen historia en estado; attention crea interacciones dependientes del contenido; transformers combinan attention y transformaciones por token con caminos residuales; state-space models propagan estado estructurado; diffusion aprende denoising iterativo.
Nota fundacional actual
Roadmap
CNNs · RNN/LSTM · transformer block · encoder/decoder · mixture of experts · state-space models · perspectivas autoregresivas y energy-based · diffusion · foundation models.
Conecta con: Deep Learning · El decoder transformer · Visión, Audio e IA Multimodal
Fuentes principales
- Deep Learning — fundamentos de arquitecturas neuronales.
- Attention Is All You Need — arquitectura Transformer original.
- An Image is Worth 16x16 Words — Vision Transformer.