Neural Networks son modelos computacionales inspirados en el cerebro humano, compuestos por capas de neuronas que transforman inputs en outputs mediante weighted sums y funciones de activación.
Neurona
output = activation(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)- Weights (w): parámetros aprendibles.
- Bias (b): offset.
- Activation function: introduce no-linealidad.
Activation Functions
| Función | Fórmula | Uso |
|---|---|---|
| Sigmoid | 1 / (1 + e^-x) | Output binario |
| Tanh | (e^x - e^-x) / (e^x + e^-x) | Hidden layers |
| ReLU | max(0, x) | Hidden layers (default) |
| Softmax | e^x / Σe^x | Output multiclase |
Red Feedforward
Input Layer → Hidden Layer 1 → Hidden Layer 2 → Output LayerCada conexión tiene un weight; cada nodo tiene un bias.
Backpropagation
Algoritmo para calcular gradientes del loss respecto a cada weight:
- Forward pass: computa output y loss.
- Backward pass: aplica chain rule desde output hacia input.
- Update: ajusta weights con optimizer.
Loss Functions
| Tipo | Función | Uso |
|---|---|---|
| MSE | (y_pred - y_true)² | Regresión |
| Binary Cross-Entropy | -[y log(p) + (1-y) log(1-p)] | Clasificación binaria |
| Categorical Cross-Entropy | -Σ y_i log(p_i) | Clasificación multiclase |
Optimizers
| Optimizer | Característica |
|---|---|
| SGD | Simple, puede quedar atrapado en mínimos locales |
| Momentum | Acelera en dirección consistente |
| Adam | Combina momentum + adaptive learning rates |
Aplicaciones
- Computer Vision — CNNs para imágenes
- NLP — Transformers, RNNs, LSTMs
- Speech recognition — RNNs, CTC loss
- Reinforcement learning — Deep Q-Networks (DQN)
- Enseñanza — base para deep learning
Trayectoria de Práctica
- Implementa una neurona desde cero: weighted sum + sigmoid.
- Implementa forward pass de una red simple.
- Investiga backpropagation: traza gradientes para una red 2-2-1.
- Investiga ReLU vs sigmoid: ¿por qué ReLU resuelve vanishing gradient?
- Investiga Adam: ¿por qué es el optimizer por defecto?