El propósito de este Blog, es poder entregar algunos comentarios o antecedente que pudiesen ser útil para comenzar a desprendernos a lo menos un poco de nuestro afán individualista y consumista que cada vez nos permite menos disfrutar de nuestra vida en comunidad. Espero que a alguien le pueda servir alguna de las ideas aquí vertidas. ingenierociviluchile@gmail.com; https://n9.cl/arquitecto-ingeniero
El modelamiento de la realidad
La distinción fundamental entre representar la realidad y construir un modelo matemático de la realidad. Y hay un problema conceptual importante cuando alguien exige que un modelo reproduzca exactamente todos los puntos medidos.
En realidad, existen distintas maneras de abordar el problema.
1. La realidad es discreta; el modelo puede ser continuo
Supongamos que medimos diez puntos de una variable. Cada punto representa una observación real, pero no necesariamente conocemos qué ocurre entre ellos.
Podemos construir distintos modelos:
Interpolación: construimos una curva que pasa exactamente por todos los puntos medidos.
Regresión: construimos una curva que intenta representar la tendencia general, minimizando los errores.
Ajuste mediante splines: construimos una curva continua y suave, que puede pasar por los puntos o aproximarse a ellos, dependiendo del método.
Modelos físicos: incorporamos leyes y restricciones que pueden ser más importantes que la coincidencia exacta con las mediciones.
2. El problema de exigir que el modelo pase por todos los puntos
Imaginemos que tenemos mediciones que presentan pequeñas variaciones:
Si obligamos a la curva a pasar por todos los puntos, podemos terminar construyendo una representación que reproduce incluso los errores de medición, las fluctuaciones circunstanciales y el ruido.
Es decir, podemos conseguir una representación perfecta de las observaciones y, paradójicamente, una representación deficiente del fenómeno que queremos comprender.
Esto se conoce como sobreajuste (overfitting).
3. Sobre los extremos es particularmente interesante
El modelo generalmente no pasa por el punto más alto, ni por el más bajo, ni necesariamente por los puntos extremos de izquierda y derecha.
Eso tiene una explicación matemática.
Cuando construimos una regresión, por ejemplo, buscamos minimizar una función de error. En una regresión por mínimos cuadrados:
El modelo no está intentando satisfacer individualmente cada observación. Está intentando encontrar una representación que, en conjunto, tenga el menor error cuadrático posible.
Por eso:
Algunos puntos quedarán por encima del modelo.
Otros quedarán por debajo.
Los extremos pueden presentar diferencias importantes.
La curva puede representar mejor el comportamiento general que cualquiera de los puntos individuales.
4. Hay una diferencia entre equivocarse respecto de un punto y equivocarse respecto de la realidad
Un modelo no necesariamente es malo porque no coincide con todas las observaciones. Es malo cuando no representa adecuadamente el fenómeno que pretende explicar o predecir.
Incluso puede suceder lo contrario: un modelo que pasa exactamente por todos los puntos puede ser menos útil para predecir nuevos valores que otro que no pasa por ninguno de ellos.
Eso sí, hay una salvedad: si los puntos son mediciones exactas, sin incertidumbre, y el objetivo es reconstruir la función que los generó, la interpolación puede ser perfectamente apropiada.
Hay una idea filosófica y científica detrás de esto que vale la pena rescatar:
La realidad no tiene la obligación de acomodarse a nuestro modelo, pero nuestro modelo tampoco tiene la obligación de reproducir cada fluctuación de nuestras observaciones. Tiene la obligación de explicar la realidad con la mayor fidelidad posible.
Y esa fidelidad no se mide exclusivamente por la distancia entre la curva y los puntos medidos. Se mide también por su capacidad explicativa, predictiva y de generalización.
Ejercicio para la vista
👁️ Ejercicios Visuales
Programa de entrenamiento ocular profesional
Seguimiento Horizontal
Sigue el punto rojo con tus ojos sin mover la cabeza. Este ejercicio mejora la coordinación ocular y la flexibilidad de los músculos oculares.
Instrucciones:
- Mantén tu cabeza quieta
- Sigue el punto solo con los ojos
- Parpadea normalmente
- Si sientes molestia, detén el ejercicio
Redes neuronales, IA, son primos cerecanos del método de newton Rapson
Newton Rapson busca solución por iteraciones sucesivas
lo que hace una red neuronal son primos hermanos conceptuales. De hecho, entrenar una red es literalmente aplicar un método iterativo de optimización que busca converger a un mínimo. Déjame mostrarte las analogías exactas.
📐 La analogía directa
Método clásico | Condición de convergencia | Análogo en redes neuronales |
|---|---|---|
Jacobi / Gauss-Seidel | Matriz A diagonalmente dominante | Initialization de pesos pequeña (Xavier/He) |
Gradiente Conjugado | Matriz A simétrica definida positiva (SPD) | Función de pérdida convexa (o casi) |
SOR (sobrerrelajación) | Parámetro ω ∈ (0, 2) | Learning rate η adecuado |
Newton-Raphson | Hessiano no singular, buena aproximación inicial | Optimizadores tipo Adam, L-BFGS |
🔍 ¿Qué es realmente "entrenar" una red?
⚠️ La diferencia fundamental (y por qué es más difícil)
- Problema lineal o convexo → un solo mínimo global
- Convergencia garantizada si se cumplen las condiciones de la matriz
- Velocidad de convergencia conocida (depende del número de condición κ(A))
- Problema NO convexo → miles de mínimos locales y puntos de silla
- Convergencia NO garantizada a un mínimo global
- Velocidad de convergencia depende del paisaje de pérdida (que es caótico)
Visualízalo así:
Métodos numéricos clásicos: Red neuronal: L(w) L(w) \ /\ /\ \ ← un solo valle / \ / \ ← muchos valles \___ / \/ \___ \___ / \___ \___ / \___ \___ / \___ w w1 w2 w3 w4 w5 w (convexo) (no convexo)
🧮 Las "condiciones de la matriz" en redes neuronales
Condición | Significado | Cómo se cumple en la práctica |
|---|---|---|
Hessiano definido positivo (localmente) | La función es convexa en la región | Arquitecturas bien diseñadas + datos suficientes |
Número de condición κ(H) acotado | No hay direcciones "muy elongadas" | Normalización (BatchNorm, LayerNorm) |
Gradiente Lipschitz continuo | El gradiente no cambia bruscamente | Learning rate pequeño, gradient clipping |
Inicialización cercana al mínimo | Empezar en buena región | Inicialización He/Xavier, pre-entrenamiento |
🎓 El teorema que une ambos mundos
Si L es L-smooth (gradiente Lipschitz con constante L) y μ-fuertemente convexa, entonces con η=1/L: L(wk)−L(w∗)≤(1−Lμ)k[L(w0)−L(w∗)]
💡 En resumen
Pregunta | Respuesta |
|---|---|
¿Es lo mismo? | Sí en espíritu: ambos son métodos iterativos que convergen a una solución. |
¿Las condiciones son iguales? | Análogas: diagonal dominante ↔ inicialización buena; SPD ↔ convexidad; ω de SOR ↔ learning rate. |
¿Por qué es más difícil en redes? | Porque el paisaje es no convexo y de alta dimensión (millones de pesos). |
¿Converge siempre? | No garantizado, pero en la práctica converge a "buenos mínimos" si se configura bien. |
🛠️ Lo que hicimos en el programa anterior
- Learning rate alto → como ω muy grande en SOR: diverge (la red se vuelve inestable).
- Learning rate bajo → como ω muy pequeño: converge pero lentísimo.
- Muchas neuronas ocultas → como aumentar el tamaño del sistema: más capacidad pero más riesgo de mal condicionamiento.
- Reiniciar la red → como cambiar la aproximación inicial en Newton-Raphson.
🏔️ Paisaje de Pérdida 3D - Convergencia del Gradiente Descendente
Visualización del paisaje de la función de pérdida L(w₁, w₂) con múltiples mínimos locales (puntos verdes reales). Clic izquierdo para colocar la esfera roja. Clic derecho + arrastrar para rotar la vista.
⚙️ Control
📊 Estado
📐 Analogía con Métodos Numéricos
• Learning rate η ↔ Parámetro ω de SOR
• Momentum β ↔ Sobrerrelajación
• Mínimos locales ↔ Múltiples raíces en sistemas no lineales
• Convergencia ↔ Depende del Hessiano (análogo a la matriz A)
• Clic izquierdo en el canvas → colocar esfera roja
• Clic derecho + arrastrar → rotar vista 3D
• Presiona ▶ Iniciar → la esfera rueda hacia un mínimo
• Prueba diferentes puntos iniciales y learning rates


