Cómo una fórmula de 1847 entrena ChatGPT: el descenso de gradiente de Cauchy

La fórmula que enseñó a la IA a escribir

ChatGPT y otros modelos de lenguaje modernos se entrenan con un algoritmo que apareció en 1847. Es el descenso de gradiente:

w ← w − η∇L

Sin él, no existiría ninguna red neuronal moderna. El método no fue inventado por OpenAI ni por Google, sino en Francia hace casi 180 años, cuando el matemático Augustin-Louis Cauchy buscaba una forma más rápida de calcular el movimiento de los cuerpos celestes.

Imagina que estás en una montaña cubierta de niebla espesa. No puedes ver el valle, pero sientes la pendiente bajo tus pies. Das un paso hacia la bajada más pronunciada, vuelves a medir la pendiente y das otro paso. Así, paso a paso, llegas al valle.

Una red neuronal funciona de la misma manera:

• La montaña representa los errores del modelo, es decir, la función de pérdida.
• El valle es la zona donde los errores son mínimos y las respuestas son más precisas.
• Cada paso es una actualización de los parámetros del modelo.
• La pendiente es el gradiente, la dirección en la que el error crece más rápido.

La única diferencia es que esta montaña no tiene tres dimensiones, sino miles de millones de parámetros. Por eso entrenar IA moderna requiere una enorme capacidad de cómputo y una implementación matemática cuidadosa.

Cauchy calculaba órbitas planetarias, mientras que su fórmula se convirtió en la base de máquinas que escriben texto, responden preguntas y generan imágenes.