Como uma fórmula de 1847 treina o ChatGPT: a descida do gradiente de Cauchy

A fórmula que ensinou a IA a escrever

ChatGPT e outros modelos de linguagem modernos são treinados com um algoritmo que surgiu em 1847. É a descida do gradiente:

w ← w − η∇L

Sem ela, nenhuma rede neural moderna existiria. O método não foi inventado pela OpenAI nem pelo Google, mas na França há quase 180 anos, quando o matemático Augustin-Louis Cauchy buscava uma forma mais rápida de calcular o movimento dos corpos celestes.

Imagine que você está em uma montanha coberta por um nevoeiro denso. Você não vê o vale, mas sente a inclinação sob os pés. Dá um passo na direção da descida mais íngreme, mede novamente a inclinação e dá outro passo. Assim, passo a passo, chega ao vale.

Uma rede neural funciona pelo mesmo princípio:

• A montanha representa os erros do modelo, ou seja, a função de perda.
• O vale é a região onde os erros são mínimos e as respostas são mais precisas.
• Cada passo é uma atualização dos parâmetros do modelo.
• A inclinação é o gradiente, a direção em que o erro cresce mais rapidamente.

A única diferença é que essa montanha não tem três dimensões, mas bilhões de parâmetros. Por isso, treinar IA moderna exige enorme poder computacional e implementação matemática cuidadosa.

Cauchy calculava órbitas planetárias, enquanto sua fórmula se tornou a base de máquinas que escrevem texto, respondem perguntas e geram imagens.