Формула 1847 года, которая обучает ChatGPT: градиентный спуск Коши
Градиентный спуск, предложенный Огюстеном Луи Коши в 1847 году для расчёта движения небесных тел, лежит в основе обучения современных нейросетей, включая ChatGPT.
ChatGPT обучается с помощью формулы, которую придумали ещё в 1847 году для расчёта орбит планет.
w ← w − η∇L
Это градиентный спуск, без которого не существовало бы ни одной современной нейросети.
Его придумали не в OpenAI и не в Google, а во Франции почти 180 лет назад, когда математик Огюстен Луи Коши искал более быстрый способ рассчитывать движение небесных тел.
Представьте, что вы стоите на горе, окутанной густым туманом. Подножия не видно, но вы чувствуете уклон под ногами. Вы делаете шаг в сторону самого крутого спуска, снова определяете уклон и делаете следующий шаг. Так, шаг за шагом, вы спускаетесь в долину.
Нейросеть действует по тому же принципу. Гора олицетворяет её ошибки, а долина соответствует правильным ответам. Только у этой горы не три измерения, а миллиарды.
Коши рассчитывал орбиты планет. А его формула научила машины писать.
Почему это важно
АналитикаЭто показывает, что современные языковые модели опираются на классическую математику, а не только на недавние разработки в области ИИ.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Переобучение (Overfitting)
Фундаментальная проблема машинного обучения: модель чрезмерно подстраивается под тренировочный датасет вместе с его специфическим шумом, теряя способность к генерализации (Generalization) на новых данных. Анализ дивергенции функций потерь, техник регуляризации и Early Stopping в коде.
Обновления ChatGPT: разработка плагинов и рабочие процессы Codex
Полное инженерное руководство по созданию, упаковке, тестированию и публикации плагинов для ChatGPT и Codex: спецификация манифеста, MCP-серверы, lifecycle hooks, собственные маркетплейсы и ревью OpenAI.
ChatGPT: как выбрать модель, тариф и писать эффективные промпты
1. Операционная система в одну страницу...
Память ChatGPT (Сохранение фактов между диалогами)
Функция долгосрочной памяти ChatGPT (Memory) позволяет искусственному интеллекту запоминать ваше имя, профессию, любимые технологии, формат ответов и личные детали между совершенно разными чатами.