Формула 1847 року для навчання ChatGPT: градієнтний спуск Коші
Базовий алгоритм навчання сучасних мовних моделей, зокрема ChatGPT, має французьке походження: Огюстен Луї Коші запропонував градієнтний спуск у 1847 році для розрахунку орбіт планет.
Формула, яка навчила ШІ писати
ChatGPT та інші сучасні мовні моделі навчаються за допомогою алгоритму, який з’явився ще у 1847 році. Це градієнтний спуск:
w ← w − η∇L
Без нього не існувало б жодної сучасної нейросітки. Алгоритм запропонували не в OpenAI і не в Google, а у Франції майже 180 років тому, коли математик Огюстен Луї Коші шукав швидший спосіб розраховувати рух небесних тіл.
Уявіть, що ви стоїте на горі, вкритій густим туманом. Підніжжя не видно, але ви відчуваєте нахил під ногами. Ви робите крок у бік найкрутішого спуску, знову визначаєте нахил і робите наступний крок. Так, крок за кроком, ви спускаєтеся в долину.
Нейросітка діє за тим самим принципом:
- Гора — це помилки моделі, або функція втрат.
- Долина — область, де помилки мінімальні, а відповіді найточніші.
- Крок — оновлення параметрів моделі.
- Нахил — градієнт, тобто напрямок найшвидшого зростання помилки.
Тільки в цієї «гори» не три виміри, а мільярди параметрів. Саме тому сучасне навчання ШІ потребує величезних обчислювальних ресурсів і точної реалізації математичних ідей.
Коші розраховував орбіти планет, а його формула стала основою для машин, які вміють писати текст, відповідати на запити та генерувати зображення.
Чому це важливо
АналітикаЦе нагадує, що сучасний ШІ побудований не лише на нових моделях, а й на класичній математиці. Розуміння градієнтного спуску допомагає пояснювати, чому навчання нейросіток потребує даних, обчислень і стабільних параметрів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Перенавчання (Overfitting)
Фундаментальна проблема машинного навчання: модель надмірно підлаштовується під тренувальний датасет разом із його специфічним шумом, втрачаючи здатність до генералізації (Generalization) на нових даних. Розбір дивергенції функцій втрат, технік регуляризації та Early Stopping у коді.
Оновлення ChatGPT: розробка та робочі процеси з плагінами й Codex
Повний практичний посібник зі створення, пакування, тестування та публікації плагінів для ChatGPT та Codex: специфікація маніфесту, MCP-сервери, lifecycle hooks, власні маркетплейси та процес рев'ю OpenAI.
Профіль Hermes: Методолог навчання та архітектура курсів
Профіль освітнього методолога Hermes: проектування програм за таксономією Блума, мікронавчання, практичні воркшопи та оптимізація Completion Rate.
Пам'ять ChatGPT (Збереження фактів між діалогами)
Функція довгострокової пам'яті ChatGPT (Memory). Дозволяє штучному інтелекту запам'ятовувати ваше ім'я, професію, улюблені технології, формат відповідей та особисті деталі між абсолютно різними чатами.