Вчені попередили про ризик втрати контролю над ШІ через RSI

Джеффрі Хінтон, Йошуа Бенджіо, Якуб Пахоцкі з OpenAI, Джек Кларк з Anthropic та ще 18 впливових учених опублікували статтю про «інтелектуальний вибух» і ризики, пов’язані з автоматизацією досліджень ШІ.
Джеффрі Хінтон, Йошуа Бенджіо, Якуб Пахоцкі з OpenAI, Джек Кларк з Anthropic та ще 18 дуже впливових учених написали статтю про те, до чого може призвести RSI.
TL;DR: ми можемо втратити контроль над ШІ.
Автори обговорюють так званий «інтелектуальний вибух» — різке прискорення прогресу ШІ завдяки самому ШІ.
За даними Anthropic, частка схваленого коду, написаного ШІ, зросла з одиниць відсотків до понад 80% у період із січня 2025 по травень 2026 року. Частка дослідницько-розробницької роботи, яку ШІ виконує (майже) самостійно, зросла з 1% до 26%. На думку авторів, у найближчі роки агенти можуть автоматизувати більшість досліджень і розробок у сфері ШІ, а можливо, й усе. Наприклад, екстраполяція трендів METR свідчить, що багатомісячні дослідницько-розробницькі проєкти можуть бути автоматизовані вже до середини 2028 року.
Це означає, що кожна компанія зможе мати мільйони провідних дослідників замість тисяч, і вони працюватимуть швидше. Отже, науковий прогрес, який зайняв би роки, може вміститися в місяці.
Звісно, є обмеження: ліміти обчислень, дані, задачі, які важко автоматизувати, спадна віддача від дослідницьких зусиль тощо. Водночас учени вважають «інтелектуальний вибух» дуже ймовірним сценарієм і попереджають, що він загрожує втратою контролю над ШІ та порушенням балансу сил.
Автори просять владу заздалегідь зобов’язати лабораторії звітуватися, допустити до них аудиторів, підготувати «червону кнопку» та аварійні плани.
Стаття поповнює останнім часом модну колекцію нагнітаючих есе та відкритих листів учених і CEO.
Чому це важливо
АналітикаЯкщо ШІ зможе прискорювати власне дослідження, прогрес у галузі може різко прискоритися, одночасно підвищивши ризики втрати контролю, концентрації влади та необхідності жорсткого нагляду.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Проблема вирівнювання ШІ (AI Alignment)
Фундаментальна проблема безпеки штучного інтелекту: узгодження цілей та мотивації автономних систем із людськими цінностями, етикою та збереженням життя. Досліджує ризики того, що надрозумна система знайде буквальний або деструктивний шлях виконання нечітко поставленого завдання.
Машинне забування (Machine Unlearning)
Технологія хірургічного видалення конкретних знань, приватних даних користувачів або матеріалів з обмеженим копірайтом із ваг уже навченої нейромережі. Дозволяє компаніям виконувати вимоги закону про «право на забуття» (GDPR) без катастрофічно дорогого повного перетренування моделі.
Як підключити еквайринг Monobank без програміста через вайбкодинг
Покроковий посібник із підключення онлайн-оплат Monobank на сайт: комплаєнс для ФОП, створення термінала, верифікація вебхуків ECDSA, надійний UX та тести безпеки.
Codex як помічник усередині Claude Code: Делегування рутини через Claudex
Справжнє обмеження у роботі з Claude — не те, наскільки добре модель міркує, а те, скільки завдань міститься у контекстному вікні, перш ніж воно заповниться.