Дарио Амодеи закликає сповільнити розвиток штучного інтелекту
Дарио Амодеи закликає до сповільнення розвитку штучного інтелекту, що викликало підтримку серед провідних фігур індустрії. Він підкреслює ризики, пов'язані з рекурсивним самовдосконаленням AI.
Дарио Амодеи написав есе про те, що потрібно сповільнити розвиток штучного інтелекту. З ним погодилися Сэм Альтман, Ілон Маск, Деміс Хассабіс, Андрій Карпати та інші.
Дарио стверджує, що починаючи приблизно з цього літа, AI різко прискорився, в значній мірі завдяки тому, що моделі самі все краще вміють створювати наступне покоління моделей. Рекурсивне самовдосконалення (RSI) вже тут і спостерігається по всій індустрії, включаючи Anthropic. Без контролю цей процес може обігнати здатність людей розуміти та управляти такими системами.
До головних ризиків Амодеи також відносить рої агентів. Інцидент з Hugging Face, на його думку, був просто демонстрацією з мінімальним підсумковим збитком. Але "через 6–12 місяців подібний рій зможе захопити значну частину Інтернету, потенційно завдавши збитків на сотні мільярдів доларів".
Сповільнення, яке пропонує Амодеи, в його схемі містить три головні пункти:
Embedded Evaluators: кожна AI-компанія повинна надати всі доступи команді зовнішніх незалежних експертів, щоб ті відстежували безпеку процесів і мали право публічно заявляти про порушення або інциденти. Anthropic зобов'язується піти на цей крок, навіть якщо інші не погодяться.
Компанії з демократичних країн повинні погодити загальні стандарти безпеки та обмеження темпу розвитку AI. У цьому ж пункті Дарио говорить, що потрібно обмежити постачання чипів у Китай і припиняти несанкціоновану дистиляцію – інакше Китай вирветься вперед і створить загрозу національній безпеці.
Тим не менш, на думку Дарио, з Китаєм потрібно спробувати домовитися: хоча б погодити з ними заборону на явно небезпечне застосування AI.
Есе викликало величезний відгук. Дивно, але вперше за багато років з Дарио одноголосно погодилися і Ілон Маск, і Сэм Альтман, і Деміс Хассабіс, тобто всі головні лідери індустрії. Альтман навіть заявив, що вони також введуть Embedded Evaluators.
Чому це важливо
АналітикаЦе важливо, оскільки обговорення ризиків, пов'язаних із розвитком штучного інтелекту, стає все більш актуальним у світлі швидкого прогресу технологій. Спільна позиція провідних фігур індустрії може вплинути на майбутнє регулювання AI.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Профіль Hermes: Генератор агентів та інженерія контексту
Спеціалізований профіль Hermes для безпечного проєктування агентів та операційних контрактів AGENTS.md через read-only аудит та інженерію контексту.
Як зробити агента безпечним: stop rules, human approval і sandbox
Агент у продакшені — це процес, який може писати файли, робити API-виклики, змінювати дані та споживати токени автономно, без паузи і без вашої участі в кожному кроці.
Guardrails & Safety Rails
Програмний шар детермінованих фільтрів, валідаторів схем і політик безпеки, що перехоплює вхідні промпти, системні команди та відповіді моделей для запобігання збоям, витокам і експлойтам.
Конституційний ШІ (Constitutional AI / RLAIF)
Метод вирівнювання поведінки моделей, розроблений лабораторією Anthropic (творцями Claude). Замість використання мільйонів годин ручної праці людей, модель сама критикує та виправляє власні відповіді, спираючись на чіткий звід етичних принципів («Конституцію»).