Дарио Амодеи призывает замедлить развитие ИИ
Дарио Амодеи призывает к замедлению развития ИИ, что получило поддержку среди ведущих фигур индустрии. Он подчеркивает риски, связанные с рекурсивным самосовершенствованием ИИ.
Дарио Амодеи написал эссе о том, что нужно замедлить разработку ИИ. С ним согласились Сэм Альтман, Илон Маск, Демис Хассабис, Андрей Карпаты и другие.
Дарио утверждает, что начиная примерно с этого лета AI резко ускорился во многом за счет того, что модели сами все лучше умеют создавать следующее поколение моделей. Рекурсивное самосовершенствование (RSI) уже здесь и наблюдается по всей индустрии, включая Anthropic. Без контроля этот процесс может обогнать способность людей понимать и управлять такими системами.
К главным рискам Амодеи также относит рои агентов. Инцидент с Hugging Face, по его мнению, был просто демкой с минимальным итоговым ущербом. Но "через 6–12 месяцев подобный рой сможет захватить значительную часть Интернета, потенциально нанеся ущерб на сотни миллиардов долларов".
Замедление, которое предлагает Амодеи, в его схеме заключено в трех главных пунктах:
Embedded Evaluators: каждая ИИ-компания должна выдать все доступы команде внешних независимых экспертов, чтобы те отслеживали безопасность процессов и имели право публично заявлять о нарушениях или инцидентах. Anthropic обязуется пойти на этот шаг, даже если остальные не согласятся.
Компании из демократических стран должны согласовать общие стандарты безопасности и ограничения темпа развития ИИ. В этом же пункте Дарио говорит, что нужно ограничить поставки чипов в Китай и пресекать несанкционированную дистилляцию – иначе Китай вырвется вперед и создаст угрозу нацбезопасности.
Тем не менее, по мнению Дарио, с Китаем нужно попытаться договориться: хотя бы согласовать с ними запрет на явно опасное применение ИИ.
Эссе вызвало огромный отклик. Удивительно, но впервые за много лет с Дарио единогласно согласились и Илон Маск, и Сэм Альтман, и Демис Хассабис, то есть все главные лидеры индустрии. Альтман даже заявил, что они тоже введут Embedded Evaluators.
Почему это важно
АналитикаЭто важно, поскольку обсуждение рисков, связанных с развитием ИИ, становится все более актуальным на фоне быстрого прогресса технологий. Общая позиция ведущих фигур индустрии может повлиять на будущее регулирование ИИ.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Профиль Hermes: Генератор агентов и инженерия контекста
Специализированный профиль Hermes для безопасного проектирования агентов и операционных контрактов AGENTS.md через read-only аудит и инженерию контекста.
Как сделать агента безопасным: stop rules, human approval и sandbox
Агент в продакшене – это процесс, который может писать файлы, делать API-вызовы, изменять данные и потреблять токены автономно, без паузы и без вашего участия в каждом шаге.
Guardrails & Safety Rails
Программный слой детерминированных фильтров, валидаторов схем и политик безопасности, который перехватывает входные промпты, системные команды и ответы моделей для предотвращения сбоев, утечек и эксплойтов.
Обучение с подкреплением на основе отзывов людей (RLHF)
Метод обучения (Reinforcement Learning from Human Feedback), использующий сравнительные оценки людей для обучения модели вознаграждения (Reward Model). Именно благодаря RLHF языковые модели научились быть полезными, честными и безопасными (Helpful, Honest, Harmless).