Учёные предупредили о риске потери контроля над ИИ из-за RSI

Джеффри Хинтон, Йошуа Бенджио, Якуб Пахоцки из OpenAI, Джек Кларк из Anthropic и ещё 18 влиятельных учёных опубликовали статью о «интеллектуальном взрыве» и рисках автоматизации AI-исследований.
Джеффри Хинтон, Йошуа Бенджио, Якуб Пахоцки из OpenAI, Джек Кларк из Anthropic и ещё 18 очень влиятельных учёных написали статью о том, к чему может привести RSI.
TL;DR: мы потеряем контроль и все умрем
Авторы обсуждают так называемый интеллектуальный взрыв, то есть резкое ускорение прогресса ИИ за счет самого ИИ.
По данным Anthropic, доля одобренного кода, написанного ИИ, выросла с единиц процентов до 80%+ с января 2025 по май 2026. Доля R&D-работы, которую ИИ выполняет (почти) самостоятельно, выросла с 1% до 26%. Авторы считают, что в ближайшие годы агенты могут автоматизировать большую часть работы по AI-исследованиям и разработке, а возможно, и всю. Например, экстраполяция трендов METR говорит, что многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года.
Получается, что каждая компания будет иметь миллионы топовых исследователей вместо тысяч, и при этом они будут работать быстрее. А значит, научный прогресс, который занял бы годы, сможет уложиться в месяцы.
Конечно, есть ограничения, типа: лимиты вычислений, данные, трудноавтоматизируемые задачи, убывающая отдача от исследовательских усилий и так далее. Тем не менее, ученые уверены, что интеллектуальный взрыв – это очень вероятный сценарий, и он грозит потерей контроля над ИИ и сломом баланса сил.
Авторы просят власти заранее заставить лаборатории отчитываться, пустить к ним аудиторов и заготовить красную кнопку и аварийные планы. Вот так.
Смело добавляем статью в копилку нагнетающих эссе и открытых писем, на которые последнее время пошла мода у ученых и CEO.
Почему это важно
АналитикаЕсли ИИ сможет ускорять собственные исследования, прогресс в отрасли может стать экспоненциальным, а вопросы безопасности, аудита и баланса сил станут критически важными.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Проблема Выровнивания ИИ (AI Alignment)
Фундаментальная проблема безопасности искусственного интеллекта: согласование целей и мотивации автономных систем с человеческими ценностями, этикой и сохранением жизни. Исследует риски того, что сверхразумная система найдет буквальный или деструктивный путь выполнения нечетко поставленной задачи.
Машинное Забывание (Machine Unlearning)
Технология хирургического удаления конкретных знаний, личных данных пользователей или материалов с ограниченным авторским правом из весов уже обученной нейросети. Позволяет компаниям выполнять требования закона о «праве на забвение» (GDPR) без катастрофически дорогого полного повторного обучения модели.
Как создать собственную дизайн-систему в Claude Design: от мудборда до анимированного маскота
Полное практическое руководство по созданию бренд-дизайн-системы в Claude Design: сбор референсов, генерация 4 концепций, токенизация, стресс-тестирование и разработка анимированного SVG-маскота.
50 стилей визуального дизайна: фундаментальное руководство для дизайн-систем, UI/UX и арт-дирекшена
Полный визуальный словарь из 50 стилей дизайна: анализ эстетики, цветовые палитры, шрифтовые пары, правила для дизайн-систем и точное управление ИИ.