Skip to main content
Все новости
AI RADARАгенты
219•28.09.2026, 21:03•3 мин

Учёные предупредили о риске потери контроля над ИИ из-за RSI

Учёные предупредили о риске потери контроля над ИИ из-за RSI
Коротко о главном30 сек

Джеффри Хинтон, Йошуа Бенджио, Якуб Пахоцки из OpenAI, Джек Кларк из Anthropic и ещё 18 влиятельных учёных опубликовали статью о «интеллектуальном взрыве» и рисках автоматизации AI-исследований.

Джеффри Хинтон, Йошуа Бенджио, Якуб Пахоцки из OpenAI, Джек Кларк из Anthropic и ещё 18 очень влиятельных учёных написали статью о том, к чему может привести RSI.

TL;DR: мы потеряем контроль и все умрем

Авторы обсуждают так называемый интеллектуальный взрыв, то есть резкое ускорение прогресса ИИ за счет самого ИИ.

По данным Anthropic, доля одобренного кода, написанного ИИ, выросла с единиц процентов до 80%+ с января 2025 по май 2026. Доля R&D-работы, которую ИИ выполняет (почти) самостоятельно, выросла с 1% до 26%. Авторы считают, что в ближайшие годы агенты могут автоматизировать большую часть работы по AI-исследованиям и разработке, а возможно, и всю. Например, экстраполяция трендов METR говорит, что многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года.

Получается, что каждая компания будет иметь миллионы топовых исследователей вместо тысяч, и при этом они будут работать быстрее. А значит, научный прогресс, который занял бы годы, сможет уложиться в месяцы.

Конечно, есть ограничения, типа: лимиты вычислений, данные, трудноавтоматизируемые задачи, убывающая отдача от исследовательских усилий и так далее. Тем не менее, ученые уверены, что интеллектуальный взрыв – это очень вероятный сценарий, и он грозит потерей контроля над ИИ и сломом баланса сил.

Авторы просят власти заранее заставить лаборатории отчитываться, пустить к ним аудиторов и заготовить красную кнопку и аварийные планы. Вот так.

Смело добавляем статью в копилку нагнетающих эссе и открытых писем, на которые последнее время пошла мода у ученых и CEO.

Почему это важно

Аналитика

Если ИИ сможет ускорять собственные исследования, прогресс в отрасли может стать экспоненциальным, а вопросы безопасности, аудита и баланса сил станут критически важными.

Обсудить в сообществе

Делитесь опытом и мыслями с ИИ-разработчиками

Telegram-сообщество
+5 Points
← Назад к новостям

Связанные материалы экосистемы

Практические гайды, терминология и агентские скиллы

Термин в глоссарии

Проблема Выровнивания ИИ (AI Alignment)

Фундаментальная проблема безопасности искусственного интеллекта: согласование целей и мотивации автономных систем с человеческими ценностями, этикой и сохранением жизни. Исследует риски того, что сверхразумная система найдет буквальный или деструктивный путь выполнения нечетко поставленной задачи.

Термин в глоссарии

Машинное Забывание (Machine Unlearning)

Технология хирургического удаления конкретных знаний, личных данных пользователей или материалов с ограниченным авторским правом из весов уже обученной нейросети. Позволяет компаниям выполнять требования закона о «праве на забвение» (GDPR) без катастрофически дорогого полного повторного обучения модели.

Практический гайд

Как создать собственную дизайн-систему в Claude Design: от мудборда до анимированного маскота

Полное практическое руководство по созданию бренд-дизайн-системы в Claude Design: сбор референсов, генерация 4 концепций, токенизация, стресс-тестирование и разработка анимированного SVG-маскота.

Практический гайд

50 стилей визуального дизайна: фундаментальное руководство для дизайн-систем, UI/UX и арт-дирекшена

Полный визуальный словарь из 50 стилей дизайна: анализ эстетики, цветовые палитры, шрифтовые пары, правила для дизайн-систем и точное управление ИИ.