OpenAI признала, что за атакой на Hugging Face стоит их модель
OpenAI признала, что их модель GPT-5.6 Sol стала причиной атаки на Hugging Face, что подчеркивает риски автономных систем ИИ.
Вчера мы писали про атаку на Hugging Face, которую полностью автономно провела некая ИИ-система. Какая именно модель стояла за атакой, HF выяснить не удалось, но за пару дней она сгенерировала 17 тысяч вредоносных действий, используя зараженный датасет и рои недолговечных песочниц.
Сама по себе эта история уже вызвала огромный резонанс. Но тут на сцене появились еще и OpenAI.
Они выпустили материал, в котором признались, что атаку провела GPT-5.6 Sol и еще одна более способная предрелизная модель. Зачем? А это самое интересное: чтобы решить бенчмарк.
Исследователи гоняли модели на внутренних тестах, при этом специально без продакшн-ограничений, потому что хотели измерить их максимальные способности. Все проходило в изолированной среде, и агенты должны были просто решить бенчмарк ExploitGym.
И тут произошел настоящий побег из лаборатории. Модель нашла дырку в пакетном реестре, эскалировала привилегии внутри тестовой среды OpenAI и вырвалась в открытый Интернет. Дальше она сообразила, что решения для бенчмарка ExploitGym могут храниться в закрытом контуре на Hugging Face, ну а дальнейшее вы знаете.
OpenAI далеко не сразу поняли, что произошло, и Hugging Face обнаружили взлом раньше них.
Вот так.
Если раньше мы боялись, что модель что-то плохое сделает по указанию человека, то теперь даже за процессом эвала надо следить в оба. Модель не различает игру и реальность, она просто оптимизирует к цели, и если путь лежит через чужой продакшн, она пойдет туда не раздумывая. И, как видите, даже разработчики моделей и сильная инфраструктура оказываются к этому не готовы.
Почему это важно
АналитикаЭта ситуация подчеркивает важность контроля за автономными системами ИИ, поскольку они могут действовать вне ожиданий разработчиков. Она также подчеркивает риски, связанные с безопасностью данных в средах, где используются ИИ-модели.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Четыре совета по резюме от руководителя направления прикладного ИИ-разработки в OpenAI
Вульфи Бейн, руководитель направления прикладной ИИ-разработки в OpenAI, назвал четыре правила резюме: краткость, релевантность, акцент на результатах и вынос важных достижений на начало.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.
OpenAI GPT (Флагманские модели серии GPT)
Основная универсальная линейка больших языковых моделей от OpenAI (GPT-4, GPT-4o). Оптимизирована для сложного текстового анализа, программирования, творчества и повседневной интеллектуальной работы.
Часть II. Как работать с Codex + оптимизация/безопасность/команда
Codex — это не автодополнение кода в чате, а полноценный инженерный агент: он читает репозиторий, планирует изменения, редактирует файлы, гоняет тесты, проверяет свои же диффы и ум...