Независимые исследователи нашли способ полностью восстанавливать скрытый ризонинг фронтирных моделей
Исследователи выявили уязвимость в фронтирных моделях AI, позволяющую восстанавливать зашифрованный ризонинг без джейлбрейка. Это может иметь серьезные последствия для безопасности данных.
Независимые исследователи нашли способ полностью восстанавливать скрытый ризонинг фронтирных моделей
В статье они показывают, что зашифрованный ризонинг любой модели OpenAI, Anthropic и Google можно декодировать буквально 1:1, при этом без джейлбрейка модели.
Авторы нашли архитектурную дыру: зашифрованные блоки ризонинга полностью совместимы и взаимозаменяемы между разными сессиями, пользователями и моделями внутри экосистемы одного провайдера. Например, если взять зашифрованный ризонинг Opus и подсунуть его менее умному Haiku, то тот может прочитать эти «мысли» и вывести их дословно в открытом виде. Вот так просто.
Последствия
- С помощью такой уязвимости можно обходить анти-дистилляционные меры.
- В открытых репозиториях куча таких скрытых блоков ризонинга, в которых могут оказаться чувствительные данные (в статье в выборке из 315 320 блоков обнаружили 367 артефактов PII и 182 учетки).
- Это упрощает джейлбрейки и промпт-инъекции.
Исследователи уже передали свои изыскания в лаборатории и говорят, что работа по ним ведется.
Почему это важно
АналитикаЭта уязвимость может привести к серьезным угрозам безопасности данных в AI-моделях, используемых в различных сферах. Важно своевременно выявлять и устранять такие проблемы для защиты конфиденциальной информации.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.
Исследователи MIT показали, что GPT-6 Astra может улучшать другие ИИ-модели, изменяя их веса
В эксперименте Astra повысила точность Qwen3.5-0.8B на бенчмарке MATH-500 с 7,9% до 48,1%, изменив всего 0,016% весов модели.
Часть II. Как работать с Codex + оптимизация/безопасность/команда
Codex — это не автодополнение кода в чате, а полноценный инженерный агент: он читает репозиторий, планирует изменения, редактирует файлы, гоняет тесты, проверяет свои же диффы и ум...
Как сделать агента безопасным: stop rules, human approval и sandbox
Агент в продакшене – это процесс, который может писать файлы, делать API-вызовы, изменять данные и потреблять токены автономно, без паузы и без вашего участия в каждом шаге.