Незалежні дослідники знайшли спосіб повністю відновлювати прихований ризонінг фронтирних моделей
Дослідники виявили вразливість у фронтирних моделях AI, яка дозволяє відновлювати зашифрований ризонінг без джейлбрейка. Це може мати серйозні наслідки для безпеки даних.
Незалежні дослідники знайшли спосіб повністю відновлювати прихований ризонінг фронтирних моделей
В статті вони показують, що зашифрований ризонінг будь-якої моделі OpenAI, Anthropic і Google можна декодувати буквально 1:1, при цьому без джейлбрейка моделі.
Автори знайшли архітектурну дірку: зашифровані блоки ризонінга повністю сумісні і взаємозамінні між різними сесіями, користувачами і моделями всередині екосистеми одного провайдера. Наприклад, якщо взяти зашифрований ризонінг Opus і підсунути його менш розумному Haiku, то той може прочитати ці «думки» і вивести їх дослівно в відкритому вигляді. Ось так просто.
Наслідки
- З допомогою такої уразливості можна обходити анти-дистилляційні заходи.
- В відкритих репозиторіях є безліч таких прихованих блоків ризонінга, в яких можуть опинитися чутливі дані (в статті в вибірці з 315 320 блоків виявили 367 артефактів PII і 182 облікові записи).
- Це спрощує джейлбрейки і промпт-ін'єкції.
Дослідники вже передали свої знахідки в лабораторії і повідомляють, що робота над ними триває.
Чому це важливо
АналітикаЦя вразливість може призвести до серйозних загроз для безпеки даних в AI-моделях, що використовуються в різних сферах. Важливо вчасно виявляти та усувати такі проблеми для захисту конфіденційної інформації.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
Частина II. Як працювати з Codex + оптимізація/безпека/команда
Codex — це не автодоповнення коду в чаті, а повноцінний інженерний агент: він читає репозиторій, планує зміни, редагує файли, запускає тести, перевіряє власні дифи та вміє працюват...
Як зробити агента безпечним: stop rules, human approval і sandbox
Агент у продакшені — це процес, який може писати файли, робити API-виклики, змінювати дані та споживати токени автономно, без паузи і без вашої участі в кожному кроці.