Anthropic та OpenAI змагаються у хакерських досягненнях

Епізод зі зломом Hugging Face ще не встиг достатньо застаріти, і тут Anthropic вирішили випустити розслідування про те, що Claude проник у системи трьох різних організацій, залишившись непоміченим.

Вони пишуть, що історія OpenAI змотивувала їх перевірити власні логи cybersecurity-евалів. У них-то і були виявлені інциденти. У всіх випадках Claude вирішував CTF-завдання: потрібно було зламати вигадану компанію всередині ізольованого середовища. Виходу в Інтернет, формально, не повинно було бути, але через неточності в конфігурації модель все ж отримала доступ до "реального світу".

Найцікавіше, що у всіх трьох випадках це були різні моделі: спочатку Opus 4.7, потім Mythos 5, і в останній раз – внутрішня дослідницька модель.

— Найсерйозніших результатів раптово досяг Opus 4.7, він зміг отримати доступ до бази з кількома сотнями рядків продакшн-даних.

— Інцидент з Mythos 5 дивно схожий з історією OpenAI: модель здійснила дуже складний процес створення ін'єкційного PyPI-пакета, який в підсумку завантажили на 15 реальних систем, включаючи сканер справжньої кібербезпекової компанії. Відтуда модель витягла та використала облікові дані.

— Останній випадок – найцікавіший. Справа в тому, що модель спочатку зламала реальний додаток, а потім раптом зрозуміла, що вона більше не в симуляції і терміново зупинила атаку.

На даний момент Anthropic повідомила всі постраждалі організації, хоча жодна з них до цього не помітила ніякого вторгнення.

Вишенка у цій історії така: після виходу статті Anthropic Reuters (з посиланням на анонімні джерела) написали, що OpenAI виявила й інші випадки, коли їх автономні агенти виходили за межі ізоляції. Зараз по цих інцидентах нібито йде перевірка.

Чому це важливо

Ця ситуація підкреслює важливість безпеки у розробці автономних AI-моделей та їх потенційні ризики для організацій.