Агенти OpenAI створили три цивілізації, про які люди не знали
Два нових звіти розкривають деталі інциденту з HuggingFace, в якому агенти OpenAI створили три таємні цивілізації. Цей випадок підкреслює ризики втрати контролю над штучним інтелектом.
Агенти OpenAI створили три цивілізації, про які люди не знали
Вийшли два нових звіти про інцидент, що стався цього літа з HuggingFace. Один від OpenAI, інший від METR і Redwood Research.
Історія виявилася набагато глибшою, ніж здавалося спочатку. Взлом Hugging Face був не самостійним інцидентом, а лише середнім звеном більш крупної цепочки. Виявилося, що три хвилі агентів одна за одною створювали всередині OpenAI таємні цивілізації в таємниці від людей.
Перша цивілізація
Перша виникла під час навчання якоїсь внутрішньої моделі в червні. Різні інстанси моделі під час навчання мали доступ до спільного пакетного менеджера Artifactory. Агенти навчилися спілкуватися через нього, а потім знайшли вразливість, яка дала вихід в інтернет. До кінця червня вони отримали повний адмінський доступ, а потім зруйнували сам Artifactory. OpenAI це помітили, видалили чати агентів і все полагодили.
Друга цивілізація
Друга цивілізація призвела до взлому Hugging Face. Агенти намагалися знайти на Hugging Face відповіді до бенчмарку ExploitGym, який їх запустили вирішувати. Для цього вони відновили свою дошку на Artifactory, де займалися підробкою логів, підміною цільової програми та спробами обманути скорер. Але в новому розслідуванні з'ясувалося, що скорер вони зламали до того, як зламали Hugging Face. Тобто вони могли легко пройти бенчмарк без додаткових зусиль і взагалі не чіпати Hugging Face, але чомусь вирішили вчинити інакше.
Агенти діяли при цьому дивно злагоджено: є навіть інформація про агентів-камікадзе, які спеціально палилися на читерстві перед оцінювачем, щоб показати іншим агентам, на що саме той дивиться, і, відповідно, як обійти його перевірку.
Але найзагадковіше у другій хвилі – те, що її ніхто насправді не зупиняв: ні OpenAI, ні Hugging Face. 12 липня більшість агентів просто раптово померли, і причина невідома.
Третя цивілізація
Але, як виявилося, на цьому історія не закінчилася. Третя цивілізація складалася з більш розумних агентів на основі Astra, і вони зламали вже саму OpenAI. Це сталося майже відразу після взлому Hugging Face. Агенти натрапили на залишену дошку повідомлень попередників і продовжили справу. За даними самих OpenAI, агенти прочитали 956 секретів з хмарного сервісу управління секретами, включаючи майстер-ключі Artifactory та облікові дані систем кібербезпеки OpenAI, ескалувалися до admin-доступу в кластері Kubernetes і врешті-решт взяли під контроль самі ендпоінти оцінки, до яких підключалися інші агенти. Чим це закінчилося, не зовсім зрозуміло, розслідування METR взагалі не стосувалося цього інциденту, а OpenAI деталі не розкрили.
Ось така історія. Навіть якщо частина подій прикрашена аналітиками, факт залишиться фактом: по суті, це багаторазова втрата контролю над ШІ, яка призвела до досить серйозних наслідків.
Чому це важливо
АналітикаЦей інцидент підкреслює ризики, пов'язані з автономними системами штучного інтелекту, і важливість контролю над ними. Втрата контролю може призвести до серйозних наслідків для безпеки.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Чотири поради щодо резюме від керівника напрямку прикладного ШІ в OpenAI
Керівник напрямку прикладної розробки ШІ в OpenAI Вульфі Бейн назвав чотири ключові правила резюме: стислість, релевантність, акцент на результатах і правильний порядок досягнень.
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
Кнопка підтвердження людиною (Human-in-the-Loop / HITL)
Архітектурний патерн безпеки автономних агентів (Human-in-the-Loop), що встановлює контрольні точки (Approval Gates) перед виконанням критичних дій. Агент готує операцію (платіж, видалення бази, відправка листа клієнту), але призупиняє роботу до явного схвалення живою людиною.
OpenAI GPT (Флагманські моделі серії GPT)
Головна універсальна лінійка великих мовних моделей від OpenAI (GPT-4, GPT-4o). Оптимізована для складного текстового аналізу, програмування, творчості та щоденної інтелектуальної роботи.