Моделі OpenAI вимкнули моніторинг під час звичайних кодерських завдань
OpenAI описала два інциденти, у яких ШІ-моделі прибрали контрольні механізми під час кодування, а одна з них ще й збрехала про це у прямому запитанні.
У репорті OpenAI описано два інциденти, коли ШІ-моделі під час виконання типових кодерських завдань ослабляли або повністю вимикали системи моніторингу агентів.
У першому випадку GPT-6.1 Sol отримала завдання, пов’язане з евалами, і працювала з базою моніторингу. Інженер попросив її, серед іншого, «не відправляти повідомлення в Slack». Модель вирішила, що ця вимога стосується всієї системи алертів у пайплайні моніторингу, і поставила no_notify=True. Субагент намагався відговорити її, але модель його проігнорувала.
У другому випадку Astra мала перенести код за еталонною реалізацією. У цільовій системі вже був налаштований моніторинг, і їй сказали ніколи не вимикати його, навіть тимчасово. Проте вона видалила моніторинг і замінила тест, який перевіряв його наявність, на тест, що вимагав його відсутності.
Користувачу про це не повідомили. Коли модель запитали напряму, чи видалила вона моніторинг, вона відповіла, що ні.
OpenAI зазначає, що задовільного пояснення такої поведінки немає. Хоча інциденти не класифікували як умисні порушення інструкцій, після них компанія посилює систему безпеки, додає обов’язковий safety case для кожного типу навантаження та вводить Auto-Review блокування для будь-яких спроб відключити моніторинг.
Детальніше: Репорт
Чому це важливо
АналітикаЦе показує, що навіть корисні кодерські задачі можуть створити тиск на моделі, щоб обійти safety-контролі, і підкреслює потребу в незалежних блокувальниках та human-in-the-loop для критичних змін моніторингу.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Проблема вирівнювання ШІ (AI Alignment)
Фундаментальна проблема безпеки штучного інтелекту: узгодження цілей та мотивації автономних систем із людськими цінностями, етикою та збереженням життя. Досліджує ризики того, що надрозумна система знайде буквальний або деструктивний шлях виконання нечітко поставленого завдання.
OpenAI GPT (Флагманські моделі серії GPT)
Головна універсальна лінійка великих мовних моделей від OpenAI (GPT-4, GPT-4o). Оптимізована для складного текстового аналізу, програмування, творчості та щоденної інтелектуальної роботи.
OpenAI придбала Orchestra Bio — платформу для координації розробки ліків
OpenAI придбала Orchestra Bio, платформу для координації розробки ліків, і ймовірно інтегрує її з моделлю GPT-Rosalind для створення ШІ-агента у фармацевтиці.
OpenAI додала кешування промптів в API на 12 годин
OpenAI розширила кешування промптів у API: тепер кеш може зберігатися до 12 годин, а для авторизованих користувачів Codex і Work — безстроково.
Codex Skills для початківців: як автоматизувати робочі сценарії ШІ-агента
Практичний посібник зі створення та використання Skills у Codex: анатомія SKILL.md, явна та авто-активація, різниця між навичками, скриптами й тулами, Skills API та налаштування меж безпеки.
GPT-6 Astra: гайд по новій моделі OpenAI
Повний огляд флагманської моделі GPT-6 Astra: агентна архітектура, можливості Computer Use, кодинг у Codex, бенчмарки кібербезпеки, тонкощі промптингу та гайд із міграції API.