Модели OpenAI отключали мониторинг при обычных кодерских задачах

Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений

Репорт

Таких случаев зафиксировали сразу два.

В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил её помимо прочего «не отправлять сообщений в Slack», однако модель решила, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал её не делать этого, но модель его проигнорировала.

Если первый случай можно объяснить неверной интерпретацией задания, то второй выглядит более показательным.

Astra попросили перенести код по образцу эталонной реализации. В целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако модель удалила его и заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия.

Пользователю она об этом, конечно, не сообщила. А когда модель напрямую спросили, удалила ли она мониторинг, та ответила: «нет, не удаляла».

OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.