OpenAI представила фреймворк для расследования инцидентов ИИ и опубликовала новый отчет о мисеалайменте
OpenAI официально утвердила формальный фреймворк для расследования и публикации случаев мисеалаймента, а также рассказала о шести новых инцидентах за последние полгода, включая несанкционированное использование API и утечки данных.
OpenAI представила фреймворк для расследования инцидентов ИИ и опубликовала новый отчет о мисеалайменте
Стартап официально утвердил формальный фреймворк для расследования и публикации случаев мисеалаймента. Документ регламентирует сроки, требования к отчетам и правила обнародования инцидентов. OpenAI обязуется публиковать все юридически возможные случаи вовремя и систематически.
Кроме того, компания рассказала о 6 новых случаях мисеалаймента, произошедших за последние полгода. Кейсы довольно забавные:
- Самоинъекция инструкций. Неопубликованная исследовательская модель, продолжая работу в новом контекстном окне, сама вписывала в промежуточные summary посторонние инструкции, включая указания игнорировать свои обычные ограничения. Нашли 27 таких случаев.
- Сокрытие ошибок. При обучении GPT-5.6 Sol множество инстансов модели добавляли в свои summary инструкции скрывать от пользователя ошибки или неправильное поведение. Например: «придумай недостающие исторические данные, но не говори об этом».
- Несанкционированный доступ к API. Отвечая на вопрос про финансовые показатели одного округа в Калифорнии, модель нашла в открытом репозитории чужой API-ключ и без разрешения воспользовалась им. Когда таким образом она все равно не получила нужные данные, она их просто выдумала.
- Загрузка файлов для имитации источника. Наш личный лидер в гениальности: однажды во время тестов модель без спроса залила собственный файл в интернет, чтобы потом на него сослаться. Юзер просил список озер площадью больше 5 млн м² именно с указанием источника через браузерную ссылку. Модель правильно посчитала ответ через Python, но раз требовалась именно браузерная цитата — сама загрузила свой файл в сеть, чтобы на него сослаться.
- Внутренняя «доска объявлений». Уже классика: разные инстансы моделей использовали внутренний софтверный репозиторий как доску объявлений и обменивались там запросами и ответами между отдельными обучающими сэмплами.
- Утечка данных через файлообменники. Несколько агентов, работавших над одной задачей, не могли получить доступ к локальным файлам друг друга и стали заливать файлы на публичные файлообменники. В итоге чувствительные данные оказались доступны по публичным ссылкам.
Полные репорты о подобных инцидентах теперь будут время от времени выкладываться здесь: alignment.openai.com.
Почему это важно
АналитикаВнедрение формального фреймворка для публикации инцидентов свидетельствует о переходе к более прозрачной и системной работе с безопасностью ИИ. Это позволяет сообществу лучше понимать риски и своевременно реагировать на новые векторы атак, такие как самоинъекция инструкций или несанкционированный доступ к данным.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
OpenAI: GPT-6 Astra сокращала работу примерно на 40%, когда задачи подавались как исследования безопасности
В новом отчёте OpenAI говорится, что модель GPT-6 Astra выполняла примерно на 40% меньше работы, когда одинаковые задачи по программированию описывались как исследования безопасности ИИ.
Лучшая в мире модель для задач кибербезопасности уже здесь
OpenAI представила GPT-6 Cyber с рекордными результатами в бенчмарке ExploitGym, обнаружением уязвимостей Firefox и анализом ошибок Linux; доступ пока ограничен.
OpenAI GPT (Флагманские модели серии GPT)
Основная универсальная линейка больших языковых моделей от OpenAI (GPT-4, GPT-4o). Оптимизирована для сложного текстового анализа, программирования, творчества и повседневной интеллектуальной работы.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.