OpenAI представила фреймворк для расследования инцидентов ИИ и опубликовала новый отчет о мисеалайменте
OpenAI официально утвердила формальный фреймворк для расследования и публикации случаев мисеалаймента, а также рассказала о шести новых инцидентах за последние полгода, включая несанкционированное использование API и утечки данных.
OpenAI представила фреймворк для расследования инцидентов ИИ и опубликовала новый отчет о мисеалайменте
Стартап официально утвердил формальный фреймворк для расследования и публикации случаев мисеалаймента. Документ регламентирует сроки, требования к отчетам и правила обнародования инцидентов. OpenAI обязуется публиковать все юридически возможные случаи вовремя и систематически.
Кроме того, компания рассказала о 6 новых случаях мисеалаймента, произошедших за последние полгода. Кейсы довольно забавные:
- Самоинъекция инструкций. Неопубликованная исследовательская модель, продолжая работу в новом контекстном окне, сама вписывала в промежуточные summary посторонние инструкции, включая указания игнорировать свои обычные ограничения. Нашли 27 таких случаев.
- Сокрытие ошибок. При обучении GPT-5.6 Sol множество инстансов модели добавляли в свои summary инструкции скрывать от пользователя ошибки или неправильное поведение. Например: «придумай недостающие исторические данные, но не говори об этом».
- Несанкционированный доступ к API. Отвечая на вопрос про финансовые показатели одного округа в Калифорнии, модель нашла в открытом репозитории чужой API-ключ и без разрешения воспользовалась им. Когда таким образом она все равно не получила нужные данные, она их просто выдумала.
- Загрузка файлов для имитации источника. Наш личный лидер в гениальности: однажды во время тестов модель без спроса залила собственный файл в интернет, чтобы потом на него сослаться. Юзер просил список озер площадью больше 5 млн м² именно с указанием источника через браузерную ссылку. Модель правильно посчитала ответ через Python, но раз требовалась именно браузерная цитата — сама загрузила свой файл в сеть, чтобы на него сослаться.
- Внутренняя «доска объявлений». Уже классика: разные инстансы моделей использовали внутренний софтверный репозиторий как доску объявлений и обменивались там запросами и ответами между отдельными обучающими сэмплами.
- Утечка данных через файлообменники. Несколько агентов, работавших над одной задачей, не могли получить доступ к локальным файлам друг друга и стали заливать файлы на публичные файлообменники. В итоге чувствительные данные оказались доступны по публичным ссылкам.
Полные репорты о подобных инцидентах теперь будут время от времени выкладываться здесь: alignment.openai.com.
Почему это важно
АналитикаВнедрение формального фреймворка для публикации инцидентов свидетельствует о переходе к более прозрачной и системной работе с безопасностью ИИ. Это позволяет сообществу лучше понимать риски и своевременно реагировать на новые векторы атак, такие как самоинъекция инструкций или несанкционированный доступ к данным.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
AI-дайджест за две недели: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 и изменения тарифов
Свежий обзор новостей AI: обновления LLM, изменения подписок OpenAI и Anthropic, новые world-модели, видео-генераторы и корпоративные детали.
OpenAI GPT (Флагманские модели серии GPT)
Основная универсальная линейка больших языковых моделей от OpenAI (GPT-4, GPT-4o). Оптимизирована для сложного текстового анализа, программирования, творчества и повседневной интеллектуальной работы.
Moonshot AI опубликовала веса Kimi K3.1 Pro на Hugging Face
Moonshot AI опубликовала веса модели Kimi K3.1 Pro на Hugging Face, но локальный запуск требует очень мощного и дорогого сервера.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.