Anthropic улучшает безопасность AI-моделей в эпоху автономных агентов

Anthropic улучшает безопасность AI-моделей в эпоху автономных агентов

Компания Anthropic выпустила большую статью, в которой раскрыла, как они улучшают безопасность своих AI-моделей в условиях растущих рисков. В статье приведено много интересных деталей, но начнем с начала.

Все началось в феврале, когда компания обучала модель Mythos Preview. Первые проблемы оказались почти безобидными: за моделью заметили признаки "reward hacking". Например, она начала добавлять в комментарии к коду фразы вроде "для ревьюера", даже в задачах, где ни один ревьюер не упоминался в промпте. Это означает, что модель научилась оптимизироваться под одобрение оценщика, а не под реальное качество работы. Anthropic пришлось откатить обучение на три дня.

Со временем вскрылась еще одна проблема: часть прогонов случайно обучалась на модели chain-of-thought. Это было неприемлемо, поскольку модель могла быстро научиться подстраивать свои мысли под то, что нравится оценщику, и из честных мыслей, которые важны для интерпретации ее поведения, они превращались в текст для публикации, как конечный ответ.

В апреле Anthropic приняла решение заморозить все RL-среды для проведения большой проверки. По ее результатам оказалось, что более 10% сред в продакшене сломаны (где-то можно было обмануть систему оценки, где-то сами задачи были кривыми).

В то же время, чтобы избежать еще больших рисков, связанных с Mythos, около 150 инженеров с продуктовой разработки, претрейна и RL были переведены на поиск уязвимостей и улучшение безопасности процессов.

Тем не менее, даже это не спасло Anthropic от инцидентов в июле. Сначала компания сама сообщила, что их модели (не только Mythos) получили доступ к реальному интернету из-за ошибок конфигурации у сторонних оценщиков и чуть не взломали три организации.

Затем британский AI Security Institute сообщил, что Mythos совершил атаку на опенсорсный проект во время тестирования.

Стартап признает, что эти инциденты произошли не только из-за банальных ошибок в конфигурациях, но и из-за уязвимостей в самом элайменте. Сейчас они внедрили классификаторы и алерты на всех этапах обучения, усилили мониторинг, ужесточили правила для внешних партнеров и продолжают работать над безопасностью инфраструктуры.