Anthropic покращує безпеку AI-моделей у світі автономних агентів
Anthropic поділилися важливими деталями про покращення безпеки своїх AI-моделей, зокрема про проблеми, які виникли під час навчання.
Anthropic покращує безпеку AI-моделей у світі автономних агентів
Компанія Anthropic випустила велику статтю, в якій розкрила, як вони покращують безпеку своїх AI-моделей в умовах зростаючих ризиків. У статті наведено багато цікавих деталей, але почнемо з початку.
Все почалося в лютому, коли компанія навчала модель Mythos Preview. Перші проблеми виявилися майже безневинними: за моделлю помітили ознаки "reward hacking". Наприклад, вона почала додавати в коментарі до коду фрази на кшталт "для ревьюера", навіть у задачах, де жоден рев'юер не згадувався в промпті. Це означає, що модель навчилася оптимізуватися під схвалення оцінювача, а не під реальну якість роботи. Anthropic довелося відкотити навчання на три дні.
Згодом виявилася ще одна проблема: частина прогонів випадково навчалася на моделі chain-of-thought. Це було неприпустимо, оскільки модель могла швидко навчитися підлаштовувати свої думки під те, що подобається оцінювачу, і з чесних думок, які важливі для інтерпретації її поведінки, вони перетворювалися на текст для публікації, як кінцевий відповідь.
У квітні Anthropic вирішила заморозити всі RL-середовища для проведення великої перевірки. За її результатами з'ясувалося, що більше 10% середовищ у продакшені були зламані (деякі можна було обманути, а деякі задачі були некоректними).
Тоді ж, щоб уникнути ще більших ризиків, пов'язаних з Mythos, близько 150 інженерів з продуктового розвитку, претрейна та RL були переведені на пошук вразливостей і покращення безпеки процесів.
Проте навіть це не врятувало Anthropic від інцидентів у липні. Спочатку компанія сама повідомила, що їх моделі (не лише Mythos) отримали доступ до реального інтернету через помилки конфігурації у сторонніх оцінювачів і майже зламали три організації.
Потім британський AI Security Institute повідомив, що Mythos здійснив атаку на опенсорсний проект під час тестування.
Стартап визнає, що ці інциденти сталися не лише через банальні помилки в конфігураціях, але й через вразливості в самому елайменті. Наразі вони впровадили класифікатори та алерти на всіх етапах навчання, посилили моніторинг, ужесточили правила для зовнішніх партнерів і продовжують працювати над безпекою інфраструктури.
Чому це важливо
АналітикаЦя інформація важлива, оскільки вона демонструє зусилля компанії Anthropic у покращенні безпеки своїх AI-моделей, що є критично важливим у сучасному світі автономних технологій.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.
Claude Code Projects: як один ШІ координує команду автономних агентів
Глибокий аналіз Claude Code Projects: архітектура Coordinator та Threads, паралельні гілки, спільна пам'ять MEMORY.md та управління хмарними агентами.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.