Anthropic обучила Claude имитировать классификатор безопасности без повторных обращений к политикам
Anthropic обучила Claude имитировать классификатор безопасности без повторных обращений к политикам
Claude теперь незаметно проверяет, не способствовал ли его ответ причинению вреда, а результаты передаются специалистам Anthropic для дальнейшего рассмотрения.
Теперь каждый раз, отвечая пользователю, Claude незаметно проводит внутреннюю проверку, пытаясь определить, не способствовал ли его ответ причинению вреда. Результаты этой проверки передаются специалистам Anthropic для дальнейшего рассмотрения.
Наиболее точным инструментом Anthropic для выявления злоупотреблений служит классификатор на базе Claude Mythos Preview. Прежде чем вынести решение, он каждый раз обращается ко всем политикам безопасности компании. Однако подобная процедура требует слишком больших вычислительных затрат, чтобы применять её к каждому диалогу.
Поэтому Anthropic обучила Claude воспроизводить решения этого классификатора, не обращаясь к самим политикам безопасности и не повторяя ход его рассуждений.
При проверке запросов к Fable 5 новый механизм выявил 78% случаев, отмеченных исходным классификатором. Среди случаев с высоким приоритетом этот показатель достиг 94%, тогда как доля ложных срабатываний составила всего 1%.
Почему это важно
АналитикаПодход снижает вычислительную стоимость безопасности, сохраняя высокий уровень выявления рисков.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
На китайских форумах считают, что разобрались, как работает блокировка аккаунтов Claude
Пользователи утверждают, что у Anthropic есть балльная система: аккаунту начисляют стартовые баллы, а за «подозрительные» действия снимают их; при падении ниже порога следует бан.
Anthropic купила стартап Mithril Medicine, состоящий из одного человека
Anthropic купила стартап Mithril Medicine, в котором работал только один штатный сотрудник, а рутину выполняли агенты Claude. Его программы по редким генетическим болезням стали первыми внутренними лекарственными проектами Anthropic.
Управление компьютером через ИИ (Computer Use)
Технология компании Anthropic (представленная в моделях Claude 3.5 Sonnet), позволяющая нейросети управлять операционной системой как обычный человек: делать скриншоты экрана, анализировать координаты окон, перемещать курсор мыши, кликать по кнопкам и вводить текст без использования специальных API.
Красные команды хакеров (Red Teaming в ИИ)
Методология агрессивного стресс-тестирования моделей искусственного интеллекта специальными командами этических исследователей (Red Teams). Эксперты имитируют действия злоумышленников, выявляя уязвимости в защите, джейлбрейки и запрещенные ответы до того, как модель попадет к миллионам пользователей.