Claude теперь сам оценивает потенциально вредные запросы
Anthropic сообщает, что Claude получает скрытую инструкцию после ответа и кратко оценивает, был ли в разговоре потенциально вредный запрос.
Сразу после ответа модель получает скрытую инструкцию и коротко оценивает, был ли в разговоре потенциально вредный запрос.
Метод уже работает во всех моделях начиная с Fable 5 на большей части трафика, кроме клиентов с нулевым хранением данных. Сам по себе он ничего не блокирует, а только помечает диалоги.
Почему это важно
АналитикаЭто важно, потому что показывает, как AI-лаборатории встраивают внутреннюю оценку безопасности без блокировки запросов, создавая слой мониторинга и затрагивая вопросы конфиденциальности диалогов.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Anthropic отменяет пятичасовые лимиты Claude для подписчиков Ultra
Anthropic убирает пятичасовые лимиты использования Claude для верифицированных подписчиков тарифа Ultra и переименовывает тарифные планы без изменения цен.
Экспериментальная модель Claude нашла уязвимости в Chrome, Safari, Android, Windows и Linux
Anthropic раскрыла результаты испытаний экспериментальной модели Claude: 62 уязвимости в Chrome, эксплойт для обхода защиты Safari и root-эксплойт для ядра Linux за 53 минуты.
Управление компьютером через ИИ (Computer Use)
Технология компании Anthropic (представленная в моделях Claude 3.5 Sonnet), позволяющая нейросети управлять операционной системой как обычный человек: делать скриншоты экрана, анализировать координаты окон, перемещать курсор мыши, кликать по кнопкам и вводить текст без использования специальных API.
Конституционный ИИ (Constitutional AI / RLAIF)
Метод выравнивания поведения моделей, разработанный лабораторией Anthropic (создателями Claude). Вместо использования миллионов часов ручного труда людей, модель сама критикует и исправляет свои ответы, опираясь на четкий свод этических принципов («Конституцию»).