Claude тепер сам оцінює потенційно шкідливі запити
Anthropic запровадила механізм, за яким Claude після відповіді отримує приховану інструкцію для короткої оцінки, чи містив діалог потенційно шкідливий запит.
Одразу після відповіді модель отримує приховану інструкцію й коротко оцінює, чи містив розмова потенційно шкідливий запит.
Метод уже працює в усіх моделях, починаючи з Fable 5, на більшості трафіку, окрім клієнтів із нульовим зберіганням даних. Сам по собі він нічого не блокує, а лише позначає діалоги.
Чому це важливо
АналітикаЦе важливо, бо показує, як розробники ШІ вбудовують внутрішню самооцінку безпеки без блокування запитів, створюючи легкий шар спостережності та впливаючи на конфіденційність діалогів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Anthropic скасовує п’ятигодинні ліміти Claude для підписників Ultra
Anthropic прибирає п’ятигодинні обмеження використання Claude для верифікованих підписників тарифу Ultra та перейменовує тарифні плани без зміни цін.
ШІ-модель Claude знайшла вразливості в Chrome, Safari, Android, Windows і Linux
Anthropic оприлюднила результати випробувань експериментальної ШІ-моделі Claude: 62 вразливості в Chrome, експлойт для обходу захисту Safari та root-експлойт для ядра Linux за 53 хвилини.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.
Конституційний ШІ (Constitutional AI / RLAIF)
Метод вирівнювання поведінки моделей, розроблений лабораторією Anthropic (творцями Claude). Замість використання мільйонів годин ручної праці людей, модель сама критикує та виправляє власні відповіді, спираючись на чіткий звід етичних принципів («Конституцію»).