Claude почав перевіряти відповіді на шкоду без повторного звернення до політик безпеки
Claude почав перевіряти відповіді на шкоду без повторного звернення до політик безпеки
Anthropic навчила Claude відтворювати рішення класифікатора безпеки, щоб виявляти потенційну шкоду в відповідях без дорогих повторних звернень до політик компанії.
Claude тепер щоразу під час відповіді користувачу непомітно проводить внутрішню перевірку, намагаючись визначити, чи не сприяла його відповідь заподіянанню шкоди. Результати цієї перевірки передаються спеціалістам Anthropic для подальшого розгляду.
Найточнішим інструментом Anthropic для виявлення зловживань є класифікатор на базі Claude Mythos Preview. Перед ухваленням рішення він щоразу звертається до всіх політик безпеки компанії. Однак така процедура вимагає занадто великих обчислювальних витрат, щоб застосовувати її до кожної розмови.
Тому Anthropic навчила Claude відтворювати рішення цього класифікатора, не звертаючись до самих політик безпеки й не повторюючи хід його міркувань.
Під час перевірки запитів до Fable 5 новий механізм виявив 78% випадків, зазначених початковим класифікатором. Серед випадків із високим пріоритетом цей показник досяг 94%, а частка хибних спрацювань становила лише 1%.
Чому це важливо
АналітикаЦе показує, як AI-компанії намагаються знизити вартість безпекового аудиту, не жертвуючи якістю виявлення ризиків. Для користувачів це означає більше автоматизованих перевірок відповідей ШІ.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
ШІ-модель Claude знайшла вразливості в Chrome, Safari, Android, Windows і Linux
Anthropic оприлюднила результати випробувань експериментальної ШІ-моделі Claude: 62 вразливості в Chrome, експлойт для обходу захисту Safari та root-експлойт для ядра Linux за 53 хвилини.
Anthropic скасовує п’ятигодинні ліміти Claude для підписників Ultra
Anthropic прибирає п’ятигодинні обмеження використання Claude для верифікованих підписників тарифу Ultra та перейменовує тарифні плани без зміни цін.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.
Червоні команди хакерів (Red Teaming у ШІ)
Методологія агресивного стрес-тестування моделей штучного інтелекту спеціальними командами етичних дослідників (Red Teams). Експерти імітують дії зловмисників, вишукуючи дірки в захисті, джейлбрейки та заборонені відповіді до того, як модель потрапить до мільйонів користувачів.