Claude почав перевіряти відповіді на шкоду без повторного звернення до політик безпеки
Claude почав перевіряти відповіді на шкоду без повторного звернення до політик безпеки
Anthropic навчила Claude відтворювати рішення класифікатора безпеки, щоб виявляти потенційну шкоду в відповідях без дорогих повторних звернень до політик компанії.
Claude тепер щоразу під час відповіді користувачу непомітно проводить внутрішню перевірку, намагаючись визначити, чи не сприяла його відповідь заподіянанню шкоди. Результати цієї перевірки передаються спеціалістам Anthropic для подальшого розгляду.
Найточнішим інструментом Anthropic для виявлення зловживань є класифікатор на базі Claude Mythos Preview. Перед ухваленням рішення він щоразу звертається до всіх політик безпеки компанії. Однак така процедура вимагає занадто великих обчислювальних витрат, щоб застосовувати її до кожної розмови.
Тому Anthropic навчила Claude відтворювати рішення цього класифікатора, не звертаючись до самих політик безпеки й не повторюючи хід його міркувань.
Під час перевірки запитів до Fable 5 новий механізм виявив 78% випадків, зазначених початковим класифікатором. Серед випадків із високим пріоритетом цей показник досяг 94%, а частка хибних спрацювань становила лише 1%.
Чому це важливо
АналітикаЦе показує, як AI-компанії намагаються знизити вартість безпекового аудиту, не жертвуючи якістю виявлення ризиків. Для користувачів це означає більше автоматизованих перевірок відповідей ШІ.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Claude тепер сам оцінює потенційно шкідливі запити
Anthropic запровадила механізм, за яким Claude після відповіді отримує приховану інструкцію для короткої оцінки, чи містив діалог потенційно шкідливий запит.
На китайських форумах описали нібито бальну систему блокування акаунтів Claude
Користувачі стверджують, що Anthropic нібито нараховує стартові бали новим акаунтам Claude та знімає їх за зміну IP, пристроїв, проксі, ранню підписку Max або використання лише веб-версії.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.
Червоні команди хакерів (Red Teaming у ШІ)
Методологія агресивного стрес-тестування моделей штучного інтелекту спеціальними командами етичних дослідників (Red Teams). Експерти імітують дії зловмисників, вишукуючи дірки в захисті, джейлбрейки та заборонені відповіді до того, як модель потрапить до мільйонів користувачів.