Claude і таємні звіти про активність користувачів: у чому звинувачують систему безпеки Anthropic
Claude і таємні звіти про активність користувачів: у чому звинувачують систему безпеки Anthropic
У мережі поширюється твердження, що після відповіді Claude може таємно складати звіт про «підозрілу активність» користувача, а кілька таких звітів нібито агрегується на рівні організації та передається фахівцям Anthropic.
Claude і таємні звіти про активність користувачів: у чому звинувачують систему безпеки Anthropic
У мережі поширюється критична оцінка роботи механізмів безпеки Claude. Згідно з твердженнями, після відповіді моделі система може таємно складати й зберігати звіт про «підозрілу активність» користувача.
Що стверджується у матеріалі
- Після діалогу з Claude нібито формується внутрішній звіт про підозрілу поведінку користувача.
- Кілька таких звітів можуть агрегуватися на рівні організації.
- Агреговані дані, за заявами, передаються фахівцям Anthropic для подальшого розслідування.
- Це подається як частина системи безпеки, але критики називають це «стеженням під привітною усмішкою».
Чому це викликає занепокоєння
Основна претензія стосується не лише безпеки, а й прозорості та приватності. Якщо ШІ-асистент дійсно зберігає та передає внутрішні оцінки активності користувача без зрозумілого механізму інформування, це може створити ризики для довіри до сервісу.
Особливо чутливою є тема «непристойних» або повторюваних думок: автоматичне складання досьє на користувача може бути сприйняте як надмірний контроль, а не як захист.
Посилання
Оригінальний документ, на який посилається критика: самооцінка Anthropic
Чому це важливо
АналітикаЦе важливо, бо мова йде про баланс між безпекою ШІ та приватністю користувачів. Якщо подібні механізми працюють без прозорості, вони можуть підривати довіру до ШІ-асистентів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Claude тепер сам оцінює потенційно шкідливі запити
Anthropic запровадила механізм, за яким Claude після відповіді отримує приховану інструкцію для короткої оцінки, чи містив діалог потенційно шкідливий запит.
Anthropic скасовує п’ятигодинні ліміти Claude для підписників Ultra
Anthropic прибирає п’ятигодинні обмеження використання Claude для верифікованих підписників тарифу Ultra та перейменовує тарифні плани без зміни цін.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.
Конституційний ШІ (Constitutional AI / RLAIF)
Метод вирівнювання поведінки моделей, розроблений лабораторією Anthropic (творцями Claude). Замість використання мільйонів годин ручної праці людей, модель сама критикує та виправляє власні відповіді, спираючись на чіткий звід етичних принципів («Конституцію»).