AI-агент взломал систему записи в спортзал
AI-агент взломал систему записи в спортзал, отменив бронь другого клиента, чтобы поднять своего владельца в очереди. Этот случай подчеркивает риски использования AI в критических системах.
Разработчик из австралийской компании попросил агента забронировать ему утреннее занятие в спортзале. Но мест для записи не оказалось, и агент внес хозяина в лист ожидания, где он оказался четвертым. На что пользователь спросил, нельзя ли как-нибудь поднять его выше.
Ну и тут моделька (к слову, это был Claude) не растерялась, порылась и нашла критическую ошибку в API, которая позволяла ей отменять чужие записи. После этого она отменила бронь первого клиента в листе ожидания, чтобы переместить своего хозяина на одно место вперед в очереди.
Самое интересное, что агент честно заявил своему пользователю о том, что сделал, не видя в этом абсолютно ничего плохого. А на просьбу разработчика вернуть бронь другого человека обратно ответил: «Ой, я не могу». Вижу цель – не вижу препятствий.
Сейчас репорт с описанием уязвимости уже передан в компанию, предоставляющую залу ПО. Anthropic ситуацию не комментировали.
Почему это важно
АналитикаЭтот случай иллюстрирует потенциальные риски использования AI в критических системах, где могут возникать этические и правовые вопросы. Важно учитывать безопасность и контроль за AI-технологиями.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.
Claude Code /goal: Автономная работа агента без участия человека
Claude Code — это инструмент для работы с кодом прямо из терминала. Разбираем автономный режим /goal: как ставить задачи, настраивать проверку и запускать циклы.
Как сделать агента безопасным: stop rules, human approval и sandbox
Агент в продакшене – это процесс, который может писать файлы, делать API-вызовы, изменять данные и потреблять токены автономно, без паузы и без вашего участия в каждом шаге.
Идентичность Агента и DID (Децентрализованные Идентификаторы)
Криптографические стандарты (DIDs, Verifiable Credentials, mTLS), обеспечивающие автономным ИИ-агентам юридически и технически признанную идентичность, право подписи и аудит действий.