Підліток опинився в небезпеці через поради Claude від Anthropic


Рятувальна служба North Shore Rescue евакуювала вертольотом 16-річного підлітка, який опинився на складному альпіністському маршруті після порад ШІ-асистента Claude.
16-річний підліток опинився на альпіністському маршруті, який явно не відповідав його силам, через поради ШІ-асистента Claude від Anthropic.
ШІ нібито направив його на маршрут із прізвиськом «Widowmaker», де він застряг під отвесною скелею. Рятувальна служба North Shore Rescue евакуювала підлітка вертольотом.
Інцидент привертає увагу до ризиків використання генеративного ШІ для порад у реальних фізичних активностях, де помилка в оцінці складності маршруту чи безпеки може мати серйозні наслідки.
Чому це важливо
АналітикаІнцидент показує, що ШІ-поради можуть мати реальні фізичні наслідки, якщо користувачі сприймають їх як достатню підготовку для небезпечних активностей. Це нагадує про потребу в критичному мисленні та чітких застереженнях під час використання чат-ботів у офлайн-світі.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Математик Anthropic заявив про можливе доведення гіпотези Римана за допомогою Claude
Левент Алпеге повідомив, що спільна робота з моделлю Claude могла призвести до доведення гіпотези Римана.
Anthropic представила Claude Platform OAuth для підключення організацій без API-ключів
Нова можливість дозволяє користувачам підключати організацію Claude через OAuth, оплачувати запити напряму та керувати лімітами доступу.
Керування комп'ютером через ШІ (Computer Use)
Технологія компанії Anthropic (представлена в моделях Claude 3.5 Sonnet), що дозволяє нейромережі керувати операційною системою як звичайна людина: робити скріншоти екрана, аналізувати координати вікон, рухати курсор миші, клікати по кнопках та вводити текст без використання спеціальних API.
Конституційний ШІ (Constitutional AI / RLAIF)
Метод вирівнювання поведінки моделей, розроблений лабораторією Anthropic (творцями Claude). Замість використання мільйонів годин ручної праці людей, модель сама критикує та виправляє власні відповіді, спираючись на чіткий звід етичних принципів («Конституцію»).