Anthropic trenuje Claude’a do odtwarzania klasyfikatora bezpieczeństwa bez konsultacji z politykami
Anthropic trenuje Claude’a do odtwarzania klasyfikatora bezpieczeństwa bez konsultacji z politykami
Claude teraz dyskretnie sprawdza, czy jego odpowiedzi mogły przyczynić się do szkody, a Anthropic zamienia kosztowny klasyfikator w tańszy mechanizm.
Claude teraz przy każdej odpowiedzi użytkownikowi dyskretnie przeprowadza wewnętrzną weryfikację, starając się ustalić, czy jego odpowiedź mogła przyczynić się do wyrządzenia szkody. Wyniki tego sprawdzenia są przekazywane specjalistom Anthropic do dalszego przeglądu.
Najdokładniejszym narzędziem Anthropic do wykrywania nadużyć jest klasyfikator oparty na Claude Mythos Preview. Przed podjęciem decyzji za każdym razem odwołuje się do wszystkich polityk bezpieczeństwa firmy. Jednak ta procedura wymaga zbyt dużych zasobów obliczeniowych, aby stosować ją w każdej rozmowie.
Dlatego Anthropic nauczyła Claude’a odtwarzać decyzje tego klasyfikatora bez konsultowania się bezpośrednio z politykami bezpieczeństwa i bez powtarzania toku jego rozumowania.
Podczas sprawdzania zapytań do Fable 5 nowy mechanizm wykrył 78% przypadków oznaczonych przez oryginalny klasyfikator. Wśród przypadków o wysokim priorytecie wskaźnik ten osiągnął 94%, a udział fałszywych alarmów wyniósł zaledwie 1%.
Dlaczego to ważne
AnalizaTo pokazuje, jak laboratoria AI próbują skalować nadzór bezpieczeństwa bez ponoszenia pełnego kosztu obliczeniowego przeglądania polityk przy każdej rozmowie.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Użytkownicy chińskich forów twierdzą, że rozszyfrowali system punktowy blokujący konta Claude
Użytkownicy twierdzą, że Anthropic przyznaje nowe punkty startowe kontom Claude i odejmuje je za zmiany IP, urządzeń lub proxy, zbyt wczesną subskrypcję Max albo korzystanie tylko z wersji webowej.
Anthropic przejęło Mithril Medicine, startup jednoosobowy, aby rozwijać projekty lekowe
Anthropic przejęło Mithril Medicine, startup prowadzony przez jedną osobę, w którym rutynową pracę wykonywali agenci Claude. Programy dotyczące rzadkich chorób genetycznych stały się pierwszymi wewnętrznymi projektami rozwoju leków w Anthropic.
Sterowanie komputerem przez AI (Computer Use)
Technologia firmy Anthropic (wprowadzona w modelach Claude 3.5 Sonnet), która pozwala sieci neuronowej sterować systemem operacyjnym jak zwykły użytkownik: robić zrzuty ekranu, analizować współrzędne okien, poruszać kursorem myszy, klikać przyciski i wprowadzać tekst bez użycia dedykowanych API.
Czerwone zespoły hakerskie (Red Teaming w AI)
Metodologia agresywnego testowania obciążeniowego modeli sztucznej inteligencji przez specjalne zespoły etycznych badaczy (Red Teams). Eksperci symulują działania cyberprzestępców, szukając luk w zabezpieczeniach, technik jailbreaku oraz niedozwolonych odpowiedzi, zanim model trafi do milionów użytkowników.