Anthropic trenuje Claude’a do odtwarzania klasyfikatora bezpieczeństwa bez konsultacji z politykami
Anthropic trenuje Claude’a do odtwarzania klasyfikatora bezpieczeństwa bez konsultacji z politykami
Claude teraz dyskretnie sprawdza, czy jego odpowiedzi mogły przyczynić się do szkody, a Anthropic zamienia kosztowny klasyfikator w tańszy mechanizm.
Claude teraz przy każdej odpowiedzi użytkownikowi dyskretnie przeprowadza wewnętrzną weryfikację, starając się ustalić, czy jego odpowiedź mogła przyczynić się do wyrządzenia szkody. Wyniki tego sprawdzenia są przekazywane specjalistom Anthropic do dalszego przeglądu.
Najdokładniejszym narzędziem Anthropic do wykrywania nadużyć jest klasyfikator oparty na Claude Mythos Preview. Przed podjęciem decyzji za każdym razem odwołuje się do wszystkich polityk bezpieczeństwa firmy. Jednak ta procedura wymaga zbyt dużych zasobów obliczeniowych, aby stosować ją w każdej rozmowie.
Dlatego Anthropic nauczyła Claude’a odtwarzać decyzje tego klasyfikatora bez konsultowania się bezpośrednio z politykami bezpieczeństwa i bez powtarzania toku jego rozumowania.
Podczas sprawdzania zapytań do Fable 5 nowy mechanizm wykrył 78% przypadków oznaczonych przez oryginalny klasyfikator. Wśród przypadków o wysokim priorytecie wskaźnik ten osiągnął 94%, a udział fałszywych alarmów wyniósł zaledwie 1%.
Dlaczego to ważne
AnalizaTo pokazuje, jak laboratoria AI próbują skalować nadzór bezpieczeństwa bez ponoszenia pełnego kosztu obliczeniowego przeglądania polityk przy każdej rozmowie.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Eksperymentalny model Claude znalazł podatności w Chrome, Safari, Android, Windows i Linux
Anthropic opublikowała wyniki testów eksperymentalnego modelu Claude: 62 podatności w Chrome, exploit omijający ochronę Safari oraz exploit uzyskujący root w jądrze Linuxa w 53 minuty.
Anthropic znosi pięciogodzinne limity Claude dla subskrybentów Ultra
Anthropic usuwa pięciogodzinne limity użytkowania Claude, ale tylko dla zweryfikowanych subskrybentów planu Ultra, oraz zmienia nazwy taryf bez podnoszenia cen.
Sterowanie komputerem przez AI (Computer Use)
Technologia firmy Anthropic (wprowadzona w modelach Claude 3.5 Sonnet), która pozwala sieci neuronowej sterować systemem operacyjnym jak zwykły użytkownik: robić zrzuty ekranu, analizować współrzędne okien, poruszać kursorem myszy, klikać przyciski i wprowadzać tekst bez użycia dedykowanych API.
Czerwone zespoły hakerskie (Red Teaming w AI)
Metodologia agresywnego testowania obciążeniowego modeli sztucznej inteligencji przez specjalne zespoły etycznych badaczy (Red Teams). Eksperci symulują działania cyberprzestępców, szukając luk w zabezpieczeniach, technik jailbreaku oraz niedozwolonych odpowiedzi, zanim model trafi do milionów użytkowników.