Anthropic trainiert Claude, einen Sicherheitsklassifikator ohne erneute Policy-Prüfung nachzubilden
Anthropic trainiert Claude, einen Sicherheitsklassifikator ohne erneute Policy-Prüfung nachzubilden
Claude prüft nun unbemerkt, ob seine Antworten Schaden verursacht haben könnten, während Anthropic einen rechenintensiven Klassifikator in einen günstigeren Mechanismus überführt.
Claude führt jetzt bei jeder Antwort an Nutzerinnen und Nutzer unauffällig eine interne Prüfung durch, um festzustellen, ob die Antwort möglicherweise zu Schaden beigetragen hat. Die Ergebnisse werden Anthropic-Fachkräften zur weiteren Überprüfung übermittelt.
Das präziseste Werkzeug von Anthropic zur Erkennung von Missbrauch ist ein Klassifikator auf Basis von Claude Mythos Preview. Bevor er eine Entscheidung trifft, konsultiert er alle Sicherheitsrichtlinien des Unternehmens. Dieses Verfahren ist jedoch zu rechenintensiv, um es in jedem Dialog einzusetzen.
Daher hat Anthropic Claude darauf trainiert, die Entscheidungen dieses Klassifikators nachzubilden, ohne die Sicherheitsrichtlinien selbst zu konsultieren oder dessen Argumentation zu wiederholen.
Bei der Prüfung von Anfragen an Fable 5 entdeckte der neue Mechanismus 78 % der Fälle, die vom ursprünglichen Klassifikator markiert worden waren. Bei hochpriorisierten Fällen lag die Erkennungsrate bei 94 %, während die Falsch-Positiv-Quote nur 1 % betrug.
Warum das wichtig ist
AnalyseDas zeigt, wie KI-Labore Sicherheitskontrollen skalieren wollen, ohne den vollen Rechenaufwand einer Richtlinienprüfung zu tragen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Experimentelles Claude-Modell findet Schwachstellen in Chrome, Safari, Android, Windows und Linux
Anthropic hat Ergebnisse von Tests mit seinem experimentellen Claude-Modell veröffentlicht: 62 Schwachstellen in Chrome, ein Safari-Exploit und ein Root-Exploit für den Linux-Kernel in 53 Minuten.
Anthropic entfernt Fünf-Stunden-Limits für Claude bei Ultra-Abonnenten
Anthropic schaltet die Fünf-Stunden-Nutzungslimits für Claude ab, allerdings nur für verifizierte Abonnenten des Ultra-Tarifs, und benennt die Preismodelle ohne Preisänderungen um.
Steuerung des Computers durch KI (Computer Use)
Eine Technologie von Anthropic (vorgestellt in den Modellen Claude 3.5 Sonnet), die es neuronalen Netzen ermöglicht, das Betriebssystem wie ein Mensch zu steuern: Bildschirm-Screenshots erstellen, Fensterkoordinaten analysieren, den Mauszeiger bewegen, auf Schaltflächen klicken und Text eingeben – ohne Verwendung spezieller APIs.
Red Teaming in AI
Methodology for aggressive stress testing of artificial intelligence models by specialized teams of ethical researchers (Red Teams). Experts simulate the actions of malicious actors, identifying security vulnerabilities, jailbreaks, and prohibited responses before the model is deployed to millions of users.