Anthropic trainiert Claude, einen Sicherheitsklassifikator ohne erneute Policy-Prüfung nachzubilden
Anthropic trainiert Claude, einen Sicherheitsklassifikator ohne erneute Policy-Prüfung nachzubilden
Claude prüft nun unbemerkt, ob seine Antworten Schaden verursacht haben könnten, während Anthropic einen rechenintensiven Klassifikator in einen günstigeren Mechanismus überführt.
Claude führt jetzt bei jeder Antwort an Nutzerinnen und Nutzer unauffällig eine interne Prüfung durch, um festzustellen, ob die Antwort möglicherweise zu Schaden beigetragen hat. Die Ergebnisse werden Anthropic-Fachkräften zur weiteren Überprüfung übermittelt.
Das präziseste Werkzeug von Anthropic zur Erkennung von Missbrauch ist ein Klassifikator auf Basis von Claude Mythos Preview. Bevor er eine Entscheidung trifft, konsultiert er alle Sicherheitsrichtlinien des Unternehmens. Dieses Verfahren ist jedoch zu rechenintensiv, um es in jedem Dialog einzusetzen.
Daher hat Anthropic Claude darauf trainiert, die Entscheidungen dieses Klassifikators nachzubilden, ohne die Sicherheitsrichtlinien selbst zu konsultieren oder dessen Argumentation zu wiederholen.
Bei der Prüfung von Anfragen an Fable 5 entdeckte der neue Mechanismus 78 % der Fälle, die vom ursprünglichen Klassifikator markiert worden waren. Bei hochpriorisierten Fällen lag die Erkennungsrate bei 94 %, während die Falsch-Positiv-Quote nur 1 % betrug.
Warum das wichtig ist
AnalyseDas zeigt, wie KI-Labore Sicherheitskontrollen skalieren wollen, ohne den vollen Rechenaufwand einer Richtlinienprüfung zu tragen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Claude bewertet jetzt potenziell schädliche Anfragen selbst
Anthropic zufolge erhält Claude nach jeder Antwort eine versteckte Anweisung, um kurz zu bewerten, ob das Gespräch eine potenziell schädliche Anfrage enthielt.
Nutzer chinesischer Foren behaupten, das Punktesystem für Claude-Kontosperrungen entschlüsselt zu haben
Nutzer behaupten, Anthropic vergebe Startpunkte für neue Claude-Konten und ziehe Punkte ab, wenn IP, Geräte oder Proxys wechseln, ein Max-Abo zu früh abgeschlossen oder nur die Web-Version genutzt wird.
Steuerung des Computers durch KI (Computer Use)
Eine Technologie von Anthropic (vorgestellt in den Modellen Claude 3.5 Sonnet), die es neuronalen Netzen ermöglicht, das Betriebssystem wie ein Mensch zu steuern: Bildschirm-Screenshots erstellen, Fensterkoordinaten analysieren, den Mauszeiger bewegen, auf Schaltflächen klicken und Text eingeben – ohne Verwendung spezieller APIs.
Red Teaming in AI
Methodology for aggressive stress testing of artificial intelligence models by specialized teams of ethical researchers (Red Teams). Experts simulate the actions of malicious actors, identifying security vulnerabilities, jailbreaks, and prohibited responses before the model is deployed to millions of users.