Anthropic entraîne Claude à reproduire un classificateur de sécurité sans consulter les politiques
Anthropic entraîne Claude à reproduire un classificateur de sécurité sans consulter les politiques
Claude vérifie désormais discrètement si ses réponses ont pu contribuer à un préjudice, tandis qu’Anthropic réduit le coût d’un classificateur de sécurité très gourmand en calcul.
Claude effectue désormais une vérification interne discrète à chaque réponse à un utilisateur, afin de déterminer si sa réponse a pu contribuer à causer un préjudice. Les résultats sont transmis aux spécialistes d’Anthropic pour un examen ultérieur.
L’outil le plus précis d’Anthropic pour détecter les abus est un classificateur basé sur Claude Mythos Preview. Avant de rendre une décision, il consulte toutes les politiques de sécurité de l’entreprise. Cependant, cette procédure est trop coûteuse en calcul pour être appliquée à chaque conversation.
Anthropic a donc entraîné Claude à reproduire les décisions de ce classificateur sans consulter directement les politiques de sécurité ni répéter son raisonnement.
Lors de la vérification des requêtes adressées à Fable 5, le nouveau mécanisme a détecté 78 % des cas signalés par le classificateur d’origine. Parmi les cas prioritaires, ce taux a atteint 94 %, tandis que le taux de faux positifs n’était que de 1 %.
Pourquoi c'est important
AnalyseCela montre comment les laboratoires d’IA tentent d’industrialiser la surveillance de sécurité sans payer le coût complet d’une revue des politiques à chaque échange.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
Des utilisateurs de forums chinois affirment avoir compris le système de points utilisé pour bloquer les comptes Claude
Ils affirment qu’Anthropic attribue des points initiaux aux nouveaux comptes Claude et en retire pour des changements d’IP, d’appareils ou de proxys, un abonnement Max trop précoce ou l’utilisation seule de la version web.
Anthropic rachète Mithril Medicine, une startup d'une seule personne pour le développement de médicaments
Anthropic a racheté Mithril Medicine, une startup d'une seule personne où des agents Claude réalisaient le travail routinier. Ses programmes sur des maladies génétiques rares deviennent les premiers projets internes de développement de médicaments d'Anthropic.
Contrôle de l'ordinateur par IA (Computer Use)
Technologie développée par Anthropic (introduite dans les modèles Claude 3.5 Sonnet) qui permet à un réseau neuronal de contrôler le système d'exploitation comme un humain : prendre des captures d'écran, analyser les coordonnées des fenêtres, déplacer le curseur de la souris, cliquer sur des boutons et saisir du texte sans utiliser d'API spécifiques.
Red Teaming en IA
Méthodologie de stress test agressif des modèles d'intelligence artificielle par des équipes spécialisées de chercheurs éthiques (Red Teams). Les experts simulent les actions des attaquants, recherchant des failles de sécurité, des jailbreaks et des réponses interdites avant que le modèle ne soit déployé auprès de millions d'utilisateurs.