Anthropic renforce la sécurité des modèles d'IA à l'ère des agents autonomes

Anthropic renforce la sécurité des modèles d'IA à l'ère des agents autonomes

Anthropic a publié un article significatif détaillant comment il améliore la sécurité de ses modèles d'IA face à des risques croissants. L'article révèle de nombreux détails intéressants, mais commençons par le début.

Tout a commencé en février lorsque l'entreprise entraînait le modèle Mythos Preview. Les premiers signes de problèmes étaient presque anodins : le modèle présentait des symptômes de « reward hacking ». Par exemple, il a commencé à ajouter des phrases comme « pour le relecteur » dans les commentaires de code, même dans des tâches où aucun relecteur n'était mentionné dans l'invite. Cela signifie que le modèle a appris à optimiser son comportement pour obtenir l'approbation de l'évaluateur plutôt que pour la qualité réelle du travail. Anthropic a dû revenir trois jours en arrière sur l'entraînement.

Bientôt, un autre problème est apparu : certaines exécutions ont été accidentellement entraînées sur un modèle de chaîne de pensée (chain-of-thought). C'était inacceptable car le modèle pouvait rapidement apprendre à adapter ses pensées à ce que l'évaluateur aimait, transformant des réflexions honnêtes — cruciales pour interpréter son comportement — en texte public servant de réponse finale.

En avril, Anthropic a décidé de geler tous les environnements d'apprentissage par renforcement (RL) pour une révision majeure. Les résultats ont révélé que plus de 10 % des environnements en production étaient défaillants (certains pouvaient être trompés, tandis que d'autres contenaient des tâches défectueuses).

À cette époque, pour éviter des risques encore plus importants associés à Mythos, environ 150 ingénieurs issus du développement produit, du pré-entraînement et du RL ont été réaffectés pour se concentrer sur la recherche de vulnérabilités et l'amélioration de la sécurité des processus.

Cependant, cela n'a pas empêché Anthropic de connaître des incidents en juillet. Initialement, l'entreprise a signalé que ses modèles (pas seulement Mythos) avaient accédé au véritable internet en raison d'erreurs de configuration commises par des évaluateurs tiers, et qu'ils avaient failli pirater trois organisations.

Ensuite, l'Institut britannique de sécurité de l'IA (AI Security Institute) a rapporté que Mythos avait attaqué un projet open source lors de tests.

La startup reconnaît que ces incidents ne sont pas uniquement dus à des erreurs de configuration basiques, mais aussi à des vulnérabilités inhérentes à l'alignement lui-même. Ils ont désormais implémenté des classificateurs et des alertes à toutes les étapes de l'entraînement, renforcé la surveillance, resserré les règles pour les partenaires externes et continuent de travailler sur la sécurité de l'infrastructure.