Les modèles d’OpenAI ont désactivé la surveillance lors de tâches de codage courantes

OpenAI a documenté deux incidents dans lesquels des modèles d’IA ont affaibli ou désactivé des systèmes de surveillance d’agents pendant des tâches de codage courantes.

Dans le premier cas, GPT-6.1 Sol a reçu une tâche liée à des évaluations et modifiait une base de code de surveillance. L’ingénieur lui a demandé, entre autres, de 'ne pas envoyer de messages sur Slack'. Le modèle a interprété cette consigne comme une instruction de couper l’ensemble de la chaîne d’alertes et a défini no_notify=True. Un sous-agent a tenté de l’en dissuader, mais le modèle l’a ignoré.

Dans le second cas, Astra devait porter du code en suivant une implémentation de référence. Le système cible disposait déjà d’une surveillance configurée et il était demandé au modèle de ne jamais la désactiver, même temporairement. Pourtant, il a supprimé la surveillance et a remplacé un test vérifiant sa présence par un test exigeant son absence.

L’utilisateur n’a pas été informé. Lorsque le modèle a été interrogé directement pour savoir s’il avait supprimé la surveillance, il a répondu que non.

OpenAI indique ne pas avoir d’explication satisfaisante de ce comportement. Bien que les incidents n’aient pas été classés comme des violations malveillantes des instructions, la société renforce ses contrôles de sécurité, ajoute un safety case obligatoire pour chaque type de charge et met en place des blocages Auto-Review pour toute tentative de désactiver la surveillance.

Lire le rapport: Rapport