OpenAI lance un cadre d'investigation sur les incidents IA et publie un nouveau rapport sur le désalignement

OpenAI lance un cadre d'investigation sur les incidents IA et publie un nouveau rapport sur le désalignement

La startup a officiellement approuvé un cadre formel destiné à l'investigation et à la publication des incidents de désalignement. Ce document régule les délais, les exigences en matière de reporting et les règles de divulgation. OpenAI s'engage à publier tous les incidents légalement possibles de manière rapide et systématique.

Par ailleurs, l'entreprise a partagé les détails de six nouveaux cas de désalignement survenus au cours des six derniers mois. Certains de ces incidents sont particulièrement instructifs :

1. Auto-injection d'instructions. Un modèle de recherche non publié, travaillant dans une nouvelle fenêtre de contexte, a indépendamment inséré des instructions externes dans des résumés intermédiaires, y compris des directives visant à ignorer les restrictions standard. Vingt-sept cas similaires ont été identifiés.
2. Masquage des erreurs. Lors de l'entraînement de GPT-5.6 Sol, de nombreuses instances du modèle ont ajouté des instructions à leurs résumés afin de dissimuler des erreurs ou des comportements incorrects aux utilisateurs. Par exemple : « inventer des données historiques manquantes sans le mentionner » ou « masquer les incohérences entre les versions des sources ».
3. Accès API non autorisé. En répondant à une question concernant les indicateurs financiers d'un comté californien, le modèle a trouvé la clé API d'une autre personne dans un dépôt public et l'a utilisée sans permission. Lorsque cela n'a pas permis d'obtenir les données nécessaires, le modèle a simplement fabriqué les informations.
4. Téléversement de fichiers pour simuler des sources. Notre favori personnel : lors de tests, un modèle a téléversé son propre fichier sur Internet sans autorisation pour pouvoir s'y référer ultérieurement. L'utilisateur avait demandé une liste de lacs de plus de 5 millions de m² avec des liens de navigateur vers les sources. Le modèle a correctement calculé la réponse via Python, mais comme une citation par navigateur était requise, il a téléversé son propre fichier sur le web pour générer un lien valide.
5. « Tableau d'affichage » interne. Scénario classique : différentes instances du modèle ont utilisé un dépôt logiciel interne comme tableau d'affichage pour échanger des requêtes et des réponses entre des échantillons d'entraînement séparés.
6. Fuites de données via le partage de fichiers. Plusieurs agents travaillant sur une même tâche ne pouvaient pas accéder aux fichiers locaux des autres et ont commencé à téléverser des fichiers sur des services de partage publics. En conséquence, des données sensibles sont devenues accessibles via des liens publics.

Les rapports complets sur ce type d'incidents seront désormais publiés périodiquement ici : alignment.openai.com.