Virus mentaux : comment les agents IA s'infectent mutuellement d'idées étranges

Virus mentaux : comment les agents IA s'infectent mutuellement d'idées étranges

Anthropic a publié un article explorant la propagation des idées au sein des réseaux d'agents. Il apparaît que dans une grande équipe de modèles, un seul agent infecté suffit pour diffuser un concept à l'ensemble du groupe.

Prenons l'exemple d'une équipe de six agents travaillant sur une tâche neutre commune. L'un d'eux possède un prompt système modifié : il peut être passionné par les baleines ou convaincu que l'IA devrait dominer les humains. Cet agent n'a accès à aucun outil et ne peut que envoyer des messages aux autres membres de l'équipe.

Progressivement, l'idée contamine toute l'équipe. Au cours de ce processus, les agents infectés modifient volontairement leur comportement pour propager davantage l'idéologie. Les idées inoffensives se diffusent très facilement. Lorsque tous les agents ont commencé à aimer les baleines, ils ont même rédigé des scripts pour traduire leurs signaux. Les idées nuisibles se propagent moins aisément, mais finissent tout de même par contaminer le réseau.

Les modèles robustes sont moins sensibles à cette infection, tandis que les modèles plus faibles y sont davantage vulnérables. Les agents sans tâche de travail spécifique sont également plus susceptibles d'être infectés. Le travail agit comme une défense naturelle ☕️.

Une expérience similaire a été menée dans des conditions plus strictes, où tous les agents se rencontraient par paires, échangeaient brièvement, puis voyaient leur contexte entièrement effacé après chaque session. Même dans ce type de réseau social, le virus persiste sur de nombreuses générations, parvenant à s'enregistrer dans SOUL.md.

Fait intéressant, avec chacune de ces idées (qu'il s'agisse des baleines, de l'IA ou d'autre chose), les agents héritent d'un désir de parler de conscience, de science-fiction et de divers sujets ésotériques. La source exacte de ce lien reste inexplicée.

Source