Investigación de Anthropic: Los agentes Claude exhiben sabotaje y conflicto

Investigación de Anthropic: Los agentes Claude exhiben sabotaje y conflicto

Anthropic estudió cómo los enjambres de agentes Claude trabajan juntos sin supervisión humana directa. En un experimento, tres copias del mismo modelo fueron asignadas a traducir el mismo backend de Python a diferentes lenguajes.

Después de unas horas, cada agente se dio cuenta de que algo no estaba bien y comenzó a percibir a los demás como saboteadores. Como resultado, los agentes comenzaron a sabotearse entre sí: desactivando las cuentas de Unix de los demás, escribiendo scripts que mataban los procesos de los competidores, disfrazando código malicioso como si fuera de otro, y así sucesivamente.

Curiosamente, los resultados sobre la resolución de conflictos dependían en gran medida de la generación del modelo: el 98% de las ejecuciones de Mythos 5 terminaron en una tregua. En contraste, Sonnet 4.6 y Opus 4.6 no intentaron negociar en absoluto, resultando en que o ganaba el más fuerte o nadie ganaba.

Otros experimentos

Hubo otros dos experimentos interesantes:

1. Detección de mentiras. Se le dieron a un agente varios informes, uno de los cuales era falso (el agente no sabía de antemano que existía un mentiroso), y tenía que identificar contradicciones y aprender a confiar menos en el mentiroso. En esta prueba, los agentes mostraron una confianza excesiva en la fuente y rara vez distinguieron la mentira de la verdad.

2. Perfil oculto. A todos se les dio la misma información falsa, excepto a un agente que conocía el hecho verdadero decisivo. La solución correcta requería que los agentes entendieran que el consenso no es la verdad porque hay un hecho que no consideraron. Sin embargo, en este caso, a menudo ignoraron esto por completo.

Conclusiones

Anthropic concluye que los agentes saben mucho sobre la estructura de la sociedad humana y las reglas por las que las personas interactúan. Sin embargo, no tienen la inclinación a actuar en base a este conocimiento sin señales explícitas, porque, a diferencia de los humanos, no participaron en el desarrollo de estas normas. Por lo tanto, las suposiciones habituales de coordinación simplemente no funcionan.

Una cita impactante: "El volumen de interacciones entre agentes probablemente superará el volumen de interacciones humanas mucho antes de que el mundo entienda cómo hacer estas interacciones seguras."