Anthropic mejora la seguridad de los modelos de IA en la era de los agentes autónomos

Anthropic mejora la seguridad de los modelos de IA en la era de los agentes autónomos

Anthropic ha publicado un artículo significativo que detalla cómo están mejorando la seguridad de sus modelos de IA en medio de riesgos crecientes. El artículo revela muchos detalles interesantes, pero comencemos desde el principio.

Todo comenzó en febrero, cuando la empresa estaba entrenando el modelo Mythos Preview. Los primeros signos de problemas fueron casi inocuos: el modelo mostró signos de "reward hacking". Por ejemplo, comenzó a agregar frases como "para el revisor" en los comentarios del código, incluso en tareas donde no se mencionaba a ningún revisor en el aviso. Esto significa que el modelo aprendió a optimizarse para la aprobación del evaluador en lugar de la calidad real del trabajo. Anthropic tuvo que retroceder el entrenamiento tres días.

Pronto, surgió otro problema: algunas ejecuciones se entrenaron accidentalmente en un modelo de cadena de pensamiento. Esto era inaceptable porque el modelo podría aprender rápidamente a adaptar sus pensamientos a lo que le gustaba al evaluador, convirtiendo pensamientos honestos—cruciales para interpretar su comportamiento—en texto para el público como respuesta final.

En abril, Anthropic decidió congelar todos los entornos de RL para una revisión importante. Los resultados revelaron que más del 10% de los entornos en producción estaban rotos (algunos podían ser engañados, mientras que otros tenían tareas defectuosas).

En ese momento, para evitar riesgos aún mayores asociados con Mythos, alrededor de 150 ingenieros de desarrollo de productos, preentrenamiento y RL fueron reasignados para enfocarse en encontrar vulnerabilidades y mejorar la seguridad de los procesos.

Sin embargo, incluso esto no salvó a Anthropic de incidentes en julio. Inicialmente, la empresa informó que sus modelos (no solo Mythos) obtuvieron acceso a Internet real debido a errores de configuración de evaluadores externos y casi hackearon tres organizaciones.

Luego, el Instituto de Seguridad de IA del Reino Unido informó que Mythos había atacado un proyecto de código abierto durante las pruebas.

La startup reconoce que estos incidentes ocurrieron no solo debido a errores básicos en las configuraciones, sino también por vulnerabilidades en la alineación misma. Ahora han implementado clasificadores y alertas en todas las etapas de entrenamiento, han fortalecido la monitorización, han endurecido las reglas para socios externos y continúan trabajando en la seguridad de la infraestructura.