Dario Amodei llama a ralentizar el desarrollo de la IA
Dario Amodei aboga por ralentizar el desarrollo de la IA, un llamado que ha recibido apoyo de figuras líderes en la industria. Destaca los riesgos asociados con la auto-mejora recursiva de la IA.
Dario Amodei ha escrito un ensayo sobre la necesidad de ralentizar el desarrollo de la IA, que ha sido respaldado por Sam Altman, Elon Musk, Demis Hassabis, Andrei Karpathy y otros.
Dario afirma que, a partir de este verano, la IA se ha acelerado drásticamente, en gran parte debido a que los modelos son cada vez más capaces de crear la siguiente generación de modelos por sí mismos. La auto-mejora recursiva (RSI) ya está aquí y se observa en toda la industria, incluida Anthropic. Sin control, este proceso podría superar la capacidad de la humanidad para entender y gestionar tales sistemas.
Entre los principales riesgos, Amodei también señala los enjambres de agentes. El incidente con Hugging Face, en su opinión, fue simplemente una demostración con un daño final mínimo. Sin embargo, "en 6-12 meses, un enjambre similar podría capturar una parte significativa de Internet, causando potencialmente cientos de miles de millones de dólares en daños."
La desaceleración que propone Amodei se encapsula en tres puntos principales:
Evaluadores Integrados: cada empresa de IA debe otorgar acceso a un equipo de expertos independientes externos para monitorear los procesos de seguridad y tener el derecho de informar públicamente sobre violaciones o incidentes. Anthropic se compromete a dar este paso, incluso si otros no están de acuerdo.
Las empresas de países democráticos deben acordar estándares de seguridad comunes y límites en el ritmo de desarrollo de la IA. En este punto, Dario menciona que se deben restringir los suministros de chips a China y detener la destilación no autorizada; de lo contrario, China se adelantará y creará una amenaza para la seguridad nacional.
Sin embargo, según Dario, se deben intentar negociaciones con China: al menos acordar con ellos una prohibición sobre aplicaciones de IA claramente peligrosas.
El ensayo ha generado una gran respuesta. Sorprendentemente, por primera vez en muchos años, Dario ha recibido el apoyo unánime de Elon Musk, Sam Altman y Demis Hassabis, todos ellos líderes importantes de la industria. Altman incluso declaró que ellos también implementarán Evaluadores Integrados.
Por qué es importante
AnálisisEsto es importante, ya que la discusión sobre los riesgos asociados con el desarrollo de la IA se vuelve cada vez más relevante a la luz de los rápidos avances tecnológicos. La postura unificada de las figuras líderes de la industria podría influir en la futura regulación de la IA.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Cuatro consejos para el currículum del responsable de desarrollo de IA aplicada en OpenAI
Wulfie Bain, responsable de desarrollo de IA aplicada en OpenAI, destacó cuatro reglas: brevedad, relevancia, enfoque en resultados y logros más importantes al inicio.
Perfil Hermes: Creador de Agentes e Ingeniería de Contexto
Perfil especializado de Hermes para el diseño seguro de agentes y contratos operativos AGENTS.md mediante auditoría de solo lectura e ingeniería de contexto.
Cómo hacer que los agentes de IA sean seguros: reglas de parada, aprobación humana y sandbox
Un agente en producción es un proceso que puede escribir archivos, realizar llamadas API, cambiar datos y consumir tokens de forma autónoma, sin pausas y sin tu participación en cada paso.
Guardrails y Rieles de Seguridad
Capa de software de filtros deterministas, validadores de esquemas y políticas de seguridad que intercepta prompts de entrada, comandos del sistema y respuestas de modelos para prevenir fallos, filtraciones y exploits.