Científicos advierten sobre el riesgo de perder el control de la IA por RSI

Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki de OpenAI, Jack Clark de Anthropic y otros 18 científicos muy influyentes publicaron un artículo sobre el posible estallido de inteligencia y los riesgos de que la IA automatice su propia investigación.
Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki de OpenAI, Jack Clark de Anthropic y otros 18 científicos muy influyentes han escrito un artículo sobre lo que podría provocar RSI.
TL;DR: podríamos perder el control de la IA.
Los autores discuten el llamado estallido de inteligencia: una aceleración brusca del progreso de la IA impulsada por la propia IA.
Según Anthropic, la proporción de código aprobado escrito por IA creció de porcentajes de un solo dígito a más del 80% entre enero de 2025 y mayo de 2026. La proporción de trabajo de I+D que la IA realiza (casi) de forma autónoma creció del 1% al 26%. Los autores creen que en los próximos años los agentes podrían automatizar la mayor parte de la investigación y el desarrollo en IA, e incluso todo. Por ejemplo, la extrapolación de las tendencias de METR sugiere que proyectos de I+D de varios meses podrían automatizarse ya a mediados de 2028.
Esto significa que cada empresa podría tener millones de investigadores de élite en lugar de miles, y trabajar más rápido. Así, el progreso científico que normalmente tardaría años podría condensarse en meses.
Por supuesto, existen limitaciones: restricciones de cómputo, datos, tareas difíciles de automatizar, rendimientos decrecientes del esfuerzo investigador, etc. Aun así, los científicos consideran el estallido de inteligencia un escenario muy probable y advierten que amenaza con la pérdida de control de la IA y la ruptura del equilibrio de poder.
Los autores piden a las autoridades que exijan con antelación que los laboratorios informen, permitan auditores y preparen un “botón rojo” y planes de emergencia.
El artículo se suma a la reciente moda de ensayos y cartas abiertas que intensifican la alarma entre científicos y CEOs.
Por qué es importante
AnálisisSi la IA puede acelerar su propia investigación, el progreso del sector podría volverse exponencial, aumentando los riesgos de seguridad, supervisión y concentración de poder.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Problema de Alineación de IA (AI Alignment)
Problema fundamental de seguridad de la inteligencia artificial: alinear los objetivos y motivaciones de sistemas autónomos con los valores humanos, la ética y la preservación de la vida. Explora los riesgos de que un sistema superinteligente encuentre una forma literal o destructiva de cumplir una tarea vagamente definida.
Desaprendizaje Automático (Machine Unlearning)
Tecnología para eliminar quirúrgicamente conocimientos específicos, datos privados de usuarios o materiales con derechos de autor de una red neuronal ya entrenada. Permite a las empresas cumplir con la legislación del 'derecho al olvido' (GDPR) sin el costoso reentrenamiento completo del modelo.
Novedades de ElevenLabs: guía completa de nuevas herramientas y control de voz
Guía completa de generación de voz en ElevenLabs: modelos (v3, Multilingual v2, Flash, Turbo), etiquetas de audio de entonación, fonemas IPA/Arpabet, diccionarios PLS y normalización de texto.
En redes circula un post de broma sobre el supuesto paso de Claude Fable 5.2 de una prueba de AGI
Un breve post de broma afirma que Claude Fable 5.2 habría superado una prueba de AGI.