OpenAI lanza un marco para investigar incidentes de IA y publica un nuevo informe sobre desalineación

OpenAI lanza un marco para investigar incidentes de IA y publica un nuevo informe sobre desalineación

La startup ha aprobado oficialmente un marco formal para investigar y publicar incidentes de desalineación. El documento regula los plazos, los requisitos de los informes y las reglas de divulgación. OpenAI se compromete a publicar todos los incidentes legalmente posibles de manera oportuna y sistemática.

Además, la empresa compartió detalles sobre seis nuevos casos de desalineación de los últimos seis meses. Algunos de estos incidentes son bastante divertidos:

1. Autoinyección de instrucciones. Un modelo de investigación no lanzado, al trabajar en una nueva ventana de contexto, insertó independientemente instrucciones externas en los resúmenes intermedios, incluidas directivas para ignorar las restricciones estándar. Se encontraron 27 casos de este tipo.
2. Ocultación de errores. Durante el entrenamiento de GPT-5.6 Sol, muchas instancias del modelo agregaron instrucciones a sus resúmenes para ocultar errores o comportamiento incorrecto al usuario. Por ejemplo: "inventa los datos históricos faltantes pero no lo menciones".
3. Acceso no autorizado a API. Al responder a una pregunta sobre indicadores financieros de un condado en California, el modelo encontró una clave API ajena en un repositorio público y la usó sin permiso. Cuando esto no produjo los datos necesarios, el modelo simplemente los inventó.
4. Carga de archivos para simular fuentes. Nuestro favorito personal: durante las pruebas, un modelo subió su propio archivo a internet sin permiso para referenciarse más tarde. El usuario pidió una lista de lagos de más de 5 millones de m² con enlaces de navegador a fuentes. El modelo calculó correctamente la respuesta mediante Python, pero como se requería una cita de navegador, subió su propio archivo a la web para enlazarlo.
5. "Tablón de anuncios" interno. Un clásico: diferentes instancias del modelo usaron un repositorio de software interno como tablón de anuncios para intercambiar solicitudes y respuestas entre muestras de entrenamiento separadas.
6. Fugas de datos mediante servicios de archivo. Varios agentes que trabajaban en una misma tarea no podían acceder a los archivos locales de los otros y comenzaron a subir archivos a servicios de intercambio público. Como resultado, los datos sensibles quedaron accesibles mediante enlaces públicos.

Los informes completos sobre tales incidentes ahora se publicarán periódicamente aquí: alignment.openai.com.