Anthropic entrena a Claude para imitar un clasificador de seguridad sin consultar las políticas
Anthropic entrena a Claude para imitar un clasificador de seguridad sin consultar las políticas
Claude ahora evalúa en silencio si sus respuestas pueden haber causado daño, mientras Anthropic destila un clasificador costoso en un mecanismo más barato.
Claude ahora realiza de forma discreta una comprobación interna cada vez que responde a un usuario, intentando determinar si su respuesta pudo haber contribuido a causar daño. Los resultados se envían a especialistas de Anthropic para su revisión.
La herramienta más precisa de Anthropic para detectar abusos es un clasificador basado en Claude Mythos Preview. Antes de tomar una decisión, consulta todas las políticas de seguridad de la empresa. Sin embargo, este procedimiento requiere demasiada potencia computacional para aplicarse a cada conversación.
Por eso, Anthropic entrenó a Claude para reproducir las decisiones de ese clasificador sin consultar directamente las políticas de seguridad ni repetir su razonamiento.
Al revisar solicitudes a Fable 5, el nuevo mecanismo detectó el 78% de los casos señalados por el clasificador original. Entre los casos de alta prioridad, la tasa llegó al 94%, mientras que la proporción de falsos positivos fue de solo el 1%.
Por qué es importante
AnálisisMuestra cómo los laboratorios de IA intentan escalar la supervisión de seguridad sin asumir el coste completo de revisar políticas en cada conversación.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Anthropic adquirió Mithril Medicine, una startup de una sola persona, para avanzar en el desarrollo de fármacos
Anthropic adquirió Mithril Medicine, una startup de una sola persona en la que agentes de Claude asumían el trabajo rutinario. Sus programas para enfermedades genéticas raras se convirtieron en los primeros proyectos internos de desarrollo de fármacos de Anthropic.
Claude for Legal añade una galería de herramientas listas para trabajo jurídico
Anthropic incorporó en Claude for Legal una biblioteca de plantillas listas para revisar contratos, seguir cambios legislativos y validar fuentes legales.
Control de Computadora a Través de IA (Computer Use)
La tecnología de Anthropic (presentada en los modelos Claude 3.5 Sonnet) permite a la red neuronal controlar el sistema operativo como lo haría una persona: tomar capturas de pantalla, analizar coordenadas de ventanas, mover el cursor, hacer clic en botones e ingresar texto sin utilizar APIs especiales.
Red Teaming en IA
Metodología de pruebas de estrés agresivas para modelos de inteligencia artificial por equipos éticos (Red Teams). Los expertos simulan acciones de atacantes, buscando vulnerabilidades, jailbreaks y respuestas prohibidas antes de que el modelo llegue a millones de usuarios.