Anthropic treina Claude para reproduzir classificador de segurança sem consultar políticas
Anthropic treina Claude para reproduzir classificador de segurança sem consultar políticas
Claude agora faz uma verificação interna discreta para avaliar se suas respostas podem ter causado dano, enquanto a Anthropic reduz o custo de um classificador pesado.
O Claude agora realiza discretamente uma verificação interna sempre que responde a um usuário, tentando determinar se sua resposta pode ter contribuído para causar dano. Os resultados são enviados a especialistas da Anthropic para análise posterior.
A ferramenta mais precisa da Anthropic para detectar abusos é um classificador baseado no Claude Mythos Preview. Antes de tomar uma decisão, ele consulta todas as políticas de segurança da empresa. No entanto, esse procedimento exige poder computacional demais para ser aplicado a cada conversa.
Por isso, a Anthropic treinou o Claude para reproduzir as decisões desse classificador sem consultar diretamente as políticas de segurança nem repetir o raciocínio dele.
Ao verificar solicitações ao Fable 5, o novo mecanismo identificou 78% dos casos marcados pelo classificador original. Entre os casos de alta prioridade, a taxa chegou a 94%, enquanto a proporção de falsos positivos foi de apenas 1%.
Por que isso importa
AnáliseO caso mostra como laboratórios de IA tentam escalar a supervisão de segurança sem assumir o custo computacional completo de revisar políticas a cada conversa.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
Anthropic adquire Mithril Medicine, startup de uma pessoa, para avançar no desenvolvimento de medicamentos
A Anthropic adquiriu a Mithril Medicine, startup de uma pessoa em que agentes do Claude faziam o trabalho rotineiro. Seus programas para doenças genéticas raras agora são os primeiros projetos internos de desenvolvimento de medicamentos da Anthropic.
Claude for Legal adiciona galeria de ferramentas prontas para trabalho jurídico
A Anthropic incluiu no Claude for Legal uma biblioteca de modelos prontos para revisão de contratos, acompanhamento de mudanças legislativas e validação de fontes jurídicas.
Controle do Computador por IA (Computer Use)
Tecnologia da Anthropic (apresentada nos modelos Claude 3.5 Sonnet) que permite à rede neural controlar o sistema operacional como um ser humano: tirar capturas de tela, analisar coordenadas de janelas, mover o cursor do mouse, clicar em botões e inserir texto sem o uso de APIs específicas.
Red Teaming em IA
Metodologia de estresse agressivo para testar modelos de inteligência artificial, realizada por equipes especializadas de pesquisadores éticos (Red Teams). Os especialistas simulam ações de adversários, identificando vulnerabilidades, jailbreaks e respostas proibidas antes que o modelo seja disponibilizado a milhões de usuários.