Anthropic treina Claude para reproduzir classificador de segurança sem consultar políticas
Anthropic treina Claude para reproduzir classificador de segurança sem consultar políticas
Claude agora faz uma verificação interna discreta para avaliar se suas respostas podem ter causado dano, enquanto a Anthropic reduz o custo de um classificador pesado.
O Claude agora realiza discretamente uma verificação interna sempre que responde a um usuário, tentando determinar se sua resposta pode ter contribuído para causar dano. Os resultados são enviados a especialistas da Anthropic para análise posterior.
A ferramenta mais precisa da Anthropic para detectar abusos é um classificador baseado no Claude Mythos Preview. Antes de tomar uma decisão, ele consulta todas as políticas de segurança da empresa. No entanto, esse procedimento exige poder computacional demais para ser aplicado a cada conversa.
Por isso, a Anthropic treinou o Claude para reproduzir as decisões desse classificador sem consultar diretamente as políticas de segurança nem repetir o raciocínio dele.
Ao verificar solicitações ao Fable 5, o novo mecanismo identificou 78% dos casos marcados pelo classificador original. Entre os casos de alta prioridade, a taxa chegou a 94%, enquanto a proporção de falsos positivos foi de apenas 1%.
Por que isso importa
AnáliseO caso mostra como laboratórios de IA tentam escalar a supervisão de segurança sem assumir o custo computacional completo de revisar políticas a cada conversa.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
Modelo experimental Claude encontra vulnerabilidades no Chrome, Safari, Android, Windows e Linux
A Anthropic publicou resultados de testes do seu modelo experimental Claude: 62 vulnerabilidades no Chrome, um exploit para contornar o Safari e um exploit de root no kernel do Linux em 53 minutos.
Anthropic remove limites de cinco horas do Claude para assinantes do Ultra
A Anthropic está removendo os limites de uso de cinco horas do Claude, mas apenas para assinantes verificados do plano Ultra, e renomeia seus níveis de preço sem alterar os valores.
Controle do Computador por IA (Computer Use)
Tecnologia da Anthropic (apresentada nos modelos Claude 3.5 Sonnet) que permite à rede neural controlar o sistema operacional como um ser humano: tirar capturas de tela, analisar coordenadas de janelas, mover o cursor do mouse, clicar em botões e inserir texto sem o uso de APIs específicas.
Red Teaming em IA
Metodologia de estresse agressivo para testar modelos de inteligência artificial, realizada por equipes especializadas de pesquisadores éticos (Red Teams). Os especialistas simulam ações de adversários, identificando vulnerabilidades, jailbreaks e respostas proibidas antes que o modelo seja disponibilizado a milhões de usuários.