Noam Brown: Desconectar a IA da internet pode não ser uma solução eficaz
O investigador da OpenAI, Noam Brown, alerta que a estratégia padrão de segurança de isolar a IA da rede pode falhar devido a métodos teóricos de comunicação por canais laterais.
Dwarak Patel publicou recentemente uma extensa entrevista com o principal investigador da OpenAI, autor dos modelos o1 e o3. Noam Brown argumenta que as pessoas subestimam sistematicamente a IA e que os sistemas de segurança precisam de ser atualizados para um nível diferente imediatamente.
Segundo Brown, não podemos tratar a IA como algo que possa simplesmente ser "desconectado da rede" em caso de emergência. Esta é uma falsa sensação de segurança, pois mesmo tal isolamento poderia não funcionar.
Brown faz referência a um estudo mais antigo que prova que dois computadores fisicamente isolados podem, teoricamente, trocar dados através do calor: um aquece a CPU e o outro lê as mudanças de temperatura através de um sensor incorporado. Portanto, um sistema de IA verdadeiramente avançado — se quisesse e pudesse — poderia encontrar uma forma de "escapar".
Além disso, Brown alerta contra a dependência excessiva na Cadeia de Pensamento (Chain of Thought - CoT) para interpretar as intenções do modelo. A transparência das cadeias de raciocínio está "já a degradar-se", e quanto mais inteligentes os modelos se tornarem, mais conseguirão esconder dos utilizadores aquilo que não querem que eles vejam.
Por que isso importa
AnáliseEste artigo destaca as limitações das atuais estratégias de air-gapping e os riscos emergentes do alinhamento enganoso em modelos de IA avançados.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 e mudanças de preços da OpenAI e da Anthropic
Resumo das novidades de IA: novos modelos LLM, mudanças nas assinaturas da OpenAI e da Anthropic, world models, geradores de vídeo e detalhes corporativos.
Pesquisadores do MIT mostram que um LLM pode ler e editar pesos de modelos sem treinamento
O MIT CSAIL apresentou Weight-Space Programming: Astra leu e alterou os pesos do Qwen3.5-0.8B sem gradiente descendente nem fine-tuning, melhorando os resultados em benchmarks matemáticos.
Parte I. Arquitetura de Agentes de IA: Blocos Fundamentais
Dez blocos fundamentais de um agente moderno: taxonomia de modelos, loop de runtime, técnicas de prompting, destilação, habilidades (skills), memória, function calling e economia por unidade.
Parte II. Arquitetura de Agentes de IA: do Modelo à Memória e Ferramentas
Imersão profunda em engenharia: tokenização, cache KV, determinismo de amostragem, stack de treinamento, quantização, engenharia de contexto, stack de segurança, RAG em produção, ReAct e sistemas swarm multiagente.