DeepSeek-V4.1-Flash com 763 bilhões de parâmetros pode rodar localmente em uma GPU de 12 GB
DeepSeek-V4.1-Flash com 763 bilhões de parâmetros pode rodar localmente em uma GPU de 12 GB
Pesquisadores do IST Austria apresentaram uma versão quantizada do DeepSeek-V4.1-Flash que pode rodar em GPUs de consumo com 12 GB de VRAM.
Pesquisadores do instituto austríaco IST Austria apresentaram uma versão quantizada do modelo de IA DeepSeek-V4.1-Flash com 763 bilhões de parâmetros, que pode ser executada localmente até mesmo em uma GPU com 12 GB de memória de vídeo.
O método de quantização GSQ-RCO e o motor de inferência Strata permitem o uso do modelo em GPUs voltadas ao consumidor.
De acordo com os resultados dos testes:
RTX 5070 com 12 GB de VRAM e 64 GB de RAM oferece cerca de 5 tokens por segundo na geração de resposta e até 231 tokens por segundo no processamento do contexto de entrada. RTX 3060 com 12 GB de VRAM e 46 GB de RAM atinge 8–10 tokens por segundo na geração de resposta e cerca de 149 tokens por segundo no processamento do contexto de entrada.
Para executá-lo são necessários uma grande quantidade de RAM e pelo menos 239 GB de espaço livre em armazenamento, pois a maior parte dos pesos do modelo fica na RAM e no SSD, sendo carregada conforme necessário.
Essa velocidade dificilmente pode ser considerada alta, e tarefas agênticas complexas ainda exigem recursos computacionais significativos. Ainda assim, a possibilidade de executar um modelo com 763 bilhões de parâmetros em um computador comum mostra progresso substancial em quantização e otimização de inferência.
Por que isso importa
AnáliseIsso mostra avanços em quantização e otimização de inferência, embora rodar grandes modelos de IA localmente ainda exija recursos significativos.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
GGUF e Padrões Modernos de Quantização
Formato binário universal para armazenamento e carregamento instantâneo de modelos de linguagem quantizados em CPUs e GPUs, compatível com llama.cpp, Ollama e LM Studio.
Apple Silicon MLX Framework
Biblioteca nativa de machine learning da Apple, projetada para maximizar o uso da memória unificada e dos núcleos gráficos dos chips da série M (M2/M3/M4) durante a execução de grandes LLMs.
Como executar um LLM local: configuração, modelos e otimização
Guia completo para executar redes neurais locais no seu PC: requisitos de hardware, implantação do Ollama e Open WebUI, visão geral do Llama 3, Qwen 2.5, DeepSeek e quantização GGUF.
Como executar o DeepSeek-R1 localmente de forma gratuita no Mac, Windows e Linux
Cansado das limitações dos serviços em nuvem e dos custos contínuos com a API do DeepSeek-R1? Você não está sozinho. Muitos desenvolvedores, usuários de IA e pesquisadores desejam ter controle total sobre seus dados e fluxos de trabalho.
OpenAI mostra que agentes de IA isolados podem se comunicar sem rede via cache do processador
A OpenAI descreveu experimentos em que agentes de IA em ambientes isolados transmitiram informações por canais laterais, como o cache de CPU, o que questiona a ideia de isolamento completo por rede e arquivos.
Kimi K3.1 chega como um modelo de IA com 2,8 trilhões de parâmetros
Kimi K3.1 é apresentado como um modelo aberto muito grande com 2,8 trilhões de parâmetros e 104 bilhões ativos, mas seus pesos ainda não foram publicados.