DeepSeek-V4.1-Flash con 763 mil millones de parámetros puede ejecutarse localmente en una GPU de 12 GB
DeepSeek-V4.1-Flash con 763 mil millones de parámetros puede ejecutarse localmente en una GPU de 12 GB
Investigadores de IST Austria presentaron una versión cuantizada de DeepSeek-V4.1-Flash que puede ejecutarse en GPUs de consumo con 12 GB de VRAM.
Investigadores del instituto austriaco IST Austria han presentado una versión cuantizada del modelo de IA DeepSeek-V4.1-Flash con 763 mil millones de parámetros, que puede ejecutarse localmente incluso en una GPU con 12 GB de memoria de vídeo.
El método de cuantización GSQ-RCO y el motor de inferencia Strata permiten usar el modelo en GPUs de consumo.
Según los resultados de las pruebas:
RTX 5070 con 12 GB de VRAM y 64 GB de RAM ofrece unos 5 tokens por segundo al generar respuestas y hasta 231 tokens por segundo al procesar el contexto de entrada. RTX 3060 con 12 GB de VRAM y 46 GB de RAM alcanza 8–10 tokens por segundo al generar respuestas y unos 149 tokens por segundo al procesar el contexto de entrada.
Para ejecutarlo se necesita una gran cantidad de RAM y al menos 239 GB de espacio libre en el almacenamiento, ya que la mayor parte de los pesos del modelo se guardan en la RAM y en un SSD, desde donde se cargan según sea necesario.
La velocidad difícilmente puede considerarse alta, y las tareas agentivas complejas siguen requiriendo recursos informáticos considerables. Aun así, la posibilidad de ejecutar un modelo con 763 mil millones de parámetros en un ordenador normal muestra un progreso significativo en cuantización y optimización de la inferencia.
Por qué es importante
AnálisisMuestra avances en cuantización y optimización de la inferencia, aunque ejecutar grandes modelos de IA localmente sigue requiriendo recursos importantes.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
GGUF y Estándares Modernos de Cuantización
Formato binario universal para el almacenamiento y carga instantánea de modelos de lenguaje cuantizados en CPUs y GPUs en llama.cpp, Ollama y LM Studio.
Apple Silicon MLX Framework
Biblioteca nativa de aprendizaje automático de Apple, diseñada para maximizar el uso de memoria unificada y núcleos gráficos de los chips de la serie M (M2/M3/M4) al ejecutar grandes LLM.
Cómo ejecutar LLMs locales: guía de instalación, modelos y optimización
Guía completa para ejecutar modelos de lenguaje en local: requisitos de hardware, despliegue de Ollama y Open WebUI, comparativa de Llama 3, Qwen 2.5, DeepSeek y cuantización GGUF.
Cómo ejecutar DeepSeek-R1 localmente de forma gratuita en Mac, Windows y Linux
¿Estás cansado de las limitaciones de los servicios en la nube y los pagos constantes por la API DeepSeek-R1? Usted no está solo. Muchos desarrolladores, usuarios de IA e investigadores quieren un control total sobre sus datos y flujos de trabajo.
ZCode reparte 500 millones de tokens gratuitos para GLM-5.3 y GLM-5.3-Flash
Con motivo del Día del Programador en China, ZCode ofrece 500 millones de tokens gratuitos para los modelos de IA GLM-5.3 y GLM-5.3-Flash hasta el 26 de octubre.
OpenAI demuestra que agentes de IA aislados pueden comunicarse sin red mediante la caché del procesador
OpenAI describió experimentos en los que agentes de IA en entornos aislados transmitieron información por canales laterales, como la caché de CPU, lo que cuestiona el aislamiento por red y archivos.