Apple Silicon: La arquitectura ideal para grandes modelos de lenguaje
La arquitectura de Apple Silicon ha demostrado ser ideal para ejecutar grandes modelos de lenguaje gracias a su velocidad y ancho de banda.
Apple Silicon: La arquitectura ideal para grandes modelos de lenguaje
La arquitectura de Apple Silicon ha resultado ser casi perfecta para ejecutar grandes modelos de lenguaje. Todo gracias a una combinación de memoria rápida, alto ancho de banda y una arquitectura de memoria unificada.
El Mac Studio M5 Ultra con 512 GB de memoria y un ancho de banda de 1.2 TB/s es capaz de albergar completamente el GLM-5.3-Flash con 320 mil millones de parámetros en FP8 y entregar alrededor de 60 tokens por segundo localmente, directamente en el escritorio.
¿Alternativa en PC?
Alrededor de 10 RTX 5090 que cuestan más de $20,000 y una pequeña planta eléctrica propia.
La versión completa de GLM-5.3-Flash con 320 mil millones de parámetros en FP8 pesa alrededor de 306 GB. Una RTX 5090 tiene solo 32 GB de memoria de video. Por lo tanto, solo para almacenar los pesos del modelo se necesitarían al menos 10 tarjetas gráficas.
10 × 32 GB = 320 GB.
Mac Studio resuelve este problema con un pool de memoria unificado de hasta 512 GB con un ancho de banda de 1.2 TB/s. En lugar de construir un clúster de PC con múltiples tarjetas gráficas, lidiar con la latencia del bus PCIe y un consumo de energía de alrededor de 5000 W, se puede cargar todo el modelo de 306 GB junto con un enorme contexto y caché KV en una sola computadora de escritorio.
Por qué es importante
AnálisisEsto es importante porque demuestra cómo las nuevas arquitecturas pueden cambiar los enfoques para ejecutar grandes modelos de lenguaje, haciéndolos más accesibles para los desarrolladores.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
JSON — Datos estructurados para programas, APIs y agentes de IA
Guía práctica y completa sobre JSON: especificación de sintaxis, serialización con parse y stringify, consumo de APIs REST, validación con JSON Schema y salidas estructuradas para LLMs.
Formato CSV: guía completa para automatizaciones y flujos de IA
Guía práctica sobre el formato CSV en flujos de IA: estándar RFC 4180, comparativa con XLSX y JSON, limpieza masiva, enriquecimiento de datos, scripts en Python y prompts para producción.
Cuatro consejos para el currículum del responsable de desarrollo de IA aplicada en OpenAI
Wulfie Bain, responsable de desarrollo de IA aplicada en OpenAI, destacó cuatro reglas: brevedad, relevancia, enfoque en resultados y logros más importantes al inicio.
Investigadores del MIT muestran que GPT-6 Astra puede mejorar otros modelos de IA cambiando sus pesos
En un experimento, Astra elevó la precisión de Qwen3.5-0.8B en MATH-500 del 7,9% al 48,1% cambiando solo el 0,016% de los pesos del modelo.