Apple Silicon: ідеальна архітектура для великих мовних моделей
Архітектура Apple Silicon виявилася ідеальною для запуску великих мовних моделей завдяки своїй швидкості та пропускній здатності.
Apple Silicon: ідеальна архітектура для великих мовних моделей
Архітектура Apple Silicon виявилася майже ідеальною для запуску великих мовних моделей. Все завдяки поєднанню швидкої пам'яті, високої пропускної здатності та єдиної архітектури пам'яті.
Mac Studio M5 Ultra з 512 ГБ пам'яті та пропускною здатністю 1,2 ТБ/с здатний повністю вмістити GLM-5.3-Flash на 320 млрд параметрів у FP8 і видавати близько 60 токенів на секунду локально, прямо на робочому столі.
Альтернатива на ПК?
Приблизно 10 RTX 5090 вартістю понад $20 000 і своя невелика електростанція.
Повна версія GLM-5.3-Flash на 320 млрд параметрів у FP8 важить близько 306 ГБ. У однієї RTX 5090 всього 32 ГБ відеопам'яті. Тому лише для розміщення вагів моделі знадобиться мінімум 10 відеокарт.
10 × 32 ГБ = 320 ГБ.
Mac Studio вирішує цю проблему завдяки єдиному пулу пам'яті об'ємом до 512 ГБ з пропускною здатністю 1,2 ТБ/с. Замість того, щоб збирати ПК-кластер з безлічі відеокарт, боротися з затримками шини PCIe та енергоспоживанням на рівні 5000 Вт, можна завантажити всю модель об'ємом 306 ГБ разом з величезним контекстом і KV-кешем в один настільний комп'ютер.
Чому це важливо
АналітикаЦе важливо, оскільки показує, як нові архітектури можуть змінити підходи до запуску великих мовних моделей, роблячи їх доступнішими для розробників.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.
Користувач Reddit з’ясував, чому тижневі ліміти Claude Code витрачаються майже вчетверо швидше
Користувач Reddit порівняв використання токенів за два тижні та виявив, що на кожен 1% тижневого ліміту Claude Code тепер припадає значно менше вихідних токенів, а основними підозрюваними стали субагенти, тривалість міркувань і фонові запити інтерфейсу.