Архитектура Apple Silicon: идеальная для больших языковых моделей
Архитектура Apple Silicon оказалась идеальной для запуска больших языковых моделей благодаря своей скорости и пропускной способности.
Архитектура Apple Silicon: идеальная для больших языковых моделей
Архитектура Apple Silicon оказалась почти идеальной для запуска больших языковых моделей. Всё благодаря сочетанию быстрой памяти, высокой пропускной способности и единой архитектуры памяти.
Mac Studio M5 Ultra с 512 ГБ памяти и пропускной способностью 1,2 ТБ/с способен целиком уместить GLM-5.3-Flash на 320 млрд параметров в FP8 и выдавать около 60 токенов в секунду локально, прямо на рабочем столе.
Альтернатива на ПК?
Примерно 10 RTX 5090 стоимостью более $20 000 и своя небольшая электростанция.
Полная версия GLM-5.3-Flash на 320 млрд параметров в FP8 весит около 306 ГБ. У одной RTX 5090 всего 32 ГБ видеопамяти. Поэтому только для размещения весов модели понадобится минимум 10 видеокарт.
10 × 32 ГБ = 320 ГБ.
Mac Studio решает эту проблему за счёт единого пула памяти объёмом до 512 ГБ с пропускной способностью 1,2 ТБ/с. Вместо того чтобы собирать ПК-кластер из множества видеокарт, бороться с задержками шины PCIe и энергопотреблением в районе 5000 Вт, можно загрузить всю модель объёмом 306 ГБ вместе с огромным контекстом и KV-кэшем в один настольный компьютер.
Почему это важно
АналитикаЭто важно, поскольку показывает, как новые архитектуры могут изменить подходы к запуску больших языковых моделей, делая их более доступными для разработчиков.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
JSON — структурированные данные для программ, API и AI-агентов
Полное практическое руководство по формату JSON: синтаксические правила, сериализация через parse/stringify, работа с REST API, валидация по JSON Schema и структурированный вывод для ИИ.
Форматы DOCX и XLSX: когда от ИИ требуется полноценный финальный документ
Практическое руководство по созданию и обработке документов DOCX и таблиц XLSX с помощью ИИ: сравнение с Markdown и CSV, промпт-инжиниринг, работа с формулами и автоматизация в коде.
Binance опубликовали расследование кражи $6,3 млрд
Расследование связывает кражу с заражённым Homebrew, фальшивым собеседованием и использованием внутреннего ИИ-инструмента Binance.
Пользователь Reddit объяснил почти четырёхкратный расход недельных лимитов Claude Code
Сравнение токенов за две недели показало, что эффективность использования недельного лимита Claude Code упала в 3,8 раза; вероятные причины — субагенты, рост времени рассуждений и фоновые запросы интерфейса.