Сэм Альтман объяснил дефицит оперативной памяти неэффективностью локального запуска моделей
Сэм Альтман считает, что массовый локальный запуск ИИ-моделей на ПК неэффективно использует ограниченные запасы DRAM и усугубляет дефицит оперативной памяти.
Сэм Альтман объяснил, почему оперативной памяти не хватает. Оказывается, слишком много людей держат её в собственных ПК.
«Многие хотят запускать модели локально и почему-то считают, что с появлением open-source моделей проблема уже решена. Теперь мы сможем запускать их на собственных компьютерах, а значит, вся инфраструктура дата-центров нам больше не понадобится.
Однако с точки зрения глобального распределения ресурсов это крайне неэффективно. Представьте, что у каждого дома стоит компьютер с большим объёмом оперативной памяти, на которую приходится значительная часть ограниченных мировых запасов DRAM, но используется она лишь 5% времени.
В условиях столь острого дефицита ресурсов гораздо разумнее добиваться максимальной загрузки облачной инфраструктуры.
Но почему-то интуиция многих людей подсказывает им прямо противоположное».
Почему это важно
АналитикаВысказывание Альтмана показывает, что спор о локальном и облачном ИИ — это не только вопрос приватности, но и эффективность использования DRAM, энергии и инфраструктуры.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Слияние Моделей и Франкенштейнинг
Техника объединения весов двух или более различных языковых моделей без повторного обучения на GPU (SLERP, DARE, Ties-Merging), создающая гибридные модели с синергетическими навыками.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
Профиль Hermes: DevOps-инженер и облачная инфраструктура
Профиль системного и DevOps-инженера Hermes: настройка серверов Linux, Docker контейнеризация, CI/CD конвейеры, мониторинг и безопасность.
VPS Hosting (Виртуальный выделенный сервер)
Модель предоставления изолированных вычислительных ресурсов с помощью аппаратного гипервизора (KVM), предоставляющая полный доступ уровня root к операционной системе Linux для развертывания автономных систем.