Крипто карты от Nvidia начали использовать для инференса
Крипто карты от Nvidia начали использовать для инференса
Крипто карты Nvidia были переосмыслены для инференса после эксплуатации уязвимости в их драйверах, что значительно улучшило их производительность.
Крипто карты от Nvidia начали использовать для инференса
Еще в 2021 году Nvidia выпустила серию сильно урезанных карт CMP HX170 на основе чипа от A100 для майнинга. Номинально у них было по 8 или 10 гигабайт памяти с урезанными в 32 раза вычислительными мощностями, но с полной пропускной способностью памяти, необходимой для майнинга. После перехода Ethereum на алгоритм proof of stake, эти карты стали почти бесполезными.
Тем не менее, в конце июня появилось исследование, в котором описывалось снятие части ограничений через уязвимость в новых драйверах Nvidia. Код авторы не опубликовали, но через несколько недель уязвимость удалось независимо воспроизвести, что привело к созданию cmpunlocker.
Карты на 10 гигабайт стали картами на 40 (или даже 80) гигабайт, а карты на 8 гигабайт — картами на 64 гигабайта. Дело в том, что убрать HBM чипы без уменьшения пропускной способности было невозможно, поэтому Nvidia просто заблокировала 80% памяти через программное обеспечение. Хакерам удалось также убрать ограничение на вычисления. Основная оставшаяся проблема — PCIe ограничен версией 2.0 и физически только x4, но энтузиасты уже пытаются это исправить.
В результате, счастливчики, которые смогли купить карты до роста цен за 100-200 долларов, получили почти полноценную A100 за очень низкую цену, особенно с учетом текущего кризиса. Сейчас цены взлетели, и покупать их за 5-10 раз дороже уже вряд ли стоит.
Есть ли среди подписчиков канала владельцы таких карт? Какие впечатления?
Почему это важно
АналитикаЭта новость важна, так как она демонстрирует, как уязвимости в программном обеспечении могут существенно изменить рынок графических карт. Это также подчеркивает важность безопасности в технологиях, связанных с криптовалютами.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Монополия Nvidia и платформа CUDA
Анализ технологического и экономического доминирования корпорации Nvidia на рынке искусственного интеллекта. Как созданная в 2006 году программная платформа CUDA (Compute Unified Device Architecture) превратила обычные игровые видеокарты в главный вычислительный инструмент планеты и почему конкурентам (AMD, Intel) так трудно разрушить эту монополию.
TensorRT-LLM & SGLang Высокоскоростные Двигатели
Глубоко компилируемые вычислительные движки для экстремальной оптимизации инференса языковых моделей на серверах NVIDIA с оптимизацией графов, FlashAttention-3 и расширенной маршрутизацией.
Claude Fable 5: когда использовать мощную модель и какой уровень effort выбрать
Полный разбор модели Claude Fable 5 и параметра effort: поведенческий сигнал рассуждений, матрица доступности уровней (low/xhigh), расчет затрат на ход и практическая настройка в API и Claude Code.
Связка ChatGPT (GPT Image 2) и Seedance 2.0: как использовать вместе для сторибордов и видео
Практическое руководство по совместному использованию GPT Image 2 и Seedance 2.0: создание референсов, раскадровок и анимация кинематографичных видеосцен.