Крипто карти від Nvidia почали використовувати для інференсу
Крипто карти від Nvidia почали використовувати для інференсу
Nvidia випустила крипто карти, які тепер використовуються для інференсу, після зламу обмежень у нових драйверах. Це дозволило значно підвищити їхню продуктивність.
Крипто карти від Nvidia почали використовувати для інференсу
Ще в 2021 році Nvidia випустила для майнінгу серію сильно урізаних карт CMP HX170 на основі чипа від A100. Номінально у них було по 8 або 10 гігабайт пам'яті з урізаними в 32 рази обчислювальними потужностями, але з повною пропускною здатністю пам'яті, необхідною для майнінгу. Після переходу Ethereum на алгоритм proof of stake, ці карти стали малоефективними.
Проте, у червні з'явився дослідження, в якому описувалося усунення частини обмежень через вразливість у нових драйверах Nvidia. Код автори не опублікували, але через кілька тижнів вразливість вдалося незалежно відтворити, що призвело до появи cmpunlocker.
Карти на 10 гігабайт перетворилися на карти на 40 (або навіть 80) гігабайт, а карти на 8 гігабайт — на карти на 64 гігабайти. Справа в тому, що прибрати HBM чіпи без зменшення пропускної здатності було неможливо, тому Nvidia просто заблокувала 80% пам'яті через програмне забезпечення. Хакерам вдалося також усунути обмеження на обчислення. Основна залишена проблема — PCIe обмежений версією 2.0 і фізично лише x4, але ентузіасти вже намагаються це виправити.
В результаті, щасливчики, які змогли купити карти до зростання цін за 100-200 доларів, отримали майже повноцінну A100 за дуже низьку ціну, особливо з урахуванням поточного кризового стану. Зараз ціни зросли, і купувати їх за 5-10 разів дорожче вже не має сенсу.
А чи є серед підписників каналу власники таких карт? Які враження?
Чому це важливо
АналітикаЦя новина важлива, оскільки вона демонструє, як вразливості в програмному забезпеченні можуть суттєво змінити ринок графічних карт. Це також підкреслює важливість безпеки в технологіях, пов'язаних з криптовалютами.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Монополія Nvidia та платформа CUDA
Аналіз технологічного та економічного домінування корпорації Nvidia на ринку штучного інтелекту. Як створена у 2006 році програмна платформа CUDA (Compute Unified Device Architecture) перетворила звичайні ігрові відеокарти на головний обчислювальний інструмент планети і чому конкурентам (AMD, Intel) так важко зруйнувати цю монополію.
TensorRT-LLM & SGLang High-Speed Engines
Глибоко компільовані обчислювальні рушії для екстремальної оптимізації інференсу мовних моделей на серверах NVIDIA з оптимізацією графів, FlashAttention-3 та розширеним роутингом.
Гайд: Промпт із картинки. Огляд інструментів
Інструменти генерації промптів за зображенням (image-to-prompt) — це нейромережі, які беруть картинку та створюють до неї текстовий опис, максимально наближений до того, що могла б написати людина.
Claude Fable 5: коли використовувати потужну модель і який рівень effort обрати
Повний розбір моделі Claude Fable 5 та параметру effort: як працює поведінковий сигнал міркування, матриця доступності рівнів (low/xhigh), розрахунок вартості за хід та налаштування в API і Claude Code.