Thinking Machines випустила Inkling 2 Mini з відкритими вагами та локальними GGUF-версіями
Thinking Machines випустила Inkling 2 Mini з відкритими вагами та локальними GGUF-версіями
Нова ШІ-модель має 26,4 млрд параметрів, циклічну архітектуру трансформера та три квантовані GGUF-збірки для локального запуску.
Thinking Machines випустила Inkling 2 Mini — мовну модель із відкритими вагами, доступну на Hugging Face: thinkingmachines/Inkling-2-Mini.
Модель побудована на циклічній архітектурі трансформера: середні шари обробляють кожен токен тричі. Вона має 26,4 млрд параметрів і може працювати локально на ноутбуку з 12 ГБ пам’яті.
Згідно з описом релізу, частка відмов відповідати на запити в тестах знизилася зі 100% до 0%, а модель зберегла 98% початкової точності в бенчмарку MMLU.
Розробники також випустили три квантовані версії у форматі GGUF розміром від 8,67 до 16,53 ГБ. GGUF-збірки без цензури доступні тут: AtomicChat/Inkling-2-Mini-Uncensored-GGUF.
Чому це важливо
АналітикаВідкриті ваги та GGUF-збірки спрощують локальний запуск великих мовних моделей, але варіанти без цензури потребують обережної оцінки безпеки перед впровадженням.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Thinking Machines випустила Inkling 2 Mini — відкриту ШІ-модель для локального кодування
Thinking Machines представила модель Inkling 2 Mini з відкритими вагами, циклічною архітектурою трансформера та можливістю працювати локально на Mac без інтернету.
Сімейство Llama (Meta Llama)
Серія фундаментальних відкритих мовних моделей від Meta (Llama 3, 3.1, 3.3), що стали промисловим стандартом екосистеми Open Weights, локального ШІ та корпоративного файн-тюнінгу.
Meta Llama (Головний відкритий стандарт штучного інтелекту)
Флагманська серія відкритих мовних моделей від компанії Meta (Llama 3, 3.3). Доступна для вільного скачування, модифікації та локального запуску на власних серверах без обмежень і цензури.
Thinking Machines представила зациклений ШІ-трансформер Inkling 2 Mini
Thinking Machines, стартап Міри Мураті, випустила локальну ШІ-модель Inkling 2 Mini на архітектурі looped transformer, яка повторює середні шари для глибшого міркування без збільшення кількості параметрів.