Thinking Machines выпустила Inkling 2 Mini с открытыми весами и локальными GGUF-версиями
Thinking Machines выпустила Inkling 2 Mini с открытыми весами и локальными GGUF-версиями
Новая модель имеет 26,4 млрд параметров, циклическую архитектуру трансформера и три квантованные GGUF-сборки для локального запуска.
Thinking Machines выпустила Inkling 2 Mini — модель с открытыми весами, доступную на Hugging Face: thinkingmachines/Inkling-2-Mini.
Модель построена на циклической архитектуре трансформера: средние слои обрабатывают каждый токен трижды. Она имеет 26,4 млрд параметров и может запускаться локально на ноутбуке с 12 ГБ памяти.
Согласно описанию релиза, доля отказов отвечать на запросы в тестах снизилась со 100% до 0%, при этом модель сохранила 98% исходной точности в бенчмарке MMLU.
Разработчики также выпустили три квантованные версии в формате GGUF размером от 8,67 до 16,53 ГБ. GGUF-сборки без цензури доступны здесь: AtomicChat/Inkling-2-Mini-Uncensored-GGUF.
Почему это важно
АналитикаМодели с открытыми весами и GGUF-сборками упрощают локальный запуск больших языковых моделей, но варианты без цензури требуют осторожной оценки безопасности перед использованием.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Thinking Machines выпустила Inkling 2 Mini — модель с открытыми весами для локального кода
Thinking Machines выпустила Inkling 2 Mini с открытыми весами и циклической архитектурой трансформера: модель можно запускать локально на Mac и использовать для программирования без интернета.
Семейство Llama (Meta Llama)
Серия фундаментальных открытых языковых моделей от Meta (Llama 3, 3.1, 3.3), ставшая промышленным стандартом экосистемы Open Weights, локального ИИ и корпоративного fine-tuning.
Meta Llama (Главный открытый стандарт искусственного интеллекта)
Флагманская серия открытых языковых моделей от компании Meta (Llama 3, 3.3). Доступна для свободного скачивания, модификации и локального запуска на собственных серверах без ограничений и цензуры.
Thinking Machines выпустила зацикленный трансформер Inkling 2 Mini
Thinking Machines, стартап Миры Мурати, выпустила локальную модель Inkling 2 Mini на архитектуре looped transformer: 26,4B параметров, активными считаются около 3,4B, а повторные проходы средних слоёв повышают глубину рассуждений без роста числа параметров.