Thinking Machines оприлюднила ваги моделі Inkling 2 Small
Thinking Machines оприлюднила ваги моделі Inkling 2 Small
Доступні ваги MoE-моделі з 594 млрд параметрів і 17 млрд активних; претрейн тривав 68 годин на 12 трлн токенів, а RL — 9 днів на кластері з 2048 відеокарт.
Thinking Machines оприлюднила ваги моделі Inkling 2 Small
Це MoE-модель на 594 млрд параметрів із 17 млрд активних. Претрейн завершили за 68 годин, використавши 12 трлн токенів. На навчання з підкріпленням (RL) пішло ще 9 днів роботи кластера з 2048 відеокарт. За наявними даними, модель є конкурентною порівняно з китайськими моделями 2–3 місячної давності. Для запуску потрібні дві відеокарти B300 або чотири H200. Очікуємо більшу версію.
Чому це важливо
АналітикаЦе показує, що великі MoE-моделі з відкритими вагами можуть швидко з’являтися на ринку, але вимоги до інфраструктури залишаються високими: потрібні B300 або H200.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Mistral AI (Європейські відкриті та ефективні моделі)
Серія високоефективних відкритих та комерційних моделей від французького стартапу Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Відомі компактністю, швидкістю та повагою до приватності даних.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.