Нова архітектура маршрутизації для AI-моделей
Розроблено компактний LLM-маршрутизатор, який оптимізує використання AI-моделей для різних запитів.
Це цікаво: чувак виполнив реверс-інжиниринг архітектури маршрутизації, що лежить в основі Skana AI Fugu, і реалізував її аналог для відкритих фронтир-моделей.
tinyrouter — це компактний LLM-маршрутизатор приблизно на 10 тисяч параметрів, який навчається визначати, яку модель використовувати і яку роль вона повинна виконувати для кожного запиту.
Ціль була простою: перевершити кожну окрему модель, направляючи кожне завдання найбільш підходящому спеціалізованому виконавцю, замість того щоб покладатися на одну LLM.
Кілька цікавих спостережень:
- Маршрутизація приносить користь тільки тоді, коли моделі мають взаємодоповнюючі сильні сторони. Якщо всі моделі показують схожі результати на одному бенчмарку, маршрутизатору практично нічого оптимізувати.
- На MMLU маршрутизатор перевершив кожну окрему модель. На математичних задачах він показав результат на рівні найкращої моделі, оскільки набір моделей демонстрував дуже низьке різноманіття в якості рішень.
- Попередня ініціалізація маршрутизатора і налаштування функції винагороди в еволюційному навчанні покращили процес навчання. Однак автори поки не заявляють про реальний приріст якості, оскільки розкид результатів при оцінці виявився занадто високим. Для підтвердження ефекту необхідні більш суворі експерименти.
Чому це важливо
АналітикаЦей проект демонструє інноваційний підхід до оптимізації AI-моделей, що може суттєво підвищити їх ефективність. Розробка нових рішень у цій сфері має потенціал для значних покращень у багатьох застосуваннях.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Claude Sonnet 4.6 vs GPT-5.5 vs Gemini 3.1 Pro: порівняння моделей 2026
Кожні кілька тижнів виходить нова модель, і щоразу ті самі запитання: чи варто переходити? що змінилося? за що платити?
OpenRouter (Уніфікований API-шлюз моделей)
Уніфікований шлюз штучного інтелекту, що надає стандартизований доступ до сотень закритих та відкритих мовних моделей від десятків інференс-провайдерів через єдиний баланс, єдиний API-ключ та механізм автоматичного відмовостійкого перемикання (Fallback).
Thinking Machines випустила модель Inkling 2 Small: MoE на 594B параметрів і автономне дообучання інших моделей
Thinking Machines представила Inkling 2 Small — велику MoE-модель, яка вже лідирує серед відкритих моделей у низці задач і вміє самостійно дообучати інші моделі.
Промпт-гайд по генеративним моделям GPT Image
Моделі генерації зображень gpt-image від OpenAI створені для отримання візуалів виробничої якості та повністю керованих творчих процесів. Вони підходять як для професійних дизайн-з...