Nova arquitetura de roteamento para modelos de IA

Este é um desenvolvimento interessante: Um programador fez engenharia reversa da arquitetura de roteamento subjacente ao Skana AI Fugu e implementou uma analogia para modelos de fronteira abertos.

O tinyrouter é um roteador LLM compacto com aproximadamente 10.000 parâmetros, projetado para aprender a determinar qual modelo utilizar e qual papel desempenhar em cada solicitação.

O objetivo era simples: superar o desempenho individual de cada modelo, direcionando cada tarefa para o executor especializado mais adequado, em vez de depender de um único LLM.

Algumas observações relevantes:

• O roteamento só é benéfico quando os modelos possuem pontos fortes complementares. Se todos os modelos apresentarem resultados semelhantes em um único benchmark, o roteador tem pouco a otimizar.
• No MMLU, o roteador superou cada modelo individualmente. Em tarefas matemáticas, alcançou resultados equivalentes aos do melhor modelo, pois o conjunto de modelos demonstrou baixa diversidade na qualidade das soluções.
• A pré-inicialização do roteador e o ajuste da função de recompensa no treinamento evolutivo melhoraram o processo de aprendizado. No entanto, os autores ainda não afirmam ganhos reais de qualidade, devido à alta variância nos resultados durante a avaliação. São necessários experimentos mais rigorosos para confirmar esse efeito.