Nouvelle architecture de routage pour les modèles d'IA

Ce qui est intéressant : Un développeur a procédé à une ingénierie inverse de l'architecture de routage sous-jacente à Skana AI Fugu et a implémenté un équivalent pour les modèles de pointe ouverts.

tinyrouter est un routeur LLM compact, comptant environ 10 000 paramètres, conçu pour déterminer quel modèle utiliser et quel rôle il doit jouer pour chaque requête spécifique.

L'objectif était simple : surpasser les performances de chaque modèle individuel en dirigeant chaque tâche vers l'exécuteur spécialisé le plus adapté, plutôt que de s'appuyer sur un unique LLM.

Quelques observations notables :

• Le routage n'est bénéfique que si les modèles présentent des forces complémentaires. Si tous les modèles affichent des résultats similaires sur un même benchmark, le routeur a peu de marge d'optimisation.
• Sur le benchmark MMLU, le routeur a surpassé chaque modèle individuel. En revanche, sur les tâches mathématiques, il a atteint des résultats équivalents au meilleur modèle, car l'ensemble des modèles testés démontrait une très faible diversité dans la qualité des solutions.
• La pré-initialisation du routeur et l'ajustement de la fonction de récompense lors de l'entraînement évolutif ont amélioré le processus d'apprentissage. Toutefois, les auteurs ne revendiquent pas encore de gain de qualité réel, la variance des résultats lors de l'évaluation étant trop élevée. Des expériences plus rigoureuses sont nécessaires pour confirmer cet effet.