Neue Routing-Architektur für KI-Modelle

Das ist interessant: Ein Entwickler hat die zugrunde liegende Routing-Architektur von Skana AI Fugu rückentwickelt und eine analoge Lösung für offene Frontier-Modelle implementiert.

tinyrouter ist ein kompakter LLM-Router mit etwa 10.000 Parametern, der lernt, welches Modell für jede Anfrage verwendet werden soll und welche Rolle es dabei erfüllen muss.

Das Ziel war einfach: Jedes einzelne Modell übertreffen, indem jede Aufgabe an den am besten geeigneten spezialisierten Ausführer weitergeleitet wird, anstatt sich auf ein einzelnes LLM zu verlassen.

Einige interessante Beobachtungen:

• Routing ist nur dann vorteilhaft, wenn Modelle komplementäre Stärken aufweisen. Wenn alle Modelle bei einem einzelnen Benchmark ähnliche Ergebnisse liefern, hat der Router wenig Spielraum zur Optimierung.
• Bei MMLU übertraf der Router jedes einzelne Modell. Bei mathematischen Aufgaben erzielte er Ergebnisse auf dem Niveau des besten Modells, da die Modellgruppe eine sehr geringe Diversität in der Lösungsqualität zeigte.
• Die Vorinitialisierung des Routers und das Feinabstimmen der Belohnungsfunktion im evolutionären Training verbesserten den Lernprozess. Allerdings behaupten die Autoren noch keinen echten Qualitätszuwachs, da die Varianz der Ergebnisse während der Evaluierung zu hoch war. Rigorosere Experimente sind erforderlich, um den Effekt zu bestätigen.