Nowa architektura routingu dla modeli AI

To jest interesujące: Deweloper dokonał inżynierii wstecznej architektury routingu leżącej u podstaw Skana AI Fugu i zaimplementował analogiczną strukturę dla otwartych modeli frontier.

tinyrouter to kompaktowy router LLM o około 10 000 parametrów, który uczy się decydować, który model wykorzystać i jaką rolę powinien on pełnić przy każdym konkretnym zapytaniu.

Cel był prosty: przewyższyć wydajność każdego pojedynczego modelu, kierując każde zadanie do najlepiej wyspecjalizowanego wykonawcy, zamiast polegać na jednym uniwersalnym LLM.

Kilka ciekawych obserwacji:

• Routing przynosi korzyści tylko wtedy, gdy modele mają komplementarne mocne strony. Jeśli wszystkie modele wykazują podobne wyniki na tym samym benchmarku, router ma niewiele do zoptymalizowania.
• Na teście MMLU router pokonał każdy pojedynczy model. W zadaniach matematycznych osiągnął wyniki porównywalne z najlepszym modelem, ponieważ zestaw testowanych modeli wykazywał bardzo niską różnorodność w jakości rozwiązań.
• Wstępna inicjalizacja routera oraz strojenie funkcji nagrody podczas treningu ewolucyjnego usprawniły proces uczenia. Jednak autorzy nie twierdzą jeszcze o rzeczywistym wzroście jakości, ponieważ wariancja wyników podczas ewaluacji była zbyt duża. Potrzebne są bardziej rygorystyczne eksperymenty, aby potwierdzić ten efekt.