Pełnoprawny agent kodujący AI uruchomiony w przeglądarce dzięki modelowi o 2 miliardach parametrów
Programiści udostępnili Pi, agenta kodującego działającego całkowicie w przeglądarce za pośrednictwem WebGPU i napędzanego modelem MiniCPM5-2B.
Uruchomiono pełnoprawnego agenta AI do programowania, który działa w przeglądarce na bazie modelu liczącego zaledwie 2 miliardy parametrów.
Pi funkcjonuje całkowicie wewnątrz przeglądarki, wykorzystując technologię WebGPU. Narzędzie zostało zbudowane na podstawie modelu MiniCPM5-2B, biblioteki Transformers.js oraz wag ONNX skwantyzowanych do 4 bitów.
Wcześniejsze próby stworzenia takiego agenta kończyły się niepowodzeniem ze względu na niewystarczającą moc modeli, jednak MiniCPM5 okazał się wystarczająco efektywny, aby narzędzie nadawało się do realizacji zadań w warunkach rzeczywistych.
Model ładowany jest jednorazowo i zajmuje około 1,84 GB pamięci. Po tym procesie agent może pracować bezpośrednio z plikami użytkownika w przeglądarce, bez konieczności posiadania wydajnego serwera czy lokalnej instalacji.
Narzędzie można przetestować już teraz na platformie Hugging Face.
Dlaczego to ważne
AnalizaTo wydarzenie podkreśla potencjał Małych Modeli Językowych (SLM) w dostarczaniu wysokiej jakości pomocy kodowej bezpośrednio w przeglądarce, co znacząco redukuje koszty infrastruktury oraz opóźnienia.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami