Lokalny model AI działa na PlayStation 5 dzięki projektowi PS5LM
Programista demonstruje port llama.cpp dla PlayStation 5, który pozwala uruchamiać małe modele GGUF, w tym Qwen 3.8 27B, z prędkością około 20 tokenów na sekundę.
Projekt PS5LM rozchodzi się wiralowo w serwisie X: pozwala uruchomić lokalny model AI na PlayStation 5. Autor pokazuje, że udało mu się uruchomić Qwen 3.8 27B.
Wydajność jest jeszcze ograniczona, ale model działa: generowanie odbywa się z prędkością około 20 tokenów na sekundę.
PS5LM to nie jądro dla konkretnego modelu. To dosłownie port llama.cpp na PlayStation 5, dzięki czemu w ten sam sposób można uruchomić dowolny mały model GGUF. Po uruchomieniu modelu można rozmawiać z nim przez dowolny interfejs webowy na porcie lub nawet z poziomu telewizora.
To także przydatny pomysł na wypadek, gdy pamięć potrzebna do lokalnych obciążeń AI stanie się jeszcze droższa.
Dlaczego to ważne
AnalizaProjekt pokazuje, że konsole do gier mogą stać się alternatywnym sprzętem dla lokalnego AI, a llama.cpp pozostaje wystarczająco elastyczny, aby uruchamiać modele GGUF na niestandardowych urządzeniach.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami