На PlayStation 5 запустили локальную модель через порт llama.cpp PS5LM
Разработчик демонстрирует порт llama.cpp для PlayStation 5, позволяющий запускать небольшие локальные модели в формате GGUF, включая Qwen 3.8 27b.
В X вирусится проект, с помощью которого можно запустить локальную модель на PS5.
Пока не на микроволновке, конечно, но тоже неплохо. Автор показывает, что ему удалось запустить целую Qwen 3.8 27b. Работает медленно (примерно 20 токенов в секунду), но работает!
Аналогично можно запустить любой небольшой GGUF, потому что это не ядро под конкретную модель, а буквально порт llama.cpp на PlayStation 5. Общаться с запущенной моделькой потом можно через любой веб-интерфейс по порту, или вообще с телевизора.
Это вам идея на случай, если память еще подорожает
Почему это важно
АналитикаПроект показывает, что игровые консоли могут стать альтернативной платформой для локального ИИ, а llama.cpp остаётся гибким инструментом для запуска GGUF-моделей на нестандартном железе.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками