Розробник Леонардо Алегрія представив проєкт із відкритим вихідним кодом Garlic LLM, який дозволяє запускати локальну мовну модель Qwen3.5-9B на прошитій консолі PlayStation 4. Програма працює повністю в офлайн-режимі на графічному процесорі 2013 року, генеруючи текст зі швидкістю 31–39 токенів на секунду, а під час написання коду розганяється до 43 токенів на секунду.
Без драйверів і посередників: як це влаштовано
Головна особливість Garlic LLM — пряме звернення до «заліза» консолі в обхід стандартних графічних драйверів або популярних рушіїв на кшталт llama.cpp чи портів Vulkan (які використовують, наприклад, ентузіасти на PS5), повідомляє Tom’s Hardware.
Проєкт отримав назву на честь області пам’яті Garlic, до якої графічний чип PS4 має прямий доступ (парна до неї область системної пам’яті називається Onion).
Обчислювальні ядра написані на OpenCL C та скомпільовані за допомогою LLVM спеціально під архітектуру AMD Graphics Core Next (GCN). Замість графічного драйвера програма самостійно формує низькорівневі буфери команд PM4 для GPU, тоді як центральний процесор (CPU) на чистому C відповідає за токенізатор, інтерфейс, рендеринг тексту та звук.
Оскільки CPU та GPU ділять між собою 8 ГБ оперативної пам’яті консолі, розробник використав комбіноване стиснення. Більшість ваг моделі стиснуто до 4 бітів (Q4), а дві найбільші матриці в кожному шарі — до 3 бітів (Q3). Це дозволило зменшити розмір Qwen3.5-9B до 4,5 ГіБ (замість 9 ГБ при 8-бітному поданні) та вмістити контекстне вікно на 16 000 токенів.
Для прискорення роботи на 13-річному залізі застосовується спекулятивне декодування: модель передбачає до двох токенів наперед, після чого перевіряє їх. Завдяки цьому відповідь обсягом у 300 токенів генерується менш ніж за дев’ять секунд.
Голосове спілкування та вимоги до консолі
Окрім текстового чату, Garlic LLM підтримує повноцінну голосову взаємодію з локальним розпізнаванням та синтезом мовлення:
Загальний розмір пакета становить 5,66 ГБ — він безкоштовно доступний на платформі Hugging Face і встановлюється через стандартний Package Installer на консолях із активованим експлойтом GoldHEN. Розробник тестував програму на базовій PS4 (Slim) із прошивкою 11.52. Робота на PS4 Pro наразі не перевірялася (автор збирає відгуки на GitHub), а з PS5 застосунок несумісний через специфічну архітектуру GPU та системного ПЗ четвертої PlayStation.
