Розробник Леонардо Алегрія представив проєкт Garlic LLM з відкритим вихідним кодом. Він дозволяє запускати локальну мовну модель Qwen3.5-9B на прошитій PlayStation 4. Модель має 9 мільярдів параметрів, тобто числових значень, які визначають її здатності.
Програма працює повністю офлайн: запити не надсилаються на сервери і не потребують інтернету. Обчислення виконує графічний процесор 2013 року, вбудований у консоль. Швидкість генерації тексту становить 31–39 токенів на секунду. Токен це фрагмент слова. Під час написання коду швидкість зростає до 43 токенів на секунду.
Для порівняння: великі мовні моделі зазвичай потребують сучасних відеокарт з великим обсягом пам'яті. Проєкт показує, що старе обладнання здатне виконувати завдання штучного інтелекту, хоча й з обмеженнями.
Для українських користувачів це означає, що застарілі пристрої можуть стати приватним інструментом для роботи з ШІ без підписок. Водночас прошивка консолі є втручанням, яке може порушити умови виробника і потребує технічних навичок.
Коментарі
Увійдіть, щоб залишити коментар