Вышел открытый проект llama-modchip: он запускает DeepSeek-V4-Flash на 284 млрд параметров на обычном компьютере с 64 ГБ оперативной памяти и без видеокарты. Модель ужали с 76,9 до 56,6 ГиБ, и вместе с контекстом на 256 тысяч токенов она целиком помещается в память.

Что известно:

  • На 16-ядерном Ryzen 9 9955HX модель читает запрос со скоростью 44 токена в секунду и пишет ответ со скоростью от 9 до 14,7 токена в секунду. Без патчей та же модель на 64 ГБ просто не помещается.
  • В собственном тесте авторов сжатая версия набрала 98,5 балла из 100, вызовы инструментов отработали без ошибок.
  • На Apple M5 Max с 64 ГБ участник сообщества получил 20–24 токена в секунду.
  • Для ноутбуков на 16–32 ГБ там же есть Nemotron 30B, она выдаёт от 25 до 60 токенов в секунду.

Проект появился 29 октября, и у него уже больше 750 звёзд на GitHub.

Локальные модели однозначно наше будущее. Похвастаюсь: после экспериментов с Grok Bot я вспомнил про Hermes, которого пробовал много месяцев назад, и заново поднял его на Mac Mini вместе с локальной Qwen 3.8. Неожиданно всё очень классно заработало. Теперь у меня есть ещё один агент на личном компьютере, доступный мне через Tailscale. Чем его занять, пока не придумал: агентов у меня теперь больше, чем задач.

Следующий шаг

Hermes Agent v0.21.0: гонка персональных агентов началась

Большая модель на своём компьютере — это ваши данные, которые никуда не уходят, и агент, который работает без подписки.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov