Локальные ИИ-агенты на Mac: MLX, приватность, задержка и офлайн-работа

Локальный ИИ-агент выполняет модельный цикл на вашем Mac: получает задачу, обращается к модели, вызывает разрешённые инструменты и проверяет результат. Такой контур полезен, когда данные чувствительны, сеть нестабильна или короткий путь до модели важнее доступа к самой сильной облачной модели.

Как выглядит рабочий контур

Практическая цель — не перенести в локальную модель всю облачную систему. Сначала выделите узкие задачи, для которых локальность даёт измеримую пользу.

1. MLX выполняет вычисления на Apple silicon и использует общую память CPU и GPU.
2. MLX-LM загружает, квантизирует и запускает языковые модели.
3. Локальный сервер предоставляет агенту HTTP-интерфейс. Это может быть MLX-LM Server из официального стека или сторонний mlx-serve с OpenAI-, Anthropic- и Ollama-совместимыми API.
4. Агент отправляет запросы модели и вызывает инструменты: файлы, терминал, Git, браузер или внешние API.

Ключевая граница проходит между моделью и инструментами. Локальная модель не делает весь агент локальным автоматически. Если агент вызывает GitHub, поисковик или облачное хранилище, соответствующие данные покидают Mac по правилам этих сервисов.

Что даёт MLX на Apple silicon

MLX — открытый фреймворк Apple для машинного обучения. Его отличительная особенность — единая память: CPU и GPU работают с общими массивами без обязательного копирования между отдельными пулами памяти. Для локальных моделей это упрощает использование доступной памяти Mac.

MLX-LM добавляет прикладной слой для языковых моделей: загрузку моделей из Hugging Face, генерацию, чат, квантизацию, дообучение и распределённый запуск. Квантизация уменьшает объём весов за счёт более низкой точности, но может ухудшить качество. Проверять нужно конкретную модель на собственных задачах.

Apple показывает, что агентные циклы особенно чувствительны к обработке входного контекста: после каждого ответа инструмента модель снова читает накопленные данные. Поэтому размер служебного промпта, журналов и описаний инструментов влияет на задержку не меньше, чем скорость генерации.

Какие задачи разумно запускать локально

Локальный маршрут особенно уместен для коротких, частых и проверяемых операций. Чем больше задача зависит от сложного рассуждения, редких знаний, длинного контекста и большого набора инструментов, тем выше вероятность, что облачная модель даст лучший результат.

Приватность зависит от всей цепочки

Фраза «модель работает локально» подтверждает только место инференса. Для честной оценки приватности проверьте весь маршрут данных:

• где лежат веса модели и рабочие файлы;
• какие фрагменты попадают в промпт и журналы;
• какие инструменты имеют сетевой доступ и отправляют телеметрию;
• может ли локальный HTTP-сервер принимать подключения не только с 127.0.0.1;
• кто имеет доступ к результатам и кэшу.

Для первого контура привяжите сервер к локальному адресу (loopback), разрешите минимальный набор инструментов и используйте тестовые данные. Доступ из локальной сети или с другого Mac требует отдельной аутентификации и сетевой границы.

Задержка: считайте весь агентный цикл

Локальный адрес модели убирает сетевой путь до облачного провайдера, но это не гарантирует меньшую полную задержку. На результат влияют загрузка модели, обработка системного промпта, длина истории, скорость генерации, число итераций, параллельные запросы и время инструментов.

Измеряйте минимум четыре величины: холодный старт, время до первого токена, полное время ответа и время задачи до проверяемого результата. Для агента последняя метрика важнее красивой скорости в токенах в секунду.

MLX-LM Server поддерживает непрерывное пакетирование запросов. Это помогает при параллельной работе, но несколько агентов всё равно делят память и вычислительные ресурсы одного Mac. Нагрузочный тест должен повторять реальную конкуренцию.

Что значит офлайн-работа

Полностью офлайн выполняется только заранее подготовленная цепочка: модель скачана, пакеты установлены, агент не требует облачной авторизации, нужные файлы находятся на Mac, инструменты не обращаются к внешним API, а проверка результата тоже локальна.

Git-команды по локальному репозиторию, чтение файлов, локальные тесты и преобразование текста могут работать без сети. Поиск в интернете, GitHub API, облачные базы, удалённые MCP-серверы и отправка сообщений не становятся офлайн-функциями только потому, что модель локальная.

Память, совместимость и качество

Объединённая память Mac одновременно занята системой, приложениями, весами модели и рабочим контекстом. Размер файла модели не равен полной потребности процесса. Оставляйте запас для KV-кэша, промежуточных вычислений, сервера и инструментов.

1. Проверьте шаблон чата и стабильность вызова инструментов.
2. Убедитесь, что веса и рабочий контекст помещаются с запасом.
3. Проверьте происхождение MLX-конвертации и качество после квантизации.
4. Сверьте команды с текущей версией выбранного сервера.

Меньшая модель может быть быстрее, но чаще ошибаться в выборе инструмента или структуре аргументов. Большая модель может не поместиться либо резко замедлиться на длинном контексте. Универсального порога памяти нет: он зависит от архитектуры, точности, кэша и длины контекста.

Минимальный проверочный запуск MLX-LM

Официальный WWDC-сценарий сводится к трём действиям: установить MLX-LM, поднять локальный сервер и направить агента на его адрес. Нужен Mac с Apple silicon, достаточно свободной памяти и места для весов выбранной модели. Выполняйте команды в отдельном виртуальном окружении.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip mlx-lm
mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit

В другом окне терминала отправьте минимальный запрос:

curl -X POST http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"default_model","messages":[{"role":"user","content":"Ответь одним словом: готов"}]}'

Наблюдаемый признак успеха: локальный адрес возвращает корректный JSON-ответ от указанной модели. Сам ответ подтверждает работу сервера, но не доказывает отсутствие других сетевых обращений агента. Для проверки офлайн-режима повторите тест с отключённой сетью после того, как модель и зависимости уже скачаны. Затем подключайте одного агента и один безопасный инструмент. Не начинайте с полного каталога MCP и всей истории проекта.

Практический агентный сервер: mlx-serve

mlx-serve — сторонний open-source сервер для Apple silicon, написанный на Zig. Он запускает модели в формате MLX, умеет маршрутизировать GGUF через встроенный llama.cpp и предоставляет на одном порту интерфейсы OpenAI, Anthropic, Ollama и OpenAI Responses. Это удобно, когда локальную модель нужно подключить к Codex, Claude Code, OpenCode или другому агенту со стандартным API.

1. Установите CLI и заранее скачайте модель

Перед началом проверьте версию macOS, наличие Homebrew и свободное место: модель занимает несколько гигабайт, а точный объём зависит от выбранных весов.

sw_vers -productVersion
brew --version
brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install mlx-serve
mlx-serve pull gemma4
mlx-serve list

Первые три действия требуют сети: Homebrew скачивает программу, а pull — веса с Hugging Face. Для настоящего офлайн-режима выполните их заранее и убедитесь, что нужная модель видна в mlx-serve list.

2. Поднимите сервер только на локальном интерфейсе

mlx-serve --serve \
  --model-dir ~/.mlx-serve/models \
  --host 127.0.0.1 \
  --port 11234

Явный --host 127.0.0.1 здесь принципиален: по текущей документации CLI значение по умолчанию — 0.0.0.0, то есть все сетевые интерфейсы Mac. Не включайте LAN Sharing для первого теста. Если позже понадобится доступ с другого устройства, рассматривайте это как отдельный сетевой контур: задайте --api-key, ограничьте входящие подключения брандмауэром и проверьте доступ с разрешённого и неразрешённого клиента. Учтите, что сам проект позиционирует сервер как локальный инструмент разработки, а не как сервис для недоверенной сети.

3. Проверьте сервер до подключения агента

Сначала проверьте здоровье процесса и получите фактический идентификатор модели вместе с доступным контекстом:

curl http://127.0.0.1:11234/health
curl http://127.0.0.1:11234/v1/models

Затем отправьте минимальный OpenAI-совместимый запрос:

curl http://127.0.0.1:11234/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "messages": [
      {"role": "user", "content": "Ответь одним словом: готов"}
    ],
    "max_tokens": 16,
    "stream": false
  }'

Критерий успеха: /health отвечает, /v1/models показывает модель и её реальное окно контекста, а запрос возвращает структурированный JSON с ответом. Не задавайте агенту окно контекста на глаз: mlx-serve рассчитывает доступный размер с учётом памяти и публикует его в /v1/models.

4. Подключите Codex без изменения основной конфигурации

Документация проекта предлагает launcher, который создаёт отдельный конфигурационный каталог внутри ~/.mlx-serve/ и не изменяет основной ~/.codex. Подставьте идентификатор из /v1/models:

mlx-serve launch codex --model MODEL_ID --print
mlx-serve launch codex --model MODEL_ID

Сначала используйте --print, чтобы увидеть подготовленную команду. Затем дайте агенту узкую задачу без сетевых инструментов: прочитать один тестовый файл, вернуть JSON по заданной схеме и не менять данные. Успех — не сам факт текстового ответа, а прохождение локальной проверки схемы и отсутствие незапланированных обращений наружу.

5. Проверьте офлайн-режим и полный агентный цикл

После загрузки модели остановите сервер, отключите сеть и снова запустите ту же команду с --host 127.0.0.1. Повторите три проверки:

1. /health и /v1/models отвечают без сети.
2. Один и тот же тестовый запрос завершается локально.
3. Агент выполняет задачу только с локальным файлом и локальной проверкой результата.

Измерьте холодный старт, время до первого токена и полное время задачи. Повторите тест на нескольких типовых примерах и отдельно посчитайте ошибки выбора инструментов и формата аргументов.

Когда выбрать MLX-LM, а когда mlx-serve

Практичный порядок такой: сначала доказать качество модели минимальным запросом, затем проверить один агент и один инструмент, и только после этого расширять контур. Совместимый API сокращает настройку, но не компенсирует слабое рассуждение модели, нехватку памяти или небезопасные права инструментов.

Эталонный гибридный маршрут

1. Агент получает задачу и классифицирует чувствительность данных.
2. Локальный маршрут выполняет простую операцию или готовит обезличенный пакет.
3. Локальная проверка оценивает формат, полноту и уверенность.
4. При низкой уверенности, нехватке памяти или сложном рассуждении задача уходит в одобренную облачную модель.
5. Финальный результат проходит одну проверку независимо от маршрута.

У гибрида должна быть явная политика: какие данные можно передавать наружу, какой провайдер разрешён, какой лимит расходов действует и что происходит при недоступности сети. Тихий резервный переход опасен: пользователь может считать задачу локальной, хотя она ушла в облако.

Чеклист быстрой проверки

• ☐ Центральная задача сформулирована и имеет наблюдаемый результат.
• ☐ Для неё выбран локальный, облачный или гибридный маршрут.
• ☐ Веса модели и рабочий контекст помещаются с запасом.
• ☐ Модель поддерживает нужный чат-шаблон и вызов инструментов (tool calling).
• ☐ Сервер слушает только разрешённый интерфейс.
• ☐ Сетевые инструменты перечислены отдельно.
• ☐ В промпт не попадают лишние файлы и секреты.
• ☐ Холодный старт и время полной задачи измерены.
• ☐ Качество проверено на наборе реальных задач.
• ☐ Ошибки инструментов не маскируются успешным текстом модели.
• ☐ Офлайн-проверка выполнена с отключённой сетью, если режим обязателен.
• ☐ Облачная эскалация видима, ограничена и журналируется.

Когда выбрать облако

Облачный маршрут разумнее, если локальная модель систематически не проходит проверку качества, задача требует модели, которая не помещается в память, или нужен управляемый сервис с высокой доступностью. Облако также проще для резких пиков параллельной нагрузки.

Локальный контур выигрывает там, где можно ограничить задачу, данные должны оставаться на устройстве, результат легко проверить и важна независимость от сети. Для большинства рабочих систем практический базовый выбор — гибрид с явной маршрутизацией.

Источники

• Apple Developer: Run local agentic AI on the Mac using MLX
• Apple Machine Learning Research: Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU
• Официальный репозиторий MLX
• Официальный репозиторий MLX-LM
• Документация MLX 0.32.2
• Репозиторий mlx-serve
• mlx-serve: CLI и server flags
• mlx-serve: HTTP API
• mlx-serve: интеграции с агентами

Следующий шаг

Qwen3.8 на Mac mini M4 Pro: сначала всё сломалось, потом он написал эту статью

Связанные материалы

Статья: Как настроить Mac mini без монитора для ИИ-агентов

Блог: Qwen3.8-27B без цензуры: локальная MLX-сборка для Mac в четырёх размерах

База знаний: LM Studio — локальный запуск LLM и агент Bionic

Если вы выбираете между локальным и облачным контуром для команды, полезно начать с карты данных, задач и проверок качества.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov