Написать в Telegram

LM Studio и Pi: как запустить кодинг-агента на своём компьютере без облака. Пошагово

Содержание
  1. Как модель живёт в памяти
  2. Шаг 1. Выбираем модель
  3. Шаг 2. Загружаем модель и замеряем скорость
  4. Шаг 3. Большая модель на скромном железе: MoE
  5. Шаг 4. Запускаем локальный сервер
  6. Шаг 5. Автодополнение в VS Code
  7. Шаг 6. Режим агента в Continue
  8. Шаг 7. Pi в терминале
  9. Что получилось на практике
  10. Если вы работаете из России
  11. Ограничения и риски
  12. Что дальше

Облачные тарифы на ИИ урезают, а оплата по API быстро растёт. Агент, который работает весь день, превращает токены в заметную статью расходов. Есть другой путь: запустить открытую модель на своём компьютере. Код и данные остаются у вас, за каждый запрос платить не нужно.

Локальная модель умеет не только отвечать в чате. К ней можно подключить автодополнение кода и агента, который сам читает проект и правит файлы. Об этом сейчас говорят как раз из-за цен: облачные тарифы урезают, и всё больше людей ищет замену.

Разберём связку из трёх инструментов. LM Studio запускает модель и раздаёт её по локальному адресу. Расширение Continue для VS Code даёт автодополнение и режим агента. Pi это минимальный кодинг-агент для терминала. Все три подключаются к одному серверу одинаково, поэтому схема не привязана к конкретной модели.

Для примера возьмём компьютер с Windows и видеокартой на 16 ГБ памяти. Если у вас слабее, принцип тот же, просто модели берутся поменьше.

Как модель живёт в памяти

У модели две характеристики, от которых зависит запуск. Первая: число параметров, оно указано в названии (9B, 27B, 35B). Чем их больше, тем модель умнее и тем больше памяти ей нужно. Вторая: контекст, то есть сколько информации модель удерживает одновременно. Он тоже занимает память.

Модель целиком загружается в видеопамять. Что не поместилось, уходит в обычную оперативную память, и скорость резко падает. На Mac память общая, но переполнения там нет: это просто предел. Объём видеопамяти в Windows смотрите в диспетчере задач: раздел производительности, строка про выделенную память графического процессора.

Шаг 1. Выбираем модель

Начните с LM Studio: интерфейс понятный, а всё про память объяснено прямо на экране. Откройте вкладку поиска и введите, например, Qwen. Рядом с каждой моделью LM Studio оценивает, сколько места она займёт. В примере Qwen 3.6 на 27B занимает 17,48 ГБ, то есть в 16 ГБ не помещается. Qwen 3.5 на 9B занимает 6,55 ГБ.

В названии файла встречаются Q4, Q6, Q8. Это квантование: модель сжимают, округляя числа в весах. Качество чуть падает, размер заметно сокращается. Хороший старт: варианты Q4.

Карточка модели в LM Studio: возможности и варианты квантования с размером файла
Карточка модели в LM Studio: возможности и варианты квантования с размером файла

Смотрите и на возможности. Для агента обязателен вызов инструментов (Tool Use), иначе модель не сможет работать с файлами. Рассуждение (Reasoning) желательно: модель медленнее, но лучше справляется со сложным. Зрение нужно, только если агент должен разбирать картинки.

Чтобы скачать, нажмите загрузку на странице модели. Если нужной модели нет в каталоге, ищите на Hugging Face: там модели сортируются по популярности и числу параметров. Хорошо подходят сборки от Unsloth. На странице модели откройте просмотр квантований, а затем кнопку открытия в LM Studio.

Шаг 2. Загружаем модель и замеряем скорость

В окне чата откройте выбор модели и включите внизу переключатель ручной настройки параметров загрузки. В примере загружается GPT-OSS на 20B: файл около 11 ГБ, на видеокарту помещается целиком. Важны две настройки:

  • Выгрузка на GPU. Если модель помещается, ставьте максимум.
  • Длина контекста. Для обычного чата хватит 5-10 тысяч. Оценка памяти в окне приблизительная.

После загрузки ответ шёл со скоростью 124 токена в секунду. В диспетчере задач память видеокарты занята почти полностью, но ничего не вылезает наружу. Это нужный результат.

Ответ локальной модели со скоростью 124 токена в секунду: модель целиком в видеопамяти
Ответ локальной модели со скоростью 124 токена в секунду: модель целиком в видеопамяти

Теперь проверим переполнение: выгрузите модель, загрузите снова и поставьте контекст на максимум. Часть модели уходит в оперативную память, и скорость падает до 24 токенов в секунду, почти в шесть раз.

Та же модель при переполнении видеопамяти: около 24 токенов в секунду
Та же модель при переполнении видеопамяти: около 24 токенов в секунду

Шаг 3. Большая модель на скромном железе: MoE

Если хочется модель умнее, чем помещается, ищите MoE, смесь экспертов. В такой модели в каждый момент работает только часть. В названии Qwen 3.6 35B A3B число после буквы A показывает активные параметры: 3 миллиарда из 35.

У таких моделей в LM Studio есть настройка: число слоёв, веса которых вынесены на процессор. Выгрузку на GPU поставьте на максимум, а число слоёв подбирайте: чем меньше, тем лучше, но если видеокарта не вмещает, повышайте понемногу. В примере хватило 30 слоёв из 40, и модель, которой по оценке LM Studio нужно 26,63 ГБ, дала около 43 токенов в секунду. На скриншоте поле стоит на 40: это крайнее положение, от него и отталкивайтесь.

Параметры MoE-модели: сколько слоёв вынести на процессор и оценка занимаемой памяти
Параметры MoE-модели: сколько слоёв вынести на процессор и оценка занимаемой памяти

Для сравнения поставили ноль слоёв на процессоре. Загрузка шла долго, а ответ выдавался примерно по одному токену в секунду. Разница между 43 и 1 показывает, что настройка стоит времени.

Шаг 4. Запускаем локальный сервер

Чат нужен для проверки. Чтобы другие программы пользовались моделью, откройте вкладку Developer. Если её нет, включите режим разработчика в настройках LM Studio.

Здесь можно загрузить несколько моделей. В примере их две: Qwen 3.6 35B A3B для агента и маленькая Qwen2.5 Coder 1.5B (меньше гигабайта) для автодополнения. Чтобы освободить видеопамять, для большой модели уменьшили контекст примерно до 71 тысячи и нажали перезагрузку.

Проверьте, что включён переключатель Status: Running, и запомните адрес http://127.0.0.1:1234. Сервер понимает запросы в формате OpenAI, поэтому к нему подключается всё, что работает с OpenAI.

Локальный сервер в LM Studio запущен: адрес и загруженная модель готова
Локальный сервер в LM Studio запущен: адрес и загруженная модель готова

Шаг 5. Автодополнение в VS Code

Установите в VS Code расширение Continue. В его настройках для автодополнения важны два параметра: таймаут (в примере 1000 миллисекунд) и пауза после остановки печати.

Настройки автодополнения в Continue: таймаут и пауза после остановки печати
Настройки автодополнения в Continue: таймаут и пауза после остановки печати

Добавьте модель: плюс в разделе моделей, провайдер LM Studio, любая модель из списка. Затем правьте открывшийся config.yaml. Для автодополнения впишите:

  • name: любое имя;
  • provider: lmstudio;
  • model: имя модели из LM Studio, копируйте кнопкой рядом с ним;
  • apiBase: адрес сервера с /v1, то есть http://127.0.0.1:1234/v1/;
  • roles: autocomplete.

Если подсказка не появляется, подтолкните её сочетанием Ctrl+Alt+Space.

Файл config.yaml: модель для автодополнения и модель для агента с их возможностями
Файл config.yaml: модель для автодополнения и модель для агента с их возможностями

Работу удобно проверять по логам разработчика в LM Studio: там видно каждый запрос и время ответа. В примере ответ занял 259 миллисекунд. Если у вас 2-3 секунды при таймауте в одну секунду, подсказка не успеет показаться. Возьмите модель поменьше.

Автодополнение в VS Code, а справа в логах LM Studio видны запросы
Автодополнение в VS Code, а справа в логах LM Studio видны запросы

Шаг 6. Режим агента в Continue

Добавьте в тот же файл вторую модель для чата и агента. Поля те же, плюс capabilities: tool_use, если у модели есть вызов инструментов, и image_input, если она понимает картинки. В Continue выберите её для чата, правок и применения изменений.

Права инструментов задаются в разделе Tools. Чтение и создание файлов поставьте на автоматический режим: по умолчанию правки идут с подтверждением, и агенту так работать неудобно. Запуск команд в терминале и загрузку адресов оставьте с подтверждением. Проверим на простой задаче в режиме агента:

Создай файл test.ts, в котором только console.log("Test").

Режим агента в Continue получает задачу создать файл test.ts
Режим агента в Continue получает задачу создать файл test.ts

После ответа файл появился в проекте с нужным содержимым. Но агент в Continue иногда сбоит, и не всегда делает то, что нужно.

Есть и второй вариант: чат Copilot в бета-версии VS Code (Insiders). Подписка не нужна: модель добавляют как OpenAI-совместимую, с любым значением в поле ключа, и описывают в JSON (id, url, toolCalling, vision, лимиты токенов). После правки файла перезагрузите окно командой Developer: Reload Window. Работает приятнее, но обращается к GitHub, поэтому без интернета не заработает.

Шаг 7. Pi в терминале

Команду установки возьмите на сайте pi.dev, затем запустите pi. Выбор модели вызывается командой /model; на первом запуске список пуст. Модели Pi читает из файла models.json, его расположение указано в документации Pi. В нём описывается провайдер:

  • baseUrl: адрес сервера с /v1;
  • api: openai-completions, он подходит для режима агента;
  • apiKey: любое значение;
  • models: список. У каждой модели id и contextWindow из LM Studio, reasoning true для рассуждающих и input со значениями "text" и "image".
Файл models.json для Pi: адрес сервера, тип API и описание модели
Файл models.json для Pi: адрес сервера, тип API и описание модели

После этого можно давать задачи, например попросить описать проект. Внизу виден расход контекста.

Что получилось на практике

Локальной Qwen 3.6 дали задачу, а ту же отдали Claude Sonnet 4.6:

Сделай приложение судоку с карандашными пометками, тремя уровнями сложности и проверкой решения.

Обе справились примерно за 9 минут. Результаты близкие, но пометки по центру клетки получились только у облачной модели. Вторая задача: исправить ошибку в большом проекте. Код правки вышел одинаковым, но Sonnet справился за 45 секунд, а Qwen за 2,5 минуты: больше времени ушло на чтение кода.

Если вы работаете из России

LM Studio, VS Code, Continue и Pi работают на вашем компьютере. Запросы идут на локальный адрес, ключи облачных сервисов не нужны. Модели в примере открытые: у Qwen 3.6 35B A3B в файле модели указана лицензия apache-2.0. Скачивать их приходится из каталога LM Studio или с Hugging Face. Если доступа нет, файл модели можно получить другим способом и положить в папку моделей LM Studio: это наш совет, в примере он не показан. Из зарубежных сервисов зависит только схема с Copilot Chat. Вместо иностранных моделей можно пробовать открытые модели российских разработчиков, но проверьте, что они умеют вызывать инструменты: без этого агент не заработает.

Ограничения и риски

  • Нужно железо. Модель должна помещаться в видеопамять, иначе скорость падает в разы.
  • Модель слабее и медленнее облачной. На больших проектах это заметно.
  • Агент работает с вашими файлами. Запуск команд оставьте с подтверждением и держите проект под версионным контролем.
  • Оценка памяти приблизительная. Проверяйте по диспетчеру задач и оставляйте запас.
  • Первый ответ агента долгий. Он несёт длинную системную инструкцию, и локальной модели нужно время на её обработку.
  • Версии меняются. Кнопки и поля могут отличаться от описанных.

Что дальше

Все инструменты здесь подключаются к модели одним способом: адрес сервера, имя модели и список возможностей. Поняв это, вы меняете модель, редактор и агента независимо друг от друга.

Мы в Агентехе учим сотрудников собирать агентов на локальных и облачных моделях, подбирать модель под железо и безопасно давать агентам доступ к рабочим файлам. Как устроено обучение.

Написать в Telegram