Написать в Telegram

Hermes Agent: как запустить локального ИИ-агента на своём компьютере без облака. Пошагово

Содержание
  1. Что умеет Hermes и зачем он нужен
  2. Что понадобится
  3. Шаг 1. Устанавливаем Hermes
  4. Шаг 2. Проходим онбординг
  5. Шаг 3. Смотрим, как устроен агент
  6. Шаг 4. Подключаем локальную модель
  7. Шаг 5. Ставим движок для модели
  8. Шаг 6. Выбираем модель под своё железо
  9. Шаг 7. Запускаем и проверяем
  10. Шаг 8. Включаем память
  11. Шаг 9. Проверяем важные настройки
  12. Если вы работаете из России
  13. Что важно знать до старта
  14. Что дальше

Облачный ИИ-агент удобен, пока вы не вспомните, что отправляете ему письма клиентов, заметки и данные компании. Локальный агент решает это иначе: модель работает на вашем компьютере, переписка остаётся на нём, платить за каждый запрос не нужно.

Раньше собрать такое было непросто. Нужно было отдельно поставить движок для модели, отдельно скачать саму модель, потом вручную связать их с агентом. Hermes Agent убрал большую часть этой возни. Это агент с открытым кодом от компании Nous Research. В последнем обновлении у него появились встроенный онбординг и установка локальной модели в несколько кликов. Приложение само смотрит на ваше железо и предлагает подходящую модель.

Разберём по шагам, как поставить Hermes, подключить локальную модель, проверить её в деле и включить память. И что из этого работает в России.

Что умеет Hermes и зачем он нужен

Главная идея: агент растёт вместе с вами. Вот что в нём есть:

  • Постоянная память. Агент помнит ваши проекты и предпочтения между сессиями.
  • Свои навыки. Решив задачу, он может сохранить способ решения как навык и применить его в похожей ситуации.
  • Автоматизация и инструменты. Можно запускать задачи по расписанию, подключать внешние инструменты и мессенджеры, чтобы писать агенту с другого устройства.
  • Работа в вебе. Агент может искать информацию в интернете и исследовать темы.
  • Песочница. Код агента можно запускать в изолированной среде, чтобы не рисковать остальным компьютером.

Модель в этой схеме заменяема. Агент отвечает за инструменты, память и навыки, а «мозг» можно выбрать: облачный или локальный.

Что понадобится

  • Компьютер. В примере Windows, по ходу установки появляется системное окно безопасности, на Mac оно тоже может появиться. Чем больше памяти, тем больше моделей подойдёт. В примере 64 ГБ общей памяти: оперативная и видеопамять в одном пуле.
  • Время. Установка заняла около 4-5 минут. Модель размером 10-20 ГБ скачивается дольше, это зависит от канала.
  • Место на диске под модель. Размеры будут ниже.

Ни аккаунта, ни ключей для локальной работы не нужно.

Шаг 1. Устанавливаем Hermes

Скачайте установщик для своей системы и нажмите установку. Окно покажет девять шагов: подготовка системы, загрузка Hermes Agent, создание среды Python, установка зависимостей, подготовка настроек и навыков, установка приложения, настройка ключей, настройка службы шлюза и завершение. Это одноразовая настройка, при следующих запусках её не будет.

Устанавливаются сразу два компонента: сам агент и десктопное приложение, через которое с ним работают. После установки нажмите запуск. Если Windows спросит про доступ частных сетей, в примере его разрешили, чтобы позже связать два компьютера.

Окно установки Hermes Agent: девять шагов от подготовки системы до завершения
Окно установки Hermes Agent: девять шагов от подготовки системы до завершения

Шаг 2. Проходим онбординг

При первом запуске Hermes предлагает короткую настройку: имя, цвет акцента, вид интерфейса. Её можно пропустить. Но стоит пройти: онбординг заметно улучшили.

Важная деталь. Онбординг работает на встроенной бесплатной пробной модели от Nous Research. Это ограниченный режим, чтобы вы начали, пока своя модель не подключена. Значит, на этом этапе работа ещё не локальная. Если хотите сразу без неё, у Hermes есть другие способы установки, без подключения к порталу Nous. Но новичку проще начать с пробной модели.

Дальше агент предлагает проверить, какие программы и инструменты разработчика стоят на компьютере, чтобы предложить подключения. В примере он нашёл Git, Node.js, Python и VS Code. Следом идёт выбор: быстрый тур, показать всё или пропустить и сразу собирать. Взят быстрый тур. Подключения можно добавить и позже: раздел возможностей, вкладка коннекторов.

После проверки установленных программ агент предлагает быстрый тур или сразу задачу
После проверки установленных программ агент предлагает быстрый тур или сразу задачу

Шаг 3. Смотрим, как устроен агент

Интерфейс простой: слева сессии, то есть чаты, внизу поле ввода и выбор модели. В поле выбора есть подсказка: компьютер может запустить модель локально, нужно открыть настройки, провайдеров и локальные модели.

Дальше агент предлагает первую задачу, в примере это «Объясни, как работает Hermes». Он сам загружает навыки и собирает небольшой анимированный гайд в виде HTML-файла. Заодно видно, как он работает: загружает навыки, ищет в вебе, пишет файл, показывает результат.

Из гайда видно главное: ход агента это цикл. Модель рассуждает, инструменты выполняют работу, результат возвращается на следующий шаг. Что именно будет «моделью», решаете вы, остальное делает Hermes. По словам гайда, навыки хранят порядок действий, а память хранит факты и предпочтения для будущих сессий.

Гайд, который агент собрал сам: ход работы это цикл из модели, инструментов и результатов
Гайд, который агент собрал сам: ход работы это цикл из модели, инструментов и результатов

Шаг 4. Подключаем локальную модель

После онбординга Hermes сам предлагает запустить модель локально. В примере это Qwen 3.6 35B A3B размером 21,9 ГБ. В окне сказано: она помещается в память компьютера, работает бесплатно, а чаты остаются на нём. Есть кнопки «Не сейчас» и «Настроить».

В примере выбрано «Не сейчас», чтобы показать путь вручную. Он тоже короткий: настройки, раздел провайдеров. Здесь три направления:

  • Аккаунты и ключи. Облачные модели: подписки и API-ключи.
  • Пользовательские эндпоинты. Модель на другом компьютере или на этом же через Ollama, LM Studio и подобные программы.
  • Локальные модели. Встроенный вариант, о нём дальше.
Предложение запустить Qwen 3.6 35B A3B локально: бесплатно, чаты остаются на компьютере
Предложение запустить Qwen 3.6 35B A3B локально: бесплатно, чаты остаются на компьютере

Шаг 5. Ставим движок для модели

Модель сама не запускается. Ей нужен движок, который её загружает и отвечает на запросы. Раньше его ставили отдельно, например через Ollama, и вручную связывали с агентом. Теперь в разделе локальных моделей есть кнопка установки рантайма: Hermes сам ставит движок llama.cpp.

В примере это заняло около трёх секунд. По описанию на экране, Hermes запускает сервер и управляет им сам. Появилась отметка, что движок установлен и готов, и кнопка «Включить».

Движок llama.cpp установлен: Hermes управляет сервером сам, есть кнопка включения
Движок llama.cpp установлен: Hermes управляет сервером сам, есть кнопка включения

Шаг 6. Выбираем модель под своё железо

Ниже в том же разделе приложение показывает ваши ресурсы: в примере 63,8 ГБ видеопамяти и столько же оперативной, общая память. Дальше список моделей с пометками «подходит для вашей видеокарты» или «слишком велика для этого компьютера». В примере отмечены как слишком большие модели на 91,9 и 154,6 ГБ. Рекомендованной помечена Qwen 3.6 35B A3B.

Правило простое. Модель должна быть меньше вашей памяти с запасом: нужно место, чтобы она помнила разговор по мере заполнения контекста. Если у вас 16 ГБ, модель на 22 ГБ не пойдёт.

Список моделей: помечено, какие подходят компьютеру, а какие слишком велики
Список моделей: помечено, какие подходят компьютеру, а какие слишком велики

Если нужной модели в списке нет, внизу есть поиск по Hugging Face. В примере искали Gemma 4. Приложение показывает варианты одной модели с разной квантизацией. Квантизация это сжатие модели: файл меньше, качество чуть ниже. В списке Gemma 4 26B A4B размеры от 47 ГБ до 9,2 ГБ. Если большая версия не помещается, берут сжатую. Например, у соседней модели Gemma 4 на 12 миллиардов параметров полная версия занимает 22 ГБ, а сжатая Q6 только 9 ГБ, и она поместится даже при 16 ГБ памяти. Какой вариант подойдёт вашему компьютеру, придётся прикинуть самим.

Варианты Gemma 4 26B A4B с разной квантизацией: от 47 до 9,2 ГБ
Варианты Gemma 4 26B A4B с разной квантизацией: от 47 до 9,2 ГБ

Шаг 7. Запускаем и проверяем

В примере скачана Gemma 4 26B A4B в сжатом варианте IQ4_XS, 12,7 ГБ. После загрузки порядок такой:

  1. В разделе локального рантайма нажмите «Включить»: движок запустится.
  2. Рядом с моделью нажмите «Использовать»: она станет моделью по умолчанию.
  3. В выборе модели внизу чата выберите локальную и при желании уровень рассуждений.

Для проверки напишите коротко:

Привет, кто ты?

Сначала модель загружается в память. На это уходит время, зависит от размера. Пока она грузится, индикатор показывает прогресс. Следите за оперативной памятью: если её не хватает, всё замедляется очень сильно. Потом агент отвечает, что он Hermes Agent от Nous Research, а на вопрос, что он умеет, перечисляет разработку, исследования, автоматизацию браузера и работу с файлами.

Теперь всё работает на вашей машине. Скорость в примере в среднем около 13 токенов в секунду. Она зависит от модели и квантизации: меньшие модели могут работать быстрее.

Ответ локальной модели Gemma 4 в чате Hermes: агент описывает, что умеет
Ответ локальной модели Gemma 4 в чате Hermes: агент описывает, что умеет

Шаг 8. Включаем память

Память это то, что делает Hermes полезнее с каждой неделей. Проверить просто. Напишите агенту, как вы работаете:

Запомни, как я работаю. Я делаю серию обучающих материалов о том, как работают агенты. Я предпочитаю короткие, лаконичные и практичные ответы.

Агент сразу пишет, что сохраняет это в память, и подтверждает: «Сохранено». Можно добавить правило: брать данные из памяти, а не искать по прошлым сессиям. Потом откройте новую сессию и спросите: «Над каким проектом я работаю?» По памяти профиля агент ответит, что вы делаете обучающую серию про агентов.

Смысл в том, что слабую локальную модель можно усилить: чем больше накопленной памяти, тем лучше она подстраивается под ваши задачи. Память хранится отдельно от модели, и её можно подключить к любой.

Агент сохраняет предпочтения в память и подтверждает запись
Агент сохраняет предпочтения в память и подтверждает запись

Шаг 9. Проверяем важные настройки

В настройках стоит заглянуть в два места.

Память и контекст. Убедитесь, что включены постоянная память и профиль пользователя. Там же подключаются внешние провайдеры памяти. Сейчас они ставятся как плагины: в разделе возможностей, во вкладке плагинов, есть каталог с поиском. В примере найден Hindsight и кнопка «Добавить в этого агента». Среди других провайдеров назван Honcho.

Терминальный бэкенд. Раздел расширенных настроек, пункт терминального бэкенда: здесь выбирается, где агент запускает код. По умолчанию стоит локальный запуск. Среди вариантов Docker, Singularity, Modal, Daytona и Ssh. Docker изолирует агента: если он ошибётся или его взломают, пострадает контейнер, а не весь компьютер.

Выбор терминального бэкенда: локально, Docker, Singularity, Modal, Daytona или Ssh
Выбор терминального бэкенда: локально, Docker, Singularity, Modal, Daytona или Ssh

Дальше в Hermes можно подключить мессенджеры, например Telegram, Discord и Slack, чтобы писать агенту с телефона. Можно заводить профили: отдельный агент-исследователь со своими настройками. Это отдельные темы, и начинать с них стоит после того, как базовая схема заработает.

Если вы работаете из России

Сам Hermes с открытым кодом и работает на вашем компьютере, а значит от иностранных сервисов не зависит. Локальный режим вообще не требует аккаунта и ключей.

Что может не работать:

  • Облачный режим Nous. Встроенная пробная модель и платный доступ к Claude, ChatGPT, Gemini идут через сервис Nous. Из России доступ может быть ограничен, проверьте заранее. Облачные подписки в разделе аккаунтов тоже могут не подойти.
  • Загрузка с Hugging Face. Модели берутся оттуда. Если сайт недоступен, скачайте модель в формате GGUF другим способом и подключите кнопкой добавления файла модели. Эта кнопка есть в разделе локальных моделей.

Чем заменить: открытыми моделями на своём компьютере. В списке Hermes есть Qwen, DeepSeek, Gemma. Движок llama.cpp встроен. Если привычнее Ollama или LM Studio, подключайте их через пользовательские эндпоинты. Так можно запустить модель и на отдельном сервере в компании.

Что важно знать до старта

  • Нужна память. Модель должна помещаться в оперативную и видеопамять с запасом. Если не хватает, всё замедляется сильно.
  • Локальная модель слабее и медленнее. По сравнению с облачными Claude или ChatGPT ответы могут идти заметно медленнее. Зато закрытые данные и внутренние заметки остаются на вашем компьютере.
  • Не всё остаётся внутри. Если агент ходит в интернет или подключён к внешним инструментам, информация выходит наружу. Продумайте процесс заранее.
  • Онбординг не локальный. Пока вы не включили свою модель, он идёт на пробной модели Nous.
  • Локальный запуск кода по умолчанию. Для серьёзной работы включите Docker.
  • Проект быстро меняется. В примере версия v0.22.2. Названия кнопок у вас могут отличаться.

Что дальше

После базовой схемы можно подключить память-плагин, мессенджер или несколько агентов с разными ролями и моделями. Но главное уже сделано: у вас есть агент, который работает на вашем компьютере, не отправляет переписку в облако и накапливает знания о вашей работе.

Мы в Агентехе учим сотрудников собирать таких агентов под задачи своего отдела: выбирать модель под железо, решать, какие данные можно давать облаку, а какие нужно оставить внутри компании. Как устроено обучение.

Написать в Telegram