Написать в Telegram

Jev: как ускорить и удешевить ИИ-агента с помощью модели, которая только выбирает

Содержание
  1. Что умеет Jev и чем он не является
  2. Шаг 1. Получаем доступ
  3. Шаг 2. Подключаем Jev к агенту одним промтом
  4. Шаг 3. Уровень 1: Jev выбирает модель для задачи
  5. Шаг 4. Выбор нужного навыка из 145
  6. Шаг 5. Уровень 2: разбор потока писем и заявок
  7. Шаг 6. Уровень 3: приложения, которые раньше не окупались
  8. Что с Россией
  9. Ограничения и риски
  10. Что дальше

Агент тратит дорогие токены и секунды на решения, которые не требуют размышлений. Какую модель взять для этой задачи? Какой из 145 навыков подходит? Это письмо клиента или спам? На такие вопросы большая модель отвечает долго и дорого, хотя ответ умещается в одно слово.

Для таких решений и сделан Jev. Это новая модель компании Typesafe. По заявлению разработчиков, она в 20-200 раз быстрее и в 40-400 раз дешевле обычных. Секрет в ограничении: Jev ничего не пишет. Он только выбирает из того, что вы ему дали.

Разберём, что это за модель, как подключить её к агенту и где она даёт реальную экономию.

Цена Jev: $0,042 за миллион входных токенов, ответ бесплатный, в 24 раза дешевле Haiku
Цена Jev: $0,042 за миллион входных токенов, ответ бесплатный, в 24 раза дешевле Haiku

Что умеет Jev и чем он не является

Jev отвечает только в трёх формах:

  • Да или нет. Модель оценивает, насколько утверждение верно. В примере вопрос «это срочно?» получил ответ 0,95.
  • Выбор из списка. Например, в какую команду направить обращение: оплата, продажи, поддержка или другое.
  • Оценка по шкале. Например, насколько клиент раздражён, от 0 до 10.
Три формы ответа Jev: да/нет с вероятностью, выбор из списка, оценка по шкале
Три формы ответа Jev: да/нет с вероятностью, выбор из списка, оценка по шкале

Разработчики называют Jev «системой 1», быстрым мышлением. Обычные большие модели, такие как Claude, пишут текст слово за словом и думают от секунд до минут. Это «система 2». Jev отвечает за один проход, примерно за 0,3 секунды, и выбирает только из ваших вариантов.

Цена по тарифу из примера: $0,042 за миллион входных токенов. Ответ бесплатный, платить нужно только за вопрос. По входной цене это в 24 раза дешевле Haiku и в 238 раз дешевле Fable.

Главная идея: Jev не заменяет большую модель, а работает с ней в паре. Jev решает, большая модель пишет. Если Jev в чём-то не уверен, решение принимает большая модель.

Шаг 1. Получаем доступ

Есть несколько путей. Цена везде одинаковая, где её удалось проверить:

Способы получить Jev: консоль Typesafe, OpenRouter, шлюзы Vercel и Cloudflare
Способы получить Jev: консоль Typesafe, OpenRouter, шлюзы Vercel и Cloudflare
  • Консоль Typesafe. Регистрируетесь на сайте разработчика и получаете ключ API. Раньше был список ожидания, теперь доступ открыт для всех.
  • OpenRouter. Сервис, который собирает свежие модели под одним ключом. Здесь Jev называется typesafe/jev-1.13. Именно этот путь использован в примере.
  • Шлюзы Vercel и Cloudflare. Там Jev тоже есть. В Cloudflare цену показывает личный кабинет.

Для первого знакомства проще всего OpenRouter: один ключ, а дальше можно пробовать и другие модели.

Шаг 2. Подключаем Jev к агенту одним промтом

Отдельной установки нет. Достаточно дать агенту, например Claude Code, стартовый промт. Он сам прочитает документацию, спрячет ключ, проведёт тест и оформит всё как навык, чтобы потом можно было сказать «используй Jev, чтобы разобрать это».

Вот этот промт в пересказе:

Я хочу добавить в рабочую папку новую модель Jev. Она ничего не пишет: ей дают текст и несколько вопросов, а она отвечает почти мгновенно и почти бесплатно. Она нужна, чтобы сортировать и решать.

Jev совсем новая, ты её не знаешь. Сначала прочитай, как она работает, в документации. Через OpenRouter она называется typesafe/jev-1.13, способ вызова смотри в документации OpenRouter: маршрут новый, и если что-то изменилось, иди по документации.

Попроси у меня ключ OpenRouter. Храни его в надёжном месте на моём компьютере, не в файле, которым я могу поделиться, и никогда не показывай обратно.

Jev отвечает в трёх формах: выбор из списка, оценка по шкале или вероятность того, что утверждение верно. Чаще всего ответ приходит вместе с уверенностью.

Сделай один настоящий тест, чтобы я увидел, как это работает. Придумай короткое продающее письмо и задай Jev три вопроса: насколько сильный это лид, какого типа письмо и нужен ли личный ответ. Покажи мне ответы, время и стоимость. Если тест не прошёл, покажи точную ошибку.

Затем сохрани всё, что узнал, как навык, чтобы в следующий раз я мог сказать «используй Jev, чтобы разобрать это» про любую кучу текста.

Правило с этого момента: решает Jev, пишешь ты. Если Jev в чём-то не уверен, решение принимаешь ты. Всё, что отправляется в Jev, покидает мой компьютер, поэтому спроси меня, прежде чем отправлять что-то личное.

Стартовый промт для подключения Jev: чтение документации, безопасное хранение ключа, тест, навык
Стартовый промт для подключения Jev: чтение документации, безопасное хранение ключа, тест, навык

Обратите внимание на последний абзац. Он задаёт разделение ролей и ограничивает данные: личное агент без вашего согласия не отправляет.

Шаг 3. Уровень 1: Jev выбирает модель для задачи

Первое применение Jev внутри самой системы агентов. Сейчас выбор модели лежит на вас: Fable самая дорогая, Opus тоже расходует лимит, а для многих задач хватило бы Sonnet или Haiku. Переключать вручную неудобно, и обычно всё идёт на дорогую модель.

Jev получает задачу и список вариантов: Fable, Opus, Sonnet, Haiku. Он выбирает подходящий. В примере проверили 12 разных промтов:

  • Jev отправил 3 задачи на Haiku, 4 на Sonnet, 2 на Opus и 3 на Fable.
  • 9 из 12 задач не нуждались в самой дорогой модели.
  • Стоимость ответов: $0,32 с Jev и $0,55, если всегда брать Fable 5.1. Без Jev получается в 1,7 раза дороже.

Тест небольшой: ответы ограничены 1500 токенами, инструменты не подключались. Проверьте на своих задачах, достаточно ли хорош результат дешёвых моделей.

Тест на 12 промтов: Jev распределил задачи по моделям, $0,32 против $0,55 с Fable каждый раз
Тест на 12 промтов: Jev распределил задачи по моделям, $0,32 против $0,55 с Fable каждый раз

Перед включением сделайте переключатель. В примере это навык-команда: /jev on включает выбор модели на всю сессию, /jev off выключает, /jev status показывает состояние. По описанию из примера, команда создаёт или удаляет маленький файл-флаг, а скрипт-маршрутизатор подключён к агенту как обработчик сообщений.

Сессия Claude Code: после команды /jev on Jev принял 3 решения на $0,000068
Сессия Claude Code: после команды /jev on Jev принял 3 решения на $0,000068

Пример работы: задача «найди путь к скрипту маршрутизатора». Jev отправил её помощнику на Haiku, и тот справился за 15 секунд тремя вызовами инструментов. Без Jev работала бы Opus 5, которая в этой сессии стоит по умолчанию.

Шаг 4. Выбор нужного навыка из 145

Второе применение: поиск навыка. Когда у агента 145 навыков, он тратит время и токены, чтобы выбрать нужный. Схема с Jev такая:

  • Вход. Задача пользователя.
  • Вопрос. Какой один навык должен её выполнить. Вариантов 145: название навыка и первые 220 знаков его описания.
  • Ответ. Один вариант. Агент загружает только этот навык, а не все 145 описаний, это около 14,8 тысячи токенов.

В 14 тестах Jev находил нужный навык примерно за 5 секунд, Opus 5 за около 30. Точность в этих тестах: Opus 5 выбрал верно в 13 случаях из 14, Jev в 12. Opus при этом дороже в 155 раз.

Выбор навыка: Jev ответил за 3,9 секунды, Opus 5 за 21 секунду
Выбор навыка: Jev ответил за 3,9 секунды, Opus 5 за 21 секунду

Это честный размен: чуть ниже точность, зато в разы быстрее и дешевле. Если ошибка в выборе навыка критична, оставьте последнее слово за большой моделью.

Шаг 5. Уровень 2: разбор потока писем и заявок

Второй уровень уже про бизнес-автоматизации. Задача: у вас 100 писем и нужно понять, какие из них лиды, с которыми стоит связаться. Jev размечает их как тёплые, холодные или «не лид». Так же можно сортировать обращения в поддержку по срочности.

В примере сделана таблица: слева 100 писем, справа три колонки. В них одно и то же письмо размечают Jev, Claude Haiku 4.5 и Claude Fable 5.1. Над каждой колонкой видны время и стоимость. По запуску Jev разметил весь список меньше чем за секунду. Большие модели справились заметно дольше и дороже.

Подготовленная таблица: 100 писем и три колонки для сравнения Jev, Haiku и Fable
Подготовленная таблица: 100 писем и три колонки для сравнения Jev, Haiku и Fable

Приём подходит везде, где много однотипных вещей и по каждой нужно простое решение:

  • проверка счетов на мошенничество;
  • фильтр спама;
  • модерация сообщества;
  • обработка запросов на возврат;
  • определение клиентов, которые собираются уйти.

Спросите себя, что у вас поступает большими объёмами и требует однотипной оценки. Это первые кандидаты.

Шаг 6. Уровень 3: приложения, которые раньше не окупались

Третий уровень: продукты, где быстрое дешёвое решение встроено в функцию.

Первый пример: поиск по галерее из сотен изображений. Обычный поиск смотрит на название файла, и запрос «claude» находит только файлы с этим словом в имени. Поиск на Jev работает по смыслу: он читает сохранённый промт каждой картинки, а не пиксели, и сравнивает его с запросом. В примере два окна рядом: поиск по имени файла и поиск через Jev, у каждого счётчики времени и стоимости.

Окно сравнения поиска: слева по имени файла, справа по смыслу через Jev
Окно сравнения поиска: слева по имени файла, справа по смыслу через Jev

Второй пример: расширение Unclutter для Chrome. Включаете переключатель, и расширение убирает со страницы рекламу, баннеры cookie, навязчивые предложения и лишние окна. Решение по каждому элементу страницы, мусор он или нет, принимает Jev. По описанию, расширение с открытым кодом и бесплатное, ключ вы подставляете свой.

Расширение Unclutter в Chrome: панель с переключателем и настройкой анализа страницы
Расширение Unclutter в Chrome: панель с переключателем и настройкой анализа страницы

Что с Россией

Доступность Jev из России в примере не проверялась. Прямых данных о том, открыта ли регистрация в консоли Typesafe или в OpenRouter для российских пользователей и как оплатить, в материалах нет. Это надо проверить самим до начала работы. Так же проверьте доступ к Claude Code, через который собран пример.

Зато сама идея не привязана к одному сервису. Её можно повторить на доступных моделях:

  • Свой сервер. Небольшая открытая модель, которую вы запускаете у себя. В запросе ей разрешают отвечать только вариантом из списка или числом. Так данные не покидают компанию.
  • Российские модели. Для разметки писем и обращений подойдёт любая, которая надёжно следует инструкции «ответь только одним вариантом из списка».
  • Своя маршрутизация. Правило «простое на дешёвую модель, сложное на сильную» можно прописать и без Jev, хотя придётся самим определить, что считать простым.

Скорость и цена у таких решений будут другими. Цифры из примера относятся только к Jev.

Ограничения и риски

  • Только три формы ответа. Писать тексты Jev не умеет, поэтому он годится как сортировщик, а не как замена большой модели.
  • Точность ниже. В тесте с навыками Jev выбрал верно 12 из 14, Opus 5 13 из 14. Для критичных решений оставляйте проверку за большой моделью или человеком.
  • Данные уходят наружу. Всё, что вы отправляете в Jev, покидает ваш компьютер. У расширения Unclutter в окне настроек прямо сказано, что фрагменты страницы отправляются во внешний сервис и могут содержать личные данные. Не отправляйте конфиденциальное.
  • Цифры из примера. Экономия в 1,7 раза и скорость получены на небольших тестах, один из них на выдуманных письмах. На ваших данных результат будет другим.
  • Модель новая. Маршрут вызова в OpenRouter, как сказано в самом промте, новый, поэтому документацию лучше перечитать перед запуском.

Хороший порядок такой: включить Jev только на одну задачу, например разбор входящих писем, сравнить с вашей большой моделью на 50-100 примерах и только потом расширять.

Что дальше

Разумная схема для агента: быстрая модель решает, куда идти, а большая делает работу. Выигрывает тот, кто заранее понял, какие решения в его процессах простые и повторяются тысячами.

Мы в Агентехе учим сотрудников находить в своей работе такие повторяющиеся решения и строить под них агентов, которые экономят время и деньги, без лишних рисков для данных. Как устроено обучение.

Написать в Telegram