Написать в Telegram

Claude и three.js: как научить ИИ-агента делать анимированные шорты, измеряя эталон. Пошагово

Содержание
  1. Что получится в итоге
  2. Что понадобится
  3. Если вы работаете из России
  4. Что важно знать до старта
  5. Шаг 1. Соберите эталоны и заставьте смотреть каждый кадр
  6. Шаг 2. Разберите сценарий по слоям
  7. Шаг 3. Разберите картинку и научите агента измерять
  8. Шаг 4. Выберите свою историю и проверьте факты
  9. Шаг 5. Соберите сцену: от Blender к three.js
  10. Шаг 6. Проверьте стоп-кадры до рендера
  11. Шаг 7. Скажите агенту прямо: выглядит дёшево
  12. Шаг 8. Команда агентов: делите не только работу, но и файлы
  13. Что нашли агенты
  14. Что дальше

Попросите ИИ-агента сделать «такую же красивую анимацию» по образцу, и получится серая копия. Агент смотрит на образец выборочно, судит на глаз и пропускает мелочи, из которых складывается ощущение дорогого видео: лёгкий дрейф камеры, контуры, цвет теней.

Выход один: не спрашивать агента, что он думает об образце, а заставить его мерить. Разберём это на примере короткой анимации в популярном стиле: плоские 2D-герои живут в объёмном 3D-мире. Её собирают не видеогенератором, а кодом: three.js рисует сцену, Remotion превращает её в видео кадр за кадром, а Claude пишет и проверяет код. У такого подхода есть плюс: каждый параметр сцены можно изменить и повторить.

Что получится в итоге

Готовая короткая вертикальная анимация со своей историей, героями, светом и камерой, собранная в стиле выбранного эталона. Для примера возьмём историю о мосте, который обрушился под строем солдат. Но схема подходит для любого стиля: сначала разбор образца, потом измерения, потом сборка и сверка.

Что понадобится

  • Кодинг-агент. В примере это Claude. Он пишет код, скачивает материалы, сам делает вспомогательные скрипты и сравнивает кадры.
  • Редактор кода и компьютер с запасом мощности. Рендер идёт на своём компьютере, это долго.
  • Эталонные шорты. В примере их 20, примерно 18 минут, больше 32 тысяч кадров.
  • Время. В примере агенту дали 10 часов на то, чтобы изучить стиль и довести анимацию.

Если вы работаете из России

Сам подход не привязан к стране: three.js и Remotion работают на вашем компьютере, облако для сборки сцены не нужно. Сложнее с агентом. Claude из России напрямую недоступен.

Замену можно искать среди кодинг-агентов на открытых моделях, которые запускаются на своём сервере. Но есть условие, которое следует из самого метода: модель должна уметь смотреть на картинки. Агент сравнивает кадры и читает контактные листы, без работы с изображениями схема не взлетит. Если такой модели под рукой нет, этап сверки придётся делать вручную по числам, которые агент насчитал скриптами. Это уже наше предположение, а не часть примера.

Что важно знать до старта

  • Чужие работы в качестве эталона. Агент скачивает и разбирает чужие работы. Это хорошо для изучения приёмов, но свою анимацию делайте на собственной истории, героях и музыке, а не копируйте чужое.
  • Это долго и дорого по лимитам. В примере только на одну сверку работало 12 агентов, а на всю работу агенту дали 10 часов.
  • Выводы агента нужно проверять. В примере часть его собственных заметок оказалась неверной, об этом ниже.
  • Факты в сценарии. Агент должен проверять даты и числа до того, как напишет текст.
  • Не доверяйте первой версии. Она почти всегда выглядит дёшево. Закладывайте круг доработок.

Шаг 1. Соберите эталоны и заставьте смотреть каждый кадр

Первое правило: нужно много образцов. В примере агент скачал последние 20 шортов нужного стиля. Если просто написать «проанализируй видео», агент возьмёт несколько кадров из разных мест. А стиль держится на мелочах: микроанимация, лёгкий ход камеры, тени, свет. Их видно только на 30 кадрах в секунду.

Поэтому задача формулируется жёстко. Суть такая:

Посмотри все 20 шортов на 30 кадрах в секунду и проверь всё: свет, контраст, тени, движение, эффекты, склейки.

В итоге агент собрал свод правил стиля: он называется «библия стиля». Там и сценарная формула, и описание картинки, и числа по цвету.

Шаг 2. Разберите сценарий по слоям

Работа идёт в три слоя: сценарий, картинка, измерения. Для сценария агенту нужен звук. В примере сначала скачалась дублированная немецкая дорожка, и агент заметил ошибку, взял оригинальную английскую и сам расшифровал все 20 шортов.

В сценарии нашлась повторяющаяся формула:

  • Парадокс в первой фразе. Без вступления и разгона: человек сделал что-то, что звучит нелепо.
  • Нарастание. Подробности и ставки растут.
  • Поворот. Настоящая причина выходит наружу. 14 из 20 шортов переходят к объяснению одними и теми же двумя словами.
  • Развязка. Последняя фраза закрепляет вывод.
  • Темп. Почти четыре слова в секунду без пауз.
Сценарий по найденной формуле: парадокс в начале, поворот, финальная шутка
Сценарий по найденной формуле: парадокс в начале, поворот, финальная шутка

Шаг 3. Разберите картинку и научите агента измерять

В картинке агент выделил такие признаки: плоские герои освещены как живые, ловят основной свет и отбрасывают тени. Мир это настоящая 3D-геометрия, обведённая чёрными контурами, как в комиксе. Цвета насыщенные: тёплый свет и холодные синие тени. Свет меняется по ходу истории: тёплый и яркий на завязке, глубокий ночной синий в момент объяснения. Камера почти не режет: у 12 из 20 шортов одна жёсткая склейка или ни одной.

Самое важное здесь не вывод, а способ. Агент не смотрел на глаз. Он написал свой измерительный инструмент:

  • каждые 2 секунды видео собирались в один контактный лист по 60 кадров, всего 549 листов;
  • движение камеры отслеживалось корреляцией фаз: скрипт считает, насколько сдвигается картинка от кадра к кадру;
  • отмечались все жёсткие склейки;
  • для каждого шорта считались яркость, контраст и насыщенность.
Контактный лист: десятки кадров шорта на одной картинке для быстрого разбора
Контактный лист: десятки кадров шорта на одной картинке для быстрого разбора

Главный совет из этого шага: не просите агента оценить образец. Просите измерить. Мнение повторить нельзя, а число можно.

Шаг 4. Выберите свою историю и проверьте факты

Дальше те же свет, камера, склейки и формула, но своя история. Первую тему агент отбросил сам: пока он изучал эталоны, он заметил, что один из них уже рассказывает тот же эксперимент. Выбрали новую: в 1831 году строй из 74 солдат идёт по железному мосту в ногу, и один его конец падает в реку.

Перед сценарием агент проверил факты: дату, число солдат, глубину реки. Отчёт со сводкой был виден на экране: дата, часть, 74 человека по четыре в ряд, число пострадавших, высота падения, глубина реки около двух футов. Глубина реки превратилась в главную шутку: «К счастью, река была глубиной всего два фута. К несчастью, река была глубиной всего два фута».

Сценарий написан строго по формуле эталонов: парадокс в первой фразе, затем нарастание, поворот и развязка. Для примера первая строка: «Семьдесят четыре солдата обрушили железный мост, просто пройдя по нему».

Шаг 5. Соберите сцену: от Blender к three.js

Первый заход был в Blender. Для пробы агент сделал пятисекундный тест: придумал героя-курьера, взял бесплатные 3D-здания, нарисовал плоские облака и подогнал темп камеры под кадры эталона. Но на третьем наезде камера пролетела мимо героя. Для моста агент снова начал в Blender, проверил там контуры и написал всех героев кодом.

Тогда у человека возникла догадка о технологии, и он подсказал агенту:

Мне кажется, анимация сделана в 3D, и рендерят именно её. Если говорить про язык, это three.js.

Агент проверил кадры: плоские герои в настоящем 3D-мире, и three.js действительно так умеет. Всё перенесли, а Remotion собирает из этого видео покадрово.

Чат с агентом: отчёт о фактах и подсказка перейти на three.js
Чат с агентом: отчёт о фактах и подсказка перейти на three.js

Мир собрали так:

  • 37 бесплатных 3D-моделей. Деревья, камни, цветы, рыночные ларьки, телега, ветряная мельница.
  • Текстуры кодом. Трава, брусчатка, крыши, вода рисуются в коде, как нарисованные от руки.
  • 14 лиц. Смех, свист, нервозность, испуг.
  • Мост. Две башни, железные цепи, настил шириной 5 метров. 74 солдата идут по четыре в ряд, каждый шаг качает мост, пока он не ломается.
  • Контуры. Агент написал собственный эффект: он находит рёбра 3D-мира и обводит их чёрной линией.
Код текстур: трава, брусчатка и кирпич, нарисованные в three.js
Код текстур: трава, брусчатка и кирпич, нарисованные в three.js

Через час после переключения работали все 15 планов, 2025 кадров.

Шаг 6. Проверьте стоп-кадры до рендера

Перед рендером агент выгрузил стоп-кадры из планов. Хорошо, что он это сделал: в трёх планах камера оказалась внутри дома, деревья были бирюзовыми, а цепь перекрывала лица.

Папка со стоп-кадрами из всех планов: проверка до долгого рендера
Папка со стоп-кадрами из всех планов: проверка до долгого рендера

Проверка стоп-кадров занимает минуты, а рендер часы. Всегда сначала смотрите кадры.

Ошибка в сцене: бирюзовое дерево и цепь перед лицами солдат
Ошибка в сцене: бирюзовое дерево и цепь перед лицами солдат

Шаг 7. Скажите агенту прямо: выглядит дёшево

Пока агент исправлял планы, человек положил кадр эталона рядом с кадром собственной анимации. Результат выглядел дёшево. Вот суть того, что он написал агенту:

Вот кадр эталона и кадр моей анимации. Эталон яркий, контрастный, выглядит дорого. Мой тусклый. Проанализируй ещё раз покадрово, сравни и исправь. Сделай максимально близко. Запусти 10 агентов.

Агент согласился и перечислил отличия: у эталона чёрные контуры на всём 3D-мире, насыщенные цвета с длинными синими тенями, текстуры как нарисованные, размытый фон, которого в сцене почти нет, и другие пропорции героев.

Шаг 8. Команда агентов: делите не только работу, но и файлы

Человек просил 10 агентов, Claude взял 12 и построил из них команду. Семь агентов изучали разрыв, по одной теме каждый: цвет, контуры, свет и тени, текстуры, герои, размытие и композиция, движение. Каждый клал кадры эталона рядом с кадрами сцены и измерял разницу цифрами. Восьмой делал звук. Ещё четыре агента перестраивали сцену: контуры и цвет, свет и текстуры мира, герои, камера.

План агента: семь агентов сравнивают кадры, четыре перестраивают сцену, каждый в своей копии проекта
План агента: семь агентов сравнивают кадры, четыре перестраивают сцену, каждый в своей копии проекта

Но четыре агента в одном проекте ломают работу друг друга. Решение: каждому дали отдельную копию проекта и закрепили за ним его файлы. Когда работа закончилась, агент слил результаты по файлам. Скрипт слияния на экране устроен просто: для каждой копии он проверяет свои файлы, пропускает неизменённые и копирует изменённые в главный проект.

Скрипт слияния: каждый агент пишет только свои файлы, главный проект получает изменённые
Скрипт слияния: каждый агент пишет только свои файлы, главный проект получает изменённые

Правило, которое стоит запомнить: когда агентов много, делите не только задачи, но и файлы.

Что нашли агенты

Первое: контуры. У эталона чёрная линия лежит почти на трёх рёбрах из четырёх, в отчёте 74 процента. В собранной сцене ноль из 20 проверок. Эффект контуров был, но размытие работало в том же шаге и стирало его. Само размытие было таким слабым, что нигде не было видно.

Отчёт агента по контурам: у эталона 74 процента рёбер с линией, в сцене ноль
Отчёт агента по контурам: у эталона 74 процента рёбер с линией, в сцене ноль

Дальше по остальным пунктам:

  • Камера. В сцене она прыгала из одной точки в другую за три кадра. У эталона плавно скользит около 23 кадров: медленный старт, медленный финиш.
  • Цвет. В эталоне нет чистого чёрного, в сцене почти чёрный. На закате у эталона тени фиолетовые, в сцене коричневые.
  • Герои. Рост эталонных героев три с половиной головы, у героев сцены меньше трёх. Руки и ноги толще раз в пять.
График скорости камеры: у эталона длинный плавный разгон, в сцене резкий всплеск
График скорости камеры: у эталона длинный плавный разгон, в сцене резкий всплеск

Самое ценное: агенты обнаружили, что часть заметок, которые агент составил раньше, была неверной. Герои с «яйцеобразными» головами: агент измерил 38 голов и выяснил, что головы эталона даже круглее, а яйцеобразными были головы героев сцены. А измерительный инструмент из первого шага сказал, что камера почти неподвижна в 80 процентах кадров. На деле она движется в 65 процентах кадров, просто медленно наезжает, а инструмент не видел таких медленных ходов. Выводы агента надо перепроверять, и лучше отдельным агентом.

Что дальше

Подход можно переносить: берёте любой стиль, собираете эталоны, заставляете агента измерять, не мнение, а числа, строите сцену, сверяете кадры и дробите доработку между агентами по файлам. Так клонируются разные визуальные стили.

Мы в Агентехе учим сотрудников собирать агентов для задач своего отдела: от разбора образца и измерений до команды агентов с понятным разделением работы. Как устроено обучение.

Написать в Telegram