Lumina Agent: как превратить статью или песню в видео с раскадровкой. Пошагово

Сделать видео вручную долго. Нужен сценарий, список героев, раскадровка, отдельный запрос на каждый кадр. Если что-то не так, половину работы приходится переделывать. Из-за этого видео для обучения, объяснения продукта или внутренних новостей часто так и остаются идеей.

Lumina Agent берёт эту работу на себя. Вы даёте идею, ссылку на статью или песню, а агент сам строит план: пишет сценарий, придумывает героев и места, рисует раскадровку. Вам остаётся проверить результат и запустить генерацию. О нём говорят сейчас потому, что платформа заметно обновилась: агент стал умнее, а моделей для видео и картинок в ней стало больше.

Разберём по шагам два сценария: как превратить статью в анимацию и как сделать клип по песне.

Что получится в итоге

Из ссылки на статью получается короткое анимированное видео примерно на минуту. В примере это статья о Бабе-яге, а видео сделано в стиле пластилиновой анимации. Из песни получается клип, где кадры и действия героини меняются вместе с ритмом, а в некоторых сценах героиня даже поёт в такт.

Главное отличие от обычных генераторов видео: сначала агент составляет план и раскадровку, и только потом по ним делается видео. Вы не запускаете случайные генерации в надежде на удачу. Это помогает не тратить кредиты на лишние генерации.

Что такое Lumina и что в ней есть

Lumina это платформа для создания изображений и видео, в которой собраны популярные модели в одном интерфейсе. Среди них Seedance 2.5, MiniMax H3, Wan 3.0, Seedream 5.0 Pro, GPT Image 2 и Nano Banana 2. Кроме агента, там есть режиссёрский стол, управление камерой и светом, панорамный режим и пакетный запуск.

Обычно в видеоинструментах всё готовят вручную: сценарий, раскадровку, отдельные кадры и запросы к ним. Здесь по-другому. Вы описываете идею, а агент сам планирует процесс и берёт на себя самые сложные шаги.

Что понадобится

• Аккаунт в Lumina. В примере вся работа идёт на самой платформе, ничего отдельно не ставится.
• Кредиты. Платные действия показывают цену на кнопках. Например, создание раскадровки стоит 100 кредитов, а перегенерация всех раскадровок ещё 100.
• Источник. Ссылка на статью, которую нужно превратить в видео, или готовый трек, если делаете клип.
• Идея стиля. Заранее решите, какой нужен формат, длительность и стиль: пластилин, аниме, кино или что-то другое.

Шаг 1. Открываем страницу агента

В меню слева выберите Agent. Откроется страница с полем «Опишите тему, идею или концепцию, которую хотите объяснить». Под полем есть настройки: соотношение сторон, длительность, стиль и язык.

Начать можно тремя способами: написать свою идею, взять готовый пример из галереи или нажать одну из быстрых кнопок. Кнопки две: Music Video для клипа по музыке и Explainer Video для объясняющего видео.

Шаг 2. Даём ссылку на статью и выбираем параметры

Агент умеет читать ссылку и превращать страницу в сценарий. Поэтому, если не хватает идей, можно взять статью из Википедии: выбрать тему, которая сейчас на слуху, или вечную, вроде истории или образования. Скопируйте адрес статьи, вставьте в поле агента и попросите сделать из неё видео.

Для примера возьмём статью про Бабу-ягу. Запрос такой:

[ссылка на статью про Бабу-ягу] Сделай из этой статьи видео.

Дальше выберите настройки: соотношение сторон 16:9, длительность примерно 60 секунд, язык и стиль. В списке стилей есть Auto, Cinematic, 3D Cartoon, Anime и Clay. В примере выбран Clay, то есть пластилиновая анимация. Затем нажмите кнопку запуска справа.

Шаг 3. Проверяем план и правим его чатом

Агент не просто выдаёт видео. Слева в чате видно, что он делает: понимает тему, пишет план сценария, пишет сценарий раскадровки и готовит визуальные превью. Справа собирается документ с планом.

В плане несколько частей:

• Краткий сюжет. В примере: потерявшийся путник встречает Бабу-ягу и её избушку на курьих ножках в сказочном лесу.
• Визуальный стиль. Описание пластилиновой фактуры, которое потом попадёт в запросы к каждому кадру.
• Список героев. У каждого есть описание и картинка: Баба-яга, путник и другие.
• Прочее. Избушка на курьих ножках, ступа и светящийся череп с картинками.

Ниже в плане идёт сценарий по сценам. В примере их четыре: путник в тумане, избушка выходит на поляну, Баба-яга прилетает в ступе, она даёт путнику светящийся череп, чтобы он освещал дорогу.

Если что-то не нравится, не нужно править всё вручную. Напишите агенту в чат, что изменить или убрать, как в обычном разговоре с ChatGPT. Когда план устраивает, нажмите Generate Storyboard.

Шаг 4. Смотрим раскадровку

Для каждой сцены агент делает отдельную раскадровку: девять кадров на сетке три на три. Под каждым кадром указано время и реплика. Например, первая сцена длится 15 секунд, и в ней звучит голос рассказчика и реплики путника.

Слева видно описание сцены и запрос, по которому строится раскадровка. Внизу переключаются сцены. Всё, что будет в видео, уже распланировано: таймлайн, диалоги и картинка каждой сцены. Ваша задача только посмотреть.

Шаг 5. Запускаем видео

Если раскадровка нравится, нажмите Generate videos. Если нет, можно сделать другую версию кнопкой Regenerate all storyboards. Для отдельной сцены есть кнопка Generate Image, она стоит 25 кредитов.

Результат в примере: ожившая пластилиновая сказка про Бабу-ягу с озвучкой и репликами героев.

Шаг 6. Второй сценарий: клип по песне

Тот же агент делает музыкальные клипы. Загрузите трек и опишите, какой клип вам нужен. В примере файл Music.mp3 длиной одна минута, а запрос такой:

Создай музыкальный клип с солисткой-айдолом: глянцевая мода и фактура отсканированного журнала. Высокий контраст, но без дешёвого вида. Ориентиры: независимые журналы конца 1990-х и начала 2000-х, ксерокопии, плёночные сканы, афиши андеграунда, коллаж из зинов. Добавь крупное зерно, полутоновые точки, шершавые края печати и лёгкое смещение красок. Монтаж быстрый, только жёсткие склейки, без плавных переходов. Идеальная синхронизация губ.

Агент слушает ритм и по нему строит план. Он сам придумывает главную героиню, сцены, стиль, структуру кадров и общий сюжет. Поэтому получается цельный клип, а не набор несвязанных кусков. В примере героиню зовут Mina, а в списке сцен есть белая студия, переулок и крыша.

Параметры в этом сценарии стоят «авто»: длительность и язык агент подбирает сам. После плана нажмите Preview Storyboard и дальше действуйте как в первом сценарии.

В готовом клипе кадры и действия героини меняются в такт музыке и настроению песни. Темп смены кадров тоже идёт за музыкой, а в некоторых сценах героиня поёт в такт вокалу.

Если вы работаете из России

Lumina в примере работает как готовая платформа: на свой сервер её не поставить, про открытый код и открытые модели речи нет. Доступен ли сервис из России и как принимается оплата, в примере не показано. Проверьте это до того, как закладывать сервис в рабочий процесс.

Если сервис окажется недоступен, саму схему можно повторить вручную. Сначала текстовая модель пишет сценарий и список героев по статье. Потом по этому описанию делаются кадры раскадровки, и из них собирается видео. Для сценария и картинок можно взять российские модели, например GigaChat и Kandinsky. Но это будет ручная работа в нескольких инструментах, а не одна кнопка. Удобство и качество придётся проверять самим.

Что важно знать до старта

• Кредиты тратятся на каждом шаге. Раскадровка стоит 100 кредитов, перегенерация всех раскадровок ещё 100, отдельный кадр 25. Смотрите цену на кнопке перед каждым нажатием.
• Права на музыку. Для клипа берите песни, которые свободны для использования или на которые у вас есть права.
• Права на источник. Если берёте статью с чужого сайта, проверьте, можно ли её использовать как основу видео.
• Результат нужно проверять. Агент придумывает героев и реплики сам. В примере он даже дал героине имя. Читайте план и смотрите раскадровку до запуска видео.
• Для делового видео нужен свой стиль. Пластилиновая сказка и клип в стиле глянцевого журнала это примеры. Для обучающего видео подберите другой стиль, например из списка в настройках.

Где это пригодится в компании

Идея простая: у вас уже есть текст, который нужно показать, а не пересказать. Это могут быть статья из базы знаний, описание услуги или инструкция для сотрудников. Агент превращает такой текст в планируемое видео. Такие применения в примере не показаны, это лишь наши мысли о том, куда можно применить схему. Начните с короткого видео и посмотрите, сколько кредитов уходит на одну минуту.

Мы в Агентехе учим сотрудников ставить задачи ИИ-агентам так, чтобы получать предсказуемый результат: давать понятный источник, проверять план до запуска и считать расходы. Как устроено обучение.