**Сcылки на модель захвата движения в рабочем процессе для Weavy AI **– здесь.
В данном уроке рассматривается технология переноса движений из референсного видео на статичное изображение с помощью искусственного интеллекта. Ведущий демонстрирует рабочий процесс на базе модели Dream Actor v2 от ByteDance, сравнивая её с аналогом от Kling. Подробно разбирается подготовка исходных материалов, настройка генерации и анализируются результаты на различных примерах (стендап, игра на гитаре, танец). Особое внимание уделяется возможностям модели при работе с мелкой моторикой и её текущим ограничениям, таким как размер входного файла и проблемы с синхронизацией губ на общих планах.
0:00–0:32 Введение и сравнение сервисов — Обзор новой технологии переноса движений и упоминание стоимости генерации.
0:32–2:40 Подготовка изображения и выбор модели — Демонстрация работы с модулем редактирования, использования NanoBanana и загрузки модели Dream Actor v2.
2:40–4:02 Разбор первого кейса (стендап) — Оценка качества синхронизации, поворотов головы и анализ мелких визуальных артефактов.
4:02–6:33 Сложные движения и танцы — Тестирование модели на сложной моторике (игра на гитаре) и активных движениях (танец).
6:34–8:06 Минусы модели и выводы — Разбор ограничений липсинга на общих планах и общая оценка качества отработки микродвижений.
4:25 Ракурс исходного лица — Сгенерированный персонаж на стартовом изображении должен смотреть прямо в камеру (анфас), чтобы модель корректно запомнила лицо для последующего переноса.
6:53 Проблема дальних планов — Липсинг (синхронизация движения губ со звуком) работает слабо, если лицо находится слишком далеко от камеры.
7:46 Точность мелких деталей — Модель отлично справляется с микродвижениями, на удивление точно передавая движения глаз и пальцев (например, при игре на музыкальных инструментах).
0:00 Ребята привет! Нейрограф на связи! Сегодня интересная новинка. Это новинка связана с захватом движения и переносом его на изображение.
0:09 В данном случае речь идет с переносом движений из видео на изображение.
0:16 Вы с этим уже сталкивались неоднократно. Например в Клинк есть Capture Motion так называемый. Но смысл этой штуки в том, что она работает лучше и дешевле в разы. А конкретно в Vivi она стоит всего лишь 10 кредитов.