Kling Motion Control

Перенос реального движения на нового AI-персонажа

Kling Motion Control — режим генерации видео Kling AI, в котором движение задаётся не только словами. Пользователь предоставляет изображение персонажа и видео с нужным действием, а искусственный интеллект переносит движение из исходного ролика на выбранного героя. Такой подход делает результат более предсказуемым, когда требуется воспроизвести конкретную хореографию, жест или последовательность действий.

Функция Motion Control была представлена в Kling 2.6. Kuaishou описывает её как возможность копировать определённые движения из загруженного видео или встроенной библиотеки движений. В сочетании с референсным изображением персонажа система создаёт новое видео, сохраняя заданные движения тела и выражения лица.

Два референса отвечают за внешность и действие

Принцип работы Motion Control отличается от классического image-to-video. Изображение определяет, кто должен появиться в итоговой сцене, а референсное видео показывает нейросети, как этот персонаж должен двигаться.

Благодаря разделению внешности и движения один и тот же исходный жест или действие можно переносить на другого героя. Это может быть реалистичный человек, стилизованный персонаж, иллюстрация или другой подходящий образ.

Движение берётся непосредственно из видео

Главная особенность режима заключается в использовании готового движения вместо попытки подробно описать его текстом. Если необходимо повторить танец, жесты руками, поворот корпуса или другую последовательность действий, референсное видео выступает источником движения.

Kuaishou указывает, что Motion Control позволяет воспроизводить движения персонажа с покадровой точностью в отношении движений тела и выражений лица. Поэтому инструмент особенно полезен для действий, которые сложно однозначно передать одним текстовым промтом.

Работа с мимикой и движениями тела

Motion Control предназначен не только для переноса общей позы. Официальные материалы Kling демонстрируют работу с синхронизированными движениями всего тела, сложными действиями и жестами рук. В качестве примеров используются различные движения персонажей — от обычных жестов до спортивных и постановочных действий.

Это позволяет применять инструмент для сцен, где движение является центральной частью видео, а случайная анимация, созданная только на основе текстового описания, не даёт достаточного контроля.

Персонаж может повторить сложное действие

Сильная сторона такого подхода особенно заметна при сложных движениях. Вместо подробного описания последовательности пользователь показывает необходимое действие на видео, а модель получает визуальный пример поз, направления движения и их последовательности.

Например, Motion Control можно использовать для танцевальной постановки, спортивного движения, жестов ведущего или другого заранее записанного действия. Исходный ролик в таком случае становится своеобразной инструкцией для AI-анимации.

Промт дополняет референс, а не заменяет его

Основное движение задаёт видео, но текстовая инструкция остаётся полезной для описания требуемой сцены. С её помощью можно уточнить визуальный контекст и детали результата, тогда как сам характер движения берётся из референса.

Такой принцип упрощает постановку задачи. Пользователю не приходится пытаться словами описать каждый жест или изменение позы — текст отвечает за необходимые уточнения, а видеоматериал показывает модели требуемое действие.

Когда Motion Control удобнее обычной генерации видео

Обычная генерация по тексту подходит, когда достаточно описать, что должно происходить в кадре. Motion Control имеет другое назначение: он нужен, когда движение уже известно и его необходимо воспроизвести с другим персонажем.

• перенос танца на собственного AI-персонажа;
• анимация иллюстраций и стилизованных героев;
• повторение жестов и движений человека;
• создание виртуальных выступлений;
• перенос спортивных и постановочных действий;
• создание роликов для социальных сетей на основе референсного движения.

Именно наличие референсного видео отличает такой процесс от генерации, где характер движения модель определяет преимущественно по текстовому описанию.

Один персонаж — разные движения

Изображение и движение используются как отдельные элементы задачи. Поэтому один образ можно применять с разными референсными роликами: например, заставить персонажа повторять различные жесты, движения или постановки.

Обратный сценарий также полезен: одно подходящее референсное движение можно использовать как основу для разных персонажей. Это открывает возможности для экспериментов с героями, маскотами, иллюстрациями и контентом для социальных сетей без необходимости вручную создавать анимацию каждого движения.

Для рекламы, социальных сетей и творческих проектов

Kuaishou отмечает использование возможностей Kling AI в маркетинге, электронной коммерции, кино, телевидении, анимации и игровой индустрии. Motion Control дополнительно получил широкое распространение в социальных сетях благодаря возможности переносить узнаваемые движения на новых персонажей.

Для создателя контента это инструмент точного управления действием. Вместо серии попыток получить нужное движение из одного промта можно предоставить модели визуальный пример и использовать AI для переноса этого исполнения на выбранного героя.