Wan 2.2 Animate

Когда движение задаётся не промтом, а реальным выступлением

Wan 2.2 Animate — специализированная модель семейства Wan 2.2 для работы с персонажами в видео. В отличие от обычного Text-to-Video или Image-to-Video, здесь главным источником движения становится референсный ролик: модель извлекает из него позы, движения тела и выражения лица и переносит их на нового героя.

Wan 2.2 Animate объединяет два разных сценария — анимацию персонажа и его замену в готовом видео. В официальном репозитории эти режимы разделены как animation и replacement, а в Alibaba Cloud им соответствуют отдельные сервисные модели wan2.2-animate-move и wan2.2-animate-mix.

Перенос движения с референсного видео

В режиме анимации пользователь загружает изображение персонажа и видео с нужным движением. Модель переносит на героя действия и мимику из исходного ролика, создавая новое видео с тем же характером исполнения.

Такой подход особенно удобен для танцев, жестов, сложных движений тела и выразительной мимики. Вместо подробного описания каждого движения словами пользователь показывает модели готовый пример того, как должен двигаться персонаж.

Анимация не ограничивается только позой

Wan 2.2 Animate работает не только с общим движением тела. В официальном описании модели отдельно отмечается перенос выражений лица вместе с действиями персонажа. Это делает результат полезным для сцен, где важны эмоции, мимика и поведение героя, а не только изменение положения тела.

Благодаря этому статичное изображение можно превратить в более естественную видеосцену, используя реальное исполнение как основу для анимации.

Замена персонажа в готовом видео

Вторая ключевая возможность Wan 2.2 Animate — replacement. В этом режиме задача состоит не в анимации отдельного изображения с нуля, а в замене персонажа внутри существующего ролика на героя из исходного изображения.

Сохраняется логика исходной сцены и движение, а визуальная идентичность персонажа меняется. Такой подход подходит для творческих монтажей, рекламных концепций, виртуальных героев и других задач, где необходимо заменить человека или персонажа без ручной покадровой анимации.

Разница между animation и replacement

Оба режима используют референсное видео, но решают разные задачи. В animation исходное видео выступает прежде всего источником движения и мимики. В replacement важнее сохранить взаимодействие персонажа с окружением и встроить нового героя в уже существующую видеосцену. Именно поэтому официальная документация использует для этих режимов разные пайплайны обработки.

При анимации может применяться pose retargeting — адаптация позы и движения под пропорции нового персонажа. В режиме замены эта обработка по умолчанию отключена, чтобы лучше учитывать пространственное взаимодействие героя с исходной сценой.

Почему референсное видео даёт больше контроля

Текстовый промт хорошо подходит для описания общего действия, но сложную последовательность жестов или танец трудно передать только словами. Референсное видео уже содержит точную информацию о темпе, позах, переходах и выражении лица.

Поэтому Wan 2.2 Animate особенно полезна там, где результат должен повторять конкретное исполнение. Пользователь не просит модель самостоятельно придумать движение, а предоставляет готовую основу для переноса.

Для каких задач подходит Wan 2.2 Animate

• анимация персонажа по референсному видео;
• перенос танцев и сложных движений;
• воспроизведение жестов и мимики;
• оживление иллюстраций и AI-персонажей;
• замена героя в существующем видеоролике;
• создание креативов для рекламы и социальных сетей;
• эксперименты с виртуальными персонажами без ручного motion capture.

Alibaba Cloud прямо описывает сценарий motion-driven animation как более доступную альтернативу классическому motion capture для задач, где нужно перенести реальное исполнение на другого персонажа.

Чем Wan 2.2 Animate отличается от обычного Wan 2.2

Обычные модели Wan 2.2 ориентированы на генерацию видео из текста и изображений. Animate решает другую задачу: она работает именно с движением и идентичностью персонажа, используя референсное видео как ключевой источник управления.

Поэтому эту модель имеет смысл выбирать не для свободной генерации новой сцены, а когда уже есть конкретное действие, которое необходимо перенести на другого героя, либо готовый ролик, в котором требуется заменить персонажа.