DreaMoving是什么？
DreaMoving是一个基于扩散模型的可控视频生成框架，专门用于生成高质量的定制化人类视频。具体来说，DreaMoving可以根据目标身份和姿势序列生成目标身份在任何地方跳舞的视频。为此，DreaMoving提出了一个用于运动控制的视频控制网（Video ControlNet）和一个用于身份保持的内容引导器（Content Guider）。这个模型易于使用，并且可以适应大多数风格化的扩散模型，以生成多样化的结果。
项目地址：https://dreamoving.github.io/dreamoving/
体验地址：https://www.modelscope.cn/studios/vigen/video_generation/summary
DreaMoving官网演示视频：
DreaMoving可以做什么？
DreaMoving能够根据指导序列和简单的内容描述（如文本和参考图像）生成高质量、高保真度的视频。具体来说，DreaMoving在身份控制方面表现出色，通过面部参考图像进行精确的运动操控，并通过特定的文本提示进行全面的视频外观控制。它的视频控制网处理控制序列（姿势或深度）以产生额外的时间残差，而去噪U-Net是一个派生的稳定扩散U-Net，带有用于视频生成的运动块。内容引导器将输入的文本提示和外观表达（如人脸，衣服可选）转换为交叉注意力的内容嵌入。
DreaMoving使用场景示例
1. 影视制作中的角色替换
在影视制作中，DreaMoving可以用于创建或替换特定场景中的角色。例如，如果需要在一个场景中添加一个未能到场的演员，可以使用DreaMoving根据该演员的面部参考和预设的姿势序列生成视频，从而在不需要实际演员到场的情况下完成拍摄。
2. 虚拟时尚展示
时尚设计师可以使用DreaMoving来展示他们的服装设计。通过输入模特的参考图像和一系列动作姿势，设计师可以创建一个虚拟模特在不同环境中展示服装的视频，这对于线上时尚展或虚拟试衣非常有用。
3. 个性化视频内容创作
内容创作者可以利用DreaMoving来制作个性化视频。例如，一个旅游博主可以创建一个系列视频，展示自己在世界各地的不同地标前跳舞或进行其他活动，即使他们实际上没有访问所有这些地方。
4. 教育和培训
在教育和培训领域，DreaMoving可以用来创建教学视频，其中教师或讲师的动作和表情可以根据需要进行调整，以更好地传达信息或展示特定的教学内容。
5. 虚拟现实和游戏
在虚拟现实和游戏开发中，DreaMoving可以用来生成角色的动作和互动，提供更加逼真和个性化的用户体验。开发者可以根据游戏的情节和环境需求，快速生成各种角色动作。
6. 艺术创作和展览
艺术家可以使用DreaMoving来创作新颖的视频艺术作品。通过结合不同的文本提示和参考图像，艺术家可以创造出独特的视觉表现，用于展览或数字艺术项目。
这些示例展示了DreaMoving在多个领域的广泛应用潜力，特别是在需要高度定制化和创意表达的场合。
