2024-08-05 16:28:15,
Tora是什么？
Tora是阿里巴巴推出的以轨迹为导向的基于扩散变换器（DiT）的视频生成框架，它能够整合文本、视觉和轨迹数据，精确控制视频内容的动态变化，在不同的时间长度、纵横比和分辨率条件下生成高质量的视频。Tora包括轨迹提取器和运动引导融合器，确保生成的视频能够精确地遵循预定义的轨迹，支持不同分辨率和时长的视频制作。
Tora演示demo：
Tora的主要特点
- 轨迹控制：Tora能够确保视频中的动作精确地遵循预定义的轨迹，提供精确的运动控制。
- 高保真度：Tora生成的视频在视觉上具有高保真度，能够细致地模拟现实世界中的运动和动态。
- 多模态输入：Tora能够处理和整合文本、视觉和轨迹条件，使得视频生成过程更加丰富和灵活。
- 创新架构：Tora采用了Diffusion Transformer（DiT）架构，这是生成高质量视频内容的先进技术。
- 动态内容生成：它能够根据轨迹提取器（TE）和运动引导融合器（MGF）的协同工作，生成具有动态一致性的视频内容。
- 高分辨率和长时序视频：Tora支持生成高分辨率和长时序的视频，适用于需要长时间连续镜头的应用场景。
如何使用Tora？
Tora目前提供了论文和演示视频demo，暂未对外开放使用。感兴趣的话，可以访问下方地址了解。
- Tora项目官网：https://ali-videoai.github.io/tora_video
- 论文地址：https://arxiv.org/abs/2407.21705
- GitHub地址：https://github.com/ali-videoai/Tora
温馨提示：