当前位置:首页AI视频近日,谷歌与李飞飞的斯坦福团队携手推出了基于Transformer的视频生成模型W.A.L.T。该模型利用因果编码器和窗口注意的变压器架构,成功将图像和视频压缩到一个共享的潜在空间,实现了联合训练和生成。这一创新性的模型不仅在已建立的视频和图像生成基准测试上取得了SOTA,还展示了在文本到视频生成任务中的卓越性能。 这种方法有两个关键的设计决策。首先,它使用因果编码器共同压缩图像和视频,使其在统一的潜在空间内进行训练和生成,支持跨模态操作。其次,为了内存和训练效率,它使用了专为联合空间和时空生成建模量身定制的窗口注意力架构。这些设计决策的结合使得W.A.L.T在已建立的视频(如UCF-101和Kinetics-600)和图像(如ImageNet)生成基准测试中达到了最先进的性能,而且不需要使用无分类器的引导。 W.A.L.T官方演示视频: W.A.L.T项目地址:https://walt-video-diffusion.github.io/

近日,谷歌与李飞飞的斯坦福团队携手推出了基于Transformer的视频生成模型W.A.L.T。该模型利用因果编码器和窗口注意的变压器架构,成功将图像和视频压缩到一个共享的潜在空间,实现了联合训练和生成。这一创新性的模型不仅在已建立的视频和图像生成基准测试上取得了SOTA,还展示了在文本到视频生成任务中的卓越性能。 这种方法有两个关键的设计决策。首先,它使用因果编码器共同压缩图像和视频,使其在统一的潜在空间内进行训练和生成,支持跨模态操作。其次,为了内存和训练效率,它使用了专为联合空间和时空生成建模量身定制的窗口注意力架构。这些设计决策的结合使得W.A.L.T在已建立的视频(如UCF-101和Kinetics-600)和图像(如ImageNet)生成基准测试中达到了最先进的性能,而且不需要使用无分类器的引导。 W.A.L.T官方演示视频: W.A.L.T项目地址:https://walt-video-diffusion.github.io/

W.A.L.T:通过扩散模型生成逼真视频的AI模型

给TA打赏
共{{data.count}}人
人已打赏
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索