AniPortrait是由腾讯游戏智迹团队开发的一种创新技术，旨在通过音频和参考肖像图片来生成高质量的肖像动画。该技术不仅能够处理静态图片，还能够通过视频实现面部再现，使动画效果更加逼真。
1. 系统要求与环境搭建
为了使用AniPortrait，您需要配置一个符合要求的计算环境。推荐使用Python 3.10版本及CUDA 11.7。首先，您需要安装所需的Python库，可以通过运行以下命令来安装：
pip install -r requirements.txt
2. 权重下载
您需要下载预训练权重文件，并将它们放置在./pretrained_weights目录下。这些权重包括去噪网络、参考图像网络、姿态引导器、动作模块、音频转网格模型、音频到姿态模型和FILM网络等多个组件的权重文件。详细的权重文件和下载路径如下：
- StableDiffusion V1.5
- sd-vae-ft-mse
- image_encoder
- wav2vec2-base-960h
权重文件下载并整理好之后，可以在配置文件（如./config/prompts/animation.yaml）中指定权重文件的路径。
3. 模型使用与命令行工具
AniPortrait提供了多种命令行工具，以支持不同的动画生成需求：
-
自我驱动动画：通过指定动画配置文件，使用
-acc参数来加速视频生成。python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 512 -acc -
面部再现：可以添加源面部视频和参考图像，通过以下命令生成面部动画：
python -m scripts.vid2vid --config ./configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc -
音频驱动动画：在配置文件中添加音频和参考图像后，运行以下命令生成音频驱动的视频动画：
python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc
4. 在线演示和Gradio界面
您还可以通过HuggingFace Spaces上的Gradio界面体验AniPortrait的Web演示。运行以下命令即可启动本地演示：
python -m scripts.app
通过AniPortrait, 用户可以轻松生成高质量的动画，不仅增强了视觉体验，还大大提升了互动性和真实感。
使用中最让我印象深刻的是面部再现功能，它不仅能够精准地捕捉到参考视频的表情变化，还能很好地将这些表情迁移到新的肖像上。这在很多情况下，比如虚拟主持人或数字人物的创作中，都极具价值。
×
直达下载
反爬虫抓取，人机验证，请输入验证码查看内容
验证码：
请扫描上方公众号二维码，发送关键字：2024，获取验证码。
微信搜索公众号:“AI工具教程”或者“chatgpt8080” 或微信扫描右侧二维码关注微信公众号
温馨提示：
