LivePortrait 本地部署教程,强大且开源的可控人像AI视频生成

 
 

 

 

1,准备工作,本地下载代码并准备环境,运行命令前需安装git

没有外网环境的朋友可以直接点击【网盘打包下载

git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

# create env using conda
conda create -n LivePortrait python=3.9
conda activate LivePortrait

# install dependencies with pip
# for Linux and Windows users
pip install -r requirements.txt
# for macOS with Apple Silicon users
pip install -r requirements_macOS.txt

注意:确保您的系统已安装FFmpeg,包括ffmpegffprobe!不会安装?看这个FFmpeg 【安装教程

2. 下载预训练权重

下载预训练权重的最简单方法是从 HuggingFace 下载:

# first, ensure git-lfs is installed, see: https://docs.github.com/en/repositories/working-with-files/managing-large-files/installing-git-large-file-storage
git lfs install
# clone and move the weights
git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights
mv temp_pretrained_weights/* pretrained_weights/
rm -rf temp_pretrained_weights

 

非海外用户,没有外网环境的朋友,你可以从Google Drive百度云网盘下载所有预训练权重。解压并将它们放在 中./pretrained_weights

确保目录结构如下,或包含:

pretrained_weights
├── insightface
│   └── models
│       └── buffalo_l
│           ├── 2d106det.onnx
│           └── det_10g.onnx
└── liveportrait
    ├── base_models
    │   ├── appearance_feature_extractor.pth
    │   ├── motion_extractor.pth
    │   ├── spade_generator.pth
    │   └── warping_module.pth
    ├── landmark.onnx
    └── retargeting_models
        └── stitching_retargeting_module.pth

3.推理使用

# For Linux and Windows
python inference.py

# For macOS with Apple Silicon, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py

如果脚本成功运行,你会得到一个名为 的输出mp4文件animations/s6--d0_concat.mp4。此文件包含以下结果:驾驶视频,输入图像或视频,以及生成的结果。

图像

或者您可以通过指定-s和参数-d来更改输入

# source input is an image
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

# source input is a video ✨
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4

# more options to see
python inference.py -h

参照视频自动裁剪 📢📢📢

 

要使用您自己的参照视频,我们建议:⬇️

  • 将其裁剪为1:1 的宽高比(例如 512×512 或 256×256 像素),或通过 启用自动裁剪--flag_crop_driving_video
  • 重点关注头部区域,与示例视频类似。
  • 尽量减少肩部运动。
  • 确保参照视频的第一帧是正面且表情中性

以下是自动裁剪的案例--flag_crop_driving_video

python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d13.mp4 --flag_crop_driving_video

如果觉得自动裁剪的效果不好,您可以修改--scale_crop_driving_video--vy_ratio_crop_driving_video选项来调整比例和偏移量,或者手动进行调整。

动作模板制作

 

您还可以使用自动生成的以 结尾的运动模板文件来.pkl加速推理,并保护隐私,例如:

python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d5.pkl # portrait animation
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d5.pkl # portrait video editing

4. Gradio 可视化界面操作

在Gradio的可视化界面下可以获得更好的体验,适合新手使用,只需运行下面安装代码即可:

# For Linux and Windows users (and macOS with Intel??)
python app.py

# For macOS with Apple Silicon users, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py

您可以指定--server_port、、--share参数--server_name来满足您的需求!

🚀 它们还提供了加速选项--flag_do_torch_compile。首次推理会触发优化过程(约一分钟),使后续推理速度提高 20-30%。性能提升可能因 CUDA 版本的不同而有所差异。

# enable torch.compile for faster inference
python app.py --flag_do_torch_compile

注意:Windows 和 macOS 不支持此方法。或者,在HuggingFace上轻松尝试一下🤗

5. 推理速度评估

 

下方提供了一个脚本来评估每个模块的推理速度:

# For NVIDIA GPU
python speed.py

以下是使用原生 PyTorch 框架在 RTX 4090 GPU 上推断一帧的结果torch.compile

模型 参数(米) 模型大小(MB) 推理(毫秒)
外观特征提取器 0.84 3.3 0.82
运动提取器 28.12 108 0.84
铲形发电机 55.37 212 7.59
变形模块 45.53 174 5.21
拼接和重定向模块 0.23 2.3 0.31

注意:拼接和重定向模块的值代表三个连续 MLP 网络的组合参数数量和总推理时间。

当然如果你没有一张好的显卡,无法本地运行,那么可以在huggingface上免费体验:【点击前往】在线使用

详细的LivePortrait安装教程如下:

THE END
喜欢就支持一下吧
点赞2178 分享
最快乐的8分钟!太入脑了!拯救不开心 | 零度解说-零度博客

最快乐的8分钟!太入脑了!拯救不开心 | 零度解说

https://youtu.be/_QwBE9yb6Fg?si=XEN7XJRvpWq74qFt   https://www.freedidi.com/12956.html
admin的头像-零度博客admin
2W+2176
Windows 必备的 13个 CMD 命令,学会了约美女同事去..... 有事半功倍的效果!  | 零度解说-零度博客

Windows 必备的 13个 CMD 命令,学会了约美女同事去….. 有事半功倍的效果! | 零度解说

  可以壮胆的约会美女同事的发送指令: MSG /server:192.168.1.101 * '小美,下班后一起去吃饭呐,我是办公室里大壮!' 过CMD实现仿黑客帝国数字雨的代码: @echo off :line color 0a setl...
admin的头像-零度博客admin
1.3W+6539
英伟达悄然通知AIC合作伙伴 GPU成本将下调8~12%-零度博客

英伟达悄然通知AIC合作伙伴 GPU成本将下调8~12%

WCCFTech 援引消息人士的话称,英伟达已向 AIC 合作伙伴发去通知,告知其 GPU 成本将下调 8~12% 。 考虑到成本变动向终端传递需要一段时间(代理商库存缓冲),我们预计零售价格会在未来几周内...
admin的头像-零度博客admin
1.5W+2251
Windows 11 升级文件资源管理器的现代 UI 设计-零度博客

Windows 11 升级文件资源管理器的现代 UI 设计

据报道,微软正在对文件资源管理器进行重大更新,该更新将深度集成 OneDrive 和 Microsoft 365 据报道,微软正在对 Windows 11 中的文件资源管理器进行重大更新,以改进其用户界面和功能。Windo...
admin的头像-零度博客admin
1.3W+6539

“Dream Machine”免费发布 !AI生成电影级大片爆红网络

开局即巅峰!视频AI新秀'梦想机器'惊艳亮相! 视频生成AI工具再添猛将!昨日,Luma AI重磅推出旗舰产品Dream Machine,凭借文生视频和图生视频的顶级技术,让高质量逼真影像在指尖绽放。 最叫人惊艳...
admin的头像-零度博客admin
3.3W+2180
保时捷 4K显示器实际上很便宜!-零度博客

保时捷 4K显示器实际上很便宜!

orsche Design 新的 1,800 美元的 PC 显示器肯定比典型的 4K、32 英寸显示器更贵,但豪华的面板实际上相对于它使用的技术来说相对便宜。 正如DisplaySpecifications本周所发现的那样,保时捷设...
admin的头像-零度博客admin
1.6W+2250
DupInOut Duplicate Finder – 重复文件查找删除 [限时免费]-零度博客

DupInOut Duplicate Finder – 重复文件查找删除 [限时免费]

DupInOut Duplicate Finder - 高效解决电脑重复文件问题,原价$20刀 限时免费! 在当今数字时代,我们每天都要处理大量的电子文件和资料。无论是工作相关的报告、个人文档还是家庭视频,我们都需...
admin的头像-零度博客admin
1.4W+1529
电脑远程控制!支持 PC、安卓、iOS、macOS,完全免费开源!速度非常快 | 零度解说-零度博客

电脑远程控制!支持 PC、安卓、iOS、macOS,完全免费开源!速度非常快 | 零度解说

https://youtu.be/tLSrMiNEp6U?si=CvxD2z2MyS43g4xX ============ 远控软件下载:https://www.freedidi.com/11427.html
admin的头像-零度博客admin
1.4W+1527
爆!网络安全公司的 Chrome 扩展程序被劫持、植入后门以窃取用户数据!-零度博客

爆!网络安全公司的 Chrome 扩展程序被劫持、植入后门以窃取用户数据!

目前至少有五个 Chrome 扩展程序在一次协同攻击中遭到入侵,威胁行为者注入了窃取用户敏感信息的代码。 数据丢失防护公司 Cyber​​haven 披露了一次攻击,该公司在 12 月 24 日成功对 Google C...
admin的头像-零度博客admin
65271534