从一张照片到一个说话视频SadTalker 音频驱动面部动画保姆级部署【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalkerSadTalker 是一个音频驱动面部动画开源项目输入一张人物照片加一段音频就能生成嘴型、表情与语音同步的说话视频也是搭建口播数字人的常用底座。这篇指南带你从环境搭建、模型下载一路做到首次生成命令都能直接复制执行跑不通的高频坑也列在最后跟着做就能出片。 项目速览先花十秒钟搞清楚 SadTalker 输入什么、输出什么、适合谁再决定要不要装。输入一张含清晰人脸的图片正面大头照和全身照都支持再配一段音频仓库 examples/ 目录里有现成的 wav 示例可以拿来试。输出一段与音频等长的说话视频人物嘴型、表情随语音变化脸部动作由 3D 运动系数驱动最后回贴到原图背景上。适合谁想做口播数字人的内容创作者、需要 talking face 能力的开发者以及想折腾音频驱动人脸模型的学习者。 装机前自检硬件够不够跑 SadTalker装之前先确认机器达不达标不达标也不是死路后文有 CPU 兜底方案。GPU 显存 ≥ 6GBRTX 2060 这个级别就能跑内存 ≥ 8GB磁盘可用空间 ≥ 10GB要放代码、Python 环境和几组模型权重另外确认系统里装了 conda后面建环境全靠它。没有独立显卡也没关系加--cpu参数就能走 CPU 模式跑通整条流程10 秒左右的音频大约要等几分钟适合先熟悉操作、做小规模测试。 三步跑通部署环境、依赖、模型一次装齐这一节按环境 → 依赖 → 模型一条主线走完每步只给一条最短命令加一句预期结果。① 拉代码并建独立 Python 环境。独立环境能避免依赖和其他项目互相打架Python 用 3.8这是官方文档验证过的版本git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker conda create -n sadtalker python3.8 conda activate sadtalker预期结果命令行前缀变成(sadtalker)说明独立环境已经激活。② 装依赖。GPU 用户按本机 CUDA 版本选对应的 PyTorch 安装包CPU 用户直接装 CPU 版FFmpeg 交给 conda 处理最省事pip install torch torchvision torchaudio conda install ffmpeg pip install -r requirements.txt预期结果最后一行出现 Successfully installed 即成功。macOS 用户需要再补装pip install dlib官方安装文档里有对应说明。③ 拉预训练模型。仓库自带下载脚本一条命令把权重全部备齐bash scripts/download_models.sh预期结果所有进度条走完checkpoints/ 目录里出现 mapping_00109-model.pth.tar、mapping_00229-model.pth.tar、SadTalker_V0.0.2_256.safetensors、SadTalker_V0.0.2_512.safetensors 这几个核心文件gfpgan/weights/ 里还有可选的人脸增强权重。▶️ 首次运行验收最短命令生成第一个说话视频部署完成直接跑这条命令全部输入都用仓库自带的示例文件不用自己准备素材python inference.py --preprocess full --size 256这条命令默认读 examples/source_image/full_body_1.png 作为人物图、examples/driven_audio/bus_chinese.wav 作为驱动音频--preprocess full表示按全身模式处理并回贴原图。成功长什么样终端最后打印 The generated video is named: 开头的路径视频落在 results/ 目录文件名带时间戳时长与输入音频一致mp4 文件一般几 MB 到几十 MB。用播放器打开能看到人物张嘴说话、头部有轻微摆动音画对得上就算验收通过。想确认 GPU 有没有被识别跑这条极简验证命令python -c import torch; print(torch.__version__, torch.cuda.is_available())第二个值打印 True 表示 CUDA 可用会走 GPU打印 False 时程序自动落到 CPU 模式只是慢一些。️ 性能与参数调优GPU 与 CPU 两档配置这一节给你两档现成参数先照抄再按自己的硬件微调。场景关键参数预期表现GPU 默认档--size 256 --batch_size 2出片最快、显存占用最低日常测试首选GPU 高清档--size 512 --batch_size 1清晰度最高、耗时明显增加显存吃紧就保持 batch 为 1CPU--cpu --size 256 --batch_size 1速度最慢、内存占用最高只建议小规模验证进阶路径固定两条先用256分辨率把链路跑顺确认人物动作、回贴位置没问题再切--size 512出高清版避免一上来就为高清结果反复干等。两个值得试的开关--still抑制姿态漂移全身像回贴原图更稳--expression_scale控制表情强度小于 1 更收敛大于 1 更夸张默认 1.0。️ 排错速查依赖冲突、显存不足、模型损坏跑不通基本都落在这三类按现象 → 原因 → 解法对照处理。现象原因解法pip 安装时报依赖冲突版本互相锁死环境里残留旧版本包新依赖装不进去重建干净环境conda env remove -n sadtalker再按上文重新建环境、装依赖运行时报 CUDA out of memory显存不足512 分辨率叠加较大 batch显存占用超上限改回--size 256并把--batch_size降到 1启动时报模型文件缺失或加载异常下载中断checkpoints/ 里的权重不完整把损坏文件挪出目录后重跑bash scripts/download_models.sh-nc 参数会跳过已完整的文件如果依赖冲突怎么都装不上多半是环境被污染了换个干净的 conda 环境基本都能解决还卡住时对照 docs/FAQ.md 里的常见问题。到这里你的第一个说话视频已经生成在 results/ 目录里。下一步可以试--ref_eyeblink传入一段参考视频改善眨眼或加--enhancer gfpgan提升人脸清晰度更多安装方式和参数说明看 官方安装文档想读代码从 核心源码目录 的 facerender 渲染模块入手。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 从一张照片到一个说话视频：SadTalker 音频驱动面部动画保姆级部署
从一张照片到一个说话视频SadTalker 音频驱动面部动画保姆级部署【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalkerSadTalker 是一个音频驱动面部动画开源项目输入一张人物照片加一段音频就能生成嘴型、表情与语音同步的说话视频也是搭建口播数字人的常用底座。这篇指南带你从环境搭建、模型下载一路做到首次生成命令都能直接复制执行跑不通的高频坑也列在最后跟着做就能出片。 项目速览先花十秒钟搞清楚 SadTalker 输入什么、输出什么、适合谁再决定要不要装。输入一张含清晰人脸的图片正面大头照和全身照都支持再配一段音频仓库 examples/ 目录里有现成的 wav 示例可以拿来试。输出一段与音频等长的说话视频人物嘴型、表情随语音变化脸部动作由 3D 运动系数驱动最后回贴到原图背景上。适合谁想做口播数字人的内容创作者、需要 talking face 能力的开发者以及想折腾音频驱动人脸模型的学习者。 装机前自检硬件够不够跑 SadTalker装之前先确认机器达不达标不达标也不是死路后文有 CPU 兜底方案。GPU 显存 ≥ 6GBRTX 2060 这个级别就能跑内存 ≥ 8GB磁盘可用空间 ≥ 10GB要放代码、Python 环境和几组模型权重另外确认系统里装了 conda后面建环境全靠它。没有独立显卡也没关系加--cpu参数就能走 CPU 模式跑通整条流程10 秒左右的音频大约要等几分钟适合先熟悉操作、做小规模测试。 三步跑通部署环境、依赖、模型一次装齐这一节按环境 → 依赖 → 模型一条主线走完每步只给一条最短命令加一句预期结果。① 拉代码并建独立 Python 环境。独立环境能避免依赖和其他项目互相打架Python 用 3.8这是官方文档验证过的版本git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker conda create -n sadtalker python3.8 conda activate sadtalker预期结果命令行前缀变成(sadtalker)说明独立环境已经激活。② 装依赖。GPU 用户按本机 CUDA 版本选对应的 PyTorch 安装包CPU 用户直接装 CPU 版FFmpeg 交给 conda 处理最省事pip install torch torchvision torchaudio conda install ffmpeg pip install -r requirements.txt预期结果最后一行出现 Successfully installed 即成功。macOS 用户需要再补装pip install dlib官方安装文档里有对应说明。③ 拉预训练模型。仓库自带下载脚本一条命令把权重全部备齐bash scripts/download_models.sh预期结果所有进度条走完checkpoints/ 目录里出现 mapping_00109-model.pth.tar、mapping_00229-model.pth.tar、SadTalker_V0.0.2_256.safetensors、SadTalker_V0.0.2_512.safetensors 这几个核心文件gfpgan/weights/ 里还有可选的人脸增强权重。▶️ 首次运行验收最短命令生成第一个说话视频部署完成直接跑这条命令全部输入都用仓库自带的示例文件不用自己准备素材python inference.py --preprocess full --size 256这条命令默认读 examples/source_image/full_body_1.png 作为人物图、examples/driven_audio/bus_chinese.wav 作为驱动音频--preprocess full表示按全身模式处理并回贴原图。成功长什么样终端最后打印 The generated video is named: 开头的路径视频落在 results/ 目录文件名带时间戳时长与输入音频一致mp4 文件一般几 MB 到几十 MB。用播放器打开能看到人物张嘴说话、头部有轻微摆动音画对得上就算验收通过。想确认 GPU 有没有被识别跑这条极简验证命令python -c import torch; print(torch.__version__, torch.cuda.is_available())第二个值打印 True 表示 CUDA 可用会走 GPU打印 False 时程序自动落到 CPU 模式只是慢一些。️ 性能与参数调优GPU 与 CPU 两档配置这一节给你两档现成参数先照抄再按自己的硬件微调。场景关键参数预期表现GPU 默认档--size 256 --batch_size 2出片最快、显存占用最低日常测试首选GPU 高清档--size 512 --batch_size 1清晰度最高、耗时明显增加显存吃紧就保持 batch 为 1CPU--cpu --size 256 --batch_size 1速度最慢、内存占用最高只建议小规模验证进阶路径固定两条先用256分辨率把链路跑顺确认人物动作、回贴位置没问题再切--size 512出高清版避免一上来就为高清结果反复干等。两个值得试的开关--still抑制姿态漂移全身像回贴原图更稳--expression_scale控制表情强度小于 1 更收敛大于 1 更夸张默认 1.0。️ 排错速查依赖冲突、显存不足、模型损坏跑不通基本都落在这三类按现象 → 原因 → 解法对照处理。现象原因解法pip 安装时报依赖冲突版本互相锁死环境里残留旧版本包新依赖装不进去重建干净环境conda env remove -n sadtalker再按上文重新建环境、装依赖运行时报 CUDA out of memory显存不足512 分辨率叠加较大 batch显存占用超上限改回--size 256并把--batch_size降到 1启动时报模型文件缺失或加载异常下载中断checkpoints/ 里的权重不完整把损坏文件挪出目录后重跑bash scripts/download_models.sh-nc 参数会跳过已完整的文件如果依赖冲突怎么都装不上多半是环境被污染了换个干净的 conda 环境基本都能解决还卡住时对照 docs/FAQ.md 里的常见问题。到这里你的第一个说话视频已经生成在 results/ 目录里。下一步可以试--ref_eyeblink传入一段参考视频改善眨眼或加--enhancer gfpgan提升人脸清晰度更多安装方式和参数说明看 官方安装文档想读代码从 核心源码目录 的 facerender 渲染模块入手。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考