sadtalker学习用于风格化音频驱动单图像说话人脸动画的真实 3D 运动系数的应用

论文出处

https://arxiv.org/abs/2211.12194

使用方法

1. 打开项目的colab链接

https://colab.research.google.com/github/Winfredy/SadTalker/blob/main/quick_demo.ipynb#scrollTo=fAjwGmKKYl_I

在examples/source_image文件夹中添加希望动起来说话的图片，这里添加的是航天之父戚发轫，respect。

2. 再用ttsmaker文字转语音工具，将戚先生在剧本中要说的话转为语音，链接如下

https://ttsmaker.com/zh-cn

3. 生成wav文件后，上传到colab中的/examples/driven_audio文件夹，并在代码部分进行名称替换

4. 接下来只需要按步骤运行demo，就能在result文件夹下生成想要的动起来的mp4文件了，我的视频大约1分半，用了约10分钟生成，生成效果如下（已经按第6步视频增强）。

5.生成的视频分辨率不够高，但相比之前自己使用的DID生成的数字人，真实度高了不少，DID生成的嘴巴明显是从另外找了一个，属于一眼假，DID链接如下D-ID | The #1 Choice for AI Generated Video Creation Platform

这次不用DID的另一个原因是生成的视频有水印了。

6.最后可以看到生成的视频较为模糊，用了一个手机上的app叫wink来视频增强