让图片说话SadTalker

SadTalker:使用一张图片和一段语音来生成口型和头、面部视频.
西安交通大学开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。
论文地址:Learning Realistic 3D Motion Coefficients
整体来说 Talking head 就是用语音驱动每一帧图片的表情(眼睛、嘴巴等)和头部(head motion)运动,并重建人脸以生成视频。表情运动是局部的,头部运动是全局的,且表情跟声音的关系比较强,头部姿态跟声音的关系比较弱,将这两个系数解耦开可以减少人脸扭曲。

sadtalker的原理基于深度学习技术,主要包括两个关键步骤:情感分类和文本生成。

安装Python 3.8并选中“将Python添加到PATH”。
手动安装 git 或使用 Scoop:scoop install git。
按照本教程或使用 scoop 安装 ffmpeg:scoop install ffmpeg。
通过运行
git clone 

相关推荐

  1. 图片说话SadTalker

    2024-02-22 01:16:01       34 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-02-22 01:16:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-02-22 01:16:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-02-22 01:16:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-02-22 01:16:01       20 阅读

热门阅读

  1. 嵌入式学习day22 Linux

    2024-02-22 01:16:01       29 阅读
  2. Linux--shell编程中的for循环

    2024-02-22 01:16:01       35 阅读
  3. SQL 和 NoSQL 有什么区别?

    2024-02-22 01:16:01       24 阅读
  4. 【菜鸡常见网络问题汇总】之:ARP详解

    2024-02-22 01:16:01       37 阅读
  5. 运动重定向学习笔记

    2024-02-22 01:16:01       29 阅读
  6. 数据安全:证书和密钥对概念详解

    2024-02-22 01:16:01       31 阅读
  7. @Validated 统一参数检验

    2024-02-22 01:16:01       27 阅读
  8. 前端工程化

    2024-02-22 01:16:01       26 阅读
  9. SQL常用函数收藏

    2024-02-22 01:16:01       23 阅读
  10. 前端关于Vue跳转外部链接(百度为例)

    2024-02-22 01:16:01       31 阅读
  11. firewall防火墙配置实战

    2024-02-22 01:16:01       30 阅读
  12. Python提取xml节点

    2024-02-22 01:16:01       34 阅读