Humans in 4D: Reconstructing and Tracking Humans with Transformers

  1. 问题引入
  • 从单张图片重建人体的3d meshes,即human mesh recovery, HMR任务,并且重建的结果作为tracking模型的输入来进行跟踪,在人体重建和monocular video人体追踪任务上都实现了sota;
  • 本文主要是将transformer引入hmr任务中,并构建了一个3d人体重建+跟踪的系统;在这里插入图片描述
  1. methods
  • SMPL:参数化人体模型,在给定pose θ ∈ R 24 × 3 × 3 \theta\in\mathbb{R}^{24\times 3\times3} θR24×3×3和shape β ∈ R 10 \beta\in\mathbb{R}^{10} βR10的情况下,输出人体mesh M ∈ R 3 × N M\in\mathbb{R}^{3\times N} MR3×N,其中 N = 6890 N=6890 N=6890表示顶点个数,人体关节 X ∈ R 3 × k X\in\mathbb{R}^{3\times k} XR3×k是顶点的线性组合,通过公式 X = M W X = MW X=MW来计算,其中 W ∈ R N × k W\in\mathbb{R}^{N\times k} WRN×k是固定的权重,pose包含pose相关参数 θ b ∈ R 23 × 3 × 3 \theta_b\in\mathbb{R}^{23\times 3\times3} θbR23×3×3和orientation θ g ∈ R 3 × 3 \theta_g\in\mathbb{R}^{3\times3} θgR3×3
  • camera:相机焦距和内参固定,每一个相机对应外参 π = ( R , t ) \pi = (R,t) π=(R,t),其中 R ∈ R 3 × 3 , t ∈ R 3 R\in\mathbb{R}^{3\times 3},t\in\mathbb{R}^3 RR3×3,tR3,给定这些的前提之下,SMPL模型的每个点 X X X可以被投影到图像 x x x
  • HMR模型:输入单张图片 I I I,输出pose,shape参数和camera translation θ , β , π \theta,\beta,\pi θ,β,π
  1. 实验

相关推荐

  1. 4/4 清明work

    2024-06-07 16:30:04       35 阅读
  2. <span style='color:red;'>4</span>.<span style='color:red;'>4</span>总结

    4.4总结

    2024-06-07 16:30:04      41 阅读
  3. <span style='color:red;'>4</span>.<span style='color:red;'>4</span>C++

    4.4C++

    2024-06-07 16:30:04      39 阅读
  4. 分布式(4

    2024-06-07 16:30:04       55 阅读
  5. CSS-<span style='color:red;'>4</span>

    CSS-4

    2024-06-07 16:30:04      54 阅读
  6. DevOps(4)

    2024-06-07 16:30:04       52 阅读
  7. QTday<span style='color:red;'>4</span>

    QTday4

    2024-06-07 16:30:04      59 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-07 16:30:04       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-07 16:30:04       106 阅读
  3. 在Django里面运行非项目文件

    2024-06-07 16:30:04       87 阅读
  4. Python语言-面向对象

    2024-06-07 16:30:04       96 阅读

热门阅读

  1. 系统化自学Python的实用指南

    2024-06-07 16:30:04       29 阅读
  2. python记录之元组

    2024-06-07 16:30:04       27 阅读
  3. 【Webpack4打包机制原理解析】

    2024-06-07 16:30:04       25 阅读
  4. Codeforces Round 950 (Div. 3)

    2024-06-07 16:30:04       27 阅读
  5. 【讯为Linux驱动开发】3.内核空间和用户空间

    2024-06-07 16:30:04       26 阅读
  6. H1X三维轮廓扫描激光雷达在实现散料自动装车

    2024-06-07 16:30:04       27 阅读
  7. H3C运维工程师面经

    2024-06-07 16:30:04       31 阅读