人脸三维重建调研

人脸三维重建调研

目标

根据某人一张或多张二维人脸图像重建出三维人脸模型（这里主要讨论单张）。

人脸三维重建发展概述

三维人脸重建主要有两种思路：model-based和model-free。

model-based以[A Morphable Model For The Synthesis Of 3D Faces，1999](A Morphable Model For The Synthesis Of 3D Faces)为基准，旨在训练相对于平均人脸的参数，通过参数来改变平均脸，从而生成新的三维模型。在CNN被广泛应用之前主要使用非线性优化来拟合参数，这类研究很多。这类方法主要依赖训练集的人脸数据，不同人种的识别效果影响很大，对新的数据容错率尚待考虑。[详写]

model-free是通过神经网络，通过二维图像特征点计算回归三维人脸坐标，这类方法是现在主流方法，但是一定程度上丢失了人脸自身的性质。二维图像特征点一般通过人脸对齐的方法实现，人脸对齐也是主要通过CNN来实现。

自从ResNet在15年被提出后，很多网络都通过ResNet的思想来加快训练和模型效果。

3月底的人脸三维重建想法

3月底人脸重建模型精度高，面片数越高效果越好。

主要有两种方案：

方案一：项目通过回归UV为位置坐标，以及加权损失函数，实现了18年s