计算机视觉之三维重建（5）---双目立体视觉

一、平行视图

1.1 示意图

 如下图即是一个平行视图。特点：(1) 两个平面平行。 (2) 基线平行于图像平面，极点 $e$ 和 $e^{\prime }$ 位于无穷远处。

1.2 平行视图的基础矩阵

 1. 对于基础矩阵我们有另一个表达式：$F=e^{\prime }\times K^{\prime }R{K}^{-1}$，推导过程如下所示。

 2. 在平行视图情况下，极点交于无穷远处，所以我们可以假定极点 $e^{\prime }=[1,0,0{]}^T$，平行视图下，$K=K^{\prime }$，$R=I$，那么对于平行视图有：

1.3 平行视图的极几何

 1. 极线是水平的，平行于 $u$ 轴。

 2. 平行视图下，$p$ 和 $p^{\prime }$ 在 $v$ 轴方向坐标相同，即垂直方向没有变换。

 3. 极点位于无穷远处。

 4. 已知 $p$ 和 $F$ 的情况下，$p^{\prime }$ 只需要按着扫描线寻找即可，扫描线指的是过 $p$ 且平行于 $u$ 轴的线。

1.4 平行视图的三角测量

 1. 俯视这个平行视图，两个摄像机平面就会变成线。$P$ 到 $O_1$ 和 $O_2$ 的距离表示为深度 $z$，$O_1$ 和 $O_2$ 的距离为 $B$，焦距为 $f$。利用相似三角形底比高可得视差与深度 $z$ 成反比。

 2. (1) 平行视图中的视差图：根据两台平行摄像机在不同角度观察同一物体或场景时，由于视角差异造成的图像的差异进而推断出物体的深度和距离，得到一幅信息图，可以用于对物体或场景的三维重建和识别。 (2) 3D电影通过用两个摄像头同时模拟拍摄同一场景，模拟人眼双眼视觉，再将两个平行视图分别投影到屏幕上，由于使用特殊的偏振式眼睛，通过人眼的立体视觉原理，会给观众感知到一种立体的深度效果。

二、图像校正

 1. 图像校正：使一组非平行视图通过校正构建成平行视图。

 2. 图像校正有五步：
 (1) 在两幅图像 $l$ 和 $l^{\prime }$ 上找到一组匹配点 $p_i\leftrightarrow p_i^{\prime }$，不少于 $8$ 个。

 (2) 计算基础矩阵 $F$（八点法），求解两幅图像中的极点 $e$ 和 $e^{\prime }$。

 (3) 选择透视变换 $H^{\prime }$ 将 $e^{\prime }$ 映射到无穷远点 $(f,0,0)$，变换公式：$H=T^{-1}GRT$。
 ① 先将图像的中心点从左下角移到中心。② 构造 $R$。③ 构造 $G$。

 (4) 对透视变换矩阵 $H$ 进行变换，使得经过 $H$ 和 $H^{\prime }$ 变换后的两个像平面满足平行视图要求：$\Sigma d(H{p}_i,H^{\prime }{p}_i^{\prime })$。

 (5) 分别利用新的矩阵 $H$ 和 $H^{\prime }$，对左右两幅图像 $l$ 和 $l^{\prime }$ 进行重采样，得到一组平行视图。

三、对应点问题

 对应点搜索问题，即根据 $p$ 点寻找对应 $p^{\prime }$ 点的问题，我们根据平行视图极几何关系可知，$p^{\prime }$ 点一定在扫描线上，这样可以进一步缩小的检索范围。

3.1 相关匹配法

 通过点与点之间 $3\ast 3$ 窗口的相关性来进行判断。作为相关性标准，该方法可行依据在于，一般情况下一个图像上像素颜色或灰度的变化是平滑的，这样近似相同点平方的最大值的和在理论上大于高偏差点平方的最大值的和。

3.2 归一化相关匹配法

 1. 对于一个图像上存在像素颜色或灰度变化突变的情况，上一种方法会出现计算误差较大，所以需要进行归一化。

 2. 归一化相关匹配法：改变原来的相似性度量，通过每个窗口向窗口均值进行归一化，达到平滑的效果。

3.3 窗口问题

 对于较小的窗口：会引入更多的噪声，更容易受到噪声影响，但反之也会在没有噪声影响的地方提供更精确的信息。对于较大的窗口：通过归一化操作可以平滑更多的噪声，但也会丢失一部分细节。

3.4 相关法存在的问题

 1. 透视缩短和遮挡问题：

 2. 当遇到不规则物体在视角上存在遮挡时，可能由于 $B/z$ 的过大，两个像平面无法得到更多的信息交互，导致信息丢失，所以可以适当减小 $B/z$。但当 $B/z$ 过小时，由于双目视觉上遮挡的信息只能尽量的去弱化，不能去消除，所以当 $B/z$ 过小时，物体的突出部会造成过大的深度误差，从而在三维重建过程中存在视觉上的明显错误。

 3. 同质区域：由于存在世界坐标下不同区域但颜色非常相近的地方，所以会导致误差的产生，比如用双目视觉去测量一堵白墙的形状，但光影极其不明显。

 4. 对于世界实物上存在重复的区域，这会对双目视觉的三维重建产生较大的影响。

3.5 约束问题

 1. 唯一性约束：对于一张图像中的任何点，在另一张图像上最多只有一个匹配点，不存在同质区域和重复区域。

 2. 顺序约束/单调性约束：左右视图中的对应点次序一致，保证不存在遮挡。

 3. 平滑性约束：视差函数通常是平滑的，减少曝光亮度突变的问题。