计算机视觉之三维重建（1）---摄像机几何

一、针孔模型和透镜

1.1 针孔摄像机

 1. 当我们设计摄像机记录世界时，我们首先会想到将胶片直接放到物体的前方，但是此时胶片上某点处的图像信息可能来自物体的多个位置，图像模糊使得我们无法分辨。

 2. 最早提出小孔成像的是中国的墨子。那如果我们在胶片和物体之间放一个有针孔的隔板，那么就可以实现物体的光线与胶片上的像素点一对一对应。

 3. 如下图是一个简单的针孔摄像机模型。物体经过针孔呈现在像平面的像是倒立的。为了研究方便，我们人为定义了一个虚拟像平面，上面的图像是正立的。

 4. 如下图所示通过数学模型建立三维坐标到二维坐标的映射，我们可以确定出摄像机坐标系与像平面坐标系相对应点处的位置关系。

 6. 光圈的大小会对成像有影响，当缩小光圈时，成像会越来越清晰，但也会越来越暗。
 思考：那如何应对到达胶片的光线变少，我们可以增加透镜来解决。

1.2 近轴折射模型

 1. 焦点和焦距的概念图如下：

 2. 我们仍然可以建立数学模型来表示胶片上像素点与物体发射光线处的对应关系。

1.3 透镜问题

 1. 使用透镜带来的第一个问题是会造成失焦。透镜问题中的 “失焦” 主要指的是在拍摄过程中，由于焦距调整不当，导致拍摄主体在胶片或传感器上未能形成清晰的图像。具体来说，当物体上离相机较远的点P在胶片上成像时，如果物体上较近的点在胶片上映射到多个位置，那么就无法形成清晰的焦点，从而产生虚像。

 2. 失焦的原因可以归结为焦距设置的不准确。每个透镜都有一个特定的 “聚焦” 距离，只有在该距离上的物体才能被清晰地成像。此外，景深也是一个重要的因素。景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的所成影像的景物空间范围。在一定景深范围内，物体能够形成清晰的像；而超出这个范围，物体则可能形成虚像。

 3. 使用透镜带来的第二个问题是会造成径向畸变。透镜问题中的径向畸变是一种常见的光学现象，它主要沿着透镜的半径方向分布。当光线经过透镜时，由于透镜的制造精度或组装工艺的偏差，光线在远离透镜中心的地方比靠近中心的地方更加弯曲，从而导致图像的失真。这种失真在普通廉价的镜头中尤为明显。

 4. 径向畸变的产生与透镜的曲率半径、折射率以及光线入射角等因素有关。当光线经过透镜时，由于不同位置的光线受到不同程度的折射，导致它们在成像平面上无法准确聚焦，从而产生径向偏移。这种偏移随着离透镜中心距离的增加而变得更加明显。

 径向畸变主要分为两种类型：桶形畸变和枕形畸变。桶形畸变通常表现为图像边缘向中心收缩，使得图像呈现出一种 “桶状” 的效果；而枕形畸变则表现为图像边缘向外扩张，形成一种 “枕状” 的效果。

二、摄像机几何

2.1 像平面和像素平面

 1. 首先，像平面是一个连续的平面，通常用于描述光线通过透镜后在成像介质（如胶片或图像传感器）上形成的图像。在像平面上，每个点都对应着一定的光线强度和颜色信息，从而构成了我们所看到的图像。这个平面的坐标原点一般设定在图像的中心，即主光轴与图像传感器的交点，以便更准确地描述图像的物理位置和关系，常常使用物理单位如毫米来描述像素在图像中的位置。

 而像素平面则是与图像的存储和显示方式紧密相关的离散平面。在数字图像处理中，图像被表示为一个由多个像素组成的矩阵，每个像素都对应着像素平面上的一个点。这些像素点按照一定的规律排列，共同构成了我们看到的数字图像。像素平面的坐标原点通常设定在图像的左上角顶点，这与计算机图像处理中的常见坐标系统相一致。

 2. 我们需要对小孔成像模型进行修正。由于在像平面和像素平面中坐标系的原点选择位置和物理单位不同，所以我们只需要在像平面下加上偏置和乘上系数就可以了。第二幅图中 $\alpha$ 和 $\beta$ 一般是由摄像机自身决定的。

 3. 思考：$P$ 到 $P^{\prime }$ 的变换是线性的吗？ 答：不是线性的，由于 $x$、$y$ 变化时 $z$ 也有可能变化，$z$ 并不是一个恒定的常数，所以并不是线性的。

2.2 齐次坐标下的投影变换

 1. 齐次坐标（Homogeneous Coordinate）是一个用于投影几何里的坐标系统。齐次坐标表示法将一个原本是 n 维的向量用一个 n+1 维向量来表示，从而能够表达更多的信息。

 2. 下面表达式中 $P_h$ 代表物体齐次坐标形式（三维），$P_h^{\prime }$ 代表像的齐次坐标形式（像素平面），$P_h$ 与 $P_h^{\prime }$ 之间通过一个三行四列的矩阵 $M$ 进行变换。

2.3 摄像机倾斜

 1. 摄像机倾斜是指摄像机向一侧或者上下方倾斜拍摄的一种摄像技术，主要是由于工艺制作不好的原因。当摄像机发生倾斜时，拍摄到的图像会相应地发生旋转或倾斜。这种旋转或倾斜会导致图像中的物体和背景之间的相对位置发生变化，从而在像素平面上形成新的几何布局。这种几何变换可能会使得原本水平或垂直的线条变得倾斜，或者使得物体的形状和比例发生扭曲。

 2. 摄像机倾斜情况下，变换矩阵 $M$ 也要做出相应的改变。

 3. 综上所示，最终得到的摄像机坐标系下的摄像机模型如下图所示。反映了摄像机坐标系下的物体某处坐标到像素平面的映射。内参数矩阵 $K$ 有 $\alpha 、\beta 、\theta 、c_x、c_y$ 五个参数。

2.4 规范化摄像机

 规范化摄像机通常指的是将摄像机的参数和设置调整到一种标准或基准状态，以确保拍摄出的图像具有一致性、准确性和可预测性。注：此时物体所取的位置应该是与摄像机坐标系的中心相对应。

2.5 世界坐标系

 1. 世界坐标系是系统的绝对坐标系，用于描述物体在三维空间中的位置。在没有建立用户坐标系之前，画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。世界坐标系通常由三个轴表示，分别是 $x$ 轴、$y$ 轴和 $z$ 轴，其中 $x$ 轴表示东西方向，$y$ 轴表示南北方向，$z$ 轴表示高度或海拔。每个点在这个坐标系中都有一个独特的坐标值，可以用 $(x,y,z)$ 的形式表示。

 2. 假设世界坐标系 $P_w$ 做一个旋转与平移后转换到摄像机坐标系 $P$（齐次坐标），那么存在旋转矩阵 $R$（三行三列），平移矩阵 $T$（三行一列），对于旋转矩阵有三个自由度，平移矩阵有三个自由度，那么外参数总共有六个自由度。

 3. 世界坐标系下的摄像机模型如下所示，$P_w$ 表示世界坐标系，$P^{\prime }$ 表示像素平面的齐次坐标系。

 4. 对于旋转矩阵有三个自由度，平移矩阵有三个自由度，那么外参数总共有六个自由度。 同时考虑外参数和内参数情况下，投影矩阵 $M$ 有11个自由度。旋转矩阵 $R$（三行三列），平移矩阵 $T$（三行一列）。

2.6 Faugeras定理

 1. Faugeras定理是一个关于计算机视觉和摄影几何的重要定理，它主要关注于如何从多视图几何中提取场景的三维结构信息。Faugeras定理通常表述为：在给定足够多的视图和相应的摄像机参数的情况下，我们可以唯一地重建出场景的三维结构。这意味着，通过拍摄同一场景的多张照片，并知道每张照片的摄像机参数（如位置、方向、焦距等），我们可以利用这些信息和Faugeras定理来恢复出场景的三维模型。

 2. Faugeras定理介绍如下：

2.7 投影变换性质：

 1. 在计算机视觉中，投影变换是一个关键概念，它涉及将三维物体或场景投影到二维图像平面的过程。这种变换模拟了光线如何通过摄像机的镜头并在图像传感器上形成图像的过程。

 2. 投影变化的性质如下所示，共有五条，可对应右边的图来理解。

三、其他投影摄像机模型

3.1 弱透视投影摄像机

 1. 弱透射投影摄像机是一种特殊的摄像机模型，它在投影过程中采用了弱透视投影的原理。在弱透视投影中，像素坐标与三维坐标之间的关系相对简单，通常只需要一个放大系数就可以进行转换。

 2. 当观察的场景或物体与摄像机很远时，此时观察的场景或物体近似于平面。比如摄像机照一个人，当之间的距离很远时，人的脸可以看成一个平面，那么应用弱透射投影摄像机可以提供相对准确的投影结果。

3.2 正交投影摄像机

 正交投影摄像机是一种特殊的摄像机，其投影方式遵循正交投影的原理。正交投影是一种投影变换，其中物体在三维空间中的平行线在投影到二维平面上时仍保持平行。这种投影方式在制图、建模等领域中特别常见，因为它能够保持物体的尺寸和形状不变，不产生透视效果。