3.相机标定原理及代码实现（opencv）

1.相机标定原理

        相机参数的确定过程就叫做相机标定。

1.1 四大坐标系及关系

（1）像素坐标系（单位：像素（pixel））

        像素坐标系是指相机拍到的图片的坐标系，以图片的左上角为坐标原点，坐标表示为。

（2）图像坐标系（单位：mm）

        以CCD 图像平面的中心为坐标原点，X轴和Y 轴分别平行于图像平面的两条垂直边。图像坐标系是用物理单位（例如毫米）表示像素在图像中的位置。表示为：，其 x 轴和 y 轴分别与像素坐标系的 u 轴，v 轴平行。图像上任意一个像素在两个坐标系的映射关系为：

        其中，单个像素在 x 轴和 y 轴的实际物理距离为 dx 和 dy，将上式转换成齐次方程式为（像素坐标系与图像坐标系之间的转换关系）：

（3）相机坐标系（单位：mm）

        图像坐标系虽建立起图像与现实世界的物理关系，但这只是二维关系，因此，需要建立与三维世界相关的相机坐标系。图像坐标系是相机坐标系的某一平面，相机坐标系 的x轴和y轴与图像坐标系对应轴平行，两个坐标系间的距离就是相机的焦距f。其以相机光心为坐标原点，X 轴和Y 轴分别平行于图像坐标系的 X 轴和Y 轴，光轴为z轴，可以用(𝑋c, 𝑌c, 𝑍c )来表示。

        我们可以通过两个正的相似三角形可以得到图像坐标系和相机坐标系的关系：

        用齐次坐标系和矩阵表示上述关系：

（4）世界（大地）坐标系（单位：mm）

        相机坐标系是以相机为中心的描述现实世界的三维坐标系。在现实空间中，存在无数坐标系可以描述三维空间，为了确定三维空间点的具体位置，需要确定唯一一个基准坐标系来表述空间，这就是世界坐标系，用(𝑋w, 𝑌w, 𝑍w)来表示。

        其中，R 为 3×3 单位正交矩阵，表示了坐标系的旋转操作；t 为三维平移向量，代表了坐标系的平移操作；0 表示三维零向量。

(5) 四个坐标系之间的关系总结

        由上面前4步可以知道，四个坐标系的关系如下：

1.2 相机标定

        相机标定就是要通过一定的方法对特定图像（棋盘格角点检测）计算出这个相机本身的一些参数，包扩：内参矩阵A，外参矩阵[R|T]、畸变系数[k1,k2,k3,,p1,p2,]。内参矩阵各元素意义：一个像素的物理尺寸dx和dy，焦距f ，图像物理坐标的扭曲因子gama，图像原点相对于光心成像点的纵横偏移量cx和cy（像素为单位）。外参矩阵：世界坐标系转换到相机坐标系的旋转R和平移T矩阵。畸变系数：包括相机的径向畸变系数k1,k2,k3，和相机的切向畸变系数p1,p2,。需要的器材：一个黑白棋盘格的标定板，一个相机拍摄的不同角度或距离的棋盘格图像至少三张以上。

        相机的标定是根据像素坐标系与世界坐标系的关系，利用一定的约束条件，来求解相机的内外参数以及畸变系数的过程。

        传统的标定方法一般以棋盘格作为参照物，其中每个棋盘格的大小，尺寸以及棋盘格的数量都是已知的。标定过程就是，将棋盘格的顶点与图像上的对应点建立对应关系，利用棋盘格的已知信息来求得相机模型的内外参数和畸变系数。这种标定方法通常有张正友标定法和 Tasi 两步标定法等。这种方法容易受到标定物的制作精度的影响，但精度仍比另一种方法高。

张正友标定法

        张正友标定法的基本步骤是：在不同角度下，对标定参考物(棋盘格)进行拍摄，然后提取出棋盘格的顶点，接着解析出相机的畸变系数和内外参数，最后再根据极大似然估计，对参数进行优化。

        其中，M1为相机内参矩阵。

        设单应性矩阵 H 满足

，其中 λ 是尺度因子，由 于𝑟1和𝑟2正交，所以可得以下约束条件：

        由以上两式可以看出，ℎ1和ℎ2是可以通过单应性求解出来的，所以要求解的参数就变成 𝑀1矩阵中的未知的 5 个参数，可以通过三个单应性矩阵来求解这 5 个参数，三个单应性矩阵可以通过三张对同一标定板不同角度和高度的照片获得。

        相机内参为：

        相机外参为：

        上述推导的结果都是在理想情况下得到的，没有任何噪声和干扰，但噪声是无法避免的。因此，在实际标定中，还需要使用极大似然法来对参数进行优化。 至此，单目相机就标定完成，但对于双目视觉系统，不仅要对每个相机进行标定，同时还要明确相机间的相互关系，因此还要对双目相机进行进一步的标定，即求取相机间的旋转矩阵和平移向量。

        由第一式可知左右相机的对应关系，由第二式和第三式可知，只需要知道每个相机的外参数，就可以求得双目相机的旋转矩阵和平移向量。

2.相机标定代码

        在这里我们用pycharm进行相机标定，用到了opencv库，所以在标定前需要安装好pycharm和opencv库。具体操作可以参照博客OpenCV-Python 相机标定入门详细教程 + 实例_opencv相机标定实例python-CSDN博客。

       首先进入 [2]一个开源的视觉机械臂项目：hta0下载标定代码(代码路径：hta0-horizontal-robot-arm - GitCode)。

        然后根据以上博客的步骤操作即可（已经写的很详细）。

        另外的代码实现也可以参考博客OpenCV学习笔记与代码示例（三）：张氏标定法标定相机原理及函数详解-CSDN博客。主要是c++的实现。