单摄像头、双目摄像头、多视图系统：了解自动驾驶汽车的传感器

1.鱼眼摄像机

其他摄像机的位置

2.激光雷达

3.Radar

4.sonar 声纳

各个传感器的对比

相机类型

一般来说，相机可以分为单目相机、双目相机和多视角相机。

• 单目相机：最常见的相机类型，只有一个镜头。
• 双目相机：有两个镜头，类似于人眼的结构。
• 多视角相机：拥有多个镜头，可以从不同角度拍摄图像。

基础概念

为了理解不同相机系统的运作方式，我们需要了解以下基础概念：

• 内参：描述相机本身的特性，例如焦距、光学中心等。
• 外参：描述相机相对于世界的位置和姿态。
• 对极几何：描述两个相机之间的几何关系，以及如何利用这些关系来计算深度信息。

多视角相机在自动驾驶中的应用

多视角相机是BEV方案的核心输入。BEV（Bird’s Eye View）是一种从上帝视角俯瞰的3D地图，可以帮助自动驾驶系统更好地理解周围环境。

双目相机在自动驾驶中的应用

双目相机是一种与动物/人类视觉系统非常接近的相机。在矫正良好的双目视觉系统中，两个相机只有水平方向的视差，可以利用对极信息来恢复真实的深度，从而得到真实的3D信息。目前，双目相机是一种替代camera+lidar的自动驾驶方案，业内有DJI、PhiGent Robotics等厂商使用和探索。

单目相机在自动驾驶中的应用

单目相机一般用于自动驾驶的前视摄像头，可以看到比较远的距离。其缺点在于因为没有相机视野之间的overlap，无法从对极信息来恢复真实深度，只能用数据驱动的方法来估计，存在泛化性问题。

结论

自动驾驶中的视觉方案仍然是一种数据驱动的方案。MVS虽然可以利用对极信息来恢复深度，但是overlap也非常少，类似于单目相机系统。

需要注意的点

自动驾驶中的MVS其实overlap也非常少，类似于单目相机系统。
纯视觉的BEV/Occupancy方案其实仍然是一种数据驱动的方案。