视觉slam十四讲学习笔记（六）视觉里程计 1

ORB 特征亦由关键点和描述子两部分组成。它的关键点称为“Oriented FAST”，是一种改进的 FAST 角点，什么是 FAST 角点我们将在下文介绍。它的描述子称为 BRIEF（Binary Robust Independent Elementary Features）。因此，提取 ORB 特征分为两个步骤：

1. FAST 角点提取：找出图像中的” 角点”。相较于原版的 FAST, ORB 中计算了特征点的主方向，为后续的 BRIEF 描述子增加了旋转不变特性。

2. BRIEF 描述子：对前一步提取出特征点的周围图像区域进行描述。

FAST（Features from Accelerated Segment Test）是一种用于快速检测图像中角点的特征点检测算法。FAST 算法主要用于实时应用，它在速度和计算效率上表现出色，并且在相对平滑的图像中能够准确地检测到关键点。

以下是 FAST 算法的主要特点和步骤：

1. 加速度段测试（Accelerated Segment Test）： FAST 算法使用一种称为加速度段测试的策略来判断一个像素是否是关键点。在这个测试中，选择了一个中心像素点和周围的16个像素点，然后根据这些像素点的灰度值与中心像素的灰度值进行比较，以判断中心像素是否是一个关键点。这个测试是基于一种简单的圆形区域的像素采样。

2. 非极大值抑制： 在加速度段测试的结果中，如果中心像素是一个关键点，就会产生一些相邻的像素点也可能被认为是关键点。为了防止重复检测，FAST 算法进行非极大值抑制，只选择那些在某个阈值下，灰度值超过相邻像素灰度值的中心像素点作为最终的关键点。

3. 参数选择： FAST 算法中有一个重要的参数，即阈值。阈值的选择影响到算法的灵敏度，可以根据具体应用场景进行调整。

FAST 算法的优点在于其计算速度快，适用于实时应用，但缺点是对图像噪声和纹理较敏感。在一些情况下，FAST 可以用于快速初始化特征点，然后通过其他方法（例如，通过机器学习方法或描述子匹配）来提高准确性。FAST 算法常常用于计算机视觉领域中的实时特征点检测，如图像拼接、物体跟踪和视觉SLAM（Simultaneous Localization and Mapping）等应用中。

FAST 是一种角点，主要检测局部像素灰度变化明显的地方，以速度快著称。它的思想是：如果一个像素与它邻域的像素差别较大（过亮或过暗）, 那它更可能是角点。相比于其他角点检测算法，FAST 只需比较像素亮度的大小，十分快捷。它的检测过程如下：

1. 在图像中选取像素 p，假设它的亮度为 Ip。

2. 设置一个阈值 T(比如 Ip 的 20%)。

3. 以像素 p 为中心, 选取半径为 3 的圆上的 16 个像素点。

4. 假如选取的圆上，有连续的 N 个点的亮度大于 Ip + T 或小于 Ip − T，那么像素 p可以被认为是特征点 (N 通常取 12，即为 FAST-12。其它常用的 N 取值为 9 和 11，他们分别被称为 FAST-9，FAST-11)。

5. 循环以上四步，对每一个像素执行相同的操作。

针对 FAST 角点不具有方向性和尺度的弱点，ORB 添加了尺度和旋转的描述。尺度不变性由构建图像金字塔，并在金字塔的每一层上检测角点来实现。而特征的旋转是由灰度质心法（Intensity Centroid）实现的。

BRIEF 描述子

BRIEF（Binary Robust Independent Elementary Features）是一种用于图像特征描述的算法。它主要用于生成图像中检测到的关键点的二进制描述子，用于在图像匹配和目标识别等任务中进行特征匹配。

以下是 BRIEF 描述子的主要特点和步骤：

1. 二进制描述子生成： BRIEF 描述子的主要思想是通过在关键点周围选择一组固定的、随机的像素对，并比较它们的灰度值来生成二进制字符串。这些比较结果被编码成二进制位，形成一个二进制向量，称为 BRIEF 描述子。

2. 随机选择的像素对： BRIEF 算法在每个关键点周围随机选择一组像素对，这些像素对的选择对于最终的描述子起到关键作用。这种随机性带来了描述子的差异性，使其更具区分性。

3. 描述子长度： BRIEF 描述子的长度由用户指定，通常为一个定长的二进制字符串。较长的描述子可能提供更好的区分性，但也需要更多的存储和计算资源。

4. 不变性： BRIEF 描述子相对于尺度和旋转是不变的。这是通过在图像尺度空间中选择随机像素对的方法实现的。

尽管 BRIEF 描述子具有计算速度快、存储需求低的优势，但它对图像噪声和干扰较为敏感。为了提高鲁棒性，通常会与其他算法一起使用，例如在关键点检测中可以与 FAST 等方法结合使用。

总体而言，BRIEF 描述子在实时图像处理和计算资源受限的场景中表现良好，特别适用于嵌入式系统和移动设备等应用。

3 特征匹配

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

int main ( int argc, char** argv )
{
    if ( argc != 3 )
    {
        cout<<"usage: feature_extraction img1 img2"<<endl;
        return 1;
    }
    //-- 读取图像
    Mat img_1 = imread ( argv[1], CV_LOAD_IMAGE_COLOR );
    Mat img_2 = imread ( argv[2], CV_LOAD_IMAGE_COLOR );

    //-- 初始化
    std::vector<KeyPoint> keypoints_1, keypoints_2;
    Mat descriptors_1, descriptors_2;
    Ptr<FeatureDetector> detector = ORB::create();
    Ptr<DescriptorExtractor> descriptor = ORB::create();
    // Ptr<FeatureDetector> detector = FeatureDetector::create(detector_name);
    // Ptr<DescriptorExtractor> descriptor = DescriptorExtractor::create(descriptor_name);
    Ptr<DescriptorMatcher> matcher  = DescriptorMatcher::create ( "BruteForce-Hamming" );

    //-- 第一步:检测 Oriented FAST 角点位置
    detector->detect ( img_1,keypoints_1 );
    detector->detect ( img_2,keypoints_2 );

    //-- 第二步:根据角点位置计算 BRIEF 描述子
    descriptor->compute ( img_1, keypoints_1, descriptors_1 );
    descriptor->compute ( img_2, keypoints_2, descriptors_2 );

    Mat outimg1;
    drawKeypoints( img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT );
    imshow("ORB特征点",outimg1);

    //-- 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
    vector<DMatch> matches;
    //BFMatcher matcher ( NORM_HAMMING );
    matcher->match ( descriptors_1, descriptors_2, matches );

    //-- 第四步:匹配点对筛选
    double min_dist=10000, max_dist=0;

    //找出所有匹配之间的最小距离和最大距离, 即是最相似的和最不相似的两组点之间的距离
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        double dist = matches[i].distance;
        if ( dist < min_dist ) min_dist = dist;
        if ( dist > max_dist ) max_dist = dist;
    }
    
    // 仅供娱乐的写法
    min_dist = min_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;
    max_dist = max_element( matches.begin(), matches.end(), [](const DMatch& m1, const DMatch& m2) {return m1.distance<m2.distance;} )->distance;

    printf ( "-- Max dist : %f \n", max_dist );
    printf ( "-- Min dist : %f \n", min_dist );

    //当描述子之间的距离大于两倍的最小距离时,即认为匹配有误.但有时候最小距离会非常小,设置一个经验值30作为下限.
    std::vector< DMatch > good_matches;
    for ( int i = 0; i < descriptors_1.rows; i++ )
    {
        if ( matches[i].distance <= max ( 2*min_dist, 30.0 ) )
        {
            good_matches.push_back ( matches[i] );
        }
    }

    //-- 第五步:绘制匹配结果
    Mat img_match;
    Mat img_goodmatch;
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, matches, img_match );
    drawMatches ( img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch );
    imshow ( "所有匹配点对", img_match );
    imshow ( "优化后匹配点对", img_goodmatch );
    waitKey(0);

    return 0;
}

对ch7文件夹中的cmake工程进行编译，报错：

四、实践：对极约束求解相机运动

五、三角测量