OpenCV4.9.0开源计算机视觉库核心功能（核心模块）

转到：OpenCV系列文章目录（持续更新中......）

OpenCV核心功能主要有以下各个：本文将开始介绍下列内容：

1、Mat - 基本图像容器

目标

我们有多种方法可以从现实世界中获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等等。在每种情况下，我们（人类）看到的都是图像。但是，当将其转换为我们的数字设备时，我们记录的是图像每个点的数值。

例如，在上图中，您可以看到汽车的后视镜只不过是一个包含像素点所有强度值的矩阵。我们获取和存储像素值的方式可能会根据我们的需要而有所不同，但最终计算机世界中的所有图像都可能被简化为描述矩阵本身的数字矩阵和其他信息。OpenCV 是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，您需要熟悉的第一件事是 OpenCV 如何存储和处理图像。

Mat

OpenCV 自 2001 年以来一直存在。在那些日子里，该库是围绕 C 接口构建的，为了将图像存储在内存中，他们使用了称为 IplImage 的 C 结构。这是您将在大多数较旧的教程和教育材料中看到的。这样做的问题在于，它带来了 C 语言的所有缺点。最大的问题是手动内存管理。它建立在用户负责处理内存分配和解除分配的假设之上。虽然这对于较小的程序来说不是问题，但一旦你的代码库增长，处理所有这些问题将更加困难，而不是专注于解决你的开发目标。

幸运的是，C++ 出现了，并引入了类的概念，通过自动内存管理（或多或少）使用户更容易。好消息是 C++ 与 C 完全兼容，因此进行更改不会出现兼容性问题。因此，OpenCV 2.0引入了一个新的C++界面，它提供了一种新的做事方式，这意味着你不需要摆弄内存管理，使你的代码简洁（写得更少，实现更多）。C++接口的主要缺点是目前许多嵌入式开发系统仅支持C。因此，除非你的目标是嵌入式平台，否则使用旧方法毫无意义（除非你是一个受虐狂程序员，并且你自找麻烦）。

关于 Mat，您需要了解的第一件事是，您不再需要手动分配其内存并在不需要时立即释放它。虽然这样做仍然有可能，但大多数 OpenCV 函数将自动分配其输出数据。如果你传递一个已经存在的 Mat 对象，它已经为矩阵分配了所需的空间，这将被重用。换句话说，我们在任何时候都只使用执行任务所需的内存。

Mat 基本上是一个包含两个数据部分的类：矩阵标头（包含矩阵大小、用于存储的方法、矩阵存储地址的地址等信息）和指向包含像素值的矩阵的指针（根据选择的存储方法取任何维度）。矩阵标头大小是恒定的，但矩阵本身的大小可能因图像而异，并且通常要大几个数量级。

OpenCV 是一个图像处理库。它包含大量图像处理函数。为了解决计算挑战，大多数情况下，您最终会使用库的多个功能。因此，将图像传递给函数是一种常见的做法。我们不应忘记，我们谈论的是图像处理算法，这些算法往往计算量很大。我们最不想做的就是通过对潜在的大图像进行不必要的复制来进一步降低程序的速度。

为了解决这个问题，OpenCV使用了一个参考计数系统。这个想法是每个 Mat 对象都有自己的标头，但是可以通过让两个 Mat 对象的矩阵指针指向同一个地址来共享矩阵。此外，复制运算符只会将标头和指针复制到大型矩阵，而不会复制数据本身。

Mat A, C; //仅创建标题部分
A = imread(argv[1], IMREAD_COLOR); // 在这里我们将知道使用的方法（分配矩阵）
Mat B(A);// 使用 copy 构造函数
C = A; //赋值运算符

最后，上述所有对象都指向同一个单一数据矩阵，使用其中任何一个进行修改也会影响所有其他对象。在实践中，不同的对象只是为相同的基础数据提供不同的访问方法。然而，它们的标题部分是不同的。真正有趣的部分是，您可以创建仅引用完整数据子部分的标题。例如，要在图像中创建感兴趣区域（ROI），您只需创建一个具有新边界的新标题：

Mat D (A, Rect(10, 10, 100, 100) ); // 使用矩形
Mat E = A(Range::all(), Range(1,3)); //使用行和列边界

现在你可能会问——如果矩阵本身可能属于多个 Mat 对象，那么当不再需要它时，谁来负责清理它？简短的回答是：使用它的最后一个对象。这是通过使用引用计数机制来处理的。每当有人复制 Mat 对象的标题时，矩阵的计数器就会增加。每当清理标头时，此计数器都会减少。当计数器达到零时，矩阵被释放。有时你也会想复制矩阵本身，所以 OpenCV 提供了 cv::Mat""clone（）和 cv::Mat::copyTo() 函数。

Mat F = A.clone();
Mat G;
A.copyTo(G);

现在修改 F 或 G 不会影响 A 标头指向的矩阵。您需要从这一切中记住的是：

OpenCV 函数的输出图像分配是自动的（除非另有说明）。
您无需考虑使用 OpenCV 的 C++ 接口进行内存管理。
赋值运算符和复制构造函数仅复制标头。
可以使用 cv::Mat::clone() 和 cv::Mat::copyTo() 函数复制图像的基础矩阵。

存储方法

这是关于如何存储像素值。您可以选择使用的色彩空间和数据类型。色彩空间是指我们如何组合颜色成分以对给定颜色进行编码。最简单的一种是灰度，我们可以使用的颜色是黑白。这些组合使我们能够创造出许多灰色阴影。

对于丰富多彩的方式，我们有更多的方法可供选择。它们中的每一个都将其分解为三个或四个基本组件，我们可以使用这些组件的组合来创建其他组件。最受欢迎的是RGB，主要是因为这也是我们的眼睛建立颜色的方式。它的底色是红色、绿色和蓝色。为了对颜色的透明度进行编码，有时会添加第四个元素 alpha （A）。

然而，还有许多其他颜色系统，每个系统都有自己的优点：

RGB 是最常见的，因为我们的眼睛使用类似的东西，但请记住，OpenCV 标准显示系统使用 BGR 色彩空间（红色和蓝色通道是交换位置）来组合颜色。
HSV 和 HLS 将颜色分解为色调、饱和度和值/亮度分量，这是我们描述颜色的一种更自然的方式。例如，您可能会忽略最后一个组件，从而使您的算法对输入图像的光线条件不太敏感。
YCrCb 被流行的 JPEG 图像格式使用。
CIE L*a*b* 是一个感知均匀的色彩空间，如果您需要测量给定颜色到另一种颜色的距离，它会派上用场。

每个建筑构件都有自己的有效域。这会导致使用的数据类型。我们如何存储组件定义了我们对其域的控制。最小的数据类型可能是 char，这意味着一个字节或 8 位。这可能是无符号的（因此可以存储从 0 到 255 的值）或有符号（从 -127 到 +127 的值）。尽管在三个分量（如 RGB）的情况下，这个宽度已经提供了 1600 万种可能的颜色来表示，但我们可以通过对每个分量使用浮点数（4 字节 = 32 位）或双精度（8 字节 = 64 位）数据类型来获得更精细的控制。不过，请记住，增加组件的大小也会增加内存中整个图片的大小。

Creating a Mat object explicitly

显式创建 Mat 对象

在加载、修改和保存图像教程中，您已经学习了如何使用 cv::imwrite() 函数将矩阵写入图像文件。但是，出于调试目的，查看实际值要方便得多。您可以使用 Mat 的 << 运算符来执行此操作。请注意，这仅适用于二维矩阵。

尽管 Mat 作为图像容器效果非常好，但它也是一个通用矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建 Mat 对象：

cv::Mat::Mat Constructor
```
Mat M(2,2, CV_8UC3, Scalar(0,0,255));
cout << "M = " << endl << " " << M << endl << endl;
```
对于二维和多通道图像，我们首先定义它们的大小：行数和列数。

然后，我们需要指定用于存储元素的数据类型以及每个矩阵点的通道数。为此，我们根据以下约定构建了多个定义：

CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]
例如，CV_8UC3 意味着我们使用 8 位长的无符号字符类型，每个像素有三个这样的字符类型来形成三个通道。有预定义的类型，最多可以容纳四个通道。cv::Scalar 是四元素短向量。指定它，您可以使用自定义值初始化所有矩阵点。如果您需要更多，您可以使用上面的宏创建类型，在括号中设置通道号，如下所示。
使用 C/C++ 数组并通过构造函数初始化

int sz[3] = {2,2,2};
Mat L(3,sz, CV_8UC(1), Scalar::all(0));

上面的示例演示如何创建具有两个以上维度的矩阵。指定其尺寸，然后传递包含每个尺寸大小的指针，其余部分保持不变。
cv::Mat::create 函数：

M.create(4,4, CV_8UC(2));
cout << "M = "<< endl << " " << M << endl << endl;

不能使用此构造初始化矩阵值。只有当新大小不适合旧大小时，它才会重新分配其矩阵数据存储器。
MATLAB样式初始值设定项: cv::Mat::zeros , cv::Mat::ones , cv::Mat::eye . 指定要使用的大小和数据类型：

Mat E = Mat::eye(4, 4, CV_64F);
cout << "E = " << endl << " " << E << endl << endl;
Mat O = Mat::ones(2, 2, CV_32F);
cout << "O = " << endl << " " << O << endl << endl;
Mat Z = Mat::zeros(3,3, CV_8UC1);
cout << "Z = " << endl << " " << Z << endl << endl;

对于小型矩阵，您可以使用逗号分隔的初始值设定项或初始值设定项列表（在最后一种情况下需要 C++11 支持）：

Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
cout << "C = " << endl << " " << C << endl << endl;
C = (Mat_<double>({0, -1, 0, -1, 5, -1, 0, -1, 0})).reshape(3);
cout << "C = " << endl << " " << C << endl << endl;

为现有 Mat 对象创建一个新标头，并 cv::Mat::clone or cv::Mat::copyTo 它.
```
Mat RowClone = C.row(1).clone();
cout << "RowClone = " << endl << " " << RowClone << endl << endl;
```
注意

您可以使用 cv：：randu（）函数填充带有随机值的矩阵。您需要为随机值给出下限和上限：
```
Mat R = Mat(3, 2, CV_8UC3);
randu(R, Scalar::all(0), Scalar::all(255));
```
Output formatting

In the above examples you could see the default formatting option. OpenCV, however, allows you to format your matrix output:

默认

cout << "R (default) = " << endl << R << endl << endl;

Python

cout << "R (python) = " << endl << format(R, Formatter::FMT_PYTHON) << endl << endl;

逗号分隔值（CSV）
cout << "R (csv) = " << endl << format(R, Formatter::FMT_CSV ) << endl << endl;
Numpy
cout << "R (numpy) = " << endl << format(R, Formatter::FMT_NUMPY ) << endl << endl;
C
cout << "R (c) = " << endl << format(R, Formatter::FMT_C ) << endl << endl;
```
Point2f P(5, 1);
cout << "Point (2D) = " << P << endl << endl;
```

其他常用项目的输出

OpenCV 也通过 << 运算符支持其他常见 OpenCV 数据结构的输出：

2D Point

Point2f P(5, 1);

cout << "Point (2D) = " << P << endl << endl;

3D Point

Point3f P3f(2, 6, 7);

cout << "Point (3D) = " << P3f << endl << endl;

std::vector via cv::Mat


vector<float> v;
v.push_back( (float)CV_PI); v.push_back(2); v.push_back(3.01f);
cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;

std::vector of points

vector<Point2f> vPoints(20);
for (size_t i = 0; i < vPoints.size(); ++i)
vPoints[i] = Point2f((float)(i * 5), (float)(i % 7));
cout << "A vector of 2D Points = " << vPoints << endl << endl;