【python】OpenCV—Histogram Matching（9.2）

学习来自OpenCV基础（17）基于OpenCV、scikit-image和Python的直方图匹配

直方图匹配介绍

直方图匹配（Histogram Matching）是一种图像处理技术，旨在将一张图像的像素值分布调整到与另一张图像的像素值分布相匹配。这种技术在图像增强、颜色校正等任务中非常有用。以下是关于直方图匹配的详细解释：

一、定义与原理

定义： 直方图匹配又称为直方图规定化，是一种通过调整图像的像素值分布，使两张图像的直方图尽可能相似的图像增强方法。

原理： 基于直方图变换，通过调整图像的像素值，使得两张图像的直方图在形状和分布上尽可能一致。这通常涉及到将输入图像的像素值映射到输出图像的像素值，以实现两者之间的分布匹配。

二、一般步骤

计算累积分布函数（CDF）： 首先，计算原始图像和目标图像的直方图的累积分布函数（CDF）。CDF表示了从最小值到当前值的像素数占总像素数的比例。

像素值映射： 根据累积分布函数的关系，将原始图像的像素值映射到目标直方图的像素值。这个映射过程是直方图匹配的关键步骤。

应用映射函数： 对原始图像的所有像素应用映射函数，得到匹配后的图像。

三、数学表示

假设我们有一个输入图像 $I$ 和一个目标图像 $T$，我们希望将输入图像的像素值映射到输出图像的像素值。这可以表示为：

$O(x,y)=\text{round}\left(\frac{T}{I}\cdot I(x,y)\right)$

其中，$O(x,y)$ 是输出图像中的像素值，$I(x,y)$ 是输入图像中的像素值，$T$ 是目标图像的像素值范围。函数 $\text{round}$ 将结果四舍五入到最近的整数。

四、应用场景

图像增强： 当图像的对比度较低或细节不明显时，可以使用直方图匹配来增强图像的视觉效果。

颜色校正： 当图像受到光照条件的影响或者摄像设备的色彩偏差时，可以使用直方图匹配来校正颜色。

风格迁移： 在计算机视觉中，可以使用直方图匹配来实现图像的风格迁移，将一个图像的风格应用于另一个图像。

五、注意事项

在进行直方图匹配时，需要注意不同图像之间的直方图可能具有不同的范围和分布，因此需要进行适当的归一化和调整。

直方图匹配可能无法完全消除图像之间的差异，因为它仅考虑了像素值的分布，而忽略了像素之间的空间关系。

对于某些特定的应用场景，可能需要结合其他图像处理技术来进一步提高匹配效果。

scikit-image 中的直方图匹配

skimage.exposure.match_histograms 是 scikit-image 库中用于直方图匹配的一个函数。该函数用于将一个图像的直方图与另一个图像的直方图相匹配，从而实现图像亮度和对比度的调整。以下是该函数的中文文档，包含其功能描述、参数说明和示例。

skimage.exposure.match_histograms

一、功能描述：

该函数将源图像的直方图与目标图像的直方图进行匹配，从而改变源图像的像素值，使其直方图与目标图像的直方图尽可能相似。这在图像处理中常用于增强图像的对比度或使不同图像之间的亮度和对比度更加一致。

二、参数说明：

source： ndarray 类型，输入图像，即需要进行直方图匹配的源图像。

template： ndarray 类型，目标图像，即源图像直方图要匹配的目标。

multichannel： bool 类型，可选参数，默认为 False。如果为 True，则对多通道图像进行独立匹配。这要求源图像和目标图像具有相同数量的通道。

三、返回值：

matched：ndarray 类型，与源图像形状相同的数组，其中包含了匹配后的像素值。

小试牛刀

from skimage import exposure
import matplotlib.pyplot as plt
import argparse
import cv2


# 构造参数解析器并解析参数
ap = argparse.ArgumentParser()
ap.add_argument("-s", "--source", required=True, help="Path to the input source image")
ap.add_argument("-r", "--reference", required=True, help="Path to the input reference image")
args = vars(ap.parse_args())

# 加载源和参考图像
print("[INFO] Loading source and reference images...")
src = cv2.imread(args["source"])
ref = cv2.imread(args["reference"])

# 确定我们是否执行多通道直方图匹配，然后执行直方图匹配本身
print("[INFO] Performing histogram matching...")
multi = True if src.shape[-1] > 1 else False

matched = exposure.match_histograms(src, ref, multichannel=multi)
# This was in skimage.transform between 0.14.2. It was moved to skimage.exposure with 0.16.0.

# cv2.imwrite("matched.jpg", matched)

# 显示输出图像
cv2.imshow("Source", src)
cv2.imshow("Reference", ref)
cv2.imshow("Matched", matched)
cv2.waitKey(0)

# 构造一个图形来显示应用直方图匹配前后每个通道的直方图图
(fig, axs) = plt.subplots(nrows=3, ncols=3, figsize=(8, 8))

# 循环遍历源图像、参考图像和输出匹配图像
for (i, image) in enumerate((src, ref, matched)):
    # 转换图像从BGR到RGB通道顺序
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    # 按RGB顺序循环通道名称
    for (j, color) in enumerate(("red", "green", "blue")):
        # 计算当前通道的直方图并绘制它
        (hist, bins) = exposure.histogram(image[..., j], source_range="dtype")
        axs[j, i].plot(bins, hist/hist.max())
        # 计算当前通道的累积分布函数并绘制它
        (cdf, bins) = exposure.cumulative_distribution(image[..., j])
        axs[j, i].plot(bins, cdf)
        # 将当前图形的y轴标签设置为当前颜色通道的名称
        axs[j, 0].set_ylabel(color)

# 设置轴标题
axs[0, 0].set_title("Source")
axs[0, 1].set_title("Reference")
axs[0, 2].set_title("Matched")

# 显示输出图
plt.tight_layout()
plt.show()

运行

python matching.py -s source.jpg -r reference.jpg

输入的 source.jpg

输入的 reference.jpg

直方图 matching 的结果

看看绘制的 RGB 三通道的直方图（蓝色）以及各自通道上的累积分布函数曲线（橙色）的绘制

风格迁移

看了小试牛刀，立刻想到了风格迁移，试试

source 图片还是蒙娜丽莎

reference 图片换成星空

看看匹配后的结果

看看RGB各通道的直方图和累积分布函数曲线