imgaug库指南（15）：从入门到精通的【图像增强】之旅

引言

在深度学习和计算机视觉的世界里，数据是模型训练的基石，其质量与数量直接影响着模型的性能。然而，获取大量高质量的标注数据往往需要耗费大量的时间和资源。正因如此，数据增强技术应运而生，成为了解决这一问题的关键所在。而imgaug，作为一个功能强大的图像增强库，为我们提供了简便且高效的方法来扩充数据集。本系列博客将带您深入了解如何运用imgaug进行图像增强，助您在深度学习的道路上更进一步。我们将从基础概念讲起，逐步引导您掌握各种变换方法，以及如何根据实际需求定制变换序列。让我们一起深入了解这个强大的工具，探索更多可能性，共同推动深度学习的发展。

前期回顾

在本博客中，我们将向您详细介绍imgaug库的数据增强方法 —— 乘法运算(MultiplyElementwise方法)。

乘法运算(MultiplyElementwise方法)

功能介绍

iaa.MultiplyElementwise是imgaug库中的一个方法，用于对图像进行逐元素的乘法运算。这种运算通常用于调整图像的亮度或对比度。

语法

import imgaug.augmenters as iaa
aug = iaa.MultiplyElementwise(mul=(0.8, 1.2), per_channel=False)

• mul: 与图像像素值相乘的值。
  • 若mul为整数，则图像像素值相乘的值即为value；
  • 若mul为元组(a, b)，则图像像素值相乘的值为从区间[a, b]中采样的随机数；
  • 若mul为列表，则图像像素值相乘的值为从列表中随机采样的数；
• per_channel:
  • 若per_channel为True，则为每幅图像的每个像素点对应的通道上加上随机整数 ==> RGB图像指定像素位置上的三个通道分别对应三个随机整数，且每个像素点都对应不同的三个随机整数；
  • 若per_channel为False，则为每幅图像的每个像素点对应的通道上加上随机采样的相同整数 ==> RGB图像指定像素位置上的三个通道都是同一个随机整数，但每个像素点都对应不同的随机整数；
  • 若per_channel为区间[0,1]的浮点数，假设per_channel=0.6，那么对于60%的图像，per_channel为True；对于剩余的40%的图像，per_channel为False；

示例代码

1. 使用固定的mul，且per_channel为False

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=0.6, per_channel=False)
aug2 = iaa.MultiplyElementwise(mul=1.2, per_channel=False)
aug3 = iaa.MultiplyElementwise(mul=1.8, per_channel=False)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

可以看到，当固定参数per_channel=False且mul参数为固定值时：

• 若mul参数小于零，新图像相比于原图，亮度会出现一定的降低。
• 若mul参数大于零，新图像相比于原图，亮度会出现一定的升高。

2. 使用随机的的mul，且per_channel为False

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=(0.3, 0.9), per_channel=False)
aug2 = iaa.MultiplyElementwise(mul=(1.2, 1.8), per_channel=False)
aug3 = iaa.MultiplyElementwise(mul=(0.3, 1.8), per_channel=False)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

可以看到，当参数per_channel=False且mul参数为元组类型时：

• 若mul的取值区间均小于零，则新图像相比于原图，亮度会出现一定的降低，并且会出现大量随机噪声(每个像素位置应用不同的随机数)。
• 若mul的取值区间均大于零，则新图像相比于原图，亮度会出现一定的升高，并且也会出现大量随机噪声(每个像素位置应用不同的随机数)。

3. 使用随机的的mul，且per_channel为True

import cv2
import imgaug.augmenters as iaa
import matplotlib.pyplot as plt

# 读取图像
img_path = r"D:\python_project\lena.png"
img = cv2.imread(img_path)
image = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


# 创建数据增强器
aug1 = iaa.MultiplyElementwise(mul=(0.3, 0.9), per_channel=True)
aug2 = iaa.MultiplyElementwise(mul=(1.2, 1.8), per_channel=True)
aug3 = iaa.MultiplyElementwise(mul=(0.3, 1.8), per_channel=True)



# 对图像进行数据增强
blurred_image1 = aug1(image=image)
blurred_image2 = aug2(image=image)
blurred_image3 = aug3(image=image)

# 展示原始图像和数据增强后的图像
fig, axes = plt.subplots(2, 2, figsize=(10, 10))
axes[0][0].imshow(image)
axes[0][0].set_title("Original Image")
axes[0][1].imshow(blurred_image1)
axes[0][1].set_title("Augmented Image1")
axes[1][0].imshow(blurred_image2)
axes[1][0].set_title("Augmented Image2")
axes[1][1].imshow(blurred_image3)
axes[1][1].set_title("Augmented Image3")
plt.show()

运行结果如下：

可以从图3看出，当使用元组类型的mul，且per_channel为True时 ⇒ 增强器为RGB图像每个像素位置的三个通道分别添加了三个随机整数 ⇒ 数据增强后，新图像的颜色整体上发生了很大的变化(出现了大量彩色噪声)。

注意事项

1. mul参数的选择：mul参数的选择会影响图像的亮度和对比度。较小的常数可能会导致图像变暗，而较大的常数可能导致对比度降低。需要根据实际需求调整。
2. 通道独立性：如果设置了per_channel=True，则每个通道将使用独立的mul。这可以用于独立调整不同颜色通道的亮度或对比度。
3. 与其他增强器的结合使用：可以与其他图像增强方法结合使用，以获得更丰富的效果。例如，可以先应用对比度调整，然后再应用逐元素的乘法运算。
4. 结果的可重复性：每次应用增强器可能会产生稍微不同的结果，因为它是非线性操作。为了确保结果的可重复性，可以使用aug.to_deterministic()方法将增强器转换为确定性状态。

总结

iaa.MultiplyElementwise是一个非常有用的图像增强方法，它允许用户通过逐元素的乘法运算来调整图像的亮度和对比度。与其他增强器结合使用，可以创造出丰富多样的图像效果。使用时需要注意常数的选择、通道独立性、与其他增强器的结合以及结果的可重复性等问题。

小结

imgaug是一个强大的图像增强库，它可以帮助你创建出丰富多样的训练数据，从而改进你的深度学习模型的性能。通过定制变换序列和参数，你可以轻松地适应各种应用场景，从计算机视觉到医学影像分析。随着深度学习的发展，imgaug在未来将继续发挥重要作用。因此，将imgaug纳入你的数据增强工具箱是一个明智的选择。

参考链接

结尾

亲爱的读者，首先感谢您抽出宝贵的时间来阅读我们的博客。我们真诚地欢迎您留下评论和意见，因为这对我们来说意义非凡。
俗话说，当局者迷，旁观者清。您的客观视角对于我们发现博文的不足、提升内容质量起着不可替代的作用。
如果您觉得我们的博文给您带来了启发，那么，希望您能为我们点个免费的赞/关注，您的支持和鼓励是我们持续创作的动力。
请放心，我们会持续努力创作，并不断优化博文质量，只为给您带来更佳的阅读体验。
再次感谢您的阅读，愿我们共同成长，共享智慧的果实！