自动驾驶-端到端分割任务

上采样

bed of nails

interpolation

transposed convolutions

1. 上采样 (Upsampling)

上采样是一种技术，用于增加数据集中的样本数量或是提高信号的分辨率。在图像处理中，上采样通常指的是增加图像的像素数量，从而使图像变得更大。这可以通过各种插值方法实现，如最近邻插值、双线性插值、三次插值等。

2. Bed of Nails

“Bed of Nails”是一种特定的上采样方法，其在信号处理中较为少见。在这种方法中，原始信号的每个样本之间插入一定数量的零值，基本上是在原有样本点保持不变的情况下，通过增加零来扩展信号。这种方法通常用作其他处理步骤（如滤波）的预处理步骤。

3. 插值 (Interpolation)

插值是一种数学和工程技术，用于通过已知数据点生成新数据点。在图像处理中，插值算法用于图像缩放时计算新像素点的值。常见的插值方法包括：

• 最近邻插值：选择最近的像素值作为新像素的值。
• 双线性插值：基于四个最近的像素点，通过线性方程计算新像素的值。
• 三次插值：使用16个相邻像素来提高插值的平滑度和精确度。

4. Transposed Convolutions（转置卷积）

转置卷积，有时也被称为分数步长卷积或逆卷积，是一种特殊的卷积操作，通常用于深度学习中的生成模型，如自动编码器和生成对抗网络（GAN）中。其主要目的是进行特征图的上采样，即将低维度的特征图转换为高维度的输出。与普通卷积相反，转置卷积通过填充输入特征图中的间隙（通常填充0）和执行卷积操作来实现输出特征图尺寸的扩展。这使得模型能够从压缩表示中重建出更详细的数据或图像。

这些技术在计算机视觉、图像增强、超分辨率和许多其他深度学习应用中都非常重要，它们帮助模型在处理各种尺寸的数据时保持灵活性和效率。

全卷积网络架构

主干网络 VGG image classfication network

https://www.mygreatlearning.com/blog/fcn-fully-convolutional-network-semantic-segmentation/

全卷积网络（FCN）

全卷积网络（FCN）最初由Jonathan Long, Evan Shelhamer, 和Trevor Darrell在2014年提出，用于进行图像的像素级分类，也就是语义分割。FCN的关键创新是使用卷积层替代了传统卷积神经网络（CNN）中的全连接层，使得网络能够接受任意尺寸的输入图像。

FCN的主要特点和架构包括：

1. 全卷积化：传统的CNN在卷积层后通常包含几个全连接层，这限制了输入图像的尺寸。FCN将这些全连接层转换为卷积层，从而可以处理任何尺寸的输入。
2. 上采样和跳跃连接：FCN通过使用转置卷积（有时称为逆卷积）层进行上采样，恢复图像的原始尺寸。此外，FCN使用跳跃连接将低层特征和高层特征结合起来，以保持边缘等细节信息。
3. 端到端训练：FCN可以从头到尾进行训练，而不需要任何预处理或后处理步骤，可以直接输出像素级的预测图。

VGG网络（Visual Geometry Group）

https://www.mygreatlearning.com/blog/introduction-to-vgg16/

VGG网络是由牛津大学的Visual Geometry Group开发，首次在2014年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中介绍。VGG网络是通过简化卷积网络结构的复杂性，同时提升深度来提高性能的典型例子。

VGG网络的特点如下：

1. 简单且统一的架构：VGG网络主要由3x3的卷积层和2x2的最大池化层交替构成，使用的是非常小的感受野，但通过堆叠多个卷积层来增加网络的深度。
2. 多个版本：VGG有几种不同的版本，常见的有VGG-16和VGG-19，数字代表网络中权重层的数量。VGG-16包含13个卷积层和3个全连接层，VGG-19则有16个卷积层和3个全连接层。
3. 特征提取效果好：尽管VGG网络的结构较为简单，但其在特征提取上表现优异，被广泛用作许多视觉任务的预训练模型。

VGG网络由于其出色的特征提取能力，常被用作其他复杂任务（如**图像分割）**的主干网络。例如，在FCN中，可以使用预训练的VGG网络作为特征提取的基础架构，后续通过上述的全卷积化和上采样技术进行语义分割的任务。这样的组合利用了VGG的深度和强大的特征提取能力，同时通过FCN实现了对任意大小图像的精确像素级处理。