深度学习中的正则化指的是什么？

在深度学习中，正则化是一种技术，旨在减少模型的过拟合，提高其在未见数据上的泛化能力。过拟合是指模型在训练数据上表现得非常好，但在新数据上表现不佳的情况。正则化通过对模型添加某种形式的约束或惩罚来实现这一目标。以下是几种常见的正则化技术：

L1 和 L2 正则化：

L1 正则化（Lasso 正则化）：向损失函数添加参数权重的绝对值的和。 这可以导致模型中某些权重变为零，从而产生一个更简单、更稀疏的模型。
L2 正则化（岭回归或权重衰减）：向损失函数添加参数权重的平方和。 这通常会使权重变得更小，但不会完全消除，有助于减少模型复杂度。

Dropout：

在训练过程中随机“丢弃”（即暂时移除）网络中的一些神经元或连接。这防止网络对特定的神经元或路径过度依赖，从而提高其泛化能力。

早停（Early Stopping）：

在训练过程中，当验证集上的性能不再提升时停止训练。这有助于防止模型在训练数据上过度训练。

数据增强（Data Augmentation）：

通过对训练数据进行变化（如旋转、缩放、剪裁等）来增加数据的多样性，这有助于模型学习到更一般的特征。

批量归一化（Batch Normalization）：

对每个小批量数据进行归一化处理，有助于稳定和加速神经网络的训练，虽然它主要是为了解决内部协变量偏移问题，但也被发现可以轻微地起到正则化的作用。
正则化的目标是在保持模型性能的同时减少其复杂度，从而避免过拟合，使模型在新数据上的表现更为稳定和准确。