Pytorch中分类回归常用的损失和优化器

Pytorch中分类回归常用的损失和优化器

在机器学习和深度学习中，分类任务和预测任务（回归任务）有不同的常用损失函数和优化器。下面将详细介绍这些常用的损失函数和优化器。

分类任务

1. 损失函数

• 交叉熵损失（Cross-Entropy Loss）：

  • 适用场景：多分类任务。
  • 实现：nn.CrossEntropyLoss() 在 PyTorch 中自动计算 softmax 和交叉熵。

  criterion = nn.CrossEntropyLoss()
  

• 二元交叉熵损失（Binary Cross-Entropy Loss）：

  • 适用场景：二分类任务。
  • 实现：nn.BCELoss() 需要配合 sigmoid 激活函数，nn.BCEWithLogitsLoss() 将 sigmoid 和二元交叉熵计算合二为一。

  criterion = nn.BCEWithLogitsLoss()
  

• 稀疏分类交叉熵损失（Sparse Categorical Cross-Entropy Loss）：

  • 适用场景：多分类任务，标签为整数索引而非 one-hot 编码。
  • 实现：在 TensorFlow 中通常使用 tf.keras.losses.SparseCategoricalCrossentropy()。

  from tensorflow.keras.losses import SparseCategoricalCrossentropy
  criterion = SparseCategoricalCrossentropy(from_logits=True)
  

2. 优化器

• 随机梯度下降（SGD）：

  • 优点：简单易用，适用于一般的优化问题。
  • 实现：optim.SGD()。

  optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
  

• 自适应矩估计（Adam）：

  • 优点：适应性学习率，通常能快速收敛，适用于大多数任务。
  • 实现：optim.Adam()。

  optimizer = optim.Adam(model.parameters(), lr=0.001)
  

• 均方根传播（RMSprop）：

  • 优点：适用于处理非平稳目标问题。
  • 实现：optim.RMSprop()。

  optimizer = optim.RMSprop(model.parameters(), lr=0.001)
  

回归任务

1. 损失函数

• 均方误差（Mean Squared Error, MSE）：

  • 适用场景：回归任务。
  • 实现：nn.MSELoss()。

  criterion = nn.MSELoss()
  

• 平均绝对误差（Mean Absolute Error, MAE）：

  • 适用场景：回归任务。
  • 实现：在 PyTorch 中通常需要自定义实现。

  class MAELoss(nn.Module):
      def __init__(self):
          super(MAELoss, self).__init__()
  
      def forward(self, output, target):
          return torch.mean(torch.abs(output - target))
          
  criterion = MAELoss()
  

• Huber 损失：

  • 优点：对异常值更鲁棒，是 MSE 和 MAE 的折中。
  • 实现：nn.SmoothL1Loss()。

  criterion = nn.SmoothL1Loss()
  

2. 优化器

• 随机梯度下降（SGD）：

  • 优点：简单易用，适用于一般的优化问题。
  • 实现：optim.SGD()。

  optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
  

• 自适应矩估计（Adam）：

  • 优点：适应性学习率，通常能快速收敛，适用于大多数任务。
  • 实现：optim.Adam()。

  optimizer = optim.Adam(model.parameters(), lr=0.001)
  

• 均方根传播（RMSprop）：

  • 优点：适用于处理非平稳目标问题。
  • 实现：optim.RMSprop()。

  optimizer = optim.RMSprop(model.parameters(), lr=0.001)
  

总结

• 分类任务通常使用交叉熵损失（针对多分类和二分类任务），优化器可以选择 SGD、Adam 或 RMSprop。
• 回归任务常用均方误差（MSE）和平均绝对误差（MAE），优化器也可以选择 SGD、Adam 或 RMSprop。

根据任务的具体需求和模型的表现，可以尝试不同的损失函数和优化器，选择最合适的组合。