文章目录
1. model.eval()
model.eval() 在 PyTorch 中是一个重要的方法，用于设置模型为评估模式。
在模型测试或应用于实际问题时通常会使用的模式。
在训练模式和评估模式之间切换是非常重要的，因为它们在某些层的行为上有所不同。
为什么需要 .eval() 方法？
当你在 PyTorch 中训练模型时，默认情况下，模型处于训练模式（.train()）。在这种模式下，所有的层都是激活的，包括如 dropout 和 batch normalization 这样的层，这些层在训练和评估时的行为是不同的。
- Dropout 层：在训练时，它随机地“丢弃”一些神经元（即将它们的输出设置为0），以减少模型对于训练数据的过拟合。但在评估模式下，我们需要使用全部的神经元，因此 dropout 层会被禁用。
- Batch Normalization 层：在训练时，这些层会根据当前批次的数据动态调整神经元的输出。但在评估模式下，它们使用训练时学到的统计数据来标准化输出，而不是当前批次的。
使用 .eval() 方法
调用 .eval() 方法可以将模型中所有设计用于训练的层切换到评估模式。这样可以确保在评估模型或进行预测时，模型的行为是一致的，不会因为随机的 dropout 或是基于批次的标准化而变化。
model.eval()
示例
在下面的例子中，我们首先将模型设置为训练模式，然后进行一些训练步骤，最后在进行评估前将模型切换到评估模式。
model.train() # 设置模型为训练模式
# 进行训练...
model.eval() # 在评估之前将模型设置为评估模式
# 进行评估...
注意事项
- 在使用
.eval()切换到评估模式后，如果你需要再次训练模型，记得使用.train()将模型切换回训练模式。 .eval()并不影响模型的梯度计算，为了在评估模式下避免计算和存储不必要的梯度，通常会结合使用torch.no_grad()上下文管理器。
model.eval()
with torch.no_grad():
output = model(input)
# 进行评估...
通过这种方式，可以确保模型在评估时的性能最优化，同时也节省计算资源。
2. torch.no_grad()
torch.no_grad() 在 PyTorch 中是一个上下文管理器，用于暂时禁用在代码块内部执行的所有操作的梯度计算。这是因为在某些情况下，例如模型评估或推理时，我们不需要计算梯度。在这些场景下使用 torch.no_grad() 可以减少内存消耗并提高计算速度，因为它避免了不必要的梯度计算和存储。
为什么需要 torch.no_grad()？
在 PyTorch 中，张量（Tensor）的计算默认是会跟踪其操作历史以便于梯度计算的，这对于训练模型是必要的。
但在评估或推理模式下，我们通常不需要反向传播。在这种情况下，继续跟踪操作用于梯度计算会浪费资源，因为这些梯度根本不会被使用。
使用 torch.no_grad()
使用 torch.no_grad() 是通过上下文管理器的形式来临时禁用梯度计算，其作用域限定在with语句块内。这意味着在这个块内的所有计算都不会跟踪梯度，从而减少内存使用并提升性能。
with torch.no_grad():
# 在这个代码块内，所有的计算都不会跟踪梯度
output = model(input)
示例场景
- 模型评估：在模型训练完成后进行
评估时，我们不需要计算梯度。 - 模型推理：在使用训练好的模型对
新数据进行预测时。 - 特征提取：当我们只是想通过
模型提取某些中间特征，而不需要进行梯度更新时。
注意事项
- 尽管
torch.no_grad()禁用了梯度计算，但模型仍可以进行前向传播，产生输出。 - 它常与
.eval()方法结合使用，.eval()方法用于将模型设置为评估模式，关闭如Dropout和BatchNormalization这样在训练和评估模式下行为不同的层，而torch.no_grad()用于停止梯度计算。
model.eval()
with torch.no_grad():
output = model(input)
通过这种方式，可以确保在模型评估或推理时，资源使用最优化，并且计算速度更快。
