深度学习调优:选对正确的loss函数,再超参数调优真的很重要!!!

本人亲测:模型不变,用别人代码中自定义的loss函数和test_smooth_l1函数真的天差地别!

选择适合的损失函数

  • MSE:适用于需要显著惩罚大偏差的情况。
  • MAE:适用于数据中存在异常值,并且你希望对异常值不那么敏感的情况。
  • Smooth L1 Loss:适用于既有一定抗噪声能力又能对大偏差适当惩罚的情况。

最终选择Smooth L1 Loss这个损失函数

然后反向传播和optuna时,都以这个测试集中的Smooth L1 Loss作为参数,经过optuna调优,即可得到好的结果。

不合适的loss函数(自定义的myloss)预测结果:

合适的loss函数预测结果(通过下面的information开可以看出不是一个数据):

相关推荐

  1. 参数-通用深度学习篇(上)

    2024-07-19 02:42:03       33 阅读
  2. 【JVM】虚拟机 常用参数

    2024-07-19 02:42:03       32 阅读
  3. JVM 21 指南:如何进行JVM,JVM参数

    2024-07-19 02:42:03       56 阅读
  4. 【R: mlr3:参数

    2024-07-19 02:42:03       34 阅读
  5. 使用Python实现参数

    2024-07-19 02:42:03       32 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-19 02:42:03       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-19 02:42:03       72 阅读
  3. 在Django里面运行非项目文件

    2024-07-19 02:42:03       58 阅读
  4. Python语言-面向对象

    2024-07-19 02:42:03       69 阅读

热门阅读

  1. SQL基础

    2024-07-19 02:42:03       21 阅读
  2. 【Unity C#优化】业务逻辑代码方面的优化

    2024-07-19 02:42:03       21 阅读
  3. 【Linux】微基准测试

    2024-07-19 02:42:03       20 阅读
  4. AI发展下的伦理挑战,应当如何应对?

    2024-07-19 02:42:03       19 阅读
  5. 软件测试有光明的未来

    2024-07-19 02:42:03       20 阅读
  6. 1、PostgreSQL安装

    2024-07-19 02:42:03       20 阅读
  7. 数组reduce的众多用法

    2024-07-19 02:42:03       21 阅读
  8. 泛型+反射

    2024-07-19 02:42:03       18 阅读
  9. 牛客周赛51

    2024-07-19 02:42:03       22 阅读
  10. 开始构建我们自己的大语言模型:数据处理部分

    2024-07-19 02:42:03       21 阅读