[论文笔记] Gradient Surgery for Multi-Task Learning

【强化学习 137】PCGrad - 知乎

多任务学习(multi task):任务权重、loss均衡、梯度下降那点事 - 知乎

        ICLR 2020 rejected submission:Yu T, Kumar S, Gupta A, et al. Gradient surgery for multi-task learning[J]. arXiv preprint arXiv:2001.06782, 2020.

        multi-task RL 里面面临比较麻烦的优化问题,因为各个任务之间是很不相似的,会相互影响。本文从梯度冲突的角度,解决 multi-task 中的优化问题。

相关推荐

  1. 论文阅读笔记】清单

    2024-03-19 20:38:03       77 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-19 20:38:03       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-19 20:38:03       106 阅读
  3. 在Django里面运行非项目文件

    2024-03-19 20:38:03       87 阅读
  4. Python语言-面向对象

    2024-03-19 20:38:03       96 阅读

热门阅读

  1. React——组件化

    2024-03-19 20:38:03       49 阅读
  2. 2079: [蓝桥杯2023初赛] 冶炼金属

    2024-03-19 20:38:03       42 阅读
  3. 小型路由器,为什么四个端口的IP在一个网段?

    2024-03-19 20:38:03       46 阅读
  4. Transformer大模型学习导引:光速掌握大模型

    2024-03-19 20:38:03       54 阅读
  5. 文件上传漏洞或预习文件包含漏洞

    2024-03-19 20:38:03       45 阅读
  6. Visual Studio 常用快捷键与设置

    2024-03-19 20:38:03       46 阅读