【pytorch22】激活函数与GPU加速

激活函数

在这里插入图片描述
在这里插入图片描述

ReLu还是还是可能出现梯度弥散,因为x<0的时候,梯度还是可能小于0

在这里插入图片描述
leaky relu,在x<0的时候,梯度就不会为0,梯度不会不动
在这里插入图片描述
Relu函数在x=0处是不连续的

一种更加光滑的曲线是SELU,是两个函数的concat
在这里插入图片描述
softplus,把ReLu的尖点x=0做了一个平滑处理,使得导数不连续的地方导数连续
在这里插入图片描述

目前用的最多的是Relu、sigmoid,tan h(RNN)以及Leaky Relu

GPU加速

在这里插入图片描述
loss层也是需要计算的,可以把loss层也搬到GPU上去

相关推荐

  1. Pytorch-06 使用GPU加速计算

    2024-07-10 14:08:08       33 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 14:08:08       99 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 14:08:08       107 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 14:08:08       90 阅读
  4. Python语言-面向对象

    2024-07-10 14:08:08       98 阅读

热门阅读

  1. Jupyter Notebook详尽安装教程

    2024-07-10 14:08:08       23 阅读
  2. 实现淘客返利系统中的用户登录与权限管理

    2024-07-10 14:08:08       22 阅读
  3. 【力扣】每日一题—第70题,爬楼梯

    2024-07-10 14:08:08       26 阅读
  4. mysql快速精通(一)DQL数据查询语言

    2024-07-10 14:08:08       29 阅读
  5. 408第二轮复习 数据结构 第七章查找

    2024-07-10 14:08:08       27 阅读
  6. Python中的迭代器与可迭代对象的概念及其关系

    2024-07-10 14:08:08       28 阅读
  7. 大数据面试题之Greenplum(2)

    2024-07-10 14:08:08       19 阅读
  8. 准备GPU H20机器k8s环境时用到的链接

    2024-07-10 14:08:08       24 阅读
  9. 数据库的优点和缺点分别是什么

    2024-07-10 14:08:08       30 阅读