【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）

  • 开发
  • 61

激活函数（activation function）的作用是对网络提取到的特征信息进行非线性映射，提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。

1. Sigmoid 激活函数

        Sigmoid 是一种常见的非线性激活函数，输入实数值并将其压缩到 (0,1) 范围内。其缺点是当输入值较大和较小时，梯度会接近于0从而导致梯度消失问题，函数的输出也不是以0为中心，指数计算复杂度高也更加耗时。其计算公式如下所示：

f(x)=\sigma(x)=\frac{1}{1+e^{-x}}

        Sigmoid 激活函数示意图： 

2. Tanh 激活函数

阅读全部

相关推荐

  3. 深度学习 - 激活函数

    2024-01-06 14:04:02       27 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-06 14:04:02       98 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-06 14:04:02       106 阅读

  9. 在Django里面运行非项目文件

    2024-01-06 14:04:02       87 阅读

  19. Python语言-面向对象

    2024-01-06 14:04:02       96 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-01-06 14:04:02       91 阅读

热门阅读

  1. @RequestParam，@RequestBody和@PathVariable 区别

    2024-01-06 14:04:02       63 阅读

  2. 网络安全常见漏洞类型总结

    2024-01-06 14:04:02       53 阅读

  4. 【LeetCode】586. 订单最多的客户

    2024-01-06 14:04:02       61 阅读

  5. Redis使用场景(五)

    2024-01-06 14:04:02       76 阅读

  7. vba之与excel司龄计算

    2024-01-06 14:04:02       58 阅读

  10. MySQL 8.0中新增的功能（一）

    2024-01-06 14:04:02       56 阅读

  11. 向爬虫而生---Redis 基石篇2 ＜拓展Hash＞

    2024-01-06 14:04:02       58 阅读

  12. html2canvas+jsPDF导出超长网页的PDF

    2024-01-06 14:04:02       59 阅读

  13. webpack

    2024-01-06 14:04:02       54 阅读

  15. docker-compose部署各个软件

    2024-01-06 14:04:02       46 阅读

  17. Mac开发 app名称 如何国际化

    2024-01-06 14:04:02       50 阅读

  19. 详解Python内置函数 ！！！

    2024-01-06 14:04:02       49 阅读

  23. 三级网络技术——第九章 计算机网络环境及应用系统的安装与管理

    2024-01-06 14:04:02       57 阅读

  26. 考研复试英语口语问答举例第二弹

    2024-01-06 14:04:02       41 阅读