注意力机制(数学公式)

人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性

计算机注意力机制是为了让卷积神经网络注意到他更加需要注意的地方 ,而不是什么都关注 。

分为三种注意力机制,空间注意力机制,通道注意力机制,以及两者的结合。                                                  

Attention(Q,K,V) = softmax( \frac{QKT}{\sqrt{dk}} )V

Q:query(查询)

K:key(键)

V:value(值)                                              

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-25 23:24:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-25 23:24:05       101 阅读
  3. 在Django里面运行非项目文件

    2023-12-25 23:24:05       82 阅读
  4. Python语言-面向对象

    2023-12-25 23:24:05       91 阅读

热门阅读

  1. arm day6

    2023-12-25 23:24:05       60 阅读
  2. 爬虫抓取链家二手房数据

    2023-12-25 23:24:05       49 阅读
  3. date工具类

    2023-12-25 23:24:05       52 阅读
  4. C语言中switch语句中的case后()

    2023-12-25 23:24:05       59 阅读
  5. [运维|shell] 编写shell脚本定期清理日志

    2023-12-25 23:24:05       56 阅读
  6. 第6章1-字符串及正则表达式 p63

    2023-12-25 23:24:05       51 阅读
  7. 避免约束系数过大的2种技巧

    2023-12-25 23:24:05       58 阅读
  8. ubuntu22.04上安装charles-proxy

    2023-12-25 23:24:05       53 阅读
  9. GO语言基础笔记(四):并发编程基础

    2023-12-25 23:24:05       50 阅读
  10. 第六章 卷:将磁盘挂载到容器

    2023-12-25 23:24:05       49 阅读