Transformer｜1.4 CNN遇到的问题与窘境

  • 开发
  • 53

文章目录

CNN遇到的问题与窘境

在这里插入图片描述
判断一个人是否为美人，既要看她各个五官，也要看她各个五官占的比例和协调。
既要照顾好局部信息，也要照顾好全局信息。
局部信息用小的感受野进行感受，而全局信息用大的感受野进行感受。
在这里插入图片描述

transformer 的优势

在这里插入图片描述
0号token在第一层就可以看到其它所有的token。
而CNN在多层卷积后才有这个机会。（比如最开始是3x3的卷积，下一层是9x9的卷积，只有在下一层时才能够看到其他8个3x3的卷积部分）
在这里插入图片描述

在这里插入图片描述

阅读全部

相关推荐

  3. win11安装weblogic12C遇到的奇怪问题

    2024-01-21 05:48:06       39 阅读

  4. 使用Transformers库中的模型提取图像特征遇到的问题

    2024-01-21 05:48:06       35 阅读

  6. Transformer与CNN在目标检测对决：现代视觉识别的较量

    2024-01-21 05:48:06       23 阅读

  9. 前端遇到的问题

    2024-01-21 05:48:06       34 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-21 05:48:06       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-21 05:48:06       101 阅读

  9. 在Django里面运行非项目文件

    2024-01-21 05:48:06       82 阅读

  19. Python语言-面向对象

    2024-01-21 05:48:06       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-01-21 05:48:06       85 阅读

热门阅读

  3. clickhouse 单副本和双副本升级差别

    2024-01-21 05:48:06       48 阅读

  4. Baumer工业相机堡盟工业相机如何通过NEOAPI SDK使用ForceIP强制修改网口IP功能（C#）

    2024-01-21 05:48:06       49 阅读

  5. Linux安全问题,如何查看哪个用户是可疑用户？如何批量删除这些用户？

    2024-01-21 05:48:06       44 阅读

  6. 12.线程同步

    2024-01-21 05:48:06       35 阅读

  12. 每日算法打卡：连号区间数 day 18

    2024-01-21 05:48:06       57 阅读

  14. K8s面试题——基础篇2

    2024-01-21 05:48:06       46 阅读

  17. golang二分查找算法实现

    2024-01-21 05:48:06       53 阅读

  18. vue3中的nexttick

    2024-01-21 05:48:06       59 阅读

  19. logstack 日志技术栈-03-日志最佳实践

    2024-01-21 05:48:06       47 阅读