【论文速读#190】最新AI方向BiFormer做了什么?如何改进Transformer?【分块,降低计算量和内存占用量】

from: https://www.youtube.com/watch?v=EsQba3t7Qnk


BiFormer,2023 CVPR,解决Transformer内存占用多,计算量大的问题

在这里插入图片描述

方法:可以看作是结合b和e,分块降低计算量

【自带survey,降低Transformer计算量迭代很快,避开这个方向,看看就行!】

在这里插入图片描述

实验效果

在这里插入图片描述

方法解释:

最原始的Transformer

在这里插入图片描述

本文:只取topK,代码,还加了dwconv

在这里插入图片描述
在这里插入图片描述

实验结果

在这里插入图片描述

模块堆叠

在这里插入图片描述
在这里插入图片描述

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-22 20:58:06       52 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-22 20:58:06       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-22 20:58:06       45 阅读
  4. Python语言-面向对象

    2024-07-22 20:58:06       55 阅读

热门阅读

  1. 掌握Gradle任务控制:深入doFirst与doLast的魔法

    2024-07-22 20:58:06       17 阅读
  2. /etc/logrotate.d/syslog与/etc/logrotate.conf优先级

    2024-07-22 20:58:06       16 阅读
  3. Python流程控制

    2024-07-22 20:58:06       20 阅读
  4. lua 写一个函数 判断两个时间戳是否在同一周

    2024-07-22 20:58:06       19 阅读
  5. 在淘客返利系统中使用AOP实现日志记录与审计

    2024-07-22 20:58:06       17 阅读
  6. GANs in Action: Augmenting Target Detection with Synthetic Data

    2024-07-22 20:58:06       17 阅读
  7. Html review1

    2024-07-22 20:58:06       19 阅读
  8. Midjourney绘画提示词精选

    2024-07-22 20:58:06       18 阅读
  9. 三元表达式和if语句优缺点

    2024-07-22 20:58:06       17 阅读
  10. ABC D - Palindromic Number

    2024-07-22 20:58:06       18 阅读
  11. c++命名空间

    2024-07-22 20:58:06       16 阅读