2025秋招LLM大模型多模态面试题(五)- 位置编码

位置编码

1.位置编码

不同于RNN、CNN等模型,对于Transformer模型来说,位置编码的加入是必不可少的,因为纯粹的Attention模块是无法捕捉输入顺序的,即无法区分不同位置的Token。为此我们大体有两个选择:

  1. 想办法将位置信息融入到输入中,这构成了绝对位置编码的一般做法;
  2. 想办法微调一下Attention结构,使得它有能力分辨不同位置的Token,这构成了相对位置编码的一般做法。
1.1 绝对位置编码

形式上来看,绝对位置编码是相对简单的一种方案,但即便如此,也不妨碍各路研究人员的奇思妙想,也有不少的变种。一般来说,绝对位置编码会加到输入中:在输入的第 k k k个向量

相关推荐

  1. 2025LLM模型面试)- 位置编码

    2024-07-19 21:08:01       17 阅读
  2. VALSE 2024 Workshop报告总结┆模型

    2024-07-19 21:08:01       30 阅读
  3. 2023上岸必备软件测试面试

    2024-07-19 21:08:01       59 阅读
  4. 2024届SLAMer算法岗面试总结

    2024-07-19 21:08:01       31 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-19 21:08:01       66 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-19 21:08:01       70 阅读
  3. 在Django里面运行非项目文件

    2024-07-19 21:08:01       57 阅读
  4. Python语言-面向对象

    2024-07-19 21:08:01       68 阅读

热门阅读

  1. 单例模式~

    2024-07-19 21:08:01       21 阅读
  2. python的mixin设计模式

    2024-07-19 21:08:01       21 阅读
  3. vue中v-if和v-for

    2024-07-19 21:08:01       19 阅读
  4. 计算机视觉10 总结

    2024-07-19 21:08:01       16 阅读
  5. 什么是RPC

    2024-07-19 21:08:01       19 阅读
  6. 《Exploring Orthogonality in Open World Object Detection》

    2024-07-19 21:08:01       19 阅读
  7. 电商B2B2C模式详细介绍

    2024-07-19 21:08:01       19 阅读
  8. ubuntu 22.04安装Eigen

    2024-07-19 21:08:01       19 阅读
  9. 【手撕数据结构】把玩顺序表

    2024-07-19 21:08:01       20 阅读