对比不同Layer输出,在解码阶段消除大模型幻觉

实现方式

对比最后一层出来的logit,和前面Layer出来的logit,消除差异过大的分布,从而降低幻觉:

  1. 最后一层Layer出来的logit容易的得到;

  2. 选择与最后一层的logit最不相似的分布的那层结果

实现原理

也是很简单的对比方式,最终的logit由最后一层的Layer输出的logit,减去前期选择的层的logit,

得到最终的logit

地址

https://arxiv.org/pdf/2309.03883.pdf

相关推荐

  1. 如何解决模型的【幻觉】问题?

    2024-02-19 21:10:02       58 阅读
  2. 如何解决模型的「幻觉」问题?

    2024-02-19 21:10:02       47 阅读
  3. 语言模型-幻觉

    2024-02-19 21:10:02       53 阅读
  4. 向量数据库如何解决语言模型的“幻觉”问题

    2024-02-19 21:10:02       54 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-19 21:10:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-19 21:10:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-02-19 21:10:02       87 阅读
  4. Python语言-面向对象

    2024-02-19 21:10:02       96 阅读

热门阅读

  1. LeetCode 2824.统计和小于目标的下标对数目

    2024-02-19 21:10:02       53 阅读
  2. 力扣:139. 单词拆分

    2024-02-19 21:10:02       45 阅读
  3. rust的哈希表

    2024-02-19 21:10:02       48 阅读
  4. CSS background-size

    2024-02-19 21:10:02       56 阅读
  5. 甲辰年正月初五迎财神

    2024-02-19 21:10:02       51 阅读
  6. 普中51单片机学习(七)

    2024-02-19 21:10:02       51 阅读
  7. 扫地机器人与项目管理

    2024-02-19 21:10:02       49 阅读
  8. 用结构体数组,完成宠物信息登记管理。

    2024-02-19 21:10:02       45 阅读