提示学习的本质是KNN

遵循query的分布,answer的空间有其自己的分布,一个query进去,answer拿到的值是在其分布上的采样,也就是在输出端的不断sample。

提示工程对某一类问题指定了一个共同的前缀。这其实是改变了query的分布,而在训练后,在提示学习的引导下,特定的提示词会让同一query分布对应的正确answer分布发生改变,使得这个正确answer所在的子空间的概率密度变大。

再极端一点,假设提示学习做的特别好,成功地把所有query都引到了对应领域的answer子空间里,那么这个领域就相当于是被完整地切出来了,就像给answer空间做了基于领域的knn一样。

相关推荐

  1. 提示学习本质KNN

    2024-07-10 16:12:04       12 阅读
  2. 机器学习---KNN案例

    2024-07-10 16:12:04       46 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 16:12:04       5 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 16:12:04       5 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 16:12:04       4 阅读
  4. Python语言-面向对象

    2024-07-10 16:12:04       5 阅读

热门阅读

  1. Tomcat

    Tomcat

    2024-07-10 16:12:04      11 阅读
  2. pytorch 源码阅读(1)——torch.complie

    2024-07-10 16:12:04       6 阅读
  3. weapp.socket.io.js

    2024-07-10 16:12:04       6 阅读
  4. 内网和外网的区别及应用

    2024-07-10 16:12:04       13 阅读
  5. Symfony Monorepo:一站式开发的艺术与实践

    2024-07-10 16:12:04       12 阅读
  6. Docker 深度分析与选型指南

    2024-07-10 16:12:04       12 阅读
  7. 深度学习 - 模型剪枝技术详解

    2024-07-10 16:12:04       8 阅读
  8. 基于单片机的火灾自动报警器研究

    2024-07-10 16:12:04       9 阅读
  9. linux从入门到精通

    2024-07-10 16:12:04       9 阅读
  10. 小程序-自定义导航栏

    2024-07-10 16:12:04       7 阅读
  11. Redis在项目中的17种使用场景

    2024-07-10 16:12:04       11 阅读
  12. 使用 Vue.js 和 Element Plus 实现自动完成搜索功能

    2024-07-10 16:12:04       10 阅读