大语言模型:Large Language Models Are Human-Level Prompt Engineers概述

研究内容

如何通过prompt,在不进行微调大语言模型的前提下,增加大语言模型的表现

研究动机

  • prompt非常有用,但是人工设置的非常不自然;
  • 因此提出了要自动使用大语言模型自己选择prompt;
  • 取得了很好的效果。

作者主要是提出了三件事:

如何让大语言模型生成prompt

LLM是可以分为两类的,

  • 其中一类GPT是只能从前到后的,他们不支持句子补全(在一段话当中填写空缺位置);
  • 另一类,则是可以反向的例如T5、GLM、 InsertGPT,这些模型就会支持句子补全。

因此作者为这两类模型分别设置了两种方法,例子如下:
在这里插入图片描述
同时作者指出,也不一定要和这俩完全相同,使用回答评价指标一定可以找到一个更加适合指令instruction生成的prompt这里只是样板(template)。作者给出了在本文实验当中实际采用的prompt:
在这里插入图片描述

如何评价这些prompt

就是简单的让其跑一下分

如何进一步优化prompt

可以使用大语言模型进一步resample跑一下选出来的高分指令instruction:

在这里插入图片描述
再在这些指令当做选择更好的指令。

相关推荐

  1. 语言模型(LLM)Token 概念

    2024-03-16 00:32:01       21 阅读
  2. 语言模型(LLM) 参数量 概念

    2024-03-16 00:32:01       19 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-16 00:32:01       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-16 00:32:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-16 00:32:01       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-16 00:32:01       20 阅读

热门阅读

  1. Solidity Uniswap V2 Router contract addLiquidity

    2024-03-16 00:32:01       21 阅读
  2. ZK vs FHE

    ZK vs FHE

    2024-03-16 00:32:01      18 阅读
  3. tvm android_rpc_test.py执行报错解决

    2024-03-16 00:32:01       19 阅读
  4. 智能网联汽车网络安全威胁具体

    2024-03-16 00:32:01       19 阅读
  5. Nodejs引入模块运行时报错

    2024-03-16 00:32:01       21 阅读
  6. 安卓自定义ScrollView

    2024-03-16 00:32:01       19 阅读
  7. 技术问题记录

    2024-03-16 00:32:01       22 阅读
  8. Spring Cloud面试系列-01

    2024-03-16 00:32:01       24 阅读
  9. 【gpt实践】实用咒语分享

    2024-03-16 00:32:01       25 阅读
  10. uniapp内实现链接跳转到浏览器网页上

    2024-03-16 00:32:01       22 阅读