GRIT论文阅读笔记
- 开发
- 34
-
- 一篇试图统一生成任务和编码任务的工作，就是把只能完成生成任务的GPT改成既能生成又能encode。
- 思路其实很简单，就是在输入的时候添加instruction tokens来指引模型做representation还是generation，然后各自算损失。representation任务用的是document和query的对比学习。把最后一层的token给mean pooling（只对word tokens做，不对instruction做）出一个embedding算对比损失，做generation的时候就按generation的流程来，思路很简单没什么特别的。
- 另一点细节是representation的时候是没有mask的，generation的时候才做mask
原文地址:https://blog.csdn.net/weixin_44326452/article/details/139774229
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。
本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：https://www.suanlizi.com/kf/1802989134931955712.html
如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！
