Repetition Improves Language Model Embeddings论文阅读笔记
- 开发
- 36
-
- 文章提出了一种提高decoder-only LLM的embedding能力的方法，叫echo embeddings
- last-token pooling（即直接选最后一个token作为句子的embedding）和直接mean pooling都不如文章提出的echo embedding，做法是把句子重复两次，然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分，last-token pooling是太强调句子的后面部分，而重复两次后，第二次的句子的起始token也包含了完整句子的语义，从而不会出现直接mean pooling的问题。
- 另外一点是，输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息，如下：
原文地址:https://blog.csdn.net/weixin_44326452/article/details/139774956
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。
本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：https://www.suanlizi.com/kf/1803217644464246784.html
如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！
