LONGQLORA: EFFICIENT AND EFFECTIVE METHOD TO EXTEND CONTEXT LENGTH OF LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《LONGQLORA: EFFICIENT AND EFFECTIVE METHOD TO EXTEND
CONTEXT LENGTH OF LARGE LANGUAGE MODELS》的翻译。

摘要

我们提出了LongQLoRA，这是一种用较少的训练资源扩展大型语言模型上下文长度的有效方法。LongQLoRA融合了LongLoRA的位置插值、QLoRA和移位短注意的优点。使用单个32GB V100 GPU，LongQLoRA可以在1000个微调步骤内将LLaMA2 7B和13B的上下文长度从4096扩展到8192，甚至扩展到12k。LongQLoRA在PG19和Proof pile数据集上实现了竞争性困惑性能，我们的模型优于LongLoRA，在8192的评估上下文长度内非常接近MPT-7B-8K。我们收集并构建了39k长的指令数据，将Vicuna-13B的上下文长度从4096扩展到8192，并在长上下文和短上下文生成任务中都获得了良好的性能。我们还做了一些消融实验来研究LoRA等级、微调步骤和注意力模式在推理中的影响。模型权重、训练数据和代码在https://github.com/yangjianxin1/LongQLoRA上可用.

1 引言

2 方法

3 实验

4 结论

总之，我们提出了LongQLoRA，这是一种有效的方法来扩展基于RoPE的大型语言模型的上下文长度。使用LongQLoRA，我们可以在具有32GB内存的单个V100 GPU上将LLaMA2 7B和13B的上下文长度扩展到8192或12k，并实现与完全微调相比具有竞争力的性能。由于移位短注意力和标准全局注意力之间的兼容性，使用LongQLoRA微调的模型可以很容易地与现有的推理框架兼容。由于训练资源的限制，我们还没有进一步探索更大的上下文长度，我们计划在未来进行调查。