[论文笔记] 揭开缺陷:探索合成中的缺陷——大型语言模型的数据和缓解策略 Unveiling the Flaws: Exploring Imperfections in Synthetic Data

Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models

揭开缺陷:探索合成中的缺陷——大型语言模型的数据和缓解策略

        合成数据被提议作为解决在大规模语言模型（LLM）训练中高质量数据稀缺问题的一种方案。研究表明，合成数据可以有效提升LLM在下游基准测试中的表现。然而，尽管合成数据具有潜在的优势，我们的分析表明，合成数据可能存在内在的缺陷。合成数据的统一格式可能导致模式过拟合，并引起输出分布的显著变化，从而降低模型的指令遵循能力。我们的研究深入探讨了与问答（Q-A）对这一常见类型合成数据相关的具体缺陷，并提出了一种基于“去学习”技术来缓解这些缺陷的方法。实验证据表明，我们的方法能够逆转由模式过拟合引起的指令遵循问题，同时在相对较低的成本下，不会影响基准测试上的性能。我们的工作提供了合成数据有效使用的重要见解，旨在促进更稳健和高效的LLM训练。

摘要：

• 背景：合成数据被提出来解决高质量数据稀缺的问题，尤其是在训练大型语言模型（LLMs）时。
• 问题：虽然合成数据能提高模型的表现，但它也有一些内在的缺陷，特别是可能导致模型过拟合（即模型过于依赖训练数据，导致在新数据上的表现不好<