Beyond Fixed Length: Bucket Pre-training is All You Need
创建于 更新于
摘要
本文针对大型语言模型预训练中固定长度数据组成方法存在的填充率高、截断率大和拼接率高等问题，提出了三项数据质量量化指标，并基于此设计了多桶自适应数据组成策略BucketLLM。该方法通过灵活组织不同长度的训练序列，实现了较低的截断率和拼接率，同时保持较高的计算效率。实验表明，BucketLLM在保持训练效率的同时，提升了模型在多项标准NLP基准上的表现，特别是在长上下文处理和模型规模扩展方面取得了显著提升[page::0][page::1][page::4][page::5][page::6]。
