GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment
GoLongRL: 以能力为导向的长上下文强化学习与多任务对齐
机构 * Kuaishou Technology（快手科技） ； University of Chinese Academy of Sciences（中国科学院大学）
AI总结 本文提出GoLongRL，一种完全开源的、以能力为导向的长上下文强化学习后训练配方，通过可验证奖励（RLVR）实现。现有长上下文强化学习方法往往将数据构建视为设计越来越复杂的检索路径，导致任务覆盖同质化和奖励形式无法充分反映实际长上下文需求。本文的贡献是（1）以能力为导向的数据构建并完全开源，释放了包含23,000个RLVR样本的数据集、完整的构建流程和所有训练代码。基于长上下文能力的分类学，数据集涵盖9种任务类型，每种任务类型都配有其自然评估指标。它包含从现有语料库中精心挑选的开源样本和合成样本，其问答对是从真实源文档如书籍、学术论文和多轮对话中生成的。在相同的 vanilla GRPO 设置下，我们的数据集单独优于闭源的 QwenLong-L1.5 数据集。此外，我们的 Qwen3-30B-A3B 模型在该数据上训练后，长上下文性能与 DeepSeek-R1-0528 和 Qwen3-235B-A22B-Thinking-2507 相当，表明更广泛的覆盖和更大的奖励多样性显著有助于长上下文能力的提升。（2）TMN-Reweight 用于异构多任务优化。为了解决异构奖励带来的优化挑战，我们提出了 TMN-Reweight，它结合了任务层面的均值归一化以实现跨任务奖励尺度对齐，以及难度自适应加权以获得更可靠的优势估计。TMN-Reweight 进一步在 vanilla GRPO 上提高了平均性能，在报告的评估中，通用能力得以保持或提升。
