Kuaishou（快手）

When Importance Sampling Misallocates Credit: Asymmetric Ratios for Outcome-Supervised RL

重要采样误分配信用：用于结果监督强化学习的非对称比率

Jiakang Wang, Runze Liu, Qingpeng Cai, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai, Ling Pan

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） 纠错

AI总结 本文揭示了在结果监督强化学习中，重要采样比率因角色转变导致正优势token与负优势token的权重失衡，提出非对称重要采样策略ASPO以纠正此问题，提升训练稳定性与性能。

Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR

稳定知识，促进推理：双令牌约束用于RLVR

Jiakang Wang, Runze Liu, Fuzheng Zhang, Xiu Li, Guorui Zhou, Ling Pan

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） 纠错

AI总结 本文提出Archer框架，通过双令牌约束在RLVR中平衡优化，提升LLM的推理和知识保持能力，实验显示在数学推理和代码生成任务中表现优异。