Kuaishou（快手）

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

熵比裁剪作为稳定强化学习的软全局约束

Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

机构 * Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） ； Independent（独立） 纠错

AI总结 本文提出熵比裁剪机制，通过量化策略探索的相对变化，缓解强化学习中的分布偏移问题，提升训练稳定性。

Comments This paper has been accepted by ACL2026

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

CE-GPPO：通过梯度保持剪裁策略优化协调熵在强化学习中

Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

机构 * Kuaishou Technology（快手科技） ； Independent（独立） 纠错

AI总结 本文提出CE-GPPO算法，通过恢复剪裁令牌的梯度信号，协调探索与利用，缓解熵不稳定问题，并在数学推理任务中优于现有方法。

Comments This paper has been accepted by ACL 2026