Alibaba（阿里巴巴）

Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

可验证环境是乐高积木：递归组合实现推理泛化

Hao Xiang, Qiaoyu Tang, Le Yu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Bowen Yu, Peng Wang, Hongyu Lin, Dayiheng Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） 纠错

AI总结 提出RACES框架，将可验证环境视为可递归组合的构建块，通过定义四种组合算子自动生成复合环境，在六个未见基准上平均提升DeepSeek-R1-Distill-Qwen-14B 3.1分，且仅用50个基础环境即可达到300个环境的性能。

Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

打破熵界：通过带拒绝采样的多令牌预测加速强化学习训练

Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou

机构 * Qwen Team, Alibaba Inc（阿里巴巴集团 Qwen 团队） 纠错

AI总结 针对强化学习训练中多令牌预测接受率因熵波动而下降的问题，提出Bebop方法，采用概率拒绝采样和端到端TV损失优化，实现高达95%接受率和1.8倍加速。

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

RLCSD: 基于对比策略自蒸馏的强化学习

Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） ； Peking University（北京大学） 纠错

AI总结 针对策略自蒸馏中特权诱导的风格漂移问题，提出RLCSD方法，通过对比正确与错误提示下的师生差距来抑制风格偏移，提升推理模型在数学和逻辑推理任务上的性能。

Comments 20 pages, 9 figures, 9 tables