Amazon（亚马逊）

The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning

过程奖励模型的隐藏偏见：PRISM用于奖励正确推理

Aakriti Agrawal, Souradip Chakraborty, Armin Saghafian, Nihal Sharma, Rizal Fathony, Nam H Nguyen, C. Bayan Bruss, Amrit Singh Bedi, Furong Huang

机构 * University of Maryland（马里兰大学） ； Amazon（亚马逊） ； University of Central Florida（中佛罗里达大学） 纠错

AI总结 针对过程奖励模型因训练数据不平衡导致的虚假高评分偏见，提出PRISM框架，通过对比步骤级比较和前瞻策略生成的难负样本，结合难度感知课程学习优化，显著降低假阳性率并提升推理准确性。

Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models

Sparrow: 用于大语言模型稳定高效长上下文强化学习的稀疏 rollout

Yang Zhou, Ranajoy Sadhukhan, Zhaofeng Sun, Zhuoming Chen, Souvik Kundu, Saket Dingliwal, Sai Muralidhar Jayanthi, Aram Galstyan, Haizhong Zheng, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Cornell University（康奈尔大学） ； Intel（英特尔） ； Amazon AGI（亚马逊AGI） 纠错

AI总结 针对RLVR中长上下文rollout计算昂贵的问题，提出Sparrow方法，通过动态稀疏度调度保持token级策略失配的下尾统计量稳定，在Qwen3系列模型上实现2.0-2.4倍加速，并推广到更大模型和编程领域。

Customer-Agent: Overcoming Context Limitations in Ultra-Long Shopping Trajectories via Tool-Augmented Agents and RLVR

客户代理：通过工具增强代理和RLVR克服超长购物轨迹中的上下文限制

Hongye Liu, Rongmei Lin, Anurag Kashyap, Hejie Cui, Ricardo Henao, Besnik Fetahu, Bing Yin

机构 * Amazon（亚马逊） ； Duke University（杜克大学） 纠错

AI总结 提出ShopTrajQA基准和客户代理框架，利用RLVR训练代理通过代码解释器自主检索解析外部轨迹文件，突破LLM上下文窗口限制，在超长购物轨迹推理中取得强性能。

X-OP: Cross-Morphology Whole-Body Teleoperation via MPC Retargeting

X-OP: 基于MPC重定向的跨形态全身遥操作

Jen-Wei Wang, Sarthak Kaingade, Andrea Tagliabue, Nicholas Morozovsky

机构 * Amazon（亚马逊） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出一种基于单个XR设备的层次化全身遥操作框架，通过MPC重定向联合优化操作者意图与机器人动态可行性，无需针对特定机器人重新训练策略，在仿真和实物实验中显著提升任务成功率。

Comments 9 pages, 4 figures

CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection

CAAL: 基于上下文赌博机的在线手工主动学习策略选择

Shao-An Yin, Jiacong Li, Tianpei Xie, Cecile Levasseur, Wojciech Kowalinski, Nicola Elia

机构 * University of Minnesota, Twin Cities（明尼苏达大学双城分校） ； Amazon（亚马逊） 纠错

AI总结 提出CAAL框架，利用上下文信息和奖励预测动态选择主动学习策略，在公共数据集上优于现有基线方法。

Comments 8 pages, 5 figures, Accepted to the NYRL 2025 Workshop

Beyond Individual Personas: Aligning Synthetic Dialogue to Population-Level Behavior Distributions

超越个体角色：将合成对话对齐到群体层面的行为分布

Xinyi Liu, Rinat Khaziev, Hooshang Nayyeri, Emine Yilmaz, Charith Peris, Hari Thadakamalla

机构 * Amazon（亚马逊） ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University College London（伦敦大学学院） 纠错

AI总结 提出GroupPersona框架，通过将参考语料库的行为分布转化为生成控制，使合成对话语料库在群体层面与参考分布对齐，在12个行为属性上Jensen-Shannon散度降低24.4%。

Unlocking Latent Value: Taxonomy-Guided Recovery of High-Performing Data from Low-Tier Web Corpora

解锁潜在价值：基于分类法从低层级网络语料库中恢复高性能数据

Neeraj Varshney, Sanket Lokegaonkar, Nasser Zalmout, Qingyu Yin, Priyanka Nigam, Bing Yin

机构 * Amazon（亚马逊） 纠错

AI总结 提出一种分类驱动框架，通过引入时效性和文化特异性两个新维度，结合两阶段过滤方法，从低质量网络数据中恢复高性能子集，在推理和编码任务上显著超越未过滤的高质量数据。

The Routing Plateau: Understanding and Breaking the Accuracy Limits of LLM Routers

路由平台：理解并突破LLM路由器的准确性极限

Yifan Lu, Qiyue Zhang, Shenrun Zhang, Zhibo Yu, Zhuang Wang, Hanjie Chen, Jiarong Xing

机构 * Rice University（莱斯大学） ； Amazon（亚马逊） 纠错

AI总结 研究发现多种LLM路由方法存在“路由平台”现象，即准确性趋同且远低于理想路由器，主要原因是可预测性瓶颈；通过增大训练数据、更强编码器和端到端微调可突破平台。

Comments 23 Pages, 12 Tables, 9 Figures