语言大模型 / LLM

Preference Packing: Efficient Preference Optimization for Large Language Models

偏好打包：大型语言模型高效偏好优化

Jaekyung Cho

机构 * AWS GenAI Innovation Center（AWS生成人工智能创新中心） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；分类 cs.CL、cs.AI

AI总结 偏好打包通过减少重复输入提示的注意力操作和KV缓存内存使用，提升大型语言模型的训练效率，实验显示训练时间减少37%并实现3.22倍速度提升。

Alignment through Meta-Weighted Online Sampling: Bridging the Gap between Data Generation and Preference Optimization

通过元权重在线采样对齐：弥合数据生成与偏好优化之间的差距

Junming Yang, Ning Xu, Biao Liu, Shiqi Qiao, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaAPO通过动态结合数据生成与模型训练，有效解决偏好优化中的分布不匹配问题，提升对齐效果并降低标注成本。

Comments Accepted by ICLR 2026

Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning

将过程与结果联系起来：用于大语言模型推理的条件奖励建模

Zheng Zhang, Ziwei Shan, Kaitao Song, Yexin Li, Kan Ren

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出条件奖励建模（CRM），通过将LLM推理视为时间过程，解决奖励分配模糊性和奖励黑客问题，提升推理性能。

RE-PO: Robust Enhanced Policy Optimization as a General Framework for LLM Alignment

RE-PO：一种用于大语言模型对齐的鲁棒增强策略优化通用框架

Xiaoyang Cao, Zelai Xu, Mo Guang, Kaiwen Long, Michiel A. Bakker, Yu Wang, Chao Yu

机构 * IDSS, Massachusetts Institute of Technology（IDSS，麻省理工学院） ； EE, Tsinghua University（电子工程系，清华大学） ； Li Auto Inc.（力汽车公司） ； SIGS, Tsinghua University（系统工程系，清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 RE-PO是一种用于大语言模型对齐的鲁棒增强策略优化通用框架，通过期望最大化程序推断标签正确性并自适应加权数据点以减轻噪声，提升对齐效果。

Measuring Sycophancy of Language Models in Multi-turn Dialogues

在多轮对话中衡量语言模型的趋炎附势性

Jiseung Hong, Grace Byun, Seungone Kim, Kai Shu, Jinho D. Choi

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Emory University（埃默里大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究提出SYCON基准，评估多轮对话中语言模型的趋炎附势性，发现对齐调优会放大该行为，而模型规模和推理优化能增强抗压能力，采用第三人称视角可显著减少趋炎附势性。

Comments Accepted to Findings of EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 2239-2259

RewardUQ: A Unified Framework for Uncertainty-Aware Reward Models

RewardUQ：一种用于不确定性感知奖励模型的统一框架

Daniel Yang, Samuel Stante, Florian Redhardt, Lena Libon, Parnian Kassraie, Ido Hakimi, Barna Pásztor, Andreas Krause

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 RewardUQ提出了一种统一框架，用于系统评估奖励模型的不确定性量化，通过比较常用方法和提出新排序策略，揭示模型大小和初始化对性能的影响，并开源框架促进新方法的发展和应用。

What Makes a Reward Model a Good Teacher? An Optimization Perspective

什么使奖励模型成为好的老师？从优化角度出发

Noam Razin, Zixuan Wang, Hubert Strauss, Stanley Wei, Jason D. Lee, Sanjeev Arora

机构 * Some Institute（某些研究所） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 从优化角度研究奖励模型的有效性，发现奖励方差对优化效率至关重要，准确性不足以保证模型效果。

Comments Accepted to NeurIPS 2025; Code available at https://github.com/princeton-pli/what-makes-good-rm

Janus-Q: End-to-End Event-Driven Trading via Hierarchical-Gated Reward Modeling

Janus-Q：通过分层门控奖励建模实现端到端的事件驱动交易

Xiang Li, Zikai Wei, Yiyan Qi, Wanyun Zhou, Xiang Liu, Penglei Sun, Jian Guo, Yongqi Zhang, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Janus-Q通过分层门控奖励模型实现端到端事件驱动交易，提升金融新闻事件作为主要决策单元，提高交易决策的稳定性和盈利能力。

Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric

开放评分系统：通过成对自适应评分表扩展强化学习

Ruipeng Jia, Yunyi Yang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴文勤大模型应用团队） ； Beijing University Of Posts and Telecommunications（北京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL

AI总结 开放评分系统通过成对自适应评分表和可验证评分表实现强化学习的稳健对齐，提升开放性任务的辨别力和可验证性。

DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

DesignSense: 一种用于图形布局生成的人类偏好数据集和奖励建模框架

Varun Gopal, Rishabh Jain, Aradhya Mathur, Nikitha SR, Sohan Patnaik, Sudhir Yarram, Mayur Hemani, Balaji Krishnamurthy, Mausoom Sarkar

机构 * MDSR, Adobe（MDSR，Adobe） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 DesignSense通过人类偏好数据集和奖励建模框架提升图形布局生成的质量和效果。

Comments 14 pages, 3 figures