语言大模型 / LLM

Filtered Direct Preference Optimization

Tetsuro Morimura, Mitsuki Sakamoto, Yuu Jinnai, Kenshi Abe, Kaito Ariu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2024

VPO: Leveraging the Number of Votes in Preference Optimization

Jae Hyeon Cho, Minkyung Park, Byung-Jun Lee

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

How to Evaluate Reward Models for RLHF

Evan Frick, Tianle Li, Connor Chen, Wei-Lin Chiang, Anastasios N. Angelopoulos, Jiantao Jiao, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Stepwise Alignment for Constrained Language Model Policy Optimization

Akifumi Wachi, Thien Q. Tran, Rei Sato, Takumi Tanabe, Youhei Akimoto

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2024. Code and models are available at https://github.com/line/sacpo

Rethinking the Role of Proxy Rewards in Language Model Alignment

Sungdong Kim, Minjoon Seo

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2024 main conference

Modulated Intervention Preference Optimization (MIPO): Keep the Easy, Refine the Difficult

Cheolhun Jang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；SFT(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8pages, submitted to AAAI 2025

Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment

Karel D'Oosterlinck, Winnie Xu, Chris Develder, Thomas Demeester, Amanpreet Singh, Christopher Potts, Douwe Kiela, Shikib Mehri

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

TSO: Self-Training with Scaled Preference Optimization

Kaihui Chen, Hao Yi, Qingyang Li, Tianyu Qi, Yulan Hu, Fuzheng Zhang, Yong Liu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Post-Training Sparse Attention with Double Sparsity

Shuo Yang, Ying Sheng, Joseph E. Gonzalez, Ion Stoica, Lianmin Zheng

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents

Yifan Song, Da Yin, Xiang Yue, Jie Huang, Sujian Li, Bill Yuchen Lin

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to ACL 2024 Main Conference; Camera Ready

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Code, data, and models are available at https://github.com/dvlab-research/Step-DPO

Online DPO: Online Direct Preference Optimization with Fast-Slow Chasing

Biqing Qi, Pengfei Li, Fangyuan Li, Junqi Gao, Kaiyan Zhang, Bowen Zhou

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Direct Preference Optimization with an Offset

Afra Amini, Tim Vieira, Ryan Cotterell

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs

Shreyas Chaudhari, Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan, Ameet Deshpande, Bruno Castro da Silva

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Fine-Tuning Language Models with Reward Learning on Policy

Hao Lang, Fei Huang, Yongbin Li

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NAACL2024 Main Track Long Paper

Fine-Tuning Language Models with Advantage-Induced Policy Alignment

Banghua Zhu, Hiteshi Sharma, Felipe Vieira Frujeri, Shi Dong, Chenguang Zhu, Michael I. Jordan, Jiantao Jiao

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for LLM Alignment

Tianhao Wu, Banghua Zhu, Ruoyu Zhang, Zhaojin Wen, Kannan Ramchandran, Jiantao Jiao

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；RLHF(abstract)

Comments 19 pages, 5 figures

Efficient RLHF: Reducing the Memory Usage of PPO

Michael Santacroce, Yadong Lu, Han Yu, Yuanzhi Li, Yelong Shen

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation

Zhewei Yao, Xiaoxia Wu, Cheng Li, Stephen Youn, Yuxiong He

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 25 pages, 4 figures

Scheduling Mixed RL Rollouts Beyond Prefix Locality

超越前缀局部性的混合强化学习回滚调度

Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。

MemHarness: Memory Is Reconstructed, Not Replayed

MemHarness：记忆是被重构的，而非被重放的

Rong Wu, Daocheng Fu, Licheng Wen, Xuemeng Yang, Shu Zou, Jianbiao Mei, Yuxin Wang, Hairong Zhang, Yu Yang, Tao Hu, Cong Zhang, Botian Shi, Pinlong Cai

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对现有记忆增强LLM智能体的逐字重放范式缺陷，提出MemHarness框架，通过GRPO训练实现记忆重构，在ALFWorld、WebShop等任务中性能优于基线，提升了智能体推理与分布外鲁棒性。

Comments 20 pages, 13 figures

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模

Zicheng Kong, Dehua Ma, Zhenbo Xu, Alven Yang, Yiwei Ru, Haoran Wang, Zixuan Zhou, Fuqing Bie, Liuyu Xiang, Huijia Wu, Jian Zhao, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。

Comments ECCV 2026

Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models

学习从多文档中擦除私有知识以用于检索增强型大语言模型

Yujing Wang, Jinwen Chen, Hainan Zhang, Liang Pang, Yongxin Tong, Binghui Guo, Hongwei Zheng, Zhiming Zheng

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（未来区块链与隐私计算北京先进创新中心） ； School of Artificial Intelligence, Beihang University, China（北京航空航天大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究所） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；LLM(abstract_cn)；分类 cs.CL

AI总结 提出Eraser4RAG，通过构建全局知识图谱、划分私有与公共子图并微调Flan-T5重写文档，结合PPO优化，有效擦除用户定义的私有知识，保留公共知识，防御去匿名化攻击。

Data-dependent Exploration for Online Reinforcement Learning from Human Feedback

基于数据的探索：面向人类反馈的在线强化学习

Zhen-Yu Zhang, Yuting Tang, Jiandong Zhang, Lanjihong Ma, Masashi Sugiyama

机构 * Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心） ； Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院） ； Northeastern University（东北大学） ； Zhejiang Gongshang University（浙江工商大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。

Emergent Alignment

涌现对齐

Martin Kolář

机构 * CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出一种在线对齐技术，通过引入良心步骤和基于直接偏好优化的对齐损失，使大语言模型在训练、微调、对抗提示和零样本学习中自我纠正非伦理输出。

Comments Rejected from ICML 2026

Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance

多语言情感感知文本摘要：一种用于一致性维护的强化学习方法

Mikhail Krasitskii, Alexander Gelbukh, Olga Kolesnikova, Grigori Sidorov

机构 * Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)（国立理工学院（IPN），计算研究中心（CIC）） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究RLHF摘要中的情感漂移现象，提出基于策略归因框架的情感感知KL正则化方法，在保持摘要质量的同时缓解情感中性化。

What Do People Actually Want From AI? Mapping Preference Plurality

人们真正希望从AI中得到什么？偏好多元性映射

Julia Sepúlveda Coelho, Scott A. Hale

机构 * Oxford Internet Institute, University of Oxford（牛津大学互联网研究所） ； Meedan 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析75个国家1500份开放式回答，发现不同人对AI的期望各异，多数价值观仅被少数人要求，且同一词语（如“真实性”）含义分歧，某些能力存在争议，揭示当前RLHF偏好聚合方法的根本缺陷。

Comments Accepted at the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)

Self-Reflective Generation at Test Time

测试时的自反生成

Jian Mu, Qixin Zhang, Zhiyong Wang, Menglin Yang, Shuang Qiu, Chengwei Qin, Zhongxiang Dai, Yao Shu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SRGen框架，通过动态熵阈值识别高不确定性token并训练校正向量，在测试时进行自反生成以纠正概率分布，提升大模型推理的可靠性。

Grid Games: The Power of Multiple Grids for Quantizing Large Language Models

网格游戏：多个网格在量化大语言模型中的力量

Vage Egiazarian, Erik Schultheis, Andrei Panferov, Earl Killian, Torsten Hoefler, Dan Alistarh

机构 * ISTA ； ETH Zürich（苏黎世联邦理工学院） ； Red Hat AI（红帽人工智能） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了通过多个网格提升大语言模型量化效果的方法，提出PO2网格问题并展示其在不同模型中的优势，实验表明自适应网格能提升精度。

Comments Preprint

Schedule-and-Calibrate: Utility-Guided Multi-Task Reinforcement Learning for Code LLMs

调度与校准：面向代码LLM的实用导向多任务强化学习

Yujia Chen, Yang Ye, Xiao Chu, Yuchi Ma, Cuiyun Gao

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文提出ASTOR框架，通过任务实用性驱动的协调机制，提升多任务强化学习在代码LLM中的效果，实验显示其在多个编码任务中优于专用专家和基线方法。