语言大模型 / LLM

GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning

GRACE：一种用于可解释逆强化学习的语言模型框架

Silvia Sapora, Devon Hjelm, Alexander Toshev, Omar Attia, Bogdan Mazoure

机构 * Apple（苹果公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。

Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?

基于直接偏好优化的LM对齐中，策略数据是否总是最佳选择？

Zetian Sun, Dongfang Li, Xuhui Chen, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出对齐阶段假设，通过理论和实证分析，揭示了静态与策略偏好数据在LM对齐中的效果差异，并提出算法识别对齐阶段边界。

Comments Accepted by ICLR-2026

Unsupervised Elicitation of Language Models

无监督的语言模型引导

Jiaxin Wen, Zachary Ankner, Arushi Somani, Peter Hase, Samuel Marks, Jacob Goldman-Wetzler, Linda Petrini, Henry Sleight, Collin Burns, He He, Shi Feng, Ethan Perez, Jan Leike

机构 * Anthropic ； Schmidt Sciences ； New York University（纽约大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出无监督算法ICM，通过模型自动生成标签来微调语言模型，无需外部监督，在多个任务中表现出色，尤其在超人类能力任务中表现更优。

Segmental Advantage Estimation: Enhancing PPO for Long-Context LLM Training

段落优势估计：增强PPO用于长上下文LLM训练

Xue Gong, Qi Yi, Ziyuan Nan, Guanhua Huang, Kejiao Li, Yuhao Jiang, Ruibin Xiong, Zenan Xu, Jiaming Guo, Shaohui Peng, Bo Zhou

机构 * LLM Department, Tencent（腾讯大语言模型部门） ； University of Chinese Academy of Sciences（中国科学院大学） ； Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心） ； State Key Lab of Processors, Institute of Computing Technology, CAS（计算技术研究所处理器国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 段落优势估计通过减少稀疏奖励环境中的偏差，提升PPO在长上下文LLM训练中的稳定性和效率

Meta-Learning Objectives for Preference Optimization

元学习目标用于偏好优化

Carlo Alfano, Silvia Sapora, Jakob Nicolaus Foerster, Patrick Rebeschini, Yee Whye Teh

机构 * Department of Statistics University of Oxford（统计系牛津大学） ； Department of Engineering University of Oxford（工程系牛津大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于镜像下降的新型偏好优化算法MPO，通过进化策略发现针对特定偏好数据集属性的算法，并在MuJoCo和大语言模型对齐任务中取得显著效果。

Sample, Don't Search: Rethinking Test-Time Alignment for Language Models

样本，而非搜索：重新思考语言模型的测试时间对齐

Gonçalo Faria, Noah A. Smith

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 QAlign通过增加测试时间计算量，改进语言模型输出对齐，优于现有方法如best-of-n和多数投票。

Structure-Aligned Protein Language Model

结构对齐的蛋白质语言模型

Can Chen, David Heurtel-Depeiges, Robert M. Vernon, Christopher James Langmead, Yoshua Bengio, Quentin Fournier

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Chandar Research Lab（钱达尔研究实验室） ； Polytechnique Montréal（蒙特利尔理工学院） ； Amgen（安进公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 通过结构对齐方法提升蛋白质语言模型的结构知识，增强其在生物应用中的性能。

Comments 28 pages, 16 figures, 9 tables

Better World Models Can Lead to Better Post-Training Performance

更好的世界模型可以导致更好的训练后性能

Prakhar Gupta, Henry Conklin, Sarah-Jane Leslie, Andrew Lee

机构 * University of Michigan（密歇根大学） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过比较不同世界建模策略，发现显式建模能提升Transformer的状态表示质量，从而增强强化学习后训练的效果。

The Sign Estimator: LLM Alignment in the Face of Choice Heterogeneity

Ali Aouad, Aymane El Gadarri, Vivek F. Farias

机构 * MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Evaluating and Improving Cultural Awareness of Reward Models for LLM Alignment

Hongbin Zhang, Kehai Chen, Xuefeng Bai, Yang Xiang, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（计算与智能研究所，哈尔滨工业大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Under review;Work in progress;

Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models

Samuel Paech, Allen Roush, Judah Goldfeder, Ravid Shwartz-Ziv

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Comments 11 pages + appendices, 16 figures

LLM Safety Alignment is Divergence Estimation in Disguise

Rajdeep Haldar, Ziyi Wang, Qifan Song, Guang Lin, Yue Xing

机构 * Department of Statistics, Purdue University（普渡大学统计系） ； Department of Statistics, Michigan State University（密歇根州立大学统计系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Accepted to NeurIPS 2025

Balancing Act: Prioritization Strategies for LLM-Designed Restless Bandit Rewards

Shresth Verma, Niclas Boehmer, Lingkai Kong, Milind Tambe

机构 * Harvard University, USA（哈佛大学） ； Hasso Plattner Institute, Germany（哈索普拉特纳研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

VimoRAG: Video-based Retrieval-augmented 3D Motion Generation for Motion Language Models

Haidong Xu, Guangwei Xu, Zhedong Zheng, Xiatian Zhu, Wei Ji, Xiangtai Li, Ruijie Guo, Meishan Zhang, Min zhang, Hao Fei

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； University of Macau（澳门大学） ； University of Surrey（Surrey大学） ； Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025; Project Page: https://walkermitty.github.io/VimoRAG

Aligning Language Models with Clinical Expertise: DPO for Heart Failure Nursing Documentation in Critical Care

Junyi Fan, Li Sun, Negin Ashrafi, Kamiar Alaei, Maryam Pishgar

机构 * University of Southern California（南加州大学） ； California State University（加州州立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF

Jing Liu

机构 * ENS, Université PSL, EHESS, CNRS（高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

MT-RewardTree: A Comprehensive Framework for Advancing LLM-Based Machine Translation via Reward Modeling

Zhaopeng Feng, Jiahan Ren, Jiayuan Su, Jiamei Zheng, Hongwei Wang, Zuozhu Liu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings. Project page:https://sabijun.github.io/MT_RewardTreePage

Energy-Based Reward Models for Robust Language Model Alignment

Anamika Lochab, Ruqi Zhang

机构 * Department of Computer Science（计算机科学系） ； Purdue University（普渡大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted by COLM 2025

Cosmos World Foundation Model Platform for Physical AI

NVIDIA, :, Niket Agarwal, Arslan Ali, Maciej Bala, Yogesh Balaji, Erik Barker, Tiffany Cai, Prithvijit Chattopadhyay, Yongxin Chen, Yin Cui, Yifan Ding, Daniel Dworakowski, Jiaojiao Fan, Michele Fenzi, Francesco Ferroni, Sanja Fidler, Dieter Fox, Songwei Ge, Yunhao Ge, Jinwei Gu, Siddharth Gururani, Ethan He, Jiahui Huang, Jacob Huffman, Pooya Jannaty, Jingyi Jin, Seung Wook Kim, Gergely Klár, Grace Lam, Shiyi Lan, Laura Leal-Taixe, Anqi Li, Zhaoshuo Li, Chen-Hsuan Lin, Tsung-Yi Lin, Huan Ling, Ming-Yu Liu, Xian Liu, Alice Luo, Qianli Ma, Hanzi Mao, Kaichun Mo, Arsalan Mousavian, Seungjun Nah, Sriharsha Niverty, David Page, Despoina Paschalidou, Zeeshan Patel, Lindsey Pavao, Morteza Ramezanali, Fitsum Reda, Xiaowei Ren, Vasanth Rao Naik Sabavat, Ed Schmerling, Stella Shi, Bartosz Stefaniak, Shitao Tang, Lyne Tchapmi, Przemek Tredak, Wei-Cheng Tseng, Jibin Varghese, Hao Wang, Haoxiang Wang, Heng Wang, Ting-Chun Wang, Fangyin Wei, Xinyue Wei, Jay Zhangjie Wu, Jiashu Xu, Wei Yang, Lin Yen-Chen, Xiaohui Zeng, Yu Zeng, Jing Zhang, Qinsheng Zhang, Yuxuan Zhang, Qingqing Zhao, Artur Zolkowski

机构 * NVIDIA 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance

Rudransh Agnihotri, Ananya Pandey

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

David and Goliath: Small One-step Model Beats Large Diffusion with Score Post-training

Weijian Luo, Colin Zhang, Debing Zhang, Zhengyang Geng

专题命中 后训练与偏好优化 ：post-training(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Revision: paper accepted by the ICML2025 main conference

Adversarial Preference Learning for Robust LLM Alignment

Yuanfu Wang, Pengyu Wang, Chenyang Xi, Bo Tang, Junyi Zhu, Wenqiang Wei, Chen Chen, Chao Yang, Jingfeng Zhang, Chaochao Lu, Yijun Niu, Keming Mao, Zhiyu Li, Feiyu Xiong, Jie Hu, Mingchuan Yang

专题命中 后训练与偏好优化 ：LLM(title)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ACL2025 Findings

Tradeoffs Between Alignment and Helpfulness in Language Models with Steering Methods

Yotam Wolf, Noam Wies, Dorin Shteyman, Binyamin Rothberg, Yoav Levine, Amnon Shashua

机构 * The Hebrew University（希伯来大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Interactive Post-Training for Vision-Language-Action Models

Shuhan Tan, Kairan Dou, Yue Zhao, Philipp Krähenbühl

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Comments Project page: https://ariostgx.github.io/ript_vla/

A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO

Xingyu Zhou, Yulian Wu, Francesco Orabona

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models

Zongkai Liu, Fanqing Meng, Lingxiao Du, Zhixiang Zhou, Chao Yu, Wenqi Shao, Qiaosheng Zhang

机构 * Sun Yat-Sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Policy-labeled Preference Learning: Is Preference Enough for RLHF?

Taehyun Cho, Seokhun Ju, Seungyub Han, Dohyeong Kim, Kyungjae Lee, Jungwoo Lee

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

Curriculum Direct Preference Optimization for Diffusion and Consistency Models

Florinel-Alin Croitoru, Vlad Hondru, Radu Tudor Ionescu, Nicu Sebe, Mubarak Shah

机构 * University of Bucharest（布加勒斯特大学） ； University of Trento（特伦托大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Accepted at CVPR 2025

Self-Improving Robust Preference Optimization

Eugene Choi, Arash Ahmadian, Matthieu Geist, Oilvier Pietquin, Mohammad Gheshlaghi Azar

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

On Data Synthesis and Post-training for Visual Abstract Reasoning

Ke Zhu, Yu Wang, Jiangjiang Liu, Qunyi Xie, Shanshan Liu, Gang Zhang

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI