语言大模型 / LLM

Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation

具有自恢复能力的失败感知强化学习：用于现实世界操控的可靠离线到在线强化学习

Huanyu Li, Kun Lei, Sheng Zang, Kaizhe Hu, Yongyuan Liang, Bo An, Xiaoli Li, Huazhe Xu

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； IIIS, Tsinghua University（清华大学人工智能研究院） ； Nanyang Technological University（南洋理工大学） ； A*STAR Institute for Infocomm Research（新加坡科技动力研究院） ； University of Maryland（马里兰大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。

Comments Project page: https://failure-aware-rl.github.io

Revisiting the Learning Objectives of Vision-Language Reward Models

重新审视视觉-语言奖励模型的学习目标

Simon Roy, Samuel Barbeau, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； Sorbonne Université（索邦大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过统一框架评估了基于VLM的奖励模型，发现简单三元组损失在性能上优于现有方法，表明改进可能源于数据和架构差异。

Comments Published as an extended abstract at World Modeling Workshop 2026

CoPHo: Classifier-guided Conditional Topology Generation with Persistent Homology

CoPHo：基于持续同调的分类器引导条件拓扑生成

Gongli Xi, Ye Tian, Mengyu Yang, Zhenyu Zhao, Yuchao Zhang, Xiangyang Gong, Xirong Que, Wendong Wang

机构 * School of Cyberspace Security, Beijing University of Posts and Telecommunications（网络安全学院，北京邮电大学） ； State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学） ； School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（计算机学院（国家级试点软件工程学院），北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 CoPHo通过持续同调和预训练分类器引导生成具有特定结构属性的拓扑图，优于现有方法并在分子数据集上验证了其可迁移性。

Comments Accepted by KDD 2026. 12 pages, 5 figures

BigCodeArena: Unveiling More Reliable Human Preferences in Code Generation via Execution

BigCodeArena: 通过执行揭示更多可靠的代码生成人类偏好

Terry Yue Zhuo, Xiaolong Jin, Hange Liu, Juyong Jiang, Tianyang Liu, Chen Gong, Bhupesh Bishnoi, Vaisakhi Mishra, Marek Suppa, Noah Ziems, Saiteja Utpala, Ming Xu, Guangyu Song, Kaixin Li, Yuhan Cao, Bo Liu, Zheng Liu, Sabina Abdurakhmanova, Wenhao Yu, Mengzhao Jia, Jihan Yao, Kenneth Hamilton, Kumar Shridhar, Minh Chien Vu, Dingmin Wang, Jiawei Liu, Zijian Wang, Qian Liu, Binyuan Hui, Meg Risdal, Ahsen Khaliq, Atin Sood, Zhenchang Xing, Wasi Uddin Ahmad, John Grundy, David Lo, Banghua Zhu, Xiaoning Du, Torsten Scholak, Leandro von Werra

机构 * Monash University（墨尔本大学） ； CSIRO’s Data61（CSIRO的数据61） ； Purdue University（普渡大学） ； Independent（独立） ； HKUST (Guangzhou)（香港科技大学（广州）） ； UCSD（加州大学圣地亚哥分校） ； UVA（弗吉尼亚大学） ； CNRS, France（法国国家科学研究中心） ； IBM ； Cisco（思科） ； Comenius University in Bratislava（布拉提斯拉瓦康门纽斯大学） ； University of Notre Dame（Notre Dame大学） ； Uber ； Tano Labs（Tano实验室） ； NUS（国立大学新加坡） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Tencent AI Lab（腾讯AI实验室） ； University of Washington（华盛顿大学） ； Nevsky Collective（Nevsky集体） ； ETH Zurich（苏黎世联邦理工学院） ； Detomo Inc（Detomo公司） ； University of Oxford（牛津大学） ； UIUC（伊利诺伊大学香槟分校） ； Google（谷歌） ； NVIDIA ； Singapore Management University（新加坡管理学院） ； ServiceNow Research（ServiceNow研究） ； Hugging Face 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 BigCodeArena通过执行揭示更多可靠的代码生成人类偏好，提出自动评分基准评估LLM编码质量。

Comments Built with love by the BigCode community :)

CAPE: Capability Achievement via Policy Execution

通过策略执行实现能力：CAPE

David Ball

机构 * Superficial Labs（超浅实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 CAPE通过策略执行实现能力，系统性地将要求转化为可执行规范并训练模型默认满足，减少违规率81%，提升能力评估效率。

Comments 32 pages, 3 figures

Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment

迈向帕累托最优的自我改进：缓解多目标对齐中的偏好冲突

Moxin Li, Yuantao Zhang, Wenjie Wang, Wentao Shi, Zhuo Liu, Fuli Feng, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种自我改进的DPO框架，通过生成帕累托最优响应缓解多目标对齐中的偏好冲突，提升模型在帕累托前沿的优化效果。

Comments ACL findings (2025)

Core Safety Values for Provably Corrigible Agents

Aran Nayebi

机构 * Aran Nayebi（独立研究者） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

Comments 14 pages. To appear in AAAI 2026 Machine Ethics Workshop (W37) Proceedings

Preference-Based Learning in Audio Applications: A Systematic Analysis

Aaron Broukhim, Yiran Shen, Prithviraj Ammanabrolu, Nadir Weibel

机构 * UC San Diego（斯克利普斯大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

GRAM-R$^2$: Self-Training Generative Foundation Reward Models for Reward Reasoning

Chenglong Wang, Yongyu Mu, Hang Zhou, Yifu Huo, Ziming Zhu, Jiali Zeng, Murun Yang, Bei Li, Xiaoyang Hao, Chunliang Zhang, Fandong Meng, Jingbo Zhu, Tong Xiao

专题命中 后训练与偏好优化 ：foundation model(abstract)；分类 cs.CL、cs.LG

Comments Accepted by AAAI 2026

Beyond Task-Oriented and Chitchat Dialogues: Proactive and Transition-Aware Conversational Agents

Yejin Yoon, Yuri Son, Namyoung So, Minseo Kim, Minsoo Cho, Chanhee Park, Seungshin Lee, Taeuk Kim

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.AI

Comments accepted to EMNLP2025

Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts

Qi Wang, Hanyang Peng, Yue Yu

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

MolChord: Structure-Sequence Alignment for Protein-Guided Drug Design

Wei Zhang, Zekun Guo, Yingce Xia, Peiran Jin, Shufang Xie, Tao Qin, Xiang-Yang Li

机构 * School of Computer Science and Technology, University of Science and Technology of China（1 计算机科学与技术学院，中国科学技术大学） ； Zhongguancun Academy（2 中关村学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments 21 pages

Preference Learning with Response Time: Robust Losses and Guarantees

Ayush Sawarni, Sahasrajit Sarmasarkar, Vasilis Syrgkanis

专题命中 后训练与偏好优化 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeurIPS 2025

Process Reward Models for Sentence-Level Verification of LVLM Radiology Reports

Alois Thomas, Maya Varma, Jean-Benoit Delbrouck, Curtis P. Langlotz

机构 * AIMI Center Stanford University（AIMI中心 斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI

Improving Video Generation with Human Feedback

Jie Liu, Gongye Liu, Jiajun Liang, Ziyang Yuan, Xiaokun Liu, Mingwu Zheng, Xiele Wu, Qiulin Wang, Menghan Xia, Xintao Wang, Xiaohong Liu, Fei Yang, Pengfei Wan, Di Zhang, Kun Gai, Yujiu Yang, Wanli Ouyang

机构 * MMLab, CUHK（CUHK媒体实验室） ； Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments https://github.com/KwaiVGI/VideoAlign

Free$^2$Guide: Training-Free Text-to-Video Alignment using Image LVLM

Jaemin Kim, Bryan Sangwoo Kim, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

Comments ICCV 2025 accepted

Predictive Preference Learning from Human Interventions

Haoyuan Cai, Zhenghao Peng, Bolei Zhou

机构 * Department of Computer Science, University of California, Los Angeles（计算机科学系，加州大学洛杉矶分校） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025 Spotlight. Project page: https://metadriverse.github.io/ppl

Dynamic Adaptive Shared Experts with Grouped Multi-Head Attention Mixture of Experts

Cheng Li, Jiexiong Liu, Yixuan Chen, Jie ji

机构 * KunLun Meta（昆仑元） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference

Xiangwei Shen, Zhimin Li, Zhantao Yang, Shiyi Zhang, Yingfang Zhang, Donghao Li, Chunyu Wang, Qinglin Lu, Yansong Tang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments 15 pages

QuesGenie: Intelligent Multimodal Question Generation

Ahmed Mubarak, Amna Ahmed, Amira Nasser, Aya Mohamed, Fares El-Sadek, Mohammed Ahmed, Ahmed Salah, Youssef Sobhy

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.CL、cs.AI

Comments 7 pages, 8 figures, 12 tables. Supervised by Dr. Ahmed Salah and TA Youssef Sobhy

MetaAgent: Toward Self-Evolving Agent via Tool Meta-Learning

Hongjin Qian, Zheng Liu

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.AI

Comments Technical Report, 14 pages

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

机构 * Visual Geometry Group, University of Oxford（牛津大学视觉几何组） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ICCV 2025 (Highlight). Project page: https://ruiningli.com/dso

Preference Models assume Proportional Hazards of Utilities

Chirag Nagpal

机构 * Meta Superintelligence Labs (MSL)（Meta超智能实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Uncalibrated Reasoning: GRPO Induces Overconfidence for Stochastic Outcomes

Michael Bereket, Jure Leskovec

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

SMART-Editor: A Multi-Agent Framework for Human-Like Design Editing with Structural Integrity

Ishani Mondal, Meera Bharadwaj, Ayush Roy, Aparna Garimella, Jordan Lee Boyd-Graber

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.AI

Comments This requires some internal approval before the public release

Disentangling Neural Disjunctive Normal Form Models

Kexin Gu Baugh, Vincent Perreault, Matthew Baugh, Luke Dickens, Katsumi Inoue, Alessandra Russo

机构 * Imperial College London（帝国理工学院伦敦分校） ； Polytechnique Montréal（蒙特利尔理工学院） ； University College London（伦敦大学学院） ； National Institute of Informatics（日本信息机构） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeSy 2025

The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret

Lukas Fluri, Leon Lang, Alessandro Abate, Patrick Forré, David Krueger, Joar Skalse

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Amsterdam（阿姆斯特丹大学） ； Oxford University（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

Comments 72 pages, 4 figures

AlignGuard: Scalable Safety Alignment for Text-to-Image Generation

Runtao Liu, I Chieh Chen, Jindong Gu, Jipeng Zhang, Renjie Pi, Qifeng Chen, Philip Torr, Ashkan Khakzar, Fabio Pizzati

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification

Yaxin Fan, Peifeng Li, Qiaoming Zhu

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL2025(main conference)

Multi-Task Reward Learning from Human Ratings

Mingkang Wu, Devin White, Evelyn Rose, Vernon Lawhern, Nicholas R Waytowich, Yongcan Cao

机构 * Department of Electrical and Computer Engineering, University of Texas at San Antonio, Texas, USA（电子与计算机工程系，德克萨斯州立大学圣安东尼奥分校） ； DEVCOM Army Research Lab, USA（陆军研究实验室） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the workshop on Models of Human Feedback for AI Alignment at the 42nd International Conference on Machine Learning