语言大模型 / LLM

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse Reinforcement Learning

Jared Joselowitz, Ritam Majumdar, Arjun Jagota, Matthieu Bou, Nyal Patel, Satyapriya Krishna, Sonali Parbhoo

机构 * Imperial College London（伦敦帝国学院） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

Comments Published as a conference paper at COLM 2025

Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Zhejiang University of Technology（浙江工业大学） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Comments Project webpage: https://aim-uofa.github.io/dLLM-MidTruth

SEE-DPO: Self Entropy Enhanced Direct Preference Optimization

Shivanshu Shekhar, Shreyas Singh, Tong Zhang

机构 * Siebel School of Computing and Data Science（计算与数据科学学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Fractal AI Research（Fractal AI研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

SPOGW: a Score-based Preference Optimization method via Group-Wise comparison for workflows

Yitong Cui, Liu Liu, Baosheng Yu, Jiayan Qiu, Xikai Zhang, Likang Xiao, Yixing Liu, Quan Chen

机构 * Hangzhou International Innovation Institute and , Beihang University（杭州国际创新研究院和 北航） ； School of Artificial Intelligence, Beihang University（人工智能学院，北航） ； Nanyang Technological University（南洋理工大学） ； University of Leicester（莱斯特大学） ； China Mobile Communications Company Limited Research Institute（中国移动通信有限公司研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Divergence Minimization Preference Optimization for Diffusion Model Alignment

Binxu Li, Minkai Xu, Jiaqi Han, Meihua Dang, Stefano Ermon

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.LG

SSFO: Self-Supervised Faithfulness Optimization for Retrieval-Augmented Generation

Xiaqiang Tang, Yi Wang, Keyu Hu, Rui Xu, Chuang Li, Weigao Sun, Jian Li, Sihong Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Chinese Academy of Sciences（中国科学院） ； Shanghai AI Lab（上海人工智能实验室） ； Tencent Hunyuan（腾讯文英） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

Comments Working in progress

From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models

Mingkang Zhu, Xi Chen, Bei Yu, Hengshuang Zhao, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Rethinking KL Regularization in RLHF: From Value Estimation to Gradient Optimization

Kezhao Liu, Jason Klein Liu, Mingtao Chen, Yiming Liu

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

Fine Tuning Methods for Low-resource Languages

Tim Bakkenes, Daniel Wang, Anton Johansson

机构 * Department of Computer Science, Tsinghua University（清华大学计算机科学系） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning

Yuzheng Hu, Fan Wu, Haotian Ye, David Forsyth, James Zou, Nan Jiang, Jiaqi W. Ma, Han Zhao

机构 * UIUC Urbana（伊利诺伊大学 Urbana分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025 as an oral

Cross-Modal Content Optimization for Steering Web Agent Preferences

Tanqiu Jiang, Min Bai, Nikolaos Pappas, Yanjun Qi, Sandesh Swamy

机构 * Stony Brook University（石溪大学） ； AWS AI Labs（亚马逊人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)；分类 cs.AI

Improving Consistency in Retrieval-Augmented Systems with Group Similarity Rewards

Faisal Hamman, Chenyang Zhu, Anoop Kumar, Xujun Peng, Sanghamitra Dutta, Daben Liu, Alfy Samuel

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； Capital One 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025 Workshop on Reliable ML from Unreliable Data

RLRF: Competitive Search Agent Design via Reinforcement Learning from Ranker Feedback

Tommy Mordo, Sagie Dekel, Omer Madmon, Moshe Tennenholtz, Oren Kurland

机构 * Faculty of Data and Decision Sciences（数据与决策科学学院） ； Technion – Israel Institute of Technology（技术学院–以色列理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.LG

Group Policy Gradient

Junhua Chen, Zixi Zhang, Hantao Zhong, Rika Antonova

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.LG