语言大模型 / LLM

PersoDPO: Scalable Preference Optimization for Instruction-Adherent, Persona-Grounded Dialogue via Multi-LLM Evaluation

PersoDPO: 通过多LLM评估实现可扩展的偏好优化

Saleh Afzoon, MohammadHossein Ahmadi, Usman Naseem, Amin Beheshti

机构 * School of Computing, Macquarie University（计算机学院，麦考瑞大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 PersoDPO通过多LLM评估实现可扩展的偏好优化，提升对话系统的人格导向和上下文连贯性。

Comments Accepted at WISE 2025 Conference

RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs

仅名义上的强化学习？分析在LLM中post-training强化学习的结构假设

Soumya Rani Samineni, Durgesh Kalwar, Karthik Valmeekam, Kaya Stechly, Subbarao Kambhampati

机构 * SCAI, Arizona State University（SCAI，亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析了LLM post-training强化学习的结构假设，发现其退化为过滤迭代SFT，且激励生成更长的中间token序列。

Improving Detection of Watermarked Language Models

提升水印语言模型的检测能力

Dara Bahri, John Wieting

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；RLHF(abstract)

AI总结 本文通过结合水印与非水印检测器提升大型语言模型的检测能力。

Comments Published at TMLR 2026

Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization

通过熵增强的多轮偏好优化构建编码代理

Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

机构 * Department of Computer Science, Northwestern University, Evanston, USA（西北大学计算机科学系） ； Meta AI, Bellevue, USA（Meta AI） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出EntroPO框架，通过增强熵的方法提升多轮交互中编码代理的性能，实现更高效的测试时间扩展。

Adaptive Helpfulness-Harmlessness Alignment with Preference Vectors

基于偏好向量的自适应有益有害对齐

Ren-Wei Liang, Chin-Ting Hsu, Chan-Hung Yu, Saransh Agrawal, Shih-Cheng Huang, Chieh-Yen Lin, Shang-Tse Chen, Kuan-Hao Huang, Shao-Hua Sun

机构 * National Taiwan University（国立台湾大学） ； Texas A&M University（德克萨斯A&M大学） ； Appier AI Research（Appier人工智能研究院） ； Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；preference optimization(abstract)

AI总结 本文提出偏好向量框架，通过模块化方法实现细粒度的用户可控偏好调整，提升大语言模型的有益性和无害性平衡。

Comments Accepted at The 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026), Rabat, Morocco

Extending RLVR to Open-Ended Tasks via Verifiable Multiple-Choice Reformulation

通过可验证的多选改写扩展RLVR以应对开放性任务

Mengyu Zhang, Siyu Ding, Weichong Yin, Yu Sun, Hua Wu

机构 * Baidu Ernie Team（百度文心团队） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出VMR-RLVR方法，通过将开放性任务数据转化为可验证的多选格式，提升LLM在无明确真实值情况下开放性任务的推理能力。

Comments 8 pages

DeepVideo-R1: Video Reinforcement Fine-Tuning via Difficulty-aware Regressive GRPO

DeepVideo-R1: 通过难度感知的回归GRPO实现视频强化微调

Jinyoung Park, Jeehye Na, Jinyoung Kim, Hyunwoo J. Kim

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Korea University（韩国大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 DeepVideo-R1通过回归GRPO和难度感知数据增强，提升视频大语言模型的推理能力。

Comments NeurIPS 2025

GOPO: Policy Optimization using Ranked Rewards

GOPO：基于排名奖励的策略优化

Kyuseong Choi, Dwaipayan Saha, Woojeong Kim, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国） ； Columbia University, NY, United States（哥伦比亚大学，纽约，美国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。

Comments 17 pages, 8 figures

Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition

超越单模态捷径：MLLMs作为跨模态推理器用于 grounded 命名实体识别

Jinlong Ma, Yu Zhang, Xuefeng Bai, Kehai Chen, Yuwei Wang, Zeming Liu, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MCR方法，通过多风格推理模式注入和约束引导的可验证优化，解决MLLMs在跨模态推理中的模态偏见问题，提升 grounded 命名实体识别的性能。

Comments GMNER