语言大模型 / LLM

SHE: Stepwise Hybrid Examination Reinforcement Learning Framework for E-commerce Search Relevance

SHE：面向电商搜索相关性的分步混合检验强化学习框架

Pengkun Jiao, Yiming Jin, Jianhui Yang, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出SHE框架，通过分步奖励策略优化提升电商搜索相关性预测的逻辑一致性与准确性，优于SFT、DPO等基线方法。

QiMeng-PRepair: Precise Code Repair via Edit-Aware Reward Optimization

QiMeng-PRepair: 通过编辑感知奖励优化实现精确代码修复

Changxin Ke, Rui Zhang, Jiaming Guo, Yuanbo Wen, Li Ding, Shuo Wang, Xuyuan Zhu, Xiong Peng, Di Huang, Zidong Du, Xing Hu, Qi Guo, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器芯片国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Microelectronics, CAS（中国科学院微电子研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出PRepair框架，通过Self-Breaking和Self-Repairing组件减少过度编辑，提升代码修复精度，实验显示在fix_1@1指标下精度提升31.4%。

Comments Accepted to ACL 2026 main conference

How Humans Help LLMs: Assessing and Incentivizing Human Preference Annotators

人类如何帮助大语言模型：评估和激励人类偏好标注者

Shang Liu, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li

机构 * Imperial College Business School, Imperial College London（帝国理工学院商学院，帝国理工学院） ； University of Sydney Business School, University of Sydney（悉尼大学商学院，悉尼大学） ； Meta 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究如何监控人类偏好标注者质量及激励机制，提出自一致性监控方案并分析样本复杂度，揭示标注样本数量与合同性能的关系。

TSPO: Breaking the Double Homogenization Dilemma in Multi-turn Search Policy Optimization

TSPO：突破多轮搜索策略优化中的双重均质化困境

Shichao Ma, Zhiyuan Ma, Ming Yang, Xiaofan Li, Xing Wu, Jintao Du, Yu Cheng, Weiqiang Wang, Qiliang Liu, Zhengyang Zhou, Yang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tiansuan Lab, Ant Group Co., Ltd.（天算实验室，蚂蚁集团） ； Fudan University（复旦大学） ； East China Normal University（华东师范大学） ； Central South University（中南大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出TSPO方法，通过引入首次出现潜在奖励机制，解决多轮搜索策略优化中的过程均质化和组内均质化问题，提升模型性能。

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

从探索到利用：一种两阶段熵RLVR方法用于噪声容忍的多模态大语言模型训练

Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

机构 * Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种两阶段熵优化方法，通过探索阶段提升输出多样性，利用阶段提高预测准确性，增强噪声容忍能力，实验证明在不同模型和任务中均优于现有方法。

Learning to Rank Caption Chains for Video-Text Alignment

学习排名图注链以实现视频-文本对齐

Ansel Blume, Burak Uzkent, Shalini Chaudhuri, Garin Kessler

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon Prime Video（亚马逊Prime Video） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 本文提出通过重复图注退化生成大规模挑战性图注链，改进视频-文本对齐的排名优化方法，优于二元DPO并在长形式内容生成中表现更优，需对视觉编码器进行微调。

Gaze patterns predict preference and confidence in pairwise AI image evaluation

注视模式预测成对AI图像评估中的偏好和信心

Nikolas Papadopoulos, Shreenithi Navaneethan, Sheng Bai, Ankur Samanta, Paul Sajda

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 研究通过眼动追踪揭示成对AI图像评估中的偏好形成过程，发现注视模式能预测二元选择和信心，表明眼动数据能提供与偏好注释质量相关的隐含信号。

Comments This paper has been accepted to ACM ETRA 2026

PrefPO: Pairwise Preference Prompt Optimization

PrefPO：基于配对偏好的提示优化

Rahul Singhal, Pradyumna Tambwekar, Karime Maamari

机构 * Distyl AI 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 PrefPO通过强化学习反馈机制优化提示，无需标注数据即可提升模型性能，在多个基准测试中表现优异，同时改善提示质量并减少提示黑客问题。

Comments Code and data available at https://github.com/DistylAI/prefpo and https://huggingface.co/datasets/rahul-singhal/IFEval-Hard

Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement

视觉反馈提升布局：用于迭代文本布局优化的视觉反馈

Junrong Guo, Shancheng Fang, Yadong Qu, Hongtao Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出VFLM模型，通过视觉反馈迭代优化文本布局，提升生成质量，实验表明其优于现有方法。

Comments Accepted by CVPR 2026

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

面向流形的探索用于视频生成的强化学习

Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

机构 * Tencent Hunyuan（腾讯文脉） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出SAGE-GRPO方法，通过在微和宏观层面约束探索，确保在视频数据流形附近进行，提升视频生成的质量和奖励估计的可靠性。

Comments 17 pages, 12 figures

TIC-GRPO: Provable and Efficient Optimization for Reinforcement Learning from Human Feedback

TIC-GRPO：基于人类反馈的强化学习优化的可证明和高效方法

Lei Pang, Jun Luo, Ruinan Jin

机构 * Peking University, Beijing, China（北京大学） ； The Ohio State University, Columbus, USA（俄亥俄州立大学） ； Shugu Yuntai Technology Co., Ltd.（舒guard云泰科技有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出TIC-GRPO算法，通过改进重要性采样方法，提升GRPO在人类反馈强化学习中的性能与收敛速度。

Comments 44 pages

Leum-VL Technical Report

Leum-VL 技术报告

Yuxuan He, Chaiming Huang, Yifan Wu, Hongjun Wang, Chenkui Shen, Jifan Zhang, Long Li

机构 * Hainan Sihe Data Technology Co., Ltd.（海南世和数据技术有限公司） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出SV6D框架，通过六维结构化表示解析视频内容，构建Leum-VL-8B模型，在多个基准测试中取得优异成绩，强调视频AI需关注结构表示而非像素生成。

Comments 27 pages, 5 figures

ToolRLA: Multiplicative Reward Decomposition for Tool-Integrated Agents

ToolRLA: 工具集成代理的乘法奖励分解

Pengbo Liu

专题命中 后训练与偏好优化 ：post-training(abstract)；SFT(abstract)；分类 cs.AI

AI总结 ToolRLA通过乘法奖励分解提升工具集成代理的任务完成率、减少错误与违规，实现高效领域特定部署。

Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder

学习多语句层面的属性表示：统一的语音编码器

Maryem Bouziane, Salima Mdhaffar, Yannick Estève

机构 * LIA - Avignon Université, France（阿维尼翁大学LIA中心，法国） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出统一的后训练框架，使语音基础模型能生成多种语句层面的表示，用于多语言语音检索和说话人识别。

Comments Submitted to Interspeech

VRM: Teaching Reward Models to Understand Authentic Human Preferences

VRM：教奖励模型理解真实人类偏好

Biao Liu, Ning Xu, Junming Yang, Hao Xu, Xin Geng

机构 * Southeast University, Nanjing, China（东南大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 VRM通过建模人类偏好判断的评估过程，利用变分推断技术提升对真实人类偏好的捕捉能力。

VidGuard-R1: AI-Generated Video Detection and Explanation via Reasoning MLLMs and RL

VidGuard-R1: 通过推理MLLMs和RL进行AI生成视频检测与解释

Kyoungjun Park, Yifan Yang, Juheon Yi, Shicheng Zheng, Yifei Shen, Dongqi Han, Caihua Shan, Muhammad Muaz, Lili Qiu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Microsoft Research（微软研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 VidGuard-R1通过推理MLLMs和强化学习，实现AI生成视频的高准确检测与可解释性分析。

Comments Accepted to ICLR 2026

Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models

奉承、浮夸与雾：诊断和缓解偏好模型中的固有偏见

Anirudh Bharadwaj, Chaitanya Malaviya, Nitish Joshi, Mark Yatskar

机构 * University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本研究通过反事实数据增强方法缓解偏好模型中的固有偏见，减少校准错误和偏斜差异，提升模型可靠性。

Comments Published at ICLR 2026; Code and data available at https://github.com/anirudhb123/preference-model-biases

Inherited Goal Drift: Contextual Pressure Can Undermine Agentic Goals

继承性目标漂移：情境压力可能削弱代理目标

Achyutha Menon, Magnus Saebo, Tyler Crosse, Spencer Gibson, Eyon Jang, Diogo Cruz

机构 * UC San Diego（加州大学圣地亚哥分校） ； Columbia University（哥伦比亚大学） ； Georgia Tech（佐治亚理工学院） ； MATS ； SPAR 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文研究了语言模型在面对情境压力时目标漂移的继承性问题，发现模型在不同环境下表现出不一致的鲁棒性，强调了对训练后技术改进的必要性。

Comments 22 pages, 7 figures. Accepted at ICLR 2026 Lifelong Agents Workshop

ACE-Brain-0: Spatial Intelligence as a Shared Scaffold for Universal Embodiments

ACE-Brain-0：空间智能作为通用具身化体系的共享框架

Ziyang Gong, Zehang Luo, Anke Tang, Zhe Liu, Shi Fu, Zhi Hou, Ganlin Yang, Weiyun Wang, Xiaofeng Wang, Jianbo Liu, Gen Luo, Haolan Kang, Shuang Luo, Yue Zhou, Yong Luo, Li Shen, Xiaosong Jia, Yao Mu, Xue Yang, Chunxiao Liu, Junchi Yan, Hengshuang Zhao, Dacheng Tao, Xiaogang Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； University of Science（科学技术大学） ； Fudan University（复旦大学） ； Xiamen University（厦门大学） ； East China Normal University（华东师范大学） ； Wuhan University（武汉大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ACE-Brain-0 通过空间智能作为共享框架，统一了自动驾驶、机器人和 UAVs 的具身化任务，采用 SSR 范式和 GRPO 方法实现跨领域泛化和领域精通的平衡。

Comments Code: https://github.com/ACE-BRAIN-Team/ACE-Brain-0 Hugging Face: https://huggingface.co/ACE-Brain/ACE-Brain-0-8B

From Shallow to Deep: Pinning Semantic Intent via Causal GRPO

从浅层到深层：通过因果GRPO固定语义意图

Shuyi Zhou, Zeen Song, Wenwen Qiang, Jiyan Sun, Yao Zhou, Yinlong Liu, Wei Ma

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过因果GRPO框架，解决大型语言模型对对抗性前缀攻击的脆弱性问题，实现意图固定以提升安全性和鲁棒性。

Retrieval, Refinement, and Ranking for Text-to-Video Generation via Prompt Optimization and Test-Time Scaling

通过提示优化和测试时扩展实现文本到视频生成的检索、细化与排序

Zillur Rahman, Alex Sheng, Cristian Meo

机构 * Algoverse AI 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出3R框架，通过提示优化和测试时扩展提升文本到视频生成的准确性与效率。

Comments 2026 ICLR TTU Workshop

DIVA-GRPO: Enhancing Multimodal Reasoning through Difficulty-Adaptive Variant Advantage

DIVA-GRPO：通过难度自适应变体优势增强多模态推理

Haowen Gao, Zhenyu Zhang, Liang Pang, Fangda Guo, Hongjian Dou, Guannan Lv, Shaoguo Liu, Tingting Gao, Huawei Shen, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS, Beijing, China（人工智能安全国家重点实验室，计算技术研究所，中国科学院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Kuaishou Technology, Beijing, China（快手科技，北京，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DIVA-GRPO通过难度自适应变体优势方法提升多模态推理能力，解决GRPO在困难问题上的奖励稀疏性和优势消失问题，提升训练稳定性与推理性能。

Comments Accepted to ICLR 2026. Code and models are available at https://github.com/Siaaaaaa1/DIVA-GRPO

Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards

基于前瞻树的rollouts用于增强强化学习中轨迹层面的探索

Shangyu Xing, Siyuan Wang, Chenyuan Yang, Xinyu Dai, Xiang Ren

机构 * Nanjing University（南京大学） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 基于前瞻树的rollouts通过促进轨迹多样性提升强化学习中策略学习效率

FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation

FlowPortrait：基于强化学习的音频驱动肖像视频生成

Weiting Tan, Andy T. Liu, Ming Tu, Xinghua Qu, Philipp Koehn, Lu Lu

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统，提升音频驱动肖像视频生成的质量和表现力。

SimpleOCR: Rendering Visualized Questions to Teach MLLMs to Read

SimpleOCR: 将可视化问题呈现以教导大语言模型阅读

Yibo Peng, Peng Xia, Ding Zhong, Kaide Zeng, Siwei Han, Yiyang Zhou, Jiaqi Liu, Ruiyi Zhang, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SimpleOCR通过强制模型视觉参与，解决多模态大语言模型在图像中阅读文本的性能问题，提升模型的视觉文本提取能力。

Balancing Multiple Objectives in Urban Traffic Control with Reinforcement Learning from AI Feedback

在人工智能反馈中平衡城市交通控制的多个目标

Chenyang Zhao, Vinny Cahill, Ivana Dusparic

机构 * Trinity College Dublin（都柏林三一学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用人工智能反馈方法在城市交通控制中平衡多个目标，通过多目标自适应系统实现无需繁琐奖励工程的策略学习。

PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding

PromptCD：通过极性提示对比解码提升测试时行为

Baolong Bi, Yuyao Ge, Shenghua Liu, Yuchen He, Siqian Tong, Lizhe Chen, Lingrui Mei, Zehao Li, Yiwei Wang, Yujun Cai, Ming-Hsuan Yang, Xueqi Cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PromptCD通过极性提示对比解码在测试时提升LLM和VLM的行为一致性，实现无需额外训练的广泛增强。

GRRM: Group Relative Reward Modeling for Machine Translation

GRRM：用于机器翻译的组相对奖励建模

Sen Yang, Shanbo Cheng, Lu Xu, Jianbing Zhang, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出GRRM，通过组相对奖励模型提升机器翻译的排名准确性和推理能力。

Comments 19 pages, 6 figures

P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling

P-GenRM：具有测试时用户基于缩放的个性化生成奖励模型

Pinyi Zhang, Ting-En Lin, Yuchuan Wu, Jingyang Chen, Zongqi Wang, Hua Yang, Ze Xu, Fei Huang, Kai Zhang, Yongbin Li

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 P-GenRM通过测试时用户基于缩放机制，实现个性化生成奖励模型，提升用户偏好适应性和泛化能力。

Comments Accepted as ICLR 2026 Oral

Displacement-Resistant Extensions of DPO with Nonconvex $f$-Divergences

对抗位移的DPO扩展：非凸f-散度

Idan Pipano, Shoham Sabach, Kavosh Asadi, Mohammad Ghavamzadeh

机构 * Faculty of Data and Decision Sciences（数据与决策科学学院） ； Technion - Israel Institute of Technology（技术ion-以色列理工学院） ； Meta ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出了一种对抗位移的DPO扩展方法，通过非凸f-散度改进了传统DPO，提供了更强的理论保证和实际表现。

Comments Published as a conference paper at ICLR 2026