语言大模型 / LLM

Towards Reasonable Molecular Structure Elucidation from Infrared Spectroscopy with Chemical Feedback

基于化学反馈的红外光谱合理分子结构解析研究

Yusen Tan, Hongyu Zhan, Hai-tao Yu, Changxi Chi, Wenjie Du, Jun Xia

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Westlake University（西湖大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract,abstract_cn)；分类 cs.LG

AI总结 针对现有分子结构解析模型预测结果不合理的问题，提出化学反馈驱动的FIRMPO框架，在三类红外数据集上显著提升了解析准确性。

Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision

基于执行可验证监督的强化学习引导小众多语言代码翻译

Kouki Yuki, Jie Zeng, Kyoko Ogawa, Ryunosuke Ikeda, Yohei Kobashi, Takeshi Kojima, Ikuya Yamada, Yusuke Iwasawa, Yutaka Matsuo

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究针对多语言代码翻译中热门语言外场景并行监督稀缺、翻译不可执行的问题，提出基于执行监督的偏好强化学习方法，引入HumanEval-X++基准，用Qwen模型验证了方法的有效性。

Comments 11 pages, 3 figures, 5 tables. Preprint under review

Rules or Character? Scaling Laws for AI Safety Design

规则还是特性？AI安全设计的缩放定律

Satoshi Takahashi, Nobuji Kouno, Masaaki Komatsu, Ryuji Hamamoto

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究构建模型分析AI安全的特性塑造与规则执行的资源分配，发现部署规模对最优分配影响较小，特性脆弱率才是主导因素，二者的最优值在大规模部署下会收敛。

Comments Accepted at AIES 2026 (9th AAAI/ACM Conference on AI, Ethics, and Society). 10 pages, 6 figures, 4 tables

Scaling Automatic Research Agents via World Models

通过世界模型扩展自动研究智能体

Xiyuan Yang, Sheikh Sarwar, Jingru Cheng, Zhan Shi, Duanshun Li, Huiyuan Chen, Haiyang Zhang, Chenlei Guo, Jingrui He, Zhenyu Liao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 针对自动研究智能体扩展时的训练瓶颈，提出WMRL方法，结合两种缓解措施提升收敛性，训练加速3-4倍且性能优于更大规模智能体，还可迁移至多类任务。

Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence

超越试错：面向图像到视频一致性的智能体优化

Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson

机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。

Contextual Information Policy Optimization for Search Agents

面向搜索智能体的上下文信息策略优化

Xingyu Guo, Wei Chen, Linlin Yang, Baochang Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有搜索智能体方法存在的先验驱动推理问题，提出CIPO框架，通过回合级信用分配对齐策略与证据使用，无需额外标注或奖励模型，在7个基准上性能优异。

IndexTTS 2.5 Technical Report

IndexTTS 2.5 技术报告

Yunpei Li, Xun Zhou, Jinchao Wang, Lu Wang, Yong Wu, Siyi Zhou, Yiquan Zhou, Yining Wang, Yaogen Yang, Zhetao Hu, Shiyao Duan, Jiacheng Xu, Jingchen Shu, Bin Xia

机构 * Bilibili Inc.（哔哩哔哩公司） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 IndexTTS 2.5通过四方面改进提升了多语言支持、推理速度和合成质量，实现了更广泛的语言覆盖和情感语调复制。

Comments 11 pages, 4 figures

TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models

TrustRoboReward：面向多范式机器人奖励模型的偏好有序保序分数编辑方法

Yidong Wang, Yan Zhan, Ziteng Feng, Zhenyu Cui, Ziyi Zhou, Renzhao Liang, Jiaxuan Zhu, Zilei Yang, Yiran Zhao, Zhongkuan Mao, Bo Jia, Hanchu Ni, Chenggang Xie, Biao Liu, Yi Zhang, Yong Dai, Xiaozhu Ju, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Southern University of Science and Technology（南方科技大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Beijing Language and Culture University（北京语言大学） ； Sichuan University（四川大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有机器人奖励模型的跨范式偏好与分数不一致问题，本文提出 TrustRoboReward 框架，通过 POISE 方法解决反转冲突，训练的 Qwen3-VL-4B 性能接近 GPT-5-mini，优于 RoboReward 基线。

Evidence-RL: Towards Evidence-intensive Visual Reasoning

Evidence-RL：面向证据密集型视觉推理

Haojie Huang, Xinlei Yu, Chengming Xu, Zhangquan Chen, Cheng Yang, Qingdong He, Yu Yang, Jiangning Zhang, Xiaobin Hu

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对视觉-语言模型依赖语言先验等问题，提出反事实证据解缠方法，结合GRPO框架在9个基准和4种骨干模型上优于现有基于RL的后训练方法。

Comments 22 pages, 10 figures

Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring

Themis: 训练鲁棒的多语言代码奖励模型以实现灵活的多标准评分

Indraneil Paul, Goran Glavaš, Iryna Gurevych

机构 * UKP Lab, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（UKP实验室，德累斯顿理工大学及应用网络安全国家研究中心ATHENE） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Themis-CodeRewardBench基准，评估多语言多标准代码奖励模型，训练了Themis-RM系列模型，展示了其在多语言迁移和多标准训练中的优势。

MathDebugger: Detecting and Diagnosing Errors in Synthetic Mathematical Data

MathDebugger：检测与诊断合成数学数据中的错误

Hao Liang, Meiyi Qiang, Yuying Li, Zefeng He, Xiaochen Ma, Ruichuan An, Yongzhen Guo, Zhengzhou Zhu, Bin Cui, Wentao Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MathDebugger是用于评估模型检测诊断合成数学数据错误的基准，含6000个标注实例，评估发现模型在该任务上表现不足，错误类型信息可提升修正效果，为数学数据质量控制提供支撑。

Don't Peek at the Answer: Outcome-Masked Group Relative Policy Optimization for Label-Free RLVR

请勿偷看答案：用于无标签RLVR的结果掩码组相对策略优化

Yongshi Ye, Liang Zhang, Yidong Chen, Xiaodong Shi, Biao Fu

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对无标签RLVR中模型易强化答案标记的问题，提出OM-GRPO框架，解耦奖励估计与策略优化，结合对比增强奖励，在多推理基准及测试时训练场景中性能优于现有方法。

Comments 25 pages, 16 figures, and 9 tables

Credit the Right Box: Marginal Contribution Assignment for Structured Visual Perception

为正确的边界框分配信用：结构化视觉感知的边际贡献分配

Xinheng Han, Jianfei Wang, Yu Chen, Xiang Wang, Shuai Li, Weixing Li, Feng Pan

机构 * Amap, Alibaba Group（高德，阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型结构化视觉感知中响应级监督的粒度不匹配问题，提出MCR-GRPO框架，通过边界框级边际贡献分配优化，在多个基准上取得了优于现有GRPO基线的最先进性能。

PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization

PAIR：面向多轮代理优化的前缀感知内部奖励模型

Wonjoong Kim, Yeonjun In, Sangwu Park, Dongha Lee, Chanyoung Park

机构 * KAIST（韩国科学技术院） ； Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出PAIR模型，通过结合冻结的隐藏状态探针和轻量级注意力头部，解决多轮任务中内部正确性探针的可靠性问题，从而在不依赖外部模型调用或地面真实依赖的情况下，为GRPO训练提供密集的步骤级奖励信号。

Comments Under Review

Evaluating and Pricing Advertisements in AI-Generated Responses

评估和定价AI生成响应中的广告

John L. Turner-Smith, Zimeng Huang, Yuhan Fu, Yihang Zhang, Tonghan Wang

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对AI生成响应中广告评估与定价的核心挑战，该研究构建智能体模拟框架生成监督，提炼出高效评估器，实现更优的点击意图预测，还推导了最优支付规则并扩展了广告生成的训练目标。

Comments 9 pages, 2 figures

DeepResearch Agent System

DeepResearch 智能体系统

Yong Huang, Yulu Huang, for the team Collaboration

机构 * Software Copyright Research and Development Document（软件版权研究与开发文档） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DeepResearch 智能体系统是基于稀疏激活架构的大语言模型，通过双模式推理引擎、多工具协调等技术，在多个智能体基准测试中取得最优性能，已完全开源并支持多领域应用。

Noisy Data is Destructive to Reinforcement Learning with Verifiable Rewards

具有可验证奖励的强化学习中噪声数据是破坏性的

Yuxuan Zhu, Daniel Kang

机构 * Siebel School of Computing and Data Science, University of Illinois Urbana Champaign, USA（计算机与数据科学学院，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究指出，现有RLVR算法无法缓解噪声影响，噪声会破坏强化学习性能，真实世界噪声导致Text2SQL任务准确率下降5-12%。

Comments 16 pages, 17 figures

When Does Span-Guided Detoxification Help? Human Preferences and Evaluator Diagnostics in a Controlled Comparison

基于跨度引导的解毒方法何时有效？受控比较中的人类偏好与评估者诊断

Kyungwon Park

机构 * Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究对比跨度引导与无引导解毒方法的人类偏好，发现二者存在权衡，不同分层偏好不同，自动评估无法替代人类判断，推动了新评估协议的发展。

Comments 12 pages, 3 figures

On the Impossibility of Unbiased and Length-Invariant Policy Optimization with Outcome Rewards

关于使用结果奖励进行无偏且长度不变的策略优化的不可能性

Fei Ding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Huiming Yang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究在标准结果奖励+GRPO设置下，无基于长度的加权方案能同时兼具梯度无偏性与长度不变性。通过参数族刻画权衡谱，揭示GRPO和Dr. GRPO各有优劣，处于不可避免的权衡两端，都非完美。

EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization

EmoAgent-R1：基于强化学习的动态智能体专业化实现多模态情感理解

Lihuang Fang, Yuchen Zou, kebing Jin, Jinghui Qin

机构 * Guangdong University of Technology（广东工业大学） ； Southern University of Science and Technology（南方科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Guizhou Provincial Laboratory of Big Data, State Key Laboratory of Public Big Data, Guizhou University（贵州大学大数据省级重点实验室、公共大数据国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对现有多模态情感识别方法忽视情感源动态性和复杂性的问题，提出基于强化学习的动态智能体专业化框架EmoAgent-R1，采用冷启动策略和两步智能体工作流程训练，并用P-GRPO优化，实验证明其在情感推理性能和优化稳定性上更优。

JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models

AGG：用于扩散模型高效GRPO训练的雅可比聚合组梯度

Ruiyi Ding, Jie Li, He Kang, Ziyan Liu, Chengru Song, Yuan cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究GRPO扩展到扩散模型的计算瓶颈问题，提出JAGG方法，通过特定插值和聚合梯度，减少反向传播次数，实验表明该方法能在质量损失小的情况下显著加速T2I训练中的DiT RL训练。

Comments 21 pages

Discrete Action Space as a Prerequisite for GRPO Convergence in Small-Model Continuous Control

离散动作空间是小模型连续控制中GRPO收敛的前提条件

Dmytro Filatov, Valentyn Fedorov, Vira Filatova

专题命中 后训练与偏好优化 ：language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究GRPO对小语言模型用于四旋翼连续控制任务微调的情况，发现普通GRPO微调失败，两项消融实验虽防熵崩溃但无法学习，更换动作接口后训练收敛，描绘出帕累托前沿，该方法在三个模型上评估，还对比了经典基线并发现训练分布差距。

PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses

PISmith: 基于强化学习的提示注入防御红队测试

Chenlong Yin, Runpeng Geng, Yanting Wang, Jinyuan Jia

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出PISmith框架，通过强化学习评估现有提示注入防御的鲁棒性，发现标准GRPO在攻击强防御时表现不佳，引入自适应熵正则化和动态优势加权以提升探索能力，实验表明最新防御仍易受适应性攻击影响。

Comments To appear in COLM 2026

The Two-Process Theory of Machine Self-Report

机器自我报告的双过程理论

Hubert Plisiecki, Filip Chmielewski, Kacper Dudzic, Anna Sterna, Karolina Drożdż, Marcin Moskalewicz

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究针对语言模型自我报告缺乏有效方式的问题，提出双过程理论，通过角色设定和归因门控反映自我报告结构。经量表操作化及测试，发现训练后维度变化，表明其非固定属性，为语言模型自我报告研究提供新理论与方法。

Adopting Reinforcement Learning with Verifiable Rewards for Molecular Generation

采用具有可验证奖励的强化学习进行分子生成

Mingxuan Ouyang, Hao Lan, Wanyu Lin

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究利用大语言模型进行分子生成时面临的问题，提出LLMol框架，采用监督学习与强化学习结合的两阶段训练范式，引入RLVR及GRPO算法，有效处理多种分子设计任务，实验证明其性能优于现有方法。

Comments 13 pages, 4 figures

Group Entropy-Controlled Policy Optimization

组熵控制策略优化

Guangran Cheng, Chengqi Lyu, Songyang Gao, Wenwei Zhang, Kai Chen

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大语言模型强化学习中异构任务的探索利用问题，提出组熵控制策略优化（GEPO）方法，利用组熵进行优势塑造，通过实验验证该方法优于GRPO等，能实现跨任务平衡改进并保持任务探索水平。

Comments 16 pages, 5 figures

Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

基于偏好的抗体表达排序：大规模弱监督下的扩展

Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 研究针对抗体表达排序中标记数据稀缺问题，提出基于偏好的学习框架，结合定量表达与弱监督，通过改进DPO适用于蛋白质语言模型，在多样数据集上评估，该方法优于基线，为抗体可表达性优化提供可扩展方案。

Comments Accepted at ICML 2026

It Takes 8 Tokens: Weak-to-Strong Off-Policy RL via Auxiliary Branches

需要8个令牌：通过辅助分支实现从弱到强的离策略强化学习

Dayu Wang, Jiaye Yang, Weikang Li, Jiahui Liang, Liwei Qian, Xin Pei, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对可验证奖励强化学习中目标模型样本语义冗余问题，提出从弱到强学习范式，引入W2SPO方法，通过注入短辅助段指导策略探索，实验表明该方法在数学推理基准测试中性能优异，能提升训练速度和准确率。

Agents-K1: Towards Agent-native Knowledge Orchestration

Agents-K1：迈向智能体原生的知识编排

Zongsheng Cao, Bihao Zhan, Jinxin Shi, Jiong Wang, Fangchen Yu, Zhijie Zhong, Yingnan Han, Zijie Guo, Tianshuo Peng, Zhuo Liu, Yi Xie, Xiang Zhuang, Shengji Tang, Yue Fan, Runmin Ma, Shiyang Feng, Xiangchao Yan, Anran Liu, Peng Ye, Wenlong Zhang, Xiaosong Wang, Shufei Zhang, Chunfeng Song, Fenghua Ling, Jie Zhou, Liang He, Bo Zhang, Lei Bai

机构 * PJLab（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Agents-K1管道，将原始文档转化为智能体原生科学知识图谱，通过多模态解析器、GRPO训练的4B信息抽取骨干和三源智能体接口，实现科学信息抽取、知识图谱构建和多跳推理。

SETA: Scaling Environments for Terminal Agents

SETA：终端智能体的扩展环境

Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

机构 * Imperial College London（帝国理工学院） ； University College London（伦敦大学学院） ； SambaNova（桑巴诺瓦公司） ； KAUST（阿卜杜拉国王科技大学） ； Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University of Waterloo（滑铁卢大学） ； RadixArk（基数方舟公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对终端智能体训练扩展难的问题，提出SETA框架，含SETA - Synth和SETA - Evol两个管道及统一验证机制，构建了SETA - Env数据集。实验显示该数据集能为终端智能体提供优质训练环境，推动相关研究发展。