语言大模型 / LLM

MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers

MixFrag：面向视觉Transformer的脆弱性引导混合精度后训练量化

Md. Mehrab Hossain Opi, Robiul Islam Ryad, Md. Umar Faruk

机构 * Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 针对现有PTQ方法精度分配低效问题，提出MixFrag框架，通过KL散度估计量化脆弱性并将位分配建模为MCKP，在ImageNet、COCO任务上实现最优混合精度PTQ性能。

Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization

数据更少，对齐更好：用于偏好优化的数据中心多评估器一致性方法

Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Siheng Wang, Haoyan Xu, Yuqi Li, Chenhao Wei, Zhengdao Li, Rongchao Zhang, Guang Yang, Yidong Wang, Junhao Dong

机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； City College of New York, CUNY（纽约市立大学城市学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究聚焦偏好优化，提出DMAPO方法，从目标策略生成候选响应，经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高，能提升模型在MT - Bench等指标上的表现，且改变评估器或准则对下游性能影响小。

Comments 19 pages

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexus：面向服务的视觉语言动作模型多租户训练后处理

Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

机构 * Peking University（北京大学） ； Beihang University（北航） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对VLA模型训练后处理问题，提出JoyNexus统一服务，解耦相关服务，多租户可通过API调用，引入组批处理提高效率，经评估能减少GPU时间，提升服务利用率。

Comments 23 pages, 12 figures

Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization

通过深度特征锚定偏好优化打破流式目标说话人提取中的质量-可懂度权衡

Shuhai Peng, Jinjiang Liu, Hui Lu, Liyang Chen, Guiping Zhong, Jiakui Li, Shiyin Kang, Zhiyong Wu

机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； SenseTime（商汤科技） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究流式目标说话人提取中的质量-可懂度权衡问题，提出扩大Conformer卷积核及基于WavLM的DPO微调策略，实现了相对可懂度10.9%的提升，同时音频质量和说话人相似度也有改善。

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

PAC-ACT：用于动作分块变换器的训练后演员评论家方法

Yujie Pang, Zudong Li

机构 * LeRobot 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对精密工业接触操纵问题，提出PAC-ACT框架，通过在块级别重新制定策略优化、构建特定架构并引入混合行为先验约束，提升了机器人策略在姿态扰动和接触力约束下的性能，实验验证了其有效性。

PeTeR: Post-Training Robustification of Probabilistic Circuits

PeTeR：概率电路的训练后鲁棒化

Adrian Ciotinga, Yeming Dai, YooJung Choi

机构 * School of Computing and Augmented Intelligence Arizona State University（计算与增强智能学院亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对概率电路学习易过拟合和泛化能力弱的问题，提出PeTeR这一无需数据的训练后框架，可使预训练概率电路抵御分布变化，实证评估显示该框架能有效增强模型对随机和对抗性扰动的鲁棒性，性能良好。

Incentivizing Vision Language Models to Search for Long Video Question Answering

激励视觉语言模型进行长视频问答搜索

Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.LG

AI总结 研究将长视频问答从被动单流程感知任务转变为多轮检索过程，核心方法是自然语言驱动搜索及强化学习后训练，贡献是提升长视频理解基准测试分数。

Comments To appear at the European Conference on Computer Vision (ECCV 2026)

Temporal Preference Optimization for Unsupervised Retrieval

面向无监督检索的时间偏好优化

HyunJin Kim, Jaejun Shim, Young Jin Kim, JinYeong Bak

机构 * Microsoft, Redmond, USA（微软公司，美国红mond） ； Sungkyunkwan University, Suwon, South Korea（成均馆大学，韩国首尔） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 提出TPOUR方法，通过时间检索偏好优化（TRPO）和可学习时间嵌入插值，使无监督稠密检索器能捕捉时间相关性，在时间信息检索任务上超越有监督和无监督基线。

Comments Accepted to ICML 2026

Anatomy of Post-Training: Using Interpretability to Characterize Data and Shape the Learning Signal

后训练的解剖：利用可解释性表征数据并塑造学习信号

Leon Bergen, Usha Bhalla, Sidharth Baskaran, Max Loeffler, Raphael Sarfati, Dhruvil Gala, Ryan Panwar, Santiago Aranguri, Thomas Fel, Atticus Geiger, Matthew Kowal, Siddharth Boppana, Daniel Balsam, Owen Lewis, Jack Merullo, Thomas McGrath, Ekdeep Singh Lubana

机构 * Stanford University（斯坦福大学） ； Google Research（谷歌研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 提出基于可解释性的数据后训练流程，通过统计假设识别偏好数据中的潜在概念，实现细粒度反馈，减少虚假关联和不良行为。

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

碰撞前的预见：利用冻结视觉-语言模型的预期性安全强化学习

Samuel Tetteh, Cody Fleming

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.LG

AI总结 提出VLM-Safe-RL框架，通过冻结视觉-语言模型生成预期性成本项，改进CMDP拉格朗日更新，在高速碰撞场景下实现安全与回报的平衡。

Comments 44pages, 26 figures

Abliteration Mitigation via Refusal Aliases

通过拒绝别名缓解删除（Abliteration）攻击

Nathan Truong

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型的删除（Abliteration）攻击，提出AMRA权重编辑防御方法，在Llama-3-8B和Gemma-2-9B上有效提升删除后的拒绝能力，同时控制了性能损失。

GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs

GCPO：针对大语言模型的rollout强化学习中子空间几何的诊断与约束

Kai Yang, Jingwei Xu, Wanyu Wang, Kai-Yuan Guo, Zhenbo Yu, Yi Wang, Yu Qiao

机构 * Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 GCPO通过几何约束策略优化方法，诊断rollout强化学习的子空间几何问题，在大语言模型后训练中提升了多任务性能并解决了训练不稳定等问题

Comments 15 pages, 10 figures

Reinforcing Step-level Reasoning for Effective Self-Correction in LLMs

强化步骤级推理以实现大语言模型的有效自校正

Vu Duc Anh, Nhat M. Hoang, Do Xuan Long, Cong-Duy Nguyen, Ponhvoan Srey, Luu Anh Tuan

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； VinUniversity ； Institute for Infocomm Research (IR), A*STAR（新加坡科技研究局信息通信研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型自校正的核心挑战，提出SFS-DPO及教师辅助变体SFS-DPO-R框架，经多模型多域评估，其性能优于现有步骤级训练基线，可提升自校正频率与有效性。

Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning

优化策略的学习内容：可恢复性感知的展开干预学习

Zheyuan Zhang, Manqing Mao, Hong Wang, Zhuoer Wang, Samson Koelle, Jie Yuan, Yanjun Lin, James Feng, Nikki Lijing Kuang, Yanfang Ye, Wei Niu

机构 * University of Notre Dame（圣母大学） ； Amazon, Inc（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有大语言模型后训练中展开分配的局限，本文提出RAIL框架，将干预选择建模为在线上下文博弈问题，可在有限展开预算下提升性能，为生成高质量展开提供原则性方法。

SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts

SpecRoll：用于投机强化学习rollout的快慢校验器反馈自适应方法

Nhat Minh Pham, Duy Tung Doan, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui

机构 * VNU University of Engineering and Technology（越南国家大学河内理工大学） ； Viettel AI（越南电信人工智能公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 SpecRoll是一种投机强化学习rollout引擎，通过快慢双时间尺度自适应结合相关校验机制，在5个1.5B-14B模型和3个数学推理数据集上，相比普通GRPO和FastGRPO实现了生成与端到端速度的显著提升。

STAIF: A Stage-wise Optimization for Complex Instruction Following

STAIF：一种用于复杂指令跟随的逐阶段优化方法

Jian Hong, Chen Cheng, Quan Liu, Yuhao Chen, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research Group（科大讯飞研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型遵循复杂指令的挑战，提出STAIF逐阶段优化框架，先通过偏好优化提高软约束敏感度，再用可验证奖励强化学习确保硬约束遵守，构建相关数据集，验证了该方法的设计并展现出领先性能和泛化能力。

Comments 16 pages, 6 figures

DeLIVeR: Decomposed Learning for Information-grounded Veracity Recognition via Reinforced Knowledge Graph Exploration

DeLIVeR：通过强化知识图谱探索进行基于信息的真实性识别的分解学习

Cong Hoan Nguyen, Thomas Hoang, Hieu Minh Duong, Long Nguyen

机构 * University of Louisville（路易斯维尔大学） ； Denison University（丹尼森大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型自动事实核查难题，DeLIVeR框架将证据检索设为强化探索任务，利用规划器大语言模型分解声明获问题集遍历知识图谱找证据，经GRPO优化策略，实验表明其显著优于基线，有效弥合推理差距，提供检测路径。

Comments Accepted to 7th International Conference on Deep Learning Theory and Applications (DeLTA 2026)

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

AIGB-R1：通过分层规划器-执行器优化实现自我进化的生成式自动出价

Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对AIGB范式在自动出价中存在的问题，提出AIGB-R1框架，利用大语言模型推理能力，通过分层规划器与执行器模块、经验驱动循环、两阶段训练及新优化方法，经实验验证该框架在自动出价任务中的有效性。

ToolAnchor: Anchoring Counterfactual Context to Boost Agentic Tool-use Capability

ToolAnchor：锚定反事实上下文以提升智能体工具使用能力

Weiting Liu, Jieyi Bi, Wanqi Zhou, Jianfeng Feng, Yining Ma, Ai Han, Wenlian Lu

机构 * Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） ； MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对工具增强大语言模型智能体在工具集扩展时的问题，提出ToolAnchor框架，通过在关键决策点注入反事实锚定上下文打破行为惯性，经教师模型假设、学生展开验证及智能体后训练，提升其在扩展工具集下的性能，为智能体强化学习开辟新路径。

When Synthetic Speech Is All You Have: Better Call GRPO

当你只有合成语音时：最好调用GRPO

Shashi Kumar, Yanis Labrak, Hasindri Watawana, Sergio Burdisso, Esaú Villatoro-Tello, Kadri Hacioğlu, Petr Motlicek, Andreas Stolcke

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于大语言模型的ASR在受监管领域因隐私问题受限，转向强化学习，用GRPO方法处理合成语音，相比监督微调，GRPO能大幅降低WER，还分析了GRPO的优势及收益来源，表明合成语音为主时强化学习更优。

Comments Submitted to SLT 2026

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

用于智能强化学习的单步异步优化

Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对异步强化学习中训练稳定性和离策略挑战，提出单步异步优化（SAO）。核心方法是用单步采样取代分组采样，改进单步策略并引入裁剪策略。主要贡献是SAO训练稳定，性能优于GRPO及其变体，在模拟在线学习中有效且成功部署于模型训练。

Rethinking Groups in Critic-Free RLVR

重新思考无评论强化学习中的分组

Yihong Wu, Liheng Ma, Lingfeng Xiao, Muzhi Li, Xinyu Wang, Yingxue Zhang, Jian-Yun Nie

机构 * Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所） ； University of Waterloo（滑铁卢大学） ； The Chinese University of Hong Kong（香港中文大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对无评论强化学习分组策略的数据低效和同步问题，提出负令牌过滤方法，实现单次 rollout 稳定训练，在推理和代理任务上表现相当或更优。

Understanding helpfulness and harmless tension in reward models

理解奖励模型中的有用性与无害性张力

Eshaan Tanwar, Pepa Atanasova

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过激活分析和消融实验，发现奖励模型中有用性和无害性目标存在干扰，共享神经元对模型行为影响不成比例，导致对齐张力。

Comments The source code used in this study is publicly available at: https://github.com/EshaanT/RM-alignment\_tension

TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition

TD-Grokking：通过训练时分解从零奖励问题中学习

Ningyuan Xi, Hao Xu, Hongsheng Xin, Ning Miao

机构 * Ningyuan Xi 1,2（西宁元 1,2） ； Hao Xu 3（许浩 3） ； Hongsheng Xin 3（辛红生 3） ； Ning Miao 1,2, †（苗宁 1,2, †） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对强化学习在零奖励问题上无法提供优化信号的问题，提出训练时分解框架TD-Grokking，将难解问题递归分解为可验证子问题，在数学和医疗任务上优于基线方法。

SD-GRPO: Verifiable Segment Decomposition for Long-Form Vision-Language Generation

SD-GRPO：面向长格式视觉-语言生成的可验证片段分解

Hyunwoong Kim, Seongeun Lee, Hannah Yun, Junhyun Park, Jonggwon Park

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SD-GRPO方法，通过将长格式输出分解为片段并计算逐片段优势，解决GRPO在视觉-语言任务中粗粒度信用分配不足的问题，实验证明其在多种长格式生成任务中优于基线。

Claw-R1: A Step-Level Data Middleware System for Agentic Reinforcement Learning

Claw-R1：面向智能体强化学习的步骤级数据中间件系统

Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出Claw-R1系统，通过网关服务器和数据池组件，将智能体交互步骤转化为结构化数据资产，支持实时检查、质量筛选和训练批次配置，解决智能体强化学习中数据生命周期管理问题。

CATPO: Critique-Augmented Tree Policy Optimization

CATPO: 批评增强的树策略优化

Ayush Singh, Umang Goyal, Ankur Dahiya

机构 * Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Vision and Language Group（视觉与语言组） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CATPO方法，通过树信息性评分和批评引导修复，解决树结构强化学习中低效树浪费计算的问题，在数学推理任务上提升准确率。

Comments 14 pages, 1 figures, 6 tables

COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense

COPA：用于自适应提示注入防御的持续偏好优化

Roshan Sood, Onat Gungor, Tajana Rosing

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 该研究提出COPA框架，将提示注入防御视为终身学习问题，通过GRPO优化和边际加权经验回放实现持续防御，使攻击成功率最高降低6.3倍、平均降低4.4倍。

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

面向不确定性引导的扩散模型后训练的样本自适应潜在奖励

Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出\textsc{SURE}框架，含\textsc{SURE-LRM}与\textsc{SURE-REFL}，通过样本自适应潜在奖励与不确定性引导反馈优化扩散模型，在偏好预测、SOTA性能及VBench指标上表现优异。

Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation

超越 token 级交叉熵：用于自回归图像生成的 Fréchet 分布后训练

Jinhua Zhang, Yisong Lin, Wei Long, Shuhang Gu

机构 * UESTC（电子科技大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 该研究针对自回归图像生成器预训练与评估的目标及上下文不匹配问题，提出 FD-loss 后训练方法，在 ImageNet 256×256 任务上大幅降低 FID 与 FD_r6，提升生成质量且无额外参数或推理步骤。