语言大模型 / LLM

Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models

Video-OPSD：利用特权视觉证据实现视频大语言模型中的在线自蒸馏

Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 该研究提出Video-OPSD框架，利用视频内特权视觉证据构建自教师并优化令牌级蒸馏，在多个视频基准上优于标准OPSD，性能接近GRPO且训练时间大幅缩短，为Video-LLMs提供高效后训练方法。

Le Critique: Privileged Value Functions for LLM Reinforcement Learning

Le Critique：用于大语言模型强化学习的特权值函数

Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

机构 * Mistral AI（米斯特拉尔人工智能公司） ； Mila – Quebec AI Institute（米拉-魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对 LLM 强化学习的值函数应用难题，提出特权值函数（PVF）与自适应插值基线 TETHER，在多推理任务中提升了值函数基线性能，表现优于或媲美 GRPO。

LLM-Based Hierarchical Coordinated Control with Continuation-Aware Policy Learning

基于大语言模型的分层协调控制与感知延续性的策略学习

Changhong He, Jinda Gao, Xinkuan Liu, Le Zhang, Xizi Luo, Yu Mei

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；prompting(abstract)；分类 cs.AI

AI总结 针对复杂工程系统多单元协调难题，提出基于LLM的分层框架，结合感知延续性的GRPO，在多匝道交通控制和VPP能源管理中，性能优于多种对比方法。

Comments 30 pages, 5 figures

GRASP: Reinforcing Language Model Anonymizers with Group Relative Policy Optimization

GRASP：用组相对策略优化增强语言模型匿名化器

Sajjad Ghiasvand, Nader Sehatbakhsh

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； UC Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；preference optimization(abstract)

AI总结 该研究提出GRASP方法，用组相对策略优化增强设备端小型语言模型匿名化器，在隐私-效用权衡、对抗匿名化防御及运行成本上均优于DPO蒸馏基线。

TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring

TACT：面向教学自适应英语辅导的分类对齐后训练

Dongjie Yang, Siyan Lin, Leixian Shen, Rui Sheng, Huamin Qu, Zixin Chen

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出基于人类研究的TACT框架，构建含双分类体系的数据集后，通过特定训练得到TACTutor，在自研基准及盲法研究中表现优于基线，为自适应ESL辅导器开发提供开放基础。

Ground-Truth Neighborhood Regularization for Reinforcement Learning Post-Training of Time Series Foundation Models

面向时间序列基础模型强化学习后训练的真实值邻域正则化方法

Jianqi Zhang, Xingyu Zhang, Zeen Song, Changwen Zheng, Fanjiang Xu, Wenwen Qiang

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型强化学习后训练的次优崩溃问题，提出真实值邻域正则化方法，可缓解该问题并提升模型性能，且能灵活集成到各类强化学习方法中。

TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment

TRACE：基于轨迹的安全补丁学习用于大语言模型训练后调整

Changyue Li, Jiaming He, Youliang Yuan, Jialin Wu, Boxi Yu, Zhicong Huang, Pinjia He

机构 * LERo 纠错

专题命中 后训练与偏好优化 ：LLM(title)；post-training(title)；large language model(abstract)；language model(abstract)

AI总结 研究针对FTaaS平台削弱模型安全对齐的问题，提出TRACE框架，通过模拟有害轨迹生成损坏状态，优化插件补丁，在保持效用的同时恢复模型安全，在多基准测试和模型上占据安全 - 效用前沿。

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

Towards Spec Learning: Inference-Time Alignment from Preference Pairs

面向规范学习：从偏好对进行推理时对齐

Dhriti Krishnan, Tejas Goyal, Jaromir Savelka

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出规范学习框架，利用少量用户指令和偏好判断生成自然语言规范，在推理时引导LLM行为，无需参数更新，在密集偏好信号领域优于DPO，且规范可解释。

Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning

LLM上的模块化强化学习：从MDP创建到探索与学习

Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievski, Shujian Yu, Aske Plaat, Zhaochun Ren, Mark Hoogendoorn, Vincent François-Lavet

机构 * VU Amsterdam（阿姆斯特丹自由大学） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Leiden University（莱顿大学） ； University of Warsaw（华沙大学） ； Simon Fraser University（西蒙菲莎大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统梳理LLM后训练中的强化学习方法，从MDP构建、探索策略到学习范式，揭示当前方法分布不均，指出价值函数、离策略AC及自举法等领域存在研究空白。

ConSteer-RL: Steering Reasoning Capabilities in Large Language Models via Confidence-Aware Reinforcement Learning

ConSteer-RL：通过置信度感知强化学习引导大型语言模型的推理能力

Qing Miao, Yiming Zhao, Jing Yang, Chenxi Liu, Yuehai Chen, Yuewen Liu, Shaoyi Du, Badong Chen

机构 * Xi'an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出ConSteer-RL框架，将模型log概率的token级置信度信号融入GRPO，通过置信度感知奖励塑造机制惩罚过度自信错误并强化正确自信推理，在多个模型规模上平均提升2.3%-4.0%。

TextCloak: Thwarting Unauthorized LLM Exploitation via RL-Driven Unlearnable Text

TextCloak：基于强化学习的不可学习文本防御未经授权的大语言模型利用

Chengshuai Zhao, Pingchuan Ma, Dawei Li, Bohan Jiang, Zhiyuan Yu, Zhen Tan, Huan Liu

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出TextCloak框架，采用强化学习与GRPO-UE技术生成不可学习文本，可削弱大语言模型的未经授权微调，兼具实用性与鲁棒性。

Harnessing Routing Foresight for Micro-step-level MoE load balancing in RL Post-training

利用路由预见性实现RL后训练中微步级MoE负载均衡

Yuming Zhou, Haoyang Li, Sheng Lin, Yanfeng Zhao, Tong Zhao, Xupeng Miao, Jie Jiang, Fangcheng Fu, Bin Cui

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对MoE模型在RL后训练中微步级负载波动问题，提出ForeMoE系统，利用rollout阶段的可预见路由信息主动引导负载均衡，并采用分层规划器与传输引擎实现微步级重配置，在64 GPU上取得高达1.45倍加速。

Let Credit Follow Computation: Architecture-Aware Credit Transport for Large Language Model Reinforcement Learning

让信用跟随计算：面向大语言模型强化学习的架构感知信用传输

Qifan Shi, Zhaolu Kang, Chenghua Zhu

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对大语言模型强化学习的信用传输算子与架构无关的问题，提出计算条件信用传输框架及 CompPO 算法，在 Qwen3-4B 等模型上较 GRPO 取得更优的保留准确率与贪心评估表现。

Comments 22 pages, 6 figures

PERO: Efficient Robust Post-Training Foundation Models for Encrypted Traffic Classification

PERO：面向加密流量分类的高效鲁棒预训练后 foundation 模型

Wumei Du, Jiarong Wen, Kaiyu Zhang, Zi Yang, Yiqin Lv, Longfei Zhang, Dong Liang, Zheng Xie

机构 * National University of Defense Technology（国防科技大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 针对加密流量分类中鲁棒优化成本高的问题，提出PERO框架，通过轻量代理估计风险并选择高风险样本更新模型，在保持性能的同时降低了计算与内存成本。

Comments 16 pages, 6 figures, 6 tables, conference

Supervised Post-training of Speech Foundation Models for Robust Adaptation in Speech Deepfake Detection

语音深度伪造检测中鲁棒适应的语音基础模型监督后训练

Zihan Pan, Sailor Hardik, Jinyang Wu

机构 * Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（资讯通信研究院（I2R），新加坡科技研究局（A*STAR）） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；分类 cs.AI

AI总结 提出混合帧后训练策略，通过帧级监督学习局部不一致性，在ASVspoof5上实现单模型EER 4.50%，在ASVspoof2021上LA与DF的EER差距仅0.16%。

Learning task-specific subspaces via interventional post-training of speech foundation models

通过语音基础模型的干预后训练学习任务特定子空间

Jack Cox, Jon Barker

机构 * University of Sheffield（谢菲尔德大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；分类 cs.CL

AI总结 提出一种干预对比学习后训练方法，将语音基础模型的纠缠表示分解为内容和说话人子空间，提升说话人验证和关键词识别性能。

Comments Accepted to Interspeech 2026; 6 pages (4 main body), 2 figures

Post-Training Speech Enhancement Language Models with Perceptual Rewards

基于感知奖励的语音增强语言模型后训练

Frédéric Berdoz, Luca A. Lanzendörfer, Antonis Asonitis, Roger Wattenhofer

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 提出使用组序列策略优化（GSPO）结合多指标感知奖励对自回归语音增强语言模型进行后训练，直接优化非可微质量指标，在DNS2020基准上达到最优，且多奖励优化优于单指标变体。

Comments Accepted at Interspeech 2026

Preference Optimization for Non-Verbal Vocalization Synthesis

非言语发声合成的偏好优化

Haoyang Li, Chenglin Xu, Junchuan Zhao, Yuang Cao, Liumeng Xue, Yiwen Guo, Eng Siong Chng

机构 * Nanyang Technological University（南洋理工大学） ； LIGHTSPEED ； National University of Singapore（新加坡国立大学） ； Nanjing University（南京大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对支持非言语发声的文本转语音系统，研究偏好优化相关设计，提出NV-CER指标，在Emilia-NV等数据集上验证标准DPO设置的有效性，为相关后训练提供实用见解。

RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction

RRC：基于排序的奖励构造解锁LLM强化学习中的生成式奖励模型

Chenglong Wang, Ziming Zhu, Yifu Huo, Bei Li, Qiaozhi He, Yan Ding, Xiaoyang Hao, Yuxin Gao, Tianhua Zhou, Xiaojia Chang, Tongran Liu, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； NiuTrans Research（NiuTrans研究院） ； Institute of Psychology, CAS（中国科学院心理研究所） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本研究针对生成式奖励模型在LLM强化学习中潜力未充分发挥的问题，提出RRC方法，通过两种互补策略提升RL训练效果，在多基准上取得一致增益。

EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents

EvoHarness-RL：为长视野大语言模型智能体学习自进化运行时管控器

Xuying Ning, Dongqi Fu, Tianxin Wei, Hanqing Zeng, Yuanchen Bei, Bingxuan Li, Zihao Li, Qifan Wang, Xiang Shen, Yifan Wu, Jiayi Liu, Hong Li, Yinglong Xia, Xiangjun Fan, Hanghang Tong, Jingrui He

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta AI 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 本研究提出 EvoHarness-RL 方法，通过学习管控器策略解决长视野 LLM 智能体的外部状态管理问题，在 ALFWorld 上达到 96.9% 的任务成功率，验证了可训练管控器策略的有效性。

Comments Accepted to LLA@COLM 2026

LAB-Tab: LLM-Augmented Bayesian Network Adaptation for Few-Shot Tabular Generation

LAB-Tab：面向小样本表格生成的大语言模型增强型贝叶斯网络适配方法

Zijian Shen, Taijie Chen, Bin Zhou, Ziyang Jiang, Jintao Ke

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 针对小样本表格生成的分布偏移问题，提出LLM增强的贝叶斯网络适配框架LAB-Tab，在六个ACS分布偏移场景中表现优于基准方法，性能提升显著。

Comments 21 pages, 6 figures. Preprint

Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning

分支策略优化：沙盒原生语言智能体强化学习

Bowei He, Yankai Chen, Xiaokun Zhang, Xue Liu

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； McGill Univeristy（麦吉尔大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：language agent(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于可执行沙盒的大语言模型智能体强化学习，提出分支策略优化（BPO）算法，利用沙盒特性构建新展开拓扑，通过自适应快照、分叉动作等方式计算优势，实验验证该算法能提升成功率、降低方差并减少策略更新。

Comments Accepted by WAIC Academic 2026

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

异步RLHF的陈旧度-学习率缩放定律

Jingwei Song, Haofeng Xu, Jie Xiao, Chengke Bao, Jingwei Shi, Pengbin Feng, Weixun Wang, Yuhang Han, Chuan Wu, Linfeng Zhang, Bill Shi

机构 * The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） ； Gradient ； University of Southern California（南加州大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究异步GRPO中陈旧rollout的影响，推导出陈旧度与学习率之间的缩放定律，揭示稳定性受累积漂移和陈旧度约束的双重条件。

Steerable Cultural Preference Optimization of Reward Models

可引导的文化偏好优化奖励模型

Minsik Oh, Advit Deepak, Sophie Wu, Douwe Kiela, Ekaterina Shutova

机构 * Stanford University（斯坦福大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SCPO算法，通过平衡多种文化偏好训练奖励模型，在PRISM和GlobalOpinionQA数据集上提升少数群体偏好预测准确率最多7点，训练效率提高280%。

Comments Accepted to Pluralistic Alignment @ ICML 2026

One Model, Many Minds: Unlocking Multi-Agent Synergy in a Single Agent via Mixture of Roles

一个模型，多种心智：通过角色混合在单个智能体中解锁多智能体协同

Zhichen Zeng, Huiyuan Chen, Jingru Cheng, Juan Zha, Ming Liu, Ying Chen, Xiyuan Yang, Chaosheng Dong, Haiyang Zhang, Hanghang Tong

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出 MoRe 方法，将多种专门化组合为单个引导向量，使单智能体实现多视角专门化，性能优于单智能体基线，与 MAS 相当且 token 成本大幅降低。

Comments 19 pages, 10 figures

BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries

BOUND：在搜索-控制边界处的摘要引导式校正偏好蒸馏

Qingying Niu, Ruiyang Ren, Wayne Xin Zhao, Yaliang Li

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型深度搜索智能体的持续漂移问题，提出BOUND框架，通过摘要引导构建偏好对，用DPO蒸馏偏好，在7个基准上多数数据集和指标优于基线。

Comments 15 pages

Preference Tuning as Spectral Update Reorganization

作为频谱更新重组的偏好调整

Peiyan Zhang, Haibo Jin, Liying Kang, Haohan Wang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；post-training(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过频谱结构研究RLHF及偏好优化，将偏好诱导更新转化为可干预对象，发现更新呈现头-尾组织，头部主导端点偏移，揭示了偏好训练后是结构化更新重组，以及对齐增益和覆盖损失与更新组织方式的关系。

A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training

面向多模态无监督持续后训练的视觉依赖感知框架

Kaichen Li, Zhilin Zhu, Jianhao Huang, Zhengqin Lai, Baochen Xiong, Zibo Shao, Yaguang Song, Linhui Xiao, Xiaoshan Yang, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract_cn)；language model(abstract_cn)；分类 cs.AI

AI总结 针对多模态无监督持续后训练中现有方法忽略视觉依赖的问题，提出含VC-OT和VMA组件的VDA框架，可同时维持旧任务稳定性与新任务可塑性，经实验验证有效。

Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs

位置与内容：分解大语言模型生成结构化输出中的结构与内容失败

Yiwei Zhang, Chengke Wu, Li Wang, Jianqiang Li

机构 * Shenzhen University（深圳大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对LLM生成结构化输出的错误，提出SCD框架，发现结构保真度随复杂度下降更快，进而提出SA-RLVR方法，有效提升了JSON和表格领域的值位置准确率。

Comments 13 pages, 4 figures