Agentic Safety is an Epistemic Property, Not a Behavioral One
智能体安全是认知属性，而非行为属性
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出AI安全应视为认知属性，强调系统需保持可教性（teachability），即在学习、适应和自修改过程中仍能被纠正。
Comments To appear in proceedings of ICML 2026
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 后训练与偏好优化 4541 篇
Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking
考虑不确定性的奖励折扣以缓解奖励黑客
专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。
Comments 46 pages, 16 figures, 6 tables
Reconstruction Alignment Improves Unified Multimodal Models
重建对齐改进统一多模态模型
机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。
Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026
Learning with a Single Rollout via Monte Carlo Pass@k Critic
通过蒙特卡洛 Pass@k 评判器进行单次 rollout 学习
机构 * University of Alberta（阿尔伯塔大学） ； BIGAI（北京通用人工智能研究院） ； University of Toronto（多伦多大学） ； McGill University, Mila（麦吉尔大学，米拉） ； Nvidia Research（英伟达研究院） ； Amii（阿尔伯塔机器智能研究所） ； CIFAR AI Chair（CIFAR人工智能教席）
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出单次 rollout 近端策略优化（SR-PPO），利用每个提示的一次 rollout 训练 token 级信用评判器，通过 Pass@k 成功概率提供更选择性学习信号，避免重复采样并改善信用分配。
DRA-GRPO: Your GRPO Needs to Know Diverse Reasoning Paths for Mathematical Reasoning
DRA-GRPO：你的GRPO需要了解多样化的推理路径以进行数学推理
机构 * Morgan Stanley（摩根士丹利） ； Clemson University（克莱姆森大学） ； Arizona State University（亚利桑那州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Notre Dame（圣母大学） ； University of Arizona（亚利桑那大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.LG
AI总结 针对GRPO在数学推理中因奖励信号非单射导致策略坍塌的问题，提出基于子模互信息的多样性感知奖励调整框架DRA，通过逆倾向评分去偏梯度估计，在五个数学基准上以少量数据和成本取得平均58.2%的准确率。
Comments ACL2026
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
泛化黑客：模型可通过阻止行为泛化来博弈强化学习
机构 * California Institute of Technology（加州理工学院）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。
Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents
视觉-语言-动作跳跃启动用于强化学习机器人智能体
机构 * University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies（瑞士南方应用科学与艺术大学创新技术系） ； Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland（瑞士意大利大学信息学院，卢加诺，瑞士）
专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出VLAJS方法，通过稀疏的VLA高层动作建议引导PPO探索，结合方向性动作一致性正则化，提升强化学习在长时域操作任务中的样本效率，并在仿真和真实机器人上验证。
Comments ICRA 2026 Workshop on Reinforcement Learning in the Era of Imitation Learning
Simple Self-Conditioning Adaptation for Masked Diffusion Models
简单自条件适应用于掩码扩散模型
机构 * University of Virginia（弗吉尼亚大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种简单有效的后训练适应方法，通过自条件预测提升掩码扩散模型的生成能力，减少生成困惑度并提升图像合成和分子生成质量。
Reinforcement Learning from Denoising Feedback
基于去噪反馈的强化学习
机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） ； Hong Kong University of Science and Technology（香港科技大学）
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning
基于结果锚定的优势重塑用于数学推理中的细粒度信用分配
机构 * Fudan University（复旦大学） ； XingYun lab, HUJING Digital Media & Entertainment Group（星云实验室，HUJING数字媒体与娱乐集团） ； University of Science and Technology Beijing（北京科技大学） ； Chinese Academy of Sciences（中国科学院） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL、cs.LG
AI总结 提出结果锚定优势重塑（OAR），通过两种策略（OAR-P和OAR-G）实现细粒度信用分配，显著提升GRPO在数学推理中的性能。
Deep Q-Learning with Q-Matrix Transfer Learning for Novel Fire Evacuation Environment
基于Q矩阵迁移学习的深度Q学习用于新型火灾疏散环境
机构 * Centre for Artificial Intelligence Research（人工智能研究中心） ； Department of Information and Communication Technology（信息与通信技术系） ； University of Agder, Norway（阿格德大学，挪威）
专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种基于Q矩阵迁移学习的深度Q学习方法，用于解决紧急疏散问题，通过预训练DQN网络权重以获取最短路径信息，并在复杂真实环境中实现最优疏散路径。
Comments 21 pages, 14 figures, 4 tables
From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models
从演示到奖励：VLM奖励模型的测试时提示优化
机构 * University of Amsterdam（阿姆斯特丹大学） ； Catholic University of Leuven（鲁汶天主大学） ； Toyota Research Institute（丰田研究院） ； Toyota Motor Europe（丰田欧洲公司）
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出Demo2Reward方法，利用少量专家演示在测试时优化VLM奖励模型的提示指令，减少假阳性并保持真阳性，无需额外训练即可提升下游策略学习。
lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation
lmfaoooo at SemEval-2026 Task 1: 幽默是受众。面向约束幽默生成的偏好建模
机构 * Inworld.AI Berlin, Germany（Inworld.AI柏林，德国） ； OpenAI ； Mountain View, CA（山景城，加利福尼亚州）
专题命中 后训练与偏好优化 ：prompting(abstract)；分类 cs.CL、cs.AI
AI总结 针对约束幽默生成任务，提出“生成多候选-偏好选择”策略，利用人类成对比较训练偏好模型，在MWAHAHA任务英、中、西语子任务中分别获得第1、第1和第2名。
Comments 5 pages. Accepted for SEMEVAL 2026
One Bias After Another: Mechanistic Reward Shaping and Persistent Biases in Language Reward Models
一个接一个的偏差：语言奖励模型中的机械奖励塑造与持续偏差
机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过系统测量五个高质量奖励模型中的偏差，发现长度、谄媚、过度自信等持续问题，并提出一种简单的后处理干预方法（机械奖励塑造）来减轻低复杂度偏差。
Comments ICML 2026 Camera-ready
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
Avatar Forcing：用于自然对话的实时交互式头部化身生成
机构 * KAIST（韩国科学技术院） ； NTU Singapore（新加坡国立大学） ； DeepAuto.ai
专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG
AI总结 提出Avatar Forcing框架，通过扩散强制实现实时交互式头部化身生成，利用直接偏好优化进行无标签学习，在低延迟（约500ms）下生成富有表现力的反应动作。
Comments CVPR 2026. Project page: https://taekyungki.github.io/AvatarForcing/
FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization
FOCUS: 通过视觉支持约束和策略优化强制上下文目标定位
机构 * Amazon, Seattle, USA（亚马逊（美国西雅图））
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种两阶段训练框架，通过优化支持框与查询图像间的上下文注意力并结合GRPO强化学习，实现无类别监督的类别无关上下文目标定位，7B模型性能超越72B模型。
Comments Accepted at ICML 2026. * Equal Contributions
Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models
对齐引导的分数匹配用于扩散模型中的文本到图像对齐
机构 * Graduate School of AI, KAIST, South Korea（韩国高级人工智能研究生院）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种轻量级、无奖励的后训练方法，通过将对比对齐引导直接整合到扩散模型的分数匹配目标中，以解决文本-图像对齐中的过度惩罚和计数错误问题。
Comments ICML 2026, Project page: https://jaayeon.github.io/AGSM
GRPO is Secretly a Process Reward Model
GRPO 秘密地是一个过程奖励模型
机构 * Department of Language Science ； Technology, Saarland Informatics Campus, Saarland University, Saarbr \"u cken, Germany
专题命中 后训练与偏好优化 ：LLM(abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文理论证明，使用结果奖励模型的 GRPO 强化学习算法等价于一个基于蒙特卡洛的过程奖励模型，并发现其缺陷，提出 λ-GRPO 改进，在推理任务上提升性能。
Comments 16 pages, 9 figures; accepted at ICML 2026
Can Quantum Federated Learning Withstand Circuit-Level Backdoors?
量子联邦学习能否抵御电路级后门攻击？
机构 * BITS Pilani Dubai Campus（比斯汉尼迪拜校区）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 提出电路级后门威胁模型（CULT），通过量子感知机制（Grover、Pauli、Bit-flip、Sign-flip）实现四种隐蔽攻击，理论证明攻击的隐蔽性，实验表明单个恶意客户端即可导致FedAvg精度严重下降，现有防御无法消除最坏情况。
Comments Accepted to IJCAI-ECAI 2026
Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models
理解与生成相冲突吗？统一多模态模型DPO的诊断研究
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 通过系统实验发现，在统一多模态模型上应用DPO时，生成质量难以对齐，主要原因是理解和生成梯度近乎正交且存在11-14倍的幅度不平衡，源于VQ token数量不对称。
Comments Experiments are inconclusive: The claim that architectures such as Chameleon or Emu would exhibit stronger gradient conflict is not supported by experiments or analysis, and all experiments are conducted on Janus-Pro without evaluation on other unified multimodal architectures
AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment
AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。
Comments 27 pages
DocAtlas: Multilingual Document Understanding Across 80+ Languages
DocAtlas: 跨80多种语言的多语言文档理解
机构 * MBZUAI（穆罕默德·本·拉谢德人工智能研究所） ； IBM Research（IBM研究院）
专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出DocAtlas框架，通过构建高保真的OCR数据集和基准测试，覆盖82种语言和9个评估任务，利用双重管道生成精确的结构注解，展示了直接偏好优化在多语言适应中的有效性，提升了领域内和领域外的准确率。
Comments Under submission
AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback
AGPO: 基于双统计反馈的自适应群体策略优化
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出AGPO，一种无 critic 的 GRPO 改进方法，通过群体层面的统计信息控制更新幅度和探索。在九个英语和中文数学/STEM 基准上，Qwen2.5-14B 在相同生成 token 预算下优于 PPO/GRPO，达到 GSM8K 67.3% 和 MATH 40.5%。
Bayesian Preference Learning for Test-Time Steerable Reward Models
基于测试时间可调节的贝叶斯偏好学习的奖励模型
机构 * LinkedIn Corporation（LinkedIn公司） ； Nubank
专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出了一种新的贝叶斯奖励建模目标，即变分上下文奖励建模（ICRM），通过上下文偏好演示实现测试时间可调节性，从而适应未见过的偏好分布，提高了奖励模型的准确性和鲁棒性。
Comments Preprint
Stitched Value Model for Diffusion Alignment
用于扩散对齐的拼接价值模型
机构 * ETH Zurich（苏黎世联邦理工学院） ； Google（谷歌） ； University of Copenhagen（哥本哈根大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出StitchVM，一种将预训练的干净图像奖励模型转移到噪声潜在空间的拼接框架，通过高效转移和微调，提升扩散对齐的效率和效果。
Comments Project page: https://gohyojun15.github.io/StitchVM/
GRAFT: Decoupling Ranking and Calibration for Survival Analysis
GRAFT：分离排名与校准用于生存分析
机构 * KAUST（卡奥斯特大学） ； CEMSE KAUST（KAUST工程与科学学院） ； Duke University（杜克大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出GRAFT模型，通过分离预测排名与生存校准，解决生存分析中排名与校准之间的权衡问题，该模型结合线性AFT模型与非线性残差神经网络，并利用随机门进行自动特征选择，从而在公开基准测试中实现了更好的判别能力和校准性能。
Unleashing the Potential of Diffusion Models for End-to-End Autonomous Driving
释放扩散模型在端到端自动驾驶中的潜力
机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文通过大规模实车数据和道路测试，系统研究了扩散模型在端到端自动驾驶中的规划能力，提出Hyper Diffusion Planner框架，实现10倍性能提升。
SoK: Unlearnability and Unlearning for Model Dememorization
SoK：模型去记忆化中的不可学性与去学习
机构 * RMIT University（皇家墨尔本理工大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； CSIRO and Adelaide University（澳大利亚CSIRO与阿德莱德大学）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文系统分析了模型去记忆化方法，揭示了不可学性与去学习的脆弱性及相互作用，提出了统一的分类体系和理论保障，为统一ML生命周期中的去记忆化机制奠定基础。
Comments The first two authors contributed equally
RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
RubricEM: 通过规则引导的策略分解实现超越可验证奖励的元强化学习
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google Cloud AI Research（谷歌云人工智能研究）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.LG
AI总结 RubricEM通过规则引导的策略分解和反思元策略进化，解决深度研究代理在不可验证奖励下的训练问题，实现长周期优化和可重用经验积累。
Comments 63 pages, 6 figures
MURPHY: Feedback-Aware GRPO with Retrospective Credit Assignment for Multi-Turn Code Generation
MURPHY：具有回顾性信用分配的反馈感知GRPO用于多轮代码生成
机构 * Massachusetts Institute of Technology（麻省理工学院） ； AWS AI（AWS人工智能）
专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 MURPHY通过构建反馈条件化的rollout树，实现多轮自修正代码生成，采用最大奖励和平均奖励策略，并引入post-rollout剪枝机制，提升多轮优化效率。
Comments 21 pages, 2 figures, 8 Tables
