语言大模型 / LLM

LCAM: A Framework for Diagnosing Interactional Alignment Failures in Con-versational AI

LCAM：诊断对话式AI中交互对齐失败的框架

Manuele Reani, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区管理学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 提出分层认知对齐模型（LCAM），通过五层对齐和两种失调极性诊断对话式AI的交互失败，应用于LLM咨询案例揭示潜在危害。

Policy Iteration with Human Feedback: Bringing Post-Training RL to In-context Learning

结合人类反馈的策略迭代：将后训练强化学习应用于上下文学习

Minh-Ha Nguyen, Cathy Shyr

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出结合人类反馈的策略迭代（PIHF）方法，采用预训练语言模型为基底，经实验使其在罕见疾病诊断相关任务中显著提升了多个执行器的Recall@1指标，验证了其可行性。

Comments PIHF method paper

ELMER: Evolutionary Language Model that Explores and Refines

ELMER：探索与优化的进化语言模型

Matthew Siper, Ahmed Khalifa, Julian Togelius

机构 * New York University（纽约大学） ； University of Malta（马耳他大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出进化语言模型 ELMER，通过微调 Qwen3-8B 并结合 oDPO 优化，实现自然语言策略搜索与编译，提升进化搜索效率，证明语言可作为可执行程序空间的可引导搜索表示。

Comments Submitted to AAAI Conference 2026, 8 pages, 6 figures, 1 table

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

Making Open-Source Text LLM Watermarks Durable Against Merging

使开源文本语言模型水印在合并后仍具耐久性

Luisa Scharff, Thibaud Gloaguen, Robin Staab, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何让开源文本语言模型水印在模型合并后仍具耐久性，提出合并对抗训练算法，该算法能将水印融入模型权重，在保留下游能力的同时优于所有基线，还评估了针对现实合并场景的水印，表明对抗训练可提高水印耐久性。

Rewarding Better Thinking for LLM Preference Alignment

奖励更好的思维以实现大语言模型偏好对齐

Xubo Liu, Wenya Guo, Ruxue Yan, Xinying Qian, Ying Zhang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型偏好对齐问题，提出思维清单奖励（TCR）方法，将偏好对转化为思维清单评估推理轨迹，引入EMA残差公式减少与结果监督重叠，实验证明该方法能提升对齐性能。

Comments under review

Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback

强化学习训练后计算资源应投向何处？模型大小、搜索、学习与反馈

Patrick Wilhelm, Odej Kao

机构 * Technische Universität Berlin（柏林工业大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究强化学习训练后计算资源分配问题，引入浮点运算核算框架，通过LoRA适配的Qwen2.5策略发现条件分配前沿，揭示模型选择与训练分配关联及奖励系统对核算影响，提出RACE协议，建议相关论文报告总浮点运算及计算分配方式。

Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF

用于样本高效扩散强化学习从人类反馈中学习的选择性时间步加权和基于优势的重放

Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究如何提高扩散模型中强化学习从人类反馈的效率，提出选择性时间步加权和基于优势的重放两种互补策略，通过强调信息丰富的时间步和轨迹优化，提升反馈效率，样本效率比基线提高6倍。

Comments 19 pages, 18 figures, 4 tables. Submission under review. A shorter, non-archival 4-page abstract version of this work was accepted to CVPR 2026 Workshops (GCV, CVEU)

RL Post-Training Builds Compositional Reasoning Strategies

强化学习后训练构建组合推理策略

Azwar Abdulsalam, Nishil Patel, Andrew Saxe

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究强化学习后训练能否组合原始技能成高级策略，通过在可观察环境实验发现，强化学习能解决预训练模型难题，通过分阶段组合机制重组能力，组合过程可复用巩固，与拒绝微调关键差异在选择性，预训练消融表明其对组合策略出现有影响。

Comments 8 pages, 6 figures. Accepted to the 2nd Workshop on Compositional Learning at ICML 2026, Seoul, South Korea

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

更密集 ≠ 更好：持续后训练中同策略自蒸馏的局限性

Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过自蒸馏策略优化（SDPO）发现，同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等强化学习方法更保守地保留先前能力，表明密集自蒸馏并非默认的稳定器。

Mechanistic Analysis of Alignment Algorithms in Language Models

语言模型中对齐算法的机制分析

Aarush Sinha, Ishan Garg, Veeraraju Elluru, Arth Singh, Kushal Garg

机构 * University of Copenhagen（哥本哈根大学） ； Independent（独立研究者） ； IIT Jodhpur（印度理工学院焦特布尔分校） ； NIT Agartala（印度国立理工学院阿加尔塔拉分校） ； Narris 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过层间线性探针、稀疏自编码器和交叉编码器，系统分析了六种偏好优化方法在语言模型中的内部机制，发现不同目标函数导致不同的表示几何变换，并揭示了行为对齐与内部结构变化的不一致性。

Comments Work in Progress

Parameter Exploration for RLVR via Variational Learning

基于变分学习的RLVR参数探索

Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

机构 * INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，圣克莱门特奥赫里德斯基索非亚大学） ； National Research Center for Applied Cybersecurity ATHENE（ATHENE国家应用网络安全研究中心） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文针对LLM强化学习的探索问题，提出参数空间探索思路，引入3PO方法，在OLMo-3-1025-7B等模型的数学推理等任务上，以相近计算成本相比GRPO提升性能，减少训练中的异常分组与轨迹。

GraphQAG: A Knowledge-Graph-Guided Visual Analytics Framework for Question-Answer Pairs Generation

GraphQAG：一种用于问答对生成的知识图谱引导型可视分析框架

Yize Li, Ruiqi Yu, Tianya Pan, Ningxin Li, Songyue Li, Xiangyang Wu, Jinchang Li, Zhiguang Zhou

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对长文档知识碎片化的问题，提出GraphQAG知识图谱引导型可视分析框架，经评估可帮助用户优化问答对集合，提升问答对的全面性与可信度。

Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models

基于近似查询处理和代理模型的AI工作流查询中心优化

Huayi Wang, Jun Xu, Gromit Yeuk-Yin Chan

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)

AI总结 提出将AI工作流视为声明式查询，利用近似查询处理（AQP）和代理模型（PM）过滤减少昂贵模型调用，在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。

FAR-DPO: Feasibility-Aware and Robust Direct Preference Optimization for Cyclic Peptide Design

FAR-DPO：用于环肽设计的可行性感知与鲁棒直接偏好优化

Guofeng Zhang, Rong Han, Xiaoyu Wang, Zhiyun Li, Zongbo Han, Xiaohong Liu, Guangyu Wang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 FAR-DPO是一种架构无关的环肽设计框架，通过可行性感知偏好构建与难度感知分组鲁棒优化，在CPSea LNR基准测试中提升了环肽设计的可行性与结合性能。

Comments 16 pages, 6 figures, and 7 tables. Includes supplementary materials

AeroDPO: Unleashing Lightweight UAV Navigation with High-Fidelity Perception and Automated Preference Optimization

AeroDPO：释放具备高保真感知与自动偏好优化的轻量级无人机导航能力

Peng Xu, Chengcheng Wang, Shaohua Wan

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出AeroDPO，通过高保真感知与自动偏好优化，使20亿参数轻量级无人机导航模型达到70亿参数模型的成功率，同时降低分布外场景碰撞率，成为自主空中智能体新SOTA。

Comments 7 pages, 3 figures, 4 tables

SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models

SAGA：面向低资源北欧语言模型的分数加权自适应生成对齐

Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

机构 * Linköping University（林雪平大学） ； University of Iceland（冰岛大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 该研究提出SAGA框架，用依存句法分析器监督取代人类偏好标注，在丹麦语、冰岛语等低资源北欧语言上提升了GPT-SW3-1.3B的语法质量，为相关语言的语法对齐提供了实用替代方案。

Comments 18 pages, 7 figures

Positive-Unlabeled Preference Optimization For Chest X-ray Report Generation

面向胸部X射线报告生成的正例-无标签偏好优化

Yuta Kobayashi, Pradyun Ramesh, Muhammad Ahmed Chaudhry, Vincent Jeanselme, Judy Wawira Gichoya, Sanmi Koyejo, Kathleen Capaccione, Shalmali Joshi

机构 * Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； Emory University（埃默里大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对放射报告生成VLM的遗漏噪声问题，提出PU-DPO框架，将未提及项视为无标签，通过对比对优化，提升病理检测率与隐藏正例恢复能力，增强对遗漏噪声的鲁棒性。

Start Classifying: Categorical Critics for LLM Reinforcement Learning

开始分类：用于大语言模型强化学习的分类式评判器

Zhijian Zhou, Long Li, Xuan Zhang, Zongkai Liu, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tencent YoutuLab（腾讯优图实验室） ； Griffith University（格里菲斯大学） ； Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究提出HL-Gauss PPO，将PPO的标量评判器改为分类式预测器，在多任务及Qwen2.5、Qwen3主干上均优于PPO、DAPO基线，可改进评判器信号与优势估计。

Comments Accepted at COLM 2026. 26 pages, 9 figures. Code: https://github.com/ZhijianZhou/HL-guass-ppo

Co-design of LLM-based preference agents: participation may drive overtrust

基于大语言模型的偏好智能体协同设计：参与可能导致过度信任

Michael J. Fell

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型模拟人类偏好引发的问题，通过12名参与者在家庭能源领域协同设计个人偏好智能体的定性研究，发现参与和过程透明度或成“过度信任引擎”，并将此发展为参与式偏好智能体设计核心机制。

Comments 43 pages (18 main text plus supplementary material), 5 figures

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

弥合实验室与商店之间的差距：一种用于零售类人机器人的数据高效训练后及经验驱动学习的VLA框架

Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

机构 * HIVE Robots（蜂巢机器人公司） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对VLA类人机器人弥合实验室与实际应用差距的问题，提出DEED系统级方法，含数据高效训练后管道、经验驱动细化研究及潜在空间分析工具，经实验证明精心设计数据和训练后处理可解决该问题。

Comments 8 pages. This work has been submitted to the IEEE for possible publication

MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment

MJ：通过分解信用分配实现多轮语言模型越狱

Junyoung Park, Namgyu Park, Sechan Lee, Yoon-Chan Jhi, Jihoon Cho, Sangdon Park

机构 * POSTECH GSAI（浦项科技大学全球人工智能学院） ； Samsung SDS（三星 SDS） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对多轮语言模型越狱的信用分配难题，提出DC-GRPO框架，通过结合即时和未来信用为各轮次分配学习信号，经静态和动态加权规则实例化，在多模型和基准测试中显著优于现有方法，核心优势在于轮次级组相对信用分配。

Comments 29 pages. Warning: This paper contains examples of harmful content

Strategic Bargaining in Multi-Buyer Markets: Reinforcement Learning from Verifiable Rewards for LLM Negotiations

多买家市场中的战略谈判：基于可验证奖励的强化学习用于大语言模型谈判

Shuze Daniel Liu, Claire Chen, Jiabao Sean Xiao, Xin Chen, David Simchi-Levi

机构 * Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院） ； Mitch Daniels School of Business, Purdue University（米奇·丹尼尔斯商学院，普渡大学） ； The Division of Physics, Mathematics and Astronomy, California Institute of Technology（物理、数学与天文学部，加州理工学院） ； Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学系，加州理工学院） ； H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. 米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院） ； Department of Civil and Environmental Engineering, Operations Research Center, Massachusetts Institute of Technology（土木与环境工程系、运筹学中心，麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究多买家市场中卖家与买家的谈判，提出基于可验证奖励的强化学习方法，使卖家能平衡市场探索与剩余提取，实现多阶段战略演变，提升谈判技能，提取更高剩余，且策略可推广。

Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

众声归一：面向大模型评判与奖励建模的多角色评分标准生成

Dazhi Fu, Jiuding Yang, Yiwen Guo, Jicong Fan

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院） ； LIGHTSPEED ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多角色评分标准生成框架(MRRG)，通过整合多个互补角色的评估标准，消除单一通用评估器的维度盲区，在偏好验证和强化学习奖励信号上均优于基线。

LaGO: Latent Action Guidance for Online Reinforcement Learning

LaGO：面向在线强化学习的潜在动作引导

Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

机构 * Siebel School of Computing（计算科学系） ； Data Science, University of Illinois Urbana-Champaign, USA（数据科学，伊利诺伊大学厄巴纳-香槟分校，美国） ； Department of Computer Science, National Yang Ming Chiao Tung University, Taiwan（计算机科学系，National Yang Ming Chiao Tung大学，台湾） ； Institute of Information Science, Academia Sinica, Taiwan（信息科学研究所， Academia Sinica，台湾） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.AI

AI总结 提出LaGO框架，利用预训练大语言模型作为潜在动作先验，软引导在线策略优化，在离散和连续控制基准上显著提升奖励与成功率。

Comments 9 pages, 2 figures. Accepted at the ICML 2026 Workshop on Large Language Models for Planning (LM4Plan)

STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training

STAR: 文本到图像强化学习后训练中的时空自适应奖励分配

Jinjie Shen, Wei Deng, Xian Hu, Daiguo Zhou, Jian Luan

机构 * institutetext: STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training（机构文本：STAR：时空自适应奖励分配用于文本到图像强化学习后训练） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 针对文本到图像生成中奖励与生成轨迹粒度不匹配的问题，提出STAR方法，利用文本-图像注意力构建时空自适应分配图，对相关潜在区域施加更强策略更新，提升语义对齐和文本渲染性能。

LoMC: Localized Multidirectional Correction for Refusal Suppression in Routed Foundation Models

LoMC: 路由基础模型中拒绝抑制的局部多方向校正

Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出LoMC方法，通过支持门控干预框架在路由MoE和混合MoE模型中实现紧凑的拒绝抑制，提升非拒绝目标响应行为并保持通用能力。

Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs

在8位权重和激活下保持FP8质量上限：Ideogram 4.0的INT8和GGUF后训练量化用于消费级GPU

Deep Gandhi, Ali Asaria, Tony Salomone

机构 * Transformer Lab 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文对Ideogram 4.0模型进行INT8 W8A8量化，在无FP8张量核心的Ampere GPU上达到FP8质量水平，并优于NF4，同时GGUF Q4_K在质量-内存前沿上成为帕累托最优。

Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers

基于评分标准的自蒸馏：无需评分标准验证器的后训练

MohammadHossein Rezaei, Anas Mahmoud, Zihao Wang, Utkarsh Tyagi, Advait Gosai, Razvan-Gabriel Dumitru, Aakash Sabharwal, Bing Liu, Yunzhong He

机构 * Scale AI 纠错

专题命中 后训练与偏好优化 ：post-training(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出RGSD方法，通过将评分标准作为条件蒸馏到学生模型，无需验证器即可实现密集逐令牌学习，在医学和科学领域达到与基于评判的GRPO相当的评分标准满足率。

Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

离线解释选择中， pairwise 排序优于单动作强化学习：一个实践经验

Tanay Chowdhury, Saeideh Shahrokh Esfahani

机构 * Amazon（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对工业可解释推荐系统的高成本问题，提出将 LLM 解释生成与选择分离的方案，发现 pairwise 排序方法在离线解释选择中优于单动作强化学习，且构建成本低、延迟小。

Comments This is an extended version of a 3-page paper accepted to the RecSys 2026 Research and Practice Notes track