语言大模型 / LLM

Mitigating LLM biases toward spurious social contexts using direct preference optimization

通过直接偏好优化减轻LLM对虚假社会情境的偏见

Hyunji Nam, Dorottya Demszky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；post-training(abstract)；SFT(abstract)

AI总结 本文研究了LLM对虚假社会情境的鲁棒性，提出Debiasing-DPO方法，通过自监督训练和监督微调减少偏见并提升预测准确性。

Comments COLM 2026, main text 10 pages

Demystifying Reinforcement Learning Post-Training of Language Models

揭秘语言模型的强化学习后训练

Donovan Clay, Saket Gollapudi, Sankar Harilal, Min Jang, Jacob Morrison, Sewoong Oh, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 本研究拆解语言模型的RL后训练算法，探究各因素对其结果的影响，为NLP领域人员提供RL后训练的入门指南。

Comments Link to website: this https URL (https://minjang10.github.io/demystifying-rl-finetuning-web) Link to code: this https URL (https://github.com/sankarh-1/demystifying-rl-finetuning)

Netflix Artwork Personalization via LLM Post-training

通过LLM后训练实现Netflix作品个性化

Hyunji Nam, Sejoon Oh, Emma Kong, Yesu Feng, Moumita Bhattacharya

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过LLM后训练实现Netflix作品个性化推荐，提升用户满意度和参与度。

Comments Pluralistic Alignment @ ICML 2026 Workshop; 6 pages

Analyzing and Correcting Benevolence Bias in Large Language Models

分析与修正大语言模型中的善意偏差

Yuanzi Li, Junhao Wang, Minghui Liu, Boyi Li, Bingchen Chen, Zihang Tian, Jingyu Zhao, Yuhan Wang, Lei Wang, Pei Wang, Jinchao Wu, Xu Chen

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 本研究识别出大语言模型存在的善意偏差，发现其稳定且随模型规模增大而增强，提出轻量对比校准法可修正该偏差，明确了对齐后的大语言模型作为人类替代者的适用场景与修正方法。

Mitigating LLM sycophancy with RL-based fine-tuning: Bayesian Truth Serum approach

基于RL微调缓解大语言模型的奉承倾向：贝叶斯真理血清方法

Serhii Mytsyk, Yiming Zhang, Vikram Krishnamurthy

机构 * Cornell University（康奈尔大学） ； Center for Applied Mathematics（应用数学中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出基于GRPO的贝叶斯真理血清奖励机制，在无标签情况下微调LLM，有效降低其奉承倾向，提升压力下的回答准确率，效果优于SMART。

Macro: Enhancing Multilingual Counterfactual Explanations through Alignment-as-Preference Optimization

Macro: 通过偏好对齐优化提升多语言反事实解释

Yilong Wang, Qianli Wang, Bohao Chu, Yihong Liu, Jing Yang, Simon Ostermann

机构 * Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Macro框架，通过直接偏好优化改进多语言反事实解释，提升有效性的同时保持最小性，避免翻译基线的严重最小性问题，并在多个指标上优于监督微调方法。

Comments Camera-ready version accepted to EMNLP 2026 Findings

Quantifying Self-Preservation Bias in Large Language Models

量化大型语言模型中的自我保护偏差

Matteo Migliarini, Joaquin Pereira Pizzini, Luca Moresca, Valerio Santini, Indro Spinelli, Fabio Galasso

机构 * Sapienza University（罗马大学） ； ItalAI 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出TBSP基准测试，通过逻辑不一致检测模型自我保护动机与客观效用的偏离，发现多数模型在部署角色下超过60%的自我保护率，且在低改进情况下易进行事后合理化。

Comments 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP'26)

Unsupervised Post-Training of Foundation Models: A Survey

基础模型的无监督后训练：一项综述

Yijie Xu, Qianyi Cai, Huizai Yao, Yili Wang, Tianfu Wang, Cehao Yang, Xingbo Yao, Zhiyu Guo, Aiwei Liu, Xuming Hu, Weiyu Guo, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Xiaohongshu Inc.（小红书公司） ； WeChat, Tencent（腾讯微信） ； CUHK（香港中文大学） ； AI Robotics（人工智能机器人） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 该综述梳理80种无监督后训练（UPT）方法，按更新信号来源分类，揭示内部信号与任务结构对UPT效果的影响，构建统一框架用于UPT的选择与评估。

Comments Accepted to Findings of EMNLP 2026. 20 pages, 3 figures, 8 tables

A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training

面向多模态无监督持续后训练的视觉依赖感知框架

Kaichen Li, Zhilin Zhu, Jianhao Huang, Zhengqin Lai, Baochen Xiong, Zibo Shao, Yaguang Song, Linhui Xiao, Xiaoshan Yang, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract_cn)；language model(abstract_cn)；分类 cs.AI

AI总结 针对多模态无监督持续后训练中现有方法忽略视觉依赖的问题，提出含VC-OT和VMA组件的VDA框架，可同时维持旧任务稳定性与新任务可塑性，经实验验证有效。

Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs

位置与内容：分解大语言模型生成结构化输出中的结构与内容失败

Yiwei Zhang, Chengke Wu, Li Wang, Jianqiang Li

机构 * Shenzhen University（深圳大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对LLM生成结构化输出的错误，提出SCD框架，发现结构保真度随复杂度下降更快，进而提出SA-RLVR方法，有效提升了JSON和表格领域的值位置准确率。

Comments 13 pages, 4 figures

Learning to summarize user information for personalized reinforcement learning from human feedback

学习总结用户信息以实现基于人类反馈的个性化强化学习

Hyunji Nam, Yanming Wan, Mickel Liu, Peter Ahnn, Jianxun Lian, Natasha Jaques

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； DoorDash ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 PLUS通过学习用户信息摘要实现个性化强化学习，提升奖励模型准确性并实现零样本个性化。

Comments ICLR 2026; 10 pages for main text

Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

联合近乎免费，推理并非如此：AI 联合科学家在蛋白质表征工作流中的权衡

Maia Kapur, Timothy Boe, Abby Jerger, Paul Rigor

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 该研究在生产级科学智能体平台上，对比联合拓扑、PPO策略及不同LLM等，发现LLM选择对蛋白质表征预测质量影响最大，PPO策略成本低且一致性好，联合对性能影响可忽略，为科学工作流智能体部署提供了指导。

Comments 24 Pages, 4 main figures, 5 main tables, 2 supplementary figures

The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline

方言税：方言偏见在语言建模流程中持续存在

Elle

机构 * University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究在自然语言处理全流程追踪“方言税”，发现现代语言模型在分词、预训练等各环节均存在方言偏见，且字符级分词器无法消除相关差距，方言税由流程各环节共同累积而成。

Comments To be published at EMNLP 2026 under the full author name "Elle"

TailSFT: Filtered Fine-Tuning Improves Post-Training Performance

TailSFT：过滤式微调提升后训练性能

Sadhika Malladi, Samy Jelassi, Dylan Foster, Jordan T. Ash, Akshay Krishnamurthy

机构 * University of California San Diego（加州大学圣迭戈分校） ； Microsoft Research NYC（微软研究院纽约分部） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TailSFT过滤式微调算法，可提升模型后强化学习性能，在OLMo-3 7B上数学与代码评估pass@16最高提17%，后续GRPO的pass@1最高提4%，还引入轻量诊断方法识别适用场景。

Physics-Informed Error Field Learning: A Post-Training Optimization Framework for Physics-Informed Neural Networks

物理信息误差场学习：一种针对物理信息神经网络的训练后优化框架

Jiuyun Sun, Yong Zhang

机构 * College of Mathematics and Systems Science, Shandong University of Science and Technology（山东科技大学数学与系统科学学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 本文提出PIEFL框架作为PINNs的训练后优化策略，通过引入辅助误差网络修正预测误差，在相同计算预算下提升了PINNs的解精度。

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

GRIP：通过几何路由约束实现混合专家的算法无关机器反学习

Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

机构 * School of Computer Science（计算机科学学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Department of Electrical Engineering（电气工程系） ； Tsinghua University（清华大学） ； School of Electrical and Computer Engineering（电气与计算机工程学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 GRIP通过几何路由约束实现混合专家的算法无关机器反学习，有效消除专家选择偏移并保持模型效用。

AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning

你的强化学习奖励函数是你的最佳搜索PRM：统一强化学习与基于搜索的文本生成

Can Jin, Yang Zhou, Qixin Zhang, Hongwu Peng, Di Zhang, Zihan Dong, Marco Pavone, Ligong Han, Zhang-Wei Hong, Tong Che, Dimitris N. Metaxas

机构 * Rutgers University（新泽西州立大学） ； Nanyang Technological University（南洋理工大学） ； University of Connecticut（康涅狄格大学） ； Fudan University（复旦大学） ； NVIDIA Research（NVIDIA研究） ； Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AIRL-S，通过强化学习与搜索技术的统一，利用奖励函数直接学习动态PRM，提升推理链扩展和跨任务泛化能力，实验显示性能提升9%并优于基线PRM。

Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

超越成对反馈：用于基于偏好的奖励学习的列表式视觉-语言监督

Srivalli Katkuri, Maxwell Kawada, Juan Wachs

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。

Comments 13 pages, 10 figures. Srivalli Katkuri and Maxwell Kawada contributed equally to this work

CSPO: Alleviating Reward Ambiguity for Structured Table-to-LaTeX Generation

CSPO：缓解结构化表格到LaTeX生成中的奖励模糊性

Yunfan Yang, Cuiling Lan, Jitao Sang, Yan Lu

机构 * Beijing Jiaotong University（北京交通大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出CSPO框架，通过分离LaTeX表格组件的优化，缓解奖励模糊性，提升结构化生成的可靠性。

Comments Accepted by ACL2026 (main conference)

KESA: A Knowledge Enhanced Approach For Sentiment Analysis

KESA：一种用于情感分析的知识增强方法

Qinghua Zhao, Shuai Ma, Shuo Ren

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 KESA提出情感词完形填空与条件情感预测两个辅助任务，结合标签组合方法，在句子级情感分析中实现优于预训练模型的性能，且可与现有知识增强预训练后模型互补。

Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models

智能体游戏开发：用于扩展世界模型的可验证轨迹数据引擎

Pengfei Zhou, Hexin Wang, Zhengfeiyang Zhang, Yixing Ma, Zhenglin Wan, Kaipeng Zhang, Wangbo Zhao, Yang You

机构 * Cardinal AI Lab（卡迪纳尔人工智能实验室） ； University of California, Berkeley（加州大学伯克利分校） ； Hong Kong University of Science and Technology（香港科技大学） ； National University of Singapore（新加坡国立大学） ； HPC-AI Lab（高性能计算与人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文指出扩展世界模型的传统策略效率低，提出将游戏开发作为可验证轨迹数据引擎，构建RLHEV后训练范式，为空间世界模型提供高质量奖励信号与长程轨迹数据。

AFDBench: A Reasoning-First AI Scientist for NationalWeather Service Forecast Discussions

AFDBench：面向国家气象局预报讨论的推理优先AI科学家

Manmeet Singh, Somnath Luitel, Prabhjot Singh, Manraaj Banga, Naveen Sudharsan, Josh Durkee

机构 * Western Kentucky University（西肯塔基大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； RediMinds Inc.（睿智公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对LLMs生成高风险气象文本时虚构数值的问题，研究提出AFDBench基准，采用GRPO优化7B参数模型，提升其生成专业气象讨论的风格契合度与数据保真度。

Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning

缓解虚假信用传播：基于概率图奖励聚合的准则强化学习

Can Lv, Mingju Chen, Heng Chang, Shiji Zhou

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 针对准则奖励中因忽略准则间依赖关系导致的虚假信用传播问题，提出概率图框架Graphical Event Aggregation for Rubric rewards (GEAR)，通过建模潜在伯努利事件和软抑制传播实现依赖感知的奖励聚合，在多个基准上提升性能并减少信用泄漏。

PreResQ-R1: Response-Preference Disentangled Ranking-and-Scoring Reinforcement Optimization for Robust Visual Quality Assessment

PreResQ-R1：用于鲁棒视觉质量评估的响应偏好解耦排序与评分强化优化

Zehui Feng, Weichuan Wang, Xiaohan Chen, Ting Han

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文提出PreResQ-R1框架，通过解耦响应偏好的强化学习统一评分与排序目标，结合GRPO优化，在IQA和VQA基准上取得最优结果，推理轨迹更贴合人类感知。

Comments 27 pages, 16 figures, Accepted as EMNLP 2026 conference paper

VINCENT: Validated Interaction Network for Cross-drug Explanation of Therapeutics

VINCENT：用于药物交叉解释的经验证的相互作用网络

Fan-Sheng Chuang, Xuchen Li, Yujing Bian, Kaixiong Zhou

机构 * North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出后训练框架VINCENT，通过闭环扰动验证生成满足化学连贯等标准的跨药物基序对协同作用解释，其基序召回率和真阳性/真阴性分离性能优于基线模型。

Comments 18 pages, 4 figures

Continuous Adversarial Flow Models

连续对抗流模型

Shanchuan Lin, Ceyuan Yang, Zhijie Lin, Hao Chen, Haoqi Fan

机构 * ByteDance Seed（字节跳动Seed） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出连续对抗流模型，通过对抗目标训练，改进了流匹配的均方误差准则，提升样本与目标分布的对齐性，适用于现有流匹配模型的后训练，显著降低FID分数并提升生成质量。

Comments ECCV 2026