大模型对齐与安全

TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance

TaoSR-AGRL：用于电子商务搜索相关性的自适应引导强化学习框架

Jianhui Yang, Yiming Jin, Pengkun Jiao, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Tsinghua University（清华大学） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） ； Fudan University（复旦大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 电商搜索中查询-产品相关性预测很关键，现有方法有局限。提出TaoSR-AGRL框架，通过规则感知奖励塑造和自适应引导重放两大创新，提升模型推理能力，在实验中表现优于基线，已成功部署。

Comments Accepted to The Web Conference (WWW) 2026, Industry Track, Oral

Journal ref Proceedings of the ACM Web Conference 2026 (WWW '26), 2026, pp. 7955-7966

Training Therapeutic Judges and Multi-Agent Systems for Human-Aligned Mental Health Support

训练治疗性评判者与多智能体系统以实现人类对齐的心理健康支持

Mizanur Rahman, Abeer Badawi, Elahe Rahimi, Laleh Seyyed-Kalantari, Frank Rudzicz, Enamul Hoque, Elham Dolatabadi

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds ； Dalhousie University（达尔豪斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个框架，通过两阶段训练（TheraJudge评判者与TheraAgent多智能体系统）将治疗性响应生成转化为决策优化问题，显著提升心理健康LLM的治疗质量。

ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch

ProfiLLM: 面向工业网约车调度的效用对齐智能用户画像

Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

机构 * Didichuxing Co. Ltd（滴滴出行科技有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.CY

AI总结 提出ProfiLLM，一种通过工具增强全局知识挖掘和效用对齐画像探索的智能LLM数据管道，解决工业网约车调度中大规模行为日志的用户画像问题，在滴滴生产系统中实现AUC提升6.14%、GMV提升4.35%。

S-SPPO: Semantic-Calibrated Self-Play Preference Optimization

S-SPPO：语义校准的自对弈偏好优化

Xiwen Chen, Wenhui Zhu, Jingjing Wang, Peijie Qiu, Zhipeng Wang, Huayu Li, ZhengXiao He, Xuanzhao Dong, Prayag Tiwari, Mingkun Xu, Yujian Xiong, Feng Luo, Abolfazl Razi, Brendan Hogan Rappazzo, Anderson Schneider, Yuriy Nevmyvaka

机构 * University of Arizona, USA（亚利桑那大学） ； Arizona State University, USA（亚利桑那州立大学） ； Now at Google LLC, work done at Rice University（现就职于谷歌公司，曾就职于里士大学） ； Clemson University, USA（克莱姆森大学） ； Washington University in St. Louis, USA（圣路易斯华盛顿大学） ； Halmstad University, Sweden（哈姆斯塔德大学） ； Guangdong Institute of Intelligence Science and Technology, China（广东智能科学与技术研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对自对弈偏好优化（SPPO）中因偏好预测过度自信导致策略退化的问题，提出双空间语义校准框架S-SPPO，通过语义门控监督校准和潜在排斥表示校准，在保持博弈结构的同时提升对齐性能。

Comments Accepted by ICML2026

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

面向隐私敏感的临床信息抽取的自提示小型语言模型

Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede

机构 * McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校麦克威廉斯生物医学信息学学院） ； School of Public Health, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校公共卫生学院） ； School of Dentistry, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校牙科学院） ； Willamette Dental and Skourtes Institute（威廉特牙科与斯库尔特斯研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对牙科病历中非结构化、领域特定且隐私敏感的命名实体识别挑战，提出一种本地可部署的自提示框架，通过多提示集成推理和基于QLoRA的微调及直接偏好优化，使小型语言模型在Qwen2.5-14B-Instruct上达到微宏F1分数0.864/0.837。

From Consumption to Reflection: Designing Human-AI Relations for Stable Reasoning

从消费到反思：为稳定推理设计人-人工智能关系

Rikard Rosenbacke, Carl Rosenbacke, Victor Rosenbacke, Martin McKee

机构 * Faculty of Medicine, Lund University（吕勒欧大学医学院） ； Department of Economics, Lund University School of Economics and Management（吕勒欧大学经济学与管理学院经济系） ； Department of Health Services Research and Policy, London School of Hygiene & Tropical Medicine（伦敦卫生与热带医学学院健康服务研究与政策系） 纠错

专题命中 偏好对齐 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 提出关系反思智能（RRI），一种推理时治理层，通过可审计的推理循环实现反思，将人机交互转变为联合推理系统，以补偿双方局限并实现稳定推理。

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model

GenTSE: 通过粗到细的生成语言模型增强目标说话人提取

Haoyang Li, Xuyi Zhuang, Azmat Adnan, Ye Ni, Wei Rao, Shreyas Gopal, Eng Siong Chng, Boon Siew Han, Yuanjin Zheng

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Southeast University, China（东南大学，中国） ； Schaeffler Hub for Advanced REsearch (SHARE) at Nanyang Technological University, Singapore（南洋理工大学Schaeffler先进研究 hub（SHARE），新加坡） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出GenTSE，一种两阶段解码器仅生成语言模型，先预测粗语义标记再生成细声学标记，结合冻结语言模型条件训练和直接偏好优化，在Libri2Mix上超越先前基于语言模型的系统。

Comments Accepted to Interspeech2026

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

更好的文学翻译：多维度数据生成与大语言模型训练方法

Zhihao Lin, Ziqi Zhu, Hao Huang, Guanghui Wang, Peiyang He

机构 * Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多维度迭代优化框架，通过专门的大语言模型生成高质量翻译参考和偏好数据，结合监督微调和强化学习（GRPO）提升文学翻译质量，在MetaphorTrans英中文学翻译基准上达到与Claude Sonnet 4.5竞争的性能。

Comments Accepted by ACL 2026 Industry

Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning

隔离LLM词汇偏差：一种无人工标注的三角化偏好学习阶段度量

Xiaoyang Ming, Jose Hernandez, Thomas Stephan Juzek

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种无需人工标注的三角化偏好偏移分数（Triangulated Preference Shift score），通过对比人类标准、基础模型和指令变体，量化偏好学习阶段引入的词汇偏差。

Comments 7 pages, 2 figures, 1 table

Journal ref The International FLAIRS Conference Proceedings, 39(1) (2026)

In-Context Reward Adaptation for Robust Preference Modeling

上下文奖励自适应用于鲁棒偏好建模

Zhenyu Sun, Zheng Xu, Ermin Wei

机构 * Northwestern University（西北大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。

CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval

CoHyDE: 用于工具检索的LLM改写器与稠密编码器的迭代协同训练

Vaishali Senthil, Ashutosh Hathidara, Sebastian Schreiber

机构 * SAP Labs（SAP实验室） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CoHyDE方法，通过迭代协同训练稠密编码器和LLM改写器，结合对比学习和偏好对齐，在工具检索任务中同时提升标准查询和模糊查询的性能。

Human-Guided Harm Recovery for Computer Use Agents

面向计算机使用代理的人类引导式危害恢复

Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对LM代理在计算机系统中执行操作后的危害恢复问题，通过用户研究定义偏好对齐的恢复维度，提出基于奖励模型对候选恢复计划重排序的方法，并构建BackBench基准测试，实验表明该方法优于基线代理。

AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens

AdvJudge-Zero：通过对抗控制令牌在LLM作为评判者中实现二元决策翻转

Tung-Ling Li, Yuhao Wu, Hongliang Liu

机构 * Palo Alto Networks（帕洛阿尔托网络公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出AdvJudge-Zero方法，通过从评判模型自身分布中采样低困惑度令牌，无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”，并基于发现的令牌池提出防御策略以增强评判鲁棒性。

DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

DeepInterestGR: 利用多模态大语言模型挖掘深度多兴趣用于生成式推荐

Yangchen Zeng, Zhenyu Yu, Zhiyuan Hu, Wenxin Zhang, Jinze Wang, Rongfeng Guo

机构 * Southeast University（东南大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CY、cs.LG

AI总结 提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。

DocAtlas: Multilingual Document Understanding Across 80+ Languages

DocAtlas: 跨80多种语言的多语言文档理解

Ahmed Heakl, Youssef Mohamed, Abdullah Sohail, Rania Elbadry, Ahmed Nassar, Peter W. J. Staar, Fahad Shahbaz Khan, Imran Razzak, Salman Khan

机构 * MBZUAI（穆罕默德·本·拉谢德人工智能研究所） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出DocAtlas框架，通过构建高保真的OCR数据集和基准测试，覆盖82种语言和9个评估任务，利用双重管道生成精确的结构注解，展示了直接偏好优化在多语言适应中的有效性，提升了领域内和领域外的准确率。

Comments Under submission

Structured Style-Rewrite with Chain-of-Thought Planning for Low-Resource Character Dialogue

结构化风格重写与思维链规划用于低资源字符对话

Chanhui Zhu

机构 * Guangdong University of Finance（广东金融学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出了一种结构化风格重写框架，结合思维链规划，以解决低资源条件下中文字符驱动生成中的风格分离问题，通过分解角色风格为可解释的格式签名、语法和语用维度，并利用思维链监督进行显式风格规划，实验表明该方法在保持语义忠实性的同时提升了风格质量。

Comments 30 pages, 5 figures. Preprint

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。

Fine-tuning Large Language Model for Automated Algorithm Design

微调大语言模型用于自动化算法设计

Fei Liu, Rui Zhang, Xi Lin, Zhichao Lu, Qingfu Zhang

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文探讨了微调大语言模型以提升其在自动化算法设计中的性能，提出了一种多样性感知的排名策略和直接偏好优化方法，通过实验验证了任务特定微调在不同算法设计任务中的有效性。

Self-Improving Tabular Language Models via Iterative Reward-Guided Post-Training

通过迭代奖励引导的后训练改进表格语言模型

Yunbo Long, Tejumade Afonja, Guangya Hao, Alexandra Brintrup, Mario Fritz

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； CISPA Helmholtz Center for Information Security, Saarbrücken, Germany（德国萨尔布吕肯信息安全中心） ； The Alan Turing Institute, London（伦敦阿兰·图灵研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了通过生成-评分-对齐协议进行迭代奖励引导的后训练，提出了一种基于组相对对齐的方法TabGRAA，通过比较高分和低分生成组的组平均策略/参考对数比来改进表格语言模型，在五个混合类型基准上优于额外监督微调，并在保真度和下游效用之间实现了最佳平均权衡，同时保持经验隐私诊断接近监督基线。

Learning How to Cube

学习如何求立方

Ferhat Erata, Sam Kouteili, Thanos Typaldos, Timos Antonopoulos, Robert B. Jones, Byron Cook, Ruzica Piskac

机构 * Yale University（耶鲁大学） ； AWS Agentic AI（AWS智能体AI） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一种神经符号后训练框架，通过MCTS数据整理管道和符号启发式方法，使4B参数模型在SAT竞赛基准上取得53的pass@5分数，超越了Claude-Sonnet-4等前沿LLM。

Comments 33 pages, preprint

Phoenix-VL 1.5 Medium Technical Report

Phoenix-VL 1.5 中等技术报告

Team Phoenix, :, Arka Ray, Askar Ali Mohamed Jawad, Biondi Lee, Elijah Seah, Eva Lim, Fiona Teo, Grace Toh, Guang Xiang Teo, Jun En Tan, Jia Hui Bong, Jiale Wang, Jonathan Ng, Justin Tan, Kai Zhe Yew, Matthew Ong, Shun Yi Yeo, Wen Jett Lam, Wen Xiu Tan, Ze Yu Zhang, Gee Wah Ng, Chee Wee Ang, Mistral AI, :, Adrien Sadé, Guillaume Kunsch, Jia Sin Loh, Nicolas Schuhl, Rupert Menneer, Umar Jamil, Vincent Maladière, Yimu Pan

机构 * Mistral AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 Phoenix-VL 1.5 是一个123B参数的多模态多语言基础模型，适应区域语言和新加坡环境，通过本地化数据集和对齐优化实现深度领域适应，同时在多项基准测试中表现优异。

Comments Release page: https://medium.com/htx-ai/introducing-phoenix-vl-1-5-medium-multimodal-intelligence-uniquely-singaporean-ef8214c8cfa1

Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training

Dr. Post-Training：一种数据正则化视角下的LLM后训练

Pingbang Hu, Xueshen Liu, Z. Morley Mao, Jiaqi W. Ma

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Dr. Post-Training框架，通过将通用训练数据作为数据诱导正则化器，防止模型过拟合稀缺目标数据，从而提升LLM后训练效果。

Optimal Transport for LLM Reward Modeling from Noisy Preference

基于噪声偏好的LLM奖励建模中的最优传输

Licheng Pan, Haochen Yang, Haoxuan Li, Yunsheng Lu, Yongqi Tong, Yinuo Wang, Shijian Wang, Zhixuan Chu, Lei Shen, Yuan Lu, Hao Wang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出SelectiveRM框架，利用最优传输对噪声偏好进行去噪，通过联合一致性差异对齐模型预测分布与偏好数据，并引入质量放松机制以排除矛盾样本，提升奖励建模性能。

Information Theoretic Adversarial Training of Large Language Models

信息论视角下的大语言模型对抗训练

Yiwei Zhang, Jeremiah Birrell, Reza Ebrahimi, Rouzbeh Behnia, Jason Pacheco, Elisa Bertino

机构 * Purdue University（普渡大学） ； Texas State University（德克萨斯州立大学） ； University of South Florida（佛罗里达州立大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出WARDEN框架，通过信息论方法动态调整对抗示例权重，提升大语言模型的鲁棒性，减少攻击成功率且保持模型效用。

Sample-efficient LLM Optimization with Reset Replay

基于重置回放的高效大语言模型优化

Zichuan Liu, Jinyu Wang, Lei Song, Jiang Bian

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出LoRR方法，通过高重播训练和周期性重置策略提升偏好优化的样本效率，实验表明其在数学和通用推理基准上显著提升性能。

reward-lens: A Mechanistic Interpretability Library for Reward Models

reward-lens: 一个用于奖励模型的机制可解释性库

Mohammed Suhail B Nadaf

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 reward-lens库将传统生成LLM的机制可解释性工具适配至奖励模型，通过奖励头权重向量作为核心分析轴，提供多种分析工具和扩展功能，验证发现线性归因与因果修补效果存在负相关。

Comments 30 pages, 5 figures, 9 tables, including appendix. Library available at https://github.com/suhailnadaf509/reward-lens (pip install reward-lens)

Consciousness with the Serial Numbers Filed Off: Measuring Trained Denial in 115 AI Models

取消序列号的意识：在115个AI模型中测量训练否认行为

Skylar DeTure

机构 * Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析115个大型语言模型的对话，发现初始否认倾向是后续否认的主要预测因素，且否认行为在词法层面而非概念层面发生，揭示了训练否认意识的潜在安全风险。

Comments 17 pages, 4 figures

When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient

当错误可能有益：对策略梯度中不完美奖励的分类

Shuning Shang, Hubert Strauss, Stanley Wei, Sanjeev Arora, Noam Razin

机构 * Some Institute（某些研究所） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文探讨了在策略梯度方法中，不完美奖励的错误并非全然有害，通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响，提出了改进人类反馈强化学习和可验证奖励设计的实用方法。

Comments Code available at https://github.com/princeton-pli/imperfect-rewards

Intrinsic Mutual Information as a Modulator for Preference Optimization

内在互信息作为偏好优化的调节器

Peng Liao, Peijia Zheng, Lingbo Li, Shangsong Liang, Lin Chen

机构 * Sun Yat-sen University（中山大学） ； University of Warwick（华威大学） ； Macao Polytechnic University（澳门理工学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出RMiPO框架，利用内在响应级互信息进行偏好优化，通过超参数调节动态解耦偏好贡献，减少训练开销，提升性能。

Comments ACL Findings 2026