大模型对齐与安全

$M^2PO$: Multi-Perspective Multi-Pair Preference Optimization for Machine Translation

$M^2PO$：用于机器翻译的多视角多对偏好优化

Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

机构 * Alibaba International Digital Commerce（阿里巴巴国际数字商业） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 研究针对机器翻译中主流方法受误导性奖励信号影响的问题，提出$M^2PO$框架，通过双视角机制和多对目标优化偏好，实验证明该框架能使模型性能提升，超越开源基线并接近专有模型。

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation

RM-Distiller: 利用生成式大语言模型进行奖励模型蒸馏

Hongli Zhou, Hui Huang, Wei Liu, Chenglong Wang, Xingyuan Bu, Lvyuan Han, Fuhai Song, Muyun Yang, Wenhao Jiang, Hailong Cao, Tiejun Zhao

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 RM-Distiller通过系统利用教师LLM的精炼、评分和生成能力，提升奖励模型蒸馏效果，首次系统性地探索了生成式LLM在奖励建模中的应用。

Comments Accepted to IJCAI-ECAI 2026

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

KeySI：基于人类反馈调整文本嵌入的交互框架

Yan Zhu, Y. Chen, Rebecca Faust

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对预训练语言模型调整难的问题，提出KeySI交互框架，通过基于关键词的概念规范实现特征级反馈，减少人工文档处理需求，经用户研究等评估，证明其能有效捕捉用户意图并改善嵌入对齐。

Comments Accepted to IEEE VIS 2026

UXBench: Benchmarking User Experience in AI Assistants

UXBench：AI助手中的用户体验基准测试

Mengze Hong, Xia Zeng, Zeyang Lei, Sheng Wang, Chen Jason Zhang, Di Jiang, Taiming Fu, Jinfeng Huang, Mengqiao Liu, Qinghe Chang, Haosheng Zou, Qiongyi Zhou, Sijun He, Simonjmdeng, Haojing Huang, Zijian Li, Lucas Mu Li, Fubao Zhang, Mona Zhou, Wei Ma, Yuan Hua, Qi Zhu, Shuo Jiang, Chenxuan Ma, Yuanmeng Zhang, Jian Song, Minlong Peng, Di Liang, Davey Chen

机构 * Hong Kong Polytechnic University（香港理工大学） ； Tencent（腾讯） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出首个基于真实用户反馈的用户中心基准UXBench，包含三个任务和7400个测试实例，评估26个前沿语言模型，发现用户反馈预测是可学习的能力，并揭示了LLM作为评判者的系统偏差。

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

隐式个性化与显式风格冲突吗？PsPLUG：用于在定制大语言模型中平衡个性化与风格的轻量级插件

Yutong Song, Jiang Wu, Shaofan Yuan, Chengze Shen, Jian Wang, Yu Wang, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学伊文斯顿分校） ； TikTok Inc.（TikTok公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究个性化大语言模型中显式风格指令与隐式用户偏好冲突问题，提出轻量级插件PsPLUG，它能在考虑风格后学习用户特定残差并可调整个性化强度，实验证明其能更好平衡个性化与风格遵循，保留用户偏好。

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

OpenReward: 通过强化学习学习奖励长形式智能体任务

Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

机构 * Leiden University（莱顿大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出OpenRM，一种工具增强的长形式奖励模型，通过GRPO训练联合监督工具使用和结果准确性，在长形式任务中显著优于现有方法。

Joint Reward Modeling: Internalizing Chain-of-Thought for Efficient Visual Reward Models

联合奖励建模：将思维链内化以实现高效的视觉奖励模型

Yankai Yang, Yancheng Long, Hongyang Wei, Wei Chen, Tianke Zhang, Kaiyu Jiang, Haonan Fan, Changyi Liu, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出联合奖励建模（JRM），通过共享视觉-语言骨干联合优化偏好学习和语言建模，将生成模型的语义推理能力内化到判别表示中，实现快速准确评估，在MMRB2和EditReward-Bench上取得最优结果。

Human-AI Complementarity: A Goal for Amplified Oversight

人机互补：增强监督的目标

Rishub Jain, Sophie Bridgers, Lili Janzer, Rory Greig, Tian Huey Teh, Vladimir Mikulik

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 针对AI输出的事实核查问题，结合AI评分与人类评分优于单独使用任一方法，但AI辅助类型影响信任度，为超越人类专家性能的AI系统监督提供启示。

DynamicPO: Dynamic Preference Optimization for Recommendation

DynamicPO：基于推荐的动态偏好优化

Xingyu Hu, Kai Zhang, Jiancan Wu, Shuli Wang, Chi Wang, Wenshuai Chen, Yinhua Zhu, Haitao Wang, Xingxing Wang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出DynamicPO框架，通过动态边界负样本选择和双边距动态beta调整，解决偏好优化崩溃问题，提升推荐准确性。

Comments DASFAA 2026 Best Paper

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

Low-Burden LLM-Based Preference Learning: Personalizing Assistive Robots from Natural Language Feedback for Users with Paralysis

基于低负担LLM的偏好学习：通过自然语言反馈为瘫痪用户个性化辅助机器人

Keshav Shankar, Dan Ding, Wei Gao

机构 * Electrical and Computer Engineering（电气与计算机工程） ； Rehabilitation Science and Technology（康复科学与技术） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 针对严重运动障碍用户，提出一种低负担离线框架，利用大语言模型将非结构化自然语言反馈转化为确定性机器人控制策略，并通过职业治疗框架解码用户需求，显著降低用户负担。

Comments Accepted to IEEE RO-MAN 2026

Baichuan-M4: A Clinical-Grade Medical Agent System for Continuous Care

Baichuan-M4：面向持续照护的临床级医疗智能体系统

Aiyuan Yang, Canbin Piao, Chengfeng Dou, Da Pan, Dian Wang, Fan Yang, Fei Deng, Fei Li, Guangwei Ai, Hui Liu, Hongda Zhang, Jinyang Tai, Kai Lu, Lijun Liu, Linwei Chen, Linyu Li, Meiqing Guo, Peidong Guo, Qiang Ju, Rihui Xin, Shuai Wang, XinKai Ma, Xudong Chen, Yichuan Mo, Yijie Zhou, Leyi Pan, Yihe Luo, Zian Wang

机构 * Baichuan AI（百川智能） ； THUBPM Group, Tsinghua University（清华大学THUBPM课题组） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 提出Baichuan-M4临床级医疗大模型，通过统一运行时、持续照护强化学习框架和临床工具层三大支柱构建智能体系统，在多项医疗评估中取得领先结果，幻觉率降至3.3%。

Towards Healthy Evolution: Exploring the Role and Mechanisms of Human-Agent Interaction in Self-Evolving Systems

走向健康进化：探索人机交互在自我进化系统中的作用与机制

Dianxing Shi, Bowen Wang, Junqi He, Junhao Chen, Yuta Nakashima

机构 * The University of Osaka（大阪大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 提出ANCHOR框架，通过模拟人类监督的反馈机制，在自我进化系统中缓解能力退化与安全漂移，实验表明有限监督可显著提升安全性与稳定性。

Your Self-Play Algorithm is Secretly an Adversarial Imitator: Understanding LLM Self-Play through the Lens of Imitation Learning

你的自对弈算法其实是一个对抗性模仿者：通过模仿学习的视角理解LLM自对弈

Shangzhe Li, Xuchao Zhang, Chetan Bansal, Weitong Zhang

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文通过将自对弈微调建模为模型与自身参数化的正则化隐式奖励玩家之间的极小极大博弈，统一了自对弈模仿与偏好对齐，并提出了基于χ²散度的新算法，在多种语言模型微调任务上优于现有方法。

Comments 26 pages, 6 tables, 5 figures

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

从“弱”信号到强模型：基于LoRA合并的偏好增量聚合

Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao

机构 * NYU Shanghai（纽约大学上海校区） ； NTU（国立台湾大学） ； NYU（纽约大学） ； ZJU（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出偏好增量聚合（PDA）框架，通过从弱-更弱模型对中提取偏好增量并转化为LoRA适配器，再经几何对齐合并（GAM）聚合多个“弱”信号，以提升强模型性能。

Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling

教会奖励模型自我修正：奖励引导的对抗性失败发现以实现鲁棒奖励建模

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学College Park分校） ； Capital One 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出REFORM框架，通过奖励引导的受控解码自动发现奖励模型失败模式，并利用生成的对抗样本自我改进，提升鲁棒性而不牺牲奖励质量。

Journal ref ACL 2026 Main Conference [Oral]

Sci-Surf: Navigating Scientific Literature Discovery through Human Feedback and Intelligent Summarization

Sci-Surf：通过人类反馈与智能摘要实现科学文献发现

Fang Guo, Qi Zhu, Rongcan Pei, Shuqi He, Hui Chen, Yue Zhang

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对现有学术发现平台支持不足的问题，提出以意图为中心的Sci-Surf系统，结合反馈驱动推荐与多模态论文消化，经评估推荐质量和消化质量有可测量提升。

Toward Human-Centered Multi-Agent Systems: Integrating Cognition, Culture, Values, and Cooperation in AI Agents

迈向以人为中心的多智能体系统：在AI智能体中整合认知、文化、价值观与合作

Safia Baloch, Rahemeen Khan

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文综述了从认知科学、文化对齐、价值学习到多智能体协调的研究，指出现有系统缺乏整合认知、文化、价值观和社会行为的统一框架，并提出了构建文化感知、价值对齐、认知基础与合作的多智能体系统的方向。

Comments 14 pages

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation

更清晰的视野，更少的谎言：面向多模态幻觉缓解的定向拾取偏好优化

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出一种证据感知的对齐目标OPPO，通过对比不同视觉证据强度下的相同忠实响应，将视觉偏好转化为有序视觉证据对齐，以缓解多模态大模型的幻觉问题。

DRM: Diffusion-based Reward Model With Step-wise Guidance

DRM: 基于扩散的奖励模型与逐步引导

Jaxon Zhang, Binxin Yang, Hubery Yin, Chen Li, Jing Lyu

机构 * Peking University（北京大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出基于扩散的奖励模型（DRM），利用预训练扩散模型作为评估骨干，通过逐步评估能力改进强化学习对齐和推理采样，提升图像生成质量。

HAFM: Hierarchical Autoregressive Foundation Model for Music Accompaniment Generation

HAFM：用于音乐伴奏生成的分层自回归基础模型

Jian Zhu, Jianwei Cui, Yunlong Xue, Shihao Chen, Yubang Zhang, Cheng Luo, Jun Sun

机构 * Zhejiang Lab（浙江实验室） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang International Studies University（浙江国际 Studies 大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出HAFM分层自回归基础模型，通过双速率分词和三阶段级联生成框架，在MUSDB18上FAD达1.71，主观偏好率51.5%，优于基线。

Comments This paper is submitted to the to National Conference on Man-Machine Speech Communication (NCMMSC, 2026)

PISCES: Annotation-free Text-to-Video Post-Training via Optimal Transport-Aligned Rewards

PISCES: 基于最优传输对齐奖励的无标注文本到视频后训练

Minh-Quan Le, Gaurav Mittal, Cheng Zhao, David Gu, Dimitris Samaras, Mei Chen

机构 * Microsoft（微软） ； Stony Brook University（石溪大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出PISCES算法，通过双重最优传输对齐奖励模块，无需人工标注即可提升文本生成视频的质量和语义对齐，在VBench上超越现有方法。

Comments Accepted to ICML 2026. Project page and code: https://roar-ai.github.io/pisces/

Factorized Latent Reasoning for LLM-based Recommendation

基于分解潜在推理的LLM推荐方法

Tianqi Gao, Chengkai Huang, Zihan Wang, Cao Liu, Ke Zeng, Lina Yao

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对现有潜在推理方法用单向量表示用户意图难以捕捉多面偏好的问题，提出分解潜在推理框架，通过多因子注意力模块解耦偏好因子，结合正则化与强化学习提升推荐性能与可解释性。