大模型对齐与安全

Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?

分解Delta：模型实际上从偏好对中学习了什么？

Chia-Hsuan Lee, Mingyang Zhou, Renkun Ni, Zelei Cheng, Sihui Dai, Supriyo Chakraborty, Shixiong Zhang, Sambit Sahu, William Campbell

机构 * Capital One（第一资本） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨偏好对中生成器级和样本级Delta对推理性能的影响，发现提高生成器级Delta能提升跨领域推理性能，利用样本级Delta可提高训练效率。

Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization

片段作为手臂：多臂老虎机引导的长上下文LLM偏好优化采样

Shaohua Duan, Pengcheng Huang, Xinze Li, Zhenghao Liu, Xiaoyuan Yi, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Microsoft Research Asia, China（微软亚洲研究院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学计算机科学与技术系及人工智能研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LongMab框架，利用多臂老虎机策略从长上下文中选择最有信息量的片段，生成高质量多样化的响应，用于直接偏好优化训练，提升长上下文推理能力。

Comments 17 pages

JoyAI-LLM Flash: Advancing Mid-Scale LLMs with Token Efficiency

JoyAI-LLM Flash: 通过令牌效率推进中等规模语言模型

Aichen Cai, Anmeng Zhang, Anyu Li, Bo Zhang, Bohua Cai, Chang Li, Changjian Jiang, Changkai Lu, Chao Xue, Chaocai Liang, Cheng Zhang, Dongkai Liu, Fei Wang, Guoqiang Huang, Haijian Ke, Han Lin, Hao Wang, Ji Miao, Jiacheng Zhang, Jialong Shi, Jifeng Zhu, Jingjing Qian, Junhui Luo, Junwu Xiong, Lam So, Liang Huang, Ming Ke, Mingyang Li, Panfeng Shi, Peng Hao, Qi Wang, Qian Lai, Qiaoqiao Yuan, Qingyu Yin, Qiong Cao, Qixiang Wang, Rongcheng Bian, Rongduo Han, Shaoqiang Zheng, Shi Hu, Shi Suo, Shijie Ren, Shijin Zhang, Shiying Fan, Shuai Xie, Tianyi Zhang, Wei Liu, Wentao Tan, Xianghan Meng, Xiaodong He, Xing Pan, Xiran Wang, Xuyang Peng, Ya Zhang, Yang Liu, Yangyang Duan, Yanxu Chen, Yicheng Gong, Yidan Huang, Yifei Liu, Yinhao Bai, Yongqiang Liu, Yuesong Zhang, Yuqi Zhang, Zerui Xie, Zhenfang Wang, Zhennan Shen, Zheyuan Liu, Zhuwei Zeng

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出JoyAI-LLM Flash，一种高效的混合专家语言模型，通过平衡性能与令牌效率，在50B参数以下的范围内重新定义性能与效率的权衡。

Comments Xiaodong He is the corresponding author

Framing Effects in Independent-Agent Large Language Models: A Cross-Family Behavioral Analysis

独立代理大语言模型中的框架效应：跨家族行为分析

Zice Wang, Zhenyu Zhang

机构 * Northeastern University（东北大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了在非交互多代理部署中，提示框架如何影响独立代理在阈值投票任务中的决策，发现框架效应显著影响选择分布，倾向于风险规避选项，揭示了非交互多代理部署中的重要偏差源。

Beyond Semantic Manipulation: Token-Space Attacks on Reward Models

超越语义操控：奖励模型中的标记空间攻击

Yuheng Zhang, Mingyue Huo, Minghao Zhu, Mengxue Zhang, Nan Jiang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher（独立研究员） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Token Mapping Perturbation Attack（TOMPA）框架，通过在标记空间中进行对抗优化，发现非语言标记模式以提升奖励模型性能，揭示了当前RLHF流程的关键漏洞。

Preference learning in shades of gray: Interpretable and bias-aware reward modeling for human preferences

灰度偏好学习：可解释且偏见意识的奖励建模用于人类偏好

Simona-Vasilica Oprea, Adela Bâra

机构 * Department of Economic Informatics and Cybernetics, Bucharest University of Economic Studies（布加勒斯特经济研究大学经济信息学与控制论系） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了语言模型中人类偏好的学习难题，提出特征增强框架以捕捉人类判断的多维特性，通过评估多种大语言模型，展示了改进的奖励建模方法在准确性和可解释性上的提升。

Dual Optimal: Make Your LLM Peer-like with Dignity

双最优：使你的大语言模型具有尊严的同行

Xiangqi Wang, Yue Huang, Haomin Zhuang, Kehan Guo, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Dignified Peer框架，通过反阿谀和可信性对抗逃避服务模式，利用PersonaKnob数据集和容忍约束Lagrangian DPO算法，构建具有尊严和同行能力的语言模型代理。

MobileIPL: Enhancing Mobile Agents Thinking Process via Iterative Preference Learning

MobileIPL: 通过迭代偏好学习增强移动代理的思维过程

Kun Huang, Weikai Xu, Yuxuan Liu, Quandong Wang, Pengzhi Gao, Wei Liu, Jian Luan, Bin Wang, Bo An

机构 * Xiaomi Inc.（小米公司） ； Nanyang Technological University（南洋理工大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（人民大学人工智能学院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MobileIPL，通过迭代偏好学习构建CoaT树，结合规则奖励和反馈反向传播，提升移动代理在GUI任务中的推理能力与泛化能力。

Comments 9 pages, 8 figures, 7 tables

Fast-Slow Thinking RM: Efficient Integration of Scalar and Generative Reward Models

快速-缓慢思考RM：标量与生成奖励模型的有效整合

Jiayun Wu, Peixu Hou, Shan Qu, Peng Zhang, Ning Gu, Tun Lu

机构 * Fudan University（复旦大学） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出F/S-RM，结合快速和缓慢思考机制，提升奖励模型性能并降低计算成本。

Sharpness-Aware Minimization in Logit Space Efficiently Enhances Direct Preference Optimization

在对数空间中进行锐度感知最小化以高效提升直接偏好优化

Haocheng Luo, Zehang Deng, Thanh-Toan Do, Mehrtash Harandi, Dinh Phung, Trung Le

机构 * Monash University（墨尔本大学） ； Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出logits-SAM方法，通过在对数空间中建模坐标动态，缓解直接偏好优化中的挤压效应，提升模型性能。

Comments Accepted at ICLR 2026

CHARM: Calibrating Reward Models With Chatbot Arena Scores

CHARM：通过聊天机器人竞技场分数校准奖励模型

Xiao Zhu, Chenmien Tan, Pinzhen Chen, Rico Sennrich, Huiming Wang, Yanlin Zhang, Hanxu Hu

机构 * Alibaba Group（阿里巴巴集团） ； Queen’s University Belfast（贝尔法斯特女王大学） ； University of Zurich（苏黎世大学） ； Singapore University of Technology（新加坡科技设计大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CHARM方法，通过利用Chatbot Arena的Elo分数校准奖励模型，减少模型偏好偏差，提升奖励模型的准确性和公平性。

Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback

基于交换引导的偏好学习用于从人类反馈中获得个性化强化学习

Gihoon Kim, Euntai Kim

机构 * Yonsei University（延世大学） ； Korea Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。

Comments ICLR 2026

Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

对齐大型语言模型代理的理性与道德偏好：一种监督微调方法

Wei Lu, Amit Dhanda, Daniel L. Chen, Christian B. Hansen

机构 * Zicklin School of Business, CUNY Baruch College（纽约大学法学院） ； Amazon（亚马逊） ； Toulouse School of Economics（图卢兹经济学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过监督微调方法对齐LLM代理的理性与道德偏好，揭示了代理在经济游戏中的系统性偏差，并展示了不同偏好结构对均衡结果的影响。

Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning

应对长度膨胀而不产生权衡：用于强化学习的群体相对奖励重缩放

Zichao Li, Jie Lou, Fangchen Dong, Zhiyuan Fan, Mengjie Ren, Hongyu Lin, Xianpei Han, Debing Zhang, Le Sun, Yaojie Lu, Xing Yu

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 GR$^3$通过乘法重缩放范式解决强化学习中的长度膨胀问题，实现通用、连续且奖励依赖的门控机制，有效减少冗余推理并提升训练性能。

Aligning to Illusions: Choice Blindness in Human and AI Feedback

对幻觉的对齐：人类和AI反馈中的选择盲区

Wenbin Wu

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示RLHF中偏好构建的问题，显示人类和AI反馈中的选择盲区受上下文影响，导致奖励信号失真。

Comments 16 pages, 6 figures, 2 tables

Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

代理AI的适应：训练后、记忆和技能的综述

Pengcheng Jiang, Jiacheng Lin, Zhiyi Shi, Zifeng Wang, Luxi He, Yichen Wu, Ming Zhong, Peiyang Song, Qizheng Zhang, Heng Wang, Xueqiang Xu, Hanwen Xu, Pengrui Han, Dylan Zhang, Jiashuo Sun, Chaoqi Yang, Kun Qian, Tian Wang, Changran Hu, Manling Li, Quanzheng Li, Hao Peng, Sheng Wang, Jingbo Shang, Chao Zhang, Jiaxuan You, Liyuan Liu, Pan Lu, Yu Zhang, Heng Ji, Yejin Choi, Dawn Song, Jimeng Sun, Jiawei Han

机构 * UIUC（伊利诺伊大学香槟分校） ； Stanford（斯坦福大学） ； Princeton（普林斯顿大学） ； Harvard（哈佛大学） ； UC Berkeley（加州大学伯克利分校） ； Caltech（加州理工学院） ； UCSD（加州大学圣地亚哥分校） ； Georgia Tech（佐治亚理工学院） ； Northwestern（西北大学） ； TAMU（德克萨斯大学奥斯汀分校） ； MGH（麻省总医院） ； Keiji AI ； Unity 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了代理AI在训练后、记忆和技能方面的适应方法，提出四范式框架，分析了代理与工具适应的技术细节及权衡，探讨了开放问题。

CoME: Empowering Channel-of-Mobile-Experts with Informative Hybrid-Capabilities Reasoning

CoME：赋能移动专家的 informative hybrid-capabilities 推理

Yuxuan Liu, Weikai Xu, Kun Huang, Changyu Chen, Jiankun Zhao, Pengzhi Gao, Wei Liu, Jian Luan, Shuo Shang, Bo Du, Ji-Rong Wen, Rui Yan

机构 * ruc（中国人民大学人工智能学院） ； xiaomi（小米公司） ； ntu（南洋理工大学） ； whu（武汉大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 CoME 通过四种专家架构和渐进训练策略，实现移动代理混合能力推理的解耦增强与平衡优化。

PrefDisco: Benchmarking Proactive Personalized Reasoning

PrefDisco：主动个性化推理的基准测试

Shuyue Stella Li, Avinandan Bose, Faeze Brahman, Simon Shaolei Du, Pang Wei Koh, Maryam Fazel, Yulia Tsvetkov

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能联盟） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 PrefDisco提出了一种评估方法，通过心理基础的人设将静态基准转化为互动个性化任务，定义PrefAlign作为细粒度的偏好对齐度量，揭示个性化推理需要专门开发而非自然产生。

Comments 65 pages, 6 figures

Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework

解析人类对大语言模型的偏好：基于HUMAINE框架的民主意识评估

Nora Petrova, Andrew Gordon, Enzo Blindow

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 HUMAINE框架通过多维、人口统计学意识的评估方法，揭示了人类对大语言模型的偏好差异，发现年龄是主要分歧轴，且不同评估维度的判别能力差异显著。

Comments Published as a conference paper at ICLR 2026. 21 pages, 11 figures. https://openreview.net/forum?id=kVaE2kYjtV

Controllable and explainable personality sliders for LLMs at inference time

用于推理时的可控且可解释的人格滑块

Florian Hoppe, David Khachaturov, Robert Mullins, Mark Huasong Meng

机构 * Technical University of Munich, Germany（慕尼黑技术大学） ； University of Cambridge, United Kingdom（剑桥大学） ； University College Dublin, Ireland（都柏林大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种模块化框架，通过顺序自适应引导方法实现LLM推理时的可控且可解释的人格控制，通过正交化引导向量提升多维人格调节的精度和效率。

Comments 20 pages, 18 figures

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

超越二元偏好：基于顺序反馈的奖励建模原理框架

Amirhossein Afsharrad, Ruida Zhou, Luca Viano, Sanjay Lall, Mohammad Ghavamzadeh

机构 * Stanford University（斯坦福大学） ； Amazon AGI（亚马逊人工智能研究） ； EPFL（瑞士联邦理工学院） ； Qualcomm AI Research（高通人工智能研究） ； Aktus AI 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于顺序反馈的奖励建模原理框架，通过离散顺序回归方法，学习阈值参数以捕捉偏好顺序结构，实现更有效的细粒度人类反馈利用。

Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive

代理与架构限制：为何基于优化的系统无法回应规范

Radha Sarma

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.CY

AI总结 本文指出基于优化的系统无法回应规范，提出真正的代理性需要不可比较的边界和否定性回应机制，揭示了优化与规范治理的不兼容性及由此引发的收敛危机。

Comments About 10,600 words in all (includes ~1000 words of literature and ~2400 words of Appendices). Under journal review

Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents

解决粒度不匹配问题：用于长周期LLM代理的层次化偏好学习

Heyang Gao, Zexu Sun, Erxue Min, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Xu Chen

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出层次化偏好学习方法，通过双层课程引导解决LLM代理长周期任务中的粒度不匹配问题，提升多粒度偏好优化能力。

Comments Accepted to ICLR 2026

When Data is the Algorithm: A Systematic Study and Curation of Preference Optimization Datasets

当数据成为算法：对偏好优化数据集的系统研究与整理

Aladin Djuhera, Farhan Ahmed, Swanand Ravindra Kadhe, Syed Zawad, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统研究并整理了多个开源DPO数据集，提出UltraMix混合数据集，通过Magpie框架进行精细标注，揭示偏好质量差异，并在关键基准上超越最佳单个数据集性能。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR) 2026

EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

EditReward：一种用于指令引导图像编辑的人类对齐奖励模型

Keming Wu, Sicong Jiang, Max Ku, Ping Nie, Minghao Liu, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； McGill University（麦吉尔大学） ； Independent（独立研究者） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EditReward是一种基于人类偏好的奖励模型，通过大规模标注数据提升图像编辑任务的质量与性能，展示了在指令引导图像编辑中的卓越对齐能力。

Comments Accepted by ICLR 2026. Project Page: https://tiger-ai-lab.github.io/EditReward

Preference Packing: Efficient Preference Optimization for Large Language Models

偏好打包：大型语言模型高效偏好优化

Jaekyung Cho

机构 * AWS GenAI Innovation Center（AWS生成人工智能创新中心） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 偏好打包通过减少重复输入提示的注意力操作和KV缓存内存使用，提升大型语言模型的训练效率，实验显示训练时间减少37%并实现3.22倍速度提升。

The ASIR Courage Model: A Phase-Dynamic Framework for Truth Transitions in Human and AI Systems

ASIR勇气模型：人类和人工智能系统中真相过渡的相动态框架

Hyo Jin Kim

机构 * Jinple Studio（jinple工作室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 ASIR勇气模型通过相动态框架，将真相披露视为状态转换过程，适用于人类和AI系统在压力下的行为分析与建模。

Comments 13 pages, 5 figures. Version 1. Includes recursive feedback extension and simulation results. Data available via DOI: 10.5281/zenodo.18754266

Ada-RS: Adaptive Rejection Sampling for Selective Thinking

Ada-RS: 选择性思维的自适应拒绝采样

Yirou Ge, Yixi Li, Alec Chiu, Shivani Shekhar, Zijie Pan, Avinash Thangali, Yun-Shiuan Chuang, Chaitanya Kulkarni, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。

EXACT: Explicit Attribute-Guided Decoding-Time Personalization

EXACT: 显式属性引导的解码时个性化

Xin Yu, Hanwen Xing, Lingzhou Xue

机构 * Department of Statistics, the Pennsylvania State University, PA, USA（统计系，宾夕法尼亚州立大学） ； University of Southern California, CA, USA（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 EXACT通过显式属性引导解码时个性化，利用预定义可解释属性提升生成质量，有效缓解上下文偏好变化。

Goal Inference from Open-Ended Dialog

从开放式对话中推断目标

Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种在线方法，通过自然语言提取目标并利用贝叶斯推断，使具身代理在开放式对话中高效学习和完成多样化用户目标。

Comments This version has been updated to reflect a copy of Master's thesis submitted Jan 24, 2025 for degree date Feb 2025 (https://hdl.handle.net/1721.1/158960). We recommend readers to read revised version incorporating a different agent pipeline and methodological approach which is available at: arXiv:2508.15119