Implementing Rational Choice Functions with LLMs and Measuring their Alignment with User Preferences
Spoken Language Systems (LSV)(语音语言系统(LSV));Saarland University(萨尔兰大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本文提出用大语言模型实现理性选择函数的设计原则,并构建工具衡量其与用户偏好(含严格偏好与无差异)的一致性,在汽车领域智能用户界面中验证了方法的有效性。
2025-04-22 cs.AI
Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier
提出统一偏好优化方法,结合DPO的简单性与RL的通用性,无需额外数据或成本即可同时优化用户偏好与辅助目标,在多种规模模型上保持或超越对齐性能。
2025-05-25 cs.AI
On Diversified Preferences of Large Language Model Alignment
Tencent AI Lab(腾讯AI实验室);HiThink Research(海思思考研究院);Alibaba Group(阿里巴巴集团);Peng Cheng Lab(鹏城实验室)
针对人类偏好多样性阻碍大语言模型对齐效果的问题,本文定量分析了偏好多样性对不同规模奖励模型的影响规律,提出ECE评估指标与MORE多目标奖励学习方法,实验验证其能有效提升对齐性能。
2024-10-05 cs.AI
Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy
Nankai University(南开大学);Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Wuhan University(武汉大学)
本文提出通过可证明的偏好偏差检测AI生成文本,利用对齐印记理论分析,引入LAPD统计量提升检测性能,实验显示在多种设置下均取得显著提升。
2026-11-03 cs.AI
HPS: Hard Preference Sampling for Human Preference Alignment
Singapore Management University(新加坡国立管理学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出HPS框架,通过优先选择最受好评的响应并拒绝所有不受欢迎和有害的响应,提升大语言模型与人类偏好的对齐效率和鲁棒性。
2026-03-20 cs.AI
The Anatomy of Alignment: Decomposing Preference Optimization by Steering Sparse Features
University of Groningen(格罗宁根大学);AI Safety Initiative Groningen(格罗宁根人工智能安全倡议);Apart Research(Apart研究)
本文提出FSRL框架,通过引导稀疏特征来实现透明的偏好优化,揭示模型在风格化呈现上的偏倚,提供可解释的对齐控制方法。
2025-12-01 cs.AI
Robust Nash Alignment under Preference Uncertainty
University of Central Florida(中佛罗里达大学);Arizona State University(亚利桑那州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对偏好不确定下的对齐脆弱性,提出鲁棒纳什对齐博弈框架,通过代理博弈与单循环算法实现最坏情况胜率下界保证,实验验证了收敛性与性能提升。
2026-11-03 cs.AI
LLMdoctor: Token-Level Flow-Guided Preference Optimization for Efficient Test-Time Alignment of Large Language Models
LLMdoctor通过令牌级流引导偏好优化,实现高效的大语言模型测试时间对齐,提升对齐精度并保留生成多样性。
2026-01-15 cs.AI
Chain-of-Thought as a Lens: Evaluating Structured Reasoning Alignment between Human Preferences and Large Language Models
School of Computer Science and Informatics, University of Liverpool, United Kingdom(利物浦大学计算机科学与信息学学院)
本文提出一种量化评估大语言模型多步结构化推理与人类偏好对齐的方法,引入对齐分数指标,通过构建基于语义熵的矩阵比较模型生成的思维链与人类偏好参考,发现对齐分数在2步推理时达到峰值,支持其作为诊断信号。
2026-04-21 cs.AI
Beyond Compromise: Pareto-Lenient Consensus for Efficient Multi-Preference LLM Alignment
Zhejiang Lab(之江实验室);Macau University of Science and Technology(澳门科技大学)
本文提出帕累托宽容共识框架,通过动态谈判过程解决多目标偏好对齐中的局部收敛问题,提升模型对全局帕累托最优前沿的探索能力。
2026-04-07 cs.AI
Improving Safety Alignment via Balanced Direct Preference Optimization
Institute of Artificial Intelligence, Beihang University, Beijing, China(北京航空航天大学人工智能研究院)
本文提出B-DPO方法,通过平衡偏好与非偏好响应的优化强度,缓解偏好对齐中的过拟合问题,提升模型安全性同时保持竞争力。
2026-03-24 cs.AI
Beyond Ordinal Preferences: Why Alignment Needs Cardinal Human Feedback
本文指出LLM对齐中序数偏好数据的根本局限,证明仅靠序数比较无法恢复最优模型,提出利用实验经济学中的支付意愿收集25,000条基数判断数据集,并证明基数反馈能显著提升下游基准性能。
2025-08-11 cs.AI
Preference Alignment Improves Language Model-Based TTS
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Tencent AI LAB(腾讯AI实验室)
本研究通过实证评估证明,偏好对齐算法(特别是DPO)能显著提升基于语言模型的TTS在可懂度、说话人相似度及主观评分上的表现,并适用于低资源与域外场景。
2024-09-19 cs.AI cs.CL
Not All Preferences are What You Need for Post-Training: Selective Alignment Strategy for Preference Optimization
Peking University(北京大学)
针对LLMs后训练对齐中token贡献不均的问题,提出利用策略与参考模型的token级对数概率差异聚焦高影响token的Selective-DPO方法,有效降低开销并提升对齐保真度,实验证明其优于标准DPO和蒸馏基线。
2025-07-10 cs.AI cs.CL
From 1,000,000 Users to Every User: Scaling Up Personalized Preference for User-level Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Ant Group(蚂蚁集团)
针对现有LLM对齐忽视用户偏好多样性的问题,本文提出可扩展个性化对齐框架,含偏好空间与角色表征,并构建AlignX数据集及两种对齐方法,在四个基准上平均提升17.06%准确率。
2025-05-22 cs.AI cs.CL
Uncovering Factor Level Preferences to Improve Human-Model Alignment
KAIST(韩国科学技术院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Georgia Institute of Technology(佐治亚理工学院)
针对现有大语言模型对齐评估粗粒度、缺乏可解释性的问题,提出PROFILE框架开展因子层面偏好对齐分析,发现模型生成与判别任务的对齐差距,可用于提升人机对齐效果。
2025-11-15 cs.AI cs.CL
Unbiased Alignment for Large Language Models with Noisy Preferences
研究大语言模型与人类偏好对齐问题,针对真实偏好数据集中噪声大的问题,提出无偏对齐理论框架,引入新损失函数,能直接从噪声数据集无偏训练模型,实验表明优于现有基线。
2026-10-27 cs.AI cs.LG
Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment
University of Oxford(牛津大学);Southeast University(东南大学);University of Sydney(悉尼大学)
本文区分偏好对齐与行为对齐,证明偏好对齐可能降低模型的人类相似性,形成图灵测试差距,并提出人类相似性应作为独立对齐维度。
2026-09-23 cs.AI cs.CL cs.LG
Preference Orchestrator: Prompt-Aware Multi-Objective Alignment for Large Language Models
School of Computer Science and Engineering(计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications(新一代人工智能技术及其交叉应用关键实验室);Ministry of Education(教育部)
针对大型语言模型多目标对齐依赖手动偏好权重导致用户负担重、训练效率低的问题,提出PRO框架,通过轻量级偏好适配器自动推断提示特定权重,理论分析与实验验证其优于现有方法。
2025-11-03 cs.AI cs.CL
Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment
Beihang University(北京航空航天大学);Beijing Institute for GAI(北京通用人工智能研究院);Meituan Inc.(美团公司);Ping An Technology(平安科技);University of Manchester(曼彻斯特大学)
本文提出一种解耦偏好表示与文本生成的个体偏好对齐范式,在保持或提升对齐质量的同时,将每个新个体偏好的额外训练时间减少80%到90%。
2024-12-30 cs.AI cs.CL
Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出对齐阶段假设,通过理论和实证分析,揭示了静态与策略偏好数据在LM对齐中的效果差异,并提出算法识别对齐阶段边界。
2026-01-27 cs.AI cs.CL
Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking
Shanghai Jiao Tong University(上海交通大学);Huawei Inc(华为公司)
本文针对扩散模型偏好对齐中中间步骤标签一致假设的问题,提出TailorPO框架,通过逐步奖励排序和梯度引导提升对齐效果,显著改善生成图像质量。
2025-02-01 cs.AI cs.LG
APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs
University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出APPA框架,通过动态调整群体奖励权重,提升联邦强化学习中多群体公平对齐效果,实验显示其在保持整体对齐性的同时,显著提升最差群体对齐性能。
2026-04-05 cs.AI cs.LG
MixDPO: Modeling Preference Strength for Pluralistic Alignment
Northeastern University(东北大学);Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
MixDPO通过建模偏好强度差异,提升多样的偏好对齐性能,同时保持子群体偏好,适用于高异质性场景。
2026-01-07 cs.AI cs.CL cs.LG
LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
本文提出LifeAlign,一种通过记忆增强的聚焦偏好优化实现终身对齐的方法,解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。
2026-04-08 cs.AI cs.CL cs.LG
Rewarding Better Thinking for LLM Preference Alignment
研究大语言模型偏好对齐问题,提出思维清单奖励(TCR)方法,将偏好对转化为思维清单评估推理轨迹,引入EMA残差公式减少与结果监督重叠,实验证明该方法能提升对齐性能。
2026-07-23 cs.AI cs.CL
Preference Data Selection for Mitigating the Alignment Tax in Large Language Models
Microsoft Research Asia(微软亚洲研究院)
本文提出BALIGN策略,通过筛选偏好数据的三个关键特征,缓解大语言模型对齐税,在保留通用能力的同时提升对齐效果,达到最优帕累托前沿。
2026-08-26 cs.AI cs.CL
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Robust LLM Alignment via Distributionally Robust Direct Preference Optimization
Texas A&M University(德克萨斯大学);California Institute of Technology(加州理工学院);Tencent AI Lab(腾讯AI实验室);Google DeepMind(谷歌DeepMind)
本文提出Wasserstein DPO和KLDPO算法,通过分布鲁棒优化解决LLM与人类偏好间的分布偏移问题,提升对齐性能。
2026-01-14 cs.AI cs.LG
PARM: Multi-Objective Test-Time Alignment via Preference-Aware Autoregressive Reward Model
The Chinese University of Hong Kong(香港中文大学);University of Maryland, College Park(马里兰大学帕克分校)
本文提出PARM,利用PBLoRA将偏好向量融入单一统一自回归奖励模型,以更低推理成本实现精确的多目标测试时对齐,并支持小模型引导大冻结LLM。
2025-05-06 cs.AI cs.LG
SHAPE : Self-Improved Visual Preference Alignment by Iteratively Generating Holistic Winner
Sun Yat-sen University(中山大学)
SHAPE提出一种自监督框架,将现成的文本-图像对转化为整体性偏好三元组,通过迭代自改进实现无需人工标注的低成本LVLM偏好对齐,并在多个基准上取得显著提升。
2025-03-06 cs.AI cs.CV
Self-supervised Attribute-aware Dynamic Preference Ranking Alignment
University of Science and Technology of China(中国科学技术大学)
针对现有方法依赖昂贵人工 pairwise 比较不适用于列表场景及人类偏好受多因素影响导致决策不一致的问题,提出自监督属性感知动态偏好排序模型 SeAdpra,通过 APDF 量化偏好差异并动态确定对齐顺序,在多个数据集上表现优异。
2025-02-15 cs.AI cs.CL
Conformal Feedback Alignment: Quantifying Answer-Level Reliability for Robust LLM Alignment
Arizona State University(亚利桑那州立大学)
Conformal Feedback Alignment通过量化答案级可靠性提升大语言模型对齐的鲁棒性和数据效率。
2026-01-24 cs.AI cs.LG
Direct Post-Training Preference Alignment for Multi-Agent Motion Generation Models Using Implicit Feedback from Pre-training Demonstrations
UC Berkeley(加州大学伯克利分校);Waymo(威摩科技)
针对多智能体运动生成模型后训练偏好对齐成本高的问题,提出利用预训练演示中的隐式偏好构建生成样本的偏好排序,以零人工成本实现对齐,使轻量级1M模型在交通仿真中媲美SOTA大规模模仿模型。
2025-03-25 cs.AI cs.RO
Language Chain in Alignment: Cross-lingual Ranking Preference Optimization
Korea University(高丽大学)
针对大语言模型对齐依赖英语偏好数据导致其他语言性能欠佳的问题,提出CRPO框架,通过层级结构联合优化语言内与跨语言偏好,在多语言实验中性能优于标准方法。
2026-08-28 cs.AI cs.CL
Direct Alignment with Heterogeneous Preferences
Harvard University(哈佛大学);University of California Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);Ikigai Labs(Ikigai实验室);University of California San Diego(加州大学圣地亚哥分校)
本研究通过引入用户类型形式化人类偏好的异构性,证明单一策略对齐异构偏好需平均奖励,并揭示直接对齐方法中一致性与样本效率的根本矛盾。
2025-02-22 cs.AI cs.LG
Differentially Private Preference Data Synthesis for Large Language Model Alignment
Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学计算机科学系);Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学电气与计算机工程系)
提出DPPrefSyn算法,基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据,实现隐私保护的偏好对齐。
2026-05-29 cs.AI cs.CR cs.LG
Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment
本文提出Meta-Aligner框架,通过双向优化偏好与策略响应,生成动态偏好以提升训练稳定性,实验证明其在多目标基准上的优越性能。
2026-04-27 cs.AI cs.LG
Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出MSPA-CQR方法,通过多维度自一致偏好对齐数据生成多样化查询,结合前缀引导的多维偏好优化,提升对话搜索中查询重写的效率与效果。
2026-04-08 cs.AI cs.CL
VideoDPO: Omni-Preference Alignment for Video Diffusion Generation
HKUST(香港科技大学);Renmin University of China(中国人民大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文率先将直接偏好优化适配至视频扩散模型,提出VideoDPO流水线,通过综合视觉质量与语义对齐的OmniScore自动收集并重新加权偏好对数据,显著提升了文本到视频生成的整体偏好对齐效果。
2024-12-18 cs.AI cs.CV cs.LG
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
Korea Advanced Institute of Science and Technology(韩国科学技术院);Yonsei University(延世大学)
提出SPA框架,利用少量人类标注数据和LLM的logits提取偏好标签进行迭代自标注,并结合噪声感知算法,仅用3.3%真实标签即实现了高效的LLM对齐。
2025-03-04 cs.AI cs.CL cs.LG
DSPA: Dynamic SAE Steering for Data-Efficient Preference Alignment
Carnegie Mellon University(卡内基梅隆大学)
DSPA通过在推理阶段动态调整稀疏自编码器的提示条件,提升数据效率的偏好对齐,同时在多个基准测试中表现优异。
2026-09-09 cs.AI cs.CL cs.LG
Reinforcement Learning with Reference-Based Rewards for Language Model Reasoning and Alignment
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出RefAlign算法,利用采样生成与参考答案间的相似度(如BERTScore)作为替代奖励,无需二元偏好数据或奖励模型即可实现通用语言模型对齐,并在安全、置信度等场景下取得与现有方法相当的性能。
2026-11-19 cs.AI cs.CL cs.LG
Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
针对单一对齐偏好的语言模型适配性不足、多目标RLHF微调不稳定且资源消耗高的问题,提出无RL的多目标直接偏好优化MODPO,理论上与MORLHF最优解一致,实验中性能相当或更优且计算资源仅为其三分之一。
2024-08-17 cs.AI cs.LG
Implicit Preference Alignment for Human Image Animation
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Tencent Hunyuan(腾讯文脉)
本文提出隐式偏好对齐框架,通过最大化自动生成高质量样本的似然并惩罚与预训练先验的偏差,提升手部生成质量并降低偏好数据构建门槛。
2026-05-08 cs.AI cs.CV
TODO: Enhancing LLM Alignment with Ternary Preferences
Meituan Inc.(美团公司);Beihang University(北京航空航天大学);University of Surrey(萨里大学)
针对二元偏好模型难以处理噪声和平局的问题,提出三元偏好对齐算法TODO,通过引入支持平局的TOBT模型改进偏好表示,在多项基准上显著提升了LLM的对齐性能。
2025-03-29 cs.AI cs.CL cs.IR
Adaptive Helpfulness-Harmlessness Alignment with Preference Vectors
National Taiwan University(国立台湾大学);Texas A&M University(德克萨斯A&M大学);Appier AI Research(Appier人工智能研究院);Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
本文提出偏好向量框架,通过模块化方法实现细粒度的用户可控偏好调整,提升大语言模型的有益性和无害性平衡。
2026-09-23 cs.AI cs.LG
Word Alignment as Preference for Machine Translation
The University of Tokyo(东京大学);NTT Corporation(NTT公司)
本文提出将词对齐作为偏好信号,通过直接偏好优化引导基于大语言模型的机器翻译系统,以缓解幻觉和遗漏问题,并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game
Tencent AI Lab(腾讯人工智能实验室)
提出对抗偏好优化(APO)框架,通过LLM与奖励模型的极小极大博弈交替更新,无需额外标注即可适应分布偏移,显著提升对齐基线的有用性与无害性。
2024-06-03 cs.AI cs.CL cs.LG
FlipGuard: Defending Preference Alignment against Update Regression with Constrained Optimization
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Communication Content Cognition(通信内容认知国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出约束优化方法 FlipGuard,通过定制奖励表征识别性能下降并施加约束以鼓励与预对齐模型的条件一致性,有效缓解了大型语言模型偏好对齐中的更新回归问题,同时保持优异整体性能与知识保留。
2024-10-14 cs.AI cs.CL
Free Lunch Alignment of Text-to-Image Diffusion Models without Preference Image Pairs
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Kling Team, Kuaishou Technology(快手科技 Kling 团队);NSERC CRC Chair(加拿大NSERC CRC主席)
针对文生图扩散模型对齐依赖昂贵成对图像偏好数据的问题,本文提出TPO框架,利用大语言模型构造不匹配文本提示进行偏好优化,并扩展DPO、KTO为TDPO、TKTO,在多个基准上提升人类偏好与图文对齐。
2025-09-30 cs.AI cs.CV
Pluralistic Off-policy Evaluation and Alignment
The University of New South Wales(新南威尔士大学);UC San Diego(圣地亚哥大学);Adobe Research(Adobe研究院);CSIRO’s Data61(CSIRO数据61研究所);Macquarie University(麦考瑞大学)
针对大语言模型偏好对齐中忽略多元性的问题,提出POPE框架,结合协作效用与多样性组件,通过分解IPS估计器实现离线评估与优化,实验证明其有效提升多元响应生成并保持通用能力。
2025-09-15 cs.AI cs.CL
Clean First, Align Later: Benchmarking Preference Data Cleaning for Reliable LLM Alignment
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对偏好数据噪声影响LLM对齐的问题,提出PrefCleanBench基准,系统评估13种清洁方法,揭示关键因素,并开源实现以促进可靠对齐。
2025-10-14 cs.AI cs.CL
Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent Inc.(腾讯公司)
针对多目标对齐中的“对齐税”和现有单向技术灵活性差的问题,提出可控偏好优化(CPO),通过显式指定不同目标的偏好分数引导模型生成响应,有效减轻对齐税并提升多目标对齐性能。
2024-10-11 cs.AI cs.CL cs.SY