Rewarding Better Thinking for LLM Preference Alignment
研究大语言模型偏好对齐问题,提出思维清单奖励(TCR)方法,将偏好对转化为思维清单评估推理轨迹,引入EMA残差公式减少与结果监督重叠,实验证明该方法能提升对齐性能。
2026-07-23 cs.AI cs.CL
Preference Data Selection for Mitigating the Alignment Tax in Large Language Models
Microsoft Research Asia(微软亚洲研究院)
本文提出BALIGN策略,通过筛选偏好数据的三个关键特征,缓解大语言模型对齐税,在保留通用能力的同时提升对齐效果,达到最优帕累托前沿。
2026-08-26 cs.AI cs.CL
Self-supervised Attribute-aware Dynamic Preference Ranking Alignment
University of Science and Technology of China(中国科学技术大学)
针对现有方法依赖昂贵人工 pairwise 比较不适用于列表场景及人类偏好受多因素影响导致决策不一致的问题,提出自监督属性感知动态偏好排序模型 SeAdpra,通过 APDF 量化偏好差异并动态确定对齐顺序,在多个数据集上表现优异。
2025-02-15 cs.AI cs.CL
Language Chain in Alignment: Cross-lingual Ranking Preference Optimization
Korea University(高丽大学)
针对大语言模型对齐依赖英语偏好数据导致其他语言性能欠佳的问题,提出CRPO框架,通过层级结构联合优化语言内与跨语言偏好,在多语言实验中性能优于标准方法。
2026-08-28 cs.AI cs.CL
Word Alignment as Preference for Machine Translation
The University of Tokyo(东京大学);NTT Corporation(NTT公司)
本文提出将词对齐作为偏好信号,通过直接偏好优化引导基于大语言模型的机器翻译系统,以缓解幻觉和遗漏问题,并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
本文提出LifeAlign,一种通过记忆增强的聚焦偏好优化实现终身对齐的方法,解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。
2026-04-08 cs.AI cs.CL cs.LG
FlipGuard: Defending Preference Alignment against Update Regression with Constrained Optimization
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Communication Content Cognition(通信内容认知国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出约束优化方法 FlipGuard,通过定制奖励表征识别性能下降并施加约束以鼓励与预对齐模型的条件一致性,有效缓解了大型语言模型偏好对齐中的更新回归问题,同时保持优异整体性能与知识保留。
2024-10-14 cs.AI cs.CL
Pluralistic Off-policy Evaluation and Alignment
The University of New South Wales(新南威尔士大学);UC San Diego(圣地亚哥大学);Adobe Research(Adobe研究院);CSIRO’s Data61(CSIRO数据61研究所);Macquarie University(麦考瑞大学)
针对大语言模型偏好对齐中忽略多元性的问题,提出POPE框架,结合协作效用与多样性组件,通过分解IPS估计器实现离线评估与优化,实验证明其有效提升多元响应生成并保持通用能力。
2025-09-15 cs.AI cs.CL
Clean First, Align Later: Benchmarking Preference Data Cleaning for Reliable LLM Alignment
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对偏好数据噪声影响LLM对齐的问题,提出PrefCleanBench基准,系统评估13种清洁方法,揭示关键因素,并开源实现以促进可靠对齐。
2025-10-14 cs.AI cs.CL
When Weak LLMs Speak with Confidence, Preference Alignment Gets Stronger
EPFL(苏黎世联邦理工学院);Sharif University of Technology(谢赫·穆吉加布大学)
本文提出CW-PO框架,利用弱LLM的置信度加权实现更高效的偏好对齐,仅用20%的人类标注即可超越传统方法。
2026-03-05 cs.AI cs.CL
On-the-fly Preference Alignment via Principle-Guided Decoding
University of Science and Technology of China(中国科学技术大学);People’s Daily Online(人民网)
本文提出OPAD框架,在推理阶段通过原则引导奖励直接调整模型输出,无需微调即可实现通用与个性化偏好对齐,并取得优于或可比现有基线的效果。
2025-02-20 cs.AI cs.CL
Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Huawei Technologies Co.Ltd(华为技术有限公司)
本文提出知识化偏好对齐方法 KnowPAT,通过构建两类偏好集并设计统一对齐目标,解决领域问答中满足用户需求与利用知识库两大难题,实验证明其优于 15 种基线方法。
2024-06-10 cs.AI cs.CL
Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Wuhan AI Research(武汉人工智能研究院)
本文提出隐式跨语言奖励方法,从英语DPO对齐模型中提取隐式奖励模型并标注跨语言偏好数据,再通过多语言DPO微调将偏好知识迁移到其他语言,在X-AlpacaEval上显著提升多语言对齐效果并减少对多语言偏好数据的需求。
2025-06-05 cs.AI cs.CL
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
Korea Advanced Institute of Science and Technology(韩国科学技术院);Yonsei University(延世大学)
提出SPA框架,利用少量人类标注数据和LLM的logits提取偏好标签进行迭代自标注,并结合噪声感知算法,仅用3.3%真实标签即实现了高效的LLM对齐。
2025-03-04 cs.AI cs.CL cs.LG
A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs
Department of Electrical Engineering and Computer Science University of California, Irvine(电气工程与计算机科学系 加州大学伊文斯分校)
本文提出了一种自适应偏好聚合方法,通过动态调整权重提升联邦RLHF中LLM的公平性与对齐性能。
2025-12-15 cs.AI cs.CL
Pref-CTRL: Preference Driven LLM Alignment using Representation Editing
University of Technology Sydney(悉尼科技大学)
本文提出Pref-CTRL,一种基于偏好的训练框架,通过多目标价值函数改进偏好数据结构,优于RE-Control并在跨领域数据集上表现更佳。
2026-04-26 cs.AI cs.CL
Persona-judge: Personalized Alignment of Large Language Models via Token-level Self-judgment
Zhejiang University(浙江大学);Angelalign Technology Inc.(Angelalign技术公司);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室)
本文提出 Persona-judge 判别式范式,利用草稿模型与判断模型在 token 级进行偏好交叉验证,无需训练或外部奖励即可实现对未见偏好的低成本个性化对齐。
2025-06-11 cs.AI cs.CL
Reinforcement Learning with Reference-Based Rewards for Language Model Reasoning and Alignment
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出RefAlign算法,利用采样生成与参考答案间的相似度(如BERTScore)作为替代奖励,无需二元偏好数据或奖励模型即可实现通用语言模型对齐,并在安全、置信度等场景下取得与现有方法相当的性能。
2026-11-19 cs.AI cs.CL cs.LG
Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models
University of Washington(华盛顿大学)
本文提出两种无需人工干预的评估指标——词汇对齐分数和三角化偏好转变,用于自动识别大型语言模型中的词汇过度使用及其与人类偏好学习的关联。
2026-06-02 cs.AI cs.CL
Towards Spec Learning: Inference-Time Alignment from Preference Pairs
Carnegie Mellon University(卡内基梅隆大学)
提出规范学习框架,利用少量用户指令和偏好判断生成自然语言规范,在推理时引导LLM行为,无需参数更新,在密集偏好信号领域优于DPO,且规范可解释。
2026-06-24 cs.AI cs.CL
Preference Ranking Optimization for Human Alignment
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出偏好排序优化(PRO)算法,将人类对齐转化为使LLM生成响应的概率排序与人类偏好排序对齐,实验表明其性能优于基线算法并接近ChatGPT和人类响应。
2024-02-27 cs.AI cs.CL
PAD: Personalized Alignment of LLMs at Decoding-Time
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学)
本文提出无需训练的解码时个性化对齐框架 PAD,通过 token 级个性化奖励引导 LLM 输出,在多样、未见偏好及跨模型场景中优于训练式方法。
2025-03-13 cs.AI cs.CL
PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Infinigence-AI
本研究推出大规模安全人类偏好数据集PKU-SafeRLHF,分离有用性与无害性标注,覆盖多危害类别与严重等级,并基于该数据训练安全对齐相关模型,为LLM安全部署提供资源支撑。
2025-06-14 cs.AI cs.CL
TODO: Enhancing LLM Alignment with Ternary Preferences
Meituan Inc.(美团公司);Beihang University(北京航空航天大学);University of Surrey(萨里大学)
针对二元偏好模型难以处理噪声和平局的问题,提出三元偏好对齐算法TODO,通过引入支持平局的TOBT模型改进偏好表示,在多项基准上显著提升了LLM的对齐性能。
2025-03-29 cs.AI cs.CL cs.IR
Cat-DPO: Category-Adaptive Safety Alignment
University of Southern California(南加州大学);Northwestern University(西北大学)
Cat-DPO通过将安全对齐转化为类别约束优化问题,为每个有害类别设置独立的适应性安全边际,提升整体帮助性和无害性,减少类别间的安全方差和最佳至最差差距。
2026-11-10 cs.AI cs.CL
From RLHF to Direct Alignment: A Theoretical Unification of Preference Learning for Large Language Models
Independent Researchers(独立研究者)
本文提出了一种理论统一框架,将大型语言模型的偏好学习方法归结为三个正交轴上的原则性选择,揭示了不同方法之间的本质联系。
2026-01-03 cs.AI cs.CL
Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game
Tencent AI Lab(腾讯人工智能实验室)
提出对抗偏好优化(APO)框架,通过LLM与奖励模型的极小极大博弈交替更新,无需额外标注即可适应分布偏移,显著提升对齐基线的有用性与无害性。
2024-06-03 cs.AI cs.CL cs.LG
Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
提出DPA-RAG通用框架,通过外部重排序器偏好对齐与内部预对齐阶段,实现检索增强生成中LLM多样化知识偏好的双重对齐,在四个知识密集型QA数据集上优于基线。
2024-07-18 cs.AI cs.CL cs.LG
PMoL: Parameter Efficient MoE for Preference Mixing of LLM Alignment
Harbin Institute of Technology(哈尔滨工业大学);Beijing Normal University - Hong Kong Baptist University United International College(北京师范大学-香港浸会大学联合国际学院);Qilu University of Technology(齐鲁工业大学)
针对RLHF难以处理多冲突偏好导致大模型对齐效果下降的问题,提出结合MoE与LoRA的参数高效架构PMoL,通过专家组软损失实现偏好混合,以更低训练成本取得更优的多偏好对齐效果。
2024-11-02 cs.CL
Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment
Ghent University(根特大学);imec;Contextual AI;Stanford University(斯坦福大学)
针对大语言模型对齐中因模型、数据与目标交互导致的欠指定问题,提出对比偏好数据构建方法CLAIR和可控稳定的对齐目标APO,显著提升Llama-3-8B-Instruct性能,缩小与GPT4-turbo的差距。
2024-09-14 cs.AI cs.CL cs.LG
A Zeroth-Order Paradigm for LLM Preference Alignment
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学);DAMO Academy, Alibaba Group U.S.(阿里巴巴集团美国达摩院);Columbia University(哥伦比亚大学)
本文提出零阶对齐方法ComPO,利用比较oracle提取偏好方向信息,避免似然位移,并在多种LLM上实现更优的长度控制胜率。
2026-09-17 cs.AI cs.CL cs.LG
Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent Inc.(腾讯公司)
针对多目标对齐中的“对齐税”和现有单向技术灵活性差的问题,提出可控偏好优化(CPO),通过显式指定不同目标的偏好分数引导模型生成响应,有效减轻对齐税并提升多目标对齐性能。
2024-10-11 cs.AI cs.CL cs.SY
Alignment Data Map for Efficient Preference Data Selection and Diagnosis
Sogang University(ソガン大学);Upstage(アップステージ);Korea University(韩国大学)
本文提出对齐数据图,通过评估偏好数据的对齐分数,选择高质量低变异性样本,提升对齐效果并提高标注准确性。
2026-04-20 cs.CL
A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models
University of California, San Diego(加利福尼亚大学圣地亚哥分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Adobe Research(奥多比研究院);The Ohio State University(俄亥俄州立大学);Allen Institute for AI(艾伦人工智能研究所)
本文综述了大语言模型个性化偏好对齐技术,提出涵盖训练时、推理时和用户建模方法的分类体系,并分析了各方法优劣、评估基准与开放问题。
2025-04-09 cs.CL
ContraSolver: Self-Alignment of Language Models by Resolving Internal Preference Contradictions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出 ContraSolver 算法,通过构建偏好图并解决内部偏好矛盾,实现大型语言模型的无监督自对齐,在多个生成任务上显著提升模型性能。
2024-06-13 cs.CL
PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training
Texas A&M University(德克萨斯A&M大学);Inria(法国国家信息与自动化研究所)
针对现有大语言模型推理时对齐方法依赖预训练奖励模型的缺陷,提出PITA框架,通过学习小型偏好引导策略在推理阶段调整token生成概率,无需奖励模型与LLM微调,在多类任务上验证了对齐有效性。
2025-11-13 cs.AI cs.CL cs.LG
PACIFIC: Can LLMs Discern the Psychometric Traits Influencing Your Preferences? Personality-Driven Preference Alignment in LLMs
University of California, Irvine(加州大学尔湾分校)
研究通过实验发现,基于用户性格特征的偏好对齐可显著提升个性化问答准确性,提出PACIFIC数据集及自动检索框架,用于改进LLM回答生成。
2026-09-14 cs.CL
PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型偏好优化存在的视觉不敏感性问题,提出PEA-DPO框架,利用视觉偏好信号缓解该问题,提升多模态对齐效果并减少幻觉。
2026-08-21 cs.AI cs.CL cs.CV
ComPO: Preference Alignment via Comparison Oracles
Columbia University(哥伦比亚大学);Stern School of Business(斯特恩商学院);New York University(纽约大学);DAMO Academy, Alibaba Group US(阿里云达摩院)
本文提出ComPO,一种基于比较预言机的零阶偏好对齐方法,以解决直接对齐方法中的冗长和似然位移问题,并在多个模型和基准上验证其有效性。
2025-10-25 cs.AI cs.CL cs.LG
Implementing Rational Choice Functions with LLMs and Measuring their Alignment with User Preferences
Spoken Language Systems (LSV)(语音语言系统(LSV));Saarland University(萨尔兰大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本文提出用大语言模型实现理性选择函数的设计原则,并构建工具衡量其与用户偏好(含严格偏好与无差异)的一致性,在汽车领域智能用户界面中验证了方法的有效性。
2025-04-22 cs.AI
Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier
提出统一偏好优化方法,结合DPO的简单性与RL的通用性,无需额外数据或成本即可同时优化用户偏好与辅助目标,在多种规模模型上保持或超越对齐性能。
2025-05-25 cs.AI
Improving LLM General Preference Alignment via Optimistic Online Mirror Descent
University of YYY(YYY大学);Institute of WWW(WWW研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab(腾讯AI实验室)
本文提出一种基于乐观在线镜像下降的通用偏好对齐方法,通过双人博弈框架近似纳什策略,实现对偶间隙$O(T^{-1})$界,并在多个基准上超越现有RLHF算法。
2025-02-24 cs.AI cs.CL cs.LG
On Diversified Preferences of Large Language Model Alignment
Tencent AI Lab(腾讯AI实验室);HiThink Research(海思思考研究院);Alibaba Group(阿里巴巴集团);Peng Cheng Lab(鹏城实验室)
针对人类偏好多样性阻碍大语言模型对齐效果的问题,本文定量分析了偏好多样性对不同规模奖励模型的影响规律,提出ECE评估指标与MORE多目标奖励学习方法,实验验证其能有效提升对齐性能。
2024-10-05 cs.AI
Unbiased Alignment for Large Language Models with Noisy Preferences
研究大语言模型与人类偏好对齐问题,针对真实偏好数据集中噪声大的问题,提出无偏对齐理论框架,引入新损失函数,能直接从噪声数据集无偏训练模型,实验表明优于现有基线。
2026-10-27 cs.AI cs.LG
Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy
Nankai University(南开大学);Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Wuhan University(武汉大学)
本文提出通过可证明的偏好偏差检测AI生成文本,利用对齐印记理论分析,引入LAPD统计量提升检测性能,实验显示在多种设置下均取得显著提升。
2026-11-03 cs.AI
HPS: Hard Preference Sampling for Human Preference Alignment
Singapore Management University(新加坡国立管理学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出HPS框架,通过优先选择最受好评的响应并拒绝所有不受欢迎和有害的响应,提升大语言模型与人类偏好的对齐效率和鲁棒性。
2026-03-20 cs.AI
SPINAL -- Scaling-law and Preference Integration in Neural Alignment Layers
IIIT Ranchi(兰契国际信息技术学院);Apple(苹果公司);Google(谷歌公司);BITS Pilani(皮拉尼博拉理工学院)
SPINAL通过分析神经对齐层的几何特性,量化对齐在深度层的集中表现及稳定性变化。
2026-01-08 cs.AI cs.CL cs.LG
CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment
Department of Data Science and AI, Monash University, Australia(墨尔本大学数据科学与人工智能系);eBay Inc.(eBay公司)
针对多语言偏好对齐中联合训练的负干扰问题,提出CONGRAD方法,通过冲突梯度过滤和亚线性压缩提升样本质量,在多语言模型上实现了已见与未见语言的性能提升且对齐代价小。
2025-11-11 cs.CL
UniARM: Towards a Unified Autoregressive Reward Model for Multi-Objective Test-Time Alignment
School of Computer, Beihang University(北京航空航天大学计算机学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院)
UniARM通过统一自回归奖励模型实现多目标测试时间对齐,通过共享特征和偏好调节模块减少特征纠缠,提升对偏好权衡的控制能力。
2026-02-10 cs.CL
ULMA: Unified Language Model Alignment with Human Demonstration and Point-wise Preference
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出逐点直接偏好优化和统一语言模型对齐方法,将人类演示与逐点偏好统一到单步对齐流程中,并通过实验验证其有效性。
2024-02-26 cs.CL cs.LG
Annotation-Efficient Language Model Alignment via Diverse and Representative Response Texts
CyberAgent / Tokyo, Japan(CyberAgent)
针对有限标注预算下构建有效偏好数据集的问题,提出标注高效偏好优化(AEPO)方法,通过选择最大化多样性和代表性的回复子集进行偏好标注,在相同预算下优于基线。
2025-09-17 cs.AI cs.CL cs.LG
Larger or Smaller Reward Margins to Select Preferences for Alignment?
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
针对现有偏好数据评估指标基于显式或隐式奖励边际产生矛盾评价的问题,提出“对齐潜力”指标量化模型对齐潜力,有效提升LLMs对齐性能并扩展至自博弈数据生成框架,在多种设置下超越SOTA。
2025-02-25 cs.AI cs.CL cs.LG
Group Preference Optimization: Few-Shot Alignment of Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出 Group Preference Optimization(GPO)框架,通过元学习训练独立的上下文自回归 transformer 模块,以少样本方式实现大型语言模型对不同群体偏好的高效精准对齐,显著降低数据和计算资源消耗。
2024-10-14 cs.AI cs.CL cs.LG
TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation
University of Electronic Science and Technology of China(电子科技大学);Shandong University(山东大学)
针对现有工具学习方法忽视细粒度优化的问题,提出TTPA框架,通过反向数据集构建、令牌级偏好采样和面向错误的评分机制,实现令牌级偏好对齐,在三个基准上显著提升工具使用性能并展现强泛化能力。
2025-05-26 cs.CL