Diffusion-RPO: Aligning Diffusion Models through Relative Preference Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Azure AI（微软Azure人工智能）
本文提出Diffusion-RPO方法，通过相对偏好优化并利用同提示及语义相关的跨模态提示-图像对来对齐扩散模型与人类偏好，同时引入风格对齐评估指标，在Stable Diffusion 1.5和XL-1.0上优于监督微调和Diffusion-DPO。
2024-06-10 cs.CL cs.CV cs.LG
Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
本文提出 JPO，通过在完整指令-响应对上进行联合偏好优化来对齐 LLM，并在摘要与开放式对话任务上分别较 DPO 提升 5.2% 和 3.3% 胜率。
2025-01-07 cs.AI cs.CL cs.LG
A Good Plan is Hard to Find: Aligning Models with Preferences is Misaligned with What Helps Users
University of Maryland（马里兰大学）；Yale University（耶鲁大学）；George Washington University（乔治华盛顿大学）；Cohere（Cohere公司）
本文通过Planorama用户实验发现，用户偏好和智能体成功率无法准确预测LLM计划的实际帮助性，指出对齐应基于真实用户交互反馈而非表面偏好。
2025-09-23 cs.CL
Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes
Antiquus S. Hippocampus, Natalia Cerebro & Amelie P. Amygdale Department of Computer Science Cranberry-Lemon University Pittsburgh, PA 15213, USA（计算机科学系， Cranberry-Lemon 大学）；Ji Q. Ren & Yevgeny LeNet Department of Computational Neuroscience University of the Witwatersrand Joburg, South Africa（计算神经科学系， 威特沃特斯兰大学）
本文提出潜在偏好编码（LPC），用离散潜在码建模人类偏好中的隐式因素及其组合，无需预定义奖励函数即可与多种离线对齐算法集成，并在多个基准上一致提升 DPO、SimPO 和 IPO 的对齐性能与鲁棒性。
2025-05-08 cs.CL
Steering Risk Preferences in Large Language Models by Aligning Behavioral and Neural Representations
Princeton University（普林斯顿大学）；University of Warwick（华威大学）
本文提出将行为方法引出的潜在表征与 LLM 内部神经表征对齐以系统发现引导向量，并验证其可可靠调控模型的风险偏好输出。
2025-05-16 cs.AI cs.CL
Aligning Teacher with Student Preferences for Tailored Training Data Generation
Tsinghua University（清华大学）
本文提出ARTE框架，通过收集学员偏好并对齐教师模型，为知识蒸馏生成定制化训练示例，实验证明其优于现有指令微调数据集，并验证了学员模型与对齐教师模型的泛化能力。
2024-06-27 cs.CL
Direct Density Ratio Optimization: A Statistically Consistent Approach to Aligning Large Language Models
University of Tokyo（东京大学）
针对现有大语言模型对齐方法依赖特定偏好模型导致统计不一致的问题，提出直接密度比优化方法DDRO，通过直接估计偏好与非偏好输出的密度比实现对齐，理论证明其具有统计一致性，实验显示其在多个基准上性能优于现有方法。
2025-05-19 cs.CL cs.LG stat.ML
Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity
Zhejiang University（浙江大学）；IHPC and CFAR, A*STAR（IHPC和CFAR，A*STAR）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出源自社会调查的 Fair-PP 个性化公平偏好合成数据集，并结合自动生成框架、LLM偏好定位分析与样本重加权对齐方法，提升模型对目标人物画像的偏好适配效果。
2025-05-17 cs.AI cs.CL
Safer-Instruct: Aligning Language Models with Automated Preference Data
University of Southern California（南加州大学）
Safer-Instruct提出一种无需人工标注的自动化偏好数据构建流水线，结合反向指令调优、指令归纳和专家评估，在安全偏好数据上微调Alpaca模型取得优于人工标注数据的效果，并可推广至多领域。
2024-03-31 cs.AI cs.CL
Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
本研究针对LLMs判断不一致问题，提出基于传递性等三个属性的逻辑偏好一致性评估框架，引入REPAIR技术提升一致性并保持人类偏好对齐，实验证明该框架可反映鲁棒性且改进后算法性能更好。
2025-02-09 cs.AI cs.CL cs.LO
Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
针对大语言模型评估器存在偏差、与人类评估对齐度不足的问题，本研究提出基于不确定性引导的成对偏好搜索排序聚合方法，在长文本生成评估任务上取得最优性能，并揭示了成对偏好在量化模型传递性中的作用。
2025-01-17 cs.AI cs.CL cs.LG
Inverse-Q*: Token Level Reinforcement Learning for Aligning Large Language Models Without Preference Data
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出Inverse-Q*框架，通过优化Token级强化学习且无需额外奖励或价值模型，直接从模型响应中估计条件最优策略，在低资源环境下实现对齐，其收敛速度与对齐效果超越PPO。
2024-08-29 cs.CL
AlignCap: Aligning Speech Emotion Captioning to Human Preferences
University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
针对语音情感描述中的幻觉与泛化问题，本文提出基于 LLM 的 AlignCap，通过语音-文本蒸馏对齐和人类偏好优化提升零样本描述性能。
2024-10-24 cs.CL cs.SD eess.AS
Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE
Sun Yat-sen University（中山大学）；Snap Inc（Snap公司）
本文研究了在隐式反馈下直接偏好优化的行为，通过系统实验比较了常见负样本选择策略及其与DPO训练的交互，发现用动态top-K候选池进行随机采样可提升排名性能，原因在于减少错误抑制梯度和保留信息硬信号。
2026-03-31 cs.CL cs.IR
AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference
Shanghai Jiao Tong University（上海交通大学）；Suzhou Laboratory（苏州实验室）
本文提出AlignSum框架，通过构建数据金字塔、高斯重采样和两阶段分层微调，使BART-Large等预训练语言模型在自动与人类评估中超越175B GPT-3，显著提升摘要生成与人类偏好的对齐。
2024-10-01 cs.CL
Varying Shades of Wrong: Aligning LLMs with Wrong Answers Only
University of Washington（华盛顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
针对缺乏可靠标注的挑战性任务，本文提出利用“错对错”偏好对齐LLM，通过自洽性、token概率和LLM评判等方法引导偏好并微调模型，实验证明该方法能提升模型表现并改善校准。
2024-10-14 cs.AI cs.CL
Aligning LLMs by Predicting Preferences from User Writing Samples
University of Colorado（科罗拉多大学）；Apple（苹果公司）
本文提出 PROSE 方法，通过迭代细化偏好描述和跨样本验证，从用户写作样本中更精准地推断个性化偏好，显著提升了写作智能体的生成质量并证明了与 ICL 的互补性。
2025-05-27 cs.CL cs.LG
Aligning LLMs with Individual Preferences via Interaction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对大语言模型忽视个体偏好定制的问题，提出通过多轮对话隐式推断用户偏好并动态对齐的“交互式对齐”方法，构建3,310个用户画像和3K+对话数据集，经微调与强化学习训练，在ALOE基准上验证了有效性。
2024-12-15 cs.AI cs.CL cs.HC
Arch-Router: Aligning LLM Routing with Human Preferences
Katanemo Labs, Inc.（Katanemo实验室）
提出Arch-Router，一个1.5B的偏好对齐路由框架，通过将查询映射到领域-动作偏好来匹配人类偏好，在对话数据集上达到SOTA，优于顶级专有模型，且支持无缝添加新模型。
2025-06-19 cs.CL
TPO: Aligning Large Language Models with Multi-branch & Multi-step Preference Trees
School of Computer Science, Peking University（北京大学计算机科学系）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；National Research and Engineering Center of Software Engineering, Peking University（北京大学软件工程研究中心）
本文提出树偏好优化（TPO），直接利用整个偏好树进行偏好列表排序学习，并引入自适应步骤奖励，在数学推理任务上优于DPO，提升LLM长链推理能力。
2025-10-24 cs.AI cs.CL
Icon$^{2}$: Aligning Large Language Models Using Self-Synthetic Preference Data via Inherent Regulation
Zhejiang University（浙江大学）；Soochow Securities Co.,Ltd.（苏州证券有限公司）；HKUST(GZ)（香港科技大学（广州））；Nanjing University（南京大学）
本文提出Icon$^{2}$方法，利用LLM表示空间的内在调控构建自合成偏好数据，通过方向向量过滤指令和双向控制生成响应对，显著提升对齐效果并降低计算成本。
2025-09-06 cs.AI cs.CL
Aligning Large Language Model Behavior with Human Citation Preferences
RIKEN AIP（日本研究所）
本研究通过构建数据集分析LLM引用行为与人类偏好的一致性，发现模型在引用医学文本和数字句子上存在偏差，通过优化可提升对齐效果。
2026-02-05 cs.AI cs.CL
Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯AI实验室）
本文提出了一种基于双人博弈和无悔学习的迭代纳什策略优化（INPO）算法，通过直接在偏好数据集上最小化新损失目标，避免了高昂的胜率估计成本，有效实现了LLMs与一般偏好的对齐。
2025-03-03 cs.AI cs.CL cs.GT
ERA-IT: Aligning Semantic Models with Revealed Economic Preference for Real-Time and Explainable Patent Valuation
School of Computing（计算学院）；Macquarie University（麦考瑞大学）；School of Computer Science（计算机科学学院）；University of Technology Sydney（悉尼技术大学）；School of Management（管理学院）；Zhejiang University（浙江大学）
ERA-IT通过揭示的经济偏好对齐语义模型，实现实时且可解释的专利估值，提升预测准确性并增强决策透明度。
2026-01-05 cs.CE cs.CL
Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference
Nanjing University（南京大学）；Polixir Technologies
针对粗粒度奖励模型稀疏性差、token级奖励模型语义不足问题，提出句子级中粒度奖励模型，通过句子分割、微分运算及新型注意力机制实现，在RewardBench和AlpacaEval上性能更优。
2025-06-11 cs.CL cs.LG
Aligning LLMs through Multi-perspective User Preference Ranking-based Feedback for Programming Question Answering
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Hefei University of Technology（合肥工业大学）；School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）；University of Toronto（多伦多大学）
提出ALMupQA框架，通过多视角偏好排序对齐和检索增强上下文学习模块，结合新构建的StaCCQA数据集，有效提升了LLM在代码社区问答中满足用户多样化偏好和准确性的能力。
2024-05-27 cs.AI cs.CL
Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；ByteDance Inc（字节跳动公司）
本文提出 Linear Alignment 算法，通过散度约束下策略优化的新参数化和闭式解，在单次推理中实现 LLM 与人类偏好对齐，无需标注或训练。
2024-07-02 cs.CL
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University（韩国大学）；KAIST AI（韩国科学技术院人工智能研究中心）；Seoul National University（首尔国立大学）；AIGEN Sciences（AIGEN科学）
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题，提出RetPO框架，通过构建含41万+重写反馈的RF collection数据集微调小模型，实现与检索器偏好对齐，性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments
University of Michigan（密歇根大学）
本研究针对语言模型评估中令牌计数偏差，提出贝叶斯统计和 t 检验量化及重新校准 GPTScorer 的方法，显著提升与人类评估的一致性，如推荐用例相关系数从 -27.27 升至 44.55。
2024-07-05 cs.AI cs.CL cs.HC
WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
Microsoft Corporation（微软公司）；Purdue University（普渡大学）；Texas A&M University（德克萨斯农工大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）
本文提出WildFeedback框架，通过实时用户反馈自动创建偏好数据集，提升大语言模型对用户偏好的对齐能力，解决了现有方法的可扩展性、主观性和偏见问题。
2026-04-17 cs.CL
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
COMAL: A Convergent Meta-Algorithm for Aligning LLMs with General Preferences
Yale University（耶鲁大学）；Allen Institute for AI（人工智能研究院）
COMAL是一种受博弈论启发的元算法，通过将偏好对齐建模为零和博弈并收敛至纳什均衡，确保50%胜率，在多种数据集上优于现有方法，并保持高胜率。
2025-10-13 cs.AI cs.CL cs.GT
Aligning to Thousands of Preferences via System Message Generalization
KAIST AI（KAIST人工智能学院）；Carnegie Mellon University（卡内基梅隆大学）
提出通过系统消息泛化实现个性化LLM对齐的新范式，构建Multifaceted数据集训练Janus模型，在多个基准上超越现有模型，兼顾个性化与通用对齐。
2024-11-05 cs.CL
Aligning Language Models Using Follow-up Likelihood as Reward Signal
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯AI实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出利用用户后续话语的似然作为奖励信号（FLR），无需人工或商业LLM偏好标注即可区分回答优劣，在多个基准上媲美强奖励模型，并用于自动挖掘偏好数据以提升基础模型有用性。
2025-02-23 cs.CL
Aligning LLM Agents by Learning Latent Preference from User Edits
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
本文提出PRELUDE框架和CIPHER算法，通过从用户历史编辑中推断潜在偏好描述来生成个性化回复，无需微调LLM，在摘要和邮件写作任务上以最低编辑距离成本优于基线。
2024-11-23 cs.AI cs.CL cs.IR
Evaluating and Aligning CodeLLMs on Human Preference
Alibaba Group（阿里巴巴集团）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
本文构建贴近真实任务的CodeArena基准，并利用近20B tokens的SynCode-Instruct验证合成指令微调，表明开源代码LLM与专有模型在人类偏好对齐上仍有明显差距。
2024-12-06 cs.CL
From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
针对大型推理模型偏好对齐中轨迹采样导致的梯度方差问题，提出BVPO方法，通过混合高方差轨迹估计器和低方差空轨迹估计器优化偏差-方差权衡，理论证明降低方差并收紧收敛界，实验在多个基准上显著提升对齐和推理性能。
2025-10-06 cs.AI cs.CL cs.LG
HLPD: Aligning LLMs to Human Language Preference for Machine-Revised Text Detection
HLPD通过人类语言偏好优化提升机器修订文本检测性能，实现对GPT系列模型和先进大语言模型生成文本的高效识别。
2025-12-02 cs.CL cs.CR
SWE-IF: Aligning Code Evaluation with Human Preference
Google DeepMind（谷歌DeepMind）
提出SWE-IF基准，通过可验证指令分类法VeriCode评估代码指令遵循能力，发现指令遵循是区分LLM代码质量的关键，与功能正确性结合更能匹配人类偏好。
2026-06-05 cs.AI cs.CL cs.LG
CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences
Université de Montréal（蒙特利尔大学）；Singapore Management University（新加坡管理大学）
本文提出CodeUltraFeedback数据集，利用LLM-as-a-Judge方法评估编码偏好对齐，并通过SFT和RLAIF（DPO）微调CodeLlama-7B-Instruct，使其对齐效果和功能正确性优于更大模型。
2024-12-27 cs.CL cs.LG cs.SE
Aligning to Illusions: Choice Blindness in Human and AI Feedback
研究揭示RLHF中偏好构建的问题，显示人类和AI反馈中的选择盲区受上下文影响，导致奖励信号失真。
2026-03-09 cs.AI cs.CL
Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization
Singapore University of Technology and Design（新加坡科技设计大学）；Meta AI；University of Michigan（密歇根大学）
本文提出Tango 2，通过合成偏好数据集和扩散DPO损失微调Tango模型，改进文本到音频生成中概念存在与时间顺序，在自动和人工评估中优于Tango和AudioLDM2。
2024-07-17 cs.AI cs.CL cs.SD
Aligning Large Language Models via Fully Self-Synthetic Data
University of California, Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）
提出完全自合成数据框架SAO，让模型自我生成提示、回复和偏好进行对齐，在提升聊天能力的同时保持下游任务性能，为LLM自我改进提供实用方案。
2025-10-08 cs.CL
Aligning Large Language Models from Self-Reference AI Feedback with one General Principle
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
提出自参考 AI 反馈框架，让 Llama2-Chat 依据通用原则、自我批评与自一致性生成高质量偏好数据，显著提升强化学习对齐效果。
2024-06-17 cs.AI cs.CL
Transforming and Combining Rewards for Aligning Large Language Models
University of Chicago（芝加哥大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本研究针对奖励模型对齐语言模型中的变换与组合问题，提出LSC变换（log-sigmoid中心化变换），通过强调改进差输出并实现原则性聚合，在RLHF实验中显著提升有用性与无害性。
2024-07-19 cs.AI cs.CL
Prior Constraints-based Reward Model Training for Aligning Large Language Models
Northeastern University（东北大学）；NiuTrans Research（NiuTrans研究院）
针对大语言模型对齐中奖励模型训练无约束导致强化学习阶段奖励分数失控缩放的问题，提出基于先验约束的PCRM训练方法，引入长度比、余弦相似度约束优化，显著提升对齐效果且易集成到各类排序类对齐方法中。
2024-09-18 cs.CL
Everyone Deserves A Reward: Learning Customized Human Preferences
Tencent AI Lab（腾讯人工智能实验室）；Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
针对通用奖励模型无法满足个性化需求的问题，提出三阶段定制化奖励模型学习方案，并构建领域特定偏好数据集，发现通用偏好增强与定制化偏好模仿学习能有效保留通用偏好能力。
2023-09-15 cs.CL
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Aligning Large Language Models by On-Policy Self-Judgment
Yonsei University（延世大学）；NAVER Cloud（NAVER云）；KAIST AI（韩国科学技术院AI研究院）；SNU AI Center（首尔大学AI中心）
提出SELF-JUDGE框架，通过JSFT训练单一模型同时作为策略和评判者，实现在线策略对齐，无需额外奖励模型，实验证明其优于基线。
2024-06-25 cs.AI cs.CL cs.LG
Provably Robust DPO: Aligning Language Models with Noisy Feedback
Microsoft Research, India（微软研究院印度分部）
针对含噪偏好数据影响DPO算法对齐效果的问题，提出带理论保证的鲁棒DPO框架，通过去偏损失函数实现噪声鲁棒性，实验验证其优于基线方法。
2024-04-12 cs.CL cs.LG
Aligning Modalities in Vision Large Language Models via Preference Fine-tuning
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；Stanford University（斯坦福大学）
本文将视觉大型语言模型（VLLMs）的幻觉问题视为模态对齐问题，提出POVID框架，利用AI模型自动生成偏好与非偏好反馈数据，通过直接偏好优化进行RLHF微调，有效减少幻觉并提升模型在标准基准上的性能。
2024-02-18 cs.CL cs.CV cs.LG
Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment
Artificial Intelligence Research Laboratory, Pennsylvania State University（宾夕法尼亚州立大学人工智能研究实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯人工智能实验室）
针对直接偏好优化忽略隐式奖励实际值的问题，提出Cal-DPO算法，通过校准隐式奖励规模使其与真实奖励相当，理论分析与多基准实验证明其显著提升了LLM与人类偏好的对齐效果。
2024-12-19 cs.CL cs.LG
Peering Through Preferences: Unraveling Feedback Acquisition for Aligning Large Language Models
University of California Los Angeles（加利福尼亚大学洛杉矶分校）
本研究分析了大语言模型对齐中评分与排序两种稀疏反馈协议，发现两者偏好不一致率达60%，且影响模型评估，揭示评估方法对反馈协议的依赖。
2024-02-05 cs.AI cs.CL cs.LG
Active Preference Learning for Large Language Models
University College London（伦敦大学学院）；Centre for Artificial Intelligence（人工智能中心）
本文针对DPO提出一种基于预测熵与隐式偏好模型确定性的主动学习采集函数，以更高效利用偏好标签，提升大语言模型微调的学习速率与最终性能。
2024-06-28 cs.AI cs.CL cs.LG
