Many of Your DPOs are Secretly One: Attempting Unification Through Mutual Information
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Technical University of Darmstadt(达姆施塔特工业大学);University College London(伦敦大学学院)
本文提出基于互信息的统一框架,通过灵活先验的新损失函数将SimPO、TDPO、SparsePO等多种DPO变体纳入同一体系,以简化DPO算法版图并促进LLM对齐研究。
2025-01-02 cs.CL cs.LG stat.ML
An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models
Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
本文通过对比SFT、DPO及分阶段训练方法,发现全参数微调在小模型中表现更优,而偏好优化和低秩适应带来的边际收益有限。
2026-03-20 cs.AI cs.CL
Context-Grounding Gains Are Mediated by Pre-existing Machinery: Auditing GRPO, SFT, and DPO
University of Michigan(密歇根大学);University of Waterloo(滑铁卢大学)
该研究审计 GRPO、SFT、DPO 三种后训练方法对语言模型上下文 grounding 的提升,发现其提升大多依赖初始模型已有的机制,而非新增机制。
2026-09-02 cs.AI cs.CL cs.LG
Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization
Arizona State University(亚利桑那州立大学);Morgan Stanley(摩根士丹利)
针对DPO损害推理、易受噪声和数据规模影响的问题,本文提出单步偏好学习方法TPO,在多项聊天与推理基准上以更少数据显著优于DPO和SimPO。
2025-02-18 cs.CL
BPO: Revisiting Preference Modeling in Direct Preference Optimization
UAES AI Lab(联合汽车电子AI实验室)
本文提出平衡偏好优化(BPO),通过平衡奖励边际和差距适配器动态平衡已选与拒绝响应的优化,从根本上解决DPO的已选响应退化问题,在数学推理任务上显著提升准确率且仅需一行代码修改。
2025-06-04 cs.CL
Mitigating LLM biases toward spurious social contexts using direct preference optimization
Stanford University(斯坦福大学)
本文研究了LLM对虚假社会情境的鲁棒性,提出Debiasing-DPO方法,通过自监督训练和监督微调减少偏见并提升预测准确性。
2026-08-27 cs.AI cs.CL
FocalPO: Enhancing Preference Optimizing by Focusing on Correct Preference Rankings
LMU Munich(慕尼黑大学);Columbia University(哥伦比亚大学);University of Southern California(南加州大学);University of Oxford(牛津大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对 DPO 难以纠正错误排序偏好对的问题,本文提出 FocalPO,通过 Focal Loss 式调制因子动态降权错误样本、强化正确样本,并在多个基准和模型上优于 DPO 变体。
2025-07-28 cs.AI cs.CL
Sem-DPO: Mitigating Semantic Inconsistency in Preference Optimization for Prompt Engineering
University of Minnesota(明尼苏达大学);Virginia Tech(弗吉尼亚理工大学);Xi’an University of Technology(西安理工大学);Lahore University of Management Sciences(拉合尔管理科学大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对DPO用于提示工程时存在的语义不一致问题,提出加入语义权重调整损失的Sem-DPO,证明其语义漂移有界,实验显示其在文本到图像提示优化任务上效果优于DPO及现有最优基线。
2025-07-29 cs.AI cs.CL cs.LG
Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对DPO中成对胜负响应彼此孤立、相关性弱的问题,提出BMC框架,通过构造伪获胜响应并动态利用策略模型置信度学习token级相关性,在多类任务上显著优于DPO等基线。
2025-02-18 cs.CL
Reinforcing Step-level Reasoning for Effective Self-Correction in LLMs
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);VinUniversity;Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局信息通信研究院)
针对大语言模型自校正的核心挑战,提出SFS-DPO及教师辅助变体SFS-DPO-R框架,经多模型多域评估,其性能优于现有步骤级训练基线,可提升自校正频率与有效性。
2026-09-01 cs.AI cs.CL
Preference Optimization by Estimating the Ratio of the Data Distribution
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出Bregman偏好优化(BPO),通过估计数据分布比率来对齐语言模型,同时提升生成质量与多样性,在Llama-3-8B上达到最先进性能。
2025-10-25 cs.AI cs.CL cs.LG
Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本研究拆解偏好学习四大核心要素,系统对比各组件对语言模型性能的影响,明确了不同要素的贡献排序及PPO相对DPO的性能优势,并公开发布相关代码、模型与数据集。
2024-10-07 cs.CL
VCIFBench: Evaluating Complex Instruction Following for Video Understanding
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University(知识驱动人机智能工程研究中心,吉林大学);International Center of Future Science, Jilin University(未来科学国际中心,吉林大学)
提出VCIFBench基准,通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力,实验表明联合约束满足仍具挑战,DPO训练可提升性能。
2026-08-25 cs.CL
Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));SmartMore(思谋科技)
针对LLM长链数学推理中DPO难以定位细粒度错误的问题,提出Step-DPO方法,以单个推理步骤为偏好优化单元,构建10K高质量数据集,显著提升模型在MATH和GSM8K上的准确率,超越多个闭源模型。
2024-06-26 cs.AI cs.CL cs.LG
It Takes Two: Your GRPO Is Secretly DPO
UdeM(蒙特利尔大学);McGill(麦吉尔大学);Mila(Mila人工智能研究院);UManitoba(曼尼托巴大学);CUHK(香港中文大学);ZJU(浙江大学);UAlberta(阿尔伯塔大学);Amii(阿米人工智能研究院);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出2-GRPO,通过仅两个rollouts构建对比信号,理论分析显示其性能接近16-GRPO,训练效率提升显著。
2026-05-14 cs.CL cs.LG
Exploring the Potential of Offline RL for Reasoning in LLMs: A Preliminary Study
a-m-team(a-m团队)
本文初步探索了离线强化学习方法DPO及其变体LD-DPO在提升LLMs推理能力中的潜力,实验显示平均性能提升3.3%,在Arena-Hard上提升10.1%,并强调推理长度应与语义丰富性匹配。
2025-05-04 cs.CL
MaPPO: Maximum a Posteriori Preference Optimization with Prior Knowledge
Purdue University(普渡大学);University of California, San Diego(加州大学圣地亚哥分校);Amazon(亚马逊);Meta, FAIR;Yonsei University(延世大学)
MaPPO通过整合先验奖励知识优化偏好学习,提升对齐性能,无需额外超参数,适用于离线和在线设置,支持DPO变体插件,实验显示在多个基准上效果显著。
2026-11-08 cs.AI cs.CL cs.LG
Understanding the Logic of Direct Preference Alignment through Logic
Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
本文通过将直接偏好对齐损失形式化为离散推理问题,提出一种新形式化方法,以表征常见DPA变体并探索损失景观,从而系统推导新损失函数,助力人类AI对齐。
2025-03-27 cs.CL
Lost in Variation? Evaluating NLI Performance in Basque and Spanish Geographical Variants
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(希茨中心-ixa,巴斯克国家大学UPV/EHU)
该研究构建巴斯克语与西班牙语地理变体的人工平行 NLI 数据集,系统评估跨语言及上下文学习中的 LLM 表现,揭示语言变异本身导致性能下降。
2025-07-23 cs.CL
TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation
Yale University(耶鲁大学);Texas State University(德克萨斯州立大学)
针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题,提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法,在SciERC任务上显著提升关键指标。
2026-08-04 cs.CL
Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization
School of Computing and Intelligent Innovation, Fudan University(复旦大学计算与智能创新学院);School of Economics and Management, Tongji University(同济大学经济与管理学院);College of Information Technology, Shanghai Ocean University(上海海洋大学信息学院)
本文提出基于拓扑的对齐框架,通过轨迹拓扑损失和拓扑偏好优化提升大型语言模型的对齐性能,实验表明其在自动偏好指标和LLM判断评估中优于传统方法。
2026-05-08 cs.CL
Evaluating the Effectiveness of Direct Preference Optimization for Personalizing German Automatic Text Simplifications for Persons with Intellectual Disabilities
University of Zurich(苏黎世大学);EPFL(瑞士联邦理工学院);Zurich University of Applied Sciences(苏黎世应用科学大学)
本文针对智力障碍人士的德语文本简化需求,提出在监督微调基础上引入直接偏好优化,利用目标群体偏好反馈后训练大语言模型,并构建个性化ATS系统开发流程,验证了目标群体参与对提升个性化AI可及性的必要性。
2025-07-02 cs.AI cs.CL
Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出 TÜLU 2 模型套件,通过整合高质量指令数据集、微调技术和直接偏好优化,显著提升了开放语言模型的适应能力,在多个基准上达到或超越 GPT-3.5-turbo-0301 性能。
2023-11-20 cs.CL
Direct Alignment of Language Models via Quality-Aware Self-Refinement
Hong Kong University of Science and Technology(香港科技大学);LightSpeed Studios, Tencent(腾讯光速工作室);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS(中国科学院香港创新研究院人工智能与机器人中心)
针对DPO忽略正负响应相对质量的问题,提出利用LLM内在知识设计精炼函数估计响应质量并自精炼损失函数,将其集成至DPO和IPO中,有效提升了微调模型的性能。
2024-05-31 cs.AI cs.CL
AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates
Incept Labs(Incept实验室)
针对DPO中梯度不对称导致模型偏向避免不良回答而非生成优质回答的问题,提出AdaDPO算法,通过引入基于策略模型生成概率的自适应系数来平衡正负偏好梯度,在AlpacaEval 2上优于DPO并缓解长度偏差。
2026-05-27 cs.CL cs.LG
Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization
Department of Computational Linguistics, University of Zurich, Switzerland(计算语言学系,苏黎世大学,瑞士)
提出重力加权DPO(GW-DPO)方法,通过线性或双边调度加权冲突级别间的结构距离,结合层次分隔符和指令段嵌入,在Llama-3.1-8B-Instruct上提升多级指令优先级遵守率并降低过度拒绝率。
2026-06-09 cs.CL cs.CR
Robust Preference Optimization via Dynamic Target Margins
Ant Group(蚂蚁集团);Shanghai Key Laboratory of Data Science(上海市数据科学重点实验室);National University of Singapore(新加坡国立大学)
针对直接偏好优化(DPO)易受数据噪声影响的问题,提出即插即用的γ-PO算法,通过实例级动态奖励裕度校准提升鲁棒性,在多个基准上平均提效4.4%且几乎不影响训练效率。
2025-10-29 cs.CL
Delving into RL for Image Generation with CoT: A Study on DPO vs. GRPO
CUHK(香港中文大学);MiuLar Lab(MiuLar 实验室);MMLab;Peking University(北京大学);Shanghai AI Lab(上海人工智能实验室)
本文首次系统比较自回归图像生成中 DPO 与 GRPO 的域内表现、域外泛化、奖励模型影响及扩展策略。
2025-06-10 cs.AI cs.CL cs.CV
Sudoku-Bench: Evaluating creative reasoning with Sudoku variants
Sakana AI
Sudoku-Bench通过非常规数独变体评估大语言模型的创造性多步推理,基线显示最先进模型无辅助解题率不足15%,凸显长时程推理能力的提升空间。
2025-05-22 cs.AI cs.CL cs.LG
Learning Dynamics of LLM Finetuning
University of British Columbia(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
本文通过分析影响累积的逐步分解研究了LLM微调的学习动态,提出了统一解释框架,揭示了幻觉强化和离策略DPO“挤压效应”的成因,并启发了一种提升对齐性能的简单方法。
2025-06-29 cs.AI cs.CL cs.LG
Thinking About Thinking: Evaluating Reasoning in Post-Trained Language Models
Indian Institute of Technology Roorkee(印度理工学院罗奥克学院);Boston University(波士顿大学)
研究评估后训练语言模型的推理能力,通过三个核心能力评估其意识、泛化和推理与输出的对齐情况,发现强化学习模型在意识和泛化上优于SFT模型,但推理与输出对齐较差。
2026-04-28 cs.AI cs.CL
Safe at the Margins: A General Approach to Safety Alignment in Low-Resource English Languages -- A Singlish Case Study
GovTech Singapore(新加坡政府科技局);Singapore University of Technology and Design(新加坡科技设计大学)
本文针对低资源语言新加坡式英语的安全对齐问题,系统比较SFT、DPO和KTO方法,提出SFT+KTO及改进的KTO-S,将毒性降低99%并保持基准性能。
2025-04-08 cs.AI cs.CL
Evaluating Counterfactual Strategic Reasoning in Large Language Models
National Technical University of Athens(希腊雅典国家技术大学)
通过引入反事实变体(改变收益结构和行动标签)的囚徒困境和石头剪刀布博弈,评估大型语言模型的策略表现是否基于真正的推理而非记忆模式,并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。
2026-05-22 cs.CL
HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对大语言模型标准训练目标与幽默所需意外性之间的矛盾,提出认知协同框架,利用六种认知角色合成多样化喜剧视角数据,微调7B参数学生模型,实验表明认知驱动的数据策展比对齐算法或模型规模更关键。
2026-09-15 cs.CL
VerIPO: Cultivating Long Reasoning in Video-LLMs via Verifier-Gudied Iterative Policy Optimization
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Alibaba International Group(阿里巴巴国际集团);Division of AMC and Department of ECE, HKUST(HKUST电子工程系与AMC division)
针对视频大语言模型强化微调中数据瓶颈与长思维链质量不稳定的问题,提出验证器引导的迭代策略优化方法VerIPO,通过GRPO-验证器-DPO循环构建高质量对比数据,实现更快更优的推理链优化,超越现有强模型。
2025-05-25 cs.CL cs.CV
Teaching LLMs to Refine with Tools
Tencent AI Lab(腾讯AI实验室)
针对LLM在同格式内精炼导致的非纠正行为,提出CaP方法,通过两阶段训练(监督微调与DPO偏好优化)利用外部工具精炼CoT回复,实现有效的跨推理精炼与高效推理。
2024-12-22 cs.CL
AlphaPO: Reward Shape Matters for LLM Alignment
LinkedIn Corporation(LinkedIn公司);KAIST AI(KAIST人工智能);KAIST(韩国科学技术院)
针对直接对齐算法中的似然偏移问题,提出AlphaPO方法,利用α参数改变奖励函数形状以细粒度控制该现象,在多个模型上显著提升了对齐性能。
2025-05-30 cs.CL
On the Role of Preference Variance in Preference Optimization
Department of Electrical & Computer Engineering(电气与计算机工程系);Princeton University(普林斯顿大学);AI Lab(人工智能实验室)
本研究探讨了偏好方差在偏好优化中的作用,发现高方差提示在训练大型语言模型时表现更优。
2025-10-14 cs.AI cs.CL cs.LG
LiPO: Listwise Preference Optimization through Learning-to-Rank
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文提出LiPO框架,将语言模型对齐视为列表式排序问题,利用学习排序目标优化策略,其中LiPO-λ方法在多个偏好对齐任务上显著优于DPO和SLiC。
2025-01-24 cs.CL cs.LG
Principled Data Selection for Alignment: The Hidden Risks of Difficult Examples
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tencent Inc(腾讯公司);HKUST (Guangzhou)(香港科技大学(广州))
本文揭示过难偏好数据会超出模型容量并损害对齐,提出 Selective DPO 过滤困难样本,在 AlpacaEval 2 上将胜率较 DPO 提升 9–16%。
2025-05-13 cs.AI cs.CL cs.LG
Evaluating the Diversity and Quality of LLM Generated Content
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学);UC Berkeley(伯克利大学)
本文提出有效语义多样性测量框架,发现偏好微调模型在质量阈值下具有更高多样性,且小模型在固定预算内更高效生成独特内容。
2026-02-26 cs.AI cs.CL
As Simple as Fine-tuning: LLM Alignment via Bidirectional Negative Feedback Loss
Nanyang Technological University(南洋理工大学);Shopee Pte. Ltd(Shopee私人有限公司);SEA Group(SEA集团)
本文提出双向负反馈损失 BF,以无需成对数据或额外超参数的类微调流程稳定 LLM 对齐,并在 QA 与推理基准上更好兼顾价值对齐和推理能力。
2024-10-25 cs.CL
Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
Microsoft(微软公司)
提出探索性偏好优化(XPO)算法,通过在 DPO 目标中增加探索奖励实现 RLHF 在线探索,兼具理论可证明的样本高效性与实证优越性。
2024-05-31 cs.AI cs.CL cs.LG
OpenBezoar: Small, Cost-Effective and Open Models Trained on Mixes of Instruction Data
Surge Global
本研究以OpenLLaMA 3Bv2为基础,通过生成合成数据并采用QLoRA和DPO等方法,训练出OpenBezoar系列模型,在3B参数规模上性能优越,并开源了模型和数据。
2024-04-18 cs.CL cs.LG
Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出Judge-LS协议,通过语言切换变体评估LLM作为自动法官的可靠性,发现语言切换导致10.7-14.4%偏好翻转,但翻译等价测试未显示系统英语偏好。
2026-06-15 cs.CL
Multilingual Refusal Alignment for Safer Large Language Models
NASK National Research Institute(国家研究 institute);University College London(伦敦大学学院)
本研究系统探究多语言对齐动态,通过引入覆盖12种欧洲语言的RefusEU数据集和DPO实验,发现仅用英语对齐不足以保障跨语言安全,而多语言训练可在不降低通用性能的前提下提升安全性。
2026-04-24 cs.CL
SimPO: Simple Preference Optimization with a Reference-Free Reward
University of Virginia(弗吉尼亚大学);Princeton University(普林斯顿大学)
本研究提出无需参考模型的SimPO偏好优化算法,以序列平均对数概率为隐式奖励并引入目标奖励间隔,在多个基准和主流模型上显著优于DPO等现有方法,小参数模型性能突出。
2024-11-01 cs.CL cs.LG
Evaluating the Robustness of Analogical Reasoning in Large Language Models
University of Amsterdam(阿姆斯特丹大学);Santa Fe Institute(圣塔菲研究所)
本文通过字母串、数字矩阵和故事类比三类变体任务,评估LLMs类比推理的鲁棒性,发现GPT模型在多数变体上表现脆弱,缺乏人类零样本类比推理的鲁棒性,强调评估AI认知能力需同时关注准确性与鲁棒性。
2024-11-21 cs.AI cs.CL cs.LG
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现,发现模型内部状态与任务性能存在差异,强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
Learning from Response not Preference: A Stackelberg Approach for LLM Detoxification using Non-parallel Data
The Pennsylvania State University(宾夕法尼亚州立大学);New York University(纽约大学)
针对非平行数据下偏好不完整导致 DPO 失效的问题,本文提出 Stackelberg response optimization(SRO),依据毒性筛选反馈微调 LLM,实现接近最先进水平并匹配人工参考的文本去毒。
2024-10-27 cs.AI cs.CL
Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization
AWS Bedrock Science(AWS Bedrock 科学部门)
针对DPO偏好优化中数据质量差和训练不稳定的问题,提出迭代成对排序生成高质量偏好数据,并结合预算控制正则化,在两大基准上超越现有最先进模型。
2024-11-07 cs.AI cs.CL cs.LG
Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues
Toshiba Europe Limited(东芝欧洲有限公司)
本文评估ChatGPT等大型语言模型在信息寻求对话中基于文档生成响应的能力,通过Chat-Completion和LlamaIndex两种方法在MultiDoc2Dial语料库上进行人工评估,发现ChatGPT变体虽更易产生幻觉但评分仍高于共享任务获胜系统和人类响应。
2023-09-21 cs.AI cs.CL
Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training
Google(谷歌);Columbia University(哥伦比亚大学)
针对LLM面对歧义时不善澄清、高质量对话数据有限的问题,提出基于DPO的ACT准在线偏好优化算法,在无动作标签的多类真实对话任务中显著提升多轮对话策略学习效果。
2025-07-27 cs.AI cs.CL cs.LG
DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
本研究针对LLM部署中的动态禁止规则合规问题,提出DUET双教师在线策略蒸馏方法,构建工业基准,在Qwen模型上实现高合规性与效用保留,性能优于基线。
2026-08-18 cs.CL cs.LG