Gradient-Gated DPO: Stabilizing Preference Optimization in Language Models
University of Windsor(温莎大学);Chadli Bendjedid University(沙德利·本杰迪德大学)
针对 DPO 中概率质量坍缩导致的挤压效应,本文提出梯度门控偏好优化(Gate-DPO),通过按被拒绝响应的概率几何选择性衰减其梯度贡献,在多种架构与数据集上稳定偏好优化并改善被选择响应似然。
2026-09-22 cs.LG
Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization
International Digital Economy Academy(国际数字经济学院);Emdoor Collaborative Laboratory(Emdoor协同实验室)
针对直接偏好优化(DPO)易过拟合和崩溃的问题,提出线性偏好优化(LPO)框架,通过梯度解耦、稳定性约束及可控弃权抑制三大创新,在多任务上性能提升,为鲁棒可调的偏好对齐提供新范式。
2025-08-25 cs.LG
Discriminative Feature Learning Framework with Gradient Preference for Anomaly Detection
University of Jinan(济南大学);Shandong Jiaotong University(山东交通学院)
无监督表示学习在异常检测中得到了广泛的应用,并取得了令人瞩目的成绩。在无监督表示学习中,提取有价值的特征向量可以显著提高异常检测的性能。为此,我们提出了一种新的歧视性特征学习框架与梯度偏好的异常检测。具体而言,首先设计了一种基于梯度偏好的选择器,在空间上存储功能强大的特征点,然后构建特征库,减轻了冗余特征向量的干扰,提高了推理效率。其次,为了克服特征向量的松散性,提出了一种中心约束的判别式特征学习方法,将特征库映射到一个紧凑的子空间上,从而使异常样本与正常样本更容易区分。此外,我们的方法可以很容易地扩展到异常定位。在流行的工业和医疗异常检测数据集上进行的大量实验表明,我们提出的框架在异常检测和定位方面都可以取得有竞争力的结果。更重要的是,我们的方法在Few Shot异常检测方面优于最先进的方法。
2022-04-23 cs.LG
A Theoretical Analysis of the Learning Dynamics under Class Imbalance
EPFL(洛桑联邦理工学院);Eawag (ETH)(瑞士水科学与技术研究所(瑞士联邦理工学院关联机构));University of Basel(巴塞尔大学)
本文从理论上分析了类别不平衡对学习动力学的影响,发现少数类和多数类的学习曲线遵循次优轨迹,并提出通过逐类梯度归一化可缓解全批量梯度下降中各类损失不降的问题,同时揭示了该方法在SGD中因少数类方向噪声增加而受限的原因。
2024-02-19 cs.LG stat.ML
Heavy-Tailed Class Imbalance and Why Adam Outperforms Gradient Descent on Language Models
University of British Columbia(不列颠哥伦比亚大学);Flatiron Institute(弗拉蒂伦研究所)
该研究揭示语言任务中的重尾类别不平衡是Adam在大语言模型上表现优于梯度下降的关键原因,通过多架构实验验证及理论证明,解释了两类优化器的性能差异机制。
2024-07-12 cs.CL cs.LG math.OC
PMGDA: A Preference-based Multiple Gradient Descent Algorithm
City University of Hong Kong(香港城市大学)
本文提出了一种基于偏好的预测与修正框架PMGDA,通过引入约束函数与多目标函数同时优化,高效解决了大规模多目标机器学习中寻找符合决策者偏好的Pareto解的问题。
2024-02-16 cs.LG
Multitask Learning with Single Gradient Step Update for Task Balancing
Dongguk University - Seoul(东国大学首尔校区)
多任务学习是一种提高泛化性能并降低计算强度和内存使用的方法。然而,同时学习多个任务可能比学习单个任务更困难,因为它会导致任务之间的不平衡。为了解决不平衡问题,我们提出了一种算法,通过将基于梯度的元学习应用于多任务学习,在梯度级别上平衡任务之间的关系。所提出的方法分别训练共享层和任务特定层,以便在多任务网络中具有不同角色的两个层可以适合各自的目的。特别地,包含任务之间共享的信息性知识的共享层通过采用单梯度步长更新和内/外循环训练来训练,以减轻梯度级的不平衡问题。我们将所提出的方法应用于各种多任务计算机视觉问题,并实现了最先进的性能。
2020-06-02 cs.LG stat.ML
Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning
Zhejiang University(浙江大学);JD Explore Academy(京东探索研究院);Fabu Inc.(Fabu公司)
类不平衡分布广泛存在于实际工程中。然而,寻求最小化误差的主流优化算法在面对极端的类不平衡时会将深度学习模型困在次优中。它严重损害了分类精度,特别是对小类。其根本原因是分类器权重的梯度在不同类别的分量之间不平衡。在本文中,我们提出吸引-排斥-平衡损失(ARB-Loss)来平衡梯度的不同分量。我们在大规模分类和分割数据集上进行了实验,我们的ARB-Loss可以通过一个阶段的训练而不是像现在SOTA那样的两个阶段的学习来实现最先进的性能。
2023-02-21 cs.LG stat.ML
A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data
Kangwon National University(江原大学);Bionsight, Inc.(Bionsight公司)
$F_β$得分是一种常用的分类性能度量,在不平衡数据集的分类任务中起着至关重要的作用。然而,$F_β$分数由于其不可微性而不能被用于优化神经网络参数的基于梯度的学习算法用作损失函数。另一方面,诸如二进制交叉熵(BCE)损失之类的常用损失函数与诸如$F_β$分数之类的性能度量不直接相关,使得通过使用损失函数优化的神经网络可能不会产生最佳性能度量。在这项研究中,我们调查的分类性能指标和损失函数的梯度相对于模型参数之间的关系。然后,我们提出了一个可微的代理损失函数的$F_β$分数的优化。我们表明,建议的代理$F_β$损失函数的梯度路径近似的$F_β$分数的大样本限制的梯度路径。通过使用ResNets和基准图像数据集的数值实验,证明了与其他损失函数相比,所提出的代理$F_β$损失函数对于优化二值分类任务中类不平衡下的$F_β$分数是有效的.
2021-04-03 cs.LG stat.ML
Beyond the Markovian Assumption: Robust Optimization via Fractional Weyl Integrals in Imbalanced Data
本文提出基于分数微积分的优化算法,通过分数韦伊积分增强鲁棒性,在不平衡数据中提升模型性能。
2026-03-09 cs.LG stat.ML
Knowledge Gradient for Preference Learning
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种精确的知识梯度方法,用于解决偏好学习中的贝叶斯优化问题,展示了其在基准任务中的优越性能及在特定场景下的局限性。
2026-01-29 cs.LG stat.ML
On the Performance of Differentially Private Optimization with Heavy-Tail Class Imbalance
University of British Columbia(不列颠哥伦比亚大学)
本文分析了重尾类不平衡下差分隐私优化算法的表现,发现DP-GD在学习低频类时表现不佳,而估计二阶信息的算法(如DP-AdamBC)能有效避免病态条件,在实验中显著提升低频类训练准确率。
2025-07-14 cs.LG
Injecting Imbalance Sensitivity for Multi-Task Learning
University of Science and Technology of China(中国科学技术大学);Tencent AI Lab(腾讯AI实验室)
本文针对多任务学习中常被忽视的不平衡/主导性问题,提出不平衡敏感梯度下降方法IMGrad,通过约束投影范数增强基线方法,并在多个监督学习与强化学习基准上验证了其竞争力。
2025-03-11 cs.AI cs.LG
Personalized Federated Direct Preference Optimization via LoRA Adapters
Translational AI Center, Iowa State University(爱荷华州立大学转化人工智能中心);Iowa State University(爱荷华州立大学)
针对现有FedDPO未考虑客户端异质偏好分布的问题,提出基于LoRA适配器的个性化FedDPO,通过同步基础模型、保留本地LoRA适配器,在偏好数据集上实现更低梯度范数且性能相当。
2026-10-12 cs.LG
Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking
Shanghai Jiao Tong University(上海交通大学);Huawei Inc(华为公司)
本文针对扩散模型偏好对齐中中间步骤标签一致假设的问题,提出TailorPO框架,通过逐步奖励排序和梯度引导提升对齐效果,显著改善生成图像质量。
2025-02-01 cs.AI cs.LG
MoLS: SNR-Guided Module-Wise Learning-Rate Calibration for Large Language Models
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院)
本文研究大语言模型中模块梯度噪声不平衡问题,提出基于信噪比的模块学习率校准方法,提升收敛速度和泛化能力,兼容高效内存训练算法。
2026-10-26 cs.AI cs.LG
AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates
Incept Labs(Incept实验室)
针对DPO中梯度不对称导致模型偏向避免不良回答而非生成优质回答的问题,提出AdaDPO算法,通过引入基于策略模型生成概率的自适应系数来平衡正负偏好梯度,在AlpacaEval 2上优于DPO并缓解长度偏差。
2026-05-27 cs.CL cs.LG
Improving GBDT Performance on Imbalanced Datasets: An Empirical Study of Class-Balanced Loss Functions
The Fields Institute for Research in Mathematical Sciences(数学科学研究所);Data Science Research Center, Duke Kunshan University(昆山杜克大学数据科学研究中心)
本文首次系统研究类别平衡损失函数对三种GBDT算法在不平衡表格数据分类任务中的影响,实验证明其能提升性能,并发布了Python包以促进应用。
2024-07-19 cs.LG
Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining
University of Maryland, College Park(马里兰大学学院 park)
提出模态平衡偏好优化(MBPO)框架,通过对抗负挖掘和在线验证奖励结合GRPO,解决大型多模态模型的模态不平衡问题,提升视觉-语言任务性能并减少幻觉。
2025-10-08 cs.AI cs.CL cs.CV
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan(密歇根大学)
SP3O是一种无需奖励建模的新型PbRL算法,利用分段级偏好反馈,通过PPO型损失函数优化策略,在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
Ordinal Credit Assignment: Multi-Step Reinforcement Learning from Comparisons Alone
Department of Automation, Tsinghua University(清华大学自动化系)
本文提出了一种统一的偏好基于RL优化框架,通过Soft-Pair-GRPO和Hard-Pair-GRPO两种变体,解决了主流配对偏好学习中政策更新不稳定、梯度方向模糊等问题,提升了对齐质量与训练稳定性。
2026-11-05 cs.AI cs.LG math.ST
Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion
Cohere(科here公司)
针对现有直接对齐方法无法优化任意奖励、传统RL微调采样成本高的问题,提出无需重要性采样的离策略算法CoPG,可推广IPO与经典策略梯度,在老虎机问题和摘要任务微调中验证了特性。
2025-01-16 cs.LG
Gradient-based Optimization for Bayesian Preference Elicitation
Google Research(谷歌研究院)
随着推荐系统(RS)的交互性和会话性越来越强,有效的获取用户偏好的技术变得越来越重要。一个常见的和概念上有吸引力的贝叶斯标准选择查询是期望值的信息(EVOI)。不幸的是,它是计算上禁止构造查询与最大EVOI在RS与大项目空间。我们通过引入EVOI的连续公式来解决这个问题,EVOI是一个可微网络,可以使用现代机器学习(ML)计算框架(例如,TensorFlow、PyTorch)。我们利用这一点开发一种新的,可扩展的蒙特卡罗方法EVOI优化,这是更大的项目空间比方法需要明确枚举的项目可扩展性。虽然我们强调使用这种方法进行成对(或k-明智)的项目比较,我们也展示了我们的方法可以适应查询涉及的项目属性或“部分项目”的子集,这往往是更认知管理的用户。实验表明,我们的基于梯度的EVOI技术在几个领域实现了最先进的性能,同时扩展到大的项目空间。
2019-11-20 cs.AI cs.LG stat.ML
Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
University of Michigan(密歇根大学)
针对一般RL问题,提出两种无需奖励推断的RLHF算法,通过零阶梯度近似策略梯度,在随机环境中优于DPO和PPO基线。
2025-03-03 cs.LG stat.ML
Multi-Preference Actor Critic
University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
策略梯度算法通常将贴现的未来奖励与估计的价值函数相结合,以计算参数更新的方向和幅度。然而,对于大多数强化学习任务,人类可以提供额外的洞察力来约束策略学习。我们介绍了一种通用的方法,将多个不同的反馈通道到一个单一的策略梯度损失。在我们的公式中,多偏好演员评论(M-PAC),这些不同类型的反馈被实现为对政策的约束。我们使用拉格朗日松弛来满足这些约束,同时使用梯度下降学习最大化奖励的策略。在Atari和Pendulum上的实验验证了约束得到了尊重,并且可以加速学习过程。
2019-04-05 cs.AI cs.LG stat.ML
From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
针对大型推理模型偏好对齐中轨迹采样导致的梯度方差问题,提出BVPO方法,通过混合高方差轨迹估计器和低方差空轨迹估计器优化偏差-方差权衡,理论证明降低方差并收紧收敛界,实验在多个基准上显著提升对齐和推理性能。
2025-10-06 cs.AI cs.CL cs.LG
Preference-Based Gradient Estimation for ML-Guided Approximate Combinatorial Optimization
ETAS Research(ETAS研究有限公司);School of AI and Advanced Computing(人工智能与高级计算学院);University of Stuttgart(斯图加特大学)
提出一种基于偏好的梯度估计方法,通过训练图神经网络参数化近似算法,以自监督方式端到端优化,在TSP和最小k割问题上达到与最先进学习求解器相当的性能。
2025-05-26 cs.AI cs.LG
Drifting Preference Optimization for One-Step Generative Models
Westlake University(西湖大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出 DrPO 方法,通过在线采样和排序构建非参数偶极偏好场及参考漂移,实现一步式生成模型的无梯度偏好微调。
2026-06-03 cs.CV cs.LG
Offline Preference Optimization via Maximum Marginal Likelihood Estimation
Department of Computing Science, University of Alberta, Canada(计算科学系,阿尔伯塔大学)
本文提出基于最大边际似然估计的MMPO方法,通过隐式偏好优化提升模型稳定性与对齐性能。
2026-01-23 cs.CL cs.LG
Inverse Reinforcement Learning using Revealed Preferences and Passive Stochastic Optimization
本专著从显示偏好理论和朗之万动力学随机梯度算法出发,提出识别并重建智能体效用函数的逆强化学习方法,并应用于认知雷达与序贯检测器识别。
2025-07-06 cs.LG eess.SP
Gradient Starvation: A Learning Proclivity in Neural Networks
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
我们确定并形式化了一个基本的梯度下降现象,导致过度参数化神经网络的学习倾向。当交叉熵损失通过仅捕获与任务相关的特征的子集而最小化时,梯度饥饿出现,尽管存在未能被发现的其他预测特征。这一工作为神经网络中这种特征不平衡的出现提供了理论解释。使用动力系统理论中的工具,我们确定了导致这种不平衡的梯度下降期间学习动态的简单属性,并证明考虑到训练数据中的某些统计结构,可以预期这种情况。基于我们提出的形式主义,我们开发了一种新的正则化方法,旨在解耦特征学习动态,提高精度和鲁棒性的梯度饥饿阻碍的情况下,保证。我们用简单和真实世界的分布外(OOD)泛化实验来说明我们的发现。
2021-11-24 cs.LG math.DS stat.ML
Upsample or Upweight? Balanced Training on Heavily Imbalanced Datasets
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰斯·霍普金斯大学)
本文从理论和实证上分析了多语言不平衡训练中上采样与上加权在随机梯度下降下的差异,并提出 Cooldown 策略,通过逐步降低上采样程度兼顾收敛速度与防过拟合。
2025-03-09 cs.CL cs.LG stat.ML
Group Robust Preference Optimization in Reward-free RLHF
University College London(伦敦大学学院);TensorZero;ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
针对传统RLHF“一刀切”忽略多样群体特征的问题,提出无奖励的群体鲁棒偏好优化方法(GRPO),通过自适应加权优先处理高损失群体以最大化最差群体性能,有效提升了最差群体表现并减少了跨群体损失不平衡。
2024-05-30 cs.CL cs.LG
Latent Reward Registers for Diffusion Preference Alignment
针对扩散模型偏好对齐的时间信用分配挑战,提出Latent Reward Registers机制,结合RG-OPD和RGS策略,在高噪声下实现最优性能且大幅降低计算成本。
2026-08-17 cs.CV cs.LG
Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models
Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院);State Key Lab of AI Safety(人工智能安全国家重点实验室);University of Chinese Academy of Sciences, CAS(中国科学院大学);Zhejiang University(浙江大学)
本文提出梯度自适应策略优化GAPO及其偏好版本P-GAPO,将LLM人类价值对齐建模为多目标优化问题,通过多重梯度下降平衡冲突目标,并在Mistral-7B上验证其在有用性和无害性上优于现有方法。
2025-07-02 cs.AI cs.CL cs.LG
Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF
Stanford University(斯坦福大学);University of Southern California(南加州大学);Gladstone Institutes(格拉德斯通研究所)
本文提出一种基于夏普比率的主动学习方法,通过梯度评估高效选择偏好数据,以降低RLHF中偏好标注成本,并在多个模型和数据集上将胜率提升最多5%。
2025-03-28 cs.AI cs.LG
PEARL: Unbiased Percentile Estimation via Contrastive Learning for Industrial-Scale Livestream Recommendation
TikTok(字节跳动);ByteDance(字节跳动)
本文提出PEARL框架,通过对比学习方法解决用户行为不平衡问题,通过相对偏好信号建模提升推荐系统的性能和鲁棒性。
2026-11-18 cs.AI cs.LG
On the Role of Preference Variance in Preference Optimization
Department of Electrical & Computer Engineering(电气与计算机工程系);Princeton University(普林斯顿大学);AI Lab(人工智能实验室)
本研究探讨了偏好方差在偏好优化中的作用,发现高方差提示在训练大型语言模型时表现更优。
2025-10-14 cs.AI cs.CL cs.LG
Taming Unbalanced Training Workloads in Deep Learning with Partial Collective Operations
Department of Computer Science ETH Zurich(计算机科学系 高等理工大学苏黎世分校)
针对分布式深度学习训练中的负载不平衡问题,本文提出 eager-SGD,利用 solo 和 majority 两种部分集合操作实现去中心化梯度累积,在不损失精度的情况下取得 1.27 倍加速。
2025-08-21 cs.DC cs.LG
FedRE: Robust and Effective Federated Learning with Privacy Preference
ACM
本文提出FedRE框架,通过按客户端隐私偏好定义隐私敏感信息并以逐层方式优化本地差分隐私预算,同时设计基于扰动分布的参数聚合机制,在联邦学习中兼顾鲁棒性与模型性能。
2025-05-08 cs.CR cs.LG
Masking Frequent Tokens Sharpens Direct Preference Optimization
针对DPO中高频词元对称出现导致梯度纠缠、偏好信号被稀释的问题,提出各向异性DPO(ADPO)及频率硬DPO,通过固定掩码置零高频词元隐式奖励,在多个基准上超越标准DPO,实现零开销的稳健偏好对齐。
2026-09-29 cs.CL cs.LG
Efficient Preference Poisoning Attack on Offline RLHF
Department of Electrical and Computer Engineering, University of California, Davis, Davis, CA, USA(加州大学戴维斯分校电气与计算机工程系);Department of Electrical and Computer Engineering, University of Iowa, Iowa City, IA, USA(爱荷华大学电气与计算机工程系)
针对离线RLHF中的偏好投毒攻击,提出基于梯度字典的二进制稀疏近似方法(BAL-A和BMP-A),实现高效标签翻转攻击。
2026-05-25 cs.AI cs.LG stat.ML
Long-Tailed Learning as Multi-Objective Optimization
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);CRIPAC, MAIS, CASIA(中国科学院自动化研究所模式识别与人工智能国家重点实验室(CRIPAC, MAIS))
本文将长尾识别建模为多目标优化问题,提出梯度平衡分组策略以缓解类别间的梯度不平衡,从而在头部和尾部类别上同时实现更公平的补偿并取得优于现有方法的性能。
2023-11-01 cs.CV cs.LG
EvoPref: Multi-Objective Evolutionary Optimization Discovers Diverse LLM Alignments Beyond Gradient Descent
The University of Hong Kong(香港大学);Stellaris AI Limited(Stellaris AI有限公司)
EvoPref通过多目标进化算法在帮助性、无害性和诚实性目标上优化LoRA适配器,发现比梯度下降更丰富的对齐方式,实验显示其在偏好覆盖和崩溃率上均有显著提升。
2026-06-23 cs.AI cs.CL cs.LG