A Weighted Loss Approach to Robust Federated Learning under Data Heterogeneity
针对联邦学习中数据异构性导致难以区分诚实离群梯度与拜占庭恶意梯度的问题，提出加权损失WoLA来对齐诚实节点梯度以提升拜占庭识别能力，在异构场景下性能优于现有方法，且有理论和实证支撑。
2025-09-05 cs.LG
Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification
Blavatnik School of Computer Science, Tel Aviv University（塔夫茨大学布劳维特克计算机科学学院）；Google Research（谷歌研究）
研究可分线性分类中无正则化梯度方法的泛化性能，证明收敛速率受损失模板几何性质而非损失函数本身影响，并建立了多分类设置下基于 $p$-范数平滑模板的风险上下界。
2025-05-28 cs.LG
Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning
Shanghai University（上海大学）；United Automotive Electronic Systems（联合汽车电子有限公司）；Xian Innovation College of Yanan University（延安大学西安创新学院）
模型不可知元学习（MAML）是少样本学习中最成功的元学习技术之一。它使用梯度下降来学习各种任务之间的共性，使模型能够学习自身参数的元初始化，从而使用少量标记的训练数据快速适应新任务。少样本学习的一个关键挑战是任务的不确定性。虽然可以从具有大量任务的元学习中获得强先验，但是不能保证新任务的精确模型，因为训练数据集的体积通常太小。首先，在初始化参数的选择过程中，提出了一种新的方法，使特定任务的学习者自适应地选择初始化参数，使新任务的损失最小化。然后，我们提出了两种改进方法的元损失部分：方法1通过比较元损失的差异产生的权重，以提高精度时，有几个类，方法2引入每个任务的同方差不确定性加权多个损失的基础上，原来的梯度下降，作为一种方式，以提高泛化能力，以新的类，同时确保精度的提高。与以前的基于梯度的元学习方法相比，我们的模型在回归任务和Few-Shot分类中取得了更好的性能，并提高了模型对元测试集中的学习率和查询集的鲁棒性。
2022-08-17 cs.LG
Robust Losses for Learning Value Functions
本文针对强化学习中均方贝尔曼误差对离群值敏感的问题，提出Huber贝尔曼误差和绝对贝尔曼误差的鞍点优化形式，并推导出在离策略预测与控制中更稳定、对元参数更不敏感的梯度算法。
2023-04-17 cs.LG
Uncertainty Weighted Gradients for Model Calibration
The University of Sydney（悉尼大学）；City University of Hong Kong（香港城市大学）
针对深度网络模型校准问题，提出基于梯度的优化方法并使用Brier Score作为损失权重因子，通过更准确的不确定性估计实现SOTA性能。
2025-03-26 cs.LG
Label-Aware Ranked Loss for robust People Counting using Automotive in-cabin Radar
Infineon Technologies AG（英飞凌科技股份公司）；Technical University of Munich（慕尼黑工业大学）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在本文中，我们介绍了标签感知的排名损失，一种新的度量损失函数。与最先进的深度度量学习损失相比，该函数利用了回归问题中标签的排序。为此，我们首先证明了当不同标签的数据点在嵌入空间中以彼此之间的均匀角度排列和放置时，损失最小化。然后，为了衡量其性能，我们将所提出的损失应用于在具有挑战性的情况下，即车辆舱中使用短程雷达进行人员计数的回归任务。所介绍的方法将准确度以及相邻标签准确度提高到83.0%和99.9%：比最先进的方法分别提高了6.7%和2.1%。
2022-03-03 cs.AI cs.LG eess.SP
Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Department of Mathematics, University of Bayreuth, Bayreuth 95440, Germany（拜鲁特大学数学系，拜鲁特95440，德国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学当代应用数学上海重点实验室，上海200433，中国）；Center for Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学应用数学中心，上海200433，中国）
本文提出了一种新的核随机梯度下降算法，通过创新的正则化策略提升效率和可扩展性，利用球面径向基函数的无穷级数展开将随机梯度投影到有限维假设空间，从而提升泛化性能。
2026-10-03 cs.LG
Prediction Loss Guided Decision-Focused Learning
针对决策聚焦学习训练不稳定问题，提出用预测损失梯度引导决策损失梯度更新方向，无需额外训练，可集成任意DFL求解器，理论保证收敛到帕累托驻点，实验显示更稳定且遗憾更低。
2025-09-10 cs.LG
Gradient Boosting on Stochastic Data Streams
Carnegie Mellon University（卡内基梅隆大学）
Boosting是一种流行的集成算法，它通过从更简单的假设类中线性组合基本模型来生成更强大的学习器。在这项工作中，我们研究的问题，适应批量梯度提升最小化凸损失函数的在线设置，在每次迭代的损失是独立同分布采样从一个未知的分布。为了从批处理推广到在线，我们首先引入在线弱学习边缘的定义，对于强凸和光滑的损失函数，我们提出了一种算法，流梯度提升（SGB），指数收缩保证弱学习者的数量。我们进一步提出了一个适应SGB优化非光滑损失函数，我们推导出O（ln N/N）的收敛速度。我们还表明，我们的分析可以扩展到对抗性在线学习设置下，在线弱学习边缘将举行对抗性设置更强的假设。最后，我们展示了实验结果表明，在实践中，我们的算法可以实现具有竞争力的结果，经典的梯度提升，而使用更少的计算。
2017-03-01 cs.LG
Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
Independent Researcher（独立研究者）
本文提出产品稳定性这一损失函数结构特性，证明在边缘稳定性区域训练时，梯度下降可收敛至局部最小值，扩展了先前结果并适用于广泛损失函数类。
2026-09-29 cs.LG
The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning
School of Computer Software, Tianjin University（天津大学计算机软件学院）；International Joint Institute of Tianjin University, Fuzhou（天津大学福州国际联合学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文从网络优化的理论视角研究了非平稳性导致的塑性丧失问题，通过分析数据分布和目标非平稳性，提出样本权重衰减方法以缓解梯度衰减，提升强化学习性能。
2026-04-02 cs.LG
High-Order Optimization of Gradient Boosted Decision Trees
Criteo AI Lab（科韬人工智能实验室）
梯度提升决策树（GBDTs）是用于建模离散或表格数据的主要机器学习算法。与具有数百万个可训练参数的神经网络不同，GBDTs以加法方式优化损失函数，并且每个叶具有单个可训练参数，这使得易于应用损失函数的高阶优化。在本文中，我们介绍了基于数值优化理论的GBDTs的高阶优化，该理论允许我们基于给定损失函数的高阶导数构造树。在实验中，我们表明，高阶优化具有更快的每次迭代收敛，从而减少运行时间。我们的解决方案可以很容易地并行化，并在GPU上运行，代码开销很小。最后，我们讨论了未来潜在的改进，如自动微分的任意损失函数和结合的GBDTs与神经网络。
2022-11-21 cs.LG
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Gradient Estimation Using Stochastic Computation Graphs
Google DeepMind（谷歌DeepMind）；University of California, Berkeley（加州大学伯克利分校）
在源于监督、无监督和强化学习的各种问题中，损失函数由对随机变量集合的期望定义，这些随机变量可能是概率模型或外部世界的一部分。使用样本估计该损失函数的梯度是针对这些问题的基于梯度的学习算法的核心。我们介绍了随机计算图的形式主义-有向无环图，包括确定性函数和条件概率分布-并描述了如何容易地和自动地推导出一个无偏估计的损失函数的梯度。由此产生的算法计算梯度估计是一个简单的修改标准的反向传播算法。我们提出的通用方案统一了各种先前的工作中得出的估计量，以及其中的方差减少技术。它可以帮助研究人员开发复杂的模型，涉及随机和确定性操作的组合，例如，注意力，记忆和控制动作。
2016-01-05 cs.LG
Natural Gradient for Combined Loss Using Wavelets
Stanford University（斯坦福大学）
自然梯度已被广泛用于概率空间上的损失泛函的优化，重要的例子如用于Kullback-Leibler发散的Fisher-Rao梯度下降，用于运输相关泛函的Wasserstein梯度下降和用于二次损失泛函的Mahalanobis梯度下降。本文考虑损失是这些例子的凸线性组合的情况。本文提出了一种新的自然梯度算法，利用紧支撑小波对组合损失的Hessian函数进行对角化。数值结果证明了该算法的有效性。
2020-06-29 cs.LG cs.NA math.NA
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明，如果初始损失足够小，梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时，我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文引入 Fokker–Planck 方程并基于采样数据可视化半梯度 Q-learning 的有效损失景观，揭示全局极小值向鞍点的转变及其隐式偏差。
2024-06-12 cs.AI cs.LG
When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
Sber AI Lab（Sber AI实验室）；HSE University（俄罗斯人民友谊大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心）
本文提出一种基于梯度的双层方法，通过将复合预训练梯度与下游目标对齐，在线学习预训练损失权重，从而减少超参数调优成本，提升预训练效率。
2026-05-08 cs.AI cs.LG
Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss
Stanford University（斯坦福大学）
不确定性采样是一种流行的主动学习算法，用于减少学习分类器所需的数据量，但在实践中已经观察到根据初始化收敛到不同的参数，有时甚至收敛到比所有数据上的标准训练更好的参数。在这项工作中，我们给出了这种现象的理论解释，表明凸损失上的不确定性采样可以被解释为执行一个预处理的随机梯度步骤的平滑版本的人口零-一损失，收敛到人口零-一损失。此外，不确定性抽样沿下降方向移动，并收敛到平滑总体的平稳点。合成和真实数据集上的实验支持这种联系。
2018-12-05 cs.LG stat.ML
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
Multi-Objective Optimization for Self-Adjusting Weighted Gradient in Machine Learning Tasks
University of Campinas（坎皮纳斯大学）
机器学习研究的大部分焦点都放在创建新的架构和优化方法上，但总体损失函数很少受到质疑。本文从多目标优化的角度解释了机器学习，展示了数据集上损失函数的默认线性组合的局限性，并引入了超卷指标作为替代。它示出的超体积的梯度是由一个自我调整的加权平均的个人损失梯度，使其类似于一个加权平均损失的梯度，但不需要定义的权重先验定义。这实现了类似内部增强的行为，其中当前模型用于自动对损失较高的样本放置更高的权重，但不需要使用多个模型。去噪自动编码器的结果表明，新的配方是能够实现更好的平均损失比直接优化的平均损失，提供证据的猜想，自调整的权重创建一个更平滑的损失表面。
2015-07-21 cs.LG stat.ML
Anomalous behaviour in loss-gradient based interpretability methods
Queen Mary University of London（伦敦玛丽女王大学）；Electronic Arts（美国艺电公司）
损失梯度用于解释深度学习模型的决策过程。在这项工作中，我们评估损失梯度为基础的归属方法，通过遮挡部分的输入和比较的性能被遮挡的输入到原始输入。我们观察到，在某些条件下，遮挡输入在测试数据集上具有比原始输入更好的性能。在声音和图像识别任务中也观察到类似的行为。我们探讨了不同的损失梯度归因方法，遮挡水平和替换值来解释遮挡下的性能改善现象。
2022-07-15 cs.AI cs.IR cs.LG
Evolved Policy Gradients
OpenAI；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
提出了一种基于梯度的强化学习（RL）算法的元学习方法。这个想法是发展一个可微的损失函数，这样一个代理，优化其政策，以尽量减少这种损失，将获得高回报。损失是通过代理的经验时间卷积参数化。由于这种损失在考虑代理历史的能力方面具有高度灵活性，因此它可以实现快速任务学习。实验结果表明，我们的进化策略梯度算法（EPG）实现了更快的学习在几个随机环境相比，现成的策略梯度方法。我们还证明了EPG的学习损失可以推广到分布测试时间任务，并表现出与其他流行的元学习算法有质的不同的行为。
2018-04-29 cs.AI cs.LG
Adapting Auxiliary Losses Using Gradient Similarity
Washington State University（华盛顿州立大学）；DeepMind（深度思维）；Google Research（谷歌研究院）
处理神经网络统计效率低下的一种方法是依赖于辅助损失来帮助构建有用的表示。然而，要知道辅助任务是否对主任务有帮助，以及它何时会开始受到伤害，这并不总是微不足道的。我们建议使用余弦相似度梯度的任务作为自适应的权重来检测时，辅助损失是有帮助的主要损失。我们证明了我们的方法可以保证收敛到主要任务的临界点，并证明了所提出的算法在几个领域的实际用途：ImageNet子集上的多任务监督学习，网格世界上的强化学习和Atari游戏上的强化学习。
2020-11-25 cs.LG stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
Careful with that Scalpel: Improving Gradient Surgery with an EMA
Apple（苹果公司）
提出基于 EMA 的梯度手术方法 Bloop，通过正交投影结合训练与辅助梯度解决双层约束优化，在 NLP 和视觉实验中显著优于无 EMA 的方法。
2025-03-06 cs.LG stat.ML
ScoreStop: Gradient-based early stopping using functional score tests
University of California, Berkeley（加州大学伯克利分校）
提出ScoreStop方法，通过函数得分检验在每次迭代中检验当前预测器是否为总体风险最小化器，从而在梯度提升决策树中实现基于梯度的早期停止，避免过拟合。
2026-06-01 cs.LG stat.ML
Convergence of Gradient Descent on Separable Data
Technion（以色列理工学院）；USC（南加利福尼亚大学）；TTI Chicago（芝加哥丰田技术研究所）
我们提供了一个详细的研究梯度下降的隐式偏差优化损失函数时，严格单调的尾巴，如逻辑损失，在可分离的数据集。我们看两个基本问题：（一）什么条件下的损失函数的尾部梯度下降收敛在$L_2$最大利润分离的方向？(b)保证金收敛的速度如何取决于损失函数的尾部和步长的选择？我们发现，对于一个大家庭的超多项式尾部损失，梯度下降迭代线性网络的任何深度收敛的方向$L_2$最大利润的解决方案，而这并不适用于损失较重的尾巴。在这个家庭中，对于简单的线性模型，我们证明了最优利率与固定步长确实得到了常用的指数尾损失，如逻辑损失。然而，在固定步长的情况下，最佳收敛速度与$1/\log(t)$一样非常慢，Soudry等人（2018）也证明了这一点。对于指数损失的线性模型，我们进一步证明了收敛速度可以提高到$\log (t) /\sqrt{t}$通过使用积极的步长，补偿迅速消失的梯度。数值结果表明，这种方法可能是有用的深层网络。
2019-03-24 cs.LG stat.ML
A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss
Northern Arizona University（北亚利桑那大学）
受试者工作特征（ROC）曲线是真阳性率与假阳性率的曲线图，用于评估二元分类算法。因为曲线下面积（AUC）是预测值的恒定函数，所以学习算法反而优化凸松弛，其涉及对所有对标记的正和负示例的求和。朴素的学习算法以二次时间计算梯度，这对于使用大批量的学习来说太慢了。我们提出了一种新的平方损失和平方铰链损失的函数表示，这导致在线性或对数线性时间内计算梯度的算法，并使得可以使用大批量的梯度下降学习。在我们的监督二进制分类问题的实证研究中，我们表明，我们的新算法可以实现更高的测试AUC值的不平衡数据集比以前的算法，并利用更大的批量比以前可行的。
2023-02-21 cs.AI cs.LG
Beyond Gradient Descent for Regularized Segmentation Losses
University of Waterloo（滑铁卢大学）；Vector Research Institute（向量研究所）；École de technologie supérieure ÉTS（高等工程技术学院）
梯度下降（GD）的简单性使其成为训练更深更复杂的神经网络的默认方法。损失函数和架构通常被显式地调整以服从这种基本的局部优化。在弱监督CNN分割的背景下，我们展示了一个动机良好的损失函数，其中替代优化器（ADM）实现了最先进的，而GD表现不佳。有趣的是，GD获得了损失函数的“更平滑”调谐的最佳结果。结果在不同的网络架构中是一致的。我们的损失是由“浅”分割中的MRF/CRF正则化模型及其已知的全局求解器引起的。我们的工作表明，网络设计/培训应更加注重优化方法。
2019-04-29 cs.LG stat.ML
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Self-test loss functions for learning weak-form operators and gradient flows
Purdue University（普渡大学）；Duke University（杜克大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出自测损失函数，用于学习弱形式算子和梯度流，通过二次结构实现高效参数回归和理论分析，具备计算简单和数据鲁棒性。
2025-12-13 cs.LG stat.ML
SGLB: Stochastic Gradient Langevin Boosting
Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（俄罗斯国立高等经济学院）
本文介绍了随机梯度朗之万提升（SGLB）-一个强大而有效的机器学习框架，可以处理各种各样的损失函数，并具有可证明的泛化保证。该方法基于专门为梯度提升设计的郎之万扩散方程的特殊形式。这使得我们能够在理论上保证全局收敛，即使是多模态损失函数，而标准的梯度提升算法只能保证局部最优。我们还实证表明，SGLB优于经典的梯度提升时，适用于0-1损失函数，这是已知的多模态的分类任务。
2022-01-16 cs.LG stat.ML
Perceptual Gradient Networks
Samsung AI Center Moscow（三星人工智能中心莫斯科）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
用于图像生成的深度学习的许多应用使用感知损失来训练或微调生成器网络。然而，感知损失的使用在大型图像分类网络中引起重复的前向-后向传递，以及存储该网络的激活所需的相当大的存储器开销。因此，摆脱这些间接费用是可取的，有时甚至是至关重要的。在这项工作中，我们提出了一种方法来训练发电机网络使用近似的感知损失，计算没有向前向后通过。相反，我们使用一个更简单的感知梯度网络，直接合成感知损失的梯度场。我们引入了代理目标的概念，它稳定了预测的梯度，这意味着用它学习不会导致发散或振荡。此外，我们的方法允许解释预测的梯度，提供洞察知觉损失的内部，并建议在未来的工作中改进它的潜在方法。
2021-05-05 cs.CV cs.LG
Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；New York University（纽约大学）
本文证明在线性可分逻辑回归中，使用大步长梯度下降可快速退出初始振荡阶段，并在给定T步预算下实现O(1/T²)的加速收敛，无需动量或变步长调度，且方法可推广至一般分类损失、神经正切核及在线SGD。
2024-06-10 cs.LG stat.ML
Equalization Loss v2: A New Gradient Balance Approach for Long-tailed Object Detection
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
最近提出的解耦训练方法成为长尾目标检测的主要范例。但是它们需要额外的微调阶段，并且表示和分类器的脱节优化可能导致次优结果。然而，端到端训练方法，如均衡损失（EQL），仍然比解耦训练方法表现更差。在本文中，我们揭示了长尾目标检测的主要问题是正负梯度的不平衡，并发现EQL没有很好地解决这个问题。为了解决梯度不平衡的问题，我们引入了一个新版本的均衡损失，称为均衡损失v2（EQL v2），这是一种新的梯度引导重新加权机制，可以独立平等地重新平衡每个类别的训练过程。在具有挑战性的LVIS基准上进行了大量的实验。EQL v2在总体AP上比原始EQL高出约4个点，在罕见类别上提高了14 - 18个点。更重要的是，它还超越了解耦的训练方法。在不进一步调整Open Images数据集的情况下，EQL v2将EQL提高了7.3点AP，显示出强大的泛化能力。代码已在www.example.com上发布
2021-04-01 cs.CV cs.LG
Critical Point-Finding Methods Reveal Gradient-Flat Regions of Deep Network Losses
Redwood Center for Theoretical Neuroscience, University of California, Berkeley（加州大学伯克利分校红木理论神经科学中心）；Helen Wills Neuroscience Institute, University of California, Berkeley（加州大学伯克利分校海伦·威尔斯神经科学研究所）；Department of Physics, University of California, Berkeley（加州大学伯克利分校物理系）；Biophysics Graduate Group, University of California, Berkeley（加州大学伯克利分校生物物理研究生小组）
尽管深度神经网络的损失函数是高度非凸的，但基于梯度的优化算法从许多随机初始点收敛到近似相同的性能。一个线程的工作集中在解释这一现象的特征的局部曲率附近的临界点的损失函数，其中梯度接近零，并证明神经网络损失享有一个没有坏的局部极小值属性和丰富的鞍点。我们在这里报告说，用于找到这些假定的临界点的方法遭受一个坏的局部极小问题自己：他们经常收敛到或通过梯度范数有一个固定点的区域。我们称之为梯度平坦区域，因为它们出现在梯度近似在海森核中时，使得损失在梯度方向上局部近似线性或平坦。我们描述了这些区域的存在如何需要小心解释过去的结果，声称找到神经网络损失的临界点，并在设计二阶优化神经网络的方法。
2020-03-23 cs.LG cs.NE stat.ML
Understanding the training of PINNs for unsteady flow past a plunging foil through the lens of input subdomain level loss function gradients
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Université Paris-Saclay（巴黎萨克雷大学）
该研究通过定义运动体区、尾流区和外部区，并基于区域损失分量梯度统计量与样本点比例提出两个新指标，揭示了物理损失松弛和基于物理的欠采样下驱动MB-PINNs训练的主导输入子域及其与解梯度的关系。
2024-02-27 cs.LG physics.flu-dyn
A Fast Sampling Gradient Tree Boosting Framework
梯度树提升作为一种自适应、可解释、鲁棒且精确的元算法，是最流行的机器学习技术之一，但其计算开销严重限制了其应用。随机梯度提升可以通过均匀采样训练样本来加速梯度提升，但其估计量会引入较大的方差。这种情况促使我们优化梯度树提升。我们将梯度树提升与重要性采样相结合，通过减少随机方差来实现更好的性能。此外，我们使用一个正则化，以改善对角近似的牛顿步骤的梯度提升。理论分析表明，我们的策略实现了线性收敛速度的物流损失。实验结果表明，我们的算法在两种不同的梯度提升算法（LogitBoost和LambdaMART）上实现了2.5倍-18倍的加速，而没有明显的性能损失。
2019-11-20 cs.LG stat.ML
Decision-Focused Learning with Directional Gradients
USC Marshall School of Business（南加州大学马歇尔商学院）；CUNY Baruch Zicklin School of Business（纽约城市大学巴鲁克学院齐克林商学院）
该研究提出一类扰动梯度（PG）决策感知代理损失，通过零阶梯度近似即插即用目标的方向导数，具备利普希茨连续性且近似误差随样本量趋于零，在模型误设场景下也能渐近得到最优策略，性能优于现有方案。
2024-10-30 cs.LG math.OC stat.ML
Loss Landscape Geometry of Partial Differential Equation Emulators: Or, Symmetry Learning via Gradient Alignment
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种基于影响函数的诊断方法，用于评估神经网络是否内化了偏微分方程解算子的对称性特性。
2026-08-27 cs.LG physics.comp-ph
Exponential convergence of testing error for stochastic gradient methods
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’ENS（巴黎高等师范学院计算机系）；Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文考虑了具有正定核和平方损失的二元分类问题，研究了随机梯度方法的收敛速度。我们表明，虽然过量的测试损失（平方损失）慢慢收敛到零的观察（从而迭代）的数量趋于无穷大，测试误差（分类误差）收敛指数快速，如果假设低噪声条件。
2018-11-20 cs.LG stat.ML
Differentially Private SGD with Non-Smooth Losses
Northwest University（西北大学）；University of Birmingham（伯明翰大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
在本文中，我们关注的差异私人{随机梯度下降（SGD）}算法在随机凸优化（SCO）的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的，模型参数是一致有界的。然而，这些假设是限制性的，因为许多流行的损失违反这些条件，包括SVM的铰链损失，鲁棒回归中的绝对损失，甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设，并建立隐私和泛化（实用程序）保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地，损失函数被放松以具有$α$连续梯度（称为$α$平滑度），其实例化Lipschitz连续性（$α=0$）和强平滑性（$α=1$）。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私（DP），并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$，对数项，与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是，我们的研究结果表明，$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法，同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Dissecting the impact of different loss functions with gradient surgery
Microsoft（微软）；Geroge Washington University（乔治·华盛顿大学）
成对损失是度量学习的一种方法，它通过优化损失函数来学习语义嵌入，该损失函数鼓励来自相同语义类的图像比来自不同类的图像映射得更近。文献报道了一个大的和不断增长的成对损失策略的变化。在这里，我们将这些损失函数的梯度分解为与它们如何推动锚点正和锚点负对的相对特征位置相关的分量。这种分解允许统一当前成对损失函数的大集合。此外，显式地构建成对梯度更新以分离出这些影响，可以深入了解哪些影响最大，并产生一种简单的算法，该算法可以在CAR，CUB和Stanford Online产品数据集上进行图像检索。
2022-01-27 cs.AI cs.CV cs.IR
Stochastic Gradient Descent on Separable Data: Exact Convergence with a Fixed Learning Rate
Technion（以色列理工学院）；TTI Chicago（芝加哥丰田技术研究所）
随机梯度下降（SGD）是机器学习的核心工具。我们证明了SGD收敛到零损失，即使有一个固定的（非零）学习率-在特殊情况下的齐次线性分类器与光滑单调损失函数，优化线性可分离的数据。以前的作品假设要么消失的学习率，平均，或损失的假设，不适用于单调的损失函数用于分类，如逻辑损失。我们证明了我们的结果在一个固定的数据集，无论是采样或不替换。此外，对于逻辑损失（以及类似的指数尾损失），我们证明了对于几乎所有可分离的数据集，SGD的权重向量在$L_2$最大边缘向量的方向上收敛为$O(1/\log(t))$，并且损失收敛为$O(1/t)$ -类似于梯度下降。最后，我们研究了固定学习率与小批量大小成比例的情况。我们证明，在这种情况下，SGD（更换）的渐近收敛速度不依赖于小批量的大小在时代方面，如果支持向量跨度的数据。这些结果可以解释在使用SGD训练时在深度网络中观察到的类似行为。
2022-04-18 cs.LG stat.ML
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件，并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似，例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
最近在许多机器学习学科中的研究都强调，标准的下降方法，即使没有显式正则化，也不仅仅是最小化训练误差，而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案，并且依赖于学习过程的细节，例如交叉熵损失的使用。在这项工作中，我们表明，对于经验风险最小化线性预测与任意凸，严格减少损失，如果风险没有达到其下确界，那么梯度下降路径和算法无关的正则化路径收敛到同一个方向（无论何时收敛到一个方向）。使用这个结果，我们提供了广泛使用的指数尾损失（如指数损失或逻辑损失）的理由：虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向，其他损失，如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
Direct loss minimization algorithms for sparse Gaussian processes
Indiana University（印第安纳大学）；Microsoft Research New England（微软研究院新英格兰分院）
本文提供了一个深入的调查直接损失最小化（DLM），优化后，以最大限度地减少预测损失，在稀疏高斯过程。对于共轭的情况下，我们认为DLM的对数损失和DLM的平方损失显示在这两种情况下显着的性能改善。DLM在非共轭情况下的应用更加复杂，因为对数损失DLM目标中的期望对数通常是难以处理的，并且简单的采样导致梯度的有偏估计。本文提出了两个技术贡献，以解决这个问题。首先，提出了一种新的方法，使用产品抽样，它给出了无偏估计的梯度（uPS）的目标函数。其次，有偏蒙特卡罗估计（bMC）的理论分析表明，随机梯度下降收敛，尽管有偏梯度。实验证明了DLM的经验成功。采样方法的比较表明，虽然uPS是潜在的采样效率更高，bMC提供了一个更好的权衡收敛时间和计算效率。
2020-10-27 cs.LG stat.ML
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt（达姆施塔特工业大学）；JKU Linz（林茨约翰内斯·开普勒大学）；Paderborn University（帕德博恩大学）
在多标签分类中，预测的评估不如单标签分类直接，已经提出了各种有意义的，尽管不同的损失函数。理想情况下，学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看，提升的现代实现，最突出的是梯度提升决策树，似乎很有吸引力。然而，它们大多限于单标签分类，因此不适合多标签丢失，除非这些是标签方式可分解的。在这项工作中，我们开发了一个泛化的梯度提升框架多输出问题，并提出了一种算法，用于学习多标签分类规则，能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表，分析了该方法在合成数据上的能力和局限性，并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
There is a Singularity in the Loss Landscape
本文通过实验发现，随着数据集增大，损失景观中出现梯度无界的奇点，梯度下降使网络靠近该奇点，并解释了稳定性边缘训练等Hessian相关现象，且顶部子空间虽占梯度大部分但对学习贡献小。
2024-07-19 cs.AI cs.LG
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data
Kangwon National University（江原大学）；Bionsight, Inc.（Bionsight公司）
$F_β$得分是一种常用的分类性能度量，在不平衡数据集的分类任务中起着至关重要的作用。然而，$F_β$分数由于其不可微性而不能被用于优化神经网络参数的基于梯度的学习算法用作损失函数。另一方面，诸如二进制交叉熵（BCE）损失之类的常用损失函数与诸如$F_β$分数之类的性能度量不直接相关，使得通过使用损失函数优化的神经网络可能不会产生最佳性能度量。在这项研究中，我们调查的分类性能指标和损失函数的梯度相对于模型参数之间的关系。然后，我们提出了一个可微的代理损失函数的$F_β$分数的优化。我们表明，建议的代理$F_β$损失函数的梯度路径近似的$F_β$分数的大样本限制的梯度路径。通过使用ResNets和基准图像数据集的数值实验，证明了与其他损失函数相比，所提出的代理$F_β$损失函数对于优化二值分类任务中类不平衡下的$F_β$分数是有效的.
2021-04-03 cs.LG stat.ML
On the Complexity of Learning Sparse Functions with Statistical and Gradient Queries
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出可微学习查询DLQ以建模梯度查询，紧刻画了稀疏函数支撑学习的查询复杂度，并揭示其随损失函数变化及与SGD学习的对应关系。
2024-07-08 cs.DS cs.LG
