Differentially Private SGD with Non-Smooth Losses
Northwest University(西北大学);University of Birmingham(伯明翰大学);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们关注的差异私人{随机梯度下降(SGD)}算法在随机凸优化(SCO)的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的,模型参数是一致有界的。然而,这些假设是限制性的,因为许多流行的损失违反这些条件,包括SVM的铰链损失,鲁棒回归中的绝对损失,甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设,并建立隐私和泛化(实用程序)保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地,损失函数被放松以具有$α$连续梯度(称为$α$平滑度),其实例化Lipschitz连续性($α=0$)和强平滑性($α=1$)。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私(DP),并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$,对数项,与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是,我们的研究结果表明,$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法,同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Adaptive Minimax Regret against Smooth Logarithmic Losses over High-Dimensional $\ell_1$-Balls via Envelope Complexity
The University of Tokyo(东京大学)
我们开发了一个新的理论框架,\emph{envelope complexity},分析极大极小遗憾与对数损失函数,并推导出贝叶斯预测,自适应实现极大极小遗憾在高维$\ell_1$ -球的一个因素内的两个。先验是新推导的,用于实现极小极大遗憾,并称为\emph{spike-and-tails~(ST) prior},因为它看起来像。由此产生的遗憾界是如此简单,它是完全确定的光滑的损失函数和球的半径,除了与对数因子,它有一个广义形式的现有的遗憾/风险界。在初步的实验中,我们证实了ST先验优于传统的最小最大遗憾先验的非高维渐近。
2018-10-14 cs.LG stat.ML
Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses
Indian Institute of Science(印度科学学院)
二分排名问题,其中实例被标记为正面或负面,目标是学习一个评分函数,该函数最大限度地减少对一对正面和负面实例的错误排名概率(或等效地,最大化ROC曲线下的面积),近年来已被广泛研究。一个占主导地位的理论和算法框架的问题已经减少二分排名成对分类,特别是,它是众所周知的,二分排名遗憾可以制定成对分类遗憾,这反过来又可以使用通常的遗憾界分类问题的上限。最近,Kotlowski et al.(2011)根据与标准(非成对)逻辑和指数损失的平衡版本相关的遗憾,显示了二分排序的遗憾界限。在本文中,我们表明,这种(非成对)代理遗憾界的二分排名可以得到一个广泛的类适当的(复合)损失,我们的术语作为强适当的。我们的证明技术比Kotlowski等人(2011)简单得多,并且依赖于Reid和Williamson(2010,2011)和其他人最近阐明的适当(复合)损失的性质。我们的结果产生明确的代理边界(没有隐藏的平衡条款)在各种强适当的损失,包括例如逻辑,指数,平方和平方铰链损失的特殊情况。我们还通过Clemencon和Robbiano(2011)的最新结果在某些低噪声条件下获得了更紧密的代理边界。
2012-07-02 cs.LG stat.ML
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology(佐治亚理工学院)
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题,在非凸非光滑损失下证明其收敛R'enyi DP界(仅需Hölder连续梯度),并优化光滑强凸损失的隐私界,拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Exploiting the Surrogate Gap in Online Multiclass Classification
Leiden University(莱顿大学)
我们提出了Gaptron,一个随机的一阶在线多类分类算法。在充分的信息设置中,我们显示预期的错误界相对于逻辑损失,铰链损失,和平滑铰链损失与不断遗憾,其中的期望是相对于学习者的随机性。在强盗分类设置,我们表明,Gaptron是第一个线性时间算法与$O(K\sqrt{T})$预期遗憾,其中$K$是类的数量。此外,Gaptron的预期错误界不依赖于特征向量的维数,与以前的算法$O(K\sqrt{T})$遗憾的强盗分类设置。我们提出了一种新的证明技术,利用零-一损失和代理损失之间的差距,而不是利用属性,如指数或混合性,这是传统上用于证明对数或常数遗憾界。
2021-02-26 cs.LG math.OC stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降(GD)算法的平滑损失(可能非Lipschitz,可能非凸)。在我们的分析的核心是上界的泛化误差,这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明,沿优化路径发生小的泛化误差,并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的,凸的,强凸的损失,我们表现出显式依赖的泛化误差的累积路径相关的优化误差,终端优化误差,样本数,迭代次数。对于非凸光滑损失,我们证明了全批GD有效地推广到任何稳定点的终止,并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失,我们证明了泛化误差比SGD的现有界更紧(高达一个误差量级)。因此,超额风险匹配SGD的二次方更少的迭代。最后,对于强凸平滑损失,我们表明,与SGD的最新技术相比,全批GD实现了基本相同的超额风险率,但迭代次数呈指数级减少(数据集大小为对数)。
2023-02-09 cs.LG stat.ML
Online Aggregation of Unbounded Losses Using Shifting Experts with Confidence
Institute for Information Transmission Problems, Moscow(莫斯科信息传输问题研究所)
我们开发的设置顺序预测的基础上转移的专家和专业专家的方法的“平滑”版本。为了聚合专家预测,我们使用AdaHedge算法,这是具有自适应学习率的Hedge算法的一个版本,并通过元算法Fixed Share对其进行扩展。基于此,我们结合了两种算法的优点:(1)利用了算法的最优特性--转移后悔;(2)在专家损失有符号无界的情况下,后悔界是有效的。此外,(3)我们在这个计划中纳入了一个“平滑”版本的专业专家的方法,使我们能够做出更灵活和准确的预测。所有结果都是在对抗性环境中获得的-没有对数据源的性质进行假设。我们提出了短期预测的电力消费的实际数据的基础上的数值实验结果。
2020-01-23 cs.LG stat.ML
Fast convergence rates of deep neural networks for classification
Seoul National University(首尔国立大学)
我们推导了深度神经网络(DNN)分类器的快速收敛速度,其中使用铰链损失学习了整流线性单元(ReLU)激活函数。我们考虑真实模型的三种情况:(1)光滑决策边界,(2)光滑条件类概率,以及(3)边际条件(即,输入在决策边界附近的概率很小)。我们表明,使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛,前提是架构(即,层数、节点数和稀疏度)。是经过精心挑选的。一个重要的含义是,DNN架构非常灵活,可以在各种情况下使用,无需太多修改。此外,我们考虑了通过最小化交叉熵学习的DNN分类器,并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见,因为人类非常擅长识别大多数图像。为了证实我们的理论解释,我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。
2019-06-18 cs.LG math.ST stat.ML
Any-stepsize Gradient Descent for Separable Data under Fenchel-Young Losses
The Institute of Statistical Mathematics(统计数学研究所);CyberAgent;Kyoto University(京都大学);OIST(海洋研究所)
本文基于Fenchel-Young损失框架,利用感知器论证证明了可分数据下任意步长梯度下降的收敛性,发现收敛速率的提升源于损失函数的分离边际而非自界定性质。
2025-10-11 cs.LG stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);Pontificia Universidad Católica de Chile(智利天主教大学)
一致稳定性是算法稳定性的一个概念,当数据集中的单个数据点被替换时,它限制了算法输出的模型中的最坏情况变化。Hardt等人(2016)的一项有影响力的工作提供了随机梯度下降(SGD)算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展,在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说,我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明,在非光滑的情况下,(S)GD可以是固有的稳定性比在光滑的情况下。另一方面,我们的上界表明(S)GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是,我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外,我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况,我们的算法比最著名的算法更简单,更有效。Feldman et al.(2020)。
2020-06-12 cs.LG math.OC stat.ML
Two Losses Are Better Than One: Faster Optimization Using a Cheaper Proxy
Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Samsung AI Center(三星人工智能中心);CNRS(法国国家科学研究中心)
本文提出利用易获取的代理函数进行近似近端点迭代,并结合少量目标函数随机梯度,从而在目标与代理之差为 $δ$-光滑时达到匹配 SGD 的收敛率并提升样本效率。
2023-06-07 cs.LG math.OC
On the Consistency of Top-k Surrogate Losses
University of California, Berkeley(加州大学伯克利分校);Google Research Accra(谷歌阿克拉研究院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
顶部$k$误差通常用于评估计算机视觉中具有挑战性的分类任务的性能,因为它被设计用于补偿地面真实标签中的模糊性。这一实际的成功激发了我们对一致性顶级$k$分类的理论分析。令人惊讶的是,当取一个向量的$k$ -argmax保证返回另一个向量的$k$ -argmax时,并没有严格理解,尽管这样做对于描述贝叶斯最优性至关重要;我们做了两个任务。然后,我们定义顶部$k$校准,并表明它是必要的和充分的一致性。基于对顶$k$校准的分析,提出了一类顶$k$校准的Bregman发散替代函数.我们的分析继续显示先前提出的铰链样顶部- $k$替代损失不是顶部- $k$校准的,并且表明没有凸铰链损失是顶部- $k$校准的。另一方面,我们提出了一个新的铰链损失是一致的。我们进一步探索,显示我们的铰链损失保持一致的限制下,线性函数,而交叉熵不。最后,我们展示了一个可微的,凸损失函数,这是顶部$k$校准特定的$k$。
2020-07-07 cs.LG stat.ML
Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization
Department of CSE, Texas A&M University(计算机科学与工程系,德克萨斯农工大学);Tippie College of Business, The University of Iowa(泰普斯商学院,爱荷华大学)
针对非凸非光滑有限和耦合组合优化现有方法迭代复杂度高、不适用深度学习的问题,提出带收敛保证的随机动量方法,将迭代复杂度降至$O(1/ε^5)$,还拓展至带不等式约束的非凸优化,实验验证了有效性。
2025-10-29 cs.LG
A New Smooth Approximation to the Zero One Loss with a Probabilistic Interpretation
École Polytechnique Montréal(蒙特利尔综合理工学院)
我们研究了一种新形式的光滑逼近零一损失,其中学习是使用广泛使用的逻辑函数的重新制定。我们的方法是基于使用后验均值的一种新的广义β-伯努利制定。这导致了一个广义的逻辑函数,近似的零1损失,但保留了概率制定赋予一些有用的属性。该方法很容易推广到核逻辑回归,很容易集成到结构化预测的方法。我们目前的实验中,我们学习这样的模型使用的优化方法组成的组合梯度下降和坐标下降,使用局部网格搜索,以逃避局部极小值。我们的实验表明,当学习元参数本身使用验证集进行优化时,优化质量得到了提高。我们的实验表明,相对于广泛使用的逻辑和铰链损失方法,从标准的UC Irvine和libSVM评估数据集到产品评论预测和视觉信息抽取任务,在各种各样的问题上,性能得到了改善。我们认为,这一办法:1)与逻辑和铰链损失相比,对离群值更鲁棒; 2)在更大规模的基准问题上优于可比的逻辑和最大边缘模型; 3)当与参数上的高斯-拉普拉斯混合先验相结合时,我们的公式的核化版本产生比支持向量机分类器更稀疏的解决方案;以及4)当被集成到概率结构化预测技术中时,我们的方法提供了更精确的概率,从而产生改进的推断并提高了信息抽取性能。
2015-11-18 cs.AI cs.CV cs.IR
An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
UST
本文改进了差分隐私随机梯度下降的隐私和效用分析,针对有界域和光滑损失函数,揭示了隐私损失收敛机制及隐私效用权衡的理论界。
2026-01-15 cs.CR cs.LG stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design(新加坡科技设计大学);National Technical University of Athens(雅典国家技术大学);National and Kapodistrian University of Athens(雅典国家与卡多斯大学);University of California, Irvine(加州大学 Irvine 分校);Archimedes, Athena Research Center, Greece(希腊阿提卡研究中心 Archimedes);National University of Singapore, Centre for Quantum Technologies(新加坡国立大学 量子技术中心)
本文通过更精确的离散时间算法等价性论证,证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾,并澄清了所需几何条件,同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-11-10 cs.LG math.OC stat.ML
Stochastic optimization and sparse statistical recovery: An optimal algorithm for high dimensions
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
我们开发和分析随机最优化算法的问题,其中的预期损失是强凸的,和最佳的(近似)稀疏。以前的方法能够利用这两种结构中的仅一种,产生$\order(\pdim/T)$收敛率的强凸目标在$\pdim$维度,和$\order(\sqrt{(\spindex \log \pdim)/T})$收敛率时,最佳的是$\spindex$ -稀疏。我们的算法是基于连续解决一系列的$\ell_1$正则化优化问题,使用Nesterov的双平均算法。我们建立$T$迭代后,我们的解决方案的错误是最多$\order((\spindex \log\pdim)/T)$,与自然扩展近似稀疏。我们的结果适用于本地Lipschitz损失,包括逻辑,指数,铰链和最小二乘损失。借助于统计极大极小的结果,我们证明了我们的收敛速度是最佳的乘法常数因子。我们的方法的有效性也证实了在数值模拟中,我们比较几个基线上的最小二乘回归问题。
2012-07-18 cs.LG math.OC stat.ML
A Minimax Surrogate Loss Approach to Conditional Difference Estimation
MIT(麻省理工学院);Duke University(杜克大学)
我们提出了一种新的机器学习方法来估计个性化的处理效应在经典的潜在结果框架与二元结果。为了克服这个问题,治疗和控制结果为同一个单位都需要监督学习,我们提出了替代损失函数,将治疗和控制数据。新的替代品产生更严格的界限比治疗组和对照组的损失之和。一个特定的选择损失函数,即一种类型的铰链损失,产生一个极大极小支持向量机制定。由此产生的优化问题只需要一个凸优化问题的解决方案,将治疗和控制单元,它使核技巧被用来处理非线性(也是非参数)估计。统计学习界限也提出了框架和实验结果。
2018-05-04 cs.LG stat.ML
Implicitly Maximizing Margins with the Hinge Loss
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出了一种新的损失函数,用于神经网络分类任务,它通过分配梯度到其临界点来扩展铰链损失。我们将表明,对于线性分类器的线性可分离的数据与固定的步长,这种修改的铰链损失的利润率收敛到$\ell_2$最大利润率的$\mathcal{O}( 1/t )$。与指数损失(如逻辑损失)的$\mathcal{O}(1/\log t)$速率相比,该速率是快的。此外,经验结果表明,这种提高的收敛速度可以延续到ReLU网络。
2020-06-25 cs.LG stat.ML
Refined Risk Bounds for Unbounded Losses via Transductive Priors
Department of Electrical Engineering and Computer Science Massachusetts Institute of Technology(电气工程与计算机科学系 马萨诸塞理工学院);Department of Brain and Cognitive Sciences Massachusetts Institute of Technology(脑科学与认知科学系 马萨诸塞理工学院);Department of Statistics University of California, Berkeley(统计学系 加州大学伯克利分校)
该研究在转导在线学习设置下,利用带转导先验的指数权重算法,推导了无界损失下更优的风险与遗憾界,部分界不依赖设计向量或最优解范数,且算法有多项式时间近似。
2025-09-04 cs.LG math.ST stat.ML
Beyond Gradient Descent for Regularized Segmentation Losses
University of Waterloo(滑铁卢大学);Vector Research Institute(向量研究所);École de technologie supérieure ÉTS(高等工程技术学院)
梯度下降(GD)的简单性使其成为训练更深更复杂的神经网络的默认方法。损失函数和架构通常被显式地调整以服从这种基本的局部优化。在弱监督CNN分割的背景下,我们展示了一个动机良好的损失函数,其中替代优化器(ADM)实现了最先进的,而GD表现不佳。有趣的是,GD获得了损失函数的“更平滑”调谐的最佳结果。结果在不同的网络架构中是一致的。我们的损失是由“浅”分割中的MRF/CRF正则化模型及其已知的全局求解器引起的。我们的工作表明,网络设计/培训应更加注重优化方法。
2019-04-29 cs.LG stat.ML
Faster Algorithms for User-Level Private Stochastic Convex Optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学);Apple Machine Learning Research(苹果公司机器学习研究部门)
本文研究用户级差分隐私下的随机凸优化,提出三类更快算法,分别在线性时间、任意光滑损失和非光滑损失下取得最先进或最优超额风险,并避免用户数随维度多项式增长。
2024-10-24 cs.CR cs.LG math.OC
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);School of Artificial Intelligence(人工智能学院);University of Washington(华盛顿大学)
本文通过折扣到动态的还原方法,改进了FTRL相关问题的动态后悔界,并应用于曲面损失和Adam优化器,获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails
Boston University(波士顿大学);Google Research(谷歌研究院)
我们考虑非凸随机优化使用一阶算法的梯度估计可能有沉重的尾巴。我们表明,梯度裁剪,动量和归一化梯度下降的组合产生收敛到临界点的高概率与最知名的平滑损失率时,梯度只有有限的$\mathfrak{p}$次矩的一些$\mathfrak{p}\in(1,2]$。然后,我们考虑的情况下,二阶光滑损失,据我们所知,还没有研究在这种情况下,并再次获得高概率界的任何$\mathfrak{p}$。此外,我们的结果保持任意光滑的规范,与典型的SGD分析,需要一个希尔伯特空间规范。此外,我们表明,经过一个合适的“老化”期,目标值将单调下降,直到确定一个临界点,这提供了直观的流行做法背后的学习率“热身”,也产生了最后的保证每次迭代。
2021-11-09 cs.LG math.OC stat.ML
Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks
University of Tehran(德黑兰大学)
为了有效地解决最大间隔分类问题,本文引入了一种新的损失函数--OSM(One-Sided Margin)。与铰链损失不同,在OSM中,用相应的超参数显式地确定裕度,然后解决分类问题。在实验中,我们观察到在几种常用的深度模型中,使用OSM损失比二进制和分类交叉熵导致更快的训练速度和更好的准确性,用于分类和光学字符识别问题。OSM一直表现出更好的分类准确性超过交叉熵和铰链损失的小到大的神经网络。它还导致了更有效的培训程序。我们在CIFAR 10(98.82\%),CIFAR 100(91.56\%),Flowers(98.04\%),Stanford Cars(93.91\%)的几个基准数据集上实现了小型网络的最新准确率,与其他损失函数相比有了相当大的改进。此外,对于大型网络,其精度优于交叉熵和铰链损失。因此,我们坚信OSM是铰链和交叉熵损失的强大替代方案,可以在分类任务上训练深度神经网络。
2022-06-02 cs.CV cs.LG
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research(微软研究院)
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数,该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法,以尽量减少整体经验损失,这是平均的本地经验损失。该算法基于不精确阻尼牛顿法,其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数,并讨论了分布岭回归,逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中,算法所需的通信轮数不会随着样本量的增加而增加,只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University(耶鲁大学);MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
该研究针对在线二分类,提出与捕捉平滑最优性的松弛基准竞争的方法,算法后悔界仅依赖VC维与实例空间复杂度,对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界,连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification
IMAG, Univ Montpellier, CNRS(蒙彼利埃大学IMAG,法国国家科学研究中心);Inria, LIRMM, Univ Montpellier, CNRS(法国国家信息与自动化研究所,蒙彼利埃计算机科学、机器人与微电子实验室,蒙彼利埃大学,法国国家科学研究中心);LIRMM, Univ Montpellier, CNRS(蒙彼利埃计算机科学、机器人与微电子实验室,蒙彼利埃大学,法国国家科学研究中心);AMIS, Paul Valery University(保罗·瓦勒里大学AMIS);Institut Universitaire de France (IUF)(法国大学研究院)
在现代分类任务中,标签的数量越来越大,实践中遇到的数据集的大小也越来越大。随着类别数量的增加,类别模糊性和类别不平衡性变得越来越难以实现高的top-1准确度。与此同时,Top-K指标(允许K猜测的指标)已经变得流行,特别是对于性能报告。然而,提出为深度学习量身定制的前K损失仍然是一个挑战,无论是理论上还是实践上。在本文中,我们介绍了一个随机的top-K铰链损失的启发最近的事态发展的top-K校准损失。我们的建议是基于灵活的“扰动优化器”框架上的前K运营商建设的平滑。我们表明,我们的损失函数在平衡数据集的情况下表现非常好,同时受益于比最先进的top-K损失函数显著更低的计算时间。此外,我们提出了一个简单的变种,我们的损失不平衡的情况下。在重尾数据集上的实验表明,我们的损失函数显着优于其他基线损失函数。
2022-07-18 cs.LG stat.ML
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan(密歇根大学)
支持向量机(SVM)的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人,2016]推荐了Weston和Watkins(WW)提出的变体,尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中,我们引入了一种新的离散损失函数的多类分类,有序分区损失,并证明了相对于此损失的WW-hinge损失校准。我们还认为,有序分区损失是最大的离散损失满足这一属性的信息。最后,我们应用我们的理论来证明Dopelan等人的经验观察,即WW-SVM即使在大规模标签噪声下也能很好地工作,这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University(国立台湾大学)
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择,提出数据相关的小损失与渐变悔界,设计的算法兼具良好悔速率与计算效率,并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Classes of ODE solutions: smoothness, covering numbers, implications for noisy function fitting, and the curse of smoothness phenomenon
UC San Diego(加州大学圣迭戈分校)
许多从数据中恢复常微分方程解的数值方法依赖于在最小二乘准则下使用基函数或核函数来近似解。这种方法的准确性取决于解决方案的平滑性。本文通过建立关于ODE解类的光滑性和覆盖数(作为其“大小”的度量)的新结果,为这些方法提供了理论基础。我们的结果提供了答案,“如何做的光滑程度和”的大小“一类常微分方程的影响”的大小相关联的类的解决方案?“我们证明:(1)对于$y^{'}=f\left(y\right)$和$y^{'}=f\left(x,\,y\right)$,如果所有$k$的绝对值若$f$的($k\leqβ+1$)阶导数被$1$限制,则解最终得到$(k+1)$阶导数,其幅值在$k$中快速增长--“光滑的诅咒”;(2)一元函数的$(β+2)-$度光滑解类的覆盖数的上界大于“标准”$(β+2)-$度光滑解类的上界;(3)当$n=Ω\left(\left(β\sqrt{\log\left(β\vee1\right)}\right)^{4β+10}\right)$时,最小二乘拟合的均方误差收敛速度不大于$\left(\frac{1}{n}\right)^{\frac{2\left(β+2\right)}{2\left(β+2\right)+1}}$,在此条件下,当$y^{'}=f\left(x,\,y\right)$时,收敛速度$\left(\frac{1}{n}\right)^{\frac{2…
2021-03-17 cs.LG math.ST stat.TH
On Symmetric Losses for Learning from Corrupted Labels
The University of Tokyo(东京大学);RIKEN Center of Artificial Intelligence Project(理化学研究所人工智能项目中心)
本文旨在提供一个更好的理解对称损失。首先,我们强调,使用对称损失是有利的,在平衡的错误率(BER)最小化和面积下的接收器工作特性曲线(AUC)最大化从损坏的标签。其次,我们证明了对称损失的一般理论性质,包括分类校准条件,超额风险界,条件风险最小化,AUC一致性条件。第三,由于所有的非负对称损失是非凸的,我们提出了一个凸屏障铰链损失,显着受益于对称条件,虽然它不是处处对称。最后,我们进行实验来验证对称条件的相关性。
2019-09-07 cs.LG stat.ML
Efficient Primal-Dual Algorithms for Large-Scale Multiclass Classification
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们开发了有效的算法来训练$\ell_1$ -正则化线性分类器与大维度$d$的特征空间,类数$k$,和样本量$n$。我们的重点是一类特殊的损失,其中包括,特别是,多类铰链和物流损失。我们的方法结合了几个想法:(i)传递到等价的鞍点问题与准双线性目标;(ii)应用随机镜像下降与适当的选择几何,保证了良好的精度界;(iii)设计非均匀采样计划近似的矩阵产品。特别是,对于多类铰链损失,我们提出了一个\textit{sublinear}算法,在$O(d+n+k)$算术运算中进行迭代。
2019-02-11 cs.LG math.OC stat.ML
Nonstochastic Bandits and Experts with Arm-Dependent Delays
我们研究非随机土匪和专家在延迟设置延迟依赖于时间和武器。虽然延迟仅取决于时间的设置已被广泛研究,但臂相关延迟设置更好地捕捉了现实世界的应用,但代价是引入了新的技术挑战。在充分的信息(专家)设置,我们设计了一个一阶遗憾界,揭示了一个有趣的权衡延迟和损失之间的算法。我们证明了一个类似的一阶后悔界也为土匪设置,当学习者被允许观察有多少损失丢失。这些是延迟设置中的第一界限,其仅取决于最佳臂的损失和延迟。当在强盗设置中除了损失之外没有观察到其他信息时,我们仍然设法通过修改Zimmert和Seldin(2020)的算法来证明遗憾界限。我们的分析取决于漂移的一个新的界限,衡量一个算法在一轮的前瞻性时可以表现得更好。
2021-12-21 cs.LG
Adversarial Bandit Optimization with Globally Bounded Perturbations to Convex Losses
Department of Informatics, Kyushu University(九州大学信息学系);RIKEN AIP(理化学研究所革新智能综合研究中心)
研究损失函数可能非凸非光滑的对抗性赌博机优化,提出一种修改的赌博机优化算法,并分析扰动预算对遗憾的影响,将线性损失下的全局预算后行动扰动模型扩展到一般凸且β-光滑损失。
2026-06-23 cs.LG
Scale-free Unconstrained Online Learning for Curved Losses
Korteweg-de Vries Institute for Mathematics(科尔特韦格-德弗里斯数学研究所);University of Amsterdam(阿姆斯特丹大学)
在无约束的在线凸优化的一系列作品已经调查的可能性,同时适应的范数$U$的比较器和最大范数$G$的梯度。在完全的一般性中,匹配的上界和下界是已知的,这表明这是以不可避免的附加$G U^3$为代价的,当预先知道$G$或$U$时,不需要附加的$G U^3$。令人惊讶的是,Kempka等人(2019)最近的结果表明,在$1$ -Lipschitz损失(如铰链损失)的特定情况下,不需要这种适应性代价。我们通过表明,如果我们专注于任何其他常见的监督在线学习损失,实际上从来没有为适应性付出代价:我们的结果涵盖了对数损失,(线性和非参数)逻辑回归,平方损失预测和(线性和非参数)最小二乘回归。我们还填补了文献中的几个空白,通过提供匹配的下界与明确的依赖$U$。在所有情况下,我们获得无标度算法,这是适当的数据重新缩放下不变。我们的总体目标是在不考虑计算效率的情况下建立可实现的速率,但对于线性逻辑回归,我们还提供了一种自适应方法,该方法与Agarwal等人(2021)最近的非自适应算法一样有效。
2022-06-15 cs.LG
Learning Games and Rademacher Observations Losses
NICTA(澳大利亚国家信息与通信技术研究院);the Australian National University(澳大利亚国立大学)
最近已经表明,具有流行的逻辑损失的监督学习等价于优化关于类的充分统计的指数损失:Rademacher观测(rados)。我们首先证明,这种意想不到的等价实际上可以推广到其他示例/ rado损失,等价的必要和充分条件,以四种在各个领域中具有流行名称的损失为例:指数(提升),均值方差(金融),线性铰链(在线学习),ReLU(深度学习)和无铰链(统计)。其次,我们发现,推广揭示了一个令人惊讶的新的连接到正则化学习,特别是一个充分条件下,正则化损失的例子相当于正则化的rados(与闵可夫斯基和)在等效的rado损失。这为稀疏控制正则化带来了简单而强大的基于rado的学习算法,我们为正则化指数rado-loss提供了一个boosting算法,它正式提升了四种类型的正则化,包括流行的ridge和lasso,以及最近创造的slope --我们获得了最后一种正则化的第一个证明的boosting算法。通过我们对rado和基于示例的损失的等价性的第一个贡献,Omega-R.AdaBoost~似乎是一个有效的代理,可以使用四个正则化器中的任何一个来提高正则化逻辑损失。实验表明,正则化一致地提高了基于rado的学习的性能,并且即使在小的rado集合上学习时,也可能挑战或击败基于示例的学习的现有技术。最后,我们将正则化与差分隐私联系起来,并展示了如何在大域上提供微小的预算,同时击败(受保护的)基于示例的学习…
2016-02-13 cs.LG
Differentially Private Online-to-Batch for Smooth Losses
Boston University(波士顿大学)
我们开发了一个新的减少,将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失,形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法,我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
A Universal Growth Rate for Learning with Smooth Surrogate Losses
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Google Research(谷歌研究院)
本文证明二分类及多分类中平滑替代损失的 $H$-一致性界与超额误差界在零附近具有通用平方根增长率,并通过分析最小化差距指导损失选择。
2024-07-08 cs.LG stat.ML
CNN-based Patch Matching for Optical Flow with Thresholded Hinge Embedding Loss
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Kaiserslautern(凯泽斯劳滕大学)
基于学习的方法在光流估计中尚未发挥其全部潜力,其中它们的性能仍然落后于启发式方法。在本文中,我们提出了一个CNN为基础的补丁匹配方法的光流估计。我们的方法的一个重要贡献是一个新的阈值损失暹罗网络。我们证明,我们的损失表现明显优于现有的损失。在我们的测试中,它还可以将训练速度提高2倍。此外,我们提出了一种新的方法来计算不同图像尺度的基于CNN的特征,它比现有的方法性能更好。我们还讨论了新的方法来评估的鲁棒性的训练功能的应用程序的补丁匹配光流。我们论文中一个有趣的发现是,特征映射的低通滤波可以提高CNN创建的特征的鲁棒性。我们通过将其提交给KITTI 2012,KITTI 2015和MPI-Sintel评估门户网站来证明我们的方法的竞争力,我们在所有三个数据集上获得了最先进的结果。
2020-05-25 cs.CV cs.LG cs.NE
Logitron: Perceptron-augmented classification model based on an extended logistic loss function
School of Liberal Arts, Korea University of Technology and Education(韩国技术教育大学文理学院)
Classification is the most important process in data analysis. However, due to the inherent non-convex and non-smooth structure of the zero-one loss function of the classification model, various convex surrogate loss functions such as hinge loss, squared hinge loss, logistic loss, and exponential loss are introduced. These loss functions have been used for decades in diverse classification models, such as SVM ( support vector machine ) with hinge loss, logistic regression with logistic loss, and Adaboost with exponential loss and so on. In this work, we present a Perceptron-augmented convex cl…
2019-04-05 cs.IT cs.LG math.IT
Minimizing The Misclassification Error Rate Using a Surrogate Convex Loss
University of Waterloo(滑铁卢大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们仔细研究如何以及最小化凸代理损失函数,对应于最小化的误分类出错率的线性预测的二元分类问题。特别是,我们表明,在所有凸代理损失,铰链损失基本上是最好的可能的范围内,所有凸损失函数,误分类出错率的最佳保证金出错率的线性预测。我们还提供了具体的凸代理人,显示不同的常用损失定性地彼此不同的下限。
2012-06-27 cs.LG stat.ML
A Symmetric Loss Perspective of Reliable Machine Learning
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
本文综述对称损失在损坏标签二分类中的鲁棒作用,涵盖BER最小化、AUC最大化及关键词与未标注文档学习,并展望可靠机器学习中的损失设计。
2023-06-05 cs.LG stat.ML
Concave losses for robust dictionary learning
University of São Paulo(圣保罗大学);Institute of Mathematics and Statistics(数学与统计研究所);Université de Rouen Normandie(鲁昂诺曼底大学);LITIS EA 4108(信息处理与系统实验室)
传统的字典学习方法是基于二次凸损失函数的,因此对离群值敏感。在本文中,我们提出了一个通用的框架,鲁棒字典学习的基础上凹损失。我们提供的凹函数的组成,特别是关于超梯度计算,这是通用字典学习算法适用于光滑和非光滑损失的关键。为了提高离群点的识别,我们引入了一种基于不完全字典学习的初始化启发式算法。使用合成数据和真实数据的实验结果表明,我们的方法能够更好地检测离群值,能够生成更好的字典,性能优于K-SVD和LC-KSVD等最先进的方法。
2017-11-02 cs.LG stat.ML
Dropout Training for Support Vector Machines
Tsinghua University(清华大学)
丢弃和其他特征噪声方案在通过人为破坏训练数据来控制过拟合方面显示出有希望的结果。虽然人们对广义线性模型进行了广泛的理论和实证研究,但对于监督学习最成功的方法之一支持向量机的研究却很少。本文提出了线性支持向量机的辍学训练。为了解决非光滑铰链损失在破坏分布下的难以处理的期望,我们通过探索数据增强技术,开发了一种迭代重加权最小二乘(IRLS)算法。我们的算法迭代地最小化期望的重新加权最小二乘问题,其中重新的权重有封闭形式的解决方案。类似的思想被应用于开发一个新的IRLS算法的期望逻辑损失下的腐败分布。我们的算法提供了关于辍学训练中铰链损失和逻辑损失之间的联系和差异的见解。在几个真实数据集上的实验结果表明,辍学训练的有效性显着提高线性支持向量机的分类精度。
2014-04-16 cs.LG
End-to-End Training Approaches for Discriminative Segmental Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
最近关于区分分段模型的工作表明,它们可以使用基于深度神经框架分类器的特征来实现有竞争力的语音识别性能。然而,分段模型对于训练来说可能比标准的基于帧的方法更具挑战性。虽然一些分段模型已经成功地进行了端到端的训练,但人们对它们在不同设置和不同损失下的训练缺乏了解。我们研究了一个基于最近成功方法的模型类,它由一个线性模型组成,该模型基于LSTM框架分类器组合了分段特征。类似于混合HMM-神经网络模型,这类分段模型可以在两个阶段(帧分类器训练,然后是线性分段模型权重训练)、端到端(帧分类器和线性权重的联合训练)或在两个阶段训练之后进行端到端微调来训练。我们研究了端到端训练的节段模型,包括铰链损失、对数损失、潜在铰链损失和边缘对数损失。我们考虑了几个损失的情况下,培训路线,以及他们没有。我们发现,在一般情况下,边际日志损失提供了最一致的强大的性能,而不需要地面实况对齐。我们还发现,在端到端训练中获得良好性能的过程中,带辍学的训练非常重要。最后,通常通过两阶段训练和微调的组合来获得最佳结果。
2016-10-21 cs.CL cs.LG stat.ML
Adversarial Bandit Optimization with Globally Bounded Perturbations to Linear Losses
Kyushu University(九州大学);RIKEN AIP(日本理化学研究所革新智能研究中心)
本文研究了对抗性带隙优化问题,其中损失函数可能非凸非光滑。在每一轮中,学习者观察到由线性部分和扰动组成的损失,扰动受全局预算限制。研究得出了期望和高概率后悔保证,并改进了经典带隙线性优化的高概率后悔界。
2026-03-27 cs.LG
The Nyström method for convex loss functions
EPFL(洛桑联邦理工学院);Swiss Finance Institute(瑞士金融研究所);Università di Genova(热那亚大学);CREST(CREST(法国国家统计与经济研究所下属研究中心));ENSAE - Institut Polytechnique de Paris(巴黎综合理工学院下属法国国立统计与经济管理学校);MIT(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院)
本文将 Nyström 随机子空间经验风险最小化的统计—计算权衡分析扩展到一般凸 Lipschitz 损失,证明多种情形下可兼得计算收益与学习性能。
2025-03-14 cs.LG stat.ML
Understanding the Loss Surface of Neural Networks for Binary Classification
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Facebook Research(脸书研究院)
普遍认为,用于神经网络的训练算法之所以成功,是因为所有局部最小值导致类似的性能,例如参见(LeCun et al.,2015年,Choromanska等人,2015年,Dauphin等人,2014年)。性能通常用两个指标来衡量:训练性能和泛化性能。在这里,我们专注于训练性能的单层神经网络的二进制分类,并提供条件下,训练误差是零的光滑铰链损失函数的所有局部极小值。我们的条件大致如下:神经元必须是严格凸的,代理损失函数应该是铰链损失的光滑版本。我们还提供了反例来说明,当损失函数被二次损失或逻辑损失所取代时,结果可能不成立。
2018-03-05 cs.AI cs.LG stat.ML
An Exploration into why Output Regularization Mitigates Label Noise
Edgify
标签噪声对监督学习算法提出了真正的挑战。因此,近年来,减轻标签噪声吸引了大量的研究。噪声鲁棒损失是用于处理标签噪声的更有前途的方法之一,因为这些方法仅需要改变损失函数并且不需要改变分类器本身的设计,这在开发时间方面可能是昂贵的。在这项工作中,我们专注于使用输出正则化(如标签平滑和熵)的损失。虽然这些损失在实践中表现良好,但它们减轻标签噪声的能力缺乏数学严谨性。在这项工作中,我们的目标是关闭这个差距,显示损失,其中包括输出正则化项,成为对称的正则化系数趋于无穷大。我们认为,正则化系数可以被看作是一个超参数控制的非线性,因此,噪声鲁棒性的损失函数。
2021-04-26 cs.LG
Near-Optimal Machine Unlearning Utility for Smooth Strongly Convex Losses
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心)
针对平滑强凸随机优化中的近似ε-遗忘问题,本文通过证明超额总体风险的上界和下界(紧至条件数因子),几乎解决了遗忘的基本统计代价,并提出了在ε≫d时相比从头再训练和差分隐私基线具有指数级精度提升的遗忘算法。
2026-09-18 cs.CR cs.LG
Learning Surrogate Losses
University of Hildesheim(希尔德斯海姆大学)
损失函数的最小化是机器学习的核心和灵魂。在本文中,我们提出了一种现成的优化方法,可以最小化几乎任何不可微和不可分解的损失函数(例如,错误分类率,AUC,F1,Jaccard指数,Mathew相关系数等)。天衣无缝我们的策略通过代理神经网络来近似真实损失,从而学习真实损失的平滑松弛版本。所提出的损失网络是一种集式模型,它对小批量实例的阶数是不变的。最终,通过双层优化与预测模型联合学习替代损失。与最先进的基线相比,具有不同现实生活中的损失函数的多个数据集的实证结果证明了学习代理损失的效率。
2019-05-24 cs.LG stat.ML