Fast Rates for General Unbounded Loss Functions: from ERM to Generalized Bayes
Centrum Wiskunde & Informatica(数学与计算机科学研究中心);Leiden University(莱顿大学);University of Victoria(维多利亚大学)
我们提出了新的超额风险界的一般无界损失函数,包括对数损失和平方损失,其中的损失分布可能是重尾的。一般估计的界限,但它们被优化时,应用于$η$ -广义贝叶斯,MDL,和经验风险最小化估计。在对数损失的情况下,只要正确设置学习率$η$,则边界意味着在Hellinger度量的泛化方面的误指定下的广义贝叶斯推断的收敛率。对于一般的损失函数,我们的边界依赖于两个独立的条件:$v$ -GRIP(广义反向信息投影)条件,它控制超额损失的下尾;和新引入的见证条件,它控制上尾。$v$ -GRIP条件中的参数$v$确定可实现的速率,并且类似于Tsybakov裕度条件和Bernstein条件中的指数,用于有界损失,$v$ -GRIP条件将其推广;有利的$v$与小的模型复杂性组合导致$\tilde{O}(1/n)$速率。见证条件允许我们将超额风险连接到其“退火”版本,通过该版本,我们推广了将Hellinger和Rényi分歧连接到KL分歧的几个先前结果。
2019-11-05 cs.LG stat.ML
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame(圣母大学)
我们提出了噪声增强的隐私保护经验风险最小化(NAPP-ERM),解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响,使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法,并通过适当设计的增强数据迭代地实现目标正则化,并通过单个自适应加权的两用l2正则化器提供强凸性,从而减轻过度正则化。当目标正则化用于变量选择时,我们提出了一种新的正则化器,同时实现隐私和稀疏性保证。最后,我们提出了一种策略,以检索隐私预算时,满足强凸性的要求,这可以返回给用户,这样的DP的ERM是保证在一个较低的隐私成本比原来计划的,或被回收到ERM优化过程中,以减少注入DP噪声,提高DP-ERM的效用。从实现的角度来看,NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现,因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
Universal rates of ERM for agnostic learning
Purdue University(普渡大学)
本文研究了不可知设定下二元分类的 ERM 通用学习速率,揭示了 $e^{-n}$、$o(n^{-1/2})$ 或任意慢的三分结构,并完整刻画了概念类、目标依赖和 Bayes 依赖的通用速率。
2025-07-15 cs.LG stat.ML
Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive Sample Size Approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了拟牛顿法在求解大型数据集上的经验风险最小化问题中的应用。传统的确定性和随机拟牛顿法可以用来解决这类问题,然而,众所周知,它们的整体收敛速度可能并不比一阶方法好,并且它们的局部超线性收敛只出现在学习过程的末尾。在本文中,我们使用自适应样本量计划,利用拟牛顿法的超线性收敛的全球和整个学习过程。提出的自适应样本量算法的主要思想是从一个小的数据点子集开始,在其统计精度范围内求解其对应的ERM问题,然后几何地扩大样本量,并使用较小集合对应的问题的最优解作为初始点来求解后续的具有更多样本的ERM问题。我们表明,如果初始的样本量是足够大的,我们使用拟牛顿法来解决每个子问题,子问题可以解决超线性快速(最多三次迭代后),因为我们保证迭代总是停留在一个邻域内,拟牛顿法超线性收敛。不同数据集上的数值实验证实了我们的理论结果,并证明了我们的方法的计算优势。
2021-10-26 cs.LG math.OC
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo(纽约州立大学布法罗分校)
在本文中,我们研究了在不同的设置不同的私人经验风险最小化(ERM)问题。对于光滑(强)凸损失函数与或不与(非)光滑正则化,我们给出的算法,实现最佳或接近最佳的效用界,与以前的工作相比,梯度复杂性。对于高维($p\gg n$)环境下具有光滑凸损失函数的ERM,我们给出了一个算法,该算法比以前的算法以更小的梯度复杂度达到上界。最后,将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数,并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Exploiting the Structure: Stochastic Gradient Methods Using Raw Clusters
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
世界上可用数据量的增长速度超过了我们处理数据的能力。然而,如果我们利用内部\emph{structure},数据可能会变得更小,用于机器学习目的。在本文中,我们专注于一个基本的机器学习任务,经验风险最小化(ERM),并提供更快的算法的帮助下,从聚类结构的数据。我们介绍了一个简单的概念,可以有效地计算出的数据的原始聚类,并提出了两个算法的聚类信息的基础上。我们的加速算法EscherACDM是建立在一个新的Haar变换的双重空间的ERM问题,我们的方差减少为基础的算法EscherSVRG引入了一个新的梯度估计,使用聚类。我们的算法优于他们的经典同行ACDM和SVRG分别。
2016-11-04 cs.LG stat.ML
An Adaptive Policy to Employ Sharpness-Aware Minimization
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);Peng Cheng Laboratory(鹏城实验室)
针对SAM训练成本翻倍的问题,提出基于损失景观几何的自适应采用策略及两种高效算法,理论保证收敛速率,实验验证其效率与有效性。
2023-04-28 cs.LG
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix(奈飞);Université Paris Descartes(巴黎笛卡尔大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校)
经验风险最小化(ERM)是机器学习的主力,无论是用于分类和回归还是用于离线策略学习,但当我们使用自适应收集的数据时,其模型不可知的保证可能会失败,例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法,使用自适应收集的数据,以最小化损失函数的平均假设类,并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式,仔细利用重要性抽样结构,以获得正确的依赖于数据中的勘探率的利率。对于回归,我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习,我们提供了速率最优的遗憾保证,关闭现有文献中的一个开放的差距,每当勘探衰减到零,是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Understanding and Improving Feature Learning for Out-of-Distribution Generalization
The Chinese University of Hong Kong(香港中文大学);RIKEN AIP(日本理化学研究所先进智能研究中心);Tencent AI Lab(腾讯AI实验室);Hong Kong Baptist University(香港浸会大学)
本文从理论上分析了ERM同时学习虚假特征与不变特征但虚假特征学习更快的问题,并提出特征增强训练FeAT,通过迭代保留与增强特征来提升分布外泛化性能。
2023-10-29 cs.LG stat.ML
Regularized ERM on random subspaces
研究了经典经验风险最小化的一个自然推广,其中假设空间是给定空间的随机子空间。特别是,我们认为可能的数据依赖的子空间跨越的数据的随机子集,恢复作为一个特殊情况下Nystrom方法的核方法。考虑随机子空间自然会节省计算量,但问题是相应的学习精度是否会降低。最近已经探索了最小二乘损失和自协调损失函数(如逻辑损失)的计算-计算权衡。在这里,我们将这些结果扩展到凸Lipschitz损失函数,这可能是不光滑的,例如支持向量机中使用的铰链损失。这种统一的分析需要开发新的证明,使用不同的技术工具,如亚高斯输入,以实现快速。我们的主要结果表明,根据学习问题的难度,存在不同的设置,可以在不损失性能的情况下提高计算效率。
2022-12-08 cs.LG math.ST stat.ML
On the Statistical Optimality of Optimal Decision Trees
本文研究了最优决策树在高维回归和分类中的统计性能,通过统一集中框架和新的函数类,建立了ERM树的最优性理论和鲁棒保证。
2026-03-16 cs.LG math.ST stat.ML
Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces
Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research - Brain(谷歌研究院-大脑团队)
我们重新讨论了具有不同隐私的经验风险最小化(ERM)问题。我们表明,嘈杂的AdaGrad,适当的知识和条件的子空间,从梯度可以得出,实现了遗憾相比,传统的AdaGrad加上一个控制良好的长期由于噪声。我们展示了$O(\text{Tr}(G_T)/T)$的收敛速度,其中$G_T$捕获梯度子空间的几何形状。由于$\text{Tr}(G_T)=O(\sqrt{T})$,我们可以获得更快的速度为凸函数和Lipschitz函数,相比之下,$O(1/\sqrt{T})$率实现了已知版本的噪声(随机)梯度下降与可比的噪声方差。特别是,我们表明,如果梯度位于一个已知的常数秩子空间,并假设算法访问的信封边界衰减的灵敏度,可以实现更快的收敛到一个多余的经验风险的$\tilde O(1/εn)$,其中$ε$是隐私预算和$n$的样本数。让$p$成为问题维度,这个结果意味着,通过运行噪声Adagrad,我们可以在$T=(εn)^{2/(1+2α)}$迭代中绕过DP-SGD界$\tilde O(\sqrt{p}/εn)$,其中$α\geq 0$是控制梯度范数衰减的参数,而不是$T=ε^2n^2$的SGD所达到的速率。我们的结果与一般的凸函数在约束和无约束的最小化。一路上,我们做了一个扰动分析的独立利益的嘈杂AdaGrad。我们对私人ERM问题的效用保证是嘈杂的AdaGrad的遗憾保证的必然结果。
2021-01-30 cs.LG stat.ML
A Distributed Quasi-Newton Algorithm for Primal and Dual Regularized Empirical Risk Minimization
National University of Singapore(新加坡国立大学);Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们提出了一个通信和计算效率的分布式优化算法,使用二阶信息解决经验风险最小化(ERM)问题的非光滑正则项。我们的算法是适用于原始和双重ERM问题。目前的二阶和拟牛顿方法,这个问题要么不工作,以及在分布式设置或工作,只有特定的正则化。我们的算法使用连续二次近似的光滑部分,我们描述了如何保持近似的(广义)海森和有效地解决子问题的分布式方式。当应用于分布式对偶ERM问题时,与仅采用Hessian的块对角部分的现有技术不同,我们的方法能够利用全局曲率信息,因此速度更快。所提出的方法具有全局线性收敛的广泛的非强凸问题,包括最常用的ERM,从而需要较低的通信复杂性。它还收敛于非凸问题,因此有可能用于深度学习等应用。计算结果表明,我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2019-12-12 cs.LG math.OC stat.ML
Function Value Learning: Adaptive Learning Rates Based on the Polyak Stepsize and Function Splitting in ERM
Université Paris Cité(巴黎西岱大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Center for Computational Mathematics(计算数学中心);Flatiron Institute(熨斗研究所);Technical University of Munich(慕尼黑工业大学)
本文开发了利用采样损失值的自适应步长 SGD 变体 $\texttt{SPS}_+$ 和 $\texttt{FUVAL}$,虽然在非平滑分析上有一定贡献,但新方法在理论和实验上尚未显示出明显优势。
2023-07-26 cs.LG math.OC
Output Perturbation for Differentially Private Convex Optimization: Faster and More General
University of Southern California(南加州大学)
本文提出基于输出扰动的差分隐私凸优化算法,在光滑强凸损失下实现最优超额风险与线性时间,并推广至倾斜损失和对抗训练,首次给出紧的(ε,0)-DP界。
2024-09-20 cs.CR cs.LG stat.ML
Fast rates with high probability in exp-concave statistical learning
Centrum Wiskunde & Informatica (CWI)(荷兰国家数学与计算机科学研究所)
我们提出了一个算法的统计学习设置有界指数凹损失$d$维度,获得超额风险$O(d \log(1/δ)/n)$的概率至少为$1 - δ$。其核心技术是提高最近的预期$O(d/n)$的经验风险最小化(ERM)的超额风险界限的信心,而不牺牲率,通过利用伯恩斯坦条件,成立由于经验。我们还表明,概率$1 - δ$的标准ERM方法获得超额风险$O(d (\log(n) + \log(1/δ))/n)$。我们进一步表明,在这种情况下,任何在线学习者的遗憾绑定转化为相应的在线到批量转换的在线学习者的高概率超额风险绑定。最后,我们给出了指数凹模型选择集结问题的两个高概率界,它们在一定意义上是分位数自适应的。第一个界限是一个纯粹的指数权重类型算法,获得了几乎最优的速率,并且对损失的Lipschitz连续性没有显式依赖。第二界要求Lipschitz连续性,但获得最优速率。
2016-10-14 cs.LG
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具,探讨了噪声成分和正交统计学习框架下的相关问题,推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University(希伯来大学)
我们得出的经验风险最小化(ERM)的背景下,最小化非凸风险,承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明,这些有效的算法是统计稳定的,也推广得很好。特别是,我们得到快速的利率类似的界限,往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance
Rensselaer Polytechnic Institute(伦斯勒理工学院);New Jersey Institute of Technology(新泽西理工学院);Michigan State University(密歇根州立大学);IBM Research(IBM研究院)
本研究通过高斯混合模型理论分析单隐层神经网络在群体不平衡下的泛化,首次给出ERM的群体层面泛化界,发现中等协方差和近零均值时性能最优,且增加少数群体比例不一定改善其泛化。
2024-03-19 cs.LG stat.ML
Fast classification rates without standard margin assumptions
Google Research(谷歌研究院)
我们考虑经典的问题的学习率类有限VC维。众所周知,如果满足低噪声或裕度假设,则通过经验风险最小化算法(ERM)可以实现高达$O\left(\frac{d}{n}\right)$的快速学习率。这些通常需要最佳贝叶斯分类器在类中,并且已经表明,当不是这种情况时,即使在无噪声的情况下也不能实现快速速率。在本文中,我们进一步研究的问题下的错误指定,当贝叶斯分类器是不是在类(也称为不可知设置)的快速率。首先,我们考虑分类与拒绝选项,即周的拒绝选项模型,并表明,通过稍微降低硬实例的影响,学习率的顺序$O\left(\frac{d}{n}\log \frac{n}{d}\right)$总是可以实现在不可知的设置由一个特定的学习算法。类似的结果只有在特殊版本的差额假设下才知道。我们还表明,该算法的性能是从来没有比ERM的性能差。基于这些结果,我们得出的必要和充分条件分类(没有拒绝选项)与不正确的学习者可以实现的不可知设置的速度快。这同时扩展了Massart和Nédélec(Ann. of Statistics,2006)的工作,该工作在贝叶斯最优规则属于该类的情况下研究了这个问题,以及Ben-David和Urner(COLT,2014)的工作,该工作允许错误指定,但仅限于无噪声设置。我们的研究结果还提供了第一个一般的统计学习理论,其中不适当的学习算法可以显着提高非凸损失的学习率。
2020-10-26 cs.LG math.ST stat.ML
Statistical-Computational Trade-offs for Recursive Adaptive Partitioning Estimators
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学);Department of Operations Research and Financial Engineering, Princeton University(运筹学与金融工程系,普林斯顿大学);Department of Statistics, University of California, Davis(统计系,加州大学戴维斯分校)
本研究探讨贪心递归划分估计器在高维稀疏回归中的统计-计算权衡,发现其性能取决于MSP性质,并与SGD训练的神经网络形成对比。
2025-09-10 cs.DS cs.LG math.ST
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University(斯坦福大学);Microsoft Research, New England(微软新英格兰研究院);MIT(麻省理工学院)
我们开发了一个家庭的加速随机算法,最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化(ERM),特别是线性最小二乘回归,在广泛的问题设置。为了实现这一点,我们建立了一个框架的基础上,经典的邻近点算法。也就是说,我们提供了几个算法,减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果,我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲,我们证明,由此产生的算法表现出的稳定性,在实践中是有利的概念。无论是在理论上还是在实践中,所提供的算法都获得了增加一个大的强凸正则化项的计算优势,而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University(哥伦比亚大学)
经验风险最小化是预测问题的主要工具,但其扩展到关系数据仍然没有解决。我们解决这个问题,使用最近的想法,从图抽样论(i)定义一个经验风险的关系数据和(ii)获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具,我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后,我们展示了关系ERM与应用程序的两个非标准的问题:一个阶段的训练半监督节点分类,学习嵌入向量的顶点属性。实验证实,交钥匙推理过程是有效的,在实践中,用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
Average Stability is Invariant to Data Preconditioning. Implications to Exp-concave Empirical Risk Minimization
The Hebrew University(希伯来大学)
我们表明,平均稳定性的概念引入\cite{kearns1999algorithmic, bousquet2002stability}是不变的数据预处理,广泛的一类广义线性模型,其中包括大多数已知的指数凹损失。换句话说,在分析给定算法的稳定性时,我们可以假设数据的最优预处理。这意味着,至少从统计学的角度来看,不需要显式正则化来补偿病态数据,这与广泛使用的方法形成对比,该方法包括用于分析广义线性模型的样本复杂性的正则化。我们的研究结果的几个重要意义包括:(a)我们证明了经验风险最小化(ERM)的超额风险是由预条件稳定率控制的。这立即产生了一个相对简短而优雅的证明,证明了在我们的背景下,ERM所达到的快速速度。b)我们加强了\cite{hardt2015train}关于随机梯度下降算法稳定率的最近界。
2017-04-16 cs.LG
Step by Step: Adaptive Gradient Descent for Training L-Lipschitz Neural Networks
Department of Mathematics and Statistics, McMaster University(数学与统计学系,麦斯特大学);Vector Institute(向量研究所);The Ennio De Giorgi Mathematical Research Centre(埃尼奥·德·吉奥吉数学研究中心);Scuola Normale Superiore di Pisa(比萨高等学院)
本文提出通过逐步衰减学习率来训练两层神经网络,以实现高利普希茨正则性,并推导出泛化界限,表明网络的统计行为与参数化无关。
2026-02-06 cs.LG stat.ML
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior
元学习算法通过利用以往任务的经验,在遇到新任务时能够实现有效的快速适应能力。然而,尚不清楚泛化属性如何应用于新任务。概率近似正确贝叶斯界理论为元学习的泛化性能分析提供了一个理论框架。基于PAC-Bayes相对熵界,我们推导出了三个新的元学习泛化误差界。此外,使用经验风险最小化(ERM)方法,一个PAC贝叶斯界的元学习与数据相关的先验。实验结果表明,提出的3种元学习PAC-Bayes界具有较好的泛化性能,而基于数据相关先验的扩展PAC-Bayes界具有快速收敛能力.
2021-02-07 cs.LG stat.ML
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
Tel-Aviv University(特拉维夫大学)
我们提出了一个通用的方法,使用未标记的数据设计半监督学习(SSL)变种的经验风险最小化(ERM)学习过程。针对广义线性回归,分析了SSL方法在提高预测性能方面的有效性。关键思想是仔细考虑空模型作为竞争对手,并利用未标记的数据来确定信号噪声组合,其中SSL优于监督学习和空模型。然后,我们使用SSL的自适应方式的基础上估计的信号和噪声。在特殊的情况下,线性回归与高斯协变量,我们证明了非自适应SSL版本实际上是不能够同时提高两个监督估计和空模型,超过一个可以忽略不计的O(1/n)项。另一方面,在这项工作中提出的自适应模型,可以同时实现对两个竞争对手的大幅改善,在各种设置下。这通过大量的模拟经验地显示,并扩展到其他场景,如非高斯协变量,错误指定的线性回归,或广义线性回归与非线性链接函数。
2022-02-05 cs.LG stat.ME stat.ML
Blockwise Adaptivity: Faster Training and Better Generalization in Deep Learning
Hong Kong University of Science and Technology(香港科技大学)
具有坐标方向自适应步长的随机方法(如RMSprop和Adam)已广泛用于训练深度神经网络。尽管它们的收敛速度很快,但它们的泛化能力比随机梯度下降差。在本文中,通过重新审视Adagrad的设计,我们建议将网络参数分成块,并使用分块自适应步长。直观地说,分块自适应比对单个坐标的自适应更不积极,并且可以在自适应和泛化之间取得更好的平衡。我们从理论上表明,提出的块自适应梯度下降具有可比的收敛速度,其对应的坐标明智的自适应步长,但更快的一些常数。我们还研究了它的一致稳定性,并表明,分块自适应可以导致较低的泛化误差比坐标式自适应。实验结果表明,分块自适应梯度下降收敛速度快,提高了Nesterov的加速梯度和亚当的泛化性能。
2019-05-23 cs.LG math.OC stat.ML
FLAG n' FLARE: Fast Linearly-Coupled Adaptive Gradient Methods
UC Berkeley(加州大学伯克利分校);University of Queensland(昆士兰大学);ICSI(国际计算机科学研究所)
我们考虑一阶梯度法,有效地优化复合目标的形式,光滑和潜在的,非光滑函数。我们提出了加速和自适应梯度法,称为FLAG和FLARE,可以提供最好的两个世界。它们可以通过获得光滑凸优化的最优一阶预言复杂度来获得最优收敛速度。此外,它们可以自适应地和非均匀地重新缩放梯度方向,以适应可用的有限曲率并符合域的几何形状。我们从理论上和经验上证明,通过加速和自适应的复合效应,FLAG和FLARE可以非常有效地用于许多数据拟合和机器学习应用程序。
2017-11-11 cs.LG math.OC stat.ML
Scaling-up Empirical Risk Minimization: Optimization of Incomplete U-statistics
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院法国国家科学研究中心信息与通信技术实验室);INRIA Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在诸如排名、聚类或度量学习等广泛的统计学习问题中,通过$U$(程度$d\geq 1$的统计)来准确地估计风险,即具有低方差的训练数据的泛函,其采取$k$元组上的平均值的形式。从计算的角度来看,即使对于中等样本量的$n$,这种统计量的计算也是非常昂贵的,因为它需要对$O(n^d)$项进行平均。这使得依赖于这种数据泛函的优化的学习过程在实践中几乎不可行。这是本文的主要目标,以显示,引人注目的是,这种经验风险可以被替换为大大计算简单的蒙特卡罗估计的基础上$O(n)$条款,通常被称为不完全$U$ -统计,不损害$O_{\mathbb{P}}(1/\sqrt{n})$学习率的经验风险最小化(ERM)程序。为了这个目的,我们建立一致的偏差结果描述的错误时,近似的$U$过程的不完整版本下适当的复杂性假设。扩展到模型选择,快速的情况下,各种采样技术,以及应用随机梯度下降的ERM。最后,数值例子显示,以提供强有力的经验证据表明,我们提倡的方法在很大程度上超过了更天真的子采样技术。
2016-04-19 cs.AI cs.LG stat.ML
A Fast Algorithm for Adaptive Private Mean Estimation
Stanford University(斯坦福大学)
我们设计了一个$(\varepsilon, δ)$ -差分私有算法来估计$d$ -变量分布的均值,协方差未知$Σ$,自适应于$Σ$。在多对数因子内,估计器相对于诱导的Mahalanobis范数$||\cdot||_Σ$实现最优收敛速率,需要时间$\tilde{O}(n d^2)$来计算,对于亚高斯分布具有接近线性的样本复杂度,允许$Σ$退化或低秩,并且自适应地扩展到亚高斯之外。在此之前的工作,其他方法需要指数计算时间或超线性缩放$n = Ω(d^{3/2})$,以实现非平凡的误差相对于规范$||\cdot||_Σ$。
2023-01-17 cs.CR cs.DS cs.LG
Efficient Active Auditing of Multi-Group Fairness with Bias Probes
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL(里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工学院、CRIStAL实验室)
本文提出偏差探针框架及主动审计器ALeBi,在不重建模型的情况下高效估计多群体公平性指标,并揭示模型机密性与可靠审计间的权衡。
2026-10-01 cs.AI cs.CY cs.LG
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
坐标下降法采用随机部分更新的决策变量,以解决大规模的凸优化问题。在这项工作中,我们引入了新的自适应规则,随机选择他们的更新。所谓自适应,我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计,并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能,并证明了最先进的改进,并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Fast Convex Quadratic Optimization Solvers with Adaptive Sketching-based Preconditioners
Stanford University(斯坦福大学)
我们考虑最小二乘问题的二次正则化,并提出新的草图为基础的迭代法与自适应草图大小。草图大小可以与数据矩阵的有效维数一样小,以保证线性收敛。然而,根据有效尺寸选择草图尺寸的主要困难在于,后者在实践中通常是未知的。目前基于草图的正则化最小二乘求解器无法解决这个问题。我们的主要贡献是提出自适应版本的标准草图为基础的迭代求解器,即迭代Hessian草图和预处理共轭梯度法,不需要先验估计的有效尺寸。我们提出了一种自适应机制,根据迭代求解器的每一步所取得的进展来控制草图大小。如果没有取得足够的进展,草图大小会增加以提高收敛速度。我们证明了自适应草图尺寸尺度最多在有效尺寸方面,并且我们的自适应方法保证线性收敛。因此,我们的自适应方法提高了解决密集,病态最小二乘问题的最先进的复杂性。重要的是,我们在几个合成数据集和真实数据集上进行了数值说明,我们的方法非常有效,通常比标准的最小二乘求解器(如基于直接因子分解的求解器,共轭梯度法及其预处理变体)快得多。
2021-04-29 cs.LG
Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms
Department of Statistics, Pennsylvania State University(宾夕法尼亚州立大学统计学系);School of Mathematics, University of Birmingham(伯明翰大学数学学院);Department of Statistics, Columbia University(哥伦比亚大学统计学系)
研究受污染多任务经验风险最小化框架,高斯均值模型中常见范式有次优污染误差,建立一般异质ERM设置的极小极大下界,提出高效滤波鲁棒多任务梯度下降法,模拟和实数据分析显示其强鲁棒性和个性化。
2026-07-07 cs.LG math.ST stat.ME
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
利用统一的自适应矩阵,提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升(GDA)算法,该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是,我们提供了一个有效的收敛性分析框架,我们的自适应GDA方法。具体地说,我们提出了一种快速自适应梯度下降上升(AdaGDA)方法的基础上的基本动量技术,它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量,这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外,我们提出了一个加速版本的AdaGDA(VR-AdaGDA)方法的基础上的动量为基础的方差减少技术,实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量,这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外,我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验,验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Parallel APSM for Fast and Adaptive Digital SIC in Full-Duplex Transceivers with Nonlinearity
本文提出了一种基于核的自适应滤波器,应用于数字域自干扰消除(SIC)的收发机工作在全双工(FD)模式。在FD中,信号的同时发送和接收的好处是以强自干扰(SI)为代价的。在这项工作中,我们主要感兴趣的是抑制SI使用自适应滤波器,即自适应投影次梯度法(APSM)在再生核希尔伯特空间(RKHS)的功能。使用投影的概念作为一个强大的工具,APSM是用来建模,从而消除SI。利用RKHS中的核技巧和并行投影技术,提出了一种低复杂度、快速跟踪的算法。所提出的方法的性能进行评估的实际测量数据。该方法说明了良好的性能,所提出的自适应滤波器相比,已知的流行的基准。他们表明,基于核的算法实现了良好的数字SIC水平,同时使并行计算为基础的实施在一个丰富的和非线性的函数空间,由于所采用的自适应滤波方法。
2022-07-12 eess.SP stat.ML
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
近年来,由于超参数最优化和Meta学习等多种应用,双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法,这些方法没有考虑使用自适应学习率。众所周知,自适应学习率可以加速优化算法。为了填补这一空白,本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵,包括多种类型的自适应学习率,并可以灵活地使用动量和方差减少技术。特别是,我们提供了一个有用的收敛性分析框架的双层优化。具体来说,我们提出了一个快速的单循环自适应双层优化(BiAdam)算法,它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时,我们提出了一种加速的BiAdam算法(VR-BiAdam),它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知,我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients
University of Pittsburgh(匹兹堡大学)
自适应梯度法在解决许多机器学习问题中表现出了优异的性能。虽然最近研究了多种自适应梯度法,但它们主要集中在经验或理论方面,并且仅通过使用特定的自适应学习率来解决特定的问题。因此,需要设计一个通用的框架,为实际的自适应梯度算法与理论保证,以解决一般问题。为了填补这一空白,我们提出了一个更快和通用的自适应梯度框架(即,SUPER-ADAM)通过引入一个通用的自适应矩阵,包括大多数现有的自适应梯度形式。此外,我们的框架可以灵活地集成动量和方差减少技术。特别是,我们的新框架提供了自适应梯度法的收敛性分析支持下的非凸设置。在理论分析中,我们证明了我们的SUPER-ADAM算法可以实现最佳已知梯度(即,随机一阶预言(SFO))复杂度的$\tilde{O}(ε^{-3})$寻找一个$ε$ -平稳点的非凸优化,它匹配的下界随机光滑非凸优化。在数值实验中,我们使用各种深度学习任务来验证我们的算法始终优于现有的自适应算法。代码可在https://github.com/LIJUNYI95/SuperAdam上获得
2022-05-11 cs.CV cs.LG math.OC
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab(字节跳动人工智能实验室);Peking University(北京大学);Ohio State University(俄亥俄州立大学)
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而,它们在实践中的加速效果,特别是在神经网络训练中,很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中,我们提供了自适应梯度法一个新的分析与额外的温和的假设,并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标,我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度,这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比,现有的自适应梯度法和随机洗牌SGD,分别。据我们所知,这是第一次证明,自适应梯度法可以确定性地比SGD有限时期后更快。此外,我们进行了全面的实验,以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
联邦学习是机器学习中一种流行的分布式学习范式。同时,组合优化是一种有效的分层学习模型,它出现在许多机器学习应用中,如元学习和鲁棒学习。最近,虽然已经提出了一些联邦组合优化算法,但它们仍然受到高样本和通信复杂性的困扰。因此,在本文中,我们提出了一类更快的联邦组合优化算法(即,MFCGD和AdaMFCGD)来求解非凸分布组合问题,该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是,我们的自适应算法(即,AdaMFCGD)使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外,我们提供了一个坚实的理论分析,我们的算法在非独立同分布。设置,并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说,我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验,以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Faster Adaptive Decentralized Learning Algorithms
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室)
针对现有自适应去中心化学习算法样本复杂度高的问题,提出两类分别适用于非凸随机与有限和优化的更快自适应去中心化算法,证明其近最优样本复杂度,并通过实验验证了算法效率。
2024-08-19 cs.LG math.OC
Faster Adaptive Federated Learning
University of Pittsburgh(匹兹堡大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
随着分布式数据的出现,联邦学习受到越来越多的关注。虽然针对非凸分布问题已经提出了大量的联邦学习算法,但联邦学习在实际应用中仍然面临着许多挑战,例如由于模型和数据集的大小不断增加而需要大量的训练迭代来收敛,以及基于SGD的模型更新缺乏自适应性。同时,联邦学习中自适应方法的研究还比较少,现有的研究要么缺乏完整的理论收敛性保证,要么样本复杂度较低。在本文中,我们提出了一种有效的自适应算法(即,FAFED)的基于动量的方差缩减技术在跨筒仓FL。我们首先探讨如何设计自适应算法在FL设置。通过提供一个反例,我们证明了FL和自适应方法的简单组合可能导致发散。更重要的是,我们提供了一个收敛性分析,我们的方法,并证明我们的算法是第一个自适应FL算法,以达到最知名的样本$O(ε^{-3})$和$O(ε^{-2})$通信轮,找到一个$ε$ -平稳点,而无需大批量。在语言建模任务和异构数据的图像分类任务上的实验结果证明了算法的有效性。
2023-03-09 cs.DC cs.LG
Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich(慕尼黑工业大学);Indian Institute of Science(印度科学学院);US Army Research Laboratory(美国陆军研究实验室);Rutgers University(罗格斯大学)
我们考虑这样一种设置,其中主节点希望在$n$工作节点上运行分布式随机梯度下降(SGD)算法,每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响,即,缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应,然后更新模型,其中$k$是固定参数。对$k$的值的选择呈现了运行时间(即,收敛速度)和模型的误差。为了优化错误-运行时权衡,我们研究了具有自适应~ $k$的分布式SGD,即,在算法的整个运行时间内改变$k$。首先,我们设计了一个自适应的政策,为不同的$k$,优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间,我们得出。然后,我们提出并实现了一个算法,自适应分布式SGD是基于统计启发式。我们的研究结果表明,自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比,非自适应实现。此外,结果还表明,自适应版本是通信效率,其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
FOAL: Fast Online Adaptive Learning for Cardiac Motion Estimation
United Imaging Intelligence(联影智能);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Oregon(俄勒冈大学)
心脏MRI视频的运动估计对于评价人体心脏解剖和功能具有重要意义。最近的研究表明,基于深度学习的方法取得了可喜的成果。然而,在临床部署中,由于训练和测试数据集之间的分布不匹配,它们的性能会急剧下降,这在临床环境中很常见。另一方面,可以说不可能收集所有代表性数据集并在部署之前训练通用跟踪器。在这种情况下,我们提出了一种新的快速在线自适应学习(FOAL)框架:一个在线的基于梯度下降的优化器,优化的元学习器。元学习器使在线优化器能够执行快速且强大的自适应。我们通过在两个公共临床数据集上进行广泛的实验来评估我们的方法。结果表明,FOAL在准确性方面优于离线训练的跟踪方法。平均而言,FOAL只需要$0.4$秒就可以完成每个视频的在线优化。
2020-08-14 cs.AI cs.CV cs.LG
To Drop or Not to Drop: Robustness, Consistency and Differential Privacy Properties of Dropout
Microsoft Research(微软研究院);Stony Brook University(石溪大学);Yahoo Labs(雅虎实验室);Apple Inc(苹果公司)
训练深度信念网络(DBN)需要优化具有大量参数的非凸函数。自然地,现有的基于梯度下降(GD)的方法倾向于任意差的局部最小值。在本文中,我们严格表明,这种局部极小值可以避免(近似误差),通过使用辍学技术,广泛使用的启发式在这一领域。特别是,我们表明,通过随机删除一个隐藏层神经网络的几个节点,训练目标函数,达到一定的近似误差,减少了乘法因子。另一方面,我们表明,对于训练凸经验风险最小化器(ERM),dropout实际上充当了“稳定器”或正则化器。也就是说,一个简单的基于辍学的GD方法凸ERMs是稳定的,在面对任意变化的任何一个训练点。使用上述断言,我们表明,辍学提供快速的泛化误差学习(凸)广义线性模型(GLM)。此外,利用上述的dropout的稳定性,我们设计了基于dropout的差分隐私算法来解决ERM。因此,学习的GLM保留了每个单独训练点的隐私,同时为新的测试点提供准确的预测。最后,我们在凸ERM的背景下实证验证了我们对dropout的稳定性断言,并令人惊讶地表明,对于几个基准数据集,dropout的性能显着优于(就预测准确性而言)基于L2正则化的方法。
2015-03-06 cs.LG cs.NE stat.ML
Fast Adaptive Weight Noise
在神经网络的内部表示或参数中边缘化不确定量对于广泛的学习技术(例如经验、变分或全贝叶斯方法)具有核心重要性。我们开始概括快速丢弃(Wang & Manning,2013),以涵盖神经网络中更广泛的噪声过程。这导致了边缘似然和预测分布的有效计算,避免了采样以及由于高度变化的梯度估计而导致的训练时间的相应增加。这使我们能够近似的前馈神经网络的参数变分贝叶斯。受最小描述长度原则的启发,我们还提出并实验验证了正则化预测分布的直接优化。该方法产生的结果与以前的神经网络为基础的方法和高斯过程的广泛的回归任务的竞争力。
2015-07-19 cs.LG stat.ML
FedLion: Faster Adaptive Federated Optimization with Fewer Communication
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
提出自适应联邦优化算法FedLion,将Lion关键元素融入FL框架,通过符号梯度减少通信开销,在收敛速度和性能上超越现有自适应算法。
2024-02-15 cs.AI cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Efficient Model-Based Collaborative Filtering with Fast Adaptive PCA
Tsinghua University(清华大学);Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
提出一种基于快速自适应随机SVD的模型协同过滤方法,通过结合固定精度矩阵分解与加速技巧,并引入自适应终止机制自动确定潜在因子数量,在保持预测精度的同时大幅提升了大规模数据的运行效率。
2020-09-04 cs.IR cs.LG cs.NA
People Mover's Distance: Class level geometry using fast pairwise data adaptive transportation costs
我们解决的问题,定义一个网络图上的一个大集合的类。每个类由一组数据点组成,以非独立同分布采样。从某种未知的潜在分布中。我们在本文中考虑的应用程序是一个大规模的高维调查的人生活在美国,以及如何相似或不同的是这些人生活的各个县的问题。我们使用一个共同聚类扩散度量来学习潜在的分布的人,并建立一个近似的推土机的距离算法,使用此数据自适应的运输成本。
2017-07-03 stat.AP stat.ML
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学计量经济研究所);Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学学院)
我们提出了一个新的分裂标准的元学习方法,多类分类器的设计,自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率,排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树(MST)的样本从每对类。此外,提出了一种元学习技术,用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明,所提出的分层方法通常可以比竞争方法更快地学习,同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
$\ell_1$ Adaptive Trend Filter via Fast Coordinate Descent
识别给定噪声信号的未知潜在趋势对于广泛的应用非常有用。潜在趋势的数量可能是指数级的,即使对于短信号,这在计算上也可能是穷举的。另一个挑战是在未知时间存在突变和异常值,这些突变和异常值传递了关于信号特性的丰富信息。在本文中,我们提出了$\ell_1$自适应趋势滤波器,它可以一致地识别在潜在的趋势和多个电平变化的组件,即使在离群值的存在。此外,一个增强的坐标下降算法,利用滤波器的设计。一些实施细节进行了讨论,并提出了一个版本的Julia语言以及两个不同的应用程序来说明过滤器的潜力。
2016-05-16 math.OC stat.AP stat.ML
Fast and Adaptive Sparse Precision Matrix Estimation in High Dimensions
本文提出了一种估计高维稀疏精度矩阵的新方法。针对这一问题的快速计算和自适应方法的研究已经成为一个热点。我们提出了一种新的方法,称为稀疏列逆算子,来解决这两个问题。我们分析了基于交叉验证的自适应过程,并建立其收敛速度下的Frobenius范数。在其他矩阵范数下也建立了收敛速度。该方法还具有通过坐标下降算法快速计算大规模问题的优点。数值的优点,说明使用模拟和真实的数据集。特别是,它在HIV脑组织数据集和ADHD静息状态fMRI数据集上表现良好。
2016-12-22 math.ST stat.AP stat.CO