Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors
Paris Research Center, Huawei Technologies France(华为技术法国巴黎研究中心);Université Gustave Eiffel, France(Gustave Eiffel大学)
该研究为表示学习算法建立了基于数据依赖先验的泛化误差界,据此提出同时学习高斯混合先验并用作正则项的方法,且实验效果优于VIB和CDVIB方法。
2025-03-19 cs.IT cs.LG math.IT
Practicality of generalization guarantees for unsupervised domain adaptation with neural networks
Chalmers University of Technology(查尔姆斯理工大学)
理解泛化对于自信地设计和部署机器学习模型至关重要,特别是当部署意味着数据域的转变时。对于这样的领域自适应问题,我们寻求的泛化边界是易处理的可计算和紧。如果能够达到这些期望值,则边界可以作为部署中的适当性能的保证。然而,在深度神经网络是选择模型的应用中,获得满足这些的结果仍然是一个未解决的挑战;大多数现有的边界要么是空洞的,要么具有不可估计的条款,即使在有利的条件下。在这项工作中,我们评估现有的界限,从文献中有可能满足我们的desiderata的领域自适应图像分类任务,其中深神经网络是首选。我们发现,所有的界限是空洞的,样本泛化条款占了很大一部分观察到的松散,特别是当这些条款与域转移的措施相互作用。为了克服这一点,并达到最严格的可能结果,我们将每个边界与最近的数据相关的PAC-Bayes分析相结合,大大提高了保证。我们发现,当域重叠可以假设,一个简单的重要性加权扩展以前的工作提供了最紧密的估计范围。最后,我们研究哪些条款占主导地位的界限,并确定进一步改进的可能方向。
2023-03-15 cs.LG stat.ML
Simple and Effective Regularization Methods for Training on Noisily Labeled Data with Generalization Guarantee
Princeton University(普林斯顿大学)
众所周知,通过简单的一阶方法训练的过度参数化深度神经网络能够拟合任何数据标签。当存在错误标记的训练样本时,这种过拟合能力阻碍了泛化。另一方面,在这些场景中,像早期停止这样的简单正则化方法通常可以在干净的测试数据上实现高度非平凡的性能,这是一种理论上无法理解的现象。本文提出并分析了两种简单直观的正则化方法:(i)通过网络参数与初始化之间的距离进行正则化;(ii)在每个训练样本的网络输出中添加一个可训练的辅助变量。从理论上讲,我们证明了这两种方法中的任何一种的梯度下降训练都会导致对干净数据分布的泛化保证,尽管使用噪声标签进行训练。我们的泛化分析依赖于宽神经网络和神经切线核(NTK)之间的连接。泛化界与网络规模无关,并且与没有标签噪声时的界相当。实验结果验证了这些方法在噪声标记数据集上的有效性。
2020-10-02 cs.LG cs.NE stat.ML
Generalization Guarantees for Sparse Kernel Approximation with Entropic Optimal Features
Texas A&M University(得克萨斯农工大学)
尽管核方法取得了成功,但在实践中,它们的计算成本很高。在本文中,在代替常用的内核扩展相对于$N$输入,我们开发了一种新的最优设计内核功能之间的熵最大化。该过程导致相对于熵最优特征(Entropy Optimal Features,EVM)的核扩展,由于特征的不相似性而显著地改善了数据表示。在温和的技术假设下,我们的泛化界限表明,仅使用$O(N^{\frac{1}{4}})$特征(不考虑对数因子),我们可以实现最佳统计准确性(即,$O(1/\sqrt{N})$)。我们的设计的显着特点是它的稀疏性,显着降低了时间和空间成本。我们在基准数据集上的数值实验验证了该方法在核近似方面优于现有的核近似方法。
2020-02-11 cs.LG stat.ML
A priori generalization error for two-layer ReLU neural network through minimum norm solution
我们专注于估计由均方误差训练的双层ReLU神经网络(NN)的\emph{a priori}泛化误差,其仅取决于初始参数和目标函数,通过以下研究路线。首先,我们估计了有限宽度两层ReLU神经网络的\emph{a priori}泛化误差,并通过\cite{zhang2019type}证明了最小范数解的约束是线性化(w.r.t.参数)有限宽度两层神经网络。当宽度变为无穷大时,线性化的NN收敛到神经切线核(NTK)机制\citep{jacot2018neural}中的NN。因此,我们可以推导出NTK机制下双层ReLU NN的\emph{a priori}泛化误差。用\cite{arora2019exact}估计NTK机制中的NN和具有梯度训练的有限宽度NN之间的距离。基于\cite{arora2019exact}中的结果,我们的工作证明了两层ReLU神经网络的\emph{a priori}泛化误差界。该估计使用最小范数解的固有隐式偏差,而不需要损失函数中的额外规则性。这种\emph{a priori}估计还意味着NN不会遭受维数灾难,并且可以在不需要指数级大量神经元的情况下实现小的泛化误差。此外,本文提出的研究路线也可用于研究有限宽度网络的其他性质,如后验泛化误差。
2020-05-07 cs.LG stat.ML
Generalization Guarantees via Algorithm-dependent Rademacher Complexity
University of Amsterdam(阿姆斯特丹大学);University of Melbourne(墨尔本大学);Purdue University(普渡大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本文提出基于算法相关且数据相关的经验Rademacher复杂度来刻画泛化误差,据此得到有限分形维数新界、简化随机梯度下降的维数无关泛化界证明,并恢复VC类与压缩方案的结果。
2023-07-04 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS(法国国家科学研究中心);Institut d Optique Graduate School(高等光学学院);Inria(法国国家信息与自动化研究所);Institut Universitaire de France(法国大学研究院);Universite Claude Bernard Lyon 1(里昂第一大学);Univ Rennes(雷恩大学)
本文提出了一种PAC-Bayesian框架,用于推导公平性的泛化界,适用于随机和确定性分类器,并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
Inria Paris - Ecole Normale Supérieure, PSL Research University(法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院,PSL研究大学);Inria, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃大学);Univ. Lille, Inria, CNRS, Centrale Lille(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心,里尔中央理工学院);Inria, Université Côte d’Azur(法国国家信息与自动化研究所,蔚蓝海岸大学)
本文基于算法稳定性重新分析 D-SGD 的泛化误差,证明其在凸、强凸和非凸设置下均可达到类似经典 SGD 的界,并给出依赖优化过程的改进界,说明通信图在特定情形下反而可能改善泛化。
2024-06-13 cs.LG stat.ML
FeTa: A DCA Pruning Algorithm with Generalization Error Guarantees
LTS2 Laboratory, EPFL(洛桑联邦理工学院LTS2实验室);IDCOM Laboratory, University of Edinburgh(爱丁堡大学IDCOM实验室)
最近的DNN修剪算法成功地减少了全连接层中的参数数量,通常分类精度几乎没有下降。然而,大多数现有的修剪方案要么必须在训练过程中应用,要么在修剪后需要昂贵的再训练过程来恢复分类精度。首先,我们提出了一种基于凸函数(DC)优化差异的全连接DNN层的廉价修剪算法,该算法几乎不需要重新训练。然后,我们提供了一个理论分析的增长泛化误差(GE)的DNN的情况下,有界扰动的隐藏层,权重修剪是一个特殊的情况。我们的修剪方法比竞争方法快几个数量级,而我们的理论分析揭示了DNN修剪中以前观察到的问题。在普通前向神经网络上的实验验证了我们的结果。
2018-03-12 cs.LG cs.NE stat.ML
Supervised Metric Learning with Generalization Guarantees
Laboratoire Hubert Curien(于贝尔·居里安实验室);Universidad de Alicante(阿利坎特大学)
度量在机器学习算法中的至关重要性导致了人们对优化距离和相似性函数的兴趣越来越大,这是一个被称为度量学习的研究领域。当数据由特征向量组成时,大量的工作都集中在学习Mahalanobis距离上。较少的工作致力于从结构化对象(如字符串或树)中进行度量学习,大部分集中在优化编辑距离的概念上。我们确定了当前度量学习方法的两个重要局限性。首先,它们可以提高局部算法(如k-最近邻)的性能,但到目前为止还没有研究全局算法(如线性分类器)的度量学习。其次,度量学习方法的泛化能力问题在很大程度上被忽视了。在这篇论文中,我们提出了理论和算法的贡献,解决这些限制。我们的第一个贡献是推导出一个新的核函数,该函数是从学习的编辑概率中构建的。我们的第二个贡献是一个新的框架,学习字符串和树编辑相似性的启发,最近的理论(例如,g,t)-良好的相似性函数。使用统一的稳定性参数,我们建立了理论上的保证学习的相似性,给出了一个界限的泛化误差的线性分类器,从该相似性。在我们的第三个贡献中,我们将这些想法扩展到特征向量的度量学习,提出了一种双线性相似性学习方法,有效地优化了(e,g,t)-goodness。泛化保证我们的方法,强调我们的方法最大限度地减少了分类器的泛化误差的更严格的限制。我们的最后一个贡献是一个框架,建立一个大类现有的度量学习算法的基础上的算法鲁棒性的概念的泛化界限。
2013-07-23 cs.AI cs.LG stat.ML
Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
针对ReLU网络中缩放不变性导致不同权重分布对应相同函数但PAC-Bayes复杂度差异大的问题,提出在不变提升表示中研究PAC-Bayes界,并探讨其相关保证与算法问题。
2025-09-30 cs.LG stat.ML
Robust Fine-Tuning of Deep Neural Networks with Hessian-based Generalization Guarantees
Northeastern University(东北大学)
本文通过PAC-Bayesian分析提出基于Hessian的距离度量,用于刻画深度神经网络微调的泛化差距,并给出理论泛化界及针对标签噪声的鲁棒微调算法,实验验证了其有效性。
2023-12-22 cs.CV cs.LG math.ST
How much data is sufficient to learn high-performing algorithms? Generalization guarantees for data-driven algorithm design
Carnegie Mellon University(卡内基梅隆大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);University of Pennsylvania(宾夕法尼亚大学);Ocean Genomics, Inc.(海洋基因组学公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司);Strategy Robot, Inc.(战略机器人公司)
算法通常具有可调参数,这些参数会影响性能指标,例如运行时和解决方案质量。对于实际使用的许多算法,没有参数设置允许有意义的最坏情况界限,因此参数可供用户调整。或者,参数可以在最坏情况近似比或运行时界限的证明内隐式地调整。然而,最坏的情况在实践中可能很少或根本不存在。越来越多的研究表明,数据驱动的算法设计可以显著提高性能。这种方法使用从未知的、特定于应用程序的分布中采样的问题实例训练集,并返回在训练集中具有较强平均性能的参数设置。我们提供了一个广泛适用的理论推导泛化保证,约束算法的平均性能之间的差异,在训练集和其预期的性能。无论参数如何调整,无论是通过自动化还是手动方法,我们的结果都适用。挑战在于,对于许多类型的算法,性能是参数的不稳定函数:稍微扰动参数可能会导致行为发生很大变化。先前的研究已经证明了推广的界限,采用逐案分析的贪心算法,聚类算法,整数规划算法,和销售机制。我们发现了一个统一的结构,我们用来证明非常普遍的保证,但我们恢复的界限从以前的研究。我们的保证适用于算法的性能是一个分段常数,线性,或-更一般的-分段结构的功能,其参数。我们的理论也暗示了新的边界投票机制和动态规划算法从计算生物学。
2021-04-25 cs.LG stat.ML
Generalization Bounds for Meta-Learning via PAC-Bayes and Uniform Stability
Princeton University(普林斯顿大学)
我们的动机是在元学习的背景下提供强泛化保证的问题。现有的泛化界限要么是具有挑战性的评估或提供空洞的保证,即使在相对简单的设置。我们推导出一个可能近似正确(PAC)的范围为基于梯度的元学习使用两种不同的泛化框架,以处理定性不同的挑战,在“基地”和“Meta”水平的泛化。我们采用统一稳定的算法在基础水平和PAC贝叶斯框架在Meta水平的界限。这种方法的结果是一种新的PAC界限,当基本学习者快速适应时,这种界限会更紧,这正是元学习的目标。我们表明,我们的界提供了一个更严格的保证比其他的单位球上的玩具非凸问题和基于文本的分类例子的界限。我们还提出了一个实际的正则化方案的动机在设置的边界是松散的,并证明了改进的性能基线技术。
2021-10-26 cs.AI cs.LG stat.ML
Minimax Classification with 0-1 Loss and Performance Guarantees
BCAM-Basque Center of Applied Mathematics(巴斯克应用数学中心);IKERBASQUE-Basque Foundation for Science(巴斯克科学基金会);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
监督分类技术使用训练样本来寻找具有较小预期0-1损失的分类规则。传统的方法实现有效的学习和样本外的推广,通过最小化代理损失超过特定的家庭的规则。本文提出了极小极大风险分类器(MRC),不依赖于选择的替代损失和家庭的规则。MRC通过最小化最坏情况下的预期0-1损失w.r.t.由线性约束定义的不确定性集,包括真实的底层分布。此外,MRC的学习阶段提供了性能保证,作为预期0-1损失的上下限。我们还提出了MRC的有限样本泛化界的训练规模和最小的极小极大风险,并显示其竞争力的分类性能w.r.t.使用基准数据集的最新技术。
2020-10-15 cs.LG stat.ML
Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks
University of California, Los Angeles(加州大学洛杉矶分校)
残差网络中使用的跳过连接已经成为深度学习中的标准架构选择,因为这种架构提高了训练稳定性和泛化性能,尽管对这种改进的理论理解有限。在这项工作中,我们分析了随机初始化后通过梯度下降训练的过参数化深度残差网络,并证明了(i)通过梯度下降学习的网络类构成了整个神经网络函数类的一个小子集,(ii)这个网络子类足够大,可以保证小的训练误差。通过展示(i),我们能够证明用梯度下降训练的深度残差网络在训练和测试误差之间有一个小的泛化差距,并且(ii)这保证了测试误差很小。我们的优化和泛化保证需要在网络深度上仅为对数的overparameterization,而所有已知的深度非残差网络的泛化边界都具有在深度上至少为多项式的overparameterization要求。这就解释了为什么残差网络比非残差网络更可取。
2019-10-07 cs.LG math.OC stat.ML
Quantifying Multimodal Capabilities: Formal Generalization Guarantees in Pairwise Metric Learning
College of Informatics, Huazhong Agricultural Univeristy, Wuhan, China
本文通过理论分析多模态度量学习模型的泛化性质,揭示模态选择与算法性能的关系,推导新的泛化误差界,证明细粒度模态特征能降低假设空间复杂度,提升多模态学习系统的收敛速度和精度。
2026-05-02 cs.AI cs.LG
Grokking through the Lens of Minimum-Norm Interpolation
ETH Zürich(苏黎世联邦理工学院);Institute of Science and Technology Austria(奥地利科学技术研究所);Harvard University(哈佛大学)
本文提出统计理论,揭示正则化几何与信号稀疏性如何控制插值附近的泛化,证明零一律并刻画泛化增益,实验验证了理论预测,并发现最小范数插值的统计不稳定性。
2026-10-01 cs.LG math.ST stat.ML
Generalization Error Bounds for Learning under Censored Feedback
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究院);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文将DKW不等式扩展到审查反馈导致的非独立同分布数据,给出分类器泛化误差新界,并分析探索技术对误差界的改善,揭示泛化保证与数据收集成本间的权衡。
2025-04-10 cs.LG stat.ML
Theoretical Guarantees of Transfer Learning
Carnegie Mellon University(卡内基梅隆大学)
迁移学习已被证明是有效的,当目标内标记的数据是稀缺的。许多工作已经开发出成功的算法和经验观察到的正传递效应,改善目标泛化误差使用源知识。然而,由于问题的性质,迁移学习的理论分析更具挑战性,因此研究较少。在这份报告中,我们做了一个调查的理论工作,迁移学习和总结的关键理论保证,证明迁移学习的有效性。利用模型复杂度和学习算法稳定性推导出理论界。正如我们应该看到的,这些工作表现出了紧边界和限制性假设之间的权衡。此外,我们还证明了一个新的推广界的多源迁移学习问题使用VC理论,这是一个更丰富的信息比以前的工作证明。
2018-11-24 cs.LG stat.ML
Stability and Generalization of Graph Convolutional Neural Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
受一维和二维数据上的卷积神经网络的启发,图卷积神经网络(GCNN)已经被开发用于图数据上的各种学习任务,并且在现实世界的数据集上显示出优越的性能。尽管他们取得了成功,但缺乏对GCNN模型的理论探索,例如它们的泛化特性。在本文中,我们通过分析单层GCNN模型的稳定性并在半监督图学习环境中推导其泛化保证,迈出了对GCNN模型更深入的理论理解的第一步。特别是,我们证明了GCNN模型的算法稳定性取决于其图卷积滤波器的最大绝对特征值。此外,为了确保提供强泛化保证所需的一致稳定性,最大绝对特征值必须与图的大小无关。我们的研究结果为设计新的和改进的图卷积滤波器提供了新的见解,并保证了算法的稳定性。我们评估了各种真实世界图数据集的泛化差距和稳定性,并表明实证结果确实支持我们的理论研究结果。据我们所知,我们是第一个在半监督环境中研究图学习的稳定性界限并推导出GCNN模型的泛化界限的人。
2019-05-14 cs.AI cs.LG stat.ML
Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees
Department of Computer Science, University of Brasilia(巴西布拉兹利亚大学计算机科学系)
本文研究了大型语言模型中低秩知识蒸馏的理论基础,推导了收敛率、泛化界限及信息论分析,提出最优秩选择原则,并通过实验验证理论结果。
2026-03-22 cs.CL cs.LG stat.ML
Minimum weight norm models do not always generalize well for over-parameterized problems
这项工作被arXiv:2011.14066中的论文取代。随机梯度下降是训练深度神经网络(DNN)的事实上的算法。尽管它很受欢迎,但它仍然需要微调才能实现最佳性能。这导致了自适应方法的发展,声称自动超参数优化。最近,研究人员通过玩具例子研究了这两种算法类:例如,对于过参数化线性回归,Wilson et.(2017)表明,虽然SGD总是收敛到最小范数解,但自适应方法没有这种倾向,导致泛化能力较差。我们的目的是进一步研究这个猜想。我们的经验表明,最小的权重范数不一定是正确的衡量标准,良好的推广,在简化的神经网络,和不同的模型发现,自适应方法可以优于平原梯度方法。在实际的DNN设置中,我们观察到自适应方法可以优于SGD,具有更大的权重范数输出模型,但不一定减少所需的调整量。
2020-12-01 cs.LG stat.ML
Dimension Free Generalization Bounds for Non Linear Metric Learning
Technion, Israel Institute of Technology(以色列理工学院)
在这项工作中,我们研究的度量学习问题,其中的度量是由一个神经网络型嵌入的数据诱导的泛化保证。具体来说,我们提供了两个制度-稀疏制度,和一个非稀疏制度,我们的术语\emph{bounded amplification}统一的泛化界限。稀疏状态界限对应于参数的$\ell_1$型范数较小的情况。与分类中的情况类似,满足这样的界限的解可以通过问题的适当正则化来获得。另一方面,度量学习损失的非正则化SGD优化通常不会产生稀疏解。我们表明,尽管缺乏这种稀疏性,依靠不同的,新的属性的解决方案,它仍然是可能的,以提供无维泛化保证。因此,这些界限可以解释在非稀疏的真实实验情况下的泛化。我们说明了MNIST和20新闻组数据集上的研究现象。
2021-02-07 cs.LG math.ST stat.ML
Interpolation Learning With Minimum Description Length
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们证明了最小描述长度学习规则具有回火过拟合。我们得到了回火不可知的有限样本学习保证和随机标签噪声存在下的渐近行为的特征。
2023-02-14 cs.DS cs.IT cs.LG
A Performance Guarantee for Spectral Clustering
University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of California Davis(加利福尼亚大学戴维斯分校);University of California at Davis(加利福尼亚大学戴维斯分校)
两步谱聚类方法是一种广泛使用的图划分方法,它由Laplacian特征映射和舍入步骤组成。它可以被看作是对NP难最小比率切割问题的一种自然松弛。在本文中,我们研究的中心问题:当是谱聚类能够找到全球解决方案的最小比率削减问题?首先,我们提供了一个条件,自然取决于一个给定的分区的集群内和集群间的连通性,我们可以证明,这个分区是最小比率削减问题的解决方案。然后,我们开发了一个确定的2到无穷大范数扰动界的不变子空间的图拉普拉斯对应的$k$最小特征值。最后结合这两个结果,给出了保证谱聚类输出最小比割问题全局解的条件,作为谱聚类性能的保证。
2020-07-10 cs.LG stat.ML
Exact Generalization Guarantees for (Regularized) Wasserstein Distributionally Robust Models
Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院)
针对现有Wasserstein分布鲁棒估计器泛化保证存在维度灾难、适用场景受限等问题,证明其泛化保证适用于通用模型、无维度灾难且可覆盖测试分布偏移,并可推广至正则化版本。
2023-11-06 cs.LG stat.ML
Universal generalization guarantees for Wasserstein distributionally robust models
本文针对Wasserstein分布鲁棒优化模型,建立了精确的泛化保证,适用于任意传输代价和参数化损失函数(包括非光滑激活的深度学习目标),并提供了超额界及熵正则化扩展。
2025-01-27 math.OC stat.ML
Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing
University of Southern California(南加州大学);KU Eichstätt-Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学)
本文研究过参数化非对称低秩矩阵感知问题,证明分解梯度下降通过轨迹耦合和算法正则化这两个隐式特性,从小随机初始化出发能收敛至全局最优且泛化良好的解。
2023-06-30 cs.IT cs.LG math.IT
Improving Generalization of Deep Neural Networks by Leveraging Margin Distribution
Nanjing University(南京大学)
针对现有DNN泛化分析多基于最小间隔、忽略整体间隔分布信息的问题,本文证明了由全间隔分布统计量主导的泛化上界,提出间隔标准差与期望间隔的比值这一关键复杂度度量,通过凸间隔分布损失优化该比值,实验验证了方法有效性及泛化间隙与该比值的相关性。
2022-03-29 cs.LG stat.ML
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside(加州大学河滨分校)
在这项工作中,我们提出了一个框架来学习反馈控制政策,保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的,包含在状态控制输入对的数据集中,而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略,其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是,我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界(对抗性)的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析,并证明了我们的鲁棒反馈策略学习框架的有效性。最后,我们的研究结果表明,标称闭环性能和对抗性鲁棒性之间存在潜在的权衡,并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
University of Copenhagen(哥本哈根大学)
本文研究概率神经网络中的冷后验效应,提出一种具有紧泛化保证的学习冷后验的新方法,通过温度调整平衡似然与先验以提升预测性能。
2024-10-20 cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology(以色列理工学院)
在贝叶斯强化学习(RL)设置中,假设未知问题参数(奖励和转换)的先验分布,并寻求优化(后验)预期回报的策略。一个常见的近似,最近已被推广为元RL,是训练代理上的样本$N$问题的实例,从以前的,希望对于足够大的$N$,良好的泛化行为,一个看不见的测试实例将获得。在这项工作中,我们研究推广贝叶斯RL下的可能近似正确(PAC)的框架,使用算法稳定性的方法。我们的主要贡献是通过增加正则化,最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL,因为马尔可夫决策过程(MDP)不是凸的。相反,建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度,我们表明,正则化MDPs满足一定的二次增长标准,这是足以建立稳定性。这个结果,这可能是独立的利益,使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Deep Autoencoders: From Understanding to Generalization Guarantees
Rice University(莱斯大学)
深度学习中的一个大谜团仍然是当模型参数的数量大于训练样本的数量时,方法的泛化能力。在这项工作中,我们朝着更好地理解深度自动编码器(AE)的底层现象迈出了一步,这是一种主流的深度学习解决方案,用于学习压缩的,可解释的和结构化的数据表示。特别是,我们解释如何AE近似的数据流形,利用其连续的分段仿射结构。我们重新制定的AE提供了新的见解,他们的映射,重建保证,以及常用的正则化技术的解释。我们利用这些发现来推导两个新的正则化,使AE能够捕获数据中固有的对称性。我们的正则化利用了变换学习组的最新进展,使AE能够更好地近似数据流形,而无需显式定义流形背后的组。在数据的对称性可以用李群来解释的假设下,我们证明了正则化确保了相应AE的推广。一系列的实验评估表明,我们的方法优于其他国家的最先进的正则化技术。
2021-11-24 cs.LG math.GR stat.ML
On Provable Length and Compositional Generalization
FAIR (Meta)(FAIR(Meta));EPFL and Mila-Quebec AI Institute(EPFL和Mila-Quebec人工智能研究所)
本文首次为Deep Sets、Transformers等常见序列到序列模型提供了长度泛化与组合泛化的可证明保证,证明在训练分布足够多样时其有限容量版本可实现双重泛化,并发现思维链监督能促使更高容量模型实现长度泛化。
2025-05-28 cs.CL cs.LG stat.ML
Self-Training of Halfspaces with Generalization Guarantees under Massart Mislabeling Noise Model
Computer Science Laboratory (LIG)(计算机科学实验室(LIG));Department of Statistics (LJK)(统计系(LJK));Departement of Physics (SIMaP)(物理系(SIMaP));University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
研究了半空间自训练算法的推广性质。该方法从标记和未标记的训练数据中迭代学习半空间列表,其中每次迭代包括两个步骤:探索和修剪。在探索阶段,通过最大化未标记示例中的未标记边缘,然后将伪标签分配给距离高于当前阈值的那些示例,依次找到半空间。然后将伪标记的示例添加到训练集,并学习新的分类器。重复该过程,直到没有更多的未标记的示例用于伪标记。在修剪阶段中,然后丢弃到最后半空间的距离大于相关联的无符号余量的伪标记样本。我们证明了所得到的分类器序列的误分类误差是有界的,并表明所得到的半监督方法永远不会降低性能相比,只使用初始标记的训练集学习的分类器。在各种基准上进行的实验表明,所提出的方法相比,国家的最先进的方法的效率。
2022-02-15 cs.LG stat.ML
Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
现代神经网络架构通常具有很好的泛化能力,尽管包含的参数比训练数据集的大小要多得多。本文探讨了通过梯度下降训练的神经网络的泛化能力。我们开发了一个依赖于数据的优化和推广理论,它利用了与网络相关的雅可比矩阵的低秩结构。我们的研究结果有助于揭开为什么训练和泛化在干净和结构化的数据集上更容易,在嘈杂和非结构化的数据集上更难,以及网络大小如何影响训练的演变和训练过程中的测试错误。具体来说,我们使用一个控制旋钮分裂的雅可比谱到“信息”和“滋扰”空间与大,小奇异值。我们表明,在信息空间学习是快速的,可以快速训练一个模型,零训练损失,也可以推广。在干扰空间上,训练速度较慢,提前停止可以帮助泛化,但会带来一些偏差。我们还表明,网络的整体泛化能力是由标签向量与信息空间对齐的程度控制的。我们的结果的一个关键特征是,即使是恒定宽度的神经网络也可以证明推广到足够好的数据集。我们在深度网络上进行了各种数值实验,证实了我们的理论发现,并证明:(i)典型的神经网络的雅可比矩阵表现出低秩结构,具有一些大的奇异值和许多小的奇异值,导致低维信息空间,(ii)在信息空间上学习是快速的,并且大部分标签向量落在该空间上,以及(iii)标签噪声落在滋扰空间上并阻碍优化/泛化。
2019-07-04 cs.LG math.OC stat.ML
Learning to Optimize Computational Resources: Frugal Training with Generalization Guarantees
Carnegie Mellon University(卡内基梅隆大学);Optimized Markets, Inc.(Optimized Markets公司);Strategic Machine, Inc.(Strategic Machine公司);Strategy Robot, Inc.(Strategy Robot公司)
算法通常带有可调参数,这些参数对它们消耗的计算资源有相当大的影响。很多时候,从业者必须手动调整参数,这是一项乏味且容易出错的任务。最近的一系列研究提供了从有限集内返回接近最优参数的算法。当参数空间是无限的时,通过提供参数的随机样本作为输入,可以使用这些算法。然而,这种与数据无关的离散化可能会错过接近最佳参数的口袋:先前的研究已经提出了唯一可行的参数位于任意小区域内的场景。我们提供了一个算法,学习有限的一组有前途的参数从一个无限的集合。我们的算法可以帮助编译配置组合,或者它可以用来选择输入到配置算法的有限参数空间。我们的方法适用于任何配置问题,满足一个简单而无处不在的结构:算法的性能是其参数的分段常数函数。先前的研究已经在从整数规划到聚类的领域中展示了这种结构。
2020-11-21 cs.AI cs.LG stat.ML
An Information-Theoretic Approach to Generalization Theory
KTH Royal Institute of Technology(皇家理工学院)
本研究基于信息论界限分析机器学习算法的分布内泛化,提出了结合Wasserstein距离的期望保证和更紧的PAC-Bayesian保证,并探讨了隐私与泛化的关系。
2024-08-20 cs.LG stat.ML
Generalization for Adaptively-chosen Estimators via Stable Median
IBM Research – Almaden(IBM研究院 – 阿尔马登)
数据集经常被重复使用,以自适应的方式执行多个统计分析,其中每个分析可能取决于同一数据集上先前分析的结果。标准的统计保证不考虑这些依赖性,并且对于如何在自适应设置中可证明地避免过拟合和错误发现知之甚少。我们考虑这个问题的自然形式化,其中目标是设计一个算法,给定有限数量的i.i.d.~来自未知分布的样本可以回答关于该分布的自适应选择的查询。我们提出了一种算法,估计$k$任意自适应选择的实值估计的期望值使用的样本数,规模为$\sqrt{k}$。我们的算法给出的答案基本上是准确的,如果新鲜的样本被用来评估每个估计。相比之下,以前的工作产生的误差保证规模与最坏的大小写敏感的每个估计。我们还给出了一个版本的算法,可用于验证这样的查询的答案,样本的复杂性依赖于querymically查询的数量$k$(在可重用的保持技术)。我们的算法是基于一个简单的近似中值算法,满足强稳定性保证的差分隐私。我们的技术提供了一种新的方法来分析差分隐私算法的泛化保证。
2017-06-15 cs.DS cs.LG stat.ML
Combining Online Learning Guarantees
Google(谷歌公司)
我们展示了如何采取任何两个无参数的在线学习算法与不同的遗憾保证,并获得一个单一的算法,其遗憾是最小的两个基本算法。我们的方法非常简单:只需添加迭代。这个技巧可以生成同时适应许多范数的高效算法,以及提供仍然保持无量纲保证的对角风格算法。然后,我们继续展示如何在这个想法的一个变种产生一个黑盒程序生成乐观的在线学习算法。这产生了第一个乐观的遗憾保证在无约束的设置和一般增加适应性。此外,我们的乐观算法保证不差于他们的非乐观同行,无论提供给算法的乐观估计的质量。
2019-02-24 cs.LG math.OC stat.ML
Theoretical Guarantees of Learning Ensembling Strategies with Applications to Time Series Forecasting
AWS AI Labs(AWS人工智能实验室)
本文提出了一种在时间序列预测中应用的集成学习方法,通过理论分析证明其在堆叠泛化中的有效性,并通过实验验证了其性能优势。
2025-12-16 cs.LG math.ST stat.ML