Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
ANU College of Engineering, Computing and Cybernetics(澳大利亚国立大学工程、计算与控制学院)
本文通过实证研究发现grokking现象不仅存在于神经网络中,也出现在高斯过程、线性回归和贝叶斯神经网络等模型中,并提出了通过添加虚假信息维度诱导grokking的机制,表明该现象可能普遍存在于由复杂度和误差引导解搜索的模型中。
2024-04-01 cs.LG stat.ML
Pair Correlation Factor and the Sample Complexity of Gaussian Mixtures
Farzad Aryan
本文提出配对相关因子(PCF)作为更准确衡量高斯混合模型样本复杂度的几何量,并给出均匀球形情形下改进样本复杂度界限的算法。
2025-08-05 cs.LG stat.ML
SGD learning on neural networks: leap complexity and saddle-to-saddle dynamics
EPFL(洛桑联邦理工学院);MIT(麻省理工学院);Stanford University(斯坦福大学)
本文提出跳跃复杂度度量,证明两层神经网络在SGD下学习低维支撑函数的复杂度为~Θ(d^{max(Leap,2)}),并揭示鞍点至鞍点动力学,超越先前工作并匹配CSQ下界。
2023-08-31 cs.LG stat.ML
Size-Independent Sample Complexity of Neural Networks
Harvard University(哈佛大学);MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院)
我们研究学习神经网络的样本复杂性,通过提供新的界限,其Rademacher复杂性假设范数约束的参数矩阵的每一层。与以前的工作相比,这些复杂性边界对网络深度的依赖性有所改善,并且在一些额外的假设下,完全独立于网络大小(深度和宽度)。这些结果是使用一些新的技术,这可能是独立的利益。
2019-11-17 cs.LG cs.NE stat.ML
On Size-Independent Sample Complexity of ReLU Networks
Harvard Statistics(哈佛大学统计系)
本文研究ReLU神经网络的样本复杂度,提出一种改进的Rademacher复杂度界,消除了深度平方根因子,实现与网络规模无关且无显式深度依赖的泛化保证。
2024-02-04 cs.LG stat.ML
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学);Facebook AI Research & Courant Institute(脸书人工智能研究和库朗研究所)
尽管现有的工作,以确保推广的神经网络的规模敏感的复杂性措施,如规范,利润和锐度,这些复杂性措施没有提供一个解释,为什么神经网络更好地推广过参数化。在这项工作中,我们提出了一种新的基于单位容量的复杂性度量,从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关,随着网络规模的增加,并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界,该下界比之前的神经网络容量下界有所改进。
2018-05-30 cs.LG stat.ML
The Sample Complexity of Learning Linear Predictors with the Squared Loss
Weizmann Institute of Science(魏茨曼科学研究学院)
在这个简短的说明中,我们提供了一个学习线性预测器的样本复杂度下限。我们的重点是一个不可知的设置,其中没有对数据分布的假设。这与文献中的标准结果形成对比,文献中的标准结果要么进行分布假设,要么参考特定的参数设置,要么使用其他性能指标。
2021-11-21 cs.LG stat.ML
On the Sample Complexity of Learning Bayesian Networks
Stanford University(斯坦福大学)
近年来,人们对从数据中学习贝叶斯网络的兴趣越来越大。学习这种网络的最有效方法之一是基于最小描述长度(MDL)原则。以前的工作已经表明,这种学习过程是渐进成功的:概率为1,它将收敛到目标分布,给定足够数量的样本。然而,这种趋同的速度迄今为止是未知的。在这项工作中,我们将研究基于MDL的贝叶斯网络学习过程的样本复杂性。我们证明了学习具有置信度delta的ε-接近近似(根据熵距离)所需的样本数为O((1/delta)^(4/3)log(1/delta)log(1/delta)loglog(1/delta))。这意味着样本复杂度在误差阈值中是低阶多项式,在置信区间中是次线性的。我们还讨论了如何常数在这一项取决于目标分布的复杂性。最后,我们解决问题的渐近极小,并提出了一种方法,使用样本的复杂性结果,以加快学习过程。
2013-02-13 cs.LG stat.ML
Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation
Stanford University(斯坦福大学)
现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制,并且通过矩阵范数的乘积指数地依赖于深度。下限表明,当不考虑训练数据的附加属性时,这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实,即这些界限只通过余量依赖于训练数据。在实践中,许多数据相关的技术,如Batchnorm,提高了泛化性能。对于前馈神经网络和RNN,我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限:网络隐藏层的范数,以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时,我们的边界在深度上是多项式的,这在实践中通常是这样的。为了获得这些界限,我们开发了一般的工具,用于增强一系列的功能,使其组成Lipschitz,然后覆盖增广功能。受我们理论的启发,我们在训练过程中直接正则化网络的雅可比矩阵,并实证证明这提高了测试性能。
2020-04-10 cs.LG stat.ML
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech(佐治亚理工学院)
我们提出了一个简单的,通用的技术,用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术,给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度,从而大大提高了以前的界限。分析是基于随机多项式的属性,即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用,包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.(京东探索研究院);Faculty of Science, University of Hong Kong(香港大学理学院)
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而,很少有工作集中在CVNN的推广,虽然它是至关重要的,以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例,而谱复杂度的主导因素是权矩阵的谱范数积。此外,当训练数据是连续的时,我们的工作提供了CVNN的推广界,这也受到谱复杂度的影响。理论上,这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲,我们通过在不同的数据集上训练复值卷积神经网络来进行实验:MNIST,FashionMNIST,CIFAR-10,CIFAR-100,Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据,即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
Nearly Instance Optimal Sample Complexity Bounds for Top-k Arm Selection
Tsinghua University(清华大学)
在最佳- $k$ -手臂问题中,我们给出了$n$随机强盗手臂,每个手臂与一个未知的奖励分布相关联。我们需要通过尽可能少的样本来识别具有最大平均值的$k$组。在本文中,我们取得了进展的最佳$k$ -手臂问题的实例样本复杂性界限的一个完整的表征。在下界方面,我们获得了一个新的复杂度项来度量每个Best- $k$ -Arm实例所需的样本复杂度。这是由最佳$1$ -手臂问题的一个有趣的和非平凡的减少。我们还提供了一个消除为基础的算法,匹配双对数因子内的实例下限。我们的算法的样本复杂度严格控制最佳- $k$ -臂(模块常数因子)的最新技术水平。
2017-02-13 cs.DS cs.LG stat.ML
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们设计了一个低复杂度的分散学习算法,训练最近提出的大型神经网络中的分布式处理节点(工人)。我们假设工人之间的通信网络是同步的,可以建模为一个双随机混合矩阵,没有任何主节点。在我们的设置中,训练数据分布在工人之间,但由于隐私和安全问题,在训练过程中不共享。使用交替方向乘法器(ADMM)以及分层凸优化方法,我们提出了一个分散的学习算法,具有较低的计算复杂性和工人之间的通信成本。我们表明,它是可能实现等效的学习性能,如果数据是在一个单一的地方。最后,我们通过实验验证了算法的时间复杂度和收敛性。
2020-09-29 cs.DC cs.LG stat.ML
Sample Complexity and Overparameterization Bounds for Temporal Difference Learning with Neural Network Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院);c3.ai Digital Transformation Institute(c3.ai数字化转型研究院)
在本文中,我们研究了动态的时间差学习与神经网络为基础的价值函数逼近一般状态空间,即\emph{Neural TD learning}。我们考虑两个实际使用的算法,投影自由和最大范数正则化神经TD学习,并建立这些算法的第一收敛界。从我们的结果中一个有趣的观察是,最大范数正则化可以显着提高TD学习算法的性能,无论是在样本复杂度和overparameterization。特别是,我们证明了最大范数正则化提高了最先进的样本复杂性和overparameterization界限。在这项工作中的结果依赖于一个新的李雅普诺夫漂移分析的网络参数作为一个停止和控制的随机过程。
2021-08-06 cs.AI cs.LG math.OC
Controlling Model Complexity in Probabilistic Model-Based Dynamic Optimization of Neural Network Structures
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
在单个训练循环中同时优化神经网络结构和连接权值的方法可以减少神经结构搜索的巨大计算成本。研究了基于概率模型的动态神经网络结构优化方法,该方法考虑了网络结构参数的概率分布,并基于梯度法同时优化了网络的分布参数和连接权值。由于现有算法只搜索最小化训练损失的结构,因此该方法可能会发现过于复杂的结构。在本文中,我们提出了一个惩罚项的引入,以控制模型的复杂性得到的结构。我们制定了一个惩罚项使用的重量或单位的数量,并推导出其分析自然梯度。该方法基于随机梯度下降算法,使目标函数最小化并注入惩罚项。我们将所提出的方法应用于全连接神经网络的单元选择和卷积神经网络的连接选择。实验结果表明,该方法可以在保持性能的同时控制模型复杂度。
2019-07-15 cs.LG cs.NE stat.ML
A note on sample complexity of learning binary output neural networks under fixed input distributions
University of Ottawa(渥太华大学)
我们证明了Sontag(1992)构造的S形神经网络的学习样本复杂度在固定的纯原子分布下达到给定的误分类错误所需的复杂度可以任意快速地增长:对于任何指定的增长率,都存在一个以该增长率为样本复杂度的输入分布,并且该边界是渐近紧的。率可以是超指数,非递归函数等,我们进一步观察到,桑塔格的人工神经网络是不是Glivenko-Cantelli下的任何输入分布具有非原子部分。
2010-07-08 cs.LG
Adversarial VC-dimension and Sample Complexity of Neural Networks
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在神经网络测试阶段的对抗攻击对安全关键设置中的神经网络的部署构成了挑战。这些攻击可以通过在原始数据上添加人类无法感知的噪声来执行。通过这样做,攻击者可以创建一个对抗性样本,这将导致神经网络错误分类。在本文中,我们试图了解神经网络在对手存在的情况下可以学习的理论限制。首先定义了神经网络的假设空间,并给出了整个神经网络的增长数与每个神经元的增长数之间的关系。结合半空间分类器的对抗VC维,我们得到了具有符号激活函数的神经网络的对抗VC维。
2019-12-18 cs.LG math.ST stat.ML
Sample Complexity Bounds for Linear System Identification from a Finite Set
University of Stuttgart(斯图加特大学)
针对从有限候选集合中利用轨迹数据辨识 LTI 系统的问题,本文基于最大似然估计给出无需稳定性假设的样本复杂度上界,并利用信息论给出估计器无关的下界,且进行了解析与数值分析。
2024-12-02 cs.LG cs.SY eess.SY
Decidability of Sample Complexity of PAC Learning in finite setting
NYU Abu Dhabi(纽约大学阿布扎比)
在这个简短的说明中,我们观察到,PAC机器学习的各种概念,包括学习的最大值(EMX)的样本复杂度,可以准确地确定时,支持的概率措施被视为模型满足先验界。这一结果与最近发现的ZFC内的EMX的不可判定性支持的概率(没有先验界)。不幸的是,目前的决策过程,至少是双指数的点的数量乘以统一的支持大小的限制。
2020-02-26 cs.LG cs.LO stat.ML
Sample complexity of learning Mahalanobis distance metrics
Janelia Research Campus(珍妮莉亚研究园区);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
度量学习寻求特征空间的转换,以提高手头给定任务的预测质量。在这项工作中,我们为监督度量学习提供了PAC风格的样本复杂度。我们给出匹配的下限和上限表明,样本的复杂性尺度与表示维度时,没有假设的基础数据分布。然而,通过利用数据分布的结构,我们可以实现针对给定数据集的内在复杂性的特定概念进行微调的速率。我们的分析表明,使用简单的基于范数的正则化来增强度量学习优化标准可以帮助适应数据集的内在复杂性,从而产生更好的泛化。在基准数据集上的实验验证了我们的分析,并表明即使数据包含大量噪声,正则化度量也可以帮助识别信号。
2015-05-11 cs.AI cs.LG stat.ML
Learned Random Label Predictions as a Neural Network Complexity Metric
University of Münster(明斯特大学)
该研究通过引入可遗忘随机标签的多头CNN架构,将学习随机标签预测用作复杂度度量分析正则化效果、挑战传统CNN认知,并提出新型正则器减少样本记忆,为神经网络复杂度研究提供新方法。
2024-11-29 cs.LG
The Sample Complexity of Uniform Approximation for Multi-Dimensional CDFs and Fixed-Price Mechanisms
Politecnico di Milano(米兰理工学院)
研究在仅有一比特反馈限制下学习多维累积分布函数均匀近似样本复杂性,提出近维度不变结果及小市场固定价格机制学习的紧样本复杂性界和新遗憾界。
2026-05-11 cs.LG
The Sample Complexity of Distribution-Free Parity Learning in the Robust Shuffle Model
Georgetown University(乔治城大学)
在差分隐私的洗牌模型中,我们给出了可实现的情况下无分布奇偶学习的样本复杂度的下界。也就是说,我们证明了学习$d$位奇偶校验函数的样本复杂度为$Ω(2^{d/2})$ .我们的结果扩展了最近的一个类似的下界的私人不可知学习奇偶函数的洗牌模型的样本复杂性的Cheu和Ullman。我们还勾画了一个简单的洗牌模型协议,证明我们的结果是紧到$poly(d)$因素。
2021-03-29 cs.CR cs.LG
Exponential Reduction in Sample Complexity with Learning of Ising Model Dynamics
Massachusetts Institute of Technology(麻省理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
用于学习图形模型的结构和参数的通常设置假设从相应的多元概率分布产生的独立样本的可用性。然而,对于许多模型,各个马尔可夫链的混合时间可以非常大,并且独立同分布。可能无法获得样品。我们研究的问题,重建二进制图形模型的相关样本产生的动态过程,这是自然的,在许多应用中。我们分析了两个估计的样本复杂性,这是基于相互作用的筛选目标和条件似然损失。我们观察到,对于来自远离平衡的动态过程的样本,与快速混合的动态过程相比,样本复杂性呈指数级降低。
2021-06-14 cond-mat.stat-mech cs.LG physics.data-an
A Sample Complexity Measure with Applications to Learning Optimal Auctions
Microsoft Research(微软研究院)
我们引入了一个新的样本复杂性度量,我们称之为分裂样本增长率。对于任何假设$H$和大小为$m$的任何样本$S$,拆分样本增长率$\hatτ_H(m)$计算有多少不同的假设可以在大小为$m/2$的$S$的任何子样本上经验风险最小化输出。我们证明了期望泛化误差的上界是由$O\left(\sqrt{\frac{\log(\hatτ_H(2m))}{m}}\right)$。我们的结果是通过加强Rademacher复杂性分析的预期泛化误差。我们表明,这种样本复杂性的措施,大大简化了分析的样本复杂性的最优拍卖设计,在许多拍卖类研究的文献。它们的样本复杂度可以通过注意到在这些拍卖类中,任何样本或子样本上的ERM将选择等于样本中的一个点的参数来得出。
2017-04-11 cs.GT cs.LG math.ST
On the Sample Complexity of End-to-end Training vs. Semantic Abstraction Training
Mobileye(Mobileye公司)
我们将端到端的训练方法与模块化方法进行比较,在模块化方法中,系统被分解为语义上有意义的组件。我们专注于样本复杂性方面,在需要极高精度的情况下,如自动驾驶应用中的情况。我们演示的情况下,所需的端到端的方法的训练样本的数量是指数大于所需的语义抽象方法的例子的数量。
2016-04-23 cs.LG
Do Neural Networks Really Beat the Curse of Dimensionality? A Bit-Complexity View
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本研究从比特复杂度视角构建统一逼近框架,对比经典方法与神经网络的逼近速率,发现神经网络的优势源于函数类复杂度差异,根本限制是比特复杂度灾难而非维度灾难。
2026-08-04 cs.LG
Metric Entropy Duality and the Sample Complexity of Outcome Indistinguishability
Stanford University(斯坦福大学)
我们给出了结果不可否认性的第一个样本复杂性特征,这是Dwork,Kim,Reingold,Rothblum和Yona(STOC 2021)最近引入的机器学习的理论框架。在结果不可预测性中,学习器的目标是输出一个预测器,该预测器不能通过一类$D$预测器检查根据预测器的预测生成的结果来与目标预测器区分开。在分布特定的和可实现的设置,学习者被赋予的数据分布与预测类$P$包含的目标预测,我们表明,样本的复杂性的结果不确定性的特征在于由度量熵的$P$ w.r.t.由$D$定义的对偶Minkowski范数,等价地由$D$的度量熵w.r. t.由$P$定义的对偶Minkowski范数。这种等价性与凸几何中长期存在的度量熵对偶猜想有着有趣的联系。我们的样本复杂性表征意味着度量熵对偶的一个变体,我们表明它几乎是紧的。在分布自由设置中,我们专注于Dwork等人考虑的情况。其中$P$包含所有可能的预测因子,因此样本复杂度仅取决于$D$。在这种情况下,我们表明,样本的复杂性的结果不可否认的特点是脂肪粉碎尺寸的$D$。我们还展示了一个强大的样本复杂性之间的分离,可实现的和不可知的结果不可分割的分布自由和分布特定的设置。这与免费分发(分别)相反。分布特定的)PAC学习,其中可实现和不可知设置中的样本复杂性可以由VC维度表征(分别为度量熵)。
2022-03-09 cs.CC cs.DS cs.LG
The Sample Complexity of Policy Learning with Mu-Resets
该研究针对μ-重置交互协议下的策略学习,明确了策略可实现性对样本复杂度的作用,得出不同集中性条件下时间范围H对应的样本复杂度上下界。
2026-08-11 cs.LG
Tight Sample Complexity of Large-Margin Learning
The Hebrew University(希伯来大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们得到了L_2正则化大间隔分类的样本复杂度的一个严格的分布特异性特征:我们引入了γ-适应维数,它是分布协方差矩阵谱的一个简单函数,并给出了样本复杂度的分布特异性上界和下界,两者都由源分布的γ-适应维数决定。我们的结论是,这个新的数量紧密表征大利润率分类的真实样本复杂性。该界限适用于丰富的亚高斯分布族。
2012-04-05 cs.LG math.PR math.ST
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
Characterizing the Sample Complexity of Private Learners
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
2008年,Kasiviswanathan等人将私人学习定义为PAC学习和差分隐私的结合。非正式地,私人学习者被应用于标记的个人信息的集合,并输出一个假设,同时保护每个人的隐私。Kasiviswanathan等人给出了(有限)概念类的私有学习器的通用构造,其样本复杂度与概念类的大小成对数关系。这种样本复杂度高于非私人学习者所需的样本复杂度,因此,私人学习的样本复杂度有时可能显著高于非私人学习的样本复杂度。我们给出了一个组合特征的样本大小足够和必要的私人学习一类概念。这个特征类似于众所周知的非私有学习的样本复杂性的概念类的VC维度的特征。我们引入了概念类的概率表示的概念,我们的新的复杂性度量RepDim对应于概念类的最小概率表示的大小。我们证明了对于样本复杂度为m的概念类C,任何私有学习算法都蕴含RepDim(C)=O(m),并且存在一个样本复杂度为m=O(RepDim(C))的私有学习算法.我们进一步证明,一个类似的特征持有的数据库大小需要私人计算的一大类优化问题,也为私人数据发布的问题研究。
2014-02-10 cs.CR cs.LG
Sample Complexity Bounds on Differentially Private Learning via Communication Complexity
IBM Research - Almaden(IBM阿尔马登研究中心);LIAFA, Université Paris 7(巴黎第七大学LIAFA实验室);CNRS(法国国家科学研究中心);Université Paris 7(巴黎第七大学);Harvard’s Center for Research on Computation and Society (CRCS)(哈佛大学计算与社会研究中心)
在这项工作中,我们分析了样本的复杂性分类的差分隐私算法。差分隐私是Dwork等人(2006)提出的一个强大且经过充分研究的隐私概念,它确保算法的输出几乎不会泄露任何参与个体提供的数据点信息。私有PAC和不可知学习的样本复杂性在许多先前的工作中进行了研究,这些工作开始于(Kasiviswanathan et al.,2008年),但一些基本的问题仍然悬而未决,最值得注意的是,是否有隐私的学习需要比没有隐私的学习更多的样本。我们发现,学习(纯)差分隐私的样本复杂度可以任意高于没有隐私约束的学习样本复杂度或学习近似差分隐私的样本复杂度。我们的第二个贡献和主要工具是一个等价的(纯)差分私人学习的概念类$C$(或$SCDP(C)$)和随机的单向通信复杂性的评价问题的概念从$C$的样本复杂性。使用这个等价性,我们证明了以下界限:1。$SCDP(C) = Ω(LDim(C))$,其中$LDim(C)$是Littlestone(1987)的维度,表征了在线错误限制学习模型中的错误数量。$LDim(C)$上的已知界限则意味着$SCDP(C)$可以比$C$的VC维数高得多。2.对于任何$t$,存在一个类$C$,使得$LDim(C)=2$但$SCDP(C) \geq t$。3.对于任何$t$,都存在一个类$C$,使得(纯)$α$-差分私有PAC学习的样本复杂度为$Ω(t/α)$,但放松的$(α,β)$-…
2015-09-13 cs.CC cs.DS cs.LG
Sample Complexity of Stochastic Optimization with Integer Variables
Dept. of Applied Mathematics & Statistics(应用数学与统计学系);Johns Hopkins University(约翰霍普金斯大学);Microsoft Research (Redmond)(微软研究院(红mond));Dept. of Computer Science, PUC-Rio(计算机科学系,巴西圣保罗大学)
本文研究了随机优化中整数变量的样本复杂度,发现整数优化在某些情况下可能需要更多或更少的样本,取决于目标函数和约束的结构。
2026-05-08 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley(加州大学伯克利分校);Google(谷歌);Princeton University(普林斯顿大学)
凸组合优化是一个新兴的课题,涵盖了随机最优控制,强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构,存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法,其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$,其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Learning the Model While Learning Q: Finite-Time Sample Complexity of Online SyncMBQ
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Samsung Electronics(三星电子)
本文研究了将Q学习与模型基于方法结合时的样本复杂度,提出在在线方式下同时学习模型和Q值,证明了在广泛步长范围内接近最优的样本复杂度结果。
2026-03-30 cs.AI cs.LG
On the Sample Complexity of Privately Learning Axis-Aligned Rectangles
Ben-Gurion University(本-古里安大学);Google Research(谷歌研究院)
我们重新审视学习轴对齐矩形在有限网格$X^d\subseteq{\mathbb{R}}^d$与差分隐私的基本问题。已有的结果表明,该问题的样本复杂度至多为$\min\left\{ d{\cdot}\log|X| \;,\; d^{1.5}{\cdot}\left(\log^*|X| \right)^{1.5}\right\}$ .也就是说,现有的构造要么要求样本复杂度随$\log|X|$线性增长,要么它随维度$d$超线性增长。我们提出了一种新的算法,减少了样本的复杂性,只有$\tilde{O}\left\{d{\cdot}\left(\log^*|X|\right)^{1.5}\right\}$,达到一个维度最佳的依赖,而不需要的样本复杂性增长与$\log|X|$。为了达到这一改进所使用的技术涉及删除“暴露”的数据点在旅途中,在一种时尚的设计,以避免成本的自适应组合定理。这种技术的核心可能是个人的兴趣,引入了一种新的方法来构建高效的私人算法。
2021-07-24 cs.CR cs.DS cs.LG
Multi-Agent Off-Policy TD Learning: Finite-Time Analysis with Near-Optimal Sample Complexity and Communication Complexity
University of Utah(犹他大学)
最近,离政策TD学习的有限时间收敛性得到了广泛的研究。然而,这种类型的收敛还没有很好地建立在多智能体设置,其中涵盖了更广泛的应用程序,从根本上更具挑战性的政策TD学习。针对马尔可夫抽样下的多智能体偏离策略TD学习问题,提出了两种分散式TD带校正(TDC)算法。特别是,我们的算法保持完全隐私的行动,政策和奖励的代理,并采用小批量采样,以减少采样方差和通信频率。在马尔可夫采样和线性函数近似下,证明了两种算法的有限时间采样复杂度都是$ε$量级,与集中式TD(0)和TDC的近似最优采样复杂度相匹配.重要的是,我们的算法的通信复杂性是在$\mathcal{O}(\ln ε^{-1})$的顺序,这是显着低于现有的分散TD(0)的通信复杂性度$\mathcal{O}(ε^{-1}\ln ε^{-1})$。实验证实了我们的理论发现。
2021-03-24 cs.LG cs.MA math.OC
Sample Complexity of Linear Quadratic Regulator Without Initial Stability
针对动力学未知的LQR问题,提出无需稳定初始策略的后退时域算法,通过精细化Riccati算子误差传播分析提升样本复杂度与收敛保证,且无需两点梯度估计。
2026-09-03 cs.LG cs.SY eess.SY
Sample Complexity of Composite Quantum Hypothesis Testing
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)
本文研究对称复合二元量子假设检验,旨在确定两个不确定性集中的未知量子态。通过推导样本复杂性下界和上界,提供紧致刻画,并扩展至差分隐私场景。
2026-04-09 cs.IT cs.LG math.IT
Metric Entropy-Free Sample Complexity Bounds for Sample Average Approximation in Convex Stochastic Programming
University of Florida(佛罗里达大学)
本文提出了无度量熵的样本复杂性界限,揭示SAA与SMD在样本效率上的相似性,并展示了SAA在非Lipschitzian场景中的优越性。
2026-03-02 cs.LG math.OC math.PR
Compressive Phase Retrieval: Optimal Sample Complexity with Deep Generative Priors
Northeastern University(东北大学);Rice University(莱斯大学)
压缩感知的进步提供了从具有最佳样本复杂度的线性测量重构稀疏信号的算法,但是这种方法到非线性逆问题的自然扩展已经遇到了潜在的基本样本复杂度瓶颈。特别是,用于具有稀疏先验的压缩相位恢复的易处理算法还不能实现最佳的样本复杂度。这在压缩相位恢复中产生了一个开放的问题:在通用的无相位线性测量下,是否存在以最佳样本复杂度成功的易处理的重建算法?与此同时,机器学习的进步导致了新的数据驱动信号先验的发展,其形式为生成模型,可以用更少的测量来超越稀疏先验。在这项工作中,我们解决了压缩相位恢复中的开放问题,并证明了生成先验可以通过在这个具有挑战性的非线性逆问题中通过易于处理的算法允许最佳样本复杂性来实现根本性的进步。此外,我们提供的算法表明,利用生成先验相位检索可以显着优于稀疏先验。这些结果提供了支持生成先验作为一个新的范例,在各种情况下,信号恢复,经验和理论。这种范式的优点在于:(1)生成先验可以比稀疏先验更简洁地表示某些类别的自然信号,(2)生成先验允许在自然信号流形上进行直接优化,这在稀疏先验下是难以处理的,以及(3)生成先验的非凸优化问题可以在最佳样本复杂度下允许良性优化景观,也许令人惊讶的是,即使在非线性测量的情况下。
2020-08-24 cs.IT cs.LG math.IT
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
The sampling complexity of learning invertible residual neural networks
Fudan University(复旦大学);University of Vienna(维也纳大学)
本文研究可逆残差神经网络的采样复杂度,证明从点样本逼近该类网络在均匀范数下仍受维度灾难影响,表明其架构和可逆性无法克服前馈网络的复杂性障碍。
2024-11-08 cs.LG stat.ML
Neural Complexity Measures
AITRICS;KAIST(韩国科学技术院);BARO AI;Seoul South Korea(首尔(韩国));Daejeon South Korea(大田(韩国))
虽然存在用于深度神经网络的各种复杂性度量,但指定能够预测和解释深度网络中的泛化的适当度量已被证明具有挑战性。我们提出了神经复杂性(NC),这是一个用于预测泛化的元学习框架。我们的模型通过以数据驱动的方式与许多异构任务进行交互来学习标量复杂性度量。可以将训练的NC模型添加到标准训练损失中,以在标准监督学习场景中正则化任何任务学习器。我们将NC的方法与现有的手动设计的复杂性度量和其他元学习模型进行了对比,并验证了NC在多元回归和分类任务上的性能
2020-10-23 cs.LG stat.ML
Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms
Peking University(北京大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种简单的方法来获得复杂性控制的神经网络与一般激活函数。该方法的动机是用一维ReLU网络近似一般的激活函数,这将问题简化为ReLU网络的复杂性控制。具体来说,我们考虑两层网络和深度残差网络,其中基于路径的范数被导出以控制复杂性。我们还提供了初步的分析,这些规范和先验估计相应的正则化估计引起的函数空间。
2020-09-14 cs.LG stat.ML
Conceptual capacity and effective complexity of neural networks
University of Otago(奥塔哥大学)
我们提出了一种基于不同输入的切空间集合的多样性的神经网络映射函数的复杂性度量。将每个切空间视为线性PAC概念,我们使用基于熵的概念束度量来估计网络的概念容量。ReLU网络的理论最大容量相当于其神经元的数量。然而,在实践中,由于网络内神经元活动之间的相关性,即使对于非常大的网络,实际容量也可能非常小。经验评估表明,这种新的措施是相关的映射函数的复杂性,从而相应的网络的泛化能力。它捕捉了网络功能的有效复杂性,而不是理论复杂性。我们还展示了一些用途的建议措施的训练神经网络模型的分析和比较。
2021-03-13 cs.LG stat.ML
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
A General Constructive Upper Bound on Shallow Neural Nets Complexity
Institute of Computer Science(计算机科学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Department of Artificial Intelligence(人工智能系);Department of Mathematics(数学系)
本文提出一个构造性上界,给出浅层神经网络在紧集上以给定精度逼近任意连续函数所需的神经元数量,方法受Stone-Weierstrass定理证明启发,更具一般性。
2025-10-07 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Improving Sample Complexity Bounds for (Natural) Actor-Critic Algorithms
The Ohio State University(俄亥俄州立大学)
行动者-评论者(AC)算法是强化学习中寻找最优策略的常用方法。在无限水平的情况下,有限样本收敛速度的AC和自然演员批评(NAC)算法最近已经建立,但在独立同分布(i.i.d.)采样和单样本更新在每次迭代。相比之下,本文的特征的收敛速度和样本复杂性的AC和NAC下马尔可夫抽样,与小批量数据的每次迭代,并与演员具有一般的政策类近似。我们表明,一个小批量AC达到$ε$ -准确的平稳点的整体样本复杂性提高了最好的已知的样本复杂性AC的顺序$\mathcal{O}(ε^{-1}\log(1/ε))$,和整体样本复杂性的一个小批量NAC达到$ε$ -准确的全局最优点提高了现有的样本复杂性NAC的顺序$\mathcal{O}(ε^{-1}/\log(1/ε))$。此外,AC和NAC的样本复杂度的特点,在这项工作中优于策略梯度(PG)和自然的策略梯度(NPG)的$\mathcal{O}((1-γ)^{-3})$和$\mathcal{O}((1-γ)^{-4}ε^{-1}/\log(1/ε))$的一个因素,分别。这是第一个理论研究,建立AC和NAC实现有序性能改善PG和NPG无限地平线下,由于纳入批评。
2021-02-12 cs.LG stat.ML
Revisiting the Sample Complexity of Sparse Spectrum Approximation of Gaussian Processes
Carnegie-Mellon University(卡内基梅隆大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们引入了一个新的可扩展的近似高斯过程的可证明的保证,同时保持在其整个参数空间。我们的近似是从稀疏谱高斯过程(SSGP)的改进的样本复杂性分析。特别是,我们的分析表明,在一定的数据解开条件下,SSGP的预测和模型证据(用于训练)可以很好地近似于具有低样本复杂度的完整GP。我们还开发了一个新的自动编码算法,找到一个潜在的空间,解开潜在的输入坐标到分离良好的集群,这是服从我们的样本复杂性分析。我们验证了我们提出的方法在几个基准有希望的结果支持我们的理论分析。
2020-11-17 cs.LG stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML