NeurIPS 2020 Competition: Predicting Generalization in Deep Learning
Google Research(谷歌研究院);University of Toronto(多伦多大学);Element AI;Microsoft Research(微软研究院);University Paris-Saclay(巴黎-萨克雷大学);ChaLearn
理解深度学习中的泛化可以说是深度学习中最重要的问题之一。深度学习已经成功地应用于从模式识别到复杂决策的大量问题,但最近许多研究人员对深度学习提出了许多担忧,其中最重要的是泛化。尽管进行了许多尝试,但传统的统计学习方法仍然无法对深度学习的工作原理提供令人满意的解释。最近的一系列工作旨在解决这个问题,试图通过复杂性的措施来预测泛化性能。在这个竞赛中,我们邀请社区提出可以准确预测模型泛化的复杂性度量。一个强大而通用的复杂性度量可能会更好地理解深度学习的底层机制和深度模型在不可见数据上的行为,或者揭示更好的泛化边界。所有这些结果对于使深度学习更加强大和可靠都很重要。
2020-12-14 cs.LG stat.ML
Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds
Stanford University(斯坦福大学)
该研究针对深度ReLU网络非光滑场景下Adam优化理论理解不足的问题,结合分层莫尔斯理论与Kakeya集新结果,提出多层细化框架,首次得到Adam的泛化界与非凸非光滑下的全局最优收敛结果,且界优于PAC-Bayes方法。
2025-05-21 cs.LG stat.ML
On sample complexity of neural networks
Universidade de Lisboa(里斯本大学);Centro de Matemática e Aplicações Fundamentais(基础数学与应用中心)
我们认为由深度神经网络定义的函数是实数域的o-最小扩展中的可定义对象,并推导出此类网络的样本复杂度的几乎线性(在权重数量上)界。
2019-10-24 cs.LG stat.ML
The Geometric Occam's Razor Implicit in Deep Learning
Google(谷歌);DeepMind
在过度参数化的深度神经网络中,可能存在许多可能的参数配置,这些参数配置完全适合训练数据。然而,这些插值解决方案的性质知之甚少。我们认为,过参数化的神经网络训练随机梯度下降受到几何奥卡姆剃刀,也就是说,这些网络是隐式正则化的几何模型的复杂性。对于一维回归,几何模型的复杂性简单地由函数的弧长给出。对于更高维的设置,几何模型的复杂性取决于函数的狄利克雷能量。我们探讨这个几何奥卡姆剃刀,狄利克雷能量和其他已知形式的隐式正则化之间的关系。最后,对于在CIFAR-10上训练的ResNet,我们观察到Dirichlet能量测量与这个隐式几何奥卡姆剃刀的作用一致。
2021-12-01 cs.LG stat.ML
Combining learning rate decay and weight decay with complexity gradient descent - Part I
Data Science Institute(数据科学研究所);Imperial College(帝国理工学院)
在深度神经网络而不是更传统的机器学习模型的特定情况下,$L^2$正则化的作用仍然没有完全阐明。我们假设,这种复杂的相互作用是由于过度参数化和高维现象的组合,在训练过程中发生,使其不适合标准的凸优化方法。利用统计物理和随机场理论的见解,我们引入了一个参数因子的损失函数和其剩余的非凸性的水平:\emph{complexity}。我们继续表明,这是可取的继续与\emph{complexity gradient descent}。然后,我们展示了如何使用这种直觉,以获得新的和有效的退火计划的强度时,执行标准的随机梯度下降在深度神经网络的$L^2$正则化。
2019-02-07 cs.LG stat.ML
Permutational Rademacher Complexity: a New Complexity Measure for Transductive Learning
Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所);Universität Potsdam(波茨坦大学)
直推学习考虑学习者观察$m$标记的训练点和$u$未标记的测试点时的情况,最终目标是给出测试点的正确答案。本文提出了一种新的用于直推学习的复杂性度量--置换拉德马赫复杂度(PRC),并研究了它的性质。证明了一个新的对称化不等式,表明PRC对经验过程的期望上确界的控制比标准独立同分布的情形更严格.设置.还提供了一些比较结果,其中显示PRC和其他流行的复杂性度量在统计学习理论,包括Rademacher复杂性和Transductive拉德马赫复杂度(TRC)之间的关系。我们认为,PRC是一个更合适的复杂性测量的转导学习。最后,这些结果结合一个标准的浓度参数,提供新的数据依赖的风险范围的转导学习。
2016-02-23 cs.LG stat.ML
Divergence Frontiers for Generative Models: Sample Complexity, Quantization Effects, and Frontier Integrals
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
深度生成模型的巨大成功需要定量工具来衡量其统计性能。发散边界最近被提出作为生成模型的评估框架,因为它们能够衡量深度生成建模固有的质量多样性权衡。我们建立了发散边界的样本复杂性的非渐近界。我们还介绍了边界积分,提供了发散边界的汇总统计。我们展示了如何平滑估计,如良好的图灵或Krichevsky-Trofimov可以克服丢失的质量问题,并导致更快的收敛速度。我们用自然语言处理和计算机视觉的数值例子说明了理论结果。
2021-12-11 cs.LG stat.ML
Mitigating the Curse of Detail: Scaling Arguments for Feature Learning and Sample Complexity
Racah Institute of Physics(拉卡学院物理研究所);Hebrew University(希伯来大学);IBM Research(IBM研究院)
本文提出一种简化的方法,用于预测特征学习中不同模式出现的数据和宽度尺度,扩展了深度学习的基本理论。
2026-03-23 cs.LG stat.ML
Representation Based Complexity Measures for Predicting Generalization in Deep Learning
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度神经网络可以泛化,尽管被显著过度参数化。最近的研究试图从各种观点来研究这种现象,并提供基于这些观点的泛化误差或泛化差距的预测措施的泛化误差的界限,例如基于范数的,基于PAC贝叶斯的,和基于边缘的分析。在这项工作中,我们从深层神经网络内部表示的质量角度对泛化进行了解释,基于人类视觉系统如何创建不变和未纠缠的对象表示的神经科学理论。我们没有提供理论上的界限,而是展示了实际的复杂性度量,这些度量可以通过临时计算来揭示深度模型中的泛化行为。我们还提供了我们的解决方案的详细描述,该解决方案赢得了在NeurIPS 2020举行的NeurIPS竞赛中关于深度学习中预测泛化的竞赛。我们的解决方案的实现可在https://github.com/parthnatekar/pgdl上获得。
2020-12-04 cs.CV cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University(明治大学)
实践结果表明,使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数,使损失函数最小化。我们首先展示了理论证据,动量方法(动量)和自适应矩估计(亚当)在这个意义上表现良好,理论性能指标的上限是小的恒定学习率,超参数接近一个,和一个大批量。接下来,我们表明,存在一个批量大小称为临界批量大小最小化随机一阶预言机(SFO)的复杂性,这是随机梯度计算成本,和SFO复杂性增加,一旦批量大小超过临界批量大小。最后,我们提供了支持我们的理论结果的数值结果。也就是说,数值结果表明,亚当使用一个小的恒定的学习率,超参数接近1,和临界批量大小最小化SFO复杂性比动量和随机梯度下降(SGD)具有更快的收敛。
2022-08-21 cs.LG math.OC
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);The American University in Cairo(开罗美国大学)
本文提出QuBD方法,用于估计深度神经网络权重的算法复杂度,揭示训练过程中复杂度随学习阶段的变化规律,为模型压缩提供理论依据。
2026-11-10 cs.LG
Adversarial Rademacher Complexity of Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University Suzhou(南京大学苏州校区)
研究深度神经网络对抗攻击下的泛化问题,引入中间对抗样本概念及计算框架,给出深度神经网络对抗拉德马赫复杂度的首个界定,并通过实验表明权重范数是影响稳健泛化差距的关键因素。
2026-07-09 cs.LG
The Local Learning Coefficient: A Singularity-Aware Complexity Measure
Timaeus(提迈厄斯)
本文提出局部学习系数(LLC)这一基于奇异学习理论的深度神经网络复杂度度量,并设计可扩展估计器,在深度线性网络、ResNet 和 Transformer 上验证其能揭示训练启发式对有效复杂度的影响,从而调和深度学习复杂性与简约原则之间的矛盾。
2024-09-30 cs.AI cs.LG stat.ML
Evaluation of Complexity Measures for Deep Learning Generalization in Medical Image Analysis
University of Idaho(爱达荷大学)
针对深度学习医学图像分析跨域泛化性能难预测的问题,本文通过乳腺超声图像实验验证25种复杂度度量与泛化能力的相关性,发现PAC-Bayes平坦度等度量解释性最优,且多任务学习可作为隐式正则化提升泛化。
2023-07-19 cs.CV cs.LG
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University(斯坦福大学)
本文基于几何(Clifford)代数与凸优化,证明深度ReLU网络的最优权重由训练样本楔积给出,将训练简化为楔积特征的凸优化,为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
利用由于变换而引起的类内方差的先验知识是提高深度神经网络的样本复杂度的有力方法。这使得它们适用于训练数据稀缺的实际重要用例。这种知识不是通过学习获得的,而是通过对这些转换强制执行不变性来嵌入的。不变性可以使用群等变卷积,然后进行池化操作来实现。对于旋转不变性,以前的工作研究了用不变积分取代空间池操作,该积分显式地构造不变表示。不变积分使用单项式,单项式是使用迭代方法选择的,需要昂贵的预训练。我们提出了一种新的单项选择算法的基础上修剪方法,使应用程序更复杂的问题。此外,我们用不同的函数(如加权和、多层感知器和自注意力)替换单项式,从而简化了基于不变积分的架构的训练。我们在Rotated-MNIST、SVHN和CIFAR-10数据集上展示了改进的样本复杂度,其中使用单项式和加权和的基于旋转不变积分的Wide-ResNet架构在有限样本范围内优于各自的基线。我们实现了国家的最先进的结果,使用旋转MNIST和SVHN的旋转是一个主要来源的组内变化的完整数据。在STL-10上,我们使用池化优于标准和旋转等变卷积神经网络。
2022-02-08 cs.LG
An Information-Theoretic Framework for Supervised Learning
Stanford University(斯坦福大学)
每年,深度学习都会通过更深、更广的神经网络展示新的、改进的经验结果。同时,在现有的理论框架下,很难分析超过两层的网络,而不依靠计数参数或遇到指数深度的样本复杂度界限。也许尝试从不同的角度分析现代机器学习可能会有成果。在本文中,我们提出了一种新颖的信息理论框架,具有自己的遗憾和样本复杂性概念,用于分析机器学习的数据需求。在我们的框架中,我们首先通过一些经典的例子,如标量估计和线性回归来建立直觉并介绍一般技术。然后,我们使用该框架来研究从具有ReLU激活单元的深度神经网络生成的数据中学习的样本复杂度。对于一个特定的先验分布的权重,我们建立样本的复杂性界限,同时宽度独立和线性的深度。这种先验分布产生了高维的潜在表示,具有很高的概率,承认合理准确的低维近似。最后,我们通过随机单隐层神经网络的实验分析证实了我们的理论结果。
2023-03-24 cs.AI cs.LG stat.ML
On the Convergence and Sample Complexity Analysis of Deep Q-Networks with $ε$-Greedy Exploration
New Jersey Institute of Technology(新泽西理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院);Michigan State University(密歇根州立大学)
本文首次对采用$\varepsilon$-greedy策略的DQN实际设定进行了理论收敛性与样本复杂度分析,证明衰减$\varepsilon$的迭代过程几何收敛至最优Q值函数,并揭示了$\varepsilon$大小对收敛区域与速度的相反影响。
2023-10-24 cs.LG
Sample complexity of data-driven tuning of model hyperparameters in neural networks with structured parameter-dependent dual function
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文通过数据驱动设置研究深度学习中超参数调整的学习理论复杂度,利用微分/代数几何和约束优化工具刻画效用函数的不连续性和振荡,证明了效用函数族复杂度有界,并给出了神经激活函数插值和图神经网络核参数调整的样本复杂度界限。
2025-04-29 cs.LG
Compressive Phase Retrieval: Optimal Sample Complexity with Deep Generative Priors
Northeastern University(东北大学);Rice University(莱斯大学)
压缩感知的进步提供了从具有最佳样本复杂度的线性测量重构稀疏信号的算法,但是这种方法到非线性逆问题的自然扩展已经遇到了潜在的基本样本复杂度瓶颈。特别是,用于具有稀疏先验的压缩相位恢复的易处理算法还不能实现最佳的样本复杂度。这在压缩相位恢复中产生了一个开放的问题:在通用的无相位线性测量下,是否存在以最佳样本复杂度成功的易处理的重建算法?与此同时,机器学习的进步导致了新的数据驱动信号先验的发展,其形式为生成模型,可以用更少的测量来超越稀疏先验。在这项工作中,我们解决了压缩相位恢复中的开放问题,并证明了生成先验可以通过在这个具有挑战性的非线性逆问题中通过易于处理的算法允许最佳样本复杂性来实现根本性的进步。此外,我们提供的算法表明,利用生成先验相位检索可以显着优于稀疏先验。这些结果提供了支持生成先验作为一个新的范例,在各种情况下,信号恢复,经验和理论。这种范式的优点在于:(1)生成先验可以比稀疏先验更简洁地表示某些类别的自然信号,(2)生成先验允许在自然信号流形上进行直接优化,这在稀疏先验下是难以处理的,以及(3)生成先验的非凸优化问题可以在最佳样本复杂度下允许良性优化景观,也许令人惊讶的是,即使在非线性测量的情况下。
2020-08-24 cs.IT cs.LG math.IT
SGD-Net: Efficient Model-Based Deep Learning with Theoretical Guarantees
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
深度展开网络最近在解决成像逆问题的背景下越来越受欢迎。然而,传统的深度展开网络中的数据一致性层的计算和存储复杂性与测量的数量成比例,限制了它们对大规模成像逆问题的适用性。我们提出SGD-Net作为一种新的方法,通过数据一致性层的随机近似来提高深度展开的效率。我们的理论分析表明,SGD-Net可以训练成以任意精度近似批量深度展开网络。我们对强度衍射层析成像和稀疏视图计算机层析成像的数值结果表明,SGD-Net可以在训练和测试复杂度的一小部分下匹配批处理网络的性能。
2021-01-22 cs.LG eess.IV
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University(明治大学)
数值评估明确表明,对于深度学习优化器,如随机梯度下降、动量和自适应方法,批量大小每增加一倍,训练深度神经网络所需的步骤数就减半,并且在临界批量大小之外存在收益递减的区域。在本文中,我们确定实际的临界批量大小通过使用全局极小的随机一阶预言(SFO)的复杂性的优化。为了证明实际临界批量的存在性,我们设定了SFO复杂度的上、下界,并证明了在极小化上、下界的意义下存在临界批量.该证明意味着,如果SFO复杂性符合下限和上限,则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件,以适应下限和上限,并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity
Kobe University(神户大学)
自然图像数据集中异常样本的准确和自动检测可以通过用于图像的端到端建模的概率模型来完成。然而,这样的图像具有异质的复杂性,并且概率模型忽略了具有小异常的简单形状的对象。这是因为概率模型将不期望的较低可能性分配给形状复杂的对象,但这些对象与设定的标准一致。为了克服这个困难,我们提出了一个深度生成模型(DGMs)的非正则化分数,DGMs是利用深度神经网络的生成模型。我们发现,正则化条款的DGMs显着影响异常分数取决于样本的复杂性。通过删除这些项,我们获得了一个未正则化的分数,我们在玩具数据集和真实世界的制造数据集上进行了评估。实验结果表明,非正则化的分数是强大的样本的固有复杂性,可以用来更好地检测异常。
2018-09-04 cs.CV cs.LG stat.ML
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出基于非参数统计学的深度主动学习方法,首次提供了近最优的标签复杂性保证,无需低噪声假设,并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Dropout Rademacher Complexity of Deep Neural Networks
深度神经网络在各种实际应用中取得了巨大的成功。许多算法和实现技术已经被开发出来,然而,对深度神经网络的许多方面的理论理解还远未清楚。一个特别有趣的问题是dropout的有用性,这是出于防止特征检测器复杂的协同适应的直觉。在本文中,我们研究了不同类型的dropout的Rademacher复杂度,我们的理论结果表明,对于浅层神经网络(有一个或没有隐藏层)dropout能够降低Rademacher复杂度的多项式,而对于深层神经网络,它可以惊人地导致Rademacher复杂度的指数下降。
2014-07-02 cs.NE stat.ML
Complexity for deep neural networks and other characteristics of deep feature representations
Jagiellonian University(雅盖隆大学)
我们定义了一个复杂性的概念,它量化了一个神经网络的计算的非线性,以及特征表示的有效维度的补充措施。我们研究了各种数据集的训练网络的这些观测值,并在训练过程中探索它们的动态,特别是幂律缩放。这些可观测量可以用双重方式来理解,即揭示数据集本身作为尺度或深度的函数的隐藏内部结构。所提出的复杂性概念的熵特征应该允许将分析模式从神经科学和统计物理学转移到人工神经网络的领域。所引入的观测量可以应用于生物神经元系统的分析而不作任何改变。
2021-03-17 cond-mat.dis-nn cs.LG cs.NE
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Predicting Generalization in Deep Learning via Local Measures of Distortion
University of California, San Francisco(加州大学旧金山分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们通过诉诸最初在近似和信息论中开发的复杂性度量来研究深度学习中的泛化。虽然这些概念受到深度学习的高维和数据定义性质的挑战,但我们表明,简单的矢量量化方法(如PCA,GARCH和SVM)在逐层应用于深度提取的特征时捕捉到了它们的精神,从而产生了相对廉价的复杂性度量,与泛化性能密切相关。我们在2020年NeurIPS PGDL挑战中讨论了我们的结果。
2020-12-16 cs.LG stat.ML
Linear Time Complexity Deep Fourier Scattering Network and Extension to Nonlinear Invariants
Rice University(莱斯大学);AMU(艾克斯-马赛大学);University of Toulon(土伦大学);ENSAM(法国国立高等工程技术学校);CNRS(法国国家科学研究中心)
在本文中,我们提出了一个可扩展的版本的最先进的确定性时不变特征提取方法的基础上连续变化的基础和非线性,即散射网络。本文的第一个重点是扩展散射网络,允许使用高阶非线性,以及提取非线性和基于傅立叶的统计,导致任何固有结构化输入所需的不变量。为了达到快速卷积和利用小波的内在结构,我们在傅立叶域中推导出我们的完整模型。除了提供快速的计算,我们现在能够利用稀疏矩阵,由于非常高的稀疏性以及本地化的傅立叶域。因此,我们能够在傅立叶域中实现真正的线性时间复杂度,从而为机器学习任务提供快速且节能的解决方案。验证的功能和计算结果,将通过使用这些不变系数进行分类的音频记录的鸟类歌声捕获在多个不同的音景。最后,讨论了所提出的解决方案对深度人工神经网络的适用性。
2017-07-18 cs.LG stat.ML
Periodic Spectral Ergodicity: A Complexity Measure for Deep Neural Networks and Neural Architecture Search
University of Hamburg(汉堡大学)
在深度神经网络(DNN)的结构和泛化能力之间建立关联是现代机器学习中的一项具有挑战性的任务。为这一挑战提供解决方案将在DNN的理论理解和有效构建新架构方面取得进展。在这项工作中,我们通过开发一种新的复杂性度量来应对这一挑战,该度量基于起源于量子统计力学的{周期谱遍历性}(PSE)的概念。基于这种测量,设计了一种技术来从学习的权重量化深度神经网络的复杂性,并以顺序的方式遍历网络连接,因此术语级联PSE(cPSE)作为经验复杂性测量。这种测量将同时捕获拓扑和内部神经处理复杂性。由于这种级联方法,即,PSE在连续层上的对称发散,可以将该测量用于神经架构搜索(NAS)。我们在两组视觉模型ResNet和VGG上证明了这种方法的实用性,并为更复杂的网络结构绘制了cPSE的计算。
2020-04-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Neural Complexity Measures
AITRICS;KAIST(韩国科学技术院);BARO AI;Seoul South Korea(首尔(韩国));Daejeon South Korea(大田(韩国))
虽然存在用于深度神经网络的各种复杂性度量,但指定能够预测和解释深度网络中的泛化的适当度量已被证明具有挑战性。我们提出了神经复杂性(NC),这是一个用于预测泛化的元学习框架。我们的模型通过以数据驱动的方式与许多异构任务进行交互来学习标量复杂性度量。可以将训练的NC模型添加到标准训练损失中,以在标准监督学习场景中正则化任何任务学习器。我们将NC的方法与现有的手动设计的复杂性度量和其他元学习模型进行了对比,并验证了NC在多元回归和分类任务上的性能
2020-10-23 cs.LG stat.ML
Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
Department of Computer Science University of Wisconsin-Madison(计算机科学系威斯康星大学麦迪逊分校);Department of Electrical & Computer Engineering University of Wisconsin-Madison(电气与计算机工程系威斯康星大学麦迪逊分校)
研究开发深度全连接神经网络统一函数空间理论,通过特定递归定义函数,统一多种想法,证明新表示定理和复杂性界,在单变量ReLU情况有“深度饱和”结果,揭示深度与复杂性在函数空间视角下的新关系。
2026-07-08 cs.LG math.FA stat.ML
Spectral complexity of deep neural networks
RoMaDS - Department of Mathematics, University of Rome Tor Vergata(罗马第一大学数学系罗马塔 Vergata 分部)
该研究提出用极限高斯过程的角功率谱表征深度网络架构复杂度,定义相关随机变量序列并按深度渐近分布将网络分为三类,揭示不同激活函数的特征,且通过数值模拟验证了理论结果。
2025-05-19 cs.LG math.PR stat.ML
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
Continuously Constructive Deep Neural Networks
Bloomberg LP(彭博有限合伙企业);Boğaziçi University(海峡大学)
传统上,深度学习算法更新网络权重,而网络架构是使用试错过程手动选择的。在这项工作中,我们提出了两种新的方法,可以自动更新网络结构,同时学习其权重。我们方法的新颖之处在于我们的参数化,其中深度或额外的复杂性通过增加额外复杂性的控制参数连续地封装在参数空间中。我们提出两种方法:在隧道网络中,这种选择是在隐藏单元的级别上完成的,而在萌芽感知器中,这是在网络层的级别上完成的;更新这个控制参数会引入另一个隐藏单元或另一个隐藏层。我们证明了我们的方法在合成的双螺旋数据和MNIST和MIRFLICKR的两个真实数据集上的有效性,在那里我们看到,我们提出的方法,具有相同的超参数集,可以正确地调整网络复杂性的任务复杂性。
2018-04-07 cs.LG cs.NE stat.ML
On the Number of Linear Regions of Deep Neural Networks
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Université de Montréal(蒙特利尔大学)
我们研究了具有分段线性激活的深度前馈神经网络可计算函数的复杂性,包括对称性和线性区域的数量。深度网络能够顺序地将每层输入空间的部分映射到相同的输出。通过这种方式,深度模型计算出的函数对不同输入的复杂模式的反应是相同的。这些函数的组合结构使它们能够在网络深度方面以指数方式重用计算片段。本文研究了这种组成图的复杂性,并贡献了新的理论结果,关于深度的优势,神经网络分段线性激活函数。特别是,我们的分析不是特定于一个单一的家庭的模型,作为一个例子,我们采用它的整流器和maxout网络。我们从现有的工作中改进了复杂性界限,并研究了更高层单元的行为。
2014-06-07 cs.LG cs.NE stat.ML
Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning
The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);Google Research(谷歌研究院)
深度强化学习(RL)研究的进展在很大程度上是由基准任务环境实现的。然而,分析这些环境的性质往往被忽视。特别是,我们仍然没有合适的方法来衡量任务的难度或可解决性,因为每个任务都有根本不同的动作,观察,动态,奖励,并且可以用不同的RL算法来解决。在这项工作中,我们提出了政策信息容量(PIC)-政策参数和情节回报之间的互信息-和政策最优信息容量(POIC)-政策参数和情节最优性之间-作为两个环境不可知,算法不可知的任务难度的定量指标。通过评估我们在玩具环境中的指标以及OpenAI Gym和DeepMind Control Suite的连续控制基准任务,我们实证证明,这些信息理论指标与标准化任务可解决性分数的相关性高于各种替代方案。最后,我们表明,这些指标也可以用于快速和计算效率的优化关键设计参数,如奖励塑造,政策架构,和MDP属性更好的解决方案,由RL算法,而无需运行完整的RL实验。
2021-05-31 cs.AI cs.LG stat.ML
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University(哈佛大学);OpenAI
我们发现,各种现代深度学习任务都表现出“双下降”现象,即随着模型大小的增加,性能首先变差,然后变好。此外,我们表明,双下降发生不仅作为模型大小的函数,而且作为训练时期的数量的函数。通过定义一个新的复杂性测度,我们称之为有效模型复杂性,并猜想关于这个测度的广义双下降,我们统一了上述现象。此外,我们的模型复杂性的概念,使我们能够确定某些制度,增加(甚至翻两番)的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
Deep Stochastic Mechanics
The University of Chicago(芝加哥大学);ShareChat
本研究受随机力学与生成扩散模型启发,提出基于深度学习的薛定谔方程数值模拟新方法,通过适配波函数低维结构实现高维下更低的计算复杂度,还提出二次复杂度的随机量子力学新方程,实验验证了其相对同类方法的显著优势。
2024-07-07 cs.LG quant-ph stat.ML
Deep Generative Models: Complexity, Dimensionality, and Approximation
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Michigan(密歇根大学)
本研究受空间填充曲线启发,证明了生成网络可从任意低维输入逼近高维黎曼流形分布,打破了潜在维度须不低于流形维度的传统假设,并揭示了逼近误差、维度与模型复杂度间的权衡。
2025-04-01 cs.LG math.DG stat.ML
Sampling Complexity of Deep Approximation Spaces
Johann Radon Institute for Computational and Applied Mathematics (RICAM), Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所(RICAM));Faculty of Mathematics, University of Vienna(维也纳大学数学学院)
本研究基于信息复杂度框架,证明使用 ReQU 激活函数的神经网络在逼近某些函数时同样需要指数增长的样本数量,扩展了 ReLU 情形下的理论到实践差距结果。
2023-12-20 cs.IT cs.LG math.FA
NullaNet: Training Deep Neural Networks for Reduced-Memory-Access Inference
University of Southern California(南加州大学)
深度神经网络已成功部署在包括计算机视觉和语音识别在内的各种应用中。然而,这些模型的计算和存储复杂性迫使大多数计算在高端计算平台或云上执行。为了应对这些模型的计算和存储复杂性,本文提出了一种训练方法,通过布尔逻辑最小化实现深度神经网络的完全不同的方法。上述实现完全去除了访问存储器以获得模型参数的耗能步骤,与使用浮点运算的实现相比,消耗大约两个数量级的计算资源,并且具有显著更低的延迟。
2018-08-27 cs.LG cs.NE stat.ML
Deep Learning Detection Networks in MIMO Decode-Forward Relay Channels
Pusan National University(釜山国立大学)
在本文中,我们考虑在多输入多输出(MIMO)解码转发(DF)中继信道与一个源,一个中继,和一个目的地的信号检测算法。现有的次优近极大似然(NML)检测器和具有两级成对错误概率的NML(NMLw 2 PEP)检测器分别在源-中继(SR)链路的瞬时信道状态信息(CSI)和SR链路的统计CSI下实现了优异的性能。然而,NML检测器需要随着发射天线数量的增加而呈指数增加的复杂度。使用深度学习算法,提出了基于NML的检测网络(NMLDN),在目的地具有和不具有SR链路的CSI。NMLDN在使用大量随机分布的信道进行单次训练之后检测变化信道中的信号。该检测网络比穷举搜索NML检测器具有更低的检测复杂度,同时表现出良好的性能。为了评估性能,我们引入了多项式复杂度的半定松弛检测器的基础上的NML检测器。此外,新的线性检测器的基础上的零梯度的NML度量的建议。应用各种中继端检测算法(DetR)和目的端检测算法(DetD),提出了MIMO DF中继信道中的DetR-DetD方法。可以根据所需的错误概率和检测复杂度采用适当的DetR-DetD方法。复杂度分析和仿真结果验证了本文的结论。
2018-07-12 cs.IT cs.LG math.IT
Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity
The University of Iowa(爱荷华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
深度AUC(area under the ROC curve)最大化(DAM)方法由于其在不平衡数据分类中的巨大潜力而受到广泛关注。然而,联邦深度AUC最大化(FDAM)的研究仍然有限。与关注可分解最小化目标的标准联邦学习(FL)方法相比,FDAM由于其最小化目标在单个示例上不可分解而更加复杂。在本文中,我们提出了改进的FDAM算法的异构数据,通过解决流行的非凸强凹的min-max制定的DAM在分布式的方式,这也可以应用到一类非凸强凹min-max问题。本文的一个引人注目的结果是,所提出的算法的通信复杂性是一个常数,独立于机器的数量,也独立于精度水平,这改善了一个现有的结果的数量级。实验证明了我们的FDAM算法的有效性基准数据集上,并从不同组织的医学胸部X射线图像。我们的实验表明,使用来自多个医院的数据的FDAM的性能可以提高来自单个医院的测试数据的AUC分数,用于基于胸片检测危及生命的疾病。所提出的方法在我们的开源库LibAUC(www.libauc.org)中实现,其github地址为https://github.com/Optimization-AI/ICML2021_FedDeepAUC_CODASCA。
2021-09-13 cs.DC cs.LG math.OC
Approximation spaces of deep neural networks
我们研究了深度神经网络的表达能力。通过连接数或神经元数来衡量网络的复杂性,我们考虑一类函数,当增加复杂性预算时,对于给定复杂性的网络,最佳逼近的误差以一定的速率衰减。利用经典逼近论的结果,我们证明了这一类可以被赋予一个(拟)-范数,使之成为一个线性函数空间,称为逼近空间。我们确定,允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络的非线性(也称为激活函数)对结果空间的作用,以及深度的作用。对于流行的ReLU非线性及其幂,我们将新构造的空间与经典的Besov空间联系起来。已建立的嵌入强调,如果这些网络足够深,一些非常低的Besov平滑度的函数仍然可以很好地近似神经网络。
2020-07-17 cs.NE math.FA stat.ML
Deep Learning of the Nonlinear Schrödinger Equation in Fiber-Optic Communications
光纤通信中的一个重要问题是对非线性薛定谔方程进行实时的反演,以反演信道的确定性效应。有趣的是,流行的分步傅里叶方法(SSFM)产生的计算图让人想起深度神经网络。这种观察允许人们利用来自机器学习的工具来降低复杂性。特别地,SSFM的主要缺点是其使用M个步骤的复杂度比线性均衡器大至少M倍。这是因为线性SSFM算子是一个稠密矩阵。在以前的工作中,截断方法,如频率采样,小波,或最小二乘法已被用来获得“便宜”的运营商,可以使用滤波器实现。然而,通常需要大量的滤波器抽头来限制截断误差。例如,Ip和Kahn表明,对于10 Gbaud信号和2000 km光链路,具有25步的截断SSFM在每一步中需要70个抽头滤波器,并且比线性均衡多100倍的操作。我们发现,通过使用深度学习联合优化所有过滤器,可以显著降低复杂度,以获得类似的精度。以交替方式使用优化的5抽头和3抽头滤波器,取决于实施方式,仅需要线性均衡的复杂度的约2-6倍。
2018-04-09 cs.IT math.IT stat.ML