On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Computational complexity reduction of deep neural networks
United States Naval Academy(美国海军学院);U.S. Army Combat Capabilities Development Command(美国陆军作战能力发展司令部);U.S. Army Research Laboratory(美国陆军研究实验室)
深度神经网络(DNN)在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而,这些DNN在计算上是复杂的,并且如果没有额外的优化和定制,它们在资源受限的平台上的部署是困难的。在本文中,我们描述了DNN架构的概述,并提出了降低计算复杂性的方法,以加快训练和推理速度,使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics
University of Pennsylvania(宾夕法尼亚大学)
本文提出未来深度学习理论应具备层级架构、随机梯度迭代参数和压缩式信息演化三大特征,并构建图模型 neurashed 以解释隐式正则化、信息瓶颈和局部弹性等经验现象。
2024-08-09 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning
University of Southern California(南加州大学)
我们介绍了Deep-n-Cheap --一个用于搜索深度学习模型的开源AutoML框架。该搜索包括架构和训练超参数,并支持卷积神经网络和多层感知器。我们的框架是针对部署在基准和自定义数据集,因此,提供了更大程度的搜索空间可定制性相比,更有限的搜索,只有预先存在的模型,从文献。我们还介绍了“搜索转移”的技术,它展示了我们的框架发现的模型对多个数据集的泛化能力。Deep-n-Cheap包括用户可自定义的复杂性惩罚,它可以用训练时间或参数数量来权衡性能。具体来说,我们的框架导致模型提供与最先进的性能相当的性能,而训练时间比其他AutoML和模型搜索框架的模型少1-2个数量级。此外,这项工作调查和发展有关搜索过程的各种见解。特别是,我们展示了贪婪策略的优越性,并证明了我们选择贝叶斯优化作为随机/网格搜索的主要搜索方法。
2020-09-05 cs.CV cs.LG stat.ML
Ultra Low Complexity Deep Learning Based Noise Suppression
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文提出一种两阶段框架并结合通道级特征重定向与改进幂律压缩,在资源受限设备上以3-4倍更低计算和内存实现与最先进方法相当的语音增强噪声抑制性能。
2023-12-13 cs.LG eess.AS eess.SP
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Arithmetic Circuits, Structured Matrices and (not so) Deep Learning
University at Buffalo(布法罗大学)
本调查对算术电路复杂性、结构化矩阵和深度学习交叉点的结果进行了不完整(且有偏见)的概述。最近有一些研究活动在用结构化权重矩阵替换神经网络中的非结构化权重矩阵(目的是减少相应的深度学习模型的大小)。这项工作大部分都是实验性的,在这项调查中,我们将研究问题形式化,并展示了最近结合算术电路复杂性,结构化矩阵和深度学习的工作如何从根本上回答这个问题。本调查针对的是复杂性理论家,他们可能会喜欢阅读关于在算术电路复杂性方面开发的工具如何帮助设计(据我们所知)一个新的结构化矩阵家族,这反过来又非常适合深度学习的应用。然而,我们希望那些对深度学习感兴趣的人也能欣赏与复杂性理论的联系。
2022-10-31 cs.CC cs.LG
Continuously Constructive Deep Neural Networks
Bloomberg LP(彭博有限合伙企业);Boğaziçi University(海峡大学)
传统上,深度学习算法更新网络权重,而网络架构是使用试错过程手动选择的。在这项工作中,我们提出了两种新的方法,可以自动更新网络结构,同时学习其权重。我们方法的新颖之处在于我们的参数化,其中深度或额外的复杂性通过增加额外复杂性的控制参数连续地封装在参数空间中。我们提出两种方法:在隧道网络中,这种选择是在隐藏单元的级别上完成的,而在萌芽感知器中,这是在网络层的级别上完成的;更新这个控制参数会引入另一个隐藏单元或另一个隐藏层。我们证明了我们的方法在合成的双螺旋数据和MNIST和MIRFLICKR的两个真实数据集上的有效性,在那里我们看到,我们提出的方法,具有相同的超参数集,可以正确地调整网络复杂性的任务复杂性。
2018-04-07 cs.LG cs.NE stat.ML
Complexity of Representations in Deep Learning
IBM Watson Health(IBM沃森健康)
深度神经网络使用多层函数来将由输入向量表示的对象逐步映射到不同的表示,并且经过充分的训练,最终映射到作为最终决策函数输出的每个类的单个分数。理想情况下,在这个输出空间中,不同类的对象实现了最大程度的分离。出于更好地理解深层神经网络内部工作的需要,我们从数据复杂性的角度分析了学习表示在分离类方面的有效性。使用一个简单的复杂性度量,一个流行的基准测试任务和一个著名的架构设计,我们展示了数据复杂性如何在网络中演变,它在训练过程中如何变化,以及它如何受到网络设计和训练样本可用性的影响。我们讨论的意见和进一步研究的潜力的影响。
2022-09-01 cs.AI cs.LG
Low-complexity deep learning frameworks for acoustic scene classification
在本报告中,我们提出了用于声学场景分类(ASC)的低复杂度深度学习框架。所提出的框架可以分为四个主要步骤:前端谱图提取,在线数据增强,后端分类和预测概率的后期融合。特别是,我们最初将音频记录转换为Mel,Gammatone和CQT频谱图。接下来,然后应用随机裁剪、Specaugment和Mixup的数据增强方法来生成增强的频谱图,然后将其馈送到基于深度学习的分类器中。最后,为了达到最佳性能,我们融合了从三个独立的分类器中获得的概率,这些分类器是用三种类型的谱图独立训练的。我们在DCASE 2022 Task 1 Development数据集上进行的实验满足了低复杂度的要求,并达到了60.1%的最佳分类准确率,使DCASE基线提高了17.2%。
2022-06-13 cs.LG cs.SD eess.AS
Statistical Characteristics of Deep Representations: An Empirical Investigation
Seoul National University(首尔大学)
在这项研究中,八个表示正则化方法的影响进行了研究,包括两个新开发的秩正则化(RR)。调查表明,在训练过程中,相关性、稀疏性和秩等表示的统计特性可以按预期进行操作。此外,可以通过尝试所有的表示正则化器并微调其效果的强度来提高基线性能。与性能改善相反,性能和统计特征之间没有一致的关系。结果表明,操纵的统计特性可以有助于提高性能,但只有间接通过其对学习动力学或其调谐效果的影响。
2020-12-02 cs.LG stat.ML
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions
Nanjing Normal University(南京师范大学);Nanjing University(南京大学)
近年来,深度神经网络在各个领域都掀起了一股研究热潮,但理论上还没有得到很好的理解。深度神经网络的理论表征应该指出它们的近似能力和复杂性,即,显示哪种架构和大小足以处理相关任务。这项工作通过理论上研究深度神经网络对不变函数的逼近和复杂性,在这个方向上迈出了一步。我们首先证明了不变函数可以被深度神经网络普遍逼近。然后,我们证明了各种类型的神经网络模型,包括复值神经网络,卷积神经网络和贝叶斯神经网络使用多项式数量的参数或优化迭代,可以渐近近似广泛的不变函数。我们还提供了一个可行的应用程序,连接参数估计和预测的高分辨率信号与我们的理论结论。仿真实验结果表明了该方法的有效性。
2022-10-27 cs.AI cs.LG
Pruning Deep Convolutional Neural Networks Architectures with Evolution Strategy
University of São Paulo(圣保罗大学);Oklahoma State University(俄克拉荷马州立大学)
目前,深度卷积神经网络(DCNN)由于其学习和适应能力而被用于解决机器学习和人工智能领域中的各种问题。然而,大多数成功的DCNN模型具有高计算复杂性,使得它们难以部署在移动或嵌入式平台上。这个问题促使许多研究人员开发算法和方法,以帮助减少这种模型的计算复杂性。其中之一被称为滤波器修剪,其中卷积滤波器被消除以减少参数的数量,从而减少给定模型的计算复杂性。在目前的工作中,我们提出了一种新的算法来执行过滤器修剪使用多目标演化策略(ES)算法,称为DeepPruningES。我们的方法避免了在修剪过程中使用任何知识的需要,并通过返回三个修剪后的CNN模型来帮助决策者,这些模型在性能和计算复杂性之间具有不同的权衡。我们表明,DeepPruningES可以通过在三种DCNN架构上进行测试来显着降低模型的计算复杂性:卷积神经网络(CNN),残差神经网络(ResNets)和密集连接神经网络(DenseNets)。
2020-11-30 cs.LG cs.NE
Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
Department of Computer Science University of Wisconsin-Madison(计算机科学系威斯康星大学麦迪逊分校);Department of Electrical & Computer Engineering University of Wisconsin-Madison(电气与计算机工程系威斯康星大学麦迪逊分校)
研究开发深度全连接神经网络统一函数空间理论,通过特定递归定义函数,统一多种想法,证明新表示定理和复杂性界,在单变量ReLU情况有“深度饱和”结果,揭示深度与复杂性在函数空间视角下的新关系。
2026-07-08 cs.LG math.FA stat.ML
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University(斯坦福大学)
本文基于几何(Clifford)代数与凸优化,证明深度ReLU网络的最优权重由训练样本楔积给出,将训练简化为楔积特征的凸优化,为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
A Robust and Low Complexity Deep Learning Model for Remote Sensing Image Classification
HCMC University of Technology(胡志明市理工大学);Austrian Institute of Technology(奥地利技术研究所);Pintel ltd.(Pintel有限公司)
在本文中,我们提出了一个强大的和低复杂度的深度学习模型,用于遥感图像分类(RSIC),识别遥感图像的场景的任务。特别是,我们首先评估了不同的低复杂度和基准深度神经网络:MobileNetV 1,MobileNetV 2,NASNetMobile和EfficientNetB 0,它们的可训练参数数量低于500万(M)。在指出最佳网络架构后,我们通过将注意力方案应用于从网络中间层提取的多个特征图来进一步提高网络性能。为了解决使用注意方案时增加模型占用空间的问题,我们应用量化技术来满足最大20 MB内存占用。通过在基准数据集NWPU-RESISC 45上进行广泛的实验,我们实现了一个鲁棒且低复杂度的模型,该模型与最先进的系统相比非常具有竞争力,并且具有在边缘设备上实际应用的潜力。
2022-12-12 cs.CV cs.LG eess.IV
Representation Based Complexity Measures for Predicting Generalization in Deep Learning
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度神经网络可以泛化,尽管被显著过度参数化。最近的研究试图从各种观点来研究这种现象,并提供基于这些观点的泛化误差或泛化差距的预测措施的泛化误差的界限,例如基于范数的,基于PAC贝叶斯的,和基于边缘的分析。在这项工作中,我们从深层神经网络内部表示的质量角度对泛化进行了解释,基于人类视觉系统如何创建不变和未纠缠的对象表示的神经科学理论。我们没有提供理论上的界限,而是展示了实际的复杂性度量,这些度量可以通过临时计算来揭示深度模型中的泛化行为。我们还提供了我们的解决方案的详细描述,该解决方案赢得了在NeurIPS 2020举行的NeurIPS竞赛中关于深度学习中预测泛化的竞赛。我们的解决方案的实现可在https://github.com/parthnatekar/pgdl上获得。
2020-12-04 cs.CV cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University(明治大学)
实践结果表明,使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数,使损失函数最小化。我们首先展示了理论证据,动量方法(动量)和自适应矩估计(亚当)在这个意义上表现良好,理论性能指标的上限是小的恒定学习率,超参数接近一个,和一个大批量。接下来,我们表明,存在一个批量大小称为临界批量大小最小化随机一阶预言机(SFO)的复杂性,这是随机梯度计算成本,和SFO复杂性增加,一旦批量大小超过临界批量大小。最后,我们提供了支持我们的理论结果的数值结果。也就是说,数值结果表明,亚当使用一个小的恒定的学习率,超参数接近1,和临界批量大小最小化SFO复杂性比动量和随机梯度下降(SGD)具有更快的收敛。
2022-08-21 cs.LG math.OC
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
On the Number of Linear Regions of Deep Neural Networks
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Université de Montréal(蒙特利尔大学)
我们研究了具有分段线性激活的深度前馈神经网络可计算函数的复杂性,包括对称性和线性区域的数量。深度网络能够顺序地将每层输入空间的部分映射到相同的输出。通过这种方式,深度模型计算出的函数对不同输入的复杂模式的反应是相同的。这些函数的组合结构使它们能够在网络深度方面以指数方式重用计算片段。本文研究了这种组成图的复杂性,并贡献了新的理论结果,关于深度的优势,神经网络分段线性激活函数。特别是,我们的分析不是特定于一个单一的家庭的模型,作为一个例子,我们采用它的整流器和maxout网络。我们从现有的工作中改进了复杂性界限,并研究了更高层单元的行为。
2014-06-07 cs.LG cs.NE stat.ML
Reducing Deep Network Complexity via Sparse Hierarchical Fourier Interaction Networks
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
本文针对深度网络复杂度问题,提出融合分层逐块傅里叶变换与Top K掩码机制的稀疏分层傅里叶交互网络,实现局部细节与全局上下文的同时获取,并通过保留关键频谱系数降低复杂度。
2025-04-17 cs.CV cs.LG
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University(哈佛大学);OpenAI
我们发现,各种现代深度学习任务都表现出“双下降”现象,即随着模型大小的增加,性能首先变差,然后变好。此外,我们表明,双下降发生不仅作为模型大小的函数,而且作为训练时期的数量的函数。通过定义一个新的复杂性测度,我们称之为有效模型复杂性,并猜想关于这个测度的广义双下降,我们统一了上述现象。此外,我们的模型复杂性的概念,使我们能够确定某些制度,增加(甚至翻两番)的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
A Two-Scale Complexity Measure for Deep Learning Models
Department of Mathematics, University of Trento(特伦托大学数学系);DSH, Bruno Kessler Fondation(DSH布鲁诺·凯斯勒基金会);Department of Mathematics, ETH(苏黎世联邦理工学院数学系);IBM Quantum, IBM Research Europe(IBM量子计算,IBM欧洲研究院)
本文提出基于有效维度的容量度量 2sED,可证明界定泛化误差,并通过逐层迭代近似使其适用于大规模深度学习模型,实验显示其与训练误差相关且近似效果良好。
2025-01-09 cs.LG stat.ML
DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep Filtering
WS Audiology(WS听力集团)
复值处理将基于深度学习的语音增强和信号提取带到了一个新的水平。通常,该过程基于应用于噪声频谱图的时频(TF)掩模,而复数掩模(CM)由于其修改相位的能力而通常优于实值掩模。最近的工作建议使用复数滤波器,而不是与掩码的逐点乘法。这允许利用每个频段内的局部相关性来合并来自先前和未来时间步长的信息。在这项工作中,我们提出了DeepFilterNet,一个两阶段的语音增强框架,利用深度过滤。首先,我们使用ERB缩放增益来增强频谱包络,从而模拟人类的频率感知。第二阶段采用深度滤波来增强语音的周期性分量。除了利用语音的感知特性之外,我们还通过可分离卷积和线性和递归层中的广泛分组来增强网络稀疏性,以设计低复杂度架构。我们进一步表明,我们的两级深度滤波方法在各种频率分辨率和延迟上优于复杂掩码,并与其他最先进的模型相比,证明了令人信服的性能。
2022-02-01 cs.LG eess.AS eess.SP
Rademacher Complexity of the Restricted Boltzmann Machine
玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块,在深度学习领域得到了广泛的应用,并取得了巨大的成功。然而,理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散(CD-1)方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实,即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。
2015-12-07 cs.LG
On the combined effect of class imbalance and concept complexity in deep learning
University of Alberta(阿尔伯塔大学);National Research Council of Canada(加拿大国家研究委员会);American University(美利坚大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
结构概念复杂性、类重叠和数据稀缺性是影响分类器在类不平衡条件下性能的一些最重要的因素。当这些效应在21世纪初被发现时,可以理解的是,它们被证明的分类器属于经典而不是深度学习方法类别。随着深度学习逐渐超越经典机器学习,并开始在关键的应用环境中使用,系统地评估它们对经典机器学习在过去二十年中所面临的挑战的反应是非常重要的。本文的目的是研究深度学习系统在以前被认为对经典机器学习系统具有挑战性的环境中的行为,以确定系统的深度是否是这种环境中的资产。人工和真实世界图像数据集(MNIST Fashion,CIFAR-10)的结果表明,这些设置对深度学习系统来说仍然是最具挑战性的,更深层次的架构似乎有助于解决结构概念的复杂性,但对简单人工领域的重叠挑战没有帮助。数据稀缺性也不能通过更深层次的数据来克服。在真实世界的图像域中,过拟合比人工域更受关注,更深架构的优势不太明显:虽然在某些情况下可以观察到,但随着模型变得更深,并且表现比浅模型更差,它很快就会被取消。
2021-07-29 cs.LG
Spectral complexity of deep neural networks
RoMaDS - Department of Mathematics, University of Rome Tor Vergata(罗马第一大学数学系罗马塔 Vergata 分部)
该研究提出用极限高斯过程的角功率谱表征深度网络架构复杂度,定义相关随机变量序列并按深度渐近分布将网络分为三类,揭示不同激活函数的特征,且通过数值模拟验证了理论结果。
2025-05-19 cs.LG math.PR stat.ML
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而,对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中,我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性,它们对反同态作用的稳定性,以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后,我们描述了相应的再生核希尔伯特空间(RKHS),表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开,并提供模型复杂性的规范度量,即RKHS范数,它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型,我们的稳定性分析也适用于卷积网络与一般的激活,如整流线性单元,我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
为了更好地理解深度学习中的泛化,我们研究了几种可能的解释。我们表明,由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点,我们研究了不同的复杂性度量如何确保泛化,并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性,提出了与神经网络中的不变性相似的复杂性度量和优化算法,并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出基于非参数统计学的深度主动学习方法,首次提供了近最优的标签复杂性保证,无需低噪声假设,并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation
Stanford University(斯坦福大学)
现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制,并且通过矩阵范数的乘积指数地依赖于深度。下限表明,当不考虑训练数据的附加属性时,这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实,即这些界限只通过余量依赖于训练数据。在实践中,许多数据相关的技术,如Batchnorm,提高了泛化性能。对于前馈神经网络和RNN,我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限:网络隐藏层的范数,以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时,我们的边界在深度上是多项式的,这在实践中通常是这样的。为了获得这些界限,我们开发了一般的工具,用于增强一系列的功能,使其组成Lipschitz,然后覆盖增广功能。受我们理论的启发,我们在训练过程中直接正则化网络的雅可比矩阵,并实证证明这提高了测试性能。
2020-04-10 cs.LG stat.ML
On the Local Complexity of Linear Regions in Deep ReLU Networks
Department of Mathematics, UCLA, USA;Department of Statistics \& Data Science, UCLA, USA
本文定义了神经网络线性区域的局部复杂度,证明学习低维特征的 ReLU 网络具有更低局部复杂度,并以此建立特征学习与对抗鲁棒性及优化机制间的理论联系。
2025-07-14 cs.LG
Predicting Generalization in Deep Learning via Local Measures of Distortion
University of California, San Francisco(加州大学旧金山分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们通过诉诸最初在近似和信息论中开发的复杂性度量来研究深度学习中的泛化。虽然这些概念受到深度学习的高维和数据定义性质的挑战,但我们表明,简单的矢量量化方法(如PCA,GARCH和SVM)在逐层应用于深度提取的特征时捕捉到了它们的精神,从而产生了相对廉价的复杂性度量,与泛化性能密切相关。我们在2020年NeurIPS PGDL挑战中讨论了我们的结果。
2020-12-16 cs.LG stat.ML
Linear Time Complexity Deep Fourier Scattering Network and Extension to Nonlinear Invariants
Rice University(莱斯大学);AMU(艾克斯-马赛大学);University of Toulon(土伦大学);ENSAM(法国国立高等工程技术学校);CNRS(法国国家科学研究中心)
在本文中,我们提出了一个可扩展的版本的最先进的确定性时不变特征提取方法的基础上连续变化的基础和非线性,即散射网络。本文的第一个重点是扩展散射网络,允许使用高阶非线性,以及提取非线性和基于傅立叶的统计,导致任何固有结构化输入所需的不变量。为了达到快速卷积和利用小波的内在结构,我们在傅立叶域中推导出我们的完整模型。除了提供快速的计算,我们现在能够利用稀疏矩阵,由于非常高的稀疏性以及本地化的傅立叶域。因此,我们能够在傅立叶域中实现真正的线性时间复杂度,从而为机器学习任务提供快速且节能的解决方案。验证的功能和计算结果,将通过使用这些不变系数进行分类的音频记录的鸟类歌声捕获在多个不同的音景。最后,讨论了所提出的解决方案对深度人工神经网络的适用性。
2017-07-18 cs.LG stat.ML
Sample Complexity of Nonparametric Off-Policy Evaluation on Low-Dimensional Manifolds using Deep Networks
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院)
我们考虑使用深度卷积神经网络的强化学习的偏离策略评估问题。我们分析了深度拟合的Q-评价方法,用于估计目标策略的预期累积回报,当数据是从未知的行为策略生成的。我们表明,通过适当地选择网络大小,可以利用马尔可夫决策过程中的任何低维流形结构,并获得一个样本有效的估计,而不会遭受高数据环境维度的诅咒。具体地说,我们建立了一个精确的拟合Q估计误差界,它依赖于状态-作用空间的内禀维数、Bellman算子的光滑性和函数类限制的$χ^2$ -发散性.值得注意的是,受限的$χ^2$ -发散度量行为和目标策略的{函数空间中的\it不匹配},即使两个策略在其表格形式中彼此不接近,其也可以很小。我们还发展了一个新的Q函数估计的卷积神经网络的逼近结果。数值实验支持我们的理论分析。
2022-10-04 cs.LG stat.ML
Evaluation of Complexity Measures for Deep Learning Generalization in Medical Image Analysis
University of Idaho(爱达荷大学)
针对深度学习医学图像分析跨域泛化性能难预测的问题,本文通过乳腺超声图像实验验证25种复杂度度量与泛化能力的相关性,发现PAC-Bayes平坦度等度量解释性最优,且多任务学习可作为隐式正则化提升泛化。
2023-07-19 cs.CV cs.LG
NeurIPS 2020 Competition: Predicting Generalization in Deep Learning
Google Research(谷歌研究院);University of Toronto(多伦多大学);Element AI;Microsoft Research(微软研究院);University Paris-Saclay(巴黎-萨克雷大学);ChaLearn
理解深度学习中的泛化可以说是深度学习中最重要的问题之一。深度学习已经成功地应用于从模式识别到复杂决策的大量问题,但最近许多研究人员对深度学习提出了许多担忧,其中最重要的是泛化。尽管进行了许多尝试,但传统的统计学习方法仍然无法对深度学习的工作原理提供令人满意的解释。最近的一系列工作旨在解决这个问题,试图通过复杂性的措施来预测泛化性能。在这个竞赛中,我们邀请社区提出可以准确预测模型泛化的复杂性度量。一个强大而通用的复杂性度量可能会更好地理解深度学习的底层机制和深度模型在不可见数据上的行为,或者揭示更好的泛化边界。所有这些结果对于使深度学习更加强大和可靠都很重要。
2020-12-14 cs.LG stat.ML
Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds
Stanford University(斯坦福大学)
该研究针对深度ReLU网络非光滑场景下Adam优化理论理解不足的问题,结合分层莫尔斯理论与Kakeya集新结果,提出多层细化框架,首次得到Adam的泛化界与非凸非光滑下的全局最优收敛结果,且界优于PAC-Bayes方法。
2025-05-21 cs.LG stat.ML
Universal characteristics of deep neural network loss surfaces from random matrix theory
School of Mathematics, University of Bristol(布里斯托大学数学学院);Mathematical Institute, University of Oxford(牛津大学数学研究所);Huawei AI Research(华为人工智能研究院)
本文基于随机矩阵理论,结合海森矩阵真实模型推导深度神经网络谱离群值的普适特征,揭示随机矩阵局部定律在预条件梯度下降中的作用,并通过统计物理工具分析损失曲面,为理解深度神经网络提供理论见解。
2022-06-20 cond-mat.dis-nn cs.LG math-ph
Homological Neural Networks: A Sparse Architecture for Multivariate Complexity
University College London(伦敦大学学院);London School of Economics(伦敦政治经济学院)
本文提出一种基于数据同调结构的稀疏高阶图架构深度神经网络单元,仅需少量参数即可在表格数据和时间序列回归任务上打平或超越现有最先进模型。
2023-06-27 cs.AI cs.LG
Neural Complexity Measures
AITRICS;KAIST(韩国科学技术院);BARO AI;Seoul South Korea(首尔(韩国));Daejeon South Korea(大田(韩国))
虽然存在用于深度神经网络的各种复杂性度量,但指定能够预测和解释深度网络中的泛化的适当度量已被证明具有挑战性。我们提出了神经复杂性(NC),这是一个用于预测泛化的元学习框架。我们的模型通过以数据驱动的方式与许多异构任务进行交互来学习标量复杂性度量。可以将训练的NC模型添加到标准训练损失中,以在标准监督学习场景中正则化任何任务学习器。我们将NC的方法与现有的手动设计的复杂性度量和其他元学习模型进行了对比,并验证了NC在多元回归和分类任务上的性能
2020-10-23 cs.LG stat.ML
On sample complexity of neural networks
Universidade de Lisboa(里斯本大学);Centro de Matemática e Aplicações Fundamentais(基础数学与应用中心)
我们认为由深度神经网络定义的函数是实数域的o-最小扩展中的可定义对象,并推导出此类网络的样本复杂度的几乎线性(在权重数量上)界。
2019-10-24 cs.LG stat.ML
How Complex is your classification problem? A survey on measuring classification complexity
Instituto Tecnológico de Aeronáutica(航空技术研究所);Universidade de Brasília(巴西利亚大学);University of Bonn(波恩大学);University of Orléans(奥尔良大学);IBM Watson(IBM沃森)
从分类问题的训练数据集中提取的特征已被证明是一些荟萃分析中的有效预测因子。其中,分类复杂性的度量可以用来估计将数据点分离到其期望类别中的难度。数据的空间分布的描述符和决策边界的形状和大小的估计是用于该表征的已知测量。这些信息可以支持制定新的数据驱动的预处理和模式识别技术,而这些技术又可以侧重于问题的这些特点所突出的挑战。本文调查和分析的措施,可以从训练数据集中提取,以表征各自的分类问题的复杂性。他们在最近的文献中的使用也进行了审查和讨论,允许在该领域的未来工作的前景机会。最后,描述了一个名为扩展复杂性库(ECoL)的R包,它实现了一组复杂性度量,并公开提供。
2020-12-30 cs.LG stat.ML
Sampling Complexity of Deep Approximation Spaces
Johann Radon Institute for Computational and Applied Mathematics (RICAM), Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所(RICAM));Faculty of Mathematics, University of Vienna(维也纳大学数学学院)
本研究基于信息复杂度框架,证明使用 ReQU 激活函数的神经网络在逼近某些函数时同样需要指数增长的样本数量,扩展了 ReLU 情形下的理论到实践差距结果。
2023-12-20 cs.IT cs.LG math.FA
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);The American University in Cairo(开罗美国大学)
本文提出QuBD方法,用于估计深度神经网络权重的算法复杂度,揭示训练过程中复杂度随学习阶段的变化规律,为模型压缩提供理论依据。
2026-11-10 cs.LG
Adversarial Rademacher Complexity of Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University Suzhou(南京大学苏州校区)
研究深度神经网络对抗攻击下的泛化问题,引入中间对抗样本概念及计算框架,给出深度神经网络对抗拉德马赫复杂度的首个界定,并通过实验表明权重范数是影响稳健泛化差距的关键因素。
2026-07-09 cs.LG
A Low-Complexity Plug-and-Play Deep Learning Model for Massive MIMO Precoding Across Sites
Polytechnique Montréal(蒙特利尔理工学院);Ericsson Canada’s R&D(爱立信加拿大研发部)
针对现有大规模MIMO预编码方法复杂度高的问题,提出一种基于深度学习的预编码器,结合元学习域泛化和师生架构提升跨环境泛化能力,在未见过的站点实现低复杂度下的优异和速率,微调后性能优于WMMSE且复杂度至少降低73倍。
2025-02-12 cs.LG eess.SP
A Branched Deep Convolutional Network for Forecasting the Occurrence of Hazes in Paris using Meteorological Maps with Different Characteristic Spatial Scales
该研究开发了一种分支深度卷积网络,利用多年代际气象图预测巴黎雾霾发生,通过保留不同输入特征的空间信息,在验证和盲测中均取得合理性能。
2023-10-16 cs.LG physics.ao-ph
Scalable deep fusion of spaceborne lidar and synthetic aperture radar for global forest structural complexity mapping
University of Maryland(马里兰大学)
针对星载激光雷达采样稀疏难以实现高分辨率连续制图的问题,提出融合GEDI与多模态SAR的可扩展深度学习框架,生成全球25米分辨率森林结构复杂度图,支持多时相监测与生态保护应用。
2025-10-07 cs.CV cs.LG stat.AP