Task complexity shapes internal representations and robustness in neural networks
Universitat de Barcelona(巴塞罗那大学);Universitat de Barcelona Institute of Complex Systems(巴塞罗那大学复杂系统研究所);Center for Complex Networks and Systems Research(复杂网络与系统研究所以);ICREA
研究通过五种数据无关探针分析任务难度对神经网络表示拓扑和鲁棒性的影响,发现二值化权重会降低性能,而保留符号结构可维持高精度。
2026-05-11 cs.AI cs.LG physics.soc-ph
Concept-Oriented Deep Learning: Generative Concept Representations
IBM(IBM(国际商业机器公司))
与判别式概念表示相比,生成式概念表示具有三大优势:能够表示不确定性,支持学习和推理的集成,有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习,以及使用变分自编码器和生成对抗网络来学习生成概念表示,特别是对于数据是序列,结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University(斯坦福大学)
本文基于几何(Clifford)代数与凸优化,证明深度ReLU网络的最优权重由训练样本楔积给出,将训练简化为楔积特征的凸优化,为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
Reducing the Complexity of Deep Learning Models for EEG Analysis on Wearable Devices
University of Tehran(德黑兰大学);Mälardalen University(梅拉达伦大学);Royal Institute of Technology(皇家理工学院)
研究通过参数量化和电极减少方法,在资源受限的可穿戴设备上部署DNN模型,实现脑电图分析中精度与复杂度的权衡。
2026-07-08 cs.AI cs.AR
Low-complexity deep learning frameworks for acoustic scene classification using teacher-student scheme and multiple spectrograms
Austrian Institute of Technology (AIT)(奥地利技术研究所(AIT));University of Essex(埃塞克斯大学);Ho Chi Minh University of Technology(胡志明市理工大学)
提出一种基于教师-学生方案和多种频谱图的低复杂度声学场景分类深度学习系统,通过知识蒸馏训练低复杂度学生网络,在DCASE 2023数据集上实现57.4%准确率,较基线提升14.5%。
2023-05-16 cs.AI cs.SD eess.AS
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University(东南大学)
通过将深度网络和物理学联系起来,提出了深度网络几何化方案,作为深度学习系统可解释性的框架。根据这个计划,我们可以将物理学的两个关键思想,物理学的几何化和最小作用原理应用于深度网络,并提供深度网络的新图景:深度网络作为信息的存储空间,其中存储器的容量,鲁棒性和效率与深度网络的复杂性,泛化性和解纠缠密切相关。这种理解的关键组成部分包括:(1)基于Fisher度量的网络复杂性公式;(2)深度网络上的最小作用(复杂性=作用)原则;(3)建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
Human-Guided Complexity-Controlled Abstractions
MIT(麻省理工学院);UC Irvine(加州大学尔湾分校)
本文提出通过调节离散表示分布的熵来控制表示复杂度,并证明人类能够借助可视化选择适合任务的复杂度水平,从而利用人类洞察实现快速模型微调。
2023-10-27 cs.AI cs.LG
Evaluating representations by the complexity of learning low-loss predictors
Courant Institute, New York University(纽约大学柯朗研究所);Columbia University(哥伦比亚大学)
我们考虑的问题,评估表示的数据用于解决下游任务。我们建议通过在感兴趣的任务上实现低损失的表示上学习预测器的复杂性来衡量表示的质量,并引入两种方法,剩余描述长度(SDL)和$\varepsilon$样本复杂性($\varepsilon$ SC)。与先前的方法相比,这些方法测量关于存在于特定量的数据中的最佳预测器的信息量,我们的方法测量从数据中恢复最佳预测器的近似值所需的信息量,直到指定的公差。我们提出了一个框架来比较这些方法的基础上绘制的验证损失与评估数据集的大小(“损失数据”曲线)。现有的措施,如互信息和最小描述长度探针,对应于沿损失数据曲线的数据轴的切片和积分,而我们的对应于沿损失轴的切片和积分。我们提供了真实数据的实验,以比较这些方法中的每一种在不同大小的数据集上的行为,以及在https://github.com/willwhitney/reprieve上用于表示评估的高性能开源库。
2021-02-05 cs.AI cs.LG stat.ML
Exploring the Complexity of Deep Neural Networks through Functional Equivalence
The Hong Kong Polytechnic University(香港理工大学)
该研究从功能等价性视角探究深度神经网络复杂度,提出新的覆盖数界证明复杂度可降低,还发现其能优化训练、解释过参数化现象,为深度学习泛化与优化研究提供新见解。
2024-05-15 cs.LG math.ST stat.TH
AdaptiveK: Complexity-Driven Sparse Autoencoders for Interpretable Language Model Representations
Zhejiang University(浙江大学);University of Illinois Chicago(伊利诺伊大学香槟分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出 AdaptiveK SAE,根据输入语义复杂度动态调整稀疏度,利用线性探针引导特征分配,在重构保真度、解释方差、余弦相似度和可解释性指标上优于固定稀疏度方法。
2026-06-01 cs.LG
Arithmetic Circuits, Structured Matrices and (not so) Deep Learning
University at Buffalo(布法罗大学)
本调查对算术电路复杂性、结构化矩阵和深度学习交叉点的结果进行了不完整(且有偏见)的概述。最近有一些研究活动在用结构化权重矩阵替换神经网络中的非结构化权重矩阵(目的是减少相应的深度学习模型的大小)。这项工作大部分都是实验性的,在这项调查中,我们将研究问题形式化,并展示了最近结合算术电路复杂性,结构化矩阵和深度学习的工作如何从根本上回答这个问题。本调查针对的是复杂性理论家,他们可能会喜欢阅读关于在算术电路复杂性方面开发的工具如何帮助设计(据我们所知)一个新的结构化矩阵家族,这反过来又非常适合深度学习的应用。然而,我们希望那些对深度学习感兴趣的人也能欣赏与复杂性理论的联系。
2022-10-31 cs.CC cs.LG
Rademacher Complexity of the Restricted Boltzmann Machine
玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块,在深度学习领域得到了广泛的应用,并取得了巨大的成功。然而,理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散(CD-1)方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实,即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。
2015-12-07 cs.LG
On the combined effect of class imbalance and concept complexity in deep learning
University of Alberta(阿尔伯塔大学);National Research Council of Canada(加拿大国家研究委员会);American University(美利坚大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
结构概念复杂性、类重叠和数据稀缺性是影响分类器在类不平衡条件下性能的一些最重要的因素。当这些效应在21世纪初被发现时,可以理解的是,它们被证明的分类器属于经典而不是深度学习方法类别。随着深度学习逐渐超越经典机器学习,并开始在关键的应用环境中使用,系统地评估它们对经典机器学习在过去二十年中所面临的挑战的反应是非常重要的。本文的目的是研究深度学习系统在以前被认为对经典机器学习系统具有挑战性的环境中的行为,以确定系统的深度是否是这种环境中的资产。人工和真实世界图像数据集(MNIST Fashion,CIFAR-10)的结果表明,这些设置对深度学习系统来说仍然是最具挑战性的,更深层次的架构似乎有助于解决结构概念的复杂性,但对简单人工领域的重叠挑战没有帮助。数据稀缺性也不能通过更深层次的数据来克服。在真实世界的图像域中,过拟合比人工域更受关注,更深架构的优势不太明显:虽然在某些情况下可以观察到,但随着模型变得更深,并且表现比浅模型更差,它很快就会被取消。
2021-07-29 cs.LG
On Rademacher Complexity-based Generalization Bounds for Deep Learning
University of Essex(埃塞克斯大学)
本文通过提出新的压缩引理,将Rademacher复杂度框架扩展到更广泛的激活函数,为CNN建立了非平凡泛化界,并改进了现有ReLU DNN的结果。
2025-02-28 cs.LG stat.ML
On Representation Complexity of Model-based and Model-free Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
该研究从电路复杂度角度探究基于模型与无模型强化学习的表示复杂度,理论证明存在MDPs中环境模型易表示但最优Q函数复杂度极高,并通过Mujoco实验验证,为两类算法的样本复杂度差异提供了新解释。
2024-03-11 cs.LG
The Role of Embedding Complexity in Domain-invariant Representations
Massachusetts Institute of Technology(麻省理工学院)
无监督领域自适应的目的是将在源域中训练的假设推广到未标记的目标域。解决这个问题的一种流行方法是学习两个域的域不变嵌入。在这项工作中,我们研究,理论和经验,嵌入复杂性的效果推广到目标域。特别是,这种复杂性会影响目标风险的上限;这也反映在实验中。接下来,我们指定我们的理论框架,多层神经网络。因此,我们开发了一种策略,减轻了嵌入复杂性的敏感性,并根据经验实现了与最佳层相关复杂性权衡相当或更好的性能。
2019-10-13 cs.LG stat.ML
Ultra Low Complexity Deep Learning Based Noise Suppression
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文提出一种两阶段框架并结合通道级特征重定向与改进幂律压缩,在资源受限设备上以3-4倍更低计算和内存实现与最先进方法相当的语音增强噪声抑制性能。
2023-12-13 cs.LG eess.AS eess.SP
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
为了更好地理解深度学习中的泛化,我们研究了几种可能的解释。我们表明,由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点,我们研究了不同的复杂性度量如何确保泛化,并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性,提出了与神经网络中的不变性相似的复杂性度量和优化算法,并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Complexity for deep neural networks and other characteristics of deep feature representations
Jagiellonian University(雅盖隆大学)
我们定义了一个复杂性的概念,它量化了一个神经网络的计算的非线性,以及特征表示的有效维度的补充措施。我们研究了各种数据集的训练网络的这些观测值,并在训练过程中探索它们的动态,特别是幂律缩放。这些可观测量可以用双重方式来理解,即揭示数据集本身作为尺度或深度的函数的隐藏内部结构。所提出的复杂性概念的熵特征应该允许将分析模式从神经科学和统计物理学转移到人工神经网络的领域。所引入的观测量可以应用于生物神经元系统的分析而不作任何改变。
2021-03-17 cond-mat.dis-nn cs.LG cs.NE
Low-complexity deep learning frameworks for acoustic scene classification
在本报告中,我们提出了用于声学场景分类(ASC)的低复杂度深度学习框架。所提出的框架可以分为四个主要步骤:前端谱图提取,在线数据增强,后端分类和预测概率的后期融合。特别是,我们最初将音频记录转换为Mel,Gammatone和CQT频谱图。接下来,然后应用随机裁剪、Specaugment和Mixup的数据增强方法来生成增强的频谱图,然后将其馈送到基于深度学习的分类器中。最后,为了达到最佳性能,我们融合了从三个独立的分类器中获得的概率,这些分类器是用三种类型的谱图独立训练的。我们在DCASE 2022 Task 1 Development数据集上进行的实验满足了低复杂度的要求,并达到了60.1%的最佳分类准确率,使DCASE基线提高了17.2%。
2022-06-13 cs.LG cs.SD eess.AS
Rethinking Model-based, Policy-based, and Value-based Reinforcement Learning via the Lens of Representation Complexity
School of EECS, Peking University(北京大学电子工程与计算机科学学院);Center for Data Science, Peking University(北京大学数据科学中心)
该研究从表示复杂度视角分析强化学习三大范式,揭示模型表示最简单、最优策略次之、最优价值函数最复杂的层级关系,为理解不同RL范式的内在难度提供理论依据。
2024-12-08 cs.AI cs.CC cs.DS
Representation Based Complexity Measures for Predicting Generalization in Deep Learning
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度神经网络可以泛化,尽管被显著过度参数化。最近的研究试图从各种观点来研究这种现象,并提供基于这些观点的泛化误差或泛化差距的预测措施的泛化误差的界限,例如基于范数的,基于PAC贝叶斯的,和基于边缘的分析。在这项工作中,我们从深层神经网络内部表示的质量角度对泛化进行了解释,基于人类视觉系统如何创建不变和未纠缠的对象表示的神经科学理论。我们没有提供理论上的界限,而是展示了实际的复杂性度量,这些度量可以通过临时计算来揭示深度模型中的泛化行为。我们还提供了我们的解决方案的详细描述,该解决方案赢得了在NeurIPS 2020举行的NeurIPS竞赛中关于深度学习中预测泛化的竞赛。我们的解决方案的实现可在https://github.com/parthnatekar/pgdl上获得。
2020-12-04 cs.CV cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University(明治大学)
实践结果表明,使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数,使损失函数最小化。我们首先展示了理论证据,动量方法(动量)和自适应矩估计(亚当)在这个意义上表现良好,理论性能指标的上限是小的恒定学习率,超参数接近一个,和一个大批量。接下来,我们表明,存在一个批量大小称为临界批量大小最小化随机一阶预言机(SFO)的复杂性,这是随机梯度计算成本,和SFO复杂性增加,一旦批量大小超过临界批量大小。最后,我们提供了支持我们的理论结果的数值结果。也就是说,数值结果表明,亚当使用一个小的恒定的学习率,超参数接近1,和临界批量大小最小化SFO复杂性比动量和随机梯度下降(SGD)具有更快的收敛。
2022-08-21 cs.LG math.OC
On the Local Complexity of Linear Regions in Deep ReLU Networks
Department of Mathematics, UCLA, USA;Department of Statistics \& Data Science, UCLA, USA
本文定义了神经网络线性区域的局部复杂度,证明学习低维特征的 ReLU 网络具有更低局部复杂度,并以此建立特征学习与对抗鲁棒性及优化机制间的理论联系。
2025-07-14 cs.LG
Set-valued prediction in hierarchical classification with constrained representation complexity
Ghent University(根特大学);LMU Munich(慕尼黑大学);Poznań University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
集值预测是多类分类中的一个众所周知的概念。当分类器不确定测试实例的类标签时,它可以预测一组类而不是单个类。在本文中,我们专注于分层多类分类问题,其中有效集(通常)对应于层次结构的内部节点。我们认为,这是一个非常强的限制,我们提出了一个放宽通过引入的概念表示复杂性的预测集。结合概率分类器,这导致了一个具有挑战性的推理问题,需要特定的组合优化算法。我们提出了三种方法,并在基准数据集上对其进行了评估:一种基于矩阵向量乘法的朴素方法,一种重新表述为带有冲突图的背包问题的方法,以及一种递归树搜索方法。实验结果表明,最后一种方法是计算效率比其他两种方法,由于层次分解的条件类分布。
2022-03-13 cs.AI cs.LG stat.ML
Discovering and Explaining the Representation Bottleneck of DNNs
Shanghai Jiao Tong University(上海交通大学)
本文从深度神经网络(DNN)中编码的输入变量之间的交互复杂性的角度,探讨了深度神经网络(DNN)特征表示的瓶颈。为此,我们专注于输入变量之间的多阶相互作用,其中的顺序表示的相互作用的复杂性。我们发现DNN更有可能编码太简单的交互和太复杂的交互,但通常无法学习中等复杂度的交互。这种现象被用于不同任务的不同DNN广泛共享。这种现象表明DNN和人类之间存在认知差距,我们称之为表示瓶颈。我们从理论上证明了代表性瓶颈的根本原因。此外,我们提出了一个损失,以鼓励/惩罚特定复杂性的交互学习,并分析了不同复杂性的交互的表征能力。
2022-11-07 cs.AI cs.CV cs.LG
Reducing Deep Network Complexity via Sparse Hierarchical Fourier Interaction Networks
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
本文针对深度网络复杂度问题,提出融合分层逐块傅里叶变换与Top K掩码机制的稀疏分层傅里叶交互网络,实现局部细节与全局上下文的同时获取,并通过保留关键频谱系数降低复杂度。
2025-04-17 cs.CV cs.LG
A Robust and Low Complexity Deep Learning Model for Remote Sensing Image Classification
HCMC University of Technology(胡志明市理工大学);Austrian Institute of Technology(奥地利技术研究所);Pintel ltd.(Pintel有限公司)
在本文中,我们提出了一个强大的和低复杂度的深度学习模型,用于遥感图像分类(RSIC),识别遥感图像的场景的任务。特别是,我们首先评估了不同的低复杂度和基准深度神经网络:MobileNetV 1,MobileNetV 2,NASNetMobile和EfficientNetB 0,它们的可训练参数数量低于500万(M)。在指出最佳网络架构后,我们通过将注意力方案应用于从网络中间层提取的多个特征图来进一步提高网络性能。为了解决使用注意方案时增加模型占用空间的问题,我们应用量化技术来满足最大20 MB内存占用。通过在基准数据集NWPU-RESISC 45上进行广泛的实验,我们实现了一个鲁棒且低复杂度的模型,该模型与最先进的系统相比非常具有竞争力,并且具有在边缘设备上实际应用的潜力。
2022-12-12 cs.CV cs.LG eess.IV
A Measure of the Complexity of Neural Representations based on Partial Information Decomposition
University of Goettingen(哥廷根大学);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动力学与自组织研究所)
本文利用偏信息分解(PID)区分神经元的独特、冗余与协同信息,提出可计算并可通过子采样、粗粒化估计界的“表示复杂度”,实验表明其随网络层加深和训练推进而降低。
2023-05-17 cs.AI cs.IT cs.LG
Deep Generative Model using Unregularized Score for Anomaly Detection with Heterogeneous Complexity
Kobe University(神户大学)
自然图像数据集中异常样本的准确和自动检测可以通过用于图像的端到端建模的概率模型来完成。然而,这样的图像具有异质的复杂性,并且概率模型忽略了具有小异常的简单形状的对象。这是因为概率模型将不期望的较低可能性分配给形状复杂的对象,但这些对象与设定的标准一致。为了克服这个困难,我们提出了一个深度生成模型(DGMs)的非正则化分数,DGMs是利用深度神经网络的生成模型。我们发现,正则化条款的DGMs显着影响异常分数取决于样本的复杂性。通过删除这些项,我们获得了一个未正则化的分数,我们在玩具数据集和真实世界的制造数据集上进行了评估。实验结果表明,非正则化的分数是强大的样本的固有复杂性,可以用来更好地检测异常。
2018-09-04 cs.CV cs.LG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Computational complexity reduction of deep neural networks
United States Naval Academy(美国海军学院);U.S. Army Combat Capabilities Development Command(美国陆军作战能力发展司令部);U.S. Army Research Laboratory(美国陆军研究实验室)
深度神经网络(DNN)在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而,这些DNN在计算上是复杂的,并且如果没有额外的优化和定制,它们在资源受限的平台上的部署是困难的。在本文中,我们描述了DNN架构的概述,并提出了降低计算复杂性的方法,以加快训练和推理速度,使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG
DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep Filtering
WS Audiology(WS听力集团)
复值处理将基于深度学习的语音增强和信号提取带到了一个新的水平。通常,该过程基于应用于噪声频谱图的时频(TF)掩模,而复数掩模(CM)由于其修改相位的能力而通常优于实值掩模。最近的工作建议使用复数滤波器,而不是与掩码的逐点乘法。这允许利用每个频段内的局部相关性来合并来自先前和未来时间步长的信息。在这项工作中,我们提出了DeepFilterNet,一个两阶段的语音增强框架,利用深度过滤。首先,我们使用ERB缩放增益来增强频谱包络,从而模拟人类的频率感知。第二阶段采用深度滤波来增强语音的周期性分量。除了利用语音的感知特性之外,我们还通过可分离卷积和线性和递归层中的广泛分组来增强网络稀疏性,以设计低复杂度架构。我们进一步表明,我们的两级深度滤波方法在各种频率分辨率和延迟上优于复杂掩码,并与其他最先进的模型相比,证明了令人信服的性能。
2022-02-01 cs.LG eess.AS eess.SP
Periodic Spectral Ergodicity: A Complexity Measure for Deep Neural Networks and Neural Architecture Search
University of Hamburg(汉堡大学)
在深度神经网络(DNN)的结构和泛化能力之间建立关联是现代机器学习中的一项具有挑战性的任务。为这一挑战提供解决方案将在DNN的理论理解和有效构建新架构方面取得进展。在这项工作中,我们通过开发一种新的复杂性度量来应对这一挑战,该度量基于起源于量子统计力学的{周期谱遍历性}(PSE)的概念。基于这种测量,设计了一种技术来从学习的权重量化深度神经网络的复杂性,并以顺序的方式遍历网络连接,因此术语级联PSE(cPSE)作为经验复杂性测量。这种测量将同时捕获拓扑和内部神经处理复杂性。由于这种级联方法,即,PSE在连续层上的对称发散,可以将该测量用于神经架构搜索(NAS)。我们在两组视觉模型ResNet和VGG上证明了这种方法的实用性,并为更复杂的网络结构绘制了cPSE的计算。
2020-04-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
(Sometimes) Less is More: Mitigating the Complexity of Rule-based Representation for Interpretable Classification
本文提出了一种基于逻辑神经网络的方法,通过可微的 $L_0$ 正则化近似来减少概念规则集的复杂性,同时保持其性能,并与随机二值化方法进行比较。
2025-09-26 cs.LG
FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs
Microsoft Research(微软研究院)
为了处理强化学习(RL)中的维数灾难,通常的做法是进行参数假设,其中值或策略是某些低维特征空间的函数。这项工作的重点是表示学习的问题:我们如何才能学习这样的功能?在基本(未知)动态对应于低秩过渡矩阵的假设下,我们展示了表示学习问题如何与特定的非线性矩阵分解问题相关。从结构上讲,我们在这些低秩MDP和潜变量模型之间建立了精确的联系,展示了它们如何显着地推广RL中表示学习的先验公式。在数学上,我们开发了FLAMBE,它从事探索和表示学习可证明有效的RL在低秩过渡模型。
2020-07-22 cs.LG stat.ML
Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning
University of Southern California(南加州大学)
我们介绍了Deep-n-Cheap --一个用于搜索深度学习模型的开源AutoML框架。该搜索包括架构和训练超参数,并支持卷积神经网络和多层感知器。我们的框架是针对部署在基准和自定义数据集,因此,提供了更大程度的搜索空间可定制性相比,更有限的搜索,只有预先存在的模型,从文献。我们还介绍了“搜索转移”的技术,它展示了我们的框架发现的模型对多个数据集的泛化能力。Deep-n-Cheap包括用户可自定义的复杂性惩罚,它可以用训练时间或参数数量来权衡性能。具体来说,我们的框架导致模型提供与最先进的性能相当的性能,而训练时间比其他AutoML和模型搜索框架的模型少1-2个数量级。此外,这项工作调查和发展有关搜索过程的各种见解。特别是,我们展示了贪婪策略的优越性,并证明了我们选择贝叶斯优化作为随机/网格搜索的主要搜索方法。
2020-09-05 cs.CV cs.LG stat.ML
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);The American University in Cairo(开罗美国大学)
本文提出QuBD方法,用于估计深度神经网络权重的算法复杂度,揭示训练过程中复杂度随学习阶段的变化规律,为模型压缩提供理论依据。
2026-11-10 cs.LG
Adversarial Rademacher Complexity of Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University Suzhou(南京大学苏州校区)
研究深度神经网络对抗攻击下的泛化问题,引入中间对抗样本概念及计算框架,给出深度神经网络对抗拉德马赫复杂度的首个界定,并通过实验表明权重范数是影响稳健泛化差距的关键因素。
2026-07-09 cs.LG
Low-Complexity LSTM Training and Inference with FloatSD8 Weight Representation
National Taiwan University(台湾大学)
FloatSD技术已被证明在低复杂度卷积神经网络(CNN)训练和推理方面具有出色的性能。在本文中,我们将FloatSD应用于递归神经网络(RNN),特别是长短期记忆(LSTM)。除了FloatSD权重表示之外,我们还将模型训练中的梯度和激活量化为8位。此外,累加的算术精度和权重的主副本从32位降低到16位。我们证明了所提出的训练方案可以从头开始成功训练多个LSTM模型,同时完全保持模型的准确性。最后,为了验证所提出的方法在实现上的优势,我们设计了一个LSTM神经元电路,并表明它实现了显着减少的芯片面积和功耗。
2020-01-23 cs.LG stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Quantifying the effect of representations on task complexity
ETH Zurich(苏黎世联邦理工学院)
我们研究了输入数据表示对学习复杂度的影响。对于学习,我们强调每个模型都隐含地使用一个候选模型分布来处理数据中无法解释的变化,即其噪声模型。如果模型分布与真实分布没有很好地对齐,那么即使是相关的变化也会被视为噪声。然而,至关重要的是,模型和真实分布的对齐可以通过改变数据表示来改变,尽管是隐含的。“更好的”表示可以更好地将模型与真实分布对齐,从而更容易近似数据中的输入-输出关系,而不会丢弃有用的数据变化。为了量化这种对齐效果的数据表示的学习任务的难度,我们利用现有的任务复杂性得分,并显示其连接到表示依赖的信息编码长度的输入。经验上,我们提取必要的统计数据的线性回归近似,并表明这些是足够的预测相对学习性能的结果时,利用广泛的神经网络架构搜索获得不同的数据表示和神经网络类型。我们的结论是,为了确保更好的学习效果,表示可能需要量身定制的任务和模型,以符合模型和任务的隐式分布。
2019-12-19 cs.LG cs.NE stat.ML
Evaluation of Complexity Measures for Deep Learning Generalization in Medical Image Analysis
University of Idaho(爱达荷大学)
针对深度学习医学图像分析跨域泛化性能难预测的问题,本文通过乳腺超声图像实验验证25种复杂度度量与泛化能力的相关性,发现PAC-Bayes平坦度等度量解释性最优,且多任务学习可作为隐式正则化提升泛化。
2023-07-19 cs.CV cs.LG
Pruning Deep Convolutional Neural Networks Architectures with Evolution Strategy
University of São Paulo(圣保罗大学);Oklahoma State University(俄克拉荷马州立大学)
目前,深度卷积神经网络(DCNN)由于其学习和适应能力而被用于解决机器学习和人工智能领域中的各种问题。然而,大多数成功的DCNN模型具有高计算复杂性,使得它们难以部署在移动或嵌入式平台上。这个问题促使许多研究人员开发算法和方法,以帮助减少这种模型的计算复杂性。其中之一被称为滤波器修剪,其中卷积滤波器被消除以减少参数的数量,从而减少给定模型的计算复杂性。在目前的工作中,我们提出了一种新的算法来执行过滤器修剪使用多目标演化策略(ES)算法,称为DeepPruningES。我们的方法避免了在修剪过程中使用任何知识的需要,并通过返回三个修剪后的CNN模型来帮助决策者,这些模型在性能和计算复杂性之间具有不同的权衡。我们表明,DeepPruningES可以通过在三种DCNN架构上进行测试来显着降低模型的计算复杂性:卷积神经网络(CNN),残差神经网络(ResNets)和密集连接神经网络(DenseNets)。
2020-11-30 cs.LG cs.NE
Bridging Lifelong and Multi-Task Representation Learning via Algorithm and Complexity Measure
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Arizona(亚利桑那大学)
研究广义终身表示学习,提出以多任务经验风险最小化为子程序的算法,并引入任务-eluder维度建立样本复杂度界限,适用于一般函数类。
2025-11-03 cs.LG stat.ML
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
利用由于变换而引起的类内方差的先验知识是提高深度神经网络的样本复杂度的有力方法。这使得它们适用于训练数据稀缺的实际重要用例。这种知识不是通过学习获得的,而是通过对这些转换强制执行不变性来嵌入的。不变性可以使用群等变卷积,然后进行池化操作来实现。对于旋转不变性,以前的工作研究了用不变积分取代空间池操作,该积分显式地构造不变表示。不变积分使用单项式,单项式是使用迭代方法选择的,需要昂贵的预训练。我们提出了一种新的单项选择算法的基础上修剪方法,使应用程序更复杂的问题。此外,我们用不同的函数(如加权和、多层感知器和自注意力)替换单项式,从而简化了基于不变积分的架构的训练。我们在Rotated-MNIST、SVHN和CIFAR-10数据集上展示了改进的样本复杂度,其中使用单项式和加权和的基于旋转不变积分的Wide-ResNet架构在有限样本范围内优于各自的基线。我们实现了国家的最先进的结果,使用旋转MNIST和SVHN的旋转是一个主要来源的组内变化的完整数据。在STL-10上,我们使用池化优于标准和旋转等变卷积神经网络。
2022-02-08 cs.LG
Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
Department of Computer Science University of Wisconsin-Madison(计算机科学系威斯康星大学麦迪逊分校);Department of Electrical & Computer Engineering University of Wisconsin-Madison(电气与计算机工程系威斯康星大学麦迪逊分校)
研究开发深度全连接神经网络统一函数空间理论,通过特定递归定义函数,统一多种想法,证明新表示定理和复杂性界,在单变量ReLU情况有“深度饱和”结果,揭示深度与复杂性在函数空间视角下的新关系。
2026-07-08 cs.LG math.FA stat.ML
Multi-Complexity-Loss DNAS for Energy-Efficient and Memory-Constrained Deep Neural Networks
University of Bologna(博洛尼亚大学);Politecnico di Torino(都灵理工大学)
神经架构搜索(NAS)越来越受欢迎,以自动探索深度学习(DL)架构的准确性与计算复杂性的权衡。当针对微小的边缘设备时,DL部署的主要挑战是匹配严格的内存约束,因此大多数NAS算法将模型大小视为复杂性度量。其他方法通过权衡推理操作的准确性和数量来减少DL模型的能量或延迟。能量和内存很少被同时考虑,特别是低搜索成本的差分NAS(DNAS)解决方案。我们克服了这一限制,提出了第一个DNAS,直接解决最现实的情况下,从设计师的角度来看:共同优化的准确性和能源(或延迟)的内存约束下,由目标硬件。我们通过在训练期间将两个复杂度相关的损失函数与独立强度相结合来做到这一点。通过对MLPerf Tiny基准测试套件中的三个边缘相关任务进行测试,我们在能量与精度空间中获得了丰富的Pareto架构集,内存占用限制范围为基线网络的75%至6.25%。当部署在商业边缘设备STM NUCLEO-H743 ZI 2上时,我们的网络在相同的内存限制下,能耗范围为2.18倍,准确度为4.04%,并将能耗降低高达2.2倍,相对于基线的准确度下降可以忽略不计。
2022-06-01 cs.LG
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML