Homological Neural Networks: A Sparse Architecture for Multivariate Complexity
University College London(伦敦大学学院);London School of Economics(伦敦政治经济学院)
本文提出一种基于数据同调结构的稀疏高阶图架构深度神经网络单元,仅需少量参数即可在表格数据和时间序列回归任务上打平或超越现有最先进模型。
2023-06-27 cs.AI cs.LG
Deep Manifold Part 2: Neural Network Mathematics
institutetext: deepManifold(deepManifold机构)
本文提出通过残差驱动迭代构建固定点,揭示神经网络在几何和数据塑性下的学习机制,并推动分布流形复杂性的架构设计。
2025-12-06 cs.AI cs.LG
A Consolidated Approach to Convolutional Neural Networks and the Kolmogorov Complexity
精确量化各种实体之间的相似性的能力已经成为各种问题空间中的基本复杂性,特别是在细胞图像的分类中。当前科学界提出的应用于图像处理领域的相似性度量主要是在有监督的环境中进行的。在这项工作中,我们将探索创新的算法归一化压缩距离度量的基础上信息论概念的柯尔莫哥洛夫复杂性。此外,我们将观察其在卷积神经网络中的可能实现,以促进和自动化视网膜色素上皮细胞培养物的分类,用于在无监督环境中进行年龄相关性黄斑变性干细胞治疗。
2018-11-26 cs.AI cs.CV
Model Complexity-Accuracy Trade-off for a Convolutional Neural Network
卷积神经网络(CNN)在最近的过去取得了巨大的成功,因为更快的GPU和内存访问的出现。CNN真的很强大,因为它们从分层的数据中学习特征,这样它们就可以展示人类大脑V-1特征的结构。在这种情况下,一个巨大的瓶颈是CNN非常大,并且具有非常高的内存占用,因此它们不能用于存储有限的设备,如移动电话,物联网等。在这项工作中,我们研究了MNSIT数据集上的模型复杂度与准确性的权衡,并给出了一个处理这样一个问题的具体框架,给定了系统可以容忍的最坏情况的准确性。在我们的工作中,我们将模型复杂度降低了236倍,与基本模型相比,内存占用减少了19.5倍,同时达到了最差情况下的准确度阈值。
2017-05-09 cs.AI cs.CV
Connectionism, Complexity, and Living Systems: a comparison of Artificial and Biological Neural Networks
Shri Mata Vaishno Devi University(什里马塔瓦伊什诺德维大学);Orthogonal Research and Education Lab(正交研究与教育实验室);OpenWorm Foundation(OpenWorm基金会)
虽然人工神经网络(ANN)在模拟智能行为领域取得了令人印象深刻的成果,但重要的是要记住,它们只是生物神经网络(BNN)的稀疏近似。我们超越了ANN和BNN的比较,介绍了BNN的原理,这些原理可能会指导ANN作为具体神经模型的进一步发展。这些原则包括代表性的复杂性,复杂的网络结构/能量,和强大的功能。然后,我们考虑这些原则的方式,可能会在未来的发展人工神经网络实施。总之,我们考虑了这种比较的效用,特别是在构建更强大和动态的ANN方面。这甚至包括构建一个形态和感觉装置来创建一个具体的ANN,当与BNN的组织和功能优势互补时,它可以释放出逼真网络的适应潜力。
2021-03-15 cs.AI cs.NE q-bio.NC
Adversarial VC-dimension and Sample Complexity of Neural Networks
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在神经网络测试阶段的对抗攻击对安全关键设置中的神经网络的部署构成了挑战。这些攻击可以通过在原始数据上添加人类无法感知的噪声来执行。通过这样做,攻击者可以创建一个对抗性样本,这将导致神经网络错误分类。在本文中,我们试图了解神经网络在对手存在的情况下可以学习的理论限制。首先定义了神经网络的假设空间,并给出了整个神经网络的增长数与每个神经元的增长数之间的关系。结合半空间分类器的对抗VC维,我们得到了具有符号激活函数的神经网络的对抗VC维。
2019-12-18 cs.LG math.ST stat.ML
On sample complexity of neural networks
Universidade de Lisboa(里斯本大学);Centro de Matemática e Aplicações Fundamentais(基础数学与应用中心)
我们认为由深度神经网络定义的函数是实数域的o-最小扩展中的可定义对象,并推导出此类网络的样本复杂度的几乎线性(在权重数量上)界。
2019-10-24 cs.LG stat.ML
Exploring the Complexity of Deep Neural Networks through Functional Equivalence
The Hong Kong Polytechnic University(香港理工大学)
该研究从功能等价性视角探究深度神经网络复杂度,提出新的覆盖数界证明复杂度可降低,还发现其能优化训练、解释过参数化现象,为深度学习泛化与优化研究提供新见解。
2024-05-15 cs.LG math.ST stat.TH
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
On the Study of Sample Complexity for Polynomial Neural Networks
UIUC(伊利诺伊大学厄巴纳-香槟分校)
人工神经网络作为一种通用的机器学习方法,已经在许多模式识别和数据分析任务中建立了最先进的基准。在各种类型的神经网络结构中,多项式神经网络(PNN)最近被证明是可通过经由神经切线核的谱分析来分析的,并且在图像生成和人脸识别方面特别有效。然而,获得理论洞察PNN的计算和样本的复杂性仍然是一个悬而未决的问题。在本文中,我们在以往文献中的分析扩展到PNN,并获得新的结果的样本复杂性的PNN,这提供了一些见解,解释的泛化能力的PNN。
2022-09-03 cs.LG stat.ML
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Generalization bounds for graph convolutional neural networks via Rademacher complexity
Nanjing Audit University(南京审计大学)
研究了图卷积网络(GCN)的样本复杂度,给出了单隐层GCN模型的拉德马赫复杂度的严格上界.在正则条件下,这些复杂性界显式地依赖于图卷积滤波器的最大特征值和图的度分布。再次,我们提供了一个下界的拉德马赫复杂度的GCN显示我们推导的上限的最优性。以两个常用的例子为代表,讨论了我们的结果在设计图卷积滤波器和图分布中的意义。
2021-02-20 cs.LG stat.ML
The sampling complexity of learning invertible residual neural networks
Fudan University(复旦大学);University of Vienna(维也纳大学)
本文研究可逆残差神经网络的采样复杂度,证明从点样本逼近该类网络在均匀范数下仍受维度灾难影响,表明其架构和可逆性无法克服前馈网络的复杂性障碍。
2024-11-08 cs.LG stat.ML
Neural Complexity Measures
AITRICS;KAIST(韩国科学技术院);BARO AI;Seoul South Korea(首尔(韩国));Daejeon South Korea(大田(韩国))
虽然存在用于深度神经网络的各种复杂性度量,但指定能够预测和解释深度网络中的泛化的适当度量已被证明具有挑战性。我们提出了神经复杂性(NC),这是一个用于预测泛化的元学习框架。我们的模型通过以数据驱动的方式与许多异构任务进行交互来学习标量复杂性度量。可以将训练的NC模型添加到标准训练损失中,以在标准监督学习场景中正则化任何任务学习器。我们将NC的方法与现有的手动设计的复杂性度量和其他元学习模型进行了对比,并验证了NC在多元回归和分类任务上的性能
2020-10-23 cs.LG stat.ML
Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms
Peking University(北京大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种简单的方法来获得复杂性控制的神经网络与一般激活函数。该方法的动机是用一维ReLU网络近似一般的激活函数,这将问题简化为ReLU网络的复杂性控制。具体来说,我们考虑两层网络和深度残差网络,其中基于路径的范数被导出以控制复杂性。我们还提供了初步的分析,这些规范和先验估计相应的正则化估计引起的函数空间。
2020-09-14 cs.LG stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Periodic Spectral Ergodicity: A Complexity Measure for Deep Neural Networks and Neural Architecture Search
University of Hamburg(汉堡大学)
在深度神经网络(DNN)的结构和泛化能力之间建立关联是现代机器学习中的一项具有挑战性的任务。为这一挑战提供解决方案将在DNN的理论理解和有效构建新架构方面取得进展。在这项工作中,我们通过开发一种新的复杂性度量来应对这一挑战,该度量基于起源于量子统计力学的{周期谱遍历性}(PSE)的概念。基于这种测量,设计了一种技术来从学习的权重量化深度神经网络的复杂性,并以顺序的方式遍历网络连接,因此术语级联PSE(cPSE)作为经验复杂性测量。这种测量将同时捕获拓扑和内部神经处理复杂性。由于这种级联方法,即,PSE在连续层上的对称发散,可以将该测量用于神经架构搜索(NAS)。我们在两组视觉模型ResNet和VGG上证明了这种方法的实用性,并为更复杂的网络结构绘制了cPSE的计算。
2020-04-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Size-Independent Sample Complexity of Neural Networks
Harvard University(哈佛大学);MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院)
我们研究学习神经网络的样本复杂性,通过提供新的界限,其Rademacher复杂性假设范数约束的参数矩阵的每一层。与以前的工作相比,这些复杂性边界对网络深度的依赖性有所改善,并且在一些额外的假设下,完全独立于网络大小(深度和宽度)。这些结果是使用一些新的技术,这可能是独立的利益。
2019-11-17 cs.LG cs.NE stat.ML
Initialization-Dependent Sample Complexity of Linear Predictors and Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了向量值线性预测器和神经网络的初始化相关样本复杂度,提出了基于参数与固定参考矩阵 Frobenius 范数距离的与规模无关的界,解决了前馈神经网络的开放问题,并证明了一个无需一致收敛即可学习的新凸线性预测问题。
2023-10-25 cs.LG stat.ML
Mixing Complexity and its Applications to Neural Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们建议通过空间约束的棱镜来分析神经网络。我们观察到,在实践中应用的大多数训练算法使用有界内存,这使我们能够使用一个新的概念,我们称之为混合复杂性的时空权衡的研究。这个概念是为了测量使用有界记忆算法的学习能力而设计的。在本文中,我们描述了我们如何使用混合复杂性,以获得新的结果,什么可以和不能使用神经网络学习。
2017-03-02 cs.LG
Conceptual capacity and effective complexity of neural networks
University of Otago(奥塔哥大学)
我们提出了一种基于不同输入的切空间集合的多样性的神经网络映射函数的复杂性度量。将每个切空间视为线性PAC概念,我们使用基于熵的概念束度量来估计网络的概念容量。ReLU网络的理论最大容量相当于其神经元的数量。然而,在实践中,由于网络内神经元活动之间的相关性,即使对于非常大的网络,实际容量也可能非常小。经验评估表明,这种新的措施是相关的映射函数的复杂性,从而相应的网络的泛化能力。它捕捉了网络功能的有效复杂性,而不是理论复杂性。我们还展示了一些用途的建议措施的训练神经网络模型的分析和比较。
2021-03-13 cs.LG stat.ML
Experimental Evaluation of Computational Complexity for Different Neural Network Equalizers in Optical Communications
Aston University(阿斯顿大学);Infinera(英飞朗)
解决基于神经网络的光信道均衡器,我们量化的性能和复杂性之间的权衡进行比较分析的几个神经网络架构,TWC和SSMF设置的结果。
2021-09-17 cs.LG eess.SP
Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了使用非重叠滤波器学习单隐层卷积神经网络(CNN)的样本复杂度。我们提出了一种新的算法,称为近似梯度下降训练CNN,并表明,具有很高的概率,所提出的算法与随机初始化授予一个线性收敛的地面真理参数统计精度。与已有的工作相比,我们的结果适用于一般的非平凡、单调和Lipschitz连续的激活函数,包括ReLU、Leaky ReLU、Sigmod和Softplus等。事实上,我们的结果与学习具有线性激活函数的一个隐藏层CNN的信息理论下限相匹配,这表明我们的样本复杂度很紧。我们的理论分析得到了数值实验的支持。
2019-11-12 cs.LG stat.ML
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Doubly Residual Neural Decoder: Towards Low-Complexity High-Performance Channel Decoding
Rutgers University(罗格斯大学)
最近,深度神经网络已成功地应用于信道编码中,以提高解码性能。然而,现有的神经信道解码器不能同时实现高解码性能和低复杂度。为了克服这一挑战,在本文中,我们提出了双残差神经(DRN)解码器。通过将残差输入和残差学习集成到神经信道解码器的设计中,DRN能够在保持低复杂度的同时显著提高解码性能。大量的实验结果表明,在不同类型的信道编码,我们的DRN解码器始终优于国家的最先进的解码器在解码性能,模型大小和计算成本。
2021-02-08 cs.IT cs.LG math.IT
A General Constructive Upper Bound on Shallow Neural Nets Complexity
Institute of Computer Science(计算机科学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Department of Artificial Intelligence(人工智能系);Department of Mathematics(数学系)
本文提出一个构造性上界,给出浅层神经网络在紧集上以给定精度逼近任意连续函数所需的神经元数量,方法受Stone-Weierstrass定理证明启发,更具一般性。
2025-10-07 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
ANU College of Engineering, Computing and Cybernetics(澳大利亚国立大学工程、计算与控制学院)
本文通过实证研究发现grokking现象不仅存在于神经网络中,也出现在高斯过程、线性回归和贝叶斯神经网络等模型中,并提出了通过添加虚假信息维度诱导grokking的机制,表明该现象可能普遍存在于由复杂度和误差引导解搜索的模型中。
2024-04-01 cs.LG stat.ML
ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
ROTE基准通过LZW复杂度控制的符号序列,评估神经架构的精确记忆能力,揭示记忆质量、滚动稳定性与计算开销之间的权衡。
2026-09-29 cs.AI cs.LG
SGD learning on neural networks: leap complexity and saddle-to-saddle dynamics
EPFL(洛桑联邦理工学院);MIT(麻省理工学院);Stanford University(斯坦福大学)
本文提出跳跃复杂度度量,证明两层神经网络在SGD下学习低维支撑函数的复杂度为~Θ(d^{max(Leap,2)}),并揭示鞍点至鞍点动力学,超越先前工作并匹配CSQ下界。
2023-08-31 cs.LG stat.ML
Complexity for deep neural networks and other characteristics of deep feature representations
Jagiellonian University(雅盖隆大学)
我们定义了一个复杂性的概念,它量化了一个神经网络的计算的非线性,以及特征表示的有效维度的补充措施。我们研究了各种数据集的训练网络的这些观测值,并在训练过程中探索它们的动态,特别是幂律缩放。这些可观测量可以用双重方式来理解,即揭示数据集本身作为尺度或深度的函数的隐藏内部结构。所提出的复杂性概念的熵特征应该允许将分析模式从神经科学和统计物理学转移到人工神经网络的领域。所引入的观测量可以应用于生物神经元系统的分析而不作任何改变。
2021-03-17 cond-mat.dis-nn cs.LG cs.NE
Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism
National Taiwan University(台湾大学)
极化码由于其容量实现性能而引起了广泛的关注并在5G新无线电(NR)中被采用。近年来,随着新兴的深度学习(DL)技术在多个领域取得突破性成果,提出了神经网络解码器,以获得比置信传播(BP)解码更快的收敛速度和更好的性能。然而,神经网络是存储密集型的,并且阻碍了DL在通信系统中的部署。在这项工作中,提出了一种低复杂度的递归神经网络(RNN)极性解码器与基于码本的权重量化。我们的测试结果表明,我们可以有效地减少98%的内存开销,降低计算复杂度,轻微的性能损失。
2019-02-02 cs.LG eess.SP
Achieving Low Complexity Neural Decoders via Iterative Pruning
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);National University of Singapore(新加坡国立大学)
深度学习的进步导致了用于低延迟通信的神经解码器的发展。然而,神经解码器可能非常复杂,这可能导致计算和延迟增加。我们考虑迭代修剪方法(如彩票假设算法)修剪神经解码器中的权重。具有较少数量的权重的解码器可以具有较低的延迟和较低的复杂度,同时保持原始模型的准确性。这将使神经解码器更适合计算能力有限的移动和其他边缘设备。我们还提出了半软判决解码的神经解码器,可用于改善比特出错率性能的修剪网络。
2022-11-16 cs.IT cs.LG math.IT
Complexity of Training ReLU Neural Network
Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
在本文中,我们探讨了关于使用ReLU激活函数训练神经网络的复杂性的一些基本问题。我们证明了训练一个双隐层前馈ReLU神经网络是NP难的。如果输入数据的维数和网络的拓扑结构是固定的,那么我们证明了存在一个多项式时间的算法,同样的训练问题。我们还表明,如果在ReLU神经网络的第一个隐藏层中提供了足够的过参数化,则存在一个多项式时间算法,该算法可以找到权重,使得过参数化ReLU神经网络的输出与给定数据的输出相匹配。
2020-11-03 cs.CC cs.LG
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们设计了一个低复杂度的分散学习算法,训练最近提出的大型神经网络中的分布式处理节点(工人)。我们假设工人之间的通信网络是同步的,可以建模为一个双随机混合矩阵,没有任何主节点。在我们的设置中,训练数据分布在工人之间,但由于隐私和安全问题,在训练过程中不共享。使用交替方向乘法器(ADMM)以及分层凸优化方法,我们提出了一个分散的学习算法,具有较低的计算复杂性和工人之间的通信成本。我们表明,它是可能实现等效的学习性能,如果数据是在一个单一的地方。最后,我们通过实验验证了算法的时间复杂度和收敛性。
2020-09-29 cs.DC cs.LG stat.ML
Exponentially Improving the Complexity of Simulating the Weisfeiler-Lehman Test with Graph Neural Networks
MIT(麻省理工学院);Amazon AWS(亚马逊云科技)
最近的工作表明,图神经网络(GNN)在区分非同构图方面的表达能力与Weisfeiler-Lehman(WL)图测试完全相同。特别是,他们表明WL测试可以用GNN来模拟。然而,这些模拟涉及神经网络的“组合”功能的大小多项式,甚至指数的图形节点$n$的数量,以及特征向量的长度线性$n$。我们提出了一个改进的模拟的WL测试的GNN与\emph{exponentially}较低的复杂性。特别地,在每个节点中实现组合功能的神经网络在$n$中仅具有多对数数量的参数,并且由GNN的节点交换的特征向量仅由$O(\log n)$位组成。我们还给出了特征向量长度和神经网络大小的对数下界,表明我们的构造是(近)最优的。
2022-12-21 cs.LG stat.ML
Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression
University of Science and Technology of China(中国科学技术大学)
本文系统研究神经图像压缩中的率-失真-复杂度(RDC)优化,通过将解码复杂度纳入优化目标,设计可变复杂度编解码器以自适应利用空间依赖性,实现细粒度复杂度调整,兼顾率失真性能与解码效率。
2023-05-12 cs.IT cs.LG eess.IV
Spectral complexity of deep neural networks
RoMaDS - Department of Mathematics, University of Rome Tor Vergata(罗马第一大学数学系罗马塔 Vergata 分部)
该研究提出用极限高斯过程的角功率谱表征深度网络架构复杂度,定义相关随机变量序列并按深度渐近分布将网络分为三类,揭示不同激活函数的特征,且通过数值模拟验证了理论结果。
2025-05-19 cs.LG math.PR stat.ML
A Measure of the Complexity of Neural Representations based on Partial Information Decomposition
University of Goettingen(哥廷根大学);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动力学与自组织研究所)
本文利用偏信息分解(PID)区分神经元的独特、冗余与协同信息,提出可计算并可通过子采样、粗粒化估计界的“表示复杂度”,实验表明其随网络层加深和训练推进而降低。
2023-05-17 cs.AI cs.IT cs.LG
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学);Facebook AI Research & Courant Institute(脸书人工智能研究和库朗研究所)
尽管现有的工作,以确保推广的神经网络的规模敏感的复杂性措施,如规范,利润和锐度,这些复杂性措施没有提供一个解释,为什么神经网络更好地推广过参数化。在这项工作中,我们提出了一种新的基于单位容量的复杂性度量,从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关,随着网络规模的增加,并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界,该下界比之前的神经网络容量下界有所改进。
2018-05-30 cs.LG stat.ML
Bounding the Rademacher Complexity of Fourier neural operators
Seoul National University(首尔大学)
傅立叶神经算子(FNO)是物理学启发的机器学习方法之一。特别是,它是一个神经操作员。近年来,已经开发了几种类型的神经运算符,例如,深度算子网络、图神经算子(GNO)和基于多小波的算子(MWTO)。与其他模型相比,FNO计算效率高,可以学习函数空间之间的非线性算子,而不依赖于某个有限基。在这项研究中,我们研究了基于特定群体规范的FNO的Rademacher复杂性的边界。利用基于这些范数的容量,对模型的泛化误差进行了约束。此外,我们还研究了经验泛化误差和FNO建议容量之间的相关性。从我们的研究结果来看,我们推断群体规范的类型决定了存储在容量中的关于FNO模型的权重和结构的信息。然后,我们通过实验证实了这些推论。基于这一事实,我们深入了解了FNO模型中使用的模式数对泛化误差的影响。我们得到的实验结果与我们的见解一致。
2022-09-26 cs.LG stat.ML
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT(麻省理工学院)
经验风险最小化(ERM)在机器学习中无处不在,并且是大多数监督学习方法的基础。虽然已经有大量的工作,各种ERM问题的算法,确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题,包括内核支持向量机,内核岭回归,并训练神经网络的最后一层。特别是,我们给这些问题的复杂性理论假设的基础上,如强指数时间假设的条件硬度结果。在这些假设下,我们表明,有没有算法,解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失,这是主要的计算负担,在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Controlling Model Complexity in Probabilistic Model-Based Dynamic Optimization of Neural Network Structures
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
在单个训练循环中同时优化神经网络结构和连接权值的方法可以减少神经结构搜索的巨大计算成本。研究了基于概率模型的动态神经网络结构优化方法,该方法考虑了网络结构参数的概率分布,并基于梯度法同时优化了网络的分布参数和连接权值。由于现有算法只搜索最小化训练损失的结构,因此该方法可能会发现过于复杂的结构。在本文中,我们提出了一个惩罚项的引入,以控制模型的复杂性得到的结构。我们制定了一个惩罚项使用的重量或单位的数量,并推导出其分析自然梯度。该方法基于随机梯度下降算法,使目标函数最小化并注入惩罚项。我们将所提出的方法应用于全连接神经网络的单元选择和卷积神经网络的连接选择。实验结果表明,该方法可以在保持性能的同时控制模型复杂度。
2019-07-15 cs.LG cs.NE stat.ML
The Impact of Geometric Complexity on Neural Collapse in Transfer Learning
Google Research(谷歌研究院)
本文通过实验和理论证明,预训练模型的几何复杂度影响神经坍缩,并泛化到新类别,从而提升少样本下游任务性能。
2024-12-18 cs.LG
A note on sample complexity of learning binary output neural networks under fixed input distributions
University of Ottawa(渥太华大学)
我们证明了Sontag(1992)构造的S形神经网络的学习样本复杂度在固定的纯原子分布下达到给定的误分类错误所需的复杂度可以任意快速地增长:对于任何指定的增长率,都存在一个以该增长率为样本复杂度的输入分布,并且该边界是渐近紧的。率可以是超指数,非递归函数等,我们进一步观察到,桑塔格的人工神经网络是不是Glivenko-Cantelli下的任何输入分布具有非原子部分。
2010-07-08 cs.LG
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University(江南大学);University of Surrey(萨里大学);ByteDance AI Lab(字节跳动人工智能实验室)
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络(DD-CNN)。具体来说,我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中,使用深度可分离卷积来降低网络复杂度。此外,SpecAugment和Disout用于进一步提高性能。实验结果表明,我们的DD-CNN可以从音频片段中学习有区别的声学特征,并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务,在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
Dynamic Hand Gesture Recognition for Wearable Devices with Low Complexity Recurrent Neural Networks
Seoul National University(首尔大学)
手势识别对于许多可穿戴设备来说是一项非常重要的技术。虽然以前的算法大多是基于统计方法,包括隐马尔可夫模型,我们开发了两个动态手势识别技术,使用低复杂度的递归神经网络(RNN)算法。一种是基于视频信号,采用卷积神经网络(CNN)和RNN的组合结构。另一种使用加速度计数据,只需要RNN。进行将大部分权重量化为两位的定点优化,以优化用于权重存储的存储器大小的量,并降低基于硬件和软件的实现中的功耗。
2016-08-14 cs.CV cs.LG
Modularity as a Means for Complexity Management in Neural Networks Learning
SIANI Institute(SIANI研究所);University of Las Palmas de Gran Canaria(拉斯帕尔马斯德大加那利大学)
训练具有大量参数或复杂架构的神经网络(NN)会产生使优化过程复杂化的不良现象。为了解决这个问题,我们提出了第一个模块化的NN设计方法,其中NN被分解为一个控制模块和几个功能模块,实现原始操作。我们通过比较单片和模块化NN在列表排序问题上的性能来说明模块化概念,并在训练速度,训练稳定性和可维护性方面显示出优势。我们还讨论了模块化NN中出现的一些问题。
2019-02-25 cs.LG cs.NE stat.ML
Complexity-Scalable Neural Network Based MIMO Detection With Learnable Weight Scaling
University College London(伦敦大学学院)
本文介绍了一种基于深度神经网络(DNN)的MIMO检测器的系统复杂度缩放框架。该模型使用DNN输入的一部分,通过遵循单调非递增函数的权重来缩放其值。这允许在不同的DNN层之间和内部进行权重缩放,以实现准确性-vs.推理过程中的复杂性可伸缩性。为了进一步提高我们的建议的性能,我们引入了一个稀疏诱导正则化约束与可训练的权重缩放函数。通过这种方式,网络学习平衡检测精度与复杂度,同时还增加了对激活模式变化的鲁棒性,从而在相同的推理复杂度下进一步提高检测精度和BER性能。数值结果表明,我们的方法是10倍和100倍的复杂性比经典的方法的基础上半定松弛和ML检测,分别。
2020-07-01 cs.LG eess.SP
Attention-based Neural Network for Driving Environment Complexity Perception
Virginia Tech(弗吉尼亚理工大学)
环境感知对于自动驾驶汽车(AV)的安全至关重要。现有的AV感知算法大多没有研究周围环境的复杂性,也没有考虑环境复杂性参数。提出了一种新的基于注意力的神经网络模型来预测周围驾驶环境的复杂程度。该模型以自然驾驶视频和相应的车辆动力学参数作为输入。它由Yolo-v3目标检测算法、热图生成算法、基于CNN的特征提取器和基于注意力的特征提取器组成,用于视频和时间序列车辆动态数据输入以提取特征。所提出的算法的输出是周围环境的复杂性参数。Berkeley DeepDrive数据集(BDD数据集)和主观标记的周围环境复杂度水平用于模型训练和验证,以评估算法。所提出的基于注意力的网络实现了91.22%的平均分类准确率分类周围环境的复杂性。实验结果表明,该方法可以准确预测环境复杂度,并可用于未来无人机环境感知研究。
2021-06-21 cs.CV cs.LG cs.RO
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
在这项工作中,我们评估的物理信息神经网络(PINNs)解决日益复杂的耦合常微分方程(ODE)的能力。我们专注于一对基准:离散偏微分方程和谐振子,其中每一个都有一个可调参数,控制其复杂性。即使通过改变网络架构并应用最先进的训练方法来解释“困难”的训练区域,我们也表明PINN最终无法产生这些基准的正确解决方案,因为它们的复杂性-方程的数量和时域的大小-增加。我们确定了几个原因,为什么这可能是这种情况下,包括网络容量不足,条件差的常微分方程,和高的局部曲率,测量的拉普拉斯的PINN损失。
2022-10-14 cs.LG cs.NA math.NA
Learned Random Label Predictions as a Neural Network Complexity Metric
University of Münster(明斯特大学)
该研究通过引入可遗忘随机标签的多头CNN架构,将学习随机标签预测用作复杂度度量分析正则化效果、挑战传统CNN认知,并提出新型正则器减少样本记忆,为神经网络复杂度研究提供新方法。
2024-11-29 cs.LG
On Characterizing the Capacity of Neural Networks using Algebraic Topology
Carnegie Mellon University(卡内基梅隆大学)
不同神经结构的可学习性可以直接通过数据复杂性的可计算度量来表征。在本文中,我们将架构选择的问题重新定义为理解数据如何决定最适合该数据的表达性和可推广的架构,超越归纳偏见。在提出代数拓扑作为数据复杂性的度量之后,我们证明了网络在其决策区域中表达数据集的拓扑复杂性的能力是其泛化能力的严格限制因素。然后,我们提供了第一个经验表征的神经网络的拓扑能力。我们的实证分析表明,在数据集复杂性的每一个层次上,神经网络都表现出拓扑相变。这一观察使我们能够将现有的理论与经验驱动的关于全连接神经网络架构选择的理论联系起来。
2018-02-13 cs.CG cs.LG cs.NE
Computational complexity reduction of deep neural networks
United States Naval Academy(美国海军学院);U.S. Army Combat Capabilities Development Command(美国陆军作战能力发展司令部);U.S. Army Research Laboratory(美国陆军研究实验室)
深度神经网络(DNN)在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而,这些DNN在计算上是复杂的,并且如果没有额外的优化和定制,它们在资源受限的平台上的部署是困难的。在本文中,我们描述了DNN架构的概述,并提出了降低计算复杂性的方法,以加快训练和推理速度,使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG