Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing
Georgia Institute of Technology(佐治亚理工学院);ByteDance(字节跳动)
许多多域神经机器翻译(NMT)模型通过强制一个编码器学习跨域的共享嵌入来实现知识转移。然而,这种设计缺乏对各个领域的适应。为了克服这一限制,我们提出了一种新的多域NMT模型,每个域使用单独的模块,我们应用字级,自适应和逐层域混合。我们首先观察到,一个句子中的单词通常与多个域相关。因此,我们假设每个词都有一个领域比例,这表明了它的领域偏好。然后,通过基于其域比例将其嵌入到各个域中来获得单词表示。我们表明,这可以通过精心设计的多头点产品的注意力模块为不同的领域,并最终采取加权平均值的参数字级逐层域的比例。通过这种方式,我们可以实现有效的领域知识共享,并捕获细粒度的特定领域的知识。我们的实验表明,我们提出的模型优于现有的几个NMT任务。
2021-02-12 cs.CL cs.LG
Neural-g: A Deep Learning Framework for Mixing Density Estimation
University of South Carolina(南卡罗来纳大学);University at Buffalo(布法罗大学);University of Minnesota(明尼苏达大学)
本文提出 neural-g,一种基于 softmax 输出层的神经网络 g 建模估计器,通过通用逼近定理保证灵活性,并采用加权平均梯度下降加速收敛,支持多元先验密度估计,在模拟和真实数据上验证了其有效性。
2024-06-10 cs.LG stat.ML
The Impact of Geometric Complexity on Neural Collapse in Transfer Learning
Google Research(谷歌研究院)
本文通过实验和理论证明,预训练模型的几何复杂度影响神经坍缩,并泛化到新类别,从而提升少样本下游任务性能。
2024-12-18 cs.LG
A note on sample complexity of learning binary output neural networks under fixed input distributions
University of Ottawa(渥太华大学)
我们证明了Sontag(1992)构造的S形神经网络的学习样本复杂度在固定的纯原子分布下达到给定的误分类错误所需的复杂度可以任意快速地增长:对于任何指定的增长率,都存在一个以该增长率为样本复杂度的输入分布,并且该边界是渐近紧的。率可以是超指数,非递归函数等,我们进一步观察到,桑塔格的人工神经网络是不是Glivenko-Cantelli下的任何输入分布具有非原子部分。
2010-07-08 cs.LG
Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns
Purdue University(普渡大学);Amazon(亚马逊)
图神经网络通过融合网络结构和节点特征,在多个基于图的学习任务上取得了巨大的成功。现代GNN模型建立在通过消息传递迭代聚合邻居/邻近特征的基础上。它的预测性能已被证明是由图中的混合约束的,这是一个关键属性,其中具有相似属性的节点相互混合/连接。我们观察到,现实世界中的网络表现出异构或多样化的混合模式和传统的全球测量的非线性,如全球非线性系数,可能不是一个代表性的统计在量化这种混合。我们采用了一个广义的概念,节点级的可学习性,一个基于节点级的概念,以更好地表示不同的模式,并准确地量化GNN的可学习性。我们发现,广泛的GNN模型的预测性能与节点级别的重复性高度相关。为了打破这一限制,在这项工作中,我们专注于将输入图转换成一个计算图,其中包含接近和结构信息作为不同类型的边缘。由此产生的多关系图具有增强的可扩展性,更重要的是,保留了丰富的信息,从原始图。然后,我们建议在这个计算图上运行GNN,并表明在结构和接近度之间进行自适应选择可以提高不同混合下的性能。从经验上讲,我们展示了在各种现实世界的图学习基准测试中采用我们的转换框架进行半监督节点分类任务的好处。
2021-06-11 cs.LG cs.SI
Learned Random Label Predictions as a Neural Network Complexity Metric
University of Münster(明斯特大学)
该研究通过引入可遗忘随机标签的多头CNN架构,将学习随机标签预测用作复杂度度量分析正则化效果、挑战传统CNN认知,并提出新型正则器减少样本记忆,为神经网络复杂度研究提供新方法。
2024-11-29 cs.LG
Polynomial Mixing for Efficient Self-supervised Speech Encoders
Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(巴黎萨克雷大学,法国国家科学研究中心,跨学科数字科学实验室);Miles team, Université Paris-Dauphine-PSL(Miles团队,巴黎Dauphine-PSL大学);Laboratoire Informatique d'Avignon, Avignon Université(阿维尼翁信息实验室,阿维尼翁大学);LIGM, École Nationale des Ponts et Chaussées(LIGM,巴黎国立桥梁与道路学院)
本文提出多项式混合器(PoM)作为自监督语音编码器的高效替代方案,通过线性复杂度实现性能与效率的平衡。
2026-02-28 cs.CL cs.LG
InstaHide's Sample Complexity When Mixing Two Private Images
University of California, Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院);Columbia University(哥伦比亚大学);Boston University(波士顿大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Duke University(杜克大学)
本文针对InstaHide隐私保护方案,提出统一攻击分析框架,并设计新算法在最优样本复杂度下可证明恢复所有私有图像,同时证明其计算安全性。
2024-02-06 cs.CC cs.CR cs.DS
On sample complexity of neural networks
Universidade de Lisboa(里斯本大学);Centro de Matemática e Aplicações Fundamentais(基础数学与应用中心)
我们认为由深度神经网络定义的函数是实数域的o-最小扩展中的可定义对象,并推导出此类网络的样本复杂度的几乎线性(在权重数量上)界。
2019-10-24 cs.LG stat.ML
Unknown mixing times in apprenticeship and reinforcement learning
Google AI(谷歌人工智能);Technion, Israel Institute of Technology(以色列理工学院);Tel Aviv University(特拉维夫大学)
我们推导并分析了学徒学习、策略评估和平均奖励标准的策略梯度的学习算法。现有的算法明确要求混合时间的上限。相比之下,我们建立在马尔可夫链理论的思想,并得出采样算法,不需要这样的上限。对于这些算法,我们提供了理论上的界限,他们的样本复杂度和运行时间。
2020-06-20 cs.LG stat.ML
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley(加州大学伯克利分校)
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗(MCMC)方法的计算复杂性。我们首先表明,贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后,我们证明,后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前,我们提供了一组条件,保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系,直至对数因子。我们的证明控制的马尔可夫链的频谱间隙,通过构建一个典型的路径合奏,启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
Mixing Neural Networks and Exponential Moving Averages for Predicting Wireless Links Behavior
National Research Council of Italy(意大利国家研究委员会);Politecnico di Torino(都灵理工大学);Technische Hochschule OWL(奥WL应用科学大学);Institute Industrial IT(工业IT研究所)
本研究提出两种用于密集室内Wi-Fi链路质量预测的神经网络模型,实验证明其能捕获阴影和多径传播等复杂模式,准确性优于基于指数移动平均的传统方法,有助于提升工业无线通信的确定性与可靠性。
2024-11-17 cs.LG cs.NI
Sequential Signal Mixing Aggregation for Message Passing Graph Neural Networks
Technion(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对消息传递图神经网络中基于求和的聚合器无法混合不同邻居特征的问题,提出序列信号混合聚合SSMA,将邻居特征视为二维离散信号进行顺序卷积,在多个基准上取得显著性能提升。
2024-09-28 cs.LG eess.SP
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
Experimental Evaluation of Computational Complexity for Different Neural Network Equalizers in Optical Communications
Aston University(阿斯顿大学);Infinera(英飞朗)
解决基于神经网络的光信道均衡器,我们量化的性能和复杂性之间的权衡进行比较分析的几个神经网络架构,TWC和SSMF设置的结果。
2021-09-17 cs.LG eess.SP
On the Study of Sample Complexity for Polynomial Neural Networks
UIUC(伊利诺伊大学厄巴纳-香槟分校)
人工神经网络作为一种通用的机器学习方法,已经在许多模式识别和数据分析任务中建立了最先进的基准。在各种类型的神经网络结构中,多项式神经网络(PNN)最近被证明是可通过经由神经切线核的谱分析来分析的,并且在图像生成和人脸识别方面特别有效。然而,获得理论洞察PNN的计算和样本的复杂性仍然是一个悬而未决的问题。在本文中,我们在以往文献中的分析扩展到PNN,并获得新的结果的样本复杂性的PNN,这提供了一些见解,解释的泛化能力的PNN。
2022-09-03 cs.LG stat.ML
Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity
Te Herenga Waka—Victoria University of Wellington(惠灵顿维多利亚大学)
本文实验研究了激活函数、隐藏层和学习率等超参数配置对神经网络Lempel Ziv复杂度与敏感性的影响,基于MNIST数据集揭示了超参数与网络简化特性的关系,深化了相关理论理解。
2024-09-24 cs.AI cs.LG
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP(理化学研究所人工智能研究中心);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校)
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性(例如深度优于宽度)非常相关。然而,在比较不同网络架构的表现力时,它似乎是有限的。当考虑置换不变网络时,由于线性区域之间的对称冗余,这种缺乏变得特别突出。为了解决这个问题,我们提出了一个细化的定义分段线性函数的复杂性:而不是直接计算线性区域的数量,我们首先引入一个等价关系的线性函数组成分段线性函数,然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型,与经典度量一致,并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Generalization bounds for graph convolutional neural networks via Rademacher complexity
Nanjing Audit University(南京审计大学)
研究了图卷积网络(GCN)的样本复杂度,给出了单隐层GCN模型的拉德马赫复杂度的严格上界.在正则条件下,这些复杂性界显式地依赖于图卷积滤波器的最大特征值和图的度分布。再次,我们提供了一个下界的拉德马赫复杂度的GCN显示我们推导的上限的最优性。以两个常用的例子为代表,讨论了我们的结果在设计图卷积滤波器和图分布中的意义。
2021-02-20 cs.LG stat.ML
The sampling complexity of learning invertible residual neural networks
Fudan University(复旦大学);University of Vienna(维也纳大学)
本文研究可逆残差神经网络的采样复杂度,证明从点样本逼近该类网络在均匀范数下仍受维度灾难影响,表明其架构和可逆性无法克服前馈网络的复杂性障碍。
2024-11-08 cs.LG stat.ML
MixNN: Protection of Federated Learning Against Inference Attacks by Mixing Neural Network Layers
Univ Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究院);CITI(信息、图像与智能科学中心)
本文提出基于代理的MixNN系统,通过在参与者间混合神经网络层更新,抵御联邦学习中好奇或恶意聚合服务器的属性推理攻击,并在不降低模型效用的前提下显著减少隐私泄露。
2021-09-26 cs.CR cs.LG
Neural Complexity Measures
AITRICS;KAIST(韩国科学技术院);BARO AI;Seoul South Korea(首尔(韩国));Daejeon South Korea(大田(韩国))
虽然存在用于深度神经网络的各种复杂性度量,但指定能够预测和解释深度网络中的泛化的适当度量已被证明具有挑战性。我们提出了神经复杂性(NC),这是一个用于预测泛化的元学习框架。我们的模型通过以数据驱动的方式与许多异构任务进行交互来学习标量复杂性度量。可以将训练的NC模型添加到标准训练损失中,以在标准监督学习场景中正则化任何任务学习器。我们将NC的方法与现有的手动设计的复杂性度量和其他元学习模型进行了对比,并验证了NC在多元回归和分类任务上的性能
2020-10-23 cs.LG stat.ML
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions
Nanjing Normal University(南京师范大学);Nanjing University(南京大学)
近年来,深度神经网络在各个领域都掀起了一股研究热潮,但理论上还没有得到很好的理解。深度神经网络的理论表征应该指出它们的近似能力和复杂性,即,显示哪种架构和大小足以处理相关任务。这项工作通过理论上研究深度神经网络对不变函数的逼近和复杂性,在这个方向上迈出了一步。我们首先证明了不变函数可以被深度神经网络普遍逼近。然后,我们证明了各种类型的神经网络模型,包括复值神经网络,卷积神经网络和贝叶斯神经网络使用多项式数量的参数或优化迭代,可以渐近近似广泛的不变函数。我们还提供了一个可行的应用程序,连接参数估计和预测的高分辨率信号与我们的理论结论。仿真实验结果表明了该方法的有效性。
2022-10-27 cs.AI cs.LG
Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms
Peking University(北京大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种简单的方法来获得复杂性控制的神经网络与一般激活函数。该方法的动机是用一维ReLU网络近似一般的激活函数,这将问题简化为ReLU网络的复杂性控制。具体来说,我们考虑两层网络和深度残差网络,其中基于路径的范数被导出以控制复杂性。我们还提供了初步的分析,这些规范和先验估计相应的正则化估计引起的函数空间。
2020-09-14 cs.LG stat.ML
Semi-supervised Medical Image Classification with Global Latent Mixing
Rochester Institute of Technology(罗切斯特理工学院)
通过深度学习进行的计算机辅助诊断依赖于大规模的注释数据集,当涉及专家知识时,这可能是昂贵的。半监督学习(SSL)通过利用未标记的数据来缓解这一挑战。一种有效的SSL方法是通过单个数据点周围的扰动来正则化神经函数的局部光滑性。在这项工作中,我们认为,通过填充数据点之间的空隙来正则化神经函数的全局光滑性可以进一步提高SSL。我们提出了一种新的SSL方法,训练神经网络的线性混合的标记和未标记的数据,在输入和潜在的空间,以正则化网络的不同部分。我们评估了两个不同的医学图像数据集的胸部疾病和皮肤病变的半监督分类模型,证明其改进的性能SSL与局部扰动和SSL与全球混合,但在输入空间。我们的代码可在https://github.com/Prasanna1991/LatentMixing上获得。
2020-05-22 cs.CV cs.LG eess.IV
DyMixOp: A Neural Operator Designed from a Complex Dynamics Perspective with Local-Global Mixing for Solving PDEs
School of Aeronautics and Astronautics, Shanghai Jiao Tong University(航空宇航学院,上海交通大学)
DyMixOp通过局部-全局混合机制,从复杂动力学角度设计神经算子,有效解决PDEs的非线性建模问题,实现高精度与高效计算的平衡。
2026-02-09 cs.LG nlin.CD
Word Embeddings for Automatic Equalization in Audio Mixing
University of Plymouth(普利茅斯大学);Plymouth Marine Laboratory(普利茅斯海洋实验室)
近年来,机器学习已被广泛采用以使音频混合过程自动化。自动混合系统已经应用于各种音频效果,诸如增益调整、均衡和混响。这些系统可以通过可视化界面进行控制,提供音频示例,使用旋钮和语义描述符。使用语义描述符或文本信息来控制这些系统是艺术家传达其创作目标的有效方法。在本文中,我们探讨了使用词嵌入来表示语义描述符的新思想。词嵌入通常通过在书面文本的大型语料库上训练神经网络来获得。这些嵌入用作神经网络的输入层,以创建从单词到EQ设置的翻译。使用这种技术,机器学习模型还可以为以前没有见过的语义描述符生成EQ设置。我们将人类的EQ设置与神经网络的预测进行比较,以评估预测的质量。结果表明,嵌入层使神经网络能够理解语义描述符。我们观察到,具有嵌入层的模型比没有嵌入层的模型表现得更好,但仍然不如人类标签。
2022-09-19 cs.LG cs.SD eess.AS
Mixing autoencoder with classifier: conceptual data visualization
Chukyo University(中京大学)
在这篇简短的论文中,神经网络,是能够形成一个低维的拓扑隐藏表示进行说明。神经网络可以被训练为自动编码器、分类器或两者的混合,并且为它们中的每一个产生不同的低维拓扑图。当它被训练成自动编码器时,数据的固有拓扑结构可以被可视化,而当它被训练成分类器时,拓扑结构进一步受到概念的约束,例如数据的标签,因此可视化不仅是结构性的,而且是概念性的。所提出的神经网络显着不同于许多降维模型,主要是在其执行监督和无监督降维的能力。神经网络允许数据的多视角可视化,从而在数据分析中给予更多的灵活性。本文是支持初步的,但直观的可视化实验。
2020-02-21 cs.CV cs.LG cs.NE
Initialization-Dependent Sample Complexity of Linear Predictors and Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了向量值线性预测器和神经网络的初始化相关样本复杂度,提出了基于参数与固定参考矩阵 Frobenius 范数距离的与规模无关的界,解决了前馈神经网络的开放问题,并证明了一个无需一致收敛即可学习的新凸线性预测问题。
2023-10-25 cs.LG stat.ML
Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism
National Taiwan University(台湾大学)
极化码由于其容量实现性能而引起了广泛的关注并在5G新无线电(NR)中被采用。近年来,随着新兴的深度学习(DL)技术在多个领域取得突破性成果,提出了神经网络解码器,以获得比置信传播(BP)解码更快的收敛速度和更好的性能。然而,神经网络是存储密集型的,并且阻碍了DL在通信系统中的部署。在这项工作中,提出了一种低复杂度的递归神经网络(RNN)极性解码器与基于码本的权重量化。我们的测试结果表明,我们可以有效地减少98%的内存开销,降低计算复杂度,轻微的性能损失。
2019-02-02 cs.LG eess.SP
Stacked Convolutional and Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology(坦佩雷理工大学)
本文研究了使用层叠卷积和循环神经网络检测音频片段中的鸟叫声。提出了通过块混合和领域自适应的数据增强,并评估了该方法对未知数据的鲁棒性。研究了两种声学特征(主频和对数梅尔带能量)及其组合在鸟类音频检测中的贡献。我们在开发数据的五次交叉验证中实现的最佳AUC测量值为95.5%,在看不见的评估数据中为88.1%。
2017-06-07 cs.LG cs.SD
Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality
Institut Camille Jordan, Université Jean Monnet(让·蒙特大学坎贝尔·乔丹研究所);THEMA, CY Cergy Paris Université(巴黎中央理工大学THEMA)
本文针对强混合观测数据,提出稀疏惩罚正则化的深度神经网络估计方法,建立期望超额风险与L2误差的神谕不等式,并证明在Hölder复合函数类上达到极小极大最优速率。
2025-07-08 cs.LG stat.ML
Complexity of Training ReLU Neural Network
Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
在本文中,我们探讨了关于使用ReLU激活函数训练神经网络的复杂性的一些基本问题。我们证明了训练一个双隐层前馈ReLU神经网络是NP难的。如果输入数据的维数和网络的拓扑结构是固定的,那么我们证明了存在一个多项式时间的算法,同样的训练问题。我们还表明,如果在ReLU神经网络的第一个隐藏层中提供了足够的过参数化,则存在一个多项式时间算法,该算法可以找到权重,使得过参数化ReLU神经网络的输出与给定数据的输出相匹配。
2020-11-03 cs.CC cs.LG
Using a neural network approach to accelerate disequilibrium chemistry calculations in exoplanet atmospheres
Leiden University(莱顿大学);SRON Netherlands Institute for Space Research(SRON荷兰空间研究所)
本研究提出用神经网络替代一维化学动力学代码中的数学框架,利用自编码器降维并结合类LSTM网络预测热木星大气稳态混合比,在90%情况下预测准确且速度提升约1000倍。
2023-06-12 astro-ph.EP cs.LG
Doubly Residual Neural Decoder: Towards Low-Complexity High-Performance Channel Decoding
Rutgers University(罗格斯大学)
最近,深度神经网络已成功地应用于信道编码中,以提高解码性能。然而,现有的神经信道解码器不能同时实现高解码性能和低复杂度。为了克服这一挑战,在本文中,我们提出了双残差神经(DRN)解码器。通过将残差输入和残差学习集成到神经信道解码器的设计中,DRN能够在保持低复杂度的同时显著提高解码性能。大量的实验结果表明,在不同类型的信道编码,我们的DRN解码器始终优于国家的最先进的解码器在解码性能,模型大小和计算成本。
2021-02-08 cs.IT cs.LG math.IT
Conceptual capacity and effective complexity of neural networks
University of Otago(奥塔哥大学)
我们提出了一种基于不同输入的切空间集合的多样性的神经网络映射函数的复杂性度量。将每个切空间视为线性PAC概念,我们使用基于熵的概念束度量来估计网络的概念容量。ReLU网络的理论最大容量相当于其神经元的数量。然而,在实践中,由于网络内神经元活动之间的相关性,即使对于非常大的网络,实际容量也可能非常小。经验评估表明,这种新的措施是相关的映射函数的复杂性,从而相应的网络的泛化能力。它捕捉了网络功能的有效复杂性,而不是理论复杂性。我们还展示了一些用途的建议措施的训练神经网络模型的分析和比较。
2021-03-13 cs.LG stat.ML
Dynamic Hand Gesture Recognition for Wearable Devices with Low Complexity Recurrent Neural Networks
Seoul National University(首尔大学)
手势识别对于许多可穿戴设备来说是一项非常重要的技术。虽然以前的算法大多是基于统计方法,包括隐马尔可夫模型,我们开发了两个动态手势识别技术,使用低复杂度的递归神经网络(RNN)算法。一种是基于视频信号,采用卷积神经网络(CNN)和RNN的组合结构。另一种使用加速度计数据,只需要RNN。进行将大部分权重量化为两位的定点优化,以优化用于权重存储的存储器大小的量,并降低基于硬件和软件的实现中的功耗。
2016-08-14 cs.CV cs.LG
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Size-Independent Sample Complexity of Neural Networks
Harvard University(哈佛大学);MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院)
我们研究学习神经网络的样本复杂性,通过提供新的界限,其Rademacher复杂性假设范数约束的参数矩阵的每一层。与以前的工作相比,这些复杂性边界对网络深度的依赖性有所改善,并且在一些额外的假设下,完全独立于网络大小(深度和宽度)。这些结果是使用一些新的技术,这可能是独立的利益。
2019-11-17 cs.LG cs.NE stat.ML
Complexity-Scalable Neural Network Based MIMO Detection With Learnable Weight Scaling
University College London(伦敦大学学院)
本文介绍了一种基于深度神经网络(DNN)的MIMO检测器的系统复杂度缩放框架。该模型使用DNN输入的一部分,通过遵循单调非递增函数的权重来缩放其值。这允许在不同的DNN层之间和内部进行权重缩放,以实现准确性-vs.推理过程中的复杂性可伸缩性。为了进一步提高我们的建议的性能,我们引入了一个稀疏诱导正则化约束与可训练的权重缩放函数。通过这种方式,网络学习平衡检测精度与复杂度,同时还增加了对激活模式变化的鲁棒性,从而在相同的推理复杂度下进一步提高检测精度和BER性能。数值结果表明,我们的方法是10倍和100倍的复杂性比经典的方法的基础上半定松弛和ML检测,分别。
2020-07-01 cs.LG eess.SP
Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了使用非重叠滤波器学习单隐层卷积神经网络(CNN)的样本复杂度。我们提出了一种新的算法,称为近似梯度下降训练CNN,并表明,具有很高的概率,所提出的算法与随机初始化授予一个线性收敛的地面真理参数统计精度。与已有的工作相比,我们的结果适用于一般的非平凡、单调和Lipschitz连续的激活函数,包括ReLU、Leaky ReLU、Sigmod和Softplus等。事实上,我们的结果与学习具有线性激活函数的一个隐藏层CNN的信息理论下限相匹配,这表明我们的样本复杂度很紧。我们的理论分析得到了数值实验的支持。
2019-11-12 cs.LG stat.ML
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Periodic Spectral Ergodicity: A Complexity Measure for Deep Neural Networks and Neural Architecture Search
University of Hamburg(汉堡大学)
在深度神经网络(DNN)的结构和泛化能力之间建立关联是现代机器学习中的一项具有挑战性的任务。为这一挑战提供解决方案将在DNN的理论理解和有效构建新架构方面取得进展。在这项工作中,我们通过开发一种新的复杂性度量来应对这一挑战,该度量基于起源于量子统计力学的{周期谱遍历性}(PSE)的概念。基于这种测量,设计了一种技术来从学习的权重量化深度神经网络的复杂性,并以顺序的方式遍历网络连接,因此术语级联PSE(cPSE)作为经验复杂性测量。这种测量将同时捕获拓扑和内部神经处理复杂性。由于这种级联方法,即,PSE在连续层上的对称发散,可以将该测量用于神经架构搜索(NAS)。我们在两组视觉模型ResNet和VGG上证明了这种方法的实用性,并为更复杂的网络结构绘制了cPSE的计算。
2020-04-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Exploring the Complexity of Deep Neural Networks through Functional Equivalence
The Hong Kong Polytechnic University(香港理工大学)
该研究从功能等价性视角探究深度神经网络复杂度,提出新的覆盖数界证明复杂度可降低,还发现其能优化训练、解释过参数化现象,为深度学习泛化与优化研究提供新见解。
2024-05-15 cs.LG math.ST stat.TH
MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Google AI(谷歌人工智能)
基于图神经网络(如图卷积网络)的半监督学习方法不能学习一般的邻域混合关系。为了解决这个问题,我们提出了一个新的模型,MixHop,它可以通过重复混合不同距离的邻居的特征表示来学习这些关系,包括差异运算符。Mixhop不需要额外的内存或计算复杂性,并且在具有挑战性的基线上表现出色。此外,我们提出了稀疏正则化,使我们能够可视化网络如何在不同的图数据集上优先考虑邻域信息。我们对学习架构的分析表明,邻域混合因数据集而异。
2019-06-19 cs.LG cs.SI stat.ML
A General Constructive Upper Bound on Shallow Neural Nets Complexity
Institute of Computer Science(计算机科学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Department of Artificial Intelligence(人工智能系);Department of Mathematics(数学系)
本文提出一个构造性上界,给出浅层神经网络在紧集上以给定精度逼近任意连续函数所需的神经元数量,方法受Stone-Weierstrass定理证明启发,更具一般性。
2025-10-07 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Achieving Low Complexity Neural Decoders via Iterative Pruning
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);National University of Singapore(新加坡国立大学)
深度学习的进步导致了用于低延迟通信的神经解码器的发展。然而,神经解码器可能非常复杂,这可能导致计算和延迟增加。我们考虑迭代修剪方法(如彩票假设算法)修剪神经解码器中的权重。具有较少数量的权重的解码器可以具有较低的延迟和较低的复杂度,同时保持原始模型的准确性。这将使神经解码器更适合计算能力有限的移动和其他边缘设备。我们还提出了半软判决解码的神经解码器,可用于改善比特出错率性能的修剪网络。
2022-11-16 cs.IT cs.LG math.IT
Some Complexity Results for Robustness Verification for Binarized Neural Networks
Indian Institute of Technology Goa(印度理工学院Goa)
本文通过从布尔可满足性问题归约证明二值化神经网络的可满足性是NP完全的,并利用均匀遮挡导致的网络输出分段常数结构,提出多项式时间鲁棒性检查算法。
2026-07-17 cs.CC cs.LG
Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
ANU College of Engineering, Computing and Cybernetics(澳大利亚国立大学工程、计算与控制学院)
本文通过实证研究发现grokking现象不仅存在于神经网络中,也出现在高斯过程、线性回归和贝叶斯神经网络等模型中,并提出了通过添加虚假信息维度诱导grokking的机制,表明该现象可能普遍存在于由复杂度和误差引导解搜索的模型中。
2024-04-01 cs.LG stat.ML
ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
ROTE基准通过LZW复杂度控制的符号序列,评估神经架构的精确记忆能力,揭示记忆质量、滚动稳定性与计算开销之间的权衡。
2026-09-29 cs.AI cs.LG
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks
Imperial College London(帝国理工学院);University of Oxford(牛津大学)
我们研究了使用ReLU和$x^2$作为激活函数的神经网络的特性,并在以前的结果的基础上表明,解析函数和Sobolev空间中的函数都可以通过这种具有恒定深度的网络近似到任意精度,从而证明了所有非线性近似器(包括标准ReLU网络)的最优阶近似率。然后,我们将展示如何利用低局部维数在某些情况下,以克服灾难的维数,获得近似率是最佳的未知的低维子空间。
2023-01-30 cs.LG cs.NE
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal(蒙特利尔大学 MILA);University of Toronto(多伦多大学);Institut des Hautes Études Scientifiques, France(法国高等科学研究所);Carnegie Mellon University(卡内基梅隆大学)
本文系统地分析了循环神经网络(RNN)的连接结构。我们的主要贡献是两方面的:首先,我们提出了一个严格的图论框架,描述了一般RNN的连接架构。其次,我们提出了RNN的三种架构复杂度度量:(a)递归深度,它捕获RNN随时间的非线性复杂度,(b)前馈深度,它捕获局部输入输出非线性(类似于前馈神经网络(FNN)中的“深度”),以及(c)递归跳跃系数,它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明,RNN可能受益于更大的递归深度和前馈深度。我们进一步证明,增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE