Multi-modal biometric authentication: Leveraging shared layer architectures for enhanced security
本研究提出一种整合面部、声音和签名数据的多模态生物特征认证系统,采用CNN与RNN结合双重共享层架构,通过联合损失训练及PCA融合和GBM分类,显著提升认证准确性与鲁棒性。
2024-11-04 cs.CV cs.LG
Gradual DropIn of Layers to Train Very Deep Neural Networks
Naval Research Laboratory(海军研究实验室);University of Maryland(马里兰大学)
我们引入了在训练过程中动态增长神经网络的概念。特别是,不可训练的深度网络从可训练的浅网络开始,新添加的层在训练过程中缓慢、有机地添加,从而增加了网络的深度。这是通过一个新的层来完成的,我们称之为DropIn。DropIn层通过传递来自前一层的输出(有效地跳过新添加的层)开始,然后越来越多地包括来自新层的单元用于前馈和反向传播。我们表明,传统方法无法训练的深度网络将与散布在架构中的DropIn层融合。此外,我们证明了DropIn在训练过程中以类似于dropout的方式提供正则化。实验描述了MNIST数据集和各种扩展的LeNet架构,CIFAR-10数据集的架构从3层扩展到11层,以及AlexNet架构扩展到13层和VGG 16层架构的ImageNet数据集。
2015-11-22 cs.CV cs.LG cs.NE
Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition
Huawei Technologies(华为技术有限公司)
本文提出一种面向硬件的低秩分解压缩方法,通过选择性地压缩ResNet50网络层,在Ascend硬件上实现训练加速5.36%、推理加速15.79%,而准确率仅下降1%。
2023-09-21 cs.CV cs.LG
Task agnostic continual learning with Pairwise layer architecture
提出一种无需任务边界的静态架构方法,通过成对交互层利用稀疏表示提升持续学习性能,在MNIST和FashionMNIST上验证了有效性。
2024-05-22 cs.LG
Layered Quantum Architecture Search for 3D Point Cloud Classification
University of Siegen(锡根大学);MPI for Informatics(马克斯·普朗克信息研究所)
本文提出分层量子架构搜索方法,通过逐步增长和适应量子电路架构,提升3D点云分类性能,优于传统量子优化方法。
2026-03-20 cs.CV cs.LG quant-ph
Deep Layer Aggregation
UC Berkeley(加州大学伯克利分校)
视觉识别需要丰富的表示,从低到高的级别,从小到大的尺度,从细到粗的分辨率。即使卷积网络中的特征具有深度,孤立的层也是不够的:复合和聚合这些表示可以改进对什么和在哪里的推断。架构工作正在探索网络骨干的许多维度,设计更深或更广的架构,但如何最好地聚合网络中的层和块值得进一步关注。虽然跳跃连接已被纳入到组合层,这些连接本身是“浅”的,只有通过简单的,一步操作的融合。我们通过更深层次的聚合来增强标准架构,以更好地融合各层信息。我们的深层聚合结构迭代和分层地合并特征层次,使网络具有更好的准确性和更少的参数。跨架构和任务的实验表明,与现有的分支和合并方案相比,深层聚合提高了识别和分辨率。代码在https://github.com/ucbdrive/dla。
2019-01-04 cs.CV cs.LG
Context-based Deep Learning Architecture with Optimal Integration Layer for Image Parsing
Central Queensland University(中央昆士兰大学)
深度学习模型最近在图像解析任务上很有效。然而,深度学习模型并不完全能够同时利用视觉和上下文信息。所提出的三层基于上下文的深层架构能够显式地将上下文与视觉信息集成。这里的新颖思想是具有视觉层以从基于二进制类的学习器学习视觉特征,上下文层以学习上下文,然后集成层通过基于遗传算法的最优融合从两者学习以产生最终决策。在基准数据集上评估的实验结果是有希望的。进一步的分析表明,优化的网络权重可以提高性能,并作出稳定的预测。
2022-04-13 cs.AI cs.CV cs.LG
Swapout: Learning an ensemble of deep architectures
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们描述了一种新的随机训练方法Swapout,它的性能优于相同网络结构的ResNet,在CIFAR-10和CIFAR-100上取得了令人印象深刻的结果。交换样本来自一组丰富的架构,包括辍学,随机深度和残留架构作为特殊情况。当被视为一种正则化方法时,swapout不仅抑制了层中单元的共同适应,类似于dropout,而且还跨网络层。我们推测,swapout实现强正则化隐式绑定跨层的参数。当被视为一种集成训练方法时,它比现有的方法(如dropout或随机深度)采样更丰富的架构集。我们提出了一个参数化,揭示了连接到现有的架构,并提出了一个更丰富的架构进行探索。我们表明,我们的公式提出了一种有效的训练方法,并验证了我们对CIFAR-10和CIFAR-100匹配最先进准确性的结论。值得注意的是,我们的32层更宽的模型与1001层的ResNet模型表现相似。
2016-05-20 cs.CV cs.LG cs.NE
Learning Features with Parameter-Free Layers
NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
卷积构建块等可训练层是标准的网络设计选择,通过学习参数来通过连续的空间操作捕获全局上下文。当设计一个高效的网络时,可训练层(如dependencyconvolution)是参数和FLOP数量的效率来源,但实际上模型速度几乎没有提高。本文认为,简单的内置无参数操作可以是替代网络架构中空间操作的高效可训练层的有利替代方案。我们的目标是打破将构建块的空间操作组织成可训练层的刻板印象。提供了基于层级研究的广泛实验分析,其中包括完全训练的模型和神经架构搜索,以研究无参数操作(如最大池)是否有效。这些研究最终为我们重新设计网络架构提供了一个简单而有效的想法,其中无参数操作被大量用作主要构建模块,而不会牺牲模型的准确性。ImageNet数据集上的实验结果表明,具有无参数操作的网络架构可以在模型速度,参数数量和FLOP方面享有更高的效率。Code和ImageNet预训练模型可在https://github.com/naver-ai/PfLayer上获得。
2022-03-20 cs.CV cs.LG
Understanding Deep Architectures with Reasoning Layer
Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学)
最近,人们对将深度学习模型与推理相结合以处理更复杂的学习任务的兴趣激增。在许多情况下,推理任务可以通过迭代算法来解决。该算法通常被展开,并用作深度架构中的专用层,可以与其他神经组件进行端到端训练。虽然这种混合深度架构已经取得了许多经验上的成功,但这种架构的理论基础,特别是算法层和其他神经层之间的相互作用,在很大程度上仍然没有得到探索。在本文中,我们通过展示算法层的属性(如收敛性、稳定性和灵敏度)与端到端模型的近似和泛化能力密切相关,从而迈出了理解这种混合深度架构的第一步。此外,我们的分析与我们在各种条件下的实验观察结果非常吻合,这表明我们的理论可以为设计具有推理层的深层架构提供有用的指导。
2020-10-29 cs.LG stat.ML
The Effect of Layer Ordering in Hybrid Architectures
John Hopkins University(约翰霍普金斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究分析混合架构中层序的影响,证明主流混合架构具任务特异性,理论与实验显示层序影响性能,为前沿混合模型架构设计提供见解。
2026-10-14 cs.LG
Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning
Shandong University(山东大学)
近年来,逐层学习网络的方法因其易于分析而引起了越来越多的关注。对于该方法,主要的挑战在于通过反向传播网络的全局目标来导出每层的优化目标。传播问题是不适定的,由于涉及到从低维到高维空间的非线性激活的反演。为了解决这个问题,现有的解决方案是学习一个辅助网络来专门传播目标。然而,网络缺乏稳定性,而且,它导致网络学习的复杂性更高。在这封信中,我们表明,目标传播可以通过建模的网络的每一层的压缩感知,而不需要辅助网络。实验结果表明,该方法比基于辅助网络的方法具有更好的性能。
2021-10-20 cs.LG
Verifiability and Predictability: Interpreting Utilities of Network Architectures for Point Cloud Processing
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
在本文中,我们诊断用于3D点云处理的深度神经网络,以探索不同中间层网络架构的效用。我们提出了一些关于特定中间层网络架构对DNN表示能力的影响的假设。为了证明假设,我们设计了五个指标来诊断各种类型的DNN,从以下角度,信息丢弃,信息集中,旋转鲁棒性,对抗鲁棒性和邻域不一致性。我们根据这些指标进行比较研究,以验证假设。我们进一步使用经过验证的假设来修改现有DNN的中间层架构并提高其实用性。实验证明了该方法的有效性。
2021-04-01 cs.CV cs.LG stat.ML
LayerNAS: Neural Architecture Search in Polynomial Complexity
Google Research(谷歌研究院)
本文提出 LayerNAS,通过将多目标神经架构搜索转化为组合优化并分离成本与奖励,实现多项式复杂度的逐层搜索,且在多个基准搜索空间上优于强基线。
2023-04-23 cs.AI cs.LG
Designing Neural Network Architectures using Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
目前,设计卷积神经网络(CNN)架构需要人类专业知识和劳动力。新的架构是通过仔细的实验或从少数现有网络修改而手工制作的。我们引入MetaQNN,一种基于强化学习的元建模算法,可以为给定的学习任务自动生成高性能的CNN架构。学习代理被训练为使用具有$ε$贪婪探索策略的$Q$学习来顺序地选择CNN层并体验重放。代理探索一个大的,但有限的空间可能的架构,并迭代地发现设计与学习任务的性能提高。在图像分类基准测试中,代理设计的网络(仅由标准卷积、池化和全连接层组成)击败了使用相同层类型设计的现有网络,并与使用更复杂层类型的最先进方法竞争。我们还优于现有的元建模方法的网络设计上的图像分类任务。
2017-03-22 cs.LG
FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs
The University of Melbourne(墨尔本大学)
生成对抗网络(GANs)是一类强大的生成模型。尽管取得了成功,但GAN网络架构的最佳选择仍然没有得到很好的理解。用于图像合成的GAN模型采用了深度卷积网络架构,该架构消除或最小化了全连接和池化层的使用,以支持GANs的生成器和卷积层。在本文中,我们证明了利用深度全连接层和池化层的卷积网络架构可以比传统的仅卷积架构更有效,并且我们提出了FCC-GAN,一种全连接和卷积GAN架构。基于我们的FCC-GAN架构的模型学习速度比传统架构更快,并且生成更高质量的样本。我们证明了我们的方法在四个流行的图像数据集的有效性和稳定性。
2019-05-27 cs.LG stat.ML
A Layered Architecture for Universal Causality
Adobe Research(奥多比研究院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个分层的层次架构称为UCLA(通用因果分层架构),它结合了多层次的分类抽象的因果推理。在最高层,因果干预是使用序数的单纯类别组合建模的。在第二层,因果模型由图类型类别定义。因果结构上的非随机“外科手术”操作,如边缘删除,使用退化和脸算子从上面的单纯层捕获。第三个范畴抽象层对应于因果推理中的数据层。第四个同伦层包括强加在上面的实例层上的附加结构,例如拓扑空间,它可以评估数据集上的因果模型。函子映射在UCLA中的每对层之间。层之间的每个函子都由一个通用箭头来表征,它定义了每对范畴层之间的同构。这些通用箭头通过米田引理定义了通用元素和表示,并反过来导致了基于Grothendieck引入的构造的一个新的元素类别。每对层之间的因果推理被定义为提升问题,一个交换图,其对象是类别,其态射是被表征为不同类型的纤维化的函子。我们说明了加州大学洛杉矶分校的架构,使用一系列的例子,包括整数值的多集,代表一个非图形框架的条件独立性,因果模型的基础上,使用对称monoidal类别的图形和字符串图。我们用元素范畴神经的同伦余限来定义因果效应。
2022-12-18 cs.AI cs.LG math.CT
FLINT: Fingerprinting Federated Learning Architectures from 5G PHY-Layer Side Channels
George Mason University(乔治·马歇尔大学)
研究5G物理层边信道泄漏,提出FLINT黑盒指纹框架,通过解码物理下行控制信道调度信息等方法,仅用粗略物理层观察推断联邦学习模型架构家族,实验表明其在架构家族分类上宏F1分数达0.930。
2026-07-20 cs.AI cs.CR cs.LG
Expressivity of congruence-based architectures for DNNs on positive-definite matrices
Antonin Oswald;Estelle Massart
研究同余层(输入矩阵左乘和右乘权重矩阵及其转置)在正定矩阵分类中的表达能力,发现半正交约束会限制网络表达能力,导致退化为单隐藏层等价结构,并分析了不同黎曼分类器与同余层特征图的兼容性。
2026-06-01 cs.LG
Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time
Stanford University(斯坦福大学)
我们研究了使用ReLU激活的卷积神经网络(CNN)的训练,并引入了精确的凸优化公式,该公式具有关于数据样本数量,神经元数量和数据维度的多项式复杂度。更具体地说,我们开发了一个凸分析框架,利用半无限对偶,以获得几个两层和三层CNN架构的等价凸优化问题。我们首先证明了两层CNN可以通过$\ell_2$范数正则化凸规划进行全局优化。然后,我们证明了具有单个ReLU层的多层循环CNN训练问题等价于$\ell_1$正则化凸程序,该程序鼓励谱域中的稀疏性。我们还将这些结果扩展到具有两个ReLU层的三层CNN。此外,我们提出了我们的方法扩展到不同的池化方法,这阐明了隐含的建筑偏见凸正则化。
2021-03-18 cs.CC cs.LG stat.ML
Impact of Fully Connected Layers on Performance of Convolutional Neural Networks for Image Classification
Indian Institute of Information Technology Sri City(斯里城印度信息技术学院)
卷积神经网络(CNN)在计算机视觉等领域中,由于其能够从原始输入数据中学习特定于问题的特征,因此主要减少了对手工特征的需求。然而,选择特定于网络的CNN架构,这主要是通过经验或专业知识来执行的,是一个耗时且容易出错的过程。为了自动化学习CNN架构的过程,本文试图找到全连接(FC)层与数据集的一些特征之间的关系。CNN架构以及最近的数据集也被分类为深、浅、宽等。本文试图将这些术语形式化,并回答以下问题。(i)较深/较浅架构对CNN w.r.t.的性能有何影响?FC层?,(ii)更深/更宽的数据集如何影响CNN w.r.t. FC层?,以及(iii)哪种架构(较深/较浅)更适合于哪种(较深/较宽)数据集。为了解决这些发现,我们用三种具有不同深度的CNN架构进行了实验。通过改变FC层的数目进行实验。我们使用了四个广泛使用的数据集,包括CIFAR-10,CIFAR-100,Tiny ImageNet和CRCHistoPhenotypes,以证明我们在图像分类问题中的发现。这项研究的源代码可在https://github.com/shabbeersh/Impact-of-FC-layers上获得。
2019-11-19 cs.CV cs.LG cs.NE
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development(斯坦福专业发展中心)
通过高级模型架构的发展,如BERT和Birobot,以及更早的基于单词、字符和上下文的嵌入,NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性,下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下,我探索了深度网络的有效性,重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会,而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中,它具有一个复合架构,除了通用语言建模之外,它还将带来改进,并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外,我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异,以及这种影响是否与深度网络叠加。我的研究表明,深度网络实际上是有效的。此外,像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
2021-08-31 cs.CL cs.LG
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University(理海大学)
为了解决图像分类问题,我们提出了一种机器人(代理)的规划和感知机制,它只能部分地观察底层环境。一个三层架构的建议,包括一个元层,决定中间目标,一个行动层,选择本地行动的代理导航到一个目标,和一个分类层,评估奖励,并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数,以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字,这为我们提供了一个层次的解释,同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
CrossNAS: A Cross-Layer Neural Architecture Search Framework for PIM Systems
University of South Carolina(南卡罗来纳大学)
CrossNAS提出面向模拟存内计算系统的跨层神经架构搜索框架,首次结合单路径权重共享与进化搜索,在精度和能效上超越已有方法且搜索时间不增加。
2025-05-28 cs.AR cs.ET cs.LG
CLSA-CIM: A Cross-Layer Scheduling Approach for Computing-in-Memory Architectures
RWTH Aachen University(亚琛工业大学)
本文提出面向分块存内计算架构的跨层调度算法CLSA-CIM,通过提高CIM核心利用率,相比现有最优方法实现最高29.2倍加速。
2024-01-17 cs.AR cs.ET cs.LG
Automatic tagging using deep convolutional neural networks
Queen Mary University of London(伦敦玛丽女王大学)
我们提出了一个基于内容的自动音乐标记算法,使用完全卷积神经网络(FCN)。我们评估了仅由2D卷积层和子采样层组成的不同架构。在实验中,我们使用MagnaTagATune数据集测量了具有不同复杂性和输入类型的架构的AUC-ROC分数,其中4层架构显示了最先进的mel谱图输入性能。此外,我们评估了在较大数据集(百万歌曲数据集)上改变层数的架构的性能,发现更深的模型优于4层架构。实验表明,梅尔谱图是一种有效的时频表示自动标注,更复杂的模型受益于更多的训练数据。
2016-06-01 cs.LG cs.SD
Adaptive Signal Variances: CNN Initialization Through Modern Architectures
Gunma University(群马大学)
深度卷积神经网络(CNN)在图像处理任务上的性能已经达到了坚定不移的信心。CNN架构由各种不同类型的层组成,包括卷积层和最大池化层。CNN从业者广泛了解这样一个事实:学习的稳定性取决于如何初始化每一层中的模型参数。如今,没有人怀疑,事实标准方案的初始化是所谓的Kaiming初始化,已开发的He等。Kaiming计划是从一个更简单的模型比目前使用的CNN结构已经演变以来的Kaiming计划的出现。Kaiming模型仅由卷积层和全连接层组成,忽略了最大池化层和全局平均池化层。在这项研究中,我们再次不是从简化的Kaiming模型中推导出初始化方案,而是精确地从现代CNN架构中推导出初始化方案,并实证研究了新的初始化方法与当今广泛使用的事实标准相比的性能。
2020-08-29 cs.LG cs.NE stat.ML
ATRAS: Adversarially Trained Robust Architecture Search
Drexel University(德雷塞尔大学)
在本文中,我们探讨了架构完整性对抗鲁棒性的影响。我们在CIFAR-10和MNIST数据集上训练具有不同架构的模型。对于每个模型,我们改变不同的层数和层中不同的节点数。对于每一个候选架构,我们使用快速梯度符号方法(FGSM)来生成无针对性的对抗攻击,并使用对抗训练来防御这些攻击。对于每个候选架构,我们报告了模型的攻击前、攻击后和防御后的准确性,以及架构参数和完整性对模型准确性的影响。
2021-06-13 cs.LG
Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis
Osnabrück University(奥斯纳布吕克大学);Osnabrück University of Applied Sciences(奥斯纳布吕克应用科学大学)
在为特定的基于图像的任务优化卷积神经网络(CNN)时,专家通常会在设计中超过卷积层的数量。通过暗示,这些CNN不必要地对训练和部署进行资源密集,对预测性能的有益影响减少。卷积层可以处理的特征受到其接收场的严格限制。通过逐层分析感受野的大小,我们可以可靠地预测在给定的CNN架构中不会对测试准确性做出定性贡献的层序列。基于这种分析,我们提出了基于所谓的边界层的设计策略。该层允许识别非生产性卷积层,从而解决这些低效率问题,优化CNN的可解释性和计算性能。由于策略和分析都不需要训练实际模型,因此这些见解允许CNN架构的非常有效的设计过程,这可能在未来实现自动化。
2021-10-05 cs.AI cs.LG cs.NE
An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture
UT Austin(德克萨斯大学奥斯汀分校)
本文提出一种两阶段自适应框架,通过逐层训练、正则化与稳定性增强机制构建稀疏DNN,并利用浅层网络后处理残差,在回归、分类及偏微分方程正逆问题中均优于传统网络且具备可解释性与可证明稳定性。
2024-09-22 cs.LG math.OC
Equivariant Architectures for Learning in Deep Weight Spaces
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达)
本文提出一种对 MLP 权重的自然神经元置换对称等变的深度权重空间学习架构,完整刻画仿射等变与不变层,并验证其优于基线。
2023-05-31 cs.LG
Hybrid-Layers Neural Network Architectures for Modeling the Self-Interference in Full-Duplex Systems
Memorial University(纽芬兰纪念大学);Benha University(班哈大学);Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司)
已经引入了全双工(FD)系统,以通过在相同频率资源上同时传输信息来为超过第五代的无线网络提供高数据速率。然而,FD系统的操作实际上受到自干扰(SI)的限制,并且寻求有效的SI消除器以使FD系统可实现。通常,采用基于多项式的消除器来减轻SI;然而,它们具有高复杂度。本文提出了两种新的混合层神经网络(NN)结构,以消除SI与低复杂度。第一种架构被称为混合卷积递归神经网络(HCRNN),而第二种被称为混合卷积递归密集神经网络(HCRDNN)。与采用密集或递归层进行SI建模的现有技术NN相比,所提出的NN以新颖的方式利用不同隐藏层(例如,卷积的、递归的和/或密集的),以便以比多项式和现有技术的基于NN的消除器更低的计算复杂度来对SI进行建模。使用混合层背后的关键思想是构建NN模型,该模型利用其架构中采用的不同层的特性。更具体地,在HCRNN中,采用卷积层来使用减小的网络规模提取输入数据特征。此外,然后应用递归层以帮助从卷积层的局部化特征图学习输入信号的时间行为。在HCRDNN中,利用额外的密集层来增加另一个自由度以适应NN设置,以便在消除性能和计算复杂度之间实现最佳折衷。复杂性分析和数值模拟证明了所提出的架构的优越性。
2021-10-18 cs.IT cs.LG eess.SP
Online recognition of unsegmented actions with hierarchical SOM architecture
University of Lund(隆德大学);University of Linköping(林雪平大学)
自动识别在线的一系列未分割的动作需要一种分割方法,该方法确定动作何时开始以及何时结束。本文提出了一种在线测试实验中识别未分割动作的新方法。该方法使用自组织神经网络来构建一个三层认知架构。第一层自组织映射将动作序列的独特特征表示为一系列引发的关键激活。针对训练集中的所有动作序列计算关键激活向量的平均长度,并在学习试验中进行调整,以生成第二层自组织映射的输入模式。在第二层中对模式向量进行聚类,然后在第三层神经网络中用动作标识对聚类进行标记。实验结果表明,虽然性能略有下降,在在线实验相比,离线测试,所提出的架构,以处理未分割的动作序列以及在线性能的能力,使系统更合理和实用的真实情况下的场景。
2021-04-23 cs.AI cs.CV cs.HC
Inter-Layer Hessian Analysis of Neural Networks with DAG Architectures
ITMO University(ITMO大学)
本文提出了一种分析框架,将神经网络的Hessian分解为DAG结构的块,区分Gauss-Newton和张量部分,针对ReLU激活函数推导出输入Hessian的张量部分为零,引入诊断指标揭示层间曲率交互。
2026-11-09 cs.LG
Embarrassingly Parallel Independent Training of Multi-Layer Perceptrons with Heterogeneous Architectures
Center of Informatics(信息学中心);Federal University of Pernambuco(伯南布哥联邦大学);University of Pernambuco(伯南布哥大学)
神经网络架构的定义是最关键和最具挑战性的任务之一。在本文中,我们提出了一种新的MLP。EMLPs是一种通过探索现代CPU和GPU的局部性和并行化能力的原理,并行训练具有不同数量的神经元和激活函数的多个独立多层感知器神经网络的过程。该技术的核心思想是使用修改的矩阵乘法,该矩阵乘法通过两个简单的矩阵运算来替换有序矩阵乘法,这允许梯度流动的单独和独立的路径,这可以用于其他场景。我们已经在模拟数据集中评估了我们的算法,这些数据集使用了10,000个不同的模型,改变了样本、特征和批次的数量。如果与顺序方法相比,我们实现了1到4个数量级的训练加速。
2022-06-14 cs.LG
ASNN: Learning to Suggest Neural Architectures from Performance Distributions
Jinwook Hong
本文提出ASNN模型,通过学习神经网络架构参数与测试准确率分布之间的逆向映射关系,迭代推荐更优架构,在2层和3层网络上均超越训练数据中的最佳结果,为架构优化提供了随机搜索的高效替代方案。
2025-07-27 cs.AI cs.LG
Some New Layer Architectures for Graph CNN
Indian Institute of Technology Bombay(印度理工学院孟买分校)
虽然卷积神经网络(CNN)最近在网格上结构化数据(例如由像素网格组成的图像)的监督分类方面取得了很大进展,但在几个有趣的数据集中,特征之间的关系可以更好地表示为一般图而不是规则网格。虽然最近的算法使CNN适应图已经显示出有希望的结果,但它们大多忽略了学习边缘特征的显式操作,而只关注顶点特征。我们为神经网络的卷积层、池化层和全连接层提出了新的公式,这些公式可以更全面地利用多维图中的信息。使用这些层导致在基准图数据集上的最先进方法的分类准确性的提高。
2018-10-31 cs.LG stat.ML
A layered architecture for log analysis in complex IT systems
本文提出一个三层日志分析架构,涵盖日志调查、异常检测与根因分析,以帮助DevOps高效解决复杂IT系统中的故障,提升系统可靠性。
2025-08-29 cs.AI cs.LG
Towards Neural Network Patching: Evaluating Engagement-Layers and Patch-Architectures
Knowledge Engineering Group(知识工程小组);TU Darmstadt(达姆施塔特工业大学)
在这份报告中,我们调查的基本要求分类器修补神经网络的应用。神经网络修补是一种自适应神经网络模型来处理非平稳环境中概念漂移的方法。神经网络修补不是创建或更新现有网络以适应概念漂移,而是利用网络的内层及其输出来学习增强分类并纠正漂移引起的错误的补丁。它学习(i)一个预测器,用于估计原始网络是否会对实例进行错误分类,以及(ii)一个修补网络,用于修复错误分类。神经网络修补基于这样的想法,即原始网络仍然可以很好地分类大多数实例,并且在深度网络中编码的内部特征表示有助于分类器处理看不见的或改变的输入。为了应用这种修补程序,我们在本报告中评估了不同的参与层和修补程序架构,并找到了一套普遍适用的方法,这有助于参数化修补程序。
2019-01-16 cs.LG stat.ML
Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures
Royal Fenice Kft / ALETHEIA PROTOCOL research(皇家芬伊克公司 / ALETHEIA协议研究)
Aletheia通过梯度探针识别任务相关层,采用不对称秩分配实现高效LoRA微调,实验显示在14种模型上提升训练速度15-28%,且下游表现保持良好。
2026-04-04 cs.CL cs.LG
Weight Matrix Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学);School of Computing(计算学院);Department of Mathematics(数学系)
使用神经网络的深度学习是生成复杂数据模型的有效技术。然而,当网络具有由大量层和节点导致的大模型容量时,训练这样的模型可能是昂贵的。对于在这种计算上禁止的制度中进行训练,降维技术减轻了计算负担,并允许实现更鲁棒的网络。我们提出了一种新型的降维,通过一种新的深度学习架构的基础上快速矩阵乘法的克罗内克积分解,特别是我们的网络建设可以被视为一个克罗内克产品引起的稀疏化的“扩展”全连接网络。分析和实际例子表明,这种架构允许一个神经网络的训练和实施的计算时间和资源显着减少,同时实现了类似的错误水平相比,传统的前馈神经网络。
2023-01-17 cs.LG cs.NA math.NA
Self-organization of multi-layer spiking neural networks
Caltech(加州理工学院)
我们大脑中的活神经网络在早期发育过程中自主地自组织成大型复杂的架构,从而形成有组织的功能性有机计算设备。在发育中的大脑中形成复杂结构的一个关键机制是在发育中的大脑中出现神经元活动的时空波。受此策略的启发,我们试图有效地自组织大型神经网络与任意数量的层到各种各样的架构。为了实现这一点,我们提出了一个模块化的工具包的形式,一个动态系统,可以无缝堆叠组装多层神经网络。动态系统封装了尖峰单元的动态、它们的层间/层内交互以及控制层之间信息流的可塑性规则。我们的工具包的关键特征是(1)由前一层中的活动触发的跨多个层的自主时空波和(2)基于连接层中的波活动更新层间连接的尖峰定时依赖可塑性(STDP)学习规则。我们的框架导致了各种各样的架构的自组织,从多层感知器到自动编码器。我们还证明了涌现波可以自组织尖峰网络架构来执行无监督学习,并且网络可以与线性分类器相结合来对经典图像数据集(如MNIST)进行分类。从广义上讲,我们的工作表明,用于学习的动力系统框架可以用于自组织大型计算设备。
2020-06-12 cs.LG cs.NE q-bio.NC
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
前馈神经网络(FNN)的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整,例如隐藏层的数量,每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的,这可能是人工无法管理的,所以它需要一个算法,可以自动设计一个最优的体系结构,具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法,它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索(TS)和梯度下降与动量反向传播(GDM)训练算法的优点,演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
2L-3W: 2-Level 3-Way Hardware-Software Co-Verification for the Mapping of Deep Learning Architecture (DLA) onto FPGA Boards
Tennessee Tech University(田纳西理工大学)
FPGA已成为部署深度学习架构(DLA)的热门选择。有许多研究人员已经探索了DLA在FPGA上的部署和映射。然而,越来越需要对这些部署进行设计时硬件-软件协同验证。据我们所知,这是第一个提出2级3路(2L-3 W)硬件-软件协同验证方法的工作,并为FPGA板上DLA的成功映射,部署和验证提供了一个分步指南。2级验证是为了确保每个阶段(软件和硬件)的实现都遵循所需的行为。3路协同验证提供了跨范例(软件、设计和硬件)的逐层参数检查,以确保DLA在FPGA板上的正确实现和映射。建议的2L-3 W的共同验证方法已在几个测试用例进行了评估。在每种情况下,将PYNQ FPGA板(硬件)上部署的DLA的预测和逐层输出与Vivado HLS上实现的DLA的逐层输出的中间设计结果以及软件级别(Caffe深度学习框架)的预测和逐层输出进行比较,以获得逐层相似性得分。比较是使用完全自动化的Python脚本实现的。该比较提供逐层相似性分数,该分数通知我们DLA映射到FPGA的成功程度,或者帮助在设计时识别在映射不成功的情况下要调试的层。我们在LeNet DLA和Caffe启发的Cifar-10 DLA上展示了我们的技术,并且共同验证结果产生了99%准确度的逐层相似性得分。
2019-11-14 cs.LG stat.ML
Heterogeneous Integration of In-Memory Analog Computing Architectures with Tensor Processing Units
University of South Carolina(南卡罗来纳大学)
本文提出将存内模拟计算单元与边缘TPU异构集成,并设计统一混合精度训练算法,在保持精度的同时实现最高2.59倍性能提升和88%内存减少。
2023-04-18 cs.AR cs.LG
Adaptive Integrated Layered Attention (AILA)
Northeastern University(东北大学)
本文提出融合密集跳跃连接与自适应层间复用机制的 AILA 架构,并通过金融预测、CIFAR-10 和 IMDB 任务验证其以更低计算成本匹敌 LSTM、Transformer 与 ResNet。
2025-05-12 cs.AI cs.CL cs.CV
WattLayer: Get Layers Right to Estimate Inference Energy of Neural Networks
Bell Labs, Nokia Networks France(诺基亚网络法国贝尔实验室);Inria, Université Côte d’Azur, France(法国国家信息与自动化研究所,蔚蓝海岸大学);Université Côte d’Azur, CNRS, Inria, I3S, France(蔚蓝海岸大学,法国国家科学研究中心,法国国家信息与自动化研究所,信息与系统科学实验室)
提出一种任务无关的逐层能耗估计模型,在超过10万层、295种架构的数据集上中位误差19.6%,优于现有方法,并展示逐层分解可通过共享层泛化到新任务。
2026-06-29 cs.AI cs.LG
Reusing Trained Layers of Convolutional Neural Networks to Shorten Hyperparameters Tuning Time
Universidade da Coruña(拉科鲁尼亚大学)
超参数调整是一种耗时的方法,特别是当神经网络的架构被决定为该过程的一部分时。例如,在卷积神经网络(CNN)中,可以决定隐藏(卷积)层的数量和特性的选择。这意味着搜索过程涉及所有这些候选网络架构的训练。本文描述了一种在不同训练之间重用隐藏(卷积)层权重的建议,以缩短此过程。其基本原理是,如果一组卷积层已经被训练来解决给定的问题,那么当一个新的卷积层被添加到网络架构时,在这个训练中计算的权重可能是有用的。这个想法已经使用CIFAR-10数据集进行了测试,测试了不同的CNN架构,最多有3个卷积层和3个全连接层。实验比较了重用和不重用卷积层时的训练时间和验证损失。他们证实,这种策略减少了训练时间,同时甚至提高了最终神经网络的准确性。这一发现开辟了未来将此策略集成到现有AutoML方法中的可能性,目的是减少总搜索时间。
2020-07-30 cs.DC cs.LG stat.ML
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology(河内国立大学工程与技术大学 HMI 实验室)
本文提出在GCN中引入Transformer编码器层,通过注意力机制重排节点特征空间,提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
Robust Audio Event Recognition with 1-Max Pooling Convolutional Neural Networks
本文提出了一种简单而有效的卷积神经网络(CNN)架构,用于鲁棒的音频事件识别。与具有多个卷积和池化层以及多个完全连接层的深度CNN架构相反,所提出的网络仅由三层组成:卷积层、池化层和softmax层。另外两个特征将其与针对该任务提出的深度架构区分开来:卷积层的可变大小卷积滤波器和池化层的1-max池化方案。直觉上,网络倾向于从整个音频信号中选择最具区分力的特征进行识别。我们提出的CNN不仅在鲁棒音频事件识别的标准任务上表现出最先进的性能,而且在识别准确率方面优于其他深度架构高达4.5%,相当于76.3%的相对错误减少。
2016-06-22 cs.LG cs.NE cs.SD
SensLI: Sensitivity-Based Layer Insertion for Neural Networks
Interdisciplinary Center for Scientific Computing, Heidelberg University(interdisciplinary Center for Scientific Computing, 海德堡大学);Department of Mathematics, University of Bayreuth(数学系, 巴亚鲁伊特大学)
针对神经网络架构需人工调优的问题,提出基于损失函数一阶灵敏度的训练中层插入方法SensLI,适用于多类架构,可提升训练与测试性能并降低计算成本。
2025-06-16 cs.LG math.OC
A Five-Layer MLOps Architecture for Connected Automated Driving
Institute for Automotive Engineering (ika), RWTH Aachen University(汽车工程研究所(ika),亚琛工业大学)
本文提出五层MLOps架构,旨在通过集体学习提升自动驾驶系统安全性和性能,支持车队运营商等利益相关者设计实现MLOps流程,通过多级自我评估降低边缘案例风险。
2026-05-12 cs.LG cs.RO
Graph Metanetworks for Processing Diverse Neural Architectures
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Technion(以色列理工学院);NVIDIA(英伟达)
本文提出图元网络(GMNs),通过将神经网络参数构建为图并用图神经网络处理,以统一处理多种神经架构,具备表达力与置换等变性,并在多任务中验证有效性。
2023-12-29 cs.AI cs.LG stat.ML
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University(耶鲁大学)
本文综述了将凸优化问题作为可微层嵌入神经网络的方法,梳理其从二次规划到一般凸优化的发展,并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC