Planarian Neural Networks: Evolutionary Patterns from Basic Bilateria Shaping Modern Artificial Neural Network Architectures
Harrisburg University of Science and Technology(哈里斯堡科技大学);Amgen Inc.(安进公司);DevIS LLC(DevIS有限责任公司);Nanjing Audit University(南京审计大学)
本文受涡虫由一个脑和两条神经索构成的神经系统启发,以ResNet为基础提出涡虫式神经网络,并在CIFAR-10/100上验证其图像分类准确率优于基线模型。
2025-01-08 cs.AI cs.CV cs.LG
Neural Networks are Decision Trees
AAC Technologies(AAC科技)
在本文中,我们证明了任何具有任何激活函数的神经网络都可以表示为一棵决策树。这种表示是等价的而不是近似的,因此保持了神经网络的准确性。我们相信,这项工作提供了更好的理解神经网络,并铺平了道路,以解决其黑箱性质。我们分享一些神经网络的等价树,并表明,除了提供可解释性,树表示也可以实现一些计算的优势,为小型网络。该分析适用于完全连接和卷积网络,它们可能也可能不包括跳过连接和/或归一化。
2022-10-25 cs.LG
Rational neural networks
University of Oxford(牛津大学);Cornell University(康奈尔大学)
我们考虑具有有理激活函数的神经网络。深度学习架构中非线性激活函数的选择至关重要,并严重影响神经网络的性能。我们根据网络复杂度建立了最佳界限,并证明了有理神经网络比深度呈指数级较小的ReLU网络更有效地逼近光滑函数。有理激活函数的灵活性和平滑性使它们成为ReLU的有吸引力的替代品,正如我们通过数值实验所证明的那样。
2020-09-30 cs.LG cs.NA cs.NE
Neural Networks, Hypersurfaces, and Radon Transforms
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
沿超曲面,Radon变换,和神经网络的集成之间的连接被利用,突出了一个完整的几何数学解释的神经网络。通过分析神经网络作为观测数据概率分布算子的性质,我们证明了神经网络中任意节点的输出分布可以解释为沿输入数据空间上水平曲面定义的超曲面的非线性投影。我们利用这些描述提供新的解释的现象,如非线性,池,激活函数,和对抗的例子在神经网络为基础的学习问题。
2019-07-04 cs.LG stat.ML
Neural Tangents: Fast and Easy Infinite Neural Networks in Python
Google Brain(谷歌大脑);University of Cambridge(剑桥大学)
Neural Tangents是一个用于研究无限宽度神经网络的库。它提供了一个高级API,用于指定复杂和分层的神经网络架构。然后,这些网络可以像往常一样在有限宽度或无限宽度限制下进行训练和评估。可以使用精确贝叶斯推断或通过神经切线内核使用梯度下降来分析地训练无限宽度网络。此外,Neural Tangents提供了在函数空间或权重空间中研究宽但有限网络的梯度下降训练动态的工具。整个库可以在CPU、GPU或TPU上运行。所有计算都可以自动分布在多个加速器上,设备数量接近线性扩展。Neural Tangents可在www.github.com/google/neural-tangents上获得。我们还提供了一个附带的互动Colab笔记本。
2019-12-05 cs.LG stat.ML
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences(阿塞拜疆国家科学院控制系统研究所)
本文对比了多层感知器在预计算权重与随机初始化权重下的表现,发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Can Kernel Methods Explain How the Data Affects Neural Collapse?
Courant Institute of Mathematical Sciences(Courant数学科学研究所);New York University(纽约大学);Faculty of Engineering(工程学院);Bar-Ilan University(巴伊兰大学)
本文利用核方法分析神经坍缩,证明NTK对高斯数据不比NNGP更坍缩,提出数据感知核可降低NC1,并发现激活函数影响坍缩程度。
2025-04-25 cs.AI cs.IT cs.LG
Consistency of Neural Networks with Regularization
Texas State University(德克萨斯州立大学);Yale University(耶鲁大学)
神经网络由于其在自然语言处理和计算机视觉等应用中的成功而引起了广泛的关注。对于大规模数据,由于神经网络中的参数数量巨大,过拟合是训练神经网络的一个问题。为了避免过拟合,一种常见的方法是惩罚参数,特别是神经网络中的权重。虽然神经网络在许多应用中显示了其优越性,但惩罚神经网络的理论基础还没有很好地建立起来。本文的目标是提出正则化神经网络的一般框架,并证明其一致性。在一定条件下,随着样本量的增加,估计的神经网络将收敛到真实的底层函数。利用筛子法和最小神经网络理论克服了参数的不可辨识性问题。两种类型的激活函数:双曲正切函数(Tanh)和整流线性单元(ReLU)已被考虑。仿真结果验证了一致性定理的正确性。
2022-06-22 cs.LG stat.ME stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
On the approximation of functions by tanh neural networks
ETH Zürich(苏黎世联邦理工学院)
我们得到的误差的界限,在高阶Sobolev规范,在Sobolev正则以及解析函数的神经网络与双曲正切激活函数的逼近中产生。这些界限提供了关于神经网络大小的近似误差的明确估计。我们证明了只有两个隐藏层的tanh神经网络足以以与更深的ReLU神经网络相当或更好的速度近似函数。
2021-08-23 cs.LG cs.NA math.NA
Transmission Neural Networks: From Virus Spread Models to Neural Networks
McGill University(麦吉尔大学)
这项工作将病毒在网络上传播的模型与其等效的神经网络表示联系起来。基于这种连接,我们提出了一种新的神经网络架构,称为传输神经网络(transNN),其中激活函数主要与链接,并允许有不同的激活水平。此外,这种连接导致三个新的激活函数与可调或可训练的参数的发现和推导。此外,我们证明了具有单个隐藏层和固定非零偏置项的TransNN是通用函数逼近器。最后,我们提出了新的基本推导的连续时间传染病网络模型的基础上的TransNN。
2022-08-07 cs.LG cs.SI cs.SY
Graph Structure of Neural Networks
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
神经网络通常表示为神经元之间的连接图。然而,尽管它们被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系了解甚少。在这里,我们系统地研究了神经网络的图结构如何影响其预测性能。为此,我们开发了一种新的基于图的表示神经网络称为关系图,其中神经网络计算层对应于沿图结构的消息交换轮。使用这种表示,我们表明:(1)关系图的“甜蜜点”导致神经网络具有显着提高的预测性能;(2)神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数;(3)我们的研究结果在许多不同的任务和数据集上是一致的;(4)甜蜜点可以有效地识别;(5)表现最好的神经网络具有与真实生物神经网络惊人相似的图形结构。我们的工作为神经网络结构的设计和对神经网络的理解开辟了新的方向。
2020-08-27 cs.CV cs.LG cs.SI
Distributionally robust approximation property of neural networks
University of Mannheim(曼海姆大学)
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质,通过Orlicz空间稠密性扩展了经典定理,涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design
NVIDIA(英伟达)
使用最广泛的机器学习框架需要用户仔细调整其内存使用,以便深度神经网络(DNN)适合GPU的DRAM容量。这种限制阻碍了研究人员研究不同机器学习算法的灵活性,迫使他们要么使用不太理想的网络架构,要么在多个GPU上并行处理。我们提出了一个运行时内存管理器,虚拟化DNN的内存使用,使GPU和CPU内存可以同时用于训练更大的DNN。我们的虚拟化DNN(vDNN)将AlexNet的平均GPU内存使用量减少了89%,OverFeat减少了91%,GoogLeNet减少了95%,这大大降低了DNN的内存需求。在VGG-16上进行的类似实验,VGG-16是迄今为止最深和内存饥饿的DNN之一,证明了我们的建议的内存效率。vDNN使批量大小为256(需要28 GB内存)的VGG-16能够在包含12 GB内存的单个NVIDIA Titan X GPU卡上进行训练,与具有足够内存容纳整个DNN的假设Oracle GPU相比,性能损失18%。
2016-07-28 cs.DC cs.LG cs.NE
Sequencing the Neurome: Towards Scalable Exact Parameter Reconstruction of Black-Box Neural Networks
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究院)
本文针对黑盒神经网络参数精确重建这一NP难问题,利用随机初始化与一阶优化的归纳偏置和最大化信息量的查询生成算法,首次实现了超150万参数、7层深网络的高精度重建。
2024-09-27 cs.AI cs.CR cs.IT
Neural Network Processing Neural Networks: An efficient way to learn higher order functions
函数的含义丰富,可以用多种方式解释。神经网络被证明能够逼近一大类函数[1]。在本文中,我们提出了一类新的神经网络,称为“神经网络处理神经网络“(NNPNNs),它输入神经网络和数值,而不仅仅是数值。从而使神经网络能够表示和处理丰富的结构。
2020-01-14 cs.LG cs.NE
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University(麦吉尔大学)
最近,深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络(如全连接和卷积神经网络)在广泛的识别和分类任务中表现出出色的性能。然而,由于其高度复杂性,它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配,其中大部分发生在全连接网络中。事实上,它们包含了大部分的深层神经网络参数。在本文中,我们提出了稀疏连接网络,通过展示全连接网络中的连接数量可以减少高达90%,同时提高三种流行数据集(MNIST,CIFAR 10和SVHN)的准确性性能。然后,我们提出了一个有效的硬件架构的基础上,线性反馈移位寄存器,以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比,所提出的架构可以节省高达90%的内存。此外,实施结果表明,减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比,一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学)
本文提出向量值神经网络框架 V-nets,通过自然建模特征通道间相关性减少参数并提升训练稳健性,并阐明其与传统实值网络及超复值网络的关系和实现方法。
2024-08-01 cs.LG cs.NE
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
On the space of coefficients of a Feed Forward Neural Network
我们定义并建立了“等价神经网络”的条件--具有不同权重、偏差和阈值函数的神经网络产生相同的关联函数。我们证明了给定一个具有分段线性激励的神经网络$\mathcal{N}$,描述所有等价神经网络的系数空间由一个半代数集给出。这个结果是通过使用Tarski-Seidenberg定理研究给定分段线性函数的不同表示来获得的。
2021-09-07 cs.LG cs.NE
Spiking Neural Networks with Random Network Architecture
Soochow University(苏州大学)
本研究针对脉冲神经网络训练框架不统一、基础问题待解的现状,提出仅需训练部分权重、兼容经典训练方法的RanSNN架构,在保证性能的同时提升了训练效率,兼具通用性与稳定性。
2025-05-19 cs.LG cs.NE
Spiking Neural Network for Ultra-low-latency and High-accurate Object Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Zhejiang University(浙江大学)
针对SNN目标检测高延迟低精度及ANN转SNN结构不完整的问题,提出时间步长压缩和STDI编码方法,并构建SUHD模型,在PASCAL VOC和MS COCO上实现超低延迟与高精度检测。
2023-06-27 cs.CV cs.NE
Cortex Neural Network: learning with Neural Network groups
Purdue University(普渡大学);Department of Computer Science(计算机科学系)
神经网络已成功地应用于许多现实问题,如图像识别和机器翻译。然而,对于当前的神经网络架构,很难执行复杂的认知任务,例如,一起处理图像和音频输入。大脑皮层作为大脑的重要结构,对动物完成复杂的认知任务起着重要作用。我们将大脑皮层的结构视为当前人工神经网络设计中缺失的部分。在本文中,我们的目的皮层神经网络(CrtxNN)。皮层神经网络是一种由大脑皮层驱动的神经网络的上层结构,它可以在同一个学习系统中处理不同的任务。它能够识别不同的任务并使用不同的方法解决它们。在我们的实现中,皮层神经网络能够处理不同的认知任务,并执行反射,以获得更高的准确性。我们提供了一系列的实验,以检查传统的神经网络的皮层架构的能力。实验结果表明,该算法在皮层神经网络上的识别能力在MNIST和CIFAR10上分别达到了98.32%和62%的识别准确率,可以有效地减少40%的损失。
2018-04-10 cs.CV cs.LG cs.NE
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University(奥古斯塔大学)
本文针对量化神经网络压缩,通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差,且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
One weird trick for parallelizing convolutional neural networks
Google Inc.(谷歌公司)
我提出了一种新的方法来并行化多个GPU上的卷积神经网络的训练。当应用于现代卷积神经网络时,该方法的扩展性明显优于所有替代方案。
2014-04-26 cs.DC cs.LG cs.NE
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group(IEEE出版技术组)
脉冲神经网络(SNN)是一种基于脑的机器学习算法,具有生物相容性和无监督学习能力等优点。以前的工作已经表明,将人工神经网络(ANN)转换为SNN是实现SNN的实用且有效的方法。然而,缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型(LIF)/SNN的生物学参数与ReLU-AN/深度神经网络(DNN)参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明,并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices
Rice University(莱斯大学)
生物神经网络继续激发神经网络性能的突破。然而,神经计算的一个关键领域尚未得到充分的重视和研究,这是生物学上合理的、节能的脉冲神经网络,其潜力对于低功耗、移动或其他硬件受限的设置特别有吸引力。我们提出了一个文献综述的解释,优化,效率和准确性的脉冲神经网络的最新发展。主要贡献包括识别、讨论和比较脉冲神经网络优化、能效和评估中的前沿方法,从第一原理开始,以便新从业者可以使用。
2023-03-21 cs.LG cs.NE eess.IV
Deep Neural Networks - A Brief History
Virginia Commonwealth University(弗吉尼亚联邦大学);IITiS Polish Academy of Sciences(波兰科学院信息技术研究所)
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
Energy-efficient Spiking Neural Network Equalization for IM/DD Systems with Optimized Neural Encoding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
提出基于脉冲神经网络的IM/DD系统均衡器,通过优化神经编码在降低能耗的同时提升性能。
2023-12-20 cs.LG cs.NE eess.SP
Survey of Dropout Methods for Deep Neural Networks
University of Toronto(多伦多大学)
丢弃方法是一种用于神经网络训练或推理的随机技术,已经产生了重大的研究兴趣,并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的,但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史,他们的各种应用,以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
Perception-Informed Neural Networks: Beyond Physics-Informed Neural Networks
Ferdowsi University of Mashhad(法尔多斯大学)
本文提出感知信息神经网络(PrINNs)框架,通过损失函数整合感知信息与专家知识,扩展物理信息神经网络,支持多种信息形式,实现数据驱动建模,并引入MOEINNs、TKINNs和FINNs等变体,以增强复杂系统建模能力。
2025-05-24 cs.AI cs.LG cs.NE
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology(埃因霍温理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Derby(德比大学)
通过深度学习在各个领域的成功,人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性(例如稀疏性、无标度性)中获得灵感,我们认为(与一般实践相反)人工神经网络也不应该具有完全连接的层。在这里,我们提出了人工神经网络的稀疏进化训练,在学习过程中,将两个连续神经元层的初始稀疏拓扑(Erdens-Rényi随机图)进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前,减少了二次参数的数量,而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机,多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Multi-task Neural Networks for QSAR Predictions
University of Toronto(多伦多大学)
虽然人工神经网络偶尔被用于定量结构活性/性质关系(QSAR/QSPR)的研究在过去,最近的文献已占主导地位的其他机器学习技术,如随机森林。然而,各种新的神经网络技术以及在其他领域的成功应用重新引起了人们对网络方法的兴趣。在这项工作中,受获奖团队在最近的QSAR竞赛中使用神经网络的启发,我们使用人工神经网络来学习一个函数,该函数可以同时预测多个测定中化合物的活性。我们利用最近处理神经网络中过拟合的方法以及神经网络文献中的其他技巧进行了实验。我们将我们的方法与报告在这些任务上表现良好的替代方法进行了比较,发现我们的神经网络方法提供了卓越的性能。
2014-06-04 cs.LG cs.NE stat.ML
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值,并找出它们是否相同。可以用来解决这个问题的四种算法是:遗传回归神经网络(GRNNs),径向基函数(RBF)神经网络(RBFNNs),支持向量机(SVMs)和前馈神经网络(FFNNs)。
2019-11-16 cs.LG cs.NE cs.SY
Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics
University of Cincinnati(辛辛那提大学);Visvesvaraya Technological University(维斯韦斯瓦拉亚理工大学)
本文设计光神经处理器,提出利用光遗传精确激活和基于 STDP 的反向传播间接训练模拟活体神经网络,用于图像检测并可潜在部署于混合机器人,准确率媲美传统训练算法。
2024-01-17 cs.AI cs.ET cs.LG
Neural Networks Architecture Evaluation in a Quantum Computer
在这项工作中,我们提出了一个量子算法来评估神经网络架构命名为量子神经网络架构评估(QNNAE)。该算法基于量子联想记忆和人工神经网络的学习算法。与传统的评估神经网络架构的算法不同,QNNAE不依赖于权重的初始化。该算法具有二进制输出,结果为0,概率与网络的性能成正比。其计算量等于训练一个神经网络的计算量。
2017-11-13 cs.NE
Unary Coding for Neural Network Learning
本文介绍了对生物学习和瞬时训练神经网络有意义的一元编码的一些性质。
2010-09-22 cs.NE
Feature Weight Tuning for Recursive Neural Networks
Stanford University(斯坦福大学)
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息,并强调重要的证据,换句话说,执行“权重调整”更高层次的表示收购。我们提出了两个模型,加权神经网络(WNN)和二进制期望神经网络(BENN),自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明,显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
The Future of Neural Networks
本文介绍了神经网络的一些最新进展,并讨论了神经网络在模拟人脑的机器开发中的适用性。本文提到了一种新的体系结构,脉冲神经网络,被认为是下一代的神经网络。本文还探讨了忆阻器在开发一种名为MoNETA的类脑计算机中的应用。多维/无限维神经网络是高级神经网络领域的一个新的发展。本文的结论是,神经网络的需要在发展中的仿人技术是必不可少的,可能是不可消耗的。
2012-09-20 cs.NE
Deep Convolutional Spiking Neural Networks for Image Classification
脉冲神经网络是人工神经网络在生物学上的类似物,人工神经网络通常用随机梯度下降来训练,而脉冲神经网络用脉冲时间依赖的可塑性来训练。训练深度卷积神经网络是一项内存和功率密集型工作。尖峰网络可能有助于减少电力使用。有大量的工具供人们选择来训练任何大小的人工神经网络,另一方面,所有可用的工具来模拟脉冲神经网络是面向计算神经科学应用,它们不适合于现实生活中的应用。在这项工作中,我们专注于使用Tensorflow实现尖峰CNN来检查网络的行为,并实证研究各种参数对学习能力的影响,还研究了尖峰CNN中的灾难性遗忘以及使用MNIST和N-MNIST数据集的R-STDP中的权重初始化问题。
2019-09-25 cs.NE
Nonlinear Systems Identification Using Deep Dynamic Neural Networks
已知神经网络是有效的函数逼近器。最近,深度神经网络已被证明在模式识别、分类任务和人类级别的控制中非常有效,可以对高度非线性的现实世界系统进行建模。本文研究了深度神经网络在具有复杂行为的动力系统建模中的有效性。三个深度神经网络结构的序列数据进行训练,我们研究这些网络的有效性,在建模相关的特征的基础动力系统。我们选择公开的系统辨识数据集进行类似的评估。我们证明了深度神经网络是来自输入-输出数据的有效模型估计器
2016-10-05 cs.NE
Learning to Generate Genotypes with Neural Networks
神经网络和演化计算有着丰富的相互交织的历史。当进化算法优化强化学习问题的神经网络的参数和拓扑结构时,或者当神经网络被用作替代适应度函数以帮助昂贵的适应度函数的进化优化时,它们最常一起出现。在本文中,我们采取了不同的方法,问的问题是否可以使用神经网络提供一个进化算法的突变分布,这种方法可能提供什么优势?本文研究了两种现代神经网络模型,一种改进的产生随机输出的去噪自编码器和神经自回归分布估计器。结果表明,神经网络的方法来学习基因型是能够解决许多困难的离散问题,如MaxSat和HIFF,并定期优于其他进化技术。
2016-04-14 cs.NE
LAYERS: Yet another Neural Network toolkit
Layers是一个开源的神经网络工具包,旨在提供一种简单的方法来实现现代神经网络。主要用户目标是学生,为此,层提供了一种可以早期采用的简单脚本语言。用户只需关注网络拓扑和参数调整等设计细节。
2016-10-06 cs.NE
A New Constructive Method to Optimize Neural Network Architecture and Generalization
本文在分析了神经网络中泛化能力差和过拟合的原因后,将某些噪声数据看作是一个连续函数的奇异值--跳跃不连续点。连续部分可以用最简单的神经网络来逼近,这种网络具有良好的泛化性能和最优的网络结构,传统的算法有增量训练前馈神经网络的构造算法、BP算法、ELM算法、各种构造算法、RBF逼近和SVM。同时,我们将构造径向基函数神经网络来拟合具有误差的奇异值,并证明了具有跳跃间断点的函数可以由具有误差的衰减径向基函数神经网络的最简单的神经网络来逼近,对于具有跳跃间断点的函数,可以用衰减RBF神经网络构造性地逼近,且构造性部分不存在泛化能力对整个机器学习系统的影响,优化神经网络结构和泛化性能,避免对噪声数据的拟合,减少过拟合现象。
2013-02-02 cs.NE
Using Variable Threshold to Increase Capacity in a Feedback Neural Network
本文提出了使用可变阈值来增加反馈神经网络容量的新结果。非二进制网络也被认为是在这个分析。
2011-06-28 cs.NE
Expressivity of Spiking Neural Networks
本研究比较脉冲神经网络与人工神经网络的表达能力,证明其能实现连续与不连续函数,并给出模拟多层ReLU网络的复杂度界限。
2024-03-15 cs.NE
A Survey of Recursive and Recurrent Neural Networks
Department of Automation, College of Artificial Intelligence, China University of Petroleum, Beijing, Beijing, China(自动化系、人工智能学院、中国石油大学、北京、北京、中国)
本文系统梳理递归与循环神经网络,按结构、目标函数和学习算法将其分为三大类,阐述模型原理、变形、进展与应用,并展望未来方向。
2025-10-16 cs.AI cs.NE
Self-Organizing Multilayered Neural Networks of Optimal Complexity
研究了非代表学习集下最优复杂度神经网络的自组织原理。提出了多层神经网络的自组织方法,并将其用于逻辑神经网络的训练,应用于医学诊断。
2005-04-13 cs.AI cs.NE
Mastering high-dimensional dynamics with Hamiltonian neural networks
我们详细介绍了如何将物理融入神经网络设计可以显着提高学习和预测的动态系统,甚至是非线性系统的许多维度。一个地图建设的角度阐明了优越性的哈密顿神经网络比传统的神经网络。结果阐明了数据、维数和神经网络学习性能之间的关键关系。
2020-07-28 cs.NE nlin.CD
Geometric Decomposition of Feed Forward Neural Networks
已经有几次尝试从数学上理解神经网络,并且从生物学和计算的角度进行了更多的尝试。在过去的十年里,该领域已经爆炸式发展,但神经网络仍然被视为一个黑匣子。在这项工作中,我们描述了前向神经网络固有的结构。这将为神经网络的未来工作提供一个框架,以改进训练算法,计算网络的同源性和其他应用。我们的方法采用了更几何的观点,不像其他试图从数学上理解神经网络的方法依赖于功能的观点。
2016-12-08 cs.NE math.CO
An Introductory Review of Spiking Neural Network and Artificial Neural Network: From Biological Intelligence to Artificial Intelligence
Tsinghua University(清华大学);McGill University(麦吉尔大学)
本文综述了脉冲神经网络与人工神经网络,从生物神经元基础、模型、回路连接到学习机制与架构,旨在推动类脑智能和通用人工智能发展。
2022-04-09 cs.AI cs.NE
Neural network feedback controller for inertial platform
本文介绍了一种控制陀螺稳定器的神经网络综合算法。神经网络执行状态向量观测器的角色。说明了观测器在陀螺稳定器反馈中的作用。论文详细阐述了经典算法的一个问题特征阶段:网络结构的选择、神经网络的学习和结果的验证反馈控制。文中给出了神经网络的最优结构,如记忆深度、层数、神经元数和各层的激活函数。提出了利用动态系统的信息来改进神经网络的学习。提供了最佳训练样本的方案创建。
2018-03-12 cs.NE math.DS
Spiking Neural Network Equalization for IM/DD Optical Communication
针对IM/DD链路,设计了一种适用于电子神经形态硬件的脉冲神经网络(SNN)均衡器模型。SNN实现了与人工神经网络相同的误比特率,优于线性均衡。
2022-06-01 cs.NE eess.SP
Performance Analysis Of Neural Network Models For Oxazolines And Oxazoles Derivatives Descriptor Dataset
神经网络已成功地应用于商业、数据采掘、药物发现和生物学等广泛领域。在医学领域,神经网络已广泛应用于医学诊断、新药检测与评价、治疗费用估算等方面。另外,神经网络也开始在以预测、知识发现为目的的数据采掘策略中进行实践。本文将介绍神经网络在恶唑啉类及其衍生物抗结核活性预测和分析中的应用。本研究提出了基于人工神经网络(ANN)模型的单隐层神经网络(SHLFFNN)、梯度下降反向传播神经网络(GDBPNN)、梯度下降反向传播动量神经网络(GDBPMNN)、反向传播权重衰减神经网络(BPWDNN)和分位数回归神经网络(QRNN)的技术。我们比较了五种神经网络技术的性能。通过基准实验的方式来评估每个模型的效率是一个公认的应用。交叉验证和再验证技术通常用于获得性能的点估计,并将其进行比较以识别具有良好性能的方法。用均方根误差(RMSE)、系数确定(???)平均绝对误差(MAE)、平均百分比误差(MPE)和相对平方误差(RSE)。我们发现,所有五个神经网络模型都能够产生可行的模型。QRNN模型在所有统计检验中均优于其他四种模型。
2013-12-10 cs.CE cs.NE