Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems
Beijing Normal University(北京师范大学);Duke Kunshan University(昆山杜克大学);Harbin Institute of Technology at ShenZhen(哈尔滨工业大学(深圳))
本文将物理方程推广为神经偏微分方程(NPDE),通过有限差分法离散化生成深度神经网络基础架构及学习策略,为可解释神经网络和物理人工智能奠定理论基础。
2024-10-10 cs.AI cs.LG
Improved Initialization of State-Space Artificial Neural Networks
Eindhoven University of Technology(埃因霍温理工大学)
黑箱非线性状态空间模型的辨识需要状态和输出方程的灵活表示。人工神经网络已经证明可以提供这样的表示。然而,在许多识别问题中,需要解决非线性优化问题以获得模型参数(层权重和偏置)。这些模型参数的深思熟虑的初始化通常可以避免非线性优化算法收敛到所考虑的成本函数的表现不佳的局部最小值。本文介绍了一种改进的初始化方法表示为一个循环的人工神经网络的非线性状态空间模型,并强调在模型结构中包括一个显式的线性项的重要性。一些神经网络权重从非线性系统的线性近似开始初始化,而其他权重使用随机值或零初始化。所提出的初始化方法比以前提出的方法的有效性说明了两个基准的例子。
2021-03-26 cs.LG cs.SY eess.SY
Leveraging chaotic transients in the training of artificial neural networks
Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)(跨学科物理与复杂系统研究所)
通过利用混沌瞬态,研究发现大学习率下神经网络训练可进入探索-利用平衡区域,从而加速训练过程。
2026-03-08 cond-mat.dis-nn cs.LG nlin.CD
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center(斯伦贝谢-多尔研究中心)
本文介绍了一种新开发的自然启发式优化方法,即自适应风驱动优化(AWDO),前馈人工神经网络(NN)的训练的应用,并提出了对AWDO实现在深度学习(DL)的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为,其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
A unified deep artificial neural network approach to partial differential equations in complex geometries
Uppsala University(乌普萨拉大学)
在本文中,我们使用深度前馈人工神经网络来近似复杂几何中的偏微分方程的解。我们展示了如何修改反向传播算法来计算网络输出相对于空间变量的偏导数,这是需要近似的微分算子。该方法是基于对解决方案的分析,它只需要前馈神经网络和基于无约束梯度的优化方法,如梯度下降或拟牛顿法。我们展示了一个例子,经典的网格为基础的方法不能使用和神经网络可以被看作是一个有吸引力的替代。最后,我们强调了深度神经网络与浅层神经网络相比的好处,并提出了一些其他的收敛增强技术。
2018-08-22 cs.LG stat.ML
Training Artificial Neural Networks by Generalized Likelihood Ratio Method: Exploring Brain-like Learning to Improve Robustness
Institute of Computing Technology(计算技术研究所);Chinese Academy of Science(中国科学院);Peking University(北京大学);Fudan University(复旦大学)
在这项工作中,我们提出了一种广义似然比方法,能够训练人工神经网络与一些生物大脑一样的机制,例如,(a)通过损失值学习,(b)通过具有不连续激活和损失函数的神经元学习。传统的反向传播方法不能训练具有上述类脑学习机制的人工神经网络。数值结果表明,当输入数据同时受到自然噪声和对抗攻击的影响时,用该方法训练的各种人工神经网络的鲁棒性都得到了显著提高。代码可用:\url{https://github.com/LX-doctorAI/GLR_ADV}。
2019-07-11 cs.AI cs.LG stat.ML
Probabilistic solution of chaotic dynamical system inverse problems using Bayesian Artificial Neural Networks
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
介绍了贝叶斯人工神经网络在常微分方程反问题中的应用。我们考虑的情况下,估计一个未知的混沌动力系统的过渡模型,从状态观测数据。混沌系统的逆问题在数值上具有挑战性,因为模型参数的小扰动可能导致估计的前向轨迹发生非常大的变化。贝叶斯人工神经网络可用于同时拟合模型和估计模型参数不确定性。模型参数不确定性的知识,然后可以被纳入到推断系统的前向时间演化的概率估计。通过对Sprott B混沌系统的数值分析,证明了该方法的有效性.系统的观测值被用来估计参数多项式核人工神经网络的权值的后验预测分布。结果表明,所提出的方法是能够执行准确的时间预测。此外,所提出的方法是能够正确地考虑模型的不确定性,并提供有用的预测不确定性界。
2020-05-26 cs.LG stat.ML
Artificial Neural Network and its Application Research Progress in Distillation
East China University of Science and Technology(华东理工大学)
人工神经网络学习各种规则和算法,形成不同的信息处理方式,已广泛应用于各种化工过程。其中,随着精馏技术的发展,其生产规模不断扩大,对其计算要求也更加严格,由于人工神经网络具有自学习、联想存储和高速搜索最优解的优点,可以对精馏操作进行高精度的模拟预测,因此被广泛应用于精馏化工领域。本文对人工神经网络进行了基本的概述,并介绍了国内外人工神经网络在精馏中的应用研究。
2021-10-01 cs.LG
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们考虑一个具有随机化特征的神经网络架构,一个符号分离器,后面是整流线性单元(ReLU)。我们证明了我们的架构具有鲁棒性的输入扰动:输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力,即不是任意接近的输入生成输出向量,这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分,同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks
University of Cambridge(剑桥大学)
记忆重放可能是生物大脑学习的关键,它能够不断地学习新任务,而不会灾难性地干扰以前的知识。另一方面,人工神经网络遭受灾难性的遗忘,往往只表现良好的任务,他们最近trainedon.In这项工作中,我们探讨了应用潜在空间为基础的记忆重放分类使用人工神经网络。我们能够保持良好的性能,在以前的任务中存储只有一小部分的原始数据在压缩的潜在空间版本。
2022-01-05 cs.LG
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology(埃因霍温理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Derby(德比大学)
通过深度学习在各个领域的成功,人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性(例如稀疏性、无标度性)中获得灵感,我们认为(与一般实践相反)人工神经网络也不应该具有完全连接的层。在这里,我们提出了人工神经网络的稀疏进化训练,在学习过程中,将两个连续神经元层的初始稀疏拓扑(Erdens-Rényi随机图)进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前,减少了二次参数的数量,而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机,多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research(谷歌研究院)
我们提出了E NERGY NET,一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机(RBM)。我们目前的实验结果表明,最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
以人工深度神经网络(DNN)为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功,但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力,解释神经网络最近吸引了许多研究关注。在本文中,我们全面的分类的基础上,我们系统地回顾了最近的研究在理解神经网络的机制,描述了可解释性的应用,特别是在医学中,并讨论了未来的可解释性研究的方向,如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
New Designed Loss Functions to Solve Ordinary Differential Equations with Artificial Neural Network
Imperial College London(帝国理工学院)
研究了用人工神经网络(ANN)求解微分方程(DE)的方法,并构造了既满足微分方程又满足DE的初边值条件的损失函数。第二节将损失函数推广到$n^\text{th}$阶常微分方程。其他的构造方法在第3节中进行了研究,并应用于三个不同的模型,以评估其有效性。
2022-12-29 cs.LG
An Artificial Neural Network Functionalized by Evolution
CEDRIC(CEDRIC实验室);CNAM(法国国立工艺学院);INSEP(法国国家体育学院);RELAIS(RELAIS机构)
人工神经网络的拓扑结构对其性能有重要影响。有效拓扑的刻画是人工智能中一个很有前途的研究领域。然而,这不是一个简单的任务,它主要是通过卷积神经网络进行实验。我们提出了一个混合模型,结合张量演算的前馈神经网络与伪达尔文机制。这允许找到非常适合策略制定、控制问题或模式识别任务的拓扑结构。特别是,该模型可以在早期进化阶段提供自适应拓扑结构,以及“结构收敛”,这可以在机器人,大数据和人工生命中找到应用。
2022-05-16 cs.AI cs.LG cs.NE
Using stigmergy to incorporate the time into artificial neural networks
University of Pisa(比萨大学)
神经计算的当前研究趋势涉及新颖的人工神经网络的设计,其将时间概念并入到其操作模型中。在本文中,提出了一种新的架构,采用stigmergy。计算stigmergy被用来动态地增加(或减少)连接的强度,或激活水平,当刺激(或释放)人工神经元。这项研究奠定了一个基本的框架,推导出一个stigmergic神经网络与相关的训练算法。为了显示其潜力,已经报道了一些试点实验。异或问题通过仅使用具有一个输入和一个输出的单个stigmergic神经元来解决。一个静态神经网络,stigmergic神经网络,递归神经网络和长短期记忆神经网络已被训练,以解决MNIST数字识别基准。
2018-10-26 cs.LG cs.NE stat.ML
Estimation for Compositional Data using Measurements from Nonlinear Systems using Artificial Neural Networks
Schlumberger(斯伦贝谢)
我们的目标是通过一个未知的系统,估计逆的原始系统的训练集后,从其输出响应估计未知的成分输入。所提出的方法,使用人工神经网络(ANN)可以竞争的线性系统,凸优化理论适用的最佳界限,并展示了有前途的结果,为非线性系统反演。我们通过设计许多不同类型的非线性系统进行了广泛的实验。
2020-01-24 cs.LG cs.NE math.OC
Deciding How to Decide: Dynamic Routing in Artificial Neural Networks
California Institute of Technology(加州理工学院)
我们提出并系统地评估了三种策略,用于训练动态路由人工神经网络:学习变换的图形,通过它不同的输入信号可能会采取不同的路径。虽然有些方法比其他方法更有优势,但所产生的网络通常在质量上是相似的。我们发现,在经过训练以分类图像的动态路由网络中,层和分支变得专门用于处理不同类别的图像。此外,给定固定的计算预算,动态路由网络往往比可比的静态路由网络表现更好。
2017-09-12 cs.CV cs.LG cs.NE
Linear and Nonlinear Identification of Dryer System Using Artificial Intelligence and Neural Networks
当你阅读这些文字时,你正在使用一个复杂的生物神经网络。你有一组高度相互连接的神经元,以促进你的阅读,呼吸,运动和思考。你的每一个生物神经元,一个丰富的组织和化学组合,如果不是速度,也有微处理器的复杂性。你的一些神经结构在你出生时就已经存在了。其他部分已根据经验确定。
2019-02-08 cs.LG
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们提出了新的算法自适应学习人工神经网络。我们的算法(AdaNet)自适应地学习网络的结构及其权重。它们基于坚实的理论分析,包括我们详细证明和讨论的数据依赖的泛化保证。我们报告的结果与我们的算法之一,从CIFAR-10数据集提取的几个二进制分类任务的大规模实验。结果表明,我们的算法可以自动学习网络结构与非常有竞争力的性能精度相比,标准方法发现的神经网络实现。
2017-02-28 cs.LG
Artificial Neural Networks and Fault Injection Attacks
Worcester Polytechnic Institute(伍斯特理工学院)
本章是关于人工智能(AI)和神经网络(NN)加速器在面对故障注入攻击时的安全性评估。更具体地说,它讨论了这些平台上的资产,并将它们与加密系统领域已知和深入研究的资产进行了比较。这是为了精确定义威胁模型而必须采取的关键步骤。关于这一点,探讨了安装在NN和AI加速器上的故障攻击。
2021-02-11 cs.CR cs.LG
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University(布拉克大学)
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题,本文提出隐层神经元互联的CHNNet,理论上其收敛速度快于传统前馈神经网络,且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
On the Parametric Study of Lubricating Oil Production using an Artificial Neural Network (ANN) Approach
NJIT(新泽西理工学院);Think box
在这项研究中,一个人工神经网络(ANN)的方法被用来进行参数研究的过程中提取润滑油从重质石油馏分。为了训练模型,我们使用从工业工厂收集的现场数据。进料和溶剂流速、料流温度和混合速率的操作条件被认为是模型的输入,而主产物的流速被认为是神经网络模型的输出。前馈多层感知器神经网络被成功地应用于捕捉输入和输出参数之间的关系。
2016-11-21 cs.LG
Stochastic resonance neurons in artificial neural networks
Aston Institute of Photonic Technologies(阿斯顿光子技术研究所);Aston University(阿斯顿大学)
人工神经网络的许多现代应用随之而来的是大量的层,使得传统的数字实现越来越复杂。光学神经网络在高带宽下提供并行处理,但具有噪声累积的挑战。我们在这里提出了一种新的类型的神经网络使用随机共振作为一个固有的一部分的架构,并证明了显着减少所需的神经元的数量为一个给定的性能精度的可能性。我们还表明,这样的神经网络是更强大的对噪声的影响。
2022-08-23 cs.ET cs.LG cs.NE
Artificial Neural Networks generated by Low Discrepancy Sequences
NVIDIA(英伟达)
提出利用低偏差序列在稠密图上生成稀疏神经网络,支持确定性初始化与从头稀疏训练,避免存储体冲突,在低计算复杂度下达到接近稠密网络的准确率。
2023-11-27 cs.LG
ExGate: Externally Controlled Gating for Feature-based Attention in Artificial Neural Networks
University of Cape Town(开普敦大学)
自深度学习出现以来,人工系统的感知能力已经取得了长足的进步。这些方法已被证明是有效的,但它们不如生物学方法有效。视觉注意是生物视觉系统中通过只处理刺激的相关部分来减轻计算负荷的一组机制。本文讨论了自上而下的,基于特征的注意在人工神经网络的外部控制的神经元门控使用的实现。我们的结果显示,与非门控版本相比,CIFAR-10数据集的分类准确性提高了5%,同时添加了很少的参数。我们的门控模型还通过大幅减少属于与真实类不同类别的类的预测来产生更合理的预测错误。
2018-11-08 cs.CV cs.LG cs.NE
Particle Swarm Optimization Based Demand Response Using Artificial Neural Network Based Load Prediction
University of Central Florida(中佛罗里达大学)
提出了一种基于粒子群优化算法的电力需求响应模型,并利用人工神经网络进行负荷预测。以美国德克萨斯州奥斯汀市某居民区的电力负荷和气候数据作为人工神经网络的输入,结合日前电价数据求解负荷转移和成本降低问题。结果表明,该模型具有降低支付费用和峰值负荷的能力。
2022-07-10 cs.LG cs.NE
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover(汉诺威莱布尼茨大学)
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战,并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上,当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片,我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片,实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Brain tumor detection using artificial convolutional neural networks
Universidad Autónoma de Chihuahua(奇瓦瓦自治大学)
在本文中,卷积神经网络(CNN)被用来分类的核磁共振图像的人脑与4种不同类型的肿瘤:脑膜瘤,胶质瘤和垂体瘤。在本项目的训练阶段,准确率为100%,同时,在评估阶段的精度为96%。
2022-06-22 cs.CV cs.LG eess.IV
Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification
University of Tsukuba(筑波大学)
随着深度神经网络的不断创新,更接近生物大脑突触的脉冲神经网络(SNN)因其低功耗而引起关注。然而,对于连续数据值,它们必须采用编码过程将值转换为脉冲序列。因此,它们尚未超过直接处理此类值的人工神经网络(ANN)的性能。为此,我们将人工神经网络和SNN结合起来,构建了多功能的混合神经网络(HNN),以提高相关性能。为了使这种性能合格,MNIST和CIFAR-10图像数据集被用于各种分类任务,其中训练和编码方法发生了变化。此外,我们提出了同时和单独的方法来训练人工层和尖峰层,考虑到每种编码方法。我们发现,以牺牲尖峰层为代价增加人工层的数量可以提高HNN的性能。对于像MNIST这样简单的数据集,通过使用重复编码和单独学习很容易达到与ANN相同的性能。然而,对于更复杂的任务,发现使用高斯编码和同时学习来提高HNN的准确性,同时利用较少数量的人工层。
2021-02-28 cs.CV cs.LG cs.NE
Neural population geometry: An approach for understanding biological and artificial neural networks
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心)
实验神经科学的进步已经改变了我们探索神经回路结构和功能的能力。与此同时,机器学习的进步释放了人工神经网络(ANN)的非凡计算能力。虽然这两个领域有不同的工具和应用程序,但它们提出了类似的挑战:即理解如何通过高维表示嵌入和处理信息,以解决复杂的任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状,即,神经元群体几何学。我们回顾了几何方法的例子,提供了深入了解生物和人工神经网络的功能:表示解开知觉,几何理论的分类能力,解开和抽象的认知系统,拓扑表示认知地图,动态解开运动系统,和一个动态的认知方法。总之,这些发现说明了机器学习,神经科学和几何学交叉的一个令人兴奋的趋势,其中神经元群体几何学提供了一个有用的群体级机械描述符底层任务的实现。重要的是,几何描述适用于感觉模态、大脑区域、网络架构和时间尺度。因此,神经元群体几何有可能统一我们对生物和人工神经网络的结构和功能的理解,弥合单个神经元,群体和行为之间的差距。
2021-11-20 cs.LG q-bio.NC
Neural Fuzzy Extractors: A Secure Way to Use Artificial Neural Networks for Biometric User Authentication
Kansas State University(堪萨斯州立大学)
本文提出神经模糊提取器(NFE),通过基于人工神经网络的扩展器将现有分类器与模糊提取器耦合,在保持深度学习分类器性能的同时提供标准模糊提取器的安全性,用于生物特征用户认证。
2023-12-19 cs.CR cs.HC cs.LG
Web spam classification using supervised artificial neural network algorithms
Integral University(英特拉尔大学)
由于垃圾邮件发送者所采用的技术的快速增长,需要更有效、通用和高度自适应的分类器。基于神经网络的技术具有很强的自适应能力和泛化能力。据我们所知,在这一领域中使用神经网络的工作很少。我们提出本文来填补这一空白。本文通过创建分类器来评估人工神经网络的三种监督学习算法的性能,以解决最新Web垃圾邮件模式分类的复杂问题。这些算法是共轭梯度算法,弹性反向传播学习和Levenberg-Marquardt算法。
2015-02-12 cs.LG cs.NE
Motion Planning Of an Autonomous Mobile Robot Using Artificial Neural Network
Mody Institute of Technology and Science(莫迪理工学院);PEC University of Technology(旁遮普工程学院大学)
本文介绍了电子设计和运动规划的机器人决策的基础上,关于它的直线运动和精确转弯的人工神经网络(ANN)。人工神经网络有助于机器人的学习,使其自主执行运动。计算的权重在微控制器中实现。性能经测试是优秀的。
2012-07-20 cs.AI cs.LG cs.NE
Artificial intelligence system based on multi-value classification of fully connected neural network for construction management
Kyiv National University of Construction and Architecture(基辅国立建筑大学)
为解决利用人工智能系统确定施工管理人员职业适应能力的问题,提出了全连接前馈神经网络体系结构,并进行了实证建模,建立了数据集。人工智能系统模型允许在执行专业领域的多值分类期间评估全连接前馈神经网络中的过程。已经开发了一种用于机器学习模型的训练过程的方法,该方法反映了人工智能系统的组件之间的内部连接,该内部连接允许其从训练数据中学习。为了训练神经网络,使用了35个输入参数和29个输出参数的数据集;该数据集中的数据量为936个数据线。神经网络训练发生的比例分别为10%和90%。这项研究的结果可以用来进一步提高成功的专业实现所需的知识和技能。
2022-06-19 cs.AI cs.LG
The Artificial Mind's Eye: Resisting Adversarials for Convolutional Neural Networks using Internal Projection
Nedap N.V.;Radboud University(拉德堡德大学)
我们介绍了一种新的人工神经网络架构,集成了网络结构的对抗性输入的鲁棒性。我们的方法的主要思想是迫使网络对所考虑的类的给定实例的外观进行预测,并随后测试这些预测。通过迫使网络重新绘制图像的相关部分,并随后将新图像与原始图像进行比较,我们让网络给出对象存在的“证据”。
2016-07-14 cs.LG cs.NE
Massively Deep Artificial Neural Networks for Handwritten Digit Recognition
Aberystwyth University(阿伯里斯特威斯大学)
贪婪限制玻尔兹曼机产生一个相当低的出错率的著名的MNIST数据库的手写数字。实现这一结果所需要的只是由许多神经元组成的大量隐藏层,以及一张图形卡,以大大加快学习速度。
2015-07-17 cs.CV cs.LG cs.NE
Artificial neural networks and fuzzy logic for recognizing alphabet characters and mathematical symbols
Politecnico di Torino(都灵理工大学);University of Turin(都灵大学);Istituto Superiore Mario Boella(马里奥·博埃拉高等研究院)
光学字符识别软件(OCR)是获取无障碍文本的重要工具。我们建议使用人工神经网络(ANN),以开发模式识别算法能够识别正常的文本和公式。我们提出了一个原始的反向传播算法的改进。此外,我们描述了一种新的图像分割算法,利用模糊逻辑分离触摸字符。
2016-07-06 cs.LG cs.NE
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT(信息与神经网络中心(CiNet),高级信息通信技术研究所,日本信息通信研究机构);Osaka University(大阪大学)
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体,这被称为一种尤里卡效应,可能与人类的创造力有关。先前的心理学研究表明,这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里,我们构建了一个基于人工神经网络的模型,模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
An Artificial Neural Network Architecture Based on Context Transformations in Cortical Minicolumns
皮质微柱被认为是皮质组织的模型。它们的功能仍然是一个研究的来源,并没有在人工智能算法的现代网络结构中得到适当的反映。我们假设它的功能,并在本文中描述它。此外,我们展示了这个建议如何允许构建一个新的架构,这不是基于卷积神经网络,测试它的MNIST数据和接收接近卷积神经网络的准确性。我们还表明,所提出的架构具有训练少量的样本的能力。为了实现这些结果,我们使minicolumns记住上下文转换。
2017-12-16 cs.CV cs.LG cs.NE
Recombination of Artificial Neural Networks
Cray Inc.(克雷公司)
我们提出了一种用于人工神经网络超参数优化的遗传算法(GA),该算法包括染色体交叉以及参数解耦(即,权重和偏差)来自超参数(例如,学习率、权重衰减和脱落)。子节点由三个父节点生成;两个贡献超参数,一个贡献参数。我们的基于群体的训练(PBT)版本将传统的基于梯度的方法(如随机梯度下降(SGD))与我们的GA相结合,以优化SGD时期的参数和超参数。我们对传统PBT的改进提供了更快的适应速度和更大的能力,以摆脱有害基因的人口。我们的方法在各种深度神经网络架构上提高了最终精度以及达到固定精度的时间,包括卷积神经网络、递归神经网络、密集神经网络和胶囊网络。
2019-01-12 cs.LG cs.NE
Evidence, Definitions and Algorithms regarding the Existence of Cohesive-Convergence Groups in Neural Network Optimization
针对人工神经网络优化因非凸性难以实际收敛的问题,本文基于优化过程中出现的凝聚收敛群现象,提出新的研究思路以拓展神经网络收敛领域的相关研究。
2024-03-08 cs.CV cs.LG
NEWRON: A New Generalization of the Artificial Neuron to Enhance the Interpretability of Neural Networks
Sapienza University of Rome(罗马大学)
在这项工作中,我们制定NEWRON:一个概括的麦卡洛克-皮茨神经元结构。这个新框架旨在探索人工神经元的其他理想特性。我们表明,NEWRON的一些专业化允许网络是可解释的,在他们的表现力没有变化。通过检查我们基于NEWRON的网络产生的模型,我们可以理解管理任务的规则。大量的实验表明,所生成的模型的质量优于传统的可解释模型,并符合或优于标准的神经网络。
2021-10-05 cs.AI cs.LG cs.NE
A State-of-the-art Survey of Artificial Neural Networks for Whole-slide Image Analysis:from Popular Convolutional Neural Networks to Potential Visual Transformers
Northeastern University(东北大学);Chengdu University of Information Technology(成都信息工程大学);China Medical University(中国医科大学);University of Luebeck(吕贝克大学)
为了提高病理学家工作的客观性和准确性,人工神经网络(ANN)方法已普遍需要的分割,分类,和检测的组织病理WSI。本文综述了基于人工神经网络的水稳性分析方法。本文首先介绍了WSI方法和ANN方法的发展现状。其次,对常用的人工神经网络方法进行了总结。接下来,我们讨论公开可用的WSI数据集和评估指标。这些用于WSI处理的ANN架构分为经典神经网络和深度神经网络(DNN),然后进行分析。最后,对该分析方法在该领域的应用前景进行了探讨。可视化Transformers是重要的潜在方法。
2022-02-26 cs.CV cs.LG eess.IV
Solution of Definite Integrals using Functional Link Artificial Neural Networks
Department of Information Technology, Institute of Engineering and Management(信息科技系,工程管理学院)
本文提出了一种利用人工神经网络求解定积分的新方法,通过最小化精心设计的误差函数,构建出一种新颖的替代传统数值方法的神经网络,特别适用于高阶多项式积分。
2019-04-21 cs.LG cs.NA math.NA
Learning from Pseudo-Randomness With an Artificial Neural Network - Does God Play Pseudo-Dice?
Rensselaer Polytechnic Institute(伦斯勒理工学院)
受神经网络作为机器学习的主流在许多应用领域取得成功的启发,本文提出利用这种方法来解码伪随机数据之间的隐藏相关性,并据此预测事件。通过一个简单的神经网络结构和一个典型的训练过程,我们证明了神经网络在极端随机环境下的学习和预测能力。最后,我们假设神经网络的高灵敏度和效率可以允许严格测试量子随机性和伪随机性之间是否存在任何根本差异,这相当于这样一个问题:上帝玩骰子吗?
2018-01-05 cs.CR cs.LG
Neural Variability Enhances Artificial Network Robustness
Department of Computer Science, Western Washington University(西华盛顿大学计算机科学系);Allen Institute(艾伦研究所)
研究通过引入结构化噪声(模仿皮层神经变异性)提升人工神经网络对对抗攻击和自然图像修改的鲁棒性,发现噪声结构可显著增强鲁棒性,且对抗攻击的噪声结构可泛化至其他攻击类型。
2026-06-15 cs.LG q-bio.NC
Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks
The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学);Cornell University(康奈尔大学)
纵观历史,人工智能特别是人工神经网络的发展一直是开放的,并不断受到对大脑日益加深的理解的启发,比如神经认知机的启发,它是卷积神经网络的开创性工作。根据新兴领域NeuroAI的动机,大量的神经科学知识可以通过赋予网络更强大的功能来帮助催化下一代AI。正如我们所知,人类大脑有许多形态和功能不同的神经元,而人工神经网络几乎完全建立在一个单一的神经元类型。在人类大脑中,神经元的多样性是各种生物智能行为的一个使能因素。由于人工网络是人类大脑的缩影,因此引入神经元多样性对于解决人工网络的基本问题(如效率、可解释性和记忆)应该是有价值的。在本书中,我们首先讨论了生物神经元多样性的分类以及生物神经元中信息传递和处理的特征。然后,我们回顾了人工网络设计新的神经元的研究。接下来,我们将讨论神经元多样性可以为人工网络带来什么好处,以及在几个重要领域的示例性应用。最后,我们讨论了神经元多样性的挑战和未来方向,以探索NeuroAI的潜力。
2023-03-11 cs.AI cs.ET cs.LG
Artificial neural networks for predicting the viscosity of lead-containing glasses
Federal Institute of Espírito Santo (IFES)(圣埃斯皮里图联邦学院(IFES))
含铅玻璃的粘度对于制造过程至关重要,并且可以通过诸如人工神经网络的算法来预测。利用SciGlass数据库提供化学成分、温度和粘度的训练、验证和测试数据,构建隐层节点变化的人工神经网络。最好的模型建立与训练数据和验证数据进行了比较,从文献中的其他7个模型,表现出更好的平均绝对误差和决定系数的统计评价测试数据,随后的灵敏度分析与文献一致。偏度和峰度进行了计算,有一个最好的神经网络与测试数据建立预测值之间的良好相关性。
2022-11-20 cond-mat.soft cs.LG cs.NA
Artificial Geographically Weighted Neural Network: A Novel Framework for Spatial Analysis with Geographically Weighted Layers
College of Geography and Environment, Shandong Normal University(山东师范大学地理与环境学院)
本文提出人工地理加权神经网络AGWNN,通过地理加权层将空间异质性编码到神经网络中,以突破传统GWR的线性假设,实验表明其在拟合精度和非线性空间模式识别上显著优于GWR与标准ANN。
2025-04-01 cs.AI cs.LG
Assessing Intelligence in Artificial Neural Networks
National Center for the Advancement of Translational Sciences(国家转化科学促进中心);National Institutes of Health(美国国立卫生研究院);Axle Informatics(Axle信息学公司)
这项工作的目的是开发衡量标准,以评估平衡神经网络大小和任务性能的网络架构。为此,引入神经效率的概念来衡量神经层利用率,并创建了第二个称为人工智能商数(aIQ)的指标来平衡神经网络性能和神经网络效率。为了研究aIQ和神经效率,在MNIST上训练了两个简单的神经网络:全连接网络(LeNet-300-100)和卷积神经网络(LeNet-5)。具有最高aIQ的LeNet-5网络的准确度低2.32%,但包含的参数比最高准确度网络少30,912倍。批量归一化和dropout层都被发现可以提高神经效率。最后,高aIQ网络被证明是记忆和过度训练抵抗,能够学习正确的数字分类,准确率为92.51%,即使75%的类标签是随机的。这些结果证明了aIQ和神经效率作为平衡网络性能和大小的指标的实用性。
2020-06-03 cs.AI cs.CV cs.LG
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在这篇文章中,我们研究了随机梯度下降(SGD)最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时,SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层,一个隐藏层,和一个输出层(与$d \in \mathbb{N}$神经元上的输入层,$H \in \mathbb{N}$神经元上的隐藏层,和一个神经元上的输出层)。假设SGD过程的学习速率足够小,并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Handwritten and Machine printed OCR for Geez Numbers Using Artificial Neural Network
Addis Ababa University(亚的斯亚贝巴大学)
对仿剧本的研究已经完成。然而,由于不同的原因,研究排除了吉兹数。提出了一种基于前馈反向传播人工神经网络的脱机手写体和机印体吉兹数识别方法。在这项研究中,从谷歌图像搜索中收集了不同的Geez图像字符,并指示三个人用铅笔写下数字。我们总共收集了560个字符。我们使用了460个字符进行训练,100个用于测试。因此我们总体上达到了所有分类的~89:88%
2019-11-15 cs.CV cs.LG eess.IV
SciANN: A Keras/Tensorflow wrapper for scientific computations and physics-informed deep learning using artificial neural networks
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们介绍了SciANN,这是一个使用人工神经网络进行科学计算和物理深度学习的Python包。SciANN使用广泛使用的深度学习包Tensorflow和Keras来构建深度神经网络和优化模型,从而继承了Keras的许多功能,例如批量优化和模型重用以进行迁移学习。SciANN旨在使用物理信息神经网络(PINN)架构抽象神经网络结构,用于科学计算和偏微分方程(PDE)的求解和发现,从而提供设置复杂函数形式的灵活性。我们举例说明,在一系列的例子中,该框架可用于曲线拟合的离散数据,并在强和弱形式的偏微分方程的解决方案和发现。我们总结了SciANN目前可用的功能,并概述了正在进行的和未来的发展。
2020-09-16 cs.LG cs.MS cs.OH