Whetstone: A Method for Training Deep Artificial Neural Networks for Binary Communication
Sandia National Laboratories(桑迪亚国家实验室);Center for Computing Research(计算研究中心)
本文提出了一种训练低精度通信网络的新技术。以节点之间的最小通信为目标不仅能够使用新兴的尖峰神经形态平台,而且还可以额外地传统地简化处理。低功耗和嵌入式神经形态处理器与传统的冯·诺依曼处理器相比,每瓦性能有可能大幅提高,但对这些受大脑启发的平台进行编程通常需要特定于平台的专业知识,这限制了它们的适用性。到目前为止,大多数人工神经网络还没有使用离散的尖峰状通信进行操作。我们提出了一种使用反向传播优化算法的迭代修改来训练深度脉冲神经网络的方法。我们称之为Whetstone的这种方法可以有效可靠地为尖峰硬件目标配置网络,并且性能损失很小(如果有的话)。Whetstone网络使用单时间步长二进制通信,并且不需要速率码或其他基于尖峰的编码方案,从而产生在时序和大小上与传统ANN相当的网络,尽管具有二进制通信。我们在一些图像分类网络上演示了Whetstone,描述了锐化过程如何与不同的训练优化器相互作用,并改变了网络内的活动分布。我们进一步注意到,Whetstone与几个非分类神经网络应用程序兼容,例如自动编码器和语义分割。Whetstone可广泛扩展,目前使用Keras包装器中的自定义激活函数实现流行的TensorFlow机器学习框架。
2018-10-26 cs.LG cs.NE
Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
Institute for Physics of Intelligence, The University of Tokyo(智能物理研究所,东京大学);AI Laboratory, Aisin Corporation(爱思特实验室,爱思特公司);Department of Physics, The University of Tokyo(物理系,东京大学);Institute for Solid State Physics, The University of Tokyo(固态物理研究所,东京大学)
本文证明处于混沌边缘的人工深度神经网络表现出吸收相变普适标度律,揭示多层感知器与卷积神经网络分属不同普适类,并指出临界性对理解深度网络泛化与智能具有重要意义。
2025-04-10 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality
MLNomads
该研究提出基于yat乘积的神经物质网络(NMN),无需激活函数即可实现非线性模式识别,简化架构并提升决策透明度,在多数据集上持续优于传统MLP,挑战激活函数必要性假设并建立新设计范式。
2024-12-02 cs.CV cs.LG math.GN
Structure of Artificial Neural Networks -- Empirical Investigations
University of Passau(帕绍大学)
本文形式化了图诱导神经网络以构建架构优化问题,实证分析了结构对正确性、鲁棒性和能耗等目标的影响,并提出新的预测模型和生成模型以改进神经架构搜索。
2024-10-12 cs.AI cs.LG cs.NE
Sparse evolutionary Deep Learning with over one million artificial neurons on commodity hardware
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学);Iowa State University(爱荷华州立大学)
人工神经网络(ANN)已经成为研究界的热门话题。尽管人工神经网络取得了成功,但由于模型大小的不断增加和数据量的前所未有的增长,在商品硬件上训练和部署现代人工神经网络是具有挑战性的。特别是对于微阵列数据,非常高的维度和少量的样本使得机器学习技术难以处理。此外,诸如图形处理单元(GPU)的专用硬件是昂贵的。稀疏神经网络是解决这些挑战的主要方法。然而,现成的稀疏性诱导技术要么从预先训练的模型操作,要么通过二进制掩码强制执行稀疏结构。稀疏神经网络的训练效率在实际中很难得到。在本文中,我们介绍了一种技术,使我们能够训练真正稀疏的神经网络与固定的参数计数在整个训练。实验结果表明,该方法可以直接应用于处理高维数据,同时比传统的两阶段方法具有更高的精度。此外,我们已经能够创建具有超过一百万个神经元的真正稀疏的多层感知器(MLP)模型,并在没有GPU的典型笔记本电脑上对它们进行训练,这远远超出了任何最先进的技术。
2021-01-16 cs.LG cs.NE stat.ML
Operator learning on domain boundary through combining fundamental solution-based artificial data and boundary integral techniques
SKLMS, ICMSEC, NCMIS, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(数学与系统科学研究院,中国科学院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本文提出MAD-BNO方法,通过结合基于基本解的人工数据和边界积分技术,实现领域边界的高效算子学习,提升求解精度并减少训练时间。
2026-01-16 cs.LG
On Regularization Properties of Artificial Datasets for Deep Learning
Military University of Technology(军事科技大学)
本文讨论了用于深度学习的人工数据的正则化特性。人工数据集允许在真实数据短缺的情况下训练神经网络。它表明,人工数据生成过程,描述为注入噪声的高层次的功能,具有几个相似之处,现有的正则化方法的深度神经网络。我们可以将人工数据的这种属性视为一种“深度”正则化。因此,可以通过以某种方式生成训练数据来正则化网络的隐藏层。
2019-08-19 cs.LG stat.ML
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting
The University of Tokyo(东京大学);RIKEN Center for AIP(日本理化学研究所先进智能研究中心);UBTECH Sydney AI Centre, The University of Sydney(悉尼大学优必选悉尼人工智能中心)
深度学习经常受到自然神经系统中很少存在的两个严重问题的批评:过度拟合和灾难性遗忘。它甚至可以记忆随机标记的数据,这些数据在实例-标签对背后几乎没有知识。当深度网络通过适应新任务不断学习时,它通常会快速覆盖从以前的任务中学到的知识。被称为{ \it神经变异性},在神经科学中众所周知的是,即使在对相同刺激的响应中,人脑反应也表现出相当大的变异性。这种机制平衡了自然神经系统运动学习的准确性和可塑性/灵活性。因此,它促使我们设计一个类似的机制,命名为{ \it人工神经变异性}(ANV),它可以帮助人工神经网络从“自然”神经网络学习一些优点。我们严格证明了ANV作为训练数据和学习模型之间的互信息的隐式正则化。这一结果从理论上保证ANV严格改进的泛化能力,对标签噪声的鲁棒性,以及对灾难性遗忘的鲁棒性。然后,我们设计了一个{ \it神经变量风险最小化}(NVRM)框架和{ \it神经变量优化器},以实现ANV的传统网络结构在实践中。实证研究表明,NVRM可以有效地缓解过拟合,标签噪声记忆,和灾难性遗忘在可以忽略不计的成本。\footnote {代码:\url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning} .
2021-05-10 cs.LG
Deep Learning and Artificial General Intelligence: Still a Long Way to Go
QED Software(QED软件公司)
近年来,使用神经网络架构的深度学习,即深度神经网络,一直处于计算机科学研究的前沿。它甚至在某些问题上导致了超人的表现,例如,在计算机视觉、游戏和生物学中,深度学习革命一词由此诞生。深度学习无可争议的成功和快速增长表明,在未来,它可能成为通用人工智能(AGI)的推动者。在这篇文章中,我们批判性地探讨了这一说法,并指出了目前深度神经网络还没有准备好成为实现AGI的首选技术的五个主要原因。
2022-04-05 cs.AI cs.LG
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover(汉诺威莱布尼茨大学)
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战,并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上,当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片,我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片,实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Deep Convolutional Generative Modeling for Artificial Microstructure Development of Aluminum-Silicon Alloy
SRM Institute of Science and Technology(SRM科学技术学院)
机器学习是人工智能的一个子领域,在制造业和材料科学领域有着各种应用。本研究采用无监督机器学习技术中的深度生成建模方法构建了硅铝合金的人工显微组织。深度生成对抗网络已被用于开发给定微观结构图像数据集的人工微观结构。所获得的结果表明,所开发的模型已经学会了在微观结构的某些图像附近复制衬里。
2021-09-06 cs.CV cs.LG eess.IV
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna(维也纳医科大学)
在这篇文章中,我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点,其中描述了自然语言处理及其在生物医学领域的应用。在第4节中,我们介绍了可解释的人工智能,并讨论了可解释性的重要性,人工智能系统,特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
Interpretable Artificial Intelligence through the Lens of Feature Interaction
University of Southern California(南加利福尼亚大学)
深度学习模型的解释是一个非常具有挑战性的问题,因为它们有大量的参数,节点之间的复杂连接以及难以理解的特征表示。尽管如此,许多人认为可解释性是可信度、公平性和安全性的关键解决方案,特别是当深度学习被应用于更关键的决策任务时,如信贷审批、工作筛选和累犯预测。有大量优秀的研究为深度学习模型提供了可解释性;然而,许多常用的方法没有考虑一种称为“特征交互”的现象。“这项工作首先解释了特征交互的历史和现代重要性,然后调查了明确考虑特征交互的现代可解释性方法。本调查旨在揭示特征交互在机器学习可解释性的更大背景下的重要性,特别是在深度学习模型严重依赖特征交互的现代背景下。
2021-03-01 cs.LG
Music Transcription by Deep Learning with Data and "Artificial Semantic" Augmentation
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”);University Paris 8(巴黎第八大学)
在这篇进展论文中,介绍了通过深度学习进行单音符识别的先前结果。提出了几种数据增强和“人工语义”增强的方法,通过增加训练数据的维度及其无损和有损变换,来提高用于单音和复调音符识别的深度学习方法的效率。
2017-12-08 cs.LG cs.SD eess.AS
A unified deep artificial neural network approach to partial differential equations in complex geometries
Uppsala University(乌普萨拉大学)
在本文中,我们使用深度前馈人工神经网络来近似复杂几何中的偏微分方程的解。我们展示了如何修改反向传播算法来计算网络输出相对于空间变量的偏导数,这是需要近似的微分算子。该方法是基于对解决方案的分析,它只需要前馈神经网络和基于无约束梯度的优化方法,如梯度下降或拟牛顿法。我们展示了一个例子,经典的网格为基础的方法不能使用和神经网络可以被看作是一个有吸引力的替代。最后,我们强调了深度神经网络与浅层神经网络相比的好处,并提出了一些其他的收敛增强技术。
2018-08-22 cs.LG stat.ML
Generating Artificial Data for Private Deep Learning
Artificial Intelligence Laboratory(人工智能实验室);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
在本文中,我们建议生成保留真实数据的统计特性的人工数据,作为提供原始数据集隐私的手段。我们使用生成对抗网络来提取隐私保护的人工数据样本,并推导出一个经验方法来评估信息披露的风险,在一个不同的隐私类的方式。我们的实验表明,我们能够生成高质量的人工数据,并在此数据上成功地训练和验证机器学习模型,同时限制潜在的隐私损失。
2019-04-28 cs.CR cs.LG stat.ML
Massively Deep Artificial Neural Networks for Handwritten Digit Recognition
Aberystwyth University(阿伯里斯特威斯大学)
贪婪限制玻尔兹曼机产生一个相当低的出错率的著名的MNIST数据库的手写数字。实现这一结果所需要的只是由许多神经元组成的大量隐藏层,以及一张图形卡,以大大加快学习速度。
2015-07-17 cs.CV cs.LG cs.NE
Artificial Intelligence Technology analysis using Artificial Intelligence patent through Deep Learning model and vector space model
NHN Diquest(NHN Diquest公司)
由于近年来人工智能技术的快速发展,当前的人工智能技术正在为社会的许多部分做出贡献。教育、环境、医疗、军事、旅游、经济、政治等对整个社会都有非常大的影响。例如,在教育领域,有一种人工智能家教系统,可以根据学生的水平自动分配家教。在经济学领域,有定量投资方法,自动分析大量数据,寻找投资规律,以创建投资模型或预测金融市场的变化。因此,人工智能技术正被用于各个领域。所以,准确地了解哪些因素对人工智能技术的各个领域产生重要影响,以及各个领域之间的关系是如何连接的,这是非常重要的。因此,有必要对各个领域的人工智能技术进行分析。本文分析了与人工智能技术相关的专利文献。本文提出了一种基于人工智能专利数据集的关键词分析方法,用于人工智能技术分析。这是一个基于深度学习模型KeyBERT,并使用向量空间模型的特征工程模型。以收集和分析人工智能专利数据为例,展示了该模型如何应用于现实世界的问题。
2021-11-08 cs.AI cs.IR cs.LG
Method and Software Tool for Generating Artificial Databases of Biomedical Images Based on Deep Neural Networks
West Ukrainian National University(西乌克兰国立大学)
本文提出基于GAN的生物医学图像生成方法,设计GAN架构并实现软件系统,生成图像数据库并与已知数据库比较。
2024-05-25 cs.LG eess.IV
A Tutorial on Regression Analysis: From Linear Models to Deep Learning -- Lecture Notes on Artificial Intelligence
Beihang University(北航大学)
本文为人工智能课程提供回归分析教程,涵盖线性模型到深度学习的全面内容,包括各种回归方法及优化技术。
2025-12-04 cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations
ARC Centre of Excellence for Automated Decision-Making and Society(澳大利亚研究理事会自动化决策与社会卓越中心);RMIT University(皇家墨尔本理工大学)
本文提出从简单决策模型的不同表示形式入手,研究不同利益相关者如何感知人工智能解释基本构建模块的可理解性,并建立相应的评估方法和用户研究框架。
2023-04-15 cs.AI cs.HC cs.LG
Towards Dynamic Fault Tolerance for Hardware-Implemented Artificial Neural Networks: A Deep Learning Approach
University of Bremen(不来梅大学)
动态硬件故障的发生可能会严重损害电子电路的功能。特别是,对于数字超低功耗系统,降低的安全裕度可能会增加动态故障的概率。本文研究了一种深度学习方法来减轻人工神经网络的动态故障影响。作为一个理论上的使用情况下,图像压缩的手段,深度自动编码器被认为是。评估结果表明,在测试过程中的故障注入率的测试损失的线性依赖关系。如果训练时期的数量足够大,与基线网络相比,我们的方法显示出超过2%的测试损失减少,而无需额外的硬件。在测试过程中没有故障,我们的方法也减少了测试损失相比,参考网络。
2022-10-16 cs.AR cs.LG
CloudifierNet -- Deep Vision Models for Artificial Image Processing
University “Politehnica” Bucharest(布加勒斯特理工大学)
如今,越来越多的人需要在基于云的基础设施上在线访问以前或当前技术开发的大多数应用程序和文档。这就是为什么使用现代人工智能技术将遗留系统(包括其文档主机)迁移到新技术和在线基础设施是绝对必要的。随着人工智能和深度学习及其众多应用的发展,一个新的研究领域正在出现-自动化系统开发和维护。导致本文的基本工作目标是研究和开发真正的智能系统,能够分析来自各种来源的用户界面,并生成从架构分析到实际代码生成的真实和可用的推论。这种系统的一个关键要素是基于深度学习计算机视觉系统的人工场景检测和分析。计算机视觉模型,特别是基于卷积模块的深度有向无环图,通常基于自然图像数据集来构建和训练。由于这一事实,模型将在训练过程中开发自然图像特征检测器,而不是学习基本原始特征的基本图模块。在本文中,我们将介绍应用于人工场景(由用户界面或类似物生成的场景)的计算机视觉深度神经管道的基本原理。最后,我们将根据实验开发和对最先进的迁移学习实现的深度视觉模型进行基准测试来得出结论。
2020-07-28 cs.CV cs.LG eess.IV
Artificial Intelligence as Structural Estimation: Economic Interpretations of Deep Blue, Bonanza, and AlphaGo
Yale(耶鲁大学);MIT(麻省理工学院)
人工智能(AI)在越来越多的任务中实现了超人的性能,但理解和解释AI仍然具有挑战性。本文通过对三个著名的游戏人工智能的案例研究,阐明了开发人工智能的机器学习算法与动态结构模型的计量经济学之间的联系。玩国际象棋的深蓝是一个校准的价值函数,而玩将棋的博南扎是一个估计的价值函数通过鲁斯特(1987)嵌套定点方法。AlphaGo的“监督学习策略网络”是Hotz和Miller(1993)条件选择概率估计的深度神经网络实现;其“监督学习值网络”相当于Hotz,Miller,Sanders和Smith(1994)条件选择模拟方法。放宽这些认可机构隐含的计量经济学假设将改善其结构的可解释性。
2018-03-01 cs.AI cs.LG econ.EM
SciANN: A Keras/Tensorflow wrapper for scientific computations and physics-informed deep learning using artificial neural networks
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们介绍了SciANN,这是一个使用人工神经网络进行科学计算和物理深度学习的Python包。SciANN使用广泛使用的深度学习包Tensorflow和Keras来构建深度神经网络和优化模型,从而继承了Keras的许多功能,例如批量优化和模型重用以进行迁移学习。SciANN旨在使用物理信息神经网络(PINN)架构抽象神经网络结构,用于科学计算和偏微分方程(PDE)的求解和发现,从而提供设置复杂函数形式的灵活性。我们举例说明,在一系列的例子中,该框架可用于曲线拟合的离散数据,并在强和弱形式的偏微分方程的解决方案和发现。我们总结了SciANN目前可用的功能,并概述了正在进行的和未来的发展。
2020-09-16 cs.LG cs.MS cs.OH
Deep learning control of artificial avatars in group coordination tasks
University of Bristol(布里斯托大学);University of Naples “Federico II”(那不勒斯费德里科二世大学);University of Sannio(桑尼奥大学)
在许多联合行动的场景中,人类和机器人必须协调他们的运动来完成给定的共享任务。举一个物体在一起,锯一根木头,将物体从一个点转移到另一个点都是人类和机器之间的运动协调是一个至关重要的要求的例子。虽然在以前的研究中已经研究了人类和机器人之间的二元协调,但机器人必须集成到人类群体中的多智能体场景仍然是一个较少探索的研究领域。在本文中,我们讨论了如何合成一个人工智能体能够协调其运动的人类合奏。在基于深度强化学习的控制架构的驱动下,这样的人工智能体将能够自主地移动自己,以便使其运动与群体的运动同步,同时表现出类似人类的运动学特征。作为一个典型的协调任务,我们采取了一组版本的所谓的镜像游戏,这是突出作为一个很好的基准,在人类运动的文学。
2019-06-11 cs.LG cs.MA
Artificial Intelligence BlockCloud (AIBC) Technical Whitepaper
Cofintelligence BlockCloud Technology Ltd.(科智区块链科技有限公司);Cofintelligence Financial Technology Ltd.(科智金融科技有限公司)
AIBC是一个基于人工智能和区块链技术的大规模去中心化生态系统,允许在系统范围内低成本共享计算和存储资源。AIBC由四层组成:基础层、资源层、应用层和生态系统层。AIBC实现了两个共识方案来执行上层经济政策并实现基础层性能和鲁棒性:应用和资源层上的DPoEV激励共识,以及基础层上的DABFT分布式共识。DABFT使用深度学习技术来预测和选择最合适的BFT算法,以实现性能、鲁棒性和安全性的最佳平衡。DPoEV使用知识地图算法来准确评估数字资产的经济价值。
2019-09-26 cs.AI cs.LG q-fin.ST
Diagnosis of Paratuberculosis in Histopathological Images Based on Explainable Artificial Intelligence and Deep Learning
Süleyman Demirel University(苏莱曼·德米雷尔大学);Burdur Mehmet Akif Ersoy University(布尔杜尔穆罕默德·阿基夫·埃尔索伊大学);Karunya Institute of Technology & Sciences(卡鲁尼亚技术与科学学院)
人工智能在医学成像,特别是组织病理学成像中具有巨大的前景。然而,人工智能算法无法完全解释决策过程中的思维过程。这种情况带来了可解释性的问题,即,人工智能应用程序的黑箱问题:算法只是简单地响应,而不说明给定图像的原因。为了克服这一问题,提高可解释性,可解释人工智能(XAI)应运而生,并引起了许多研究者的兴趣。在此背景下,本研究使用深度学习算法检查了一个新的原始数据集,并使用XAI应用程序之一的梯度加权类激活映射(Grad-CAM)可视化输出。随后,对这些图像与病理学家进行了详细的问卷调查。对决策过程和解释都进行了核实,并对产出的准确性进行了测试。研究结果对病理学家诊断副结核病有很大帮助。
2022-08-02 cs.CV cs.LG eess.IV
Deeply Explainable Artificial Neural Network
Arteevo Technologies Ltd.(Arteevo科技有限公司)
本文提出 DxANN 架构,将逐样本、逐特征解释直接嵌入前向传播与训练过程,以在医学成像等任务中兼顾准确预测与内在可解释性。
2025-05-10 cs.AI cs.LG
Fundamental Issues Regarding Uncertainties in Artificial Neural Networks
University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学);Goethe-Universität(歌德大学)
人工神经网络(ANN)实现了一种特定形式的多变量外推,并将为任何输入模式生成输出,即使没有类似的训练模式。外推不一定是可信的,为了支持安全关键系统,我们要求这些系统给出与其输出相关的训练样本相关不确定性的指示。有些读者可能认为这是一个众所周知的问题,已经被模式识别的基本原理所涵盖。我们将在下面解释为什么情况并非如此,以及分类的常规条件概率(的李克复估计)如何不能正确评估这种不确定性。我们提供了一个讨论这个问题的标准解释,并显示如何定量的方法,长期以来的方法的基础上,可以实际应用。该方法说明了使用磁共振成像的痴呆症的早期诊断的任务。
2020-02-25 cs.LG cs.NE stat.ML
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center(斯伦贝谢-多尔研究中心)
本文介绍了一种新开发的自然启发式优化方法,即自适应风驱动优化(AWDO),前馈人工神经网络(NN)的训练的应用,并提出了对AWDO实现在深度学习(DL)的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为,其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
The Concept of the Deep Learning-Based System "Artificial Dispatcher" to Power System Control and Dispatch
Melentiev Energy Systems Institute(梅连季耶夫能源系统研究所);University of Tasmania(塔斯马尼亚大学)
近年来,电力系统的正常和紧急状态的控制成为一个日益复杂的问题。随着电力系统复杂性的增加,现有的包括调度员操作动作和专用自动装置工作的电力系统状态控制系统越来越多地被证明是不够有效的,这增加了电力系统危险和紧急状态的风险。为了弥补人和自动化设备的不足(认知障碍、压力暴露等),结合调度员的智能和自动化设备的速度优势,开发了基于深度机器学习技术的智能调度系统“人工调度员”。为了实现系统“人工调度员”除了深度学习它计划吸引博弈论的方法来正式工作的最新电力系统作为一个游戏问题。“人工调度员”的“增益”将包括通过所需的控制动作使电力系统处于正常稳态或紧急状态后的条件。
2018-05-07 cs.AI cs.CY cs.LG
Next-Day Bitcoin Price Forecast Based on Artificial intelligence Methods
Beijing University of Chemical Technology(北京化工大学)
近年来,比特币价格预测引起了研究人员和投资者的兴趣。然而,以前的研究的准确性不够好。机器学习和深度学习方法已经被证明在这一领域具有很强的预测能力。本文提出了一种结合嵌入式经验模式分解(EEMD)和一种称为长短期记忆(LSTM)的深度学习方法来研究次日比特币价格预测问题。
2021-06-21 cs.LG q-fin.ST
Deep Calibration With Artificial Neural Network: A Performance Comparison on Option Pricing Models
Stony Brook University(石溪大学);Citibank, Inc.(花旗银行);Goldman Sachs & Co.(高盛公司)
本文探讨了人工神经网络(ANN)作为期权定价模型校准算法的无模型解决方案。我们构造人工神经网络来校准两个著名的GARCH型期权定价模型的参数:段的GARCH和经典的回火稳定GARCH,显着改善后的限制布莱克-斯科尔斯模型,但遭受计算复杂性。为了减轻这一技术困难,我们训练人工神经网络与蒙特卡罗模拟(MCS)方法生成的数据集,并应用它们来校准最佳参数。性能结果表明,ANN方法始终优于MCS,并利用更快的计算时间,一旦训练。还讨论了期权的希腊族。
2023-03-15 cs.CE cs.LG q-fin.MF
Inverse deep learning methods and benchmarks for artificial electromagnetic material design
Duke University(杜克大学)
深度学习(DL)逆技术提高了人工电磁材料(AEM)设计的速度并改善了所得器件的质量。许多DL逆技术已经成功的AEM设计任务的数量,但比较,对比,并评估各种技术,关键是要澄清潜在的不适定性的反问题。在这里,我们回顾了最先进的方法,并提出了一个全面的调查深度学习逆方法和可逆和条件可逆神经网络AEM设计。我们制作易于访问和快速实施的AEM设计基准,它提供了一种方法来有效地确定最适合解决不同设计挑战的DL技术。我们的方法是指导约束重复模拟和一个容易集成的度量,我们建议表示任何AEM设计问题的相对不适定性。我们发现,随着问题变得越来越不适定,神经伴随边界损失(NA)更快地产生更好的解决方案,无论模拟约束。在更简单的AEM设计任务中,当模拟有限时,直接神经网络(NN)表现更好,而混合密度网络(MDN)和条件变分自动编码器(VAE)预测的几何形状可以通过连续采样和重新模拟来改进。
2021-12-19 cond-mat.mtrl-sci cs.LG
Design of Artificial Intelligence Agents for Games using Deep Reinforcement Learning
University of Sheffield(谢菲尔德大学)
为了执行各种各样的任务,并在复杂的现实世界环境中实现人类水平的性能,人工智能(AI)代理必须能够从他们过去的经验中学习,并从原始的感官输入中获得知识和准确的环境表示。传统上,人工智能智能体在仅使用感觉输入来获得其环境的良好表示,然后将该表示映射到有效的控制策略方面遇到了困难。深度强化学习算法为这个问题提供了解决方案。在这项研究中,不同的传统和新型的深度强化学习算法的性能进行了分析。所提出的方法利用两种类型的算法,一种是用Q学习(DQN)的变体训练的,另一种是用SARSA学习(DSN)训练的,以评估使用直接反馈对齐的可行性,这是一种用于反向传播误差的新的生物学上合理的方法。这些新的代理,以及两个类似的代理与传统的反向传播算法训练,通过使用OpenAI Gym工具包在几个经典的控制理论问题和Atari 2600视频游戏进行测试。这项研究的结果为新的、受生物启发的深度强化学习算法及其在神经形态硬件上的实现开辟了道路。
2019-05-10 cs.AI cs.LG
Explainable Artificial Intelligence Architecture for Melanoma Diagnosis Using Indicator Localization and Self-Supervised Learning
University of Southern California(南加州大学)
黑色素瘤是一种流行的致命类型的癌症,如果在发展的早期阶段诊断出来,是可以治疗的。皮肤病变是诊断黑色素瘤的典型指标,但由于黑色素瘤早期癌性和良性病变的高度相似性,它们经常导致诊断延迟。深度学习(DL)可以用作以高准确度对皮肤病变图片进行分类的解决方案,但是深度学习的临床采用面临重大挑战。原因是深度学习模型的决策过程通常是不可解释的,这使得它们成为难以信任的黑箱。我们开发了一种用于黑色素瘤诊断的可解释的深度学习架构,该架构为其决策生成临床可解释的视觉解释。我们的实验表明,我们提出的架构匹配临床解释显着优于现有的架构。
2023-03-26 cs.CV cs.LG
Evaluating explainable artificial intelligence methods for multi-label deep learning classification tasks in remote sensing
National Technical University of Athens(雅典国家技术大学);Athena Research Center(雅典娜研究中心)
虽然深度神经网络在一些遥感任务中具有最先进的技术水平,但其黑箱操作阻碍了对其决策的理解,隐藏了数据集和模型性能中的任何偏差和其他缺点。为此,我们已经在遥感多标签分类任务中应用了可解释的人工智能(XAI)方法,以产生人类可解释的解释并提高透明度。特别是,我们在基准BigEarthNet和SEN 12 MS数据集中使用和训练了具有最先进性能的深度学习模型。采用了十种XAI方法来理解和解释模型的预测,以及量化指标来评估和比较它们的性能。进行了许多实验来评估XAI方法在简单预测情况下,竞争多个标签以及错误分类情况下的整体性能。根据我们的研究结果,闭塞,梯度CAM和石灰是最可解释和可靠的XAI方法。然而,没有一个提供高分辨率输出,而除了Grad-CAM,Lime和Occlusion都是计算昂贵的。我们还强调了XAI性能的不同方面,并详细阐述了对黑盒决策的见解,以提高透明度,了解其行为并揭示数据集的特殊性。
2021-09-20 cs.CV cs.LG
The Unreasonable Effectiveness of Deep Learning in Artificial Intelligence
Salk Institute(索尔克研究所);University of California San Diego(加利福尼亚大学圣迭戈分校)
深度学习网络已经被训练成能够识别语音、图片说明和在高性能的语言之间翻译文本。虽然深度学习网络在现实世界中的应用已经无处不在,但我们对它们为什么如此有效的理解仍然缺乏。根据统计学和非凸优化理论中的样本复杂性,这些经验结果应该是不可能的。然而,人们正在研究深度学习网络的训练和有效性中的悖论,并在高维空间的几何结构中发现了见解。深度学习的数学理论将阐明它们的功能,使我们能够评估不同网络架构的优势和劣势,并带来重大改进。深度学习为人类与数字设备进行通信提供了自然的方式,是构建人工通用智能的基础。深度学习的灵感来自于大脑皮层的结构,对自主性和一般智力的洞察可能会在其他对规划和生存至关重要的大脑区域中找到,但要实现这些目标还需要重大突破。
2020-02-12 cs.AI cs.LG cs.NE
Is the use of Deep Learning and Artificial Intelligence an appropriate means to locate debris in the ocean without harming aquatic wildlife?
University of Northumbria(诺森比亚大学)
随着全球塑料垃圾问题的不断扩大,是时候让科技行业介入了。这项研究旨在评估深度学习是否可以成功区分海洋生物和水下人造碎片。目的是发现我们是否能够安全地用人工智能清理海洋,而不破坏水生生态系统的微妙平衡。该研究从保护生态系统的角度探索了卷积神经网络的使用,而不是主要收集垃圾。我们通过构建一个定制的深度学习模型来做到这一点,原始数据库包括1,644张水下图像,并使用二进制分类来对水生生物的合成材料进行分类。我们的结论是,虽然有可能安全地区分碎片和生命,但进一步探索更大的数据库和更强的CNN结构有可能获得更有希望的结果。
2021-12-01 cs.CV cs.LG eess.IV
Tactile Hallucinations on Artificial Skin Induced by Homeostasis in a Deep Boltzmann Machine
Institute for Cognitive Systems (ICS), Technische Universität München(慕尼黑工业大学认知系统研究所(ICS))
知觉幻觉存在于神经和精神疾病以及截肢者中。虽然幻觉可能是药物引起的,但据描述,它们甚至可以在健康受试者中被激发。因此,了解它们的表现形式可以揭示大脑如何处理感官信息,并可能证明感知的生成本质。在这项工作中,我们研究了在生物启发的人造皮肤上产生触觉幻觉。为了模拟触觉幻觉,我们在深度玻尔兹曼机(DBM)中应用稳态,即感觉剥夺期间神经元兴奋性的变化。我们发现,在没有感觉输入的情况下,体内平衡会促使人造皮肤上先前学习的模式产生幻觉。此外,我们表明,稳态是能够诱导形成有意义的潜在表示在DBM,它显着提高了这些潜在状态的重建质量。通过这一点,我们的工作为触觉幻觉的性质提供了一种可能的解释,并强调了稳态过程作为一种潜在的潜在机制。
2019-06-26 cs.LG cs.NE q-bio.NC
PAMS: Platform for Artificial Market Simulations
The University of Tokyo(东京大学)
本文提出基于 Python 的人工市场模拟平台 PAMS,其易于与深度学习集成且便于用户修改,并通过深度学习价格预测智能体研究验证了平台的有效性。
2023-09-19 cs.AI cs.LG cs.MA
Large-scale Artificial Neural Network: MapReduce-based Deep Learning
University of Florida(佛罗里达大学)
面对不断增长的数据规模,原有的基于反向传播神经网络的机器学习算法面临着两个不容忽视的挑战:庞大的数据量使其难以同时保持效率和准确性;冗余数据增加了系统的工作量。本项目主要针对上述问题进行解决,将深度学习算法与云计算平台相结合,处理大规模数据。本项目将设计一个基于MapReduce的手写字符识别器,以验证该机制在训练和实际大规模数据上所能实现的效率提高。将进行仔细的讨论和实验,以说明深度学习算法如何训练手写数字数据,如何在深度学习神经网络上实现MapReduce,以及为什么这种组合会加速计算。除了性能,可扩展性和鲁棒性也将在本报告中提到。我们的系统带有两个演示软件,直观地说明了我们的手写数字识别/编码应用程序。
2015-10-09 cs.DC cs.LG cs.NE
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出深度权重分解方法,将权重分解为多个因子并施加可微L2正则化,理论上等价于非凸稀疏正则化,并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
From Artificial Neural Networks to Deep Learning for Music Generation -- History, Concepts and Trends
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);UNIRIO(里约热内卢联邦大学)
当前的深度学习浪潮(人工神经网络的超维生素回归)不仅适用于传统的统计机器学习任务:预测和分类(例如,天气预报和模式识别),但已经征服了其他领域,如翻译。一个不断增长的应用领域是创造性内容的生成,特别是音乐的情况下,本文的主题。其动机是利用现代深度学习技术的能力,从任意音乐语料库中自动学习音乐风格,然后从估计的分布中生成音乐样本,并对生成过程进行一定程度的控制。本文提供了一个基于深度学习技术的音乐生成教程。在对最近的一个例子所说明的主题进行了简短的介绍之后,本文分析了20世纪80年代末使用人工神经网络进行音乐生成的一些早期作品,以及他们的开创性贡献如何预示了当前的技术。然后,我们引入一些概念框架来分析所涉及的各种概念和维度。最近的系统的各种例子进行了介绍和分析,以说明各种关注和技术。
2020-10-05 cs.LG cs.MM cs.SD
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
以人工深度神经网络(DNN)为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功,但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力,解释神经网络最近吸引了许多研究关注。在本文中,我们全面的分类的基础上,我们系统地回顾了最近的研究在理解神经网络的机制,描述了可解释性的应用,特别是在医学中,并讨论了未来的可解释性研究的方向,如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
A Deep Generative Artificial Intelligence system to decipher species coexistence patterns
Instituto de Física Corpuscular (IFIC, Universidad de Valencia-CSIC)(瓦伦西亚大学-西班牙国家研究委员会粒子物理研究所);Universidad de Valencia(瓦伦西亚大学);CSIC(西班牙国家研究委员会);Centro de Investigaciones Sobre Desertificación (CIDE, CSIC-Universidad de Valencia-Generalitat Valenciana)(荒漠化研究中心 (CIDE, 西班牙国家研究委员会-瓦伦西亚大学-瓦伦西亚自治区政府));University of Sussex(苏塞克斯大学)
1.破译共存模式是目前的挑战,以了解多样性的维护,特别是在丰富的社区,这些模式的复杂性是通过间接的相互作用,防止他们的近似与经典的实验方法放大。2.我们探索称为生成式人工智能(GenAI)的尖端机器学习技术,以破译植被斑块中的物种共存模式,训练生成对抗网络(GAN)和变分自编码器(VAE),然后用于解开社区聚集背后的一些机制。3. GAN能较准确地反映斑块的物种组成和植物物种对不同土壤类型的亲和度,VAE的准确率也达到99%以上。使用人工生成的补丁,我们发现,高阶相互作用往往会抑制低阶相互作用的积极影响。最后,通过重建演替轨迹,我们可以确定先锋物种具有更大的潜力,以产生一个高多样性的独特的补丁的物种组成。4.要理解不同生态群落中物种共存模式的复杂性,需要超越启发式规则的新方法。生成式人工智能可以成为实现这一目标的强大工具,因为它可以克服这一挑战的固有维度。
2021-07-13 cs.LG physics.bio-ph
Deep Reinforcement Learning for Artificial Upwelling Energy Management
Ocean College, Zhejiang University(浙江大学海洋学院)
本文针对人工上升流系统能源效率优化问题,提出一种结合QR-DQN与深度决斗网络的深度强化学习能量管理方法,并通过仿真验证其在减少能源浪费和保障系统稳定运行方面优于传统规则方法及其他DRL算法。
2023-08-25 cs.AI cs.LG
Drug discovery with explainable artificial intelligence
ETH Zurich(苏黎世联邦理工学院)
深度学习为药物发现带来了希望,包括先进的图像分析、分子结构和功能的预测,以及自动生成具有定制特性的创新化学实体。尽管越来越多的成功的应用前景,基本的数学模型往往仍然难以捉摸的解释人类的头脑。需要“可解释的”深度学习方法来解决对分子科学机器语言的新叙述的需求。本文总结了可解释人工智能最突出的算法概念,并大胆预测了未来的机会,潜在的应用,和剩余的挑战。
2020-07-02 cs.AI cs.LG stat.ML
Self-mentoring: a new deep learning pipeline to train a self-supervised U-net for few-shot learning of bio-artificial capsule segmentation
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔计算机、信号与自动控制实验室)
背景资料:在显微成像中对生物人工囊等微观结构的精确分割是计算机辅助理解重要生物力学现象的前提。最先进的分割性能是通过深度神经网络和相关的数据驱动方法实现的。仅从几个带注释的示例训练这些网络是具有挑战性的,而生成提供监督的手动注释图像是乏味的。方法:最近,自我监督,即设计一个提供合成或间接监督的神经管道,已被证明可以显着提高在少数镜头上训练的模型的泛化性能。本文的目的是在微胶囊图像分割的背景下,介绍一个这样的神经管道。我们的方法利用了这些图像的相当简单的内容,以便学员网络可以由裁判网络指导,裁判网络之前已经在合成生成的损坏/正确区域掩码对上进行了训练。结果:建立了实验装置。它们只涉及3到10个带注释的图像以及大量的未注释图像。在生物人工胶囊数据集中,我们的方法始终如一地大幅提高了准确性。我们还表明,学习裁判网络是可转移到另一个胶质母细胞瘤细胞数据集,它可以有效地与数据增强策略相结合。结论:实验结果表明,非常显着的准确性增量所提出的管道,从而得出结论,本文介绍的自我监督机制有可能取代人类注释。
2023-01-07 cs.CV cs.LG
Analysis of the Generalization Error: Empirical Risk Minimization over Deep Artificial Neural Networks Overcomes the Curse of Dimensionality in the Numerical Approximation of Black-Scholes Partial Differential Equations
University of Vienna(维也纳大学);ETH Zürich(苏黎世联邦理工学院);University of Münster(明斯特大学)
基于深度神经网络假设类的经验风险最小化(ERM)的新分类和回归算法的开发,创造了深度学习,彻底改变了人工智能,机器学习和数据分析领域。特别是,这些方法已被应用于数值求解高维偏微分方程取得了巨大成功。最近的模拟表明,基于深度学习的算法能够克服Kolmogorov方程数值解的维数灾难,该方程广泛用于工程,金融和自然科学的模型。本文考虑在何种条件下,深度神经网络假设类上的ERM近似于具有仿射漂移和扩散系数的$d$维Kolmogorov方程的解,以及从计算金融问题中产生的典型初始值,直到错误$\varepsilon$。我们建立,具有高概率的训练样本,这样的近似可以实现与假设类的大小和训练样本的数量缩放仅在$d$和$\varepsilon^{-1}$多项式。可以得出结论,在深度神经网络假设类上的ERM克服了具有仿射系数的线性Kolmogorov方程的数值解的维数灾难。
2020-11-11 cs.LG cs.NA math.NA
Towards Regulated Deep Learning
institutetext(机构)
本文针对深度学习引发的安全、隐私与伦理问题,提出机构神经网络(INN)概念,并利用 $I^*$ 语言实现受监管深度学习(RDL)的概念验证,以监管神经网络执行及其与人工教师的交互。
2025-07-18 cs.AI cs.LG cs.LO
A proof that deep artificial neural networks overcome the curse of dimensionality in the numerical approximation of Kolmogorov partial differential equations with constant diffusion and nonlinear drift coefficients
ETH Zurich(苏黎世联邦理工学院)
近年来,深度人工神经网络(DNN)已经成功地用于大量计算问题的数值模拟,包括例如对象和面部识别、自然语言处理、欺诈检测、计算广告以及偏微分方程(PDE)的数值逼近。这些数值模拟表明,DNN似乎具有基本的灵活性,以克服维数灾难的意义上说,用于描述DNN的实参数的数量最多多项式增长在规定的近似精度$ \varepsilon > 0 $的倒数和DNN的目的是近似在这样的计算问题的功能的尺寸$ d \in \mathbb{N}$。科学文献中也有大量关于人工神经网络的严格数学近似结果,但只有少数特殊情况下,文献中的结果可以严格证明DNN在高维函数近似中的成功。本文的主要贡献是揭示了DNN确实克服了具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中的维数灾难。我们证明了用于描述所采用的DNN的参数的数量在PDE维度$ d \in \mathbb{N}$和规定的近似精度$ \varepsilon > 0 $的倒数中最多多项式地增长。我们证明中的一个关键因素是,用于近似PDE解的人工神经网络确实是一个具有大量隐藏层的深度人工神经网络。
2019-09-23 cs.LG cs.NA math.AP