Graph Neural Networks Uncover Geometric Neural Representations in Reinforcement-Based Motor Learning
Imperial College London(帝国理工学院);University of Bayreuth(拜罗伊特大学)
本研究利用图神经网络(GNN)结合EEG通道的图结构,探究强化运动学习对运动规划神经活动的影响,通过任务对称预训练策略提升性能并验证几何表征鲁棒性,揭示了稳定的组特异性神经几何特征及其泛化特性。
2024-10-31 cs.LG eess.SP
Survey of Image Based Graph Neural Networks
在这篇综述论文中,我们分析了基于图像的图神经网络,并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素,以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后,将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好,计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
交通预测是智能交通系统成功的关键。深度学习模型,包括卷积神经网络和递归神经网络,已被广泛应用于交通预测问题中,以对空间和时间依赖性进行建模。近年来,为了对交通系统中的图结构以及上下文信息进行建模,已经引入了图神经网络,并且在一系列交通预测问题中取得了最先进的性能。在本调查中,我们回顾了使用不同图神经网络(例如图卷积和图注意力网络)在各种交通预测问题(例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测)中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表,并确定了未来的研究方向。据我们所知,本文是第一个全面的调查,探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库,其中将更新最新的论文,开放数据和源资源。
2022-02-22 cs.AI cs.LG
Geometric Deep Learning: a Temperature Based Analysis of Graph Neural Networks
University of Bologna(博洛尼亚大学);University of Modena(摩德纳大学)
本文将几何深度学习模型视为热力学系统,利用温度概念分析GCN和GAT各层,并探讨未来应用。
2023-09-01 cs.AI cs.LG
A Survey of Explainable Graph Neural Networks: Taxonomy and Evaluation Metrics
University of Technology Sydney(悉尼科技大学)
本文全面综述了可解释图神经网络的可解释性技术,基于所用方法对其进行分类,提供了常见性能评估指标,并指出了未来的研究方向。
2023-05-23 cs.AI cs.LG
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
近年来,深度学习彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而,有越来越多的应用程序,其中数据是从非欧几里德域生成的,并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近,出现了许多关于扩展图数据的深度学习方法的研究。在本调查中,我们提供了数据采掘和机器学习领域的图神经网络(GNN)的全面概述。我们提出了一种新的分类法,将最先进的图神经网络分为四类,即递归图神经网络,卷积图神经网络,图自动编码器,时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用,并总结了图神经网络的开源代码,基准数据集和模型评估。最后,我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Geometric instability of graph neural networks on large graphs
University of Cambridge(剑桥大学);Neo4j
本文提出图原生且具有置换、正交、平移及求值顺序不变性的图格拉姆指数(GGI),用于分析大图上GNN嵌入在节点分类和链路预测中的几何不稳定性。
2023-11-28 cs.LG cs.SI
Learning Representations of Graph Data -- A Survey
University College London(伦敦大学学院)
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而,设计最佳的神经网络架构,可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始,并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来,我们确定了用于学习图数据表示的主要方法,即:核方法,卷积方法,图神经网络方法,图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论,并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS(里约热内卢联邦大学);City, University of London(伦敦城市大学);University of Siena(锡耶纳大学);Université Côte d’Azur(蔚蓝海岸大学);Rice University(莱斯大学)
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用,在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说,需要改进人工智能系统的可解释性,可解释性和信任度,这需要有原则的方法,正如神经符号计算所建议的那样。在本文中,我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用,以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney(悉尼科技大学)
动态网络被广泛应用于各个领域,包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构,使网络模型不仅可以利用结构模式,还可以利用时间模式。然而,动态网络文学来源于不同的领域,使用不一致的术语,这是具有挑战性的导航。与此同时,图神经网络(GNN)近年来因其在一系列网络科学任务(如链接预测和节点分类)上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处,有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战,这项研究跨越不同的领域,以及调查动态图神经网络,这项工作分为两个主要部分。首先,为了解决动态网络术语的模糊性,我们建立了一个动态网络的基础,具有一致的,详细的术语和符号。其次,我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold
East China Normal University(华东师范大学)
尽管深度学习(DL)在复杂的人工智能(AI)任务中取得了成功,但它存在各种臭名昭著的问题(例如,特征冗余和消失或爆炸梯度),因为更新欧几里德空间中的参数不能完全利用解空间的几何结构。作为一种有前途的替代解决方案,基于黎曼的DL使用几何优化来更新黎曼流形上的参数,并可以利用底层的几何信息。因此,本文提出了一个全面的调查应用几何优化DL。本文首先介绍了几何优化的基本过程,包括各种几何优化器和黎曼流形的一些概念。随后,本文研究了几何优化在不同DL网络中的应用,例如,卷积神经网络、递归神经网络、迁移学习和最优传输。此外,还讨论了实现流形优化的典型公共工具箱。最后,本文对不同深度几何优化方法在图像识别场景下的性能进行了比较。
2023-02-16 cs.LG
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
随着神经网络变得越来越强大,人们越来越希望将其部署在现实世界中;然而,神经网络的能力和准确性在很大程度上取决于其深度和复杂性,这使得它们难以部署,特别是在资源受限的设备中。最近出现了神经网络量化,以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络,就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上,提出了该领域未来的研究方向。
2023-01-18 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Huawei Technologies(华为技术有限公司)
一项开创性的工作[Jacot等人,2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法,因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果,宽度趋于无穷大,有限宽度的校正,应用程序,并讨论了相应的方法的局限性。
2022-08-29 cs.LG
A Survey on Neural-symbolic Learning Systems
Jilin University(吉林大学);Queen’s University Belfast(贝尔法斯特女王大学);Griffith University(格里菲斯大学)
本文综述了神经符号学习系统的研究进展,指出结合神经系统的感知能力与符号系统的认知能力可弥补各自缺陷,并从挑战、方法、应用和未来方向四个视角为该新兴领域提供了全面概述。
2023-06-25 cs.LG
The Impact of Geometric Complexity on Neural Collapse in Transfer Learning
Google Research(谷歌研究院)
本文通过实验和理论证明,预训练模型的几何复杂度影响神经坍缩,并泛化到新类别,从而提升少样本下游任务性能。
2024-12-18 cs.LG
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau(帕绍大学);University of Mannheim(曼海姆大学);RWTH Aachen University(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS莱布尼茨社会科学研究所);Complexity Science Hub Vienna(维也纳复杂性科学中心)
该综述梳理了神经网络相似性度量的表征与功能两大互补视角,介绍现有方法、总结其性质与关联并指出开放问题,为相关系统研究奠定基础。
2025-04-09 cs.LG
Neural relation extraction: a survey
Huawei Turkey Research and Development Center(华为土耳其研发中心);Ford Otosan(福特奥托桑);Bogazici University(海峡大学);Yildiz Technical University(伊尔迪兹技术大学)
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处,并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
深度神经网络通过利用大量的训练数据,在许多不同的问题设置中获得最先进的结果。然而,收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外,评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的,因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发,一种有前途的方法是结合关于问题的对称几何变换的知识来解决,以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中,我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外,我们将这些方法与自动驾驶的3D目标检测相连接,我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics(LG电子)
随着卷积神经网络(CNN)模型大小不断增加的总体趋势,模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中,我们提供了一个全面的调查修剪,一个主要的压缩策略,从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机,不同的策略和标准,它们的优点和缺点,以及主要修剪技术的汇编。最后,我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
Survey: Geometric Foundations of Data Reduction
本调查于2016年夏季完成。本文简要介绍了数据约简中的非线性降维方法。前两个NLDR分别于2000年发表在Science上,解决了具有内在非线性结构的高维数据的相似约简问题。内禀非线性结构一直被计算机科学家和理论物理学家从理论数学的几何学和拓扑学中解释为流形上的一个概念。在2001年,流形学习的概念首次出现作为一个NLDR方法称为拉普拉斯特征映射。在典型的流形学习设置中,数据集(也称为观察集)分布在嵌入RD中的低维流形M上或附近,这使得每个观察都具有D维表示。流形学习的目标是基于几何信息将这些观察结果减少为紧凑的低维表示。这种简化过程被称为谱流形学习。在本文中,我们推导出每一个谱流形学习的矩阵和算子表示,然后我们讨论了每一种方法的收敛性在几何统一的语言。因此,该调查被命名为数据简化的几何基础。
2022-03-20 cs.LG cs.NA math.NA
ManifoldFormer: Geometric Deep Learning for Neural Dynamics on Riemannian Manifolds
Yale University(耶鲁大学);Lehigh University(莱斯利大学)
ManifoldFormer通过几何深度学习框架,利用黎曼流形结构提升EEG信号的表示质量与跨受试者泛化能力。
2025-11-20 cs.AI cs.LG
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
语言模型作为自然语言处理(NLP)系统的核心组成部分,能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难,提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构,然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后,对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
On Geometric Structure of Activation Spaces in Neural Networks
Shanghai Jiao Tong University(上海交通大学)
本文研究了神经网络中全连通层激活空间的几何结构,并给出了这一研究的应用。我们提出了一种有效的近似算法来刻画高维空间中大量点的凸包。在此基础上,得到了激活空间共有的四个几何性质,从而对激活空间进行了较为清晰的描述。然后,我们提出了一种替代的分类方法的基础上的几何结构的描述,这比单独的神经网络。令人惊讶的是,这种数据分类方法可以成为神经网络中过拟合的指标。我们相信我们的工作揭示了现代神经网络的几个关键的内在属性,并进一步给出了一个新的度量来评估它们。
2019-04-02 cs.LG stat.ML
A Survey of Neural Trees
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Zhejiang Lab(之江实验室)
神经网络(NN)和决策树(DT)都是机器学习的流行模型,但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果,提出了各种方法来显式或隐式地集成NN和DT。在这项调查中,这些方法被组织在一个学校,我们称之为神经树(NT)。本调查的目的是提出一个全面的审查NT,并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs,表示逐步整合和共同进化的NN和DT。之后,我们分析NT的可解释性和性能,并提出可能的解决方案,其余的挑战。最后,本次调查的结论与其他考虑因素,如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得:https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术,重点是安全关键的自主网络物理系统(CPS)及其子组件。CPS中的自主性是通过人工智能(AI)和机器学习(ML)的最新进展来实现的,这些进步通过诸如深度神经网络(DNN)之类的方法来实现,这些方法嵌入在所谓的学习使能组件(LEC)中,完成从分类到控制的任务。最近,形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为,最终目标是形式化验证LEC的规范,本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI(韩国科学技术院人工智能学院)
本调查的重点是分类和评估神经架构搜索(NAS)领域的超网优化方法。超网优化涉及训练单个过参数化网络,该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上,他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数,而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置,包括可转移性,领域泛化,和Transformer模型的优点,局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University(九州大学)
近年来,深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖,以提高泛化能力。然而,在时间序列识别领域,许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中,我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法,并概述了四个家庭的时间序列数据增强,包括基于变换的方法,模式混合,生成模型和分解方法。此外,我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果,我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna(维也纳大学)
由于架构复杂性和数据集大小的稳步增加,深度神经网络(DNN)中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展,这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中,我们的目标是提供一个总体概述和分类的国家的最先进的(SOTA)的技术,以减少DNN的训练和推理时间和空间复杂度,特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能,是较低的非线性与经典的功能相比,通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法,实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
gvnn: Neural Network Library for Geometric Computer Vision
Imperial College London(伦敦帝国理工学院);ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
我们介绍了Torch中的神经网络库gvnn,旨在弥合经典几何计算机视觉和深度学习之间的差距。受空间Transformer网络最近成功的启发,我们提出了几个新的层,这些层通常用作几何计算机视觉中数据的参数化变换。这些层可以在原始空间Transformers的精神下插入神经网络中,并允许反向传播,以实现涉及几何计算机视觉中任何领域知识的网络的端到端学习。这打开了在学习不变性到3D几何变换中的应用,用于位置识别、端到端视觉里程计、深度估计和无监督学习,通过针对图像重建误差的参数变换进行翘曲。
2016-08-12 cs.CV cs.LG
GINN: Geometric Illustration of Neural Networks
Institute for Adaptive and Neural Computation(自适应与神经计算研究所)
这份非正式的技术报告详细介绍了三层全连接神经网络中ReLU单元的决策边界的几何图示。该网络被设计和训练为从(x,y)输入位置预测像素强度。神经网络的几何图解(GINN)工具是为了可视化和跟踪当网络进行训练时ReLU单元从活动状态切换到关闭状态(反之亦然)的点而构建的。观察到几种现象,并在本文中进行了讨论。本技术报告是博客文章的支持文档,包含在线演示,可在http://www.bayeswatch.com/2018/09/17/GINN/获得。
2018-10-02 cs.LG stat.ML
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego(加州大学圣地亚哥分校)
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向,能够通过基于输入动态地调整其计算路径来扩展神经网络,其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案,它允许使用数万亿参数进行模型预训练,并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展:略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur(印度理工学院坎普尔分校);Pace University(佩斯大学)
使用深度神经网络识别物体是一个活跃的研究领域,在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史,并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Survey of Dropout Methods for Deep Neural Networks
University of Toronto(多伦多大学)
丢弃方法是一种用于神经网络训练或推理的随机技术,已经产生了重大的研究兴趣,并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的,但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史,他们的各种应用,以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
神经方法已经在机器翻译上实现了最先进的准确性,但是遭受收集大规模并行数据的高成本。因此,已经对具有非常有限的并行数据的神经机器翻译(NMT)进行了大量研究,即,低资源配置。本文综述了低资源的NMT,并根据其使用的辅助数据将相关工作分为三类:(1)利用源语言和/或目标语言的单语数据,(2)利用辅助语言的数据,(3)利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法,并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Neural Geometric Parser for Single Image Camera Calibration
Kookmin University(国民大学);Adobe Research(Adobe研究院);Intel(英特尔)
我们提出了一个神经几何解析器学习单图像摄像机校准人造场景。与以前的神经方法,仅依赖于从神经网络获得的语义线索,我们的方法同时考虑语义和几何线索,从而显着提高精度。拟议的框架由两个网络组成。第一个网络使用图像的线段作为几何线索,估计天顶消失点,并生成由相机旋转和焦距组成的几个候选点。第二个网络根据给定的图像和几何线索评估每个候选人,其中人造场景的先验知识用于评估。通过监督由图像的水平线和焦距组成的数据集,我们的网络可以被训练来估计相同的相机参数。基于曼哈顿世界假设,我们可以以弱监督的方式进一步估计相机旋转和焦距。实验结果表明,我们的神经方法的性能显着高于现有的国家的最先进的相机校准技术的室内和室外场景的单张图像。
2020-07-24 cs.CV cs.LG
Geometric Deep Learning for Computer-Aided Design: A Survey
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文综述了面向CAD的几何深度学习方法,系统梳理了相似性检索、2D/3D模型合成及从点云和图像生成CAD等技术,并总结了基准数据集、开源代码、现存挑战与未来方向。
2025-07-05 cs.CG cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu(奥卢大学)
近年来,双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中,我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型,比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究,本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用,以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
Automating Infrastructure Surveying: A Framework for Geometric Measurements and Compliance Assessment Using Point Cloud Data
LARA Research(LARA研究机构);Department of Mechanical and Aerospace Engineering University of California, Davis(机械与航空航天工程系加州大学戴维斯分校)
本文提出一种融合深度学习检测分割与几何信号处理的点云数据框架,用于自动化基础设施几何测量与合规评估,并以ADA路缘坡道合规性验证其准确性和减少人工工作的潜力。
2025-05-09 cs.CV cs.CY cs.LG
Neural Networks as Geometric Chaotic Maps
Massachusetts Institute of Technology(麻省理工学院)
人工神经网络作为混沌动力学模型的应用正在迅速扩展。尽管如此,对神经网络如何学习混沌的理论理解仍然缺乏。在这里,我们采用几何的角度来表明,神经网络可以有效地建模混沌动力学成为结构混乱本身。我们首先证实了神经网络的效率,在模拟混沌表明,一个吝啬的神经网络训练只有少数几个数据点可以重建奇怪的吸引子,外推训练数据的边界,并准确地预测局部发散率。然后,我们证明训练好的网络的地图包括顺序的几何拉伸,旋转和压缩操作。这些几何操作表明拓扑混合和混沌,解释了为什么神经网络自然适合模拟混沌动力学。
2021-07-01 cs.LG math.DS nlin.CD
A survey on recently proposed activation functions for Deep Learning
人工神经网络(ANN),通常被称为神经网络,是一类机器学习算法,并且已经取得了广泛的成功,其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力,因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念,包括:深度神经网络简介,什么是激活函数及其如何在神经网络中使用的总结,它们最常见的属性,不同类型的激活函数,激活函数面临的一些挑战,限制和替代解决方案,最后的评论。
2022-04-07 cs.AI cs.LG
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology(人工智能与技术中心);Faculty of Information Science and Technology(信息科学与技术学院);The National University of Malaysia(马来西亚国立大学)
本文综述DNN在协同过滤推荐中的应用,梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院)
近年来,自然语言处理领域取得了令人瞩目的进展,神经网络模型取代了许多传统系统。已经提出了大量的新模型,其中许多被认为是不透明的,相比之下,他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中,我们回顾了神经语言处理中的分析方法,根据突出的研究趋势对其进行分类,突出现有的局限性,并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization
研究神经网络逼近的函数等价性与几何多样性,通过分析单层与多层感知器在有无噪声下的情况,从松散度视角研究几何性质,揭示相关等价类网络特点,还提出基于简约性等的模型选择标准。
2026-07-22 cs.AI cs.LG
Relational Composition in Neural Networks: A Survey and Call to Action
Harvard University(哈佛大学);Google(谷歌公司)
本文综述神经网络中的关系组合机制,分析其对可解释特征搜索的影响,并提出实证研究方向以理解结构化数据表示。
2024-07-19 cs.AI cs.LG
Geometric Convolutional Neural Network for Analyzing Surface-Based Neuroimaging Data
Yonsei University College of Medicine(延世大学医学院);Severance Hospital(世福兰斯医院);Yonsei University(延世大学)
然而,广泛用于二维图像的常规CNN不能直接应用于非规则几何表面,诸如皮质厚度。我们提出了几何CNN(gCNN),它处理球面上的数据表示,并在多壳网格结构中呈现模式识别。性别的分类准确率显著高于SVM和基于图像的CNN。它只使用MRI厚度数据来分类性别,但这种方法可以扩展到从其他MRI或fMRI数据中分类疾病
2017-08-02 cs.LG cs.NE
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
现代深度学习算法倾向于优化客观度量,例如最小化训练数据集上的交叉熵损失,以便能够学习。问题是,单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时,缺乏可解释性会导致理解和修复错误的困难。最近,有工作做,以解决可解释性的问题,以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
Survey on Large Scale Neural Network Training
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Inria(法国国家信息与自动化研究所);University of Lille(里尔大学);University of Bordeaux(波尔多大学);Sber AI(俄罗斯联邦储蓄银行人工智能研究院)
现代深度神经网络(DNN)需要大量的内存来存储训练过程中的权重、激活和其他中间张量。因此,许多模型不适合一个GPU设备,或者只能使用较小的每GPU批量大小进行训练。本调查提供了一个系统的概述,使更有效的DNN培训的方法。我们分析技术,节省内存,并充分利用计算和通信资源的架构与一个或几个GPU。我们总结了策略的主要类别,并在类别内和类别之间比较策略。随着文献中提出的方法,我们讨论了可用的实现。
2022-02-21 cs.AI cs.LG
Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
Czech Technical University in Prague(布拉格捷克理工大学)
本文针对神经网络激活函数缺乏综合综述的问题,对过去三十年提出的400种激活函数进行了最大规模的系统化梳理与溯源,以避免重复研究并更新对该函数家族的理解。
2024-02-14 cs.LG cs.NE
A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks
Auburn University(奥本大学)
在本文中,我们提出了一个局部几何分析来解释如何深前馈神经网络提取低维特征从高维数据。我们的研究表明,在局部几何区域中,神经网络的一层中的最佳权重和由前一层生成的最佳特征构成了由该层的贝叶斯作用确定的矩阵的低秩近似。这个结果适用于(i)分析神经网络的输出层和隐藏层,以及(ii)具有非零梯度的神经元激活函数。我们使用两个监督学习问题来说明我们的结果:基于神经网络的最大似然分类(即,softmax回归)和基于神经网络的最小均方估计。这些理论结果的实验验证将在我们未来的工作。
2022-02-10 cs.IT cs.LG math.IT