A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa(比萨大学)
本文讨论了一种池机制,以诱导图结构数据的二次采样,并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解(NMF)上,所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图,其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明,这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Improving Subgraph Matching by Combining Algorithms and Graph Neural Networks
SKLCCSE, Beihang University(北京航空航天大学软件学院);TravelSky Technology Limited(TravelSky科技有限公司);Beijing Engineering Research Centerof Civil Aviation Big Data(民航大数据北京工程研究中心)
HFrame通过结合传统算法与图神经网络,提高了子图同态的匹配效率和准确性。
2025-12-17 cs.AI
PhyGNNet: Solving spatiotemporal PDEs with Physics-informed Graph Neural Network
求解偏微分方程是物理学、生物学、化学等领域的重要研究手段。作为数值方法的一种近似替代方法,PINN得到了广泛的关注,并在许多领域发挥了重要作用。然而,PINN使用全连接网络作为其模型,在时间和空间上都具有有限的拟合能力和有限的外推能力。在本文中,我们提出了PhyGNNet解决偏微分方程的基础上的图神经网络,其中包括编码器,处理器和解码器块。特别地,我们将计算区域划分为规则网格,在网格上定义偏微分算子,然后构造pde损失对网络进行优化,构建PhyGNNet模型。通过对Burgers方程和热传导方程的对比实验验证了该方法的有效性,结果表明,与PINN方法相比,该方法在时间和空间上都具有更好的拟合能力和外推能力。
2023-03-21 cs.LG cs.NE
Enhancing Person-Job Fit for Talent Recruitment: An Ability-aware Neural Network Approach
University of Science and Technology of China(中国科学技术大学);Baidu Inc.(百度公司);Baidu Research(百度研究院)
网上招聘服务的广泛使用导致了就业市场的信息爆炸。因此,招聘人员不得不寻求智能化的人员岗位匹配方法,这是将合适的求职者适应到合适的职位的桥梁。现有的人-职匹配研究主要是基于人力资源专家的人工检验来衡量人才素质与岗位要求的匹配程度,但人工判断具有主观性、不完全性和低效性。为此,在本文中,我们提出了一种新的端到端的能力感知的人的工作拟合神经网络模型,其目标是减少对体力劳动的依赖,并可以提供更好的解释有关的拟合结果。其核心思想是利用丰富的历史工作申请数据中的丰富信息。具体而言,我们提出了一个词级的语义表示的工作要求和求职者的经验的基础上递归神经网络。沿着这条线,四个层次的能力意识的注意力策略的目的是衡量不同的重要性的工作要求的语义表示,以及衡量不同的贡献,每个工作经验的特定能力要求。最后,在大规模真实世界数据集上进行的大量实验清楚地验证了APJFNN框架与几个基线相比的有效性和可解释性。
2018-12-21 cs.AI cs.CL cs.LG
Typed Graph Networks
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学);University of Siena(锡耶纳大学)
最近,深度学习社区越来越关注设计用于学习关系域中的问题的神经架构。卷积神经网络在图像域上采用参数共享,将神经连接的权重绑定在网格拓扑上,从而强制学习多个卷积核。通过实例化可训练的神经模块并将它们组装成不同的配置(除了网格),可以在图上强制参数共享,从而产生可以有效地输入关系数据的模型。在这种情况下,图中的顶点可以投影到超维实空间中,并在端到端可微架构中通过许多消息传递迭代进行迭代细化。在文献中,这个家族的架构已经被引用了几个定义,例如图神经网络、消息传递神经网络、关系网络和图网络。在本文中,我们重新审视了原始的图神经网络模型,并表明它概括了许多最近的模型,这反过来又得益于思考顶点\textbf{types}的洞察力。为了说明原始模型的通用性,我们提出了一个图神经网络形式化,它将图的顶点划分为许多类型。每种类型代表一个想要学习的问题的本体中的一个实体。例如,这允许将嵌入分配给图的边、超边和任意数量的全局属性。作为本文的伴侣,我们提供了一个Python/Tensorflow库来促进这种架构的开发,我们用它来实例化形式化,以重现当前文献中提出的一些模型。
2019-02-24 cs.AI cs.LG stat.ML
Simplicial Neural Networks
EPFL(洛桑联邦理工学院);Telenor Research(挪威电信研究中心)
我们提出了单纯神经网络(SNN),图神经网络的推广,生活在一类拓扑空间称为单纯复合体的数据。这些是图的自然多维扩展,不仅编码成对关系,还编码顶点之间的高阶交互-使我们能够考虑更丰富的数据,包括向量场和$n$ -fold协作网络。我们定义了一个适当的卷积概念,我们利用它来构建所需的卷积神经网络。我们测试的SNN的任务,填补缺失的数据合作复杂。
2020-12-28 cs.LG math.AT stat.ML
Graph neural networks and non-commuting operators
Universidad Católica del Uruguay(乌拉圭天主教大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出图元组神经网络(GtNN)以处理多个非交换图算子,通过图元组极限理论证明了其普适可迁移性,并推导了确保稳定性的训练程序。
2024-11-06 cs.AI cs.LG stat.ML
Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework
University of Antwerp(安特卫普大学);Max Planck Institute for Software Sciences(马克斯·普朗克软件科学研究所)
在本文中,我们铸造的神经网络定义在图上的消息传递神经网络(MPNNs),以研究不同类别的这种模型的区分能力。我们感兴趣的是,某些架构是否能够根据图形输入的特征标签区分顶点。我们考虑两种变体的MPNNS:匿名MPNN的消息功能只依赖于标签的顶点所涉及的;度感知MPNN中的消息功能可以另外使用有关的顶点的程度的信息。前一类涵盖了一个流行的形式化计算函数的图:图神经网络(GNN)。后者涵盖了所谓的图卷积网络(GCN),这是Kipf和Welling最近引入的GNN变体。我们得到的下界和上界的区分能力的Weisfeiler-Lehman(WL)算法的MPNNs的区分能力。我们的研究结果表明:(i)GCN的区分能力是由WL算法的限制,但他们是一个步骤的领先;(ii)WL算法不能模拟的“普通”GCN,但增加了一个权衡参数之间的功能的顶点和它的邻居(Kipf和Welling自己提出的)解决了这个问题。
2020-04-06 cs.LG stat.ML
Multitask Learning on Graph Neural Networks: Learning Multiple Graph Centrality Measures with a Unified Network
Institute of Informatics, UFRGS(UFRGS信息学研究所)
将深度学习应用于符号领域仍然是一项积极的研究工作。图神经网络(GNN)由经过训练的神经模块组成,这些神经模块可以在运行时以不同的拓扑结构排列,是解决关系问题的合理替代方案,这些问题适合于图形表示。在本文中,我们证明了GNN能够进行多任务学习,这可以通过训练模型来改进一组多维嵌入$\in \mathbb{R}^d$并通过在管道末端连接MLP将其解码为多个输出来自然地实施。我们证明了多任务学习能力的模型在相关的关系问题估计网络中心性措施,主要集中在生产排名的基础上,这些措施,即顶点$v_1$更中心比顶点$v_2$给定中心性$c$?然后,我们表明,一个GNN可以训练开发一个\emph{lingua franca}的顶点嵌入,所有相关信息的任何训练中心性措施可以解码。该模型实现了$89\%$的随机实例的测试数据集上的精度高达128顶点,并概括到更大的问题大小。该模型还显示,以获得合理的准确性与高达4k顶点的真实世界的实例的数据集,大大超过了最大的实例,该模型的训练($n=128$)的大小。最后,我们相信我们的贡献证明了GNN在符号领域的潜力,特别是在关系学习中。
2019-11-28 cs.AI cs.LG cs.NE
A Lesion-aware Edge-based Graph Neural Network for Predicting Language Ability in Patients with Post-stroke Aphasia
Boston University(波士顿大学);Center for Brain Recovery, Boston University(波士顿大学脑康复中心)
本文提出病灶感知图神经网络LEGNet,通过编码rs-fMRI功能连接、病灶信息和子图功能相似性,在卒中后失语症数据上优于基线方法并展现良好泛化能力,用于改进语言能力预测。
2024-09-03 cs.LG eess.SP q-bio.NC
Element-wise Multiplication Based Deeper Physics-Informed Neural Networks
Lancaster University(兰卡斯特大学);University of Western Ontario(西安大略大学)
针对物理信息神经网络(PINNs)存在的表达能力不足与初始化病态问题,提出采用逐元素乘法运算的更深层PINN(Deeper-PINN),经多基准验证可有效缓解上述问题并增强表达能力。
2024-09-11 cs.AI cs.LG cs.NE
FMGNN: Fused Manifold Graph Neural Network
Shanghai Jiao Tong University(上海交通大学);Institute of Geographical Science and Natural Resources Research, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
提出FMGNN架构,通过在训练中实现不同黎曼流形间的交互与对齐,并利用顶点与几何核心集地标的距离融合嵌入,有效解决了图嵌入跨流形融合失真问题,在节点分类和链接预测任务上表现优异。
2023-04-03 cs.LG
A Memory-Augmented Neural Network Model of Abstract Rule Learning
Princeton University(普林斯顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人类智能的特点是具有从经验中推断抽象规则并将这些规则应用于新领域的非凡能力。因此,设计具有这种能力的神经网络算法是开发具有更类似人类智能的深度学习系统的重要一步。然而,这样做是一个重大的挑战,一些人认为这将需要神经网络使用显式的符号处理机制。在这项工作中,我们专注于神经网络的能力,任意的角色填充绑定,能够关联抽象的“角色”上下文特定的“填充”,许多人认为这是一个重要的机制,学习和应用规则抽象的能力。使用一个简化版本的乌鸦的进步矩阵,人类智力的标志性测试,我们介绍了一个顺序制定的视觉解决问题的任务,需要这种形式的绑定。此外,我们介绍了新兴的符号绑定网络(ESBN),一个经常性的神经网络模型,学习使用外部存储器作为绑定机制。这种机制使符号类变量表示出现通过ESBN的训练过程,而不需要显式的符号处理机器。我们的经验表明,ESBN成功地学习了我们的任务的基本抽象规则结构,并完美地将此规则结构推广到新的填充物。
2020-12-15 cs.AI cs.LG
Lost in Aggregation: On a Fundamental Expressivity Limit of Message-Passing Graph Neural Networks
RWTH Aachen University(亚琛工业大学)
本文定义了聚合函数的信息-复杂度属性,证明了具有此类聚合的MP-GNN模型在所有图上仅诱导多项式数量的等价类,而非同构图的数量是超指数级的。
2026-08-12 cs.CC cs.LG
GIMS: Image Matching System Based on Adaptive Graph Construction and Graph Neural Network
School of Microelectronics, South China University of Technology(华南理工大学微电子学院);Faculty of Applied Science, University of British Columbia(不列颠哥伦比亚大学应用科学学院)
提出 GIMS 图像匹配系统,通过自适应图构建、GNN 与 Transformer 融合及 Sinkhorn 匹配,显著提升匹配性能并支持多 GPU 加速。
2025-08-27 cs.CV cs.LG
Residual Correlation in Graph Neural Network Regression
Cornell University(康奈尔大学)
图神经网络将每个顶点邻域中的特征转换为该顶点的矢量表示。之后,每个顶点的表示被独立地用于预测其标签。这个标准管道隐含地假设顶点标签在给定其邻域特征的情况下是条件独立的。然而,这是一个强有力的假设,我们证明了在许多现实世界的图数据集上这是不正确的。专注于回归任务,我们发现这种条件独立性假设严重限制了预测能力。这并不令人惊讶,因为传统的基于图的半监督学习方法(如标签传播)通过显式地对预测结果中的相关性进行建模,以相反的方式工作。在这里,我们用一个可解释的和有效的框架来解决这个问题,这个框架可以简单地通过利用回归残差中的相关结构来改进任何图神经网络架构。特别是,我们模型的联合分布的残差顶点与参数化的多元高斯,并估计参数最大化的边际似然观察到的标签。我们的框架实现了比竞争基线更高的准确性,并且学习的参数可以被解释为连接顶点之间的相关性强度。此外,我们开发了线性时间算法,用于低方差,无偏模型参数估计,使我们能够扩展到大型网络。我们还提供了一个基本版本的方法,使更强的假设相关性结构,但无痛实施,往往导致很大的实际性能与最小的开销。
2020-06-16 cs.LG stat.ML
An Attention-based Graph Neural Network for Heterogeneous Structural Learning
Didi Chuxing(滴滴出行);Peking University(北京大学)
本文主要研究异构信息网络的图表示学习,其中各种类型的顶点通过各种类型的关系连接。现有的HIN算法大多通过元路径修正同构图嵌入模型来学习HIN的低维向量空间。在本文中,我们提出了一种新的异构图结构注意力神经网络(HetSANN)直接编码的HIN的结构信息,没有元路径,实现更多的信息表示。该方法不需要领域专家来设计元路径方案,并且可以自动处理异构信息。具体而言,我们使用以下两种方法隐式地表示异构信息:1)通过在低维实体空间中的投影来建模异构顶点之间的转换; 2)然后,通过注意力机制,应用图神经网络来聚合投影邻域的多关系信息。我们还提出了HetSANN的三个扩展,即,HIN中的成对关系的产品注意力共享,保持异构实体空间之间的转换的周期一致性损失,以及充分利用信息的多任务学习。在三个公共数据集上进行的实验表明,与最先进的解决方案相比,我们提出的模型实现了显着和一致的改进。
2019-12-19 cs.LG cs.SI stat.ML
Hyperedge Modeling in Hypergraph Neural Networks by using Densest Overlapping Subgraphs
University of Windsor(温莎大学)
针对超图神经网络的超边建模问题,提出基于凝聚贪心枚举的最稠密重叠子图求解算法以鲁棒构建超图,节点分类任务性能显著优于现有方法。
2024-09-16 cs.AI cs.LG cs.SI
Graph Neural Networks for Motion Planning
University of Pennsylvania(宾夕法尼亚大学);Google Brain(谷歌大脑)
本文研究了使用图神经网络(GNNs)的经典运动规划问题的可行性。我们建议使用GNN的能力来指导连续和离散规划算法,该能力使用称为置换不变性的属性来鲁棒地编码规划空间的拓扑结构。我们提出了两种技术,在密集的固定图的低维问题和基于采样的GNNs高维问题的GNNs。我们研究了GNN解决规划问题的能力,例如识别关键节点或学习快速探索随机树(RRT)中的采样分布。临界采样、钟摆和六自由度机器人手臂的实验表明,GNN改进了传统的分析方法以及使用全连接或卷积神经网络的学习方法。
2020-12-14 cs.AI cs.LG cs.RO
Fast Training of Sparse Graph Neural Networks on Dense Hardware
University of Cambridge(剑桥大学);MPI Tübingen(马克斯·普朗克研究所图宾根分所);Google Research, Brain Team(谷歌研究大脑团队);DeepMind(深度思维)
图神经网络由于其自然编码关系输入数据的能力以及通过对图邻接矩阵的稀疏表示进行操作而扩展到大型图的能力,近年来变得越来越流行。当我们希望使用自定义硬件扩展这些模型时,一个自然的假设是我们需要针对稀疏操作和/或动态控制流定制的硬件。在这项工作中,我们通过使用针对固定大小数据的密集计算的平台来扩展稀疏图神经网络来质疑这一假设。从稀疏矩阵上的数值算法优化中汲取灵感,我们开发了一些技术,可以使用512核TPUv 2 Pod在13分钟内训练Allamanis等人[2018]的稀疏图神经网络模型,而原始训练几乎需要一天。
2019-06-27 cs.LG stat.ML
Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition
Samsung R&D Institute India – Bangalore(三星印度研发研究院(班加罗尔));University of Southern California(南加州大学)
针对语音情感识别问题,本文提出基于语谱图、MFCCs等语音特征,结合焦点损失训练的残差卷积神经网络,通过聚焦难例优化训练,提升情感识别效果。
2019-06-11 cs.AI cs.LG cs.SD
A survey on recently proposed activation functions for Deep Learning
人工神经网络(ANN),通常被称为神经网络,是一类机器学习算法,并且已经取得了广泛的成功,其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力,因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念,包括:深度神经网络简介,什么是激活函数及其如何在神经网络中使用的总结,它们最常见的属性,不同类型的激活函数,激活函数面临的一些挑战,限制和替代解决方案,最后的评论。
2022-04-07 cs.AI cs.LG
Perfect Recovery for Random Geometric Graph Matching with Shallow Graph Neural Networks
Harvard University(哈佛大学)
本文研究带稀疏二值顶点特征的随机几何图匹配问题,证明精心设计的两层图神经网络可在噪声以图规模幂次增长时仍实现完美恢复,而直接基于含噪特征的分配方法在常数噪声下即失败,并通过数值与真实数据实验验证了理论结果。
2025-03-11 cs.IT cs.LG cs.SI
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Shanghai Jiao Tong University(上海交通大学)
我们提出了可解释的图神经网络的采样和恢复的图形信号,分别。为了进行信息测量,我们提出了一个新的图神经采样模块,其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号,我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比,所提出的方法能够灵活地学习各种图形信号模型的数据,通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比,所提出的方法是通过利用特定的图形属性设计的,并提供可解释性。我们进一步设计了一个新的多尺度图神经网络,它是一个可训练的多尺度图滤波器组,可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中,我们说明了所提出的图神经采样和恢复模块的效果,并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中,图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明,我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Evaluating Visual Number Discrimination in Deep Neural Networks
DeepMind(深度思维)
区分大小数量的能力是人类和动物基本数字能力的核心方面。在这项工作中,我们研究了在何种程度上的国家的最先进的神经网络设计的视觉表现出这种基本的能力。受动物和婴儿数字认知研究的启发,我们使用数字平分程序来测试不同神经结构家族的数字辨别能力。我们的研究结果表明,视觉特定的归纳偏见是有帮助的数量歧视,因为这种偏见的模型有最低的测试错误的任务,往往有心理曲线,定性类似于人类和动物执行任务。然而,即使是最强的模型,如在标准性能指标上测量的,也无法在具有不同训练和测试条件的转移实验中区分数量,这表明这种归纳偏差可能是不够的。
2023-03-13 cs.AI cs.CV cs.LG
On Oversquashing in Graph Neural Networks Through the Lens of Dynamical Systems
University of Pisa(比萨大学);University of Cambridge(剑桥大学)
本文利用动力系统的非耗散性,提出反对称GNN模型SWAN,以维持恒定信息流,缓解图神经网络中的过压缩问题,并在长程交互基准上验证其有效性。
2025-02-28 cs.LG
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Two Instances of Interpretable Neural Network for Universal Approximations
Alibaba Inc(阿里巴巴公司);Nanyang Technological University(南洋理工大学)
本文提出了两种自底向上的可解释的神经网络(NN)结构,即三角构造的NN(TNN)和半量化激活NN(SQANN)的通用近似。其他值得注意的特性是(1)对灾难性遗忘的抵抗力(2)存在任意高精度的证据(3)通过可解释的激活“指纹”识别分布外的样本的能力。
2022-05-09 cs.AI cs.LG
Total Variation Graph Neural Networks
UiT the Arctic University of Norway(挪威北极大学);NORCE, The Norwegian Research Centre AS(挪威研究中心(NORCE))
针对现有基于谱聚类松弛的图神经网络顶点聚类效果差的问题,提出基于图全变分的更紧最小割松弛GNN模型,含消息传递层和无监督损失函数,在顶点聚类和图分类任务上性能更优。
2023-04-27 cs.LG
MGNNI: Multiscale Graph Neural Networks with Implicit Layers
National University of Singapore(新加坡国立大学)
最近,隐式图神经网络(GNN)已经被提出来捕获底层图中的长程依赖关系。在本文中,我们介绍并证明了隐式GNN的两个弱点:由于其捕获长程依赖关系的有效范围有限而导致的表达能力受限,以及缺乏以多分辨率捕获图形上多尺度信息的能力。为了说明以往隐式GNN有效范围有限的问题,本文首先从理论上分析了隐式GNN有效范围与迭代方程收敛性之间的内在联系。为了减轻上述弱点,我们提出了一个多尺度图神经网络与隐层(MGNNI),它能够模拟图上的多尺度结构,并具有扩大的有效范围,用于捕获远程依赖关系。我们对节点分类和图分类进行了全面的实验,以表明MGNNI优于代表性基线,并具有更好的多尺度建模和捕获长期依赖关系的能力。
2022-10-15 cs.AI cs.LG
Hyperbolic Convolutional Neural Networks
本文提出构建双曲卷积神经网络的通用方法,利用双曲空间捕获数据层次结构的能力,以提升对树状结构数据的处理性能。
2023-08-29 cs.AI cs.LG
Learning to Reweight for Graph Neural Network
Zhejiang University(浙江大学);The Pennsylvania State University(宾夕法尼亚州立大学);Alibaba Group(阿里巴巴集团)
针对图神经网络在分布偏移下泛化能力下降的问题,提出L2R-GNN方法,通过非线性图去相关和双层优化学习权重,显著提升OOD泛化性能。
2023-12-19 cs.AI cs.LG
Bach in 2014: Music Composition with Recurrent Neural Network
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个使用弹性传播(RProp)和长短期记忆(LSTM)循环神经网络的计算机音乐创作框架。在本文中,我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明,预测现有的音乐使用RProp优于反向传播通过时间(BPTT)。
2014-12-14 cs.AI cs.NE
Generalizability of Neural Networks Minimizing Empirical Risk Based on Expressive Ability
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Kaiyuan International Mathematical Sciences Institute(开源国际数学科学研究院);Institute of AI for Industries, Chinese Academy of Sciences(中国科学院人工智能与产业研究院)
本文研究了最小化经验风险的神经网络的泛化能力,基于网络表达能力建立了总体准确率下界,证明了过参数化网络在足够数据和规模下能有效泛化,并为深度学习中的鲁棒泛化等现象提供了理论见解。
2025-03-06 cs.AI cs.LG math.ST
Trainable and Explainable Simplicial Map Neural Networks
Universidad Loyola Andalucía(安大路西亚洛约拉大学);University of Seville(塞维利亚大学)
针对单纯映射神经网络(SMNNs)固定权重缺乏泛化能力及需构建凸多胞体的高维应用瓶颈,提出基于数据集支撑子集的训练过程与超球面投影替代方法,并引入可解释性与有效实现。
2024-03-12 cs.AI cs.LG math.AT
On Halting vs Converging in Recurrent Graph Neural Networks
Hasselt University(哈塞尔特大学)
本文研究了三种递归图神经网络模型,探讨了它们的表达能力关系,发现收敛型RGNN与某些停止型RGNN具有相同表达能力,而输出收敛型RGNN至少具有同等能力,且结果适用于ReLU网络。
2026-04-28 cs.AI cs.LG cs.LO
On the power of graph neural networks and the role of the activation function
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究图神经网络的表达能力,证明采用分段多项式激活的有界GNN无法区分特定深度2非同构有根树的根节点,而使用非分段多项式激活的单神经元感知机可实现该区分,揭示激活函数对GNN能力的关键影响。
2024-05-08 cs.LG
Neural-Symbolic Recommendation with Graph-Enhanced Information
Huzhou University(湖州师范学院);Guizhou University(贵州大学)
本文提出一种结合图神经网络全局隐式推理与命题逻辑局部显式推理的神经符号推荐模型,在五个公开数据集上取得了优于现有方法的推荐效果。
2023-07-11 cs.AI cs.IR
CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction
Meituan(美团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出CDFGNN框架,通过自适应缓存、通信量化和分层图划分算法减少分布式全批量GNN训练的远程访问与通信开销,实验显示性能提升30.39%。
2024-08-01 cs.DC cs.LG
End-to-end Deformable Attention Graph Neural Network for Single-view Liver Mesh Reconstruction
Ecole Polytechnique de Montréal(蒙特利尔理工学院)
调强放射治疗(IMRT)是治疗癌症患者最常见的方式之一。最大的挑战之一是精确的治疗递送,其解释了源自自由呼吸的不同运动模式。目前,由于3D跟踪解决方案的复杂性,用于IMRT的图像引导解决方案限于2D引导。我们提出了一种新的端到端的注意力图神经网络模型,该模型基于术前阶段获得的参考分割和治疗期间拍摄的2D MRI冠状切片实时生成肝脏的三角形形状。图神经网络直接处理图数据,可以捕获非欧几里德域中的隐藏模式。此外,与现有方法相反,它完全在网格结构中产生形状,并基于代理图像正确地推断网格形状和位置。我们定义了两种即时的方法来使肝脏网格顶点与治疗过程中获得的2D图像相对应。此外,我们引入了一种新的特定于任务的身份损失,以限制肝脏的变形的图神经网络,以限制飞行顶点或网孔等现象。所提出的方法实现了平均误差为3.06 +- 0.7 mm的结果和具有63.14 +- 27.28的L2范数的倒角距离。
2023-03-13 cs.AI cs.CV
Probing neural representations of scene perception in a hippocampally dependent task using artificial neural networks
Kavli Institute for Systems Neuroscience(卡夫利系统神经科学研究所);NTNU(挪威科技大学);Max-Planck-Insitute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);UCL(伦敦大学学院)
通过反向传播训练的深度人工神经网络(DNN)提供了哺乳动物视觉系统的有效模型,准确地捕获了从初级视觉皮层到下颞叶皮层(IT)的神经响应的层次结构。然而,这些网络解释更高皮层区域表征的能力相对缺乏,研究也相当少。例如,DNN作为由压后和后顶叶皮层中的回路体现的自我中心向非自我中心转化的模型不太成功。我们描述了一种新的场景感知基准的灵感来自海马依赖的任务,旨在探讨DNN的能力,从不同的自我中心的角度来看,转换场景。使用受到颞叶结构和海马体之间连接性启发的网络架构,我们证明了使用三重丢失训练的DNN可以学习这项任务。此外,通过实施因子化的潜在空间,我们可以将信息传播分为“什么”和“哪里”路径,我们使用这些路径来重建输入。这使我们能够在CATER和MOVi-A,B,C基准测试中击败最先进的无监督对象分割。
2023-03-11 cs.AI cs.CV
Exploring Attention Map Reuse for Efficient Transformer Neural Networks
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
基于变换器的深度神经网络由于其强大的建模远程依赖性的能力,在各种序列应用中取得了巨大的成功。Transformer的核心模块是自注意(SA),它从整个序列中提取特征,而不考虑位置之间的距离。虽然SA有助于Transformer在长距离任务上执行得特别好,但SA需要与输入序列长度成二次的计算和内存复杂度。最近,注意力图重用,其中组多个SA层共享一个注意力图,已被提出,并取得了显着的加速语音识别模型。在本文中,我们提供了一个全面的研究注意力图重用集中在其能力,以加速推理。我们比较了该方法与其他SA压缩技术,并进行了故障分析,其优点为长序列。我们通过测量CPU和GPU平台上的延迟来证明注意力地图重用的有效性。
2023-01-29 cs.AI eess.SP
A Bipartite Graph Neural Network Approach for Scalable Beamforming Optimization
Jeonbuk National University(全北国立大学);Pukyong National University(釜庆国立大学);Electronics and Telecommunications Research Institute(电子与电信研究所)
深度学习(DL)技术由于具有处理非凸公式的能力而被广泛研究用于多用户多输入单输出(MU-MISO)下行链路系统的优化。然而,现有深度神经网络(DNN)的固定计算结构在系统大小方面缺乏灵活性,即,天线或用户的数量。本文开发了一个二分图神经网络(BGNN)框架,一个可扩展的DL解决方案,设计用于多天线波束成形优化。MU-MISO系统首先通过二分图来表征,其中两个不相交的顶点集,每个顶点集由发射天线和用户组成,通过成对边连接。这些顶点互连状态由信道衰落系数建模。因此,通用波束成形优化过程被解释为权重二分图上的计算任务。该方法将波束成形优化过程划分为专用于各个天线顶点和用户顶点的多个子操作。分离的顶点操作导致对系统大小不变的可缩放波束成形计算。顶点操作由一组DNN模块实现,这些模块共同形成BGNN架构。在所有天线和用户处重用相同的DNN,使得所得的学习结构对于网络大小变得灵活。BGNN的组件DNN在具有随机变化的网络大小的许多MU-MISO配置上联合训练。因此,训练的BGNN可以普遍适用于任意MU-MISO系统。数值结果验证了BGNN框架比传统方法的优势。
2022-07-12 cs.IT cs.LG eess.SP
Collective Vertex Classification Using Recursive Neural Network
The Australian National University(澳大利亚国立大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织Data61)
顶点的集体分类是基于顶点属性和链接结构为图中的每个顶点分配类别的任务。然而,由于邻近顶点的特征引入了噪声,一些现有的方法没有正确使用这些特征。在本文中,我们提出了一个基于图的递归神经网络框架的集体顶点分类。在这个框架中,我们通过递归神经网络从顶点的属性和相邻顶点的表示生成隐藏表示。在这个框架下,我们研究了两种类型的递归神经元,朴素递归神经元和长短期记忆单元。我们在四个真实世界的网络数据集上进行了实验。实验结果表明,我们的框架与长短期记忆模型取得了更好的结果,并优于几个竞争的基线方法。
2017-01-24 cs.LG cs.SI
The layer-wise L1 Loss Landscape of Neural Nets is more complex around local minima
ETH Zürich(苏黎世联邦理工学院)
对于其他层中的固定训练数据和网络参数,作为第一层参数的函数的ReLU神经网络的L1损失是分段仿射函数。我们使用Deep ReLU Simplex算法来迭代地最小化相邻顶点上的损失,并分析这些顶点位置的轨迹。我们根据经验观察到,在局部最小值周围的邻域中,迭代的行为不同,因此可以在找到局部最小值之前得出关于损失水平和局部最小值附近的结论:首先,损失似乎在迭代的相邻顶点处指数缓慢地衰减,使得局部最小值处的损失水平可以从随后迭代的顶点的损失水平来估计,其次,我们观察到局部极小值周围的顶点密度的强烈增加。这可能会对设计新的梯度下降算法产生深远的影响,这些算法可能会通过利用这些事实来提高收敛速度。
2021-05-06 cs.LG stat.ML
Generalization Ability of Wide Neural Networks on $\mathbb{R}$
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
我们在$\mathbb{R}$上对宽双层ReLU神经网络的泛化能力进行了研究。我们首先建立了神经正切核(NTK)的一些谱性质:$a)$ $K_{d}$,定义在$\mathbb{R}^{d}$上的NTK,是正定的; $b)$ $λ_{i}(K_{1})$,$K_{1}$的第二大特征值,与$i^{-2}$成比例。然后,我们表明:$i)$当宽度为$m\rightarrow\infty$时,神经网络核(NNK)一致收敛到NTK; $ii)$在与$K_{1}$相关联的RKHS上的最小最大回归率为$n^{-2/3}$ ; $iii)$如果在训练宽神经网络时采用早停止策略,则所得神经网络实现最小最大回归率; $iv)$如果一个人训练神经网络,直到它过拟合的数据,产生的神经网络不能很好地推广。最后,我们提供了一个解释,以调和我们的理论和广泛观察到的“良性过拟合现象”。
2023-02-12 cs.LG stat.ML
Learning Ability of Interpolating Deep Convolutional Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
本文研究深度卷积神经网络在欠参数化与过参数化设置下的学习能力,建立无结构限制的学习率,并通过新型网络加深方案证明插值网络可保持原有良好学习率。
2023-08-16 cs.LG stat.ML
Robustness of classification ability of spiking neural networks
Dalian University of Technology(大连理工大学);Dalian Polytechnic University(大连工业大学)
众所周知,人工神经网络(ANN)的鲁棒性对于其广泛的应用是重要的。在本文中,我们专注于一个脉冲神经网络的分类能力的鲁棒性,它接收扰动输入。实际上,扰动可以是任意形式的。然而,高斯扰动和其他规则的很少被研究。对于分类问题,越接近所需点,输入空间中的扰动点就越多。此外,扰动可以是周期性的。基于这些事实,本文只考虑正弦和高斯扰动。使用SpikeProp算法,我们在经典XOR问题和其他三个基准数据集上进行了大量的实验。数值结果表明,当输入信号受到正弦和高斯扰动时,网络的分类能力没有显著降低。
2018-01-30 cs.LG stat.ML
A deep Convolutional Neural Network for topology optimization with strong generalization ability
Tongji University(同济大学)
提出了一种具有较强泛化能力的深度卷积神经网络(CNN)用于结构拓扑优化。神经网络的体系结构由编码和解码部分组成,编码和解码部分提供下采样和上采样操作。此外,一个流行的技术,即U-网络,被用来提高所提出的神经网络的性能。神经网络的输入是一个精心设计的张量,每个通道包含问题的不同信息,输出是最优结构的布局。为了训练神经网络,通过传统的拓扑优化方法(即SIMP)生成大数据集。在一系列典型优化问题上,通过与SIMP算法的效率和精度比较,评价了该算法的性能。结果表明,在不牺牲设计解的最优性的情况下,实现了计算成本的显着降低。此外,该方法可以智能地解决边界条件不包括在训练数据集中的问题。
2020-03-31 cs.LG stat.ML
Neural Logic Networks
Tsinghua University(清华大学);Rutgers University(罗格斯大学)
近年来,深度神经网络在许多研究领域取得了巨大的成功。大多数神经网络设计背后的基本思想是从数据中学习相似模式进行预测和推理,缺乏逻辑推理能力。然而,逻辑推理的具体能力对许多理论和实践问题至关重要。在本文中,我们提出了神经逻辑网络(NLN),这是一个动态的神经架构,根据输入的逻辑表达式建立计算图。它学习基本的逻辑运算作为神经模块,并通过网络进行命题逻辑推理进行推理。模拟数据的实验表明,NLN在求解逻辑方程方面取得了显着的性能。对真实数据的进一步实验表明,NLN在协同过滤和个性化推荐任务方面显着优于最先进的模型。
2019-10-17 cs.AI cs.LG cs.NE
Graph Convolutional Neural Networks based on Quantum Vertex Saliency
Central University of Finance and Economics(中央财经大学);Southern University of Science and Technology(南方科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of York(约克大学)
本文提出量子空间图卷积神经网络(QSGCNN),通过量子空间图卷积提取多尺度顶点特征并结合传统卷积层实现端到端图分类,解决了现有模型中信息丢失和不精确表示的问题。
2019-01-03 cs.LG stat.ML
Exploring The Spatial Reasoning Ability of Neural Models in Human IQ Tests
Korea University(高丽大学);NAVER;KAIST(韩国科学技术院)
尽管神经模型在图像识别和问答等各种任务上表现出色,但只有少数研究测量了它们的推理能力。在这项工作中,我们专注于空间推理和探索神经模型的空间理解。首先,我们描述了以下两个空间推理智商测试:旋转和形状组成。使用定义良好的规则,我们构建了由各种复杂程度组成的数据集。我们在泛化方面设计了各种实验,并在新生成的数据集上评估了六种不同的基线模型。我们提供了一个分析的结果和影响模型的泛化能力的因素。此外,我们分析了神经模型如何解决视觉辅助空间推理测试。我们的发现将为理解机器以及机器与人类之间的差异提供有价值的见解。
2020-04-11 cs.AI cs.CV cs.LG
Architectural change in neural networks using fuzzy vertex pooling
Department of General Science, Birla Institute of Technology and Science Pilani, International Academic City(一般科学系,比拉理工学院和科学学院,国际学术城);Department of Mathematics, Providence Women’s College, Calicut, India(数学系,普罗维登斯女子学院,卡利卡特,印度);Department of Mathematics, National Institute of Technology, Calicut, India(数学系,国家理工学院,卡利卡特,印度)
本文提出模糊顶点池化(FVP)的形式化框架,展示其在神经网络早期训练中能快速降低损失并保持准确率,但指出该方法在长周期或大规模场景下性能下降,建议仅用于早期训练阶段。
2025-09-19 cs.LG
ReGAE: Graph autoencoder based on recursive neural networks
Billennium(比伦尼姆公司);University of Technology(理工大学)
大型图到固定维向量(嵌入)的可逆变换仍然是一个挑战。它的克服将减少图上的任何操作到向量空间中的操作。然而,大多数现有的方法仅限于具有数十个顶点的图。在本文中,我们解决了上述挑战与递归神经网络的编码器和解码器。编码器网络将子图的嵌入转换为更大子图的嵌入,并最终转换为输入图的嵌入。解码器则相反。嵌入的维数是恒定的,与(子)图的大小无关。本文提出的模拟实验证实,我们提出的图形自动编码器,ReGAE,可以处理图形,甚至数千个顶点。
2022-07-11 cs.LG