Global Convergence of Deep Networks with One Wide Layer Followed by Pyramidal Topology
TU Kaiserslautern(凯泽斯劳滕工业大学);MPI-MIS(马克斯·普朗克软件系统研究所);IST Austria(奥地利科学技术研究所)
最近的工作表明,梯度下降可以找到一个全局最小值的过参数化的神经网络,其中所有隐藏层的宽度与$N$($N$是训练样本的数量)多项式缩放。在本文中,我们证明了,对于深度网络,输入层之后的单层宽度$N$足以确保类似的保证。特别地,允许所有剩余层具有恒定宽度,并且形成金字塔拓扑。我们展示了我们的结果的应用广泛使用的LeCun的初始化,并获得了过参数化的要求,为单宽层的顺序$N^2.$
2020-12-17 cs.LG stat.ML
5 Parallel Prism: A topology for pipelined implementations of convolutional neural networks using computational memory
IBM Research – Zurich(IBM研究院(苏黎世));ETH Zurich(苏黎世联邦理工学院)
存内计算是一种新兴的计算范式,它可以以显著更高的能量效率和更低的延迟实现深度学习推理。基本思想是将对应于每层的突触权重映射到一个或多个计算存储器(CM)核。在推断期间,这些核以O(1)时间复杂度就地执行相关联的矩阵-向量乘法运算,从而避免了将突触权重移动到附加处理单元的需要。此外,这种架构可以使这些网络的执行在一个高度流水线的方式。然而,一个关键的挑战是设计一个有效的通信结构的CM核心。在这里,我们提出了一个这样的通信结构的基础上的图形拓扑结构,非常适合于广泛成功的卷积神经网络(CNN)。我们表明,这种通信结构有利于所有国家的最先进的CNN的流水线执行证明这些网络的一个图形表示和建议的图形拓扑之间的同态的存在。然后,我们提出了一个定量的比较与已建立的通信拓扑结构,并表明我们提出的拓扑结构实现了最低的带宽要求,每个通信信道。最后,我们给出了一个将ResNet-32映射到CM核心阵列上的具体示例。
2019-06-08 cs.LG
A mechanistic-based data-driven approach to accelerate structural topology optimization through finite element convolutional neural network (FE-CNN)
Dalian University of Technology(大连理工大学);The American University in Cairo(开罗美国大学)
本文提出了一种基于数据驱动的结构拓扑优化方法,采用内部开发的有限元卷积神经网络(FE-CNN)。我们的方法可以分为两个阶段:离线训练和在线优化。在离线训练期间,在给定设计域的高分辨率表示和低分辨率表示之间建立映射函数。该映射由FE-CNN表示,其目标是公共目标函数值(例如,结构顺应性)。在在线优化过程中,通过训练好的映射函数将任意高分辨率的设计域降低到低分辨率。因此,原始的高分辨率域是通过仅对低分辨率版本执行的计算来设计的,然后逆映射回到高分辨率域。数值例子表明,这种方法可以加快优化的数量级的计算时间。因此,我们所提出的方法显示出巨大的潜力,以克服基于密度的结构拓扑优化的维数灾难。我们目前的方法的局限性进行了讨论。
2021-06-25 cs.LG
Topology Adaptive Graph Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学)
谱图卷积神经网络(CNN)需要对卷积进行近似以减轻计算复杂性,从而导致性能损失。提出了拓扑自适应图卷积网络(TAGCN),它是一种定义在顶点域的新型图卷积网络。我们提供了一种系统的方法来设计一组固定大小的可学习过滤器来对图进行卷积。这些滤波器的拓扑结构在它们扫描图以执行卷积时自适应于图的拓扑结构。TAGCN不仅继承了CNN中用于网格结构数据的卷积的属性,而且还与图形信号处理中定义的卷积一致。由于不需要卷积近似,TAGCN在许多数据集上表现出比现有谱CNN更好的性能,并且在计算上也比其他最近的方法更简单。
2018-02-11 cs.LG stat.ML
When is a Convolutional Filter Easy To Learn?
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Facebook AI Research(Facebook人工智能研究)
我们分析了用于学习具有整流线性单元(ReLU)激活函数的卷积滤波器的(随机)梯度下降算法的收敛性。我们的分析不依赖于任何特定形式的输入分布,我们的证明仅使用ReLU的定义,与之前的作品相比,这些作品仅限于标准高斯输入。我们证明了随机初始化的(随机)梯度下降可以在多项式时间内学习卷积滤波器,并且收敛速度取决于输入分布的平滑度和补丁的紧密程度。据我们所知,这是基于梯度的卷积滤波器算法在非高斯输入分布上的第一个恢复保证。我们的理论还证明了深度神经网络中的两阶段学习率策略的合理性。虽然我们的重点是理论,我们也提出了实验,说明我们的理论研究结果。
2018-02-28 cs.AI cs.CV cs.LG
Convolutional Neural Network-based Topology Optimization (CNN-TO) By Estimating Sensitivity of Compliance from Material Distribution
Tokyo Institute of Technology(东京工业大学)
本文提出了一种新的拓扑优化方法,该方法应用卷积神经网络(CNN),这是一种用于拓扑优化问题的深度学习技术。利用这种方法,我们得到了一个结构,具有较高的性能,不能得到以前的拓扑优化方法。特别是,在本文中,我们解决了一个拓扑优化问题,旨在最大限度地提高刚度的质量约束,这是一种常见的拓扑优化。本文首先用罚函数法推导了各向同性固体材料的拓扑优化问题。接下来,我们使用CNN制定拓扑优化。最后,通过求解一个以刚度最大化为目标的拓扑优化问题,验证了所提拓扑优化方法的有效性。在本研究中,作为解决一个小的设计面积为16 × 32单元的验证例子,我们得到了不同于以往的拓扑优化方法的解决方案。这一结果表明,可以通过使用像图像一样的CNN分析密度分布来提取和分析结构的刚度信息以用于结构设计。这表明CNN技术可以用于结构设计和拓扑优化。
2019-12-23 cs.CE cs.LG
GTAGCN: Generalized Topology Adaptive Graph Convolutional Networks
DM College(DM学院);Panjab University(旁遮普大学);University of Oxford(牛津大学)
本文提出一种结合广义聚合网络与拓扑自适应图卷积网络的混合方法GTAGCN,有效解决了序列与静态数据的图学习问题,在节点和图分类任务中表现良好,并在手写笔画序列数据上取得更优结果。
2024-03-22 cs.LG
A deep Convolutional Neural Network for topology optimization with strong generalization ability
Tongji University(同济大学)
提出了一种具有较强泛化能力的深度卷积神经网络(CNN)用于结构拓扑优化。神经网络的体系结构由编码和解码部分组成,编码和解码部分提供下采样和上采样操作。此外,一个流行的技术,即U-网络,被用来提高所提出的神经网络的性能。神经网络的输入是一个精心设计的张量,每个通道包含问题的不同信息,输出是最优结构的布局。为了训练神经网络,通过传统的拓扑优化方法(即SIMP)生成大数据集。在一系列典型优化问题上,通过与SIMP算法的效率和精度比较,评价了该算法的性能。结果表明,在不牺牲设计解的最优性的情况下,实现了计算成本的显着降低。此外,该方法可以智能地解决边界条件不包括在训练数据集中的问题。
2020-03-31 cs.LG stat.ML
Topology and Prediction Focused Research on Graph Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
使用卷积神经网络(CNN)方法来解决依赖于网格结构化数据的领域中的复杂问题(诸如图像处理和对象分类)已经取得了重要进展。最近,对图卷积神经网络(GCNN)的研究急剧增加,因为研究人员试图复制CNN在图结构数据中的成功。不幸的是,传统的CNN方法不容易转移到GCNN,考虑到图形的不规则性和几何复杂性。GCNN的新兴领域由于研究论文在范围、细节和读者所需的学术复杂程度方面存在很大差异而变得更加复杂。本文综述了GCNN的一些基本性质。作为感兴趣的读者的指南,GCNN研究的最新示例然后根据试图揭示图模型的底层拓扑结构的技术和那些试图在图数据上推广传统的CNN方法以改进类成员关系预测的技术进行分组。图上离散信号处理(DSPg)被用作理论框架,以更好地理解这些最新GCNN方法的一些性能增益和局限性。简要讨论了拓扑自适应图卷积网络(TAGCN)作为DSPg的一种方法,并简要讨论了使用这种方法的未来研究方向。
2018-08-23 cs.LG eess.SP stat.ML
Generalised Structural CNNs (SCNNs) for time series data with arbitrary graph topology
Imperial College London(帝国理工学院)
深度学习方法,特别是卷积神经网络(CNN),在基于图像的数据领域取得了很大成功,其中数据在规则像素网格中提供了结构清晰的拓扑结构。这种4邻域拓扑简单性使得卷积掩码的应用对于诸如视频应用的时间序列数据是直接的,但是许多高维时间序列数据不是以规则的网格组织的,而是值可以具有与诸如小世界网络或树的非平凡拓扑的相邻关系。在我们的应用案例中,人类运动学,目前还不清楚如何以原则性的方式推广卷积核。因此,我们在这里定义并实现了一个用于时间序列分析的通用图结构CNN的框架。我们的算法使用指定的数据维度邻接矩阵和随跳距缩放的卷积掩码自动构建卷积层。在格子拓扑的限制下,我们的方法产生了众所周知的图像卷积掩码。我们首先在任意连接的图形和人手运动捕获数据的合成数据上测试我们的方法,其中手由捕获关节的机械依赖关系的树表示。我们能够证明,除其他事项外,包括数据维度的图形结构显着提高模型预测,当与基准CNN模型相比,只有时间卷积层。
2018-05-30 cs.LG stat.ML
3D Topology Optimization using Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
拓扑优化是计算要求很高的,需要组装和解决每个材料分布假设的有限元问题。作为传统的基于物理的拓扑优化的补充替代方案,我们探索了一种数据驱动的方法,可以快速生成准确的解决方案。为此,我们提出了一种基于3D编码器-解码器卷积神经网络架构的深度学习方法,用于加速3D拓扑优化并确定其部署的最佳计算策略。分析固体各向同性材料与惩罚过程的迭代进度作为指导方针,研究如何使用传统拓扑优化的早期步骤作为我们的方法的输入,直接从该输入预测最终优化的输出结构。我们对训练神经网络的多种策略进行了比较研究,并评估了使用CNN的各种输入组合的效果,以最终确定在实际部署预测中具有最高准确度的策略。对于性能最好的网络,我们实现了约40%的总计算时间减少,同时也达到了96%的顺序结构精度。
2018-08-22 cs.LG physics.comp-ph stat.ML
On the Stability of Graph Convolutional Neural Networks under Edge Rewiring
University of Oxford(牛津大学);Swiss Data Science Center(瑞士数据科学中心)
图神经网络在机器学习社区中受到了广泛的欢迎,因为它们能够适应非欧几里德域并注入归纳偏差。尽管如此,它们的稳定性,即,它们对输入中的小扰动的鲁棒性还没有很好地理解。虽然有一些结果表明图神经网络的稳定性,大多数采取的形式上界的变化幅度,由于在图的拓扑结构的扰动。然而,在现有的边界中捕获的图拓扑结构的变化往往不能用结构属性来表示,这限制了我们对模型鲁棒性的理解。在这项工作中,我们开发了一个可解释的上限阐明,图神经网络是稳定的高度节点之间的重新布线。这一界和对相似类型界的进一步研究为进一步理解图神经网络的稳定性提供了依据。
2021-02-18 cs.LG
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University(奥胡斯大学)
图卷积网络(GCN)在基于骨架的人体动作识别中非常成功,其中骨架序列被建模为图。然而,该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络,这导致高计算复杂性并限制其在低计算场景中的应用。在本文中,我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明,该方法具有竞争力,甚至更好的分类性能与国家的最先进的方法相比,具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Purification Of Contaminated Convolutional Neural Networks Via Robust Recovery: An Approach with Theoretical Guarantee in One-Hidden-Layer Case
Illinois Institute of Technology(伊利诺伊理工学院);Trustworthy and Intelligent Machine Learning Research Lab(可信与智能机器学习研究实验室)
针对CNN易受噪声和后门攻击污染的问题,提出一种鲁棒恢复方法,在单隐层ReLU CNN上给出精确恢复的理论保证,并验证其有效性和可扩展性。
2024-07-04 cs.LG eess.SP
Experimental Observations of the Topology of Convolutional Neural Network Activations
Pacific Northwest National Laboratory(太平洋西北国家实验室);Scientific Computing and Imaging (SCI) Institute and School of Computing, University of Utah(犹他大学科学计算与成像研究所和计算学院)
拓扑数据分析(Topological Data Analysis,TDA)是计算数学的一个分支,是代数拓扑学和数据科学的桥梁,它提供了复杂结构的紧凑,抗噪的表示。深度神经网络(DNN)学习与模型架构定义的一系列转换相关的数百万个参数,导致输入数据的高维、难以解释的内部表示。随着DNN在我们社会的多个领域变得越来越普遍,人们越来越认识到需要数学方法来帮助分析师,研究人员和从业者理解和解释这些模型的内部表示与最终分类的关系。在本文中,我们采用尖端技术从TDA的目标是深入了解用于图像分类的卷积神经网络的可解释性。我们使用两种常见的TDA方法来探索几种方法来模拟隐藏层激活的高维点云,并提供实验证据,这些点云捕捉有价值的结构信息模型的过程。首先,我们证明了基于持久同源性的距离度量可以用来量化层之间有意义的差异,我们讨论了这些距离在更广泛的背景下,现有的代表性相似性度量的神经网络可解释性。其次,我们表明,映射图可以提供语义洞察这些模型如何组织层次类知识在每一层。这些观察结果表明,TDA是一个有用的工具,可以帮助深度学习从业者解锁其模型的隐藏结构。
2022-12-01 cs.CG cs.LG
Bayesian Spatio-Temporal Graph Convolutional Network for Traffic Forecasting
University of Science and Technology of China(中国科学技术大学)
在交通预测中,图卷积网络(GCN)将交通流建模为时空图,取得了令人瞩目的性能。然而,现有的基于GCN的方法,抽象地定义的图形结构的物理拓扑结构的道路网络,忽略了潜在的依赖关系的图形结构上的交通数据。并且定义的图结构是确定性的,缺乏对不确定性的研究。本文提出了一种用于流量预测的贝叶斯时空图卷积网络(BSTGCN)。我们的网络中的图结构是以端到端的方式从道路网络和交通数据的物理拓扑中学习的,它发现了对交通流之间关系的更准确描述。此外,提出了一种参数生成模型来表示图的结构,从而增强了GCN的泛化能力。我们验证了我们的方法在两个真实世界的数据集上的有效性,实验结果表明,BSTGCN达到优越的性能相比,国家的最先进的方法。
2020-10-15 cs.GR cs.LG
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich(苏黎世联邦理工学院)
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案,这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络(CNN)目前在所有图像理解基准中都达到了破纪录的精度,但具有非常高的计算复杂性。因此,嵌入式CNN需要小而高效,但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力,并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计,由ZynqNet CNN(一种优化和定制的CNN拓扑)和ZynqNet FPGA加速器(一种用于评估的基于FPGA的架构)组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化,使CNN具有84.5%的前5名准确度,计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则,仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络,最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合,并达到200 MHz的时钟频率,器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
A Specialized Importance-Aware Quantum Convolutional Neural Network with Ring-Topology (IA-QCNN) for MGMT Promoter Methylation Prediction in Glioblastoma
Department of Physics, Yildiz Technical University(物理系,伊兹密尔技术大学)
本文提出了一种基于量子力学原理的IA-QCNN架构,用于预测胶质瘤中MGMT启动子甲基化状态,通过能量切片选择、重要性加权、环拓扑量子卷积和折叠池化层,提升了高维数据的表示学习能力,实现了高精度预测并有效缓解过拟合问题。
2026-04-24 cs.LG quant-ph
Convolutional Neural Networks Analyzed via Convolutional Sparse Coding
Technion -– Israel Institute of Technology(以色列理工学院)
卷积神经网络(CNN)已经导致了许多跨越各个领域的最先进的结果。然而,对于CNN的核心算法--前向传递,目前还缺乏清晰而深刻的理论理解。同时,在稀疏近似的广泛领域中,卷积稀疏编码(CSC)近年来获得了越来越多的关注。最近对该模型进行了理论研究,将其建立为通常实践的基于补丁的处理的可靠且稳定的替代方案。在这里,我们提出了一种新的多层模型,ML-CSC,其中信号被假定为出现从级联的CSC层。这被证明与CNN紧密相连,以至于CNN的前向传递实际上是服务于ML-CSC模型的阈值追踪。这种连接为CNN带来了一个新的视角,因为我们能够将这种架构的理论主张归因于整个网络中表示的唯一性及其稳定估计,所有这些都在简单的局部稀疏条件下得到保证。最后,识别上述追踪方案中的弱点,我们提出了一种替代前向通的方案,该方案连接到去卷积、递归和残差网络,并且具有更好的理论保证。
2016-10-10 cs.LG stat.ML
Convolutional Learning on Directed Acyclic Graphs
Rey Juan Carlos University(雷伊·胡安·卡洛斯大学);University of Rochester(罗切斯特大学)
本文针对有向无环图数据提出一种集成可学习DAG滤波器的新型卷积图神经网络DCN,利用图拓扑偏序提供归纳偏置,并在扩散估计与源识别任务中验证其优于多个基线。
2024-05-05 cs.LG
Stress Field Prediction in Cantilevered Structures Using Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
随着创成式设计和拓扑优化技术的发展,对快速准确的结构分析的需求越来越普遍。作为加速结构分析的一步,这项工作探索了一种基于深度学习的方法,用于使用卷积神经网络(CNN)预测自由端承受外部静态载荷的2D线弹性悬臂结构的应力场。实现了两种不同的架构,将结构几何形状、外部载荷和位移边界条件作为输入,并输出预测的von Mises应力场。第一种是称为SCSNet的单输入通道网络作为基线架构,第二种是称为StressNet的多通道输入网络。精度分析表明,StressNet的结果显着低于SCSNet的预测误差在三个损失函数,平均相对误差为2.04%的测试。这些结果表明,深度学习模型可以为结构设计和拓扑优化中的经典方法提供有前途的替代方案。代码和数据集可在https://github.com/zhenguonie/stress_net上获得
2019-06-12 cs.LG stat.ML
Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
随着可访问深度传感器的普及,基于以太网的人类动作识别引起了人们的广泛关注。最近,图卷积网络(GCN)由于其强大的建模能力,已被广泛用于这一任务。邻接图的拓扑结构是对输入骨架的相关性进行建模的关键因素。因此,以前的方法主要集中在图拓扑的设计/学习上。但是一旦学习了拓扑结构,网络的每一层中只存在一个单尺度特征和一个变换。在卷积神经网络(CNN)中已经证明非常有效的许多见解,如多尺度信息和多组变换,尚未在GCN中进行研究。原因在于,由于图结构的骨架数据和传统的图像/视频数据之间的差距,将这些见解嵌入GCN是非常具有挑战性的。为了克服这一差距,我们重新发明了分裂-变换-合并策略,在GCN的骨架序列处理。具体而言,我们设计了一个简单的和高度模块化的图卷积网络架构的基于卷积的动作识别。我们的网络是通过重复一个构建块来构建的,该构建块聚合了来自空间和时间路径的多粒度信息。大量的实验表明,我们的网络性能优于最先进的方法,只有1/5的参数和1/10的FLOP。代码可在https://github.com/yellowtownhz/STIGCN上获得。
2021-08-20 cs.AI cs.CV cs.LG
Fault Location in Power Distribution Systems via Deep Graph Convolutional Networks
Tsinghua University(清华大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种新的图卷积网络(GCN)框架,用于配电网故障定位。所提出的方法集成了多个测量在不同的总线,同时考虑到系统的拓扑结构。IEEE 123节点基准系统验证了GCN模型的有效性。仿真结果表明,GCN模型明显优于其他广泛使用的机器学习计划具有非常高的故障定位精度。此外,所提出的方法是强大的测量噪声和数据丢失的错误。两个竞争的神经网络的数据可视化结果,探讨GCN的优越性能的机制。提出了一种数据增强方法,以提高模型在各种噪声和数据丢失误差水平下的鲁棒性。进一步的实验表明,该模型能够适应配电网拓扑结构的变化,并在有限的测量节点数下具有良好的性能。
2019-11-17 cs.LG stat.AP stat.ML
Topology Reduction in Deep Convolutional Feature Extraction Networks
Department of Information Technology and Electrical Engineering ETH Zurich(苏黎世联邦理工学院信息技术与电气工程系);Faculty of Mathematics University of Vienna(维也纳大学数学系)
在实践中使用的深度卷积神经网络(CNN)可能采用数百层和$10$、$000$节点。由于需要执行大量的卷积,这种网络大小带来了显著的计算复杂性;此外,需要学习和存储大量的参数。因此,非常深和宽的CNN可能不太适合在严重的资源约束下操作的应用,例如,低功耗嵌入式和移动平台。本文旨在了解CNN拓扑结构(特别是深度和宽度)对网络特征提取能力的影响。我们解决这个问题的类散射网络,采用魏尔-海森堡滤波器或小波,模量非线性,没有池。指数特征图能量衰减导致Wiatowski等人,2017,被推广到$\mathcal{O}(a^{-N})$,其中任意衰减因子$a>1$可以通过适当选择Weyl-Heisenberg原型函数或母小波来实现。然后,我们将展示如何设计固定(可能很小)深度$N$的网络,以保证输入信号能量的$((1-\varepsilon)\cdot 100)\%$包含在特征向量中。基于操作上重要节点的概念,我们的特点,部分严格和部分解析,(有效地)带限输入信号,带限滤波器和特征映射对称性的拓扑减少的影响。最后,对于基于Weyl-Heisenberg滤波器的网络,我们确定了原型函数带宽,该带宽使固定网络深度$N$的每层操作重要节点的平均数量最小化。
2018-03-14 cs.CV cs.IT cs.LG
Bayesian Graph Convolutional Network for Traffic Prediction
最近,基于自适应图卷积网络的流量预测方法,通过各种基于注意力的机制从流量数据中学习潜在图结构,已经取得了令人印象深刻的性能。然而,他们仍然是有限的,以找到一个更好的描述交通条件之间的空间关系,由于:(1)忽略了观察到的道路网络的拓扑结构的先验;(2)忽略了负的空间关系的存在;(3)缺乏调查的不确定性的图形结构。在本文中,我们提出了一个贝叶斯图卷积网络(BGCN)的框架,以减轻这些问题。在此框架下,图结构被视为一个随机实现的参数生成模型,其后验推断使用观察到的拓扑结构的道路网络和交通数据。具体来说,参数生成模型由两部分组成:(1)一个常数邻接矩阵,它使用贝叶斯方法从观察到的道路之间的物理连接中发现潜在的空间关系;(2)一个可学习的邻接矩阵,它以端到端的方式从交通数据中学习全局共享空间相关性,并可以对负空间相关性进行建模。然后,通过对参数图结构执行蒙特卡罗丢弃来近似图结构的后验。我们验证了我们的方法在五个真实世界的数据集上的有效性,实验结果表明,BGCN达到优越的性能相比,国家的最先进的方法。
2021-04-01 cs.AI cs.LG
Stochastic Training of Graph Convolutional Networks with Variance Reduction
Tsinghua University(清华大学);Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服集团(Ant Financial));TNList Lab(TNList实验室);State Key Lab for Intell. Tech. & Sys.(智能技术与系统国家重点实验室);Dept. of Comp. Sci. & Tech.(计算机科学与技术系)
图卷积网络(GCN)是用于图结构数据的强大的深度神经网络。然而,GCN从其邻居递归地计算节点的表示,使感受野大小随层数呈指数增长。先前通过对相邻节点进行二次采样来减小感受野大小的尝试没有收敛保证,并且它们的每个节点的感受野大小仍然在数百的数量级。在本文中,我们开发的控制变量为基础的算法,允许采样任意小的邻居大小。此外,我们证明了新的理论保证,我们的算法收敛到局部最优的GCN。实验结果表明,我们的算法享有类似的收敛性与精确的算法,每个节点只使用两个邻居。我们的算法在大型Reddit数据集上的运行时间只有以前邻居采样算法的七分之一。
2018-03-01 cs.LG stat.ML
Dynamic Causal Graph Convolutional Network for Traffic Prediction
Tsinghua University(清华大学);University of Cologne(科隆大学);SenseTime Research(商汤科技研究院);The Shanghai AI Laboratory(上海人工智能实验室);Qing Yuan Research Institute of Shanghai Jiao Tong University(上海交通大学清源研究院)
本文提出一种用于交通预测的动态因果图卷积网络,通过嵌入时变动态贝叶斯网络捕捉精细时空拓扑,并利用基于深度学习的超网络生成逐步动态因果图,有效建模非线性交通传播模式,在真实数据集上取得优越的预测性能。
2023-09-07 cs.LG eess.SP
Topological based classification using graph convolutional networks
Bar Ilan University(巴伊兰大学)
在着色图中,节点类通常与它们的邻居类相关联,或者与没有并入与每个节点相关联的图中的信息相关联。我们在这里提出,节点类也与节点的拓扑特征。我们使用这种关联来改进图机器学习,特别是图卷积网络(GCN)。首先,我们表明,即使在没有任何外部信息的节点,一个很好的准确性可以获得的预测的节点类使用拓扑特征,或使用邻居类作为输入到GCN。该准确度略低于使用基于内容的GCN可以获得的准确度。其次,我们表明,明确地添加拓扑结构作为输入到GCN不提高精度时,结合外部信息的节点。然而,在GCN中添加一个额外的邻接矩阵,其中具有类似拓扑结构的遥远节点之间的边确实显着提高了其准确性,从而在多个数据集中获得比所有现有技术方法更好的结果。
2019-10-26 cs.LG cs.SI stat.ML
A Multiscale Graph Convolutional Network Using Hierarchical Clustering
University of Cambridge(剑桥大学)
包含在分层拓扑结构中的信息,是许多网络所固有的,目前未得到充分利用。一种新的架构,探索利用这些信息,通过多尺度分解。通过Girvan-Newman分层聚类算法产生树状图。它被分割并通过图卷积层馈送,允许架构学习网络的多尺度潜在空间表示,从细粒度到粗粒度。该架构在基准引文网络上进行了测试,证明了具有竞争力的性能。由于层次网络的丰富性,可能的应用包括量子分子性质预测,蛋白质界面预测和偏微分方程的多尺度计算衬底。
2020-06-22 cs.LG stat.ML
Multi-Agent Reinforcement Learning with Graph Convolutional Neural Networks for optimal Bidding Strategies of Generation Units in Electricity Markets
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
在电力市场环境下,寻找发电机组的最优报价策略将获得更高的利润。然而,由于系统的不确定性,这是一个具有挑战性的问题,这是由于未知的其他发电机组的策略。分布式优化,其中每个实体或代理单独决定其出价,已成为最先进的,但它不能克服系统的不确定性的挑战。深度强化学习是在不确定环境中学习最优策略的一种很有前途的方法。然而,它是不能够在学习过程中集成的空间系统拓扑结构的信息。提出了一种基于深度强化学习(DRL)和图卷积神经网络(GCN)的分布式学习算法。事实上,所提出的框架可以帮助代理人更新他们的决策,从环境中获得反馈,以便它可以克服的不确定性的挑战。在该算法中,节点之间的状态和连接是GCN的输入,它可以使代理知道系统的结构。这些关于系统拓扑结构的信息有助于代理人改进他们的投标策略并增加利润。我们评估所提出的算法在IEEE 30节点系统在不同的情况下。此外,为了研究所提出的方法的泛化能力,我们测试IEEE 39节点系统的训练模型。仿真结果表明,该算法比DRL算法具有更强的泛化能力,在改变系统拓扑结构时,可以获得更高的收益。
2022-08-11 cs.AI cs.LG cs.MA
A Novel Topology Optimization Approach using Conditional Deep Learning
The Ohio State University(俄亥俄州立大学)
在这项研究中,一种新的拓扑优化方法的基础上的条件Wasserstein生成对抗网络(CWGAN)的开发复制传统的拓扑优化算法在一个非常计算成本低廉的方式。CWGAN由一个生成器和一个卷积器组成,两者都是深度卷积神经网络(CNN)。有限的数据样本,准最优的平面结构,需要使用传统的拓扑优化算法的训练目的。利用CWGAN,可以在生成样本之前将拓扑优化条件设置为所需的值。CWGAN通过由设计器引入等式约束来截断全局设计空间。通过使用具有相同设置的常规算法生成优化的平面结构来验证结果。提出了一个概念证明,这是已知的CWGAN和拓扑优化的融合的第一个这样的说明。
2019-01-14 cs.LG stat.ML
A novel topology design approach using an integrated deep learning network architecture
The Ohio State University(俄亥俄州立大学)
拓扑设计优化通过从头开始设计和生产零件而不需要传统形状设计优化方法所需的有意义的初始设计,在设计和制造自由度方面提供了巨大的机会。理想情况下,通过适当的问题陈述,使用标准拓扑优化过程(诸如SIMP(具有惩罚的简化各向同性材料))来公式化和解决拓扑设计问题是可能的。实际上,仅几个设计变量通常需要估计超过数千次的设计迭代,常规的优化方法对于现实世界的应用通常是不切实际的或计算上不可实现的,这显著地削弱了拓扑优化技术的发展。因此,需要一种不同的方法,能够有效和快速地优化初始设计拓扑。因此,这项工作提出了一种新的拓扑设计过程,使用集成的生成对抗网络(GANs)和卷积神经网络架构来生成最优结构。
2019-01-09 cs.LG stat.ML
Convolutional Normalization
随着深度神经网络被应用于复杂任务,网络和架构的规模增加,其拓扑结构也变得更加复杂。与此同时,培训变得缓慢,在某些情况下效率低下。这促使了各种规格化技术的引入,例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量(主要是一阶矩和二阶矩)并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量,并且这种方法在近似分布复杂的统计量时失败。在这里,我们提出了一种使用加权和的方法,该方法使用深度方向的卷积神经网络来实现,不仅可以近似统计数据,还可以学习和的系数。
2021-02-19 cs.LG stat.ML
Pooling Strategies for Simplicial Convolutional Networks
Sapienza University of Rome(罗马第一大学)
本文的目标是介绍单纯卷积神经网络的池化策略。受图池化方法的启发,我们引入了单纯池化层的一般公式,该公式执行:i)单纯信号的局部聚合; ii)采样集的原则选择; iii)下采样和单纯拓扑自适应。然后定制通用层以设计四种不同的池化策略(即,max、top-k、self-attention和separated top-k)。此外,我们利用分层架构中的建议层,降低复杂性,同时以不同的分辨率表示数据。真实数据基准的数值结果(即,流和图分类)说明了所提出的方法相对于现有技术的优点。
2022-10-11 cs.LG eess.SP
HFGCN:Hypergraph Fusion Graph Convolutional Networks for Skeleton-Based Action Recognition
School of Information Science and Engineering, Shandong Normal University(山东师范大学信息科学与工程学院);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院)
本文借鉴运动学理论提出基于身体部位与核心距离的骨架拓扑关系分类,并构建超图融合图卷积网络(HFGCN),通过超图注意力与图卷积模块在时间和通道维度优化拓扑建模,在三个数据集上取得最优性能。
2025-02-03 cs.CV cs.LG
Privacy-Preserving Graph Convolutional Networks for Text Classification
图卷积网络(GCN)是用于对自然地作为图出现的文档进行表示学习的强大架构,例如,引用或社交网络。然而,敏感的个人信息,例如以人们的个人资料或关系为边缘的文档,很容易发生隐私泄露,因为经过训练的模型可能会泄露原始输入。虽然差分隐私(DP)提供了一个有充分依据的隐私保护框架,GCN提出了理论和实践的挑战,由于他们的培训细节。我们通过将基于差异私有梯度的训练适应于GCN来解决这些挑战,并使用两种优化器在两种语言的五个NLP数据集上进行实验。我们提出了一个简单而有效的方法,基于随机图分裂,不仅提高了基线隐私边界的2.7倍,同时保留竞争力的F1分数,但也提供了强大的隐私保证,?= 1.0。我们表明,在某些建模选择下,隐私保护GCN执行高达90%的非私有变体,同时正式保证强大的隐私措施。
2022-05-02 cs.CL cs.CR cs.LG
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks
Department of Electrical Sustainable Energy, Delft University of Technology(代尔夫特理工大学电气可持续能源系);Beijing Energy Quant Ltd.(北京能源量子科技有限公司)
本文提出一种拓扑感知的强化学习架构,利用图神经网络优化配电网储能系统调度,通过对比不同GNN变体评估其在不同拓扑结构下的鲁棒性和迁移性能。
2026-03-27 cs.LG cs.SY eess.SY
On the Stability of Graph Convolutional Neural Networks: A Probabilistic Perspective
University of Oxford(牛津大学);University College London(伦敦大学学院);UCLA, University of Oxford(加州大学洛杉矶分校、牛津大学)
从概率视角研究图卷积神经网络对图结构扰动的稳定性,提出分布感知公式刻画输出扰动,实验验证其在表示稳定性和对抗攻击上的优势。
2025-10-27 cs.LG eess.SP stat.ML
Bayesian Graph Convolutional Neural Networks using Node Copying
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)在不同的基于图的学习任务中具有许多应用。虽然这些技术获得了令人印象深刻的结果,但它们往往无法解释与底层图结构相关的不确定性。在最近提出的贝叶斯GCNN(BGCN)框架中,通过将观察到的图视为参数随机图模型的样本并针对图和GCNN权重的联合推理来解决这个问题。在本文中,我们介绍了另一种生成模型的基础上复制节点的图形,并将其纳入BGCN框架。我们的方法的好处是,它使用的节点特征和训练标签在图拓扑推理提供的信息。实验表明,该算法在基准节点分类任务中优于最先进的算法。
2019-11-08 cs.LG stat.ML
IgNet. A Super-precise Convolutional Neural Network
卷积神经网络(CNN)是一种有效的图像检测和分析方法。它们的功能本质上是基于提取出图像共同特征的能力。然而,存在着涉及独特的、不规则的特征或细节的图像。这是一个不寻常的儿童绘画反映孩子们的想象力和个性的集合。这些图纸通过由Keras-TensorFlow构建的CNN进行分析。同样的问题-在一个显着更高的水平上-解决了新开发的网络家族称为IgNet,这是本文所描述的。它被证明能够100%地学习图纸的所有分类特征。在回归任务(学习年轻艺术家的年龄)的情况下,IgNet的误差不超过0.4%。IgNet设计的原则进行了讨论,使人们有可能达到这样的实质性成果,而简单的网络拓扑结构。
2021-09-21 cs.CV cs.LG
Graph Convolutional Memory using Topological Priors
University of Cambridge(剑桥大学);Toshiba Europe Limited(东芝欧洲有限公司)
当将强化学习应用于现实世界的问题时,解决部分可观察的马尔可夫决策过程(POMDPs)是至关重要的,其中代理人对世界的看法是不完整的。我们提出了图卷积记忆(GCM),第一个使用强化学习解决POMDPs的混合记忆模型。GCM使用人类定义的或数据驱动的拓扑先验来形成图邻域,使用动态规划将它们组合成更大的网络拓扑。我们使用图卷积查询图,将相关记忆合并为上下文相关的信念。在没有人类先验知识的情况下使用时,GCM的表现与最先进的方法相似。当与人类先验一起使用时,GCM在控制,记忆和导航任务上优于这些方法,同时使用更少的参数。
2021-10-08 cs.AI cs.LG cs.RO
Automatic Inference of Cross-modal Connection Topologies for X-CNNs
University of Cambridge(剑桥大学)
本文介绍了一种从基本卷积网络(CNN)和训练数据学习交叉模态卷积神经网络(X-CNN)架构的方法,以降低设计成本并使交叉模态网络能够在稀疏数据环境中应用。提出了两种构建X-CNN的方法。基础方法通过使用在基础CNN上执行的测量和提供的数据,以数据驱动的方式学习拓扑。迭代方法通过组合学习过程执行拓扑的进一步优化,同时学习拓扑和训练网络。这些方法在手工设计的X-CNN及其基础变体的例子中进行了评估,显示出优越的性能,在某些情况下,获得了额外的9%的准确度。从进一步的考虑,我们得出结论,所提出的方法需要更少的时间比任何手动方法,同时也显着降低了设计的复杂性。这些方法的应用是完全自动化的,并在Xsertion库中实现。
2018-05-02 cs.LG cs.NE stat.ML
Hierarchical Road Topology Learning for Urban Map-less Driving
Mercedes-Benz R&D NA(梅赛德斯-奔驰北美研发中心)
目前自动驾驶的大多数方法都依赖于高清(HD)地图,这些地图详细描述了道路几何形状和周围区域。然而,由于这种现有地图的可扩展性差,这种依赖是大规模部署自动驾驶车辆的障碍之一。在本文中,我们解决了在线道路地图提取的问题,通过利用车辆本身的感官系统。为此,我们设计了一个结构化模型,其中道路网络的图形表示在完全卷积网络中以分层方式生成。该方法能够处理复杂的道路拓扑结构,并且不需要用户在回路中。
2021-03-31 cs.CV cs.LG cs.RO
Graph Convolutional Networks Meet with High Dimensionality Reduction
Abdullah Gül University(阿卜杜拉·居尔大学)
近年来,图卷积网络及其变体在学习图相关任务方面受到了广泛的研究兴趣。虽然GCN已成功应用于此问题,但从经典深度学习继承的一些警告仍然是节点分类问题背景下的开放研究主题。一个这样的继承警告是,GCN只考虑距离标记节点几次传播的节点来对它们进行分类。然而,仅考虑几个传播步骤远离节点的失败的目的,在GCN中使用的图形拓扑信息。为了解决这个问题,现有技术的方法利用网络扩散方法,即个性化页面排名及其变体,以完全考虑图形拓扑,{ \em之后}它们在GCN中使用神经网络。然而,这些方法忽略了这样一个事实,即网络扩散方法有利于图中的高度节点,导致标签传播到未标记的中心节点。为了解决这个偏置枢纽节点的问题,在本文中,我们提出了利用降维技术共轭与个性化的页面排名,使我们既可以利用图拓扑结构和解决枢纽节点有利于GCN的问题。在这里,我们的方法开辟了一个新的整体道路的消息传递阶段的GCN建议使用其他接近矩阵,而不是众所周知的拉普拉斯算子。在两个真实世界的网络上进行测试,这些网络通常用于对节点分类上下文的GCN性能进行基准测试,我们系统地评估了所提出的方法的性能,并表明我们的方法在非常有限的深度学习训练{ \em epochs}的情况下,在广泛的参数值范围内优于现有方法。
2019-11-07 cs.LG stat.ML
Three-Dimensionally Embedded Graph Convolutional Network (3DGCN) for Molecule Interpretation
KAIST(韩国科学技术院);Center for Cell-Encapsulation Research(细胞封装研究中心)
提出了一种基于三维分子图的三维图卷积网络(3DGCN),用于预测分子性质和生物活性。在3DGCN中,图卷积与向量上的学习操作相统一,以处理来自分子拓扑的空间信息。与其他深度学习模型相比,3DGCN模型在各种任务上表现出更高的性能,并且能够将给定的构象体推广到目标特征,而不管其在3D空间中的旋转如何。更重要的是,我们的模型还可以区分分子的3D旋转,并在蛋白质-配体对接问题中根据旋转程度预测目标值,当使用方向相关数据集进行训练时。3DGCN的旋转可扩展性以及旋转等方差为深度学习化学领域的三维实施提供了一个关键的里程碑,以解决具有挑战性的生物化学问题。
2019-04-16 cs.LG stat.ML
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University(巴伊兰大学)
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外,将拓扑信息与信息传播相结合,提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好,没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
HARDCORE: H-field and power loss estimation for arbitrary waveforms with residual, dilated convolutional neural networks in ferrite cores
Paderborn University(帕德博恩大学)
面向MagNet Challenge 2023,本文提出HARDCORE残差扩张卷积模型,通过重建bh曲线并结合专家特征工程,实现小参数规模下任意波形铁氧体磁芯功率损耗的可解释高精度估计。
2024-01-23 cs.LG cs.SY eess.SY
Certified Training for Convolutional Perturbations
Safe Intelligence(安全智能);Imperial College London(伦敦帝国理工学院)
研究视觉模型受扰动问题,提出利用卷积扰动编码的认证训练方法,显著优于对抗训练,在CIFAR10上对运动模糊有超80%鲁棒准确率,且标准准确率相当。
2026-07-21 cs.CV cs.LG
Diagnosis of Pediatric Obstructive Sleep Apnea via Face Classification with Persistent Homology and Convolutional Neural Networks
University of Alberta(阿尔伯塔大学)
阻塞性睡眠呼吸暂停是一种严重的疾病,会引起一系列的健康问题,尤其是在儿科人群中。然而,如果诊断是可能的,这种慢性疾病可以治疗。诊断的金标准是过夜睡眠研究,这通常是许多潜在患有这种疾病的人无法获得的。因此,我们试图开发一种快速的非侵入性诊断工具,通过训练一个分类器的2D和3D面部图像的患者,以识别与阻塞性睡眠呼吸暂停相关的面部特征。在这项比较研究中,我们考虑了计算拓扑领域的持久同源性和几何形状分析以及卷积神经网络,这是一种来自深度学习的强大方法,其在图像,特别是面部识别方面的成功已经被计算机科学家证明。
2019-10-26 cs.CV cs.LG stat.ML
HTNet: Human Topology Aware Network for 3D Human Pose Estimation
Key Laboratory of Machine Perception, Shenzhen Graduate School, Peking University(北京大学深圳研究生院机器感知重点实验室)
三维人体位姿估计误差会沿着人体拓扑结构传播,并在肢体末端关节处积累。受自动控制系统中回溯机制的启发,设计了一个以父结点为参照的零件内约束模块,在零件级建立端部连接的拓扑约束。进一步考虑人体拓扑结构的层次性,分别通过图卷积网络和自注意力捕获关节级和身体级依赖性。基于这些设计,我们提出了一种新的人类拓扑感知网络(HTNet),它采用了通道分裂渐进策略,顺序学习的结构先验的人类拓扑结构从多个语义层次:关节,部分,和身体。大量实验表明,该方法提高了18.7%的四肢末端关节的估计精度,并在Human3.6M和MPI-INF-3DHP数据集上取得了最先进的结果。代码可在https://github.com/vefalun/HTNet上获得。
2023-02-20 cs.CV cs.HC cs.LG
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Futurewei Seattle Cloud Lab(Futurewei西雅图云实验室)
我们提出了拓扑变换等变表示学习,自监督学习的一般范式的节点表示的图形数据,使图卷积神经网络(GCNN)的广泛适用性。我们正式提出的模型从信息理论的角度来看,通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出,最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地,我们试图从原始图中采样节点对的子集,并翻转每个对之间的边连接以转换图拓扑。然后,我们自训练一个表示编码器,通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中,我们将所提出的模型应用于下游节点分类、图分类和链接预测任务,结果表明,所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
Neural networks for topology optimization
University of Amsterdam, Amsterdam, The Netherlands(阿姆斯特丹大学);Skolkovo Institute of Science and Technology(斯克沃尔诺夫科学与技术研究所);Institute of Numerical Mathematics RAS, Moscow, Russia(俄罗斯科学院数值数学研究所)
本文提出基于深度学习的拓扑优化加速方法,将布局问题转化为图像分割任务,利用卷积编码器-解码器架构实现高效优化,实验表明方法显著提升优化速度并具有良好的泛化能力。
2017-09-27 cs.LG cs.NA math.NA
Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
图分类在各个领域都有实际应用。最近的研究表明,基于图的机器学习模型由于图数据的非独立同分布性质而特别容易受到对抗性扰动的影响。通过添加或删除图中的少量边,对手可以极大地改变由图分类模型预测的图标签。在这项工作中,我们提出了建立一个平滑的图分类模型与认证的鲁棒性保证。我们已经证明,所得到的图分类模型将输出相同的预测下的图$l_0$有界对抗扰动。我们还评估了我们的方法的有效性下的图卷积网络(GCN)的多类图分类模型。
2020-09-12 cs.CR cs.LG stat.ML