Deep Graph Normalizer: A Geometric Deep Learning Approach for Estimating Connectional Brain Templates
Istanbul Technical University（伊斯坦布尔理工大学）
连接脑模板（CBT）是一个基于图形的大脑网络群体的归一化表示，也被视为一个平均连接体。CBTs是在典型和非典型人群中创建大脑连接的代表性地图的强大工具。特别是，估计多视图脑网络（MVBN）群体的中心化和代表性CBT更具挑战性，因为这些网络位于复杂的流形上，并且没有简单的方法来融合不同的异构网络视图。这个问题仍然没有探索，除了一些最近的作品植根于假设连接体之间的关系大多是线性的。然而，这样的假设无法捕捉复杂的模式和个体之间的非线性变化。此外，现有的方法简单地由顺序MVBN处理块组成，没有任何反馈机制，导致错误累积。为了解决这些问题，我们提出了深度图规范化器（DGN），这是第一个几何深度学习（GDL）架构，用于通过将MVBN集成到单个连接大脑模板中来规范化MVBN群体。我们的端到端DGN学习如何融合多视图大脑网络，同时通过利用图卷积神经网络捕获跨主体的非线性模式并保留大脑图拓扑属性。我们还引入了一个随机加权损失函数，它也作为一个正则化，以尽量减少人口的MVBN和估计的CBT之间的距离，从而执行其中心。我们证明，在小规模和大规模连接组数据集上估计CBT时，DGN在代表性和可区分性方面都显著优于现有的最先进方法（即，识别对每个大脑网络群体进行指纹识别的独特连接性）。
2020-12-28 cs.CV
SwiftNet: Using Graph Propagation as Meta-knowledge to Search Highly Representative Neural Architectures
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）；Qualcomm AI Research（高通人工智能研究院）
为边缘设备设计神经架构受到准确性、推理延迟和计算成本的限制。传统上，研究人员手动构建深度神经网络以满足移动设备的需求。神经架构搜索（NAS）被提出来自动化神经架构设计，而不需要广泛的领域专业知识和大量的人工工作。最近的工作利用NAS设计移动模型，考虑到硬件的限制，并实现了最先进的精度与更少的参数和更少的计算成本测量的乘法累积（MAC）。为了找到高度紧凑的神经结构，现有的工作依赖于预定义的细胞和直接应用宽度乘数，这可能会限制模型的灵活性，减少有用的特征映射信息，并导致准确性下降。为了克服这个问题，我们提出了采用细粒度（节点）搜索方法并将更新中学到的知识积累到元图中的GRAph传播作为元知识。因此，搜索引擎可以实现更灵活的搜索空间并实现更高的搜索效率。在没有预定义单元或块的约束下，我们提出了一种新的结构级剪枝方法来去除神经结构中的冗余操作。SwiftNet是一组由Google发现的模型，其精度密度比MobileNet-V2高2.15倍，在精度相似的情况下速度快2.42倍。与FBNet相比，SwiftNet将搜索成本降低了26倍，在保持相似精度的同时，实现了2.35倍的精度密度和1.47倍的加速比。SwiftNet可以在ImageNet-1 K上获得63.28%的top-1准确率，仅需53 M MAC和2.07M参数。相应的推理延迟在Google Pixel 1上仅为19.09 ms。
2019-06-25 cs.AI cs.CV cs.LG
One Representative-Shot Learning Using a Population-Driven Template with Application to Brain Connectivity Classification and Evolution Prediction
Istanbul Technical University（伊斯坦布尔理工大学）
少样本学习提出了一种具有挑战性的范式，用于在代表要区分的目标类别的少数训练样本上训练判别模型。然而，基于深度学习的分类方法不适合这种学习，因为它们需要大量的训练数据-更不用说一次性学习了。最近，图神经网络（GNN）已经被引入到网络神经科学领域，其中大脑连接被编码在图中。然而，由于罕见疾病和低资源临床设施的神经成像数据集稀缺，这种数据吞噬架构可能无法学习目标任务。在本文中，我们采用了一种非常不同的方法来训练GNN，我们的目标是用一个样本学习并实现最佳性能-这是一个艰巨的挑战。具体来说，我们提出了第一个一次性范例，其中GNN是在单个人口驱动的模板上训练的-即连接大脑模板（CBT）。CBT是一组脑图的紧凑表示，这些脑图捕捉了个体之间共享的独特连接模式。它类似于神经成像数据集的大脑图像图谱。使用一个代表性的CBT作为训练样本，我们减轻了GNN模型的训练负荷，同时提高了它们在各种分类和回归任务中的性能。我们证明，我们的方法在下游分类和时间依赖性脑图数据预测任务中的表现明显优于基准一次性学习方法，同时与所有传统训练策略竞争。我们的源代码可以在https://github.com/basiralab/one-representative-shot-learning上找到。
2021-10-06 cs.CV cs.LG cs.NE
Reconstruction of three-dimensional porous media using generative adversarial neural networks
Imperial College London（帝国理工学院）
为了在孔隙尺度上评价多孔介质多相流动特性的变异性，需要获得大量具有代表性的孔隙-固体结构样品。虽然现代X射线计算机断层扫描技术已经能够提取孔隙空间的三维图像，但对固有材料特性的可变性进行评估通常在实验上是不可行的。我们提出了一种新的方法来重建多孔介质的固体-空隙结构，通过应用生成神经网络，允许一个隐含的描述的概率分布所表示的三维图像数据集。我们表明，通过使用对抗性学习方法的神经网络，这种方法的无监督学习是能够产生代表性的多孔介质的样品，履行他们的统计。我们成功地比较了孔隙形态的措施，如欧拉特性，两点统计和定向单相渗透率的合成实现与珠包，Berea砂岩和Ketton石灰岩的计算性能。结果表明，GANs可用于重建不同尺度下多孔介质的高分辨率三维图像，这些图像代表用于训练神经网络的图像的形态。经训练的神经网络的完全卷积性质允许在保持计算效率的同时生成大样本。与经典的图像重建随机方法相比，学习数据分布的隐式表示可以被存储和重用，以非常快速地生成孔隙结构的多个实现。
2017-04-11 cond-mat.mtrl-sci cs.CV physics.flu-dyn
Effective Graph and Rank-based Contextual Embeddings for Textual and Multimedia Data
State University of São Paulo (UNESP)（圣保罗州立大学（UNESP））；University of São Paulo (USP)（圣保罗大学（USP））；University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本研究提出无监督框架GRaCE，通过基于秩的度量生成可解释嵌入，在文本、图像等多数据集的检索、分类、聚类任务中优于RaDE及原始特征。
2026-09-25 cs.CV cs.IR cs.LG
Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graph Structure of Neural Networks
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
神经网络通常表示为神经元之间的连接图。然而，尽管它们被广泛使用，但目前对神经网络的图结构与其预测性能之间的关系了解甚少。在这里，我们系统地研究了神经网络的图结构如何影响其预测性能。为此，我们开发了一种新的基于图的表示神经网络称为关系图，其中神经网络计算层对应于沿图结构的消息交换轮。使用这种表示，我们表明：（1）关系图的“甜蜜点”导致神经网络具有显着提高的预测性能;（2）神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数;（3）我们的研究结果在许多不同的任务和数据集上是一致的;（4）甜蜜点可以有效地识别;（5）表现最好的神经网络具有与真实生物神经网络惊人相似的图形结构。我们的工作为神经网络结构的设计和对神经网络的理解开辟了新的方向。
2020-08-27 cs.CV cs.LG cs.SI
Incomplete Graph Representation and Learning via Partial Graph Neural Networks
Anhui University（安徽大学）
近年来，图神经网络（GNNs）在图数据学习任务中得到越来越多的关注。然而，在许多应用中，图可能以不完整的形式出现，其中图节点的属性部分未知/缺失。现有的GNN一般是在完全图上设计的，不能直接处理属性不完全的图数据。为了解决这个问题，我们开发了一种新的基于部分聚集的GNNs，命名为部分图神经网络（PaGNNs），用于属性不完整图的表示和学习。我们的工作是出于观察标准GNNs中的邻域聚合函数可以等效地视为邻域重建公式。在此基础上，我们在不完全图上定义了两个新的部分聚集（重建）函数，并推导出用于不完全图数据学习的PaGNN。在多个数据集上的大量实验证明了所提出的PaGNNs的有效性和效率。
2021-06-04 cs.CV cs.LG stat.ML
Time accelerated image super-resolution using shallow residual feature representative network
The University of New Mexico（新墨西哥大学）
深度学习的最新进展表明了单图像超分辨率领域的重大进展。随着这些技术的出现，高分辨率图像具有高峰值信噪比（PSNR）和良好的感知质量可以重建。与现有深度卷积神经网络相关的主要挑战是它们的计算复杂度和时间;网络深度的增加通常会导致高空间复杂度。为了缓解这些问题，我们开发了一种创新的浅残差特征代表网络（SRFRN），该网络使用双三次插值的低分辨率图像作为输入和残差代表单元（RFR），其中包括串行堆叠的残差非线性卷积。此外，通过组合RFR单元的输出和来自双三次插值LR图像的残差输出来完成高分辨率图像的重建。最后，在基准数据集上进行了多个实验，该模型在更高尺度上表现出优越的性能。此外，该模型还表现出更快的执行时间相比，所有现有的方法。
2020-04-08 cs.CV cs.LG eess.IV
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Analyzing Neural Networks Based on Random Graphs
Jagiellonian University（雅盖隆大学）
我们进行了大量的评估神经网络与架构对应的各种类型的随机图。我们调查各种结构和数值性质的关系到神经网络测试精度的图形。我们发现，没有一个经典的数值图不变量本身允许挑选出最好的网络。因此，我们引入了一个新的数值图特征，它选择了一组准一维图，这些图是性能最好的网络中的大多数。我们还发现，主要是短距离连接的网络比允许许多长距离连接的网络表现更好。此外，许多分辨率降低途径是有益的。我们在https://github.com/rmldj/random-graph-nn-paper上提供了1020个图的数据集及其相应神经网络的测试精度
2020-12-02 cs.CV cs.LG q-bio.NC
