Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification
Beijing Institute of Technology(北京理工大学)
针对现有图神经网络受同质性假设限制、忽略有向边导致性能受限的问题,提出AMUD方法自适应建模有向图,搭配ADPA新型有向图学习范式,在16个基准数据集上性能较基线提升3.96。
2024-03-11 cs.AI cs.LG cs.SI
DUPLEX: Dual GAT for Complex Embedding of Directed Graphs
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Ant Group(蚂蚁集团)
提出DUPLEX框架,通过Hermitian邻接矩阵分解和双GAT编码器改进有向图嵌入,解决低度节点表示和归纳能力问题,性能优于现有模型。
2024-07-19 cs.LG
edGNN: a Simple and Powerful GNN for Directed Labeled Graphs
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院);ETH(苏黎世联邦理工学院)
图神经网络(GNN)利用图拓扑和图标签的能力是构建有区别的节点和图嵌入的基础。在以前工作的基础上,我们从理论上证明了edGNN,我们的有向标记图的模型,与图同构的Weisfeiler-Lehman算法一样强大。我们的实验支持我们的理论研究结果,确认图神经网络可以有效地用于有向图的节点和边标签的推理问题。代码可在https://github.com/guillaumejaume/edGNN获得。
2019-12-04 cs.LG stat.ML
DEDGAT: Dual Embedding of Directed Graph Attention Networks for Detecting Financial Risk
Fudan University(复旦大学);Ant Group(蚂蚁集团)
图表示在金融风险控制领域中扮演着重要的角色,其中用户之间的关系可以用图的方式来构建。在实际场景中,风险控制任务中的节点之间的关系是双向的,例如,具有收入和支出行为的商家。针对无向图设计的图神经网络通常采用注意力策略聚合有区别的节点或边表示,但当用于有向图任务时,不能充分利用出度信息,从而导致方向偏差问题.为了解决这个问题,我们提出了一个称为DGAT的有向图注意力网络,它明确地将出度纳入注意力计算。除了具有方向性要求之外,同一个节点可能具有不同的输入和输出表示,因此我们进一步提出了DGAT的双重嵌入,称为DEDGAT。具体来说,DEDGAT为每个节点分配入度和出度表示,并使用这两个嵌入来分别计算入度和出度节点的注意力权重。在基准数据集上进行的实验表明,DGAT和DEDGAT获得更好的分类性能相比,无向GAT。同时,可视化结果表明,我们的方法可以充分利用入度和出度信息。
2023-03-06 cs.AI cs.DC cs.LG
Node Representation Learning for Directed Graphs
我们提出了一种新的方法来学习节点表示有向图,它保持单独的视图或嵌入空间的两个不同的节点角色引起的方向性的边缘。我们认为,以前的方法要么未能编码的边缘方向性或他们的编码不能概括跨任务。我们简单的\emph{alternating random walk}策略,我们产生的角色特定的顶点邻域和训练节点嵌入在其相应的源/目标角色,同时充分利用有向图的语义。我们还挖掘了有向图评价的局限性,并提出了一个明确的策略,用于评价有向图中的链接预测和图重构。我们进行了广泛的实验,以展示我们的有效性在几个现实世界的数据集上的链接预测,节点分类和图形重建任务。我们表明,我们的方法的嵌入确实是强大的,可推广的,以及在多种任务和图形的表现。我们表明,我们始终优于所有基线的节点分类任务。除了提供我们的方法的理论解释,我们还表明,我们是相当强大的比其他有向图的方法。
2019-06-28 cs.LG cs.SI stat.ML
Digraphwave: Scalable Extraction of Structural Node Embeddings via Diffusion on Directed Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);SEB Group(SEB集团)
结构节点嵌入,即捕获图中每个节点的局部连通性信息的向量,在数据采掘和机器学习中有许多应用,例如,网络对齐和节点分类、聚类和异常检测。对于有向图的分析,例如,在事务图、通信网络和社交网络中,捕获结构节点嵌入中的方向信息的能力是非常期望的,嵌入提取方法的可扩展性也是如此。然而,大多数现有的方法仅针对无向图设计。因此,我们提出了一个可扩展的算法,用于提取有向图上的结构节点嵌入。的Digraphwave嵌入由压缩的扩散模式签名,这是两次增强,以增加其辨别能力。通过证明扩散初始化节点局部附近所含热量的下限,建立了理论上合理的扩散时间尺度值,并且只剩下两个易于解释的超参数:嵌入维数和邻域分辨率指定符。在我们的实验中,两个嵌入增强,命名为转置和聚合,显示出导致分类自守身份的宏F1得分显着增加,其中Digraphwave优于所有其他结构嵌入基线。此外,Digraphwave在真实图数据集上的性能优于或匹配所有基线的性能,在网络对齐任务中显示出特别大的性能增益,同时还可扩展到具有数百万个节点和边的图形,运行速度比以前的基于扩散模式的方法快30倍,并且内存消耗很小。
2022-07-20 cs.LG cs.SI
Decoupled Variational Embedding for Signed Directed Networks
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体创新中心)
符号有向网络的节点表示学习在链接符号预测、节点分类和节点推荐等实际应用中受到了广泛的关注。挑战在于如何充分编码网络的复杂拓扑信息。目前的研究主要集中在保持一阶网络拓扑结构,这表明节点的紧密关系。然而,这些方法通常无法捕捉高阶拓扑结构,表明节点的局部结构,并作为网络拓扑结构的一个重要特征。此外,对于一阶拓扑,不存在的链路的附加值在很大程度上被忽略。在本文中,我们提出了学习更多的代表性节点嵌入,同时捕获的一阶和高阶拓扑符号有向网络。特别是,我们重新制定的表示学习问题的有向网络变分自动编码的角度来看,并进一步发展了解耦变分嵌入(DVE)方法。DVE利用一个专门设计的自动编码器结构来捕获符号有向网络的一阶和高阶拓扑,从而学习更具代表性的节点嵌入。在三个广泛使用的真实世界数据集上进行了广泛的实验。在链路标记预测和节点推荐任务上的综合结果证明了DVE的有效性。定性的结果和分析也提供了一个更好的理解DVE。
2020-08-28 cs.LG cs.SI stat.ML
Directed degree corrected mixed membership model and estimating community memberships in directed networks
China University of Mining and Technology(中国矿业大学)
本文研究了有向网络中节点的社区成员关系的建模和估计问题,其中每一行(列)节点都与一个向量相关联,该向量决定了它在每行(列)社区中的成员关系。为了对这种有向网络进行建模,我们提出了考虑度异质性的有向度修正混合隶属度(DiDCMM)模型。在混合隶属度网络中,考虑度的异质性,DiDCMM在一般情况下是可识别的。基于群体邻接矩阵的左奇异向量的标准化版本中固有的锥结构和右奇异向量中固有的单纯形结构,我们构建了一个高效的算法DiMSC来推断行节点和列节点的社区成员资格向量。利用DiMSC的等价算法返回与DiMSC相同的估计和行方向奇异向量偏差的最新发展,通过给出DiDCMM下每个行节点和每个列节点的推断隶属度向量的误差界,证明了该算法在温和条件下是渐近相容的.该理论是由模拟研究补充。
2021-10-06 cs.LG stat.ML
Overlapping and nonoverlapping models
China University of Mining and Technology(中国矿业大学)
考虑具有$K_{r}$行社区和$K_{c}$列社区的有向网络。以前的工作发现,建模有向网络中的所有节点有重叠的属性需要$K_{r}=K_{c}$的可识别性。本文提出了一个重叠和非重叠模型来研究行节点具有重叠性而列节点不具有重叠性的有向网络。当$K_{r}\leq K_{c}$ .同时,我们提供了一个可识别的模型,作为扩展的ONM模型的节点度的变化有向网络。设计了两种谱估计算法来拟合模型,理论上保证了估计的一致性。一个小规模的数值研究被用来说明算法。
2021-11-02 cs.LG cs.SI physics.soc-ph
Learning Embeddings of Directed Networks with Text-Associated Nodes---with Applications in Software Package Dependency Networks
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
网络嵌入由网络中每个节点的矢量表示组成。它的有用性已经在许多现实世界的应用领域,如社交网络和Web网络中显示。具有与每个节点相关联的文本的有向网络,例如软件包依赖性网络,是常见的。然而,据我们所知,它们的嵌入迄今尚未被专门研究。在本文中,我们提出了PCTADW-1和PCTADW-2,两个算法的基础上神经网络,学习嵌入有向网络与文本与每个节点。我们创建了两个新的节点标记的网络:两个流行的GNU/Linux发行版Debian和Fedora中的包依赖网络。我们的实验表明,我们的算法产生的嵌入导致节点分类的质量比这两个网络上的各种基线更好。我们观察到在软件包依赖网络的网络嵌入中存在系统的类比(类似于词嵌入中的类比)。据我们所知,这是第一次在网络和文档嵌入中观察到这种系统性的类比。我们进一步证明了这些网络嵌入可以新颖地用于更好地理解软件属性,如软件的开发过程和用户界面等。
2020-11-26 cs.LG cs.SE cs.SI
Cyclic Directed Probabilistic Graphical Model: A Proposal Based on Structured Outcomes
G.E. Pukhov Institute for Modeling in Energy Engineering(G.E. 普霍夫能源工程建模研究所)
本文提出一种名为概率关系网络的概率图模型,可直接捕获结构学习中的有向循环依赖,支持概率推理与从观测数据学习。
2023-10-25 cs.LG
Gravity-Inspired Graph Autoencoders for Directed Link Prediction
Deezer Research & Development(Deezer研发部);LIX, École Polytechnique(巴黎综合理工学院计算机科学实验室);AUEB(雅典经济与商业大学)
图自编码器(AE)和变分自编码器(VAE)是最近出现的强大的节点嵌入方法。特别是,图AE和VAE被成功地利用来解决具有挑战性的链接预测问题,旨在弄清楚图中的一些节点对是否由未观察到的边连接。然而,这些模型专注于无向图,因此忽略了链接的潜在方向,这限制了许多现实生活中的应用。在本文中,我们扩展了图AE和VAE框架,以解决有向图中的链接预测。我们提出了一个新的重力启发解码器方案,可以有效地重建有向图从节点嵌入。我们经验评估我们的方法对三个不同的有向链接预测任务,标准图AE和VAE表现不佳。我们在三个真实世界的图表上取得了有竞争力的结果,超过了几个流行的基线。
2022-06-06 cs.LG cs.SI stat.ML
Directed Graph Auto-Encoders
IBM Research(IBM研究院);T. J. Watson Research Center(T·J·沃森研究中心)
我们引入了一类新的自动编码器的有向图,直接扩展的Weisfeiler-Leman算法对节点标签的动机。该模型学习有向图节点的可解释潜在表示对,并使用参数化的图卷积网络(GCN)层作为其编码器和非对称内积解码器。编码器中的参数控制相邻节点之间交换的表示的加权。我们证明了所提出的模型学习有意义的潜在嵌入的能力,并在几个流行的网络数据集上的有向链接预测任务上取得优异的性能。
2022-02-25 cs.AI cs.LG
A Probabilistic Framework to Node-level Anomaly Detection in Communication Networks
University Paris-Saclay(巴黎萨克雷大学);Sigfox R&D(西格福克斯研发中心)
在本文中,我们认为在通信网络中的节点级发生的异常通信量检测的任务。通信活动的信号通过团流来建模:每个发生的通信事件都是瞬时的,并激活跨越一组同等参与节点的无向子图。我们提出了一个概率框架来建模和评估在任何单个节点上观察到的通信量。具体来说,我们采用非参数回归来学习一个节点参与某个事件的概率,知道所涉及的其他节点的集合。最重要的是,我们提出了一个节点可以参与的事件的估计量的浓度不等式,这反过来又使我们能够建立一个有效的和可解释的异常评分函数。最后,所提出的方法的优越性能的经验证明在现实世界的传感器网络数据,以及使用合成的通信活动,是根据后者的设置。
2019-02-12 cs.LG cs.SI stat.ML
Representing 3D Shapes with Probabilistic Directed Distance Fields
Samsung AI Centre Toronto(三星人工智能中心(多伦多));University of Toronto(多伦多大学);Vector Institute for AI(向量人工智能研究院)
可微分渲染是现代视觉中的一个基本操作,允许在现代机器学习框架中利用逆图形方法来理解3D。显式形状表示(体素、点云或网格)虽然相对容易渲染,但通常受到有限的几何保真度或拓扑约束。另一方面,隐式表示(占用、距离或辐射场)保持更高的保真度,但遭受复杂或低效的渲染过程,限制了可扩展性。在这项工作中,我们努力解决这两个缺点与一个新的形状表示,允许快速微分内隐式架构渲染。在隐式距离表示的基础上,我们定义了定向距离场(DDFs),它将定向点(位置和方向)映射到曲面的可见性和深度。这样的场可以利用每像素单个前向通过来渲染深度图,使得能够进行差分表面几何形状提取(例如,表面法线和曲率)通过网络导数,容易组成,并允许提取经典的无符号距离场。使用概率DDFs(PDDFs),我们展示了如何在底层领域的固有不连续性建模。最后,我们将我们的方法应用于拟合单个形状,未配对的3D感知生成图像建模和单图像3D重建任务,通过我们的表示的多功能性,展示了简单建筑组件的强大性能。
2021-12-10 cs.CV cs.LG
Directed mixed membership stochastic blockmodel
Chongqing University of Technology(重庆理工大学);Nankai University(南开大学)
本文提出有向混合成员随机块模型(DiMMSB)及高效谱方法DiSP,用于有向重叠社区网络的混合成员估计,理论误差界与实验验证其高效准确。
2026-09-09 cs.LG cs.SI stat.ML
Learning linear non-Gaussian directed acyclic graph with diverging number of nodes
City University of Hong Kong(香港城市大学);Shanghai University of Finance and Economics(上海财经大学)
无环模型,通常被描述为一个有向无环图(DAG),已被广泛用于表示收集的节点之间的方向因果关系。在这篇文章中,我们提出了一种有效的方法来学习高维情况下的线性非高斯DAG,其中噪声可以是任何连续的非高斯分布。这与大多数现有的DAG学习方法形成鲜明对比,这些方法假设高斯噪声和额外的方差假设以获得精确的DAG恢复。该方法利用拓扑层的新概念来促进DAG学习。特别是,我们表明,拓扑层可以准确地重建在一个自下而上的方式,在每一层中的节点之间的父子关系也可以建立一致。更重要的是,所提出的方法不需要在DAG学习的文献中广泛假设的忠诚或父母忠诚假设。它的优势也得到了各种模拟示例中与一些流行竞争对手的数值比较以及COVID-19全球传播的实际应用的支持。
2021-11-01 cs.LG stat.ML
Self-Directed Learning of Convex Labelings on Graphs
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);TU Wien(维也纳技术大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);CENTAI Institute(CENTAI研究所)
针对图上自导向节点分类问题,聚焦(测地线)凸簇情况设计多项式时间算法,在双凸簇图上错误界为3(h(G)+1)^4 ln n,对轻微非凸簇鲁棒且为同质性簇提出简单高效算法。
2025-02-12 cs.LG stat.ML
PACE: A Parallelizable Computation Encoder for Directed Acyclic Graphs
Washington University in St. Louis(圣路易斯华盛顿大学);Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
有向无环图(DAG)结构优化有许多应用,如神经结构搜索(NAS)和概率图模型学习。将DAG编码为实向量是大多数基于神经网络的DAG优化框架中的主要组成部分。目前,大多数DAG编码器使用异步消息传递方案,该方案根据DAG中节点之间的依赖性顺序地处理节点。也就是说,在处理完所有的前级节点之前,不能处理该节点。因此,它们本质上是不可并行的。在这项工作中,我们提出了一个可扩展的基于注意力的计算结构编码器(PACE),同时处理节点和并行编码DAG。我们证明了PACE的优越性,通过编码器相关的优化子程序,搜索最佳的DAG结构的基础上学习的DAG嵌入。实验表明,PACE不仅提高了以前的顺序DAG编码器的有效性,显著提高了训练和推理速度,而且还生成了平滑的潜在(DAG编码)空间,有利于下游优化子程序。我们的源代码可在\url{https://github.com/zehao-dong/PACE}上获得
2022-12-13 cs.LG
On Learning a Hidden Directed Graph with Path Queries
Lifion by ADP(ADP旗下Lifion);University of Illinois at Chicago(芝加哥伊利诺伊大学)
在本文中,我们考虑的问题,重建一个有向图使用路径查询。在这个学习的查询模型中,一个图对学习者是隐藏的,学习者可以通过路径查询访问关于它的信息。对于源节点和目的节点,路径查询返回隐藏图中是否存在从源节点到目的节点的有向路径。本文首先给出了学习图在$n$顶点和$k$强连通分支上的界。然后,我们研究的情况下,有界度有向树,并给出新的算法学习“几乎树”-有向树的额外的边缘已被添加。我们也给出了一些下界的建设证明我们的方法。
2021-03-16 cs.DS cs.LG
Spectral Algorithms for Community Detection in Directed Networks
The Ohio State University(俄亥俄州立大学);University of Georgia(佐治亚大学)
大型社交网络中的社区发现受到节点度异质性的影响。为了减少这种影响,引入了有向网络的D-SCORE算法,在聚类前对邻接矩阵的奇异向量进行元素比计算。统计学家引文网络获得了有意义的结果,但缺乏对其性能的严格分析。首先,本文建立了有向度校正块模型(Directed-DCBM)的算法及其变体的理论保证。其次,本文提供了显着的改进,原来的D-SCORE算法通过附加的社区核心以外的节点使用原始网络的信息,而不是奇异向量。
2020-08-09 cs.LG cs.SI math.ST
Directed hypergraph neural network
Thu Dau Mot University(守德大学)
为了处理不规则的数据结构,图卷积神经网络已经被许多数据科学家开发出来。然而,数据科学家主要集中在为无向图开发深度神经网络方法。在本文中,我们将提出新的神经网络方法的有向超图。换句话说,我们将不仅开发新的有向超图神经网络方法,而且开发新的基于有向超图的半监督学习方法。这些方法被用来解决节点分类任务。实验中使用的两个数据集是cora和citeseer数据集。在经典的基于有向图的半监督学习方法、新型的基于有向超图的半监督学习方法、新型的有向超图神经网络方法中,我们发现新型的有向超图神经网络方法达到了最高的精度。
2022-09-03 cs.LG stat.CO stat.ML
Low-dimensional statistical manifold embedding of directed graphs
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);ETH Zürich(苏黎世联邦理工学院);University of Zagreb(萨格勒布大学)
本文提出了一种新的有向图到统计流形的节点嵌入方法,该方法基于两两相对熵的全局最小化和图的测地线的非线性方法。每个节点被编码在一个可测量的空间上的概率密度函数。此外,我们分析了这种嵌入的几何性质和有效的学习过程之间的联系。大量的实验表明,我们提出的嵌入是更好地保持全局测地线信息的图,以及优于现有的嵌入模型的有向图在各种评价指标,在无监督的设置。
2020-02-06 cs.LG stat.ML
Probabilistic Directed Distance Fields for Ray-Based Shape Representations
Samsung AI Centre, Toronto(三星多伦多人工智能中心);University of Toronto(多伦多大学)
本研究提出新型神经形状表示有向距离场(DDFs),通过带方向点映射表面可见性与深度实现高效可微渲染,结合概率版本建模场不连续性,在多视觉任务中表现优异,并理论证明少量场属性即可保证视角一致性。
2025-07-29 cs.CV cs.LG
Efficient Learning by Directed Acyclic Graph For Resource Constrained Prediction
Boston University(波士顿大学);Systems & Technology Research(系统与技术研究公司)
我们研究的问题,减少测试时的收购成本的分类系统。我们的目标是学习决策规则,根据需要为每个示例自适应地选择传感器,以进行自信的预测。我们将我们的系统建模为有向无环图(DAG),其中内部节点对应于传感器子集,每个节点的决策函数选择是否获取新的传感器或使用可用的测量进行分类。这个问题可以很自然地作为训练数据上的经验风险最小化提出。而不是联合优化这样一个高度耦合的和非凸的问题在所有的决策节点,我们提出了一个有效的算法,动态规划的动机。我们通过将全局目标简化为一系列成本敏感的学习问题来学习DAG中的节点策略。我们的方法是计算效率高,并已证明保证收敛到一个固定的架构的最佳系统。此外,我们提出了一个扩展映射到我们的DAG架构与大量的传感器的其他预算学习问题,并证明经验性能超过国家的最先进的算法组成的数据的几个和许多传感器。
2015-10-26 cs.LG stat.ML