Demystifying Bitcoin Address Behavior via Graph Neural Networks
Zhejiang University(浙江大学);UESTC(电子科技大学)
比特币是由点对点区块链网络提供支持的分散式加密货币之一。在比特币网络中交易的各方不需要披露任何个人信息。然而,这种匿名性在一定程度上会导致潜在的恶意交易。事实上,比特币网络中的洗钱、暗网交易、赌博等各种非法活动现在已经不是什么新鲜事了。虽然已经开发了大量工作来识别恶意比特币交易,但现有工具在很大程度上忽视了比特币地址的行为分析和分类。在本文中,我们提出了BAClassifier,这是一个可以根据比特币地址的行为自动对其进行分类的工具。从技术上讲,我们提出了以下三个关键设计。首先,我们考虑将比特币地址的交易转换为地址图结构,其中我们引入了图节点压缩技术和图结构增强方法来表征统一的图表示。此外,我们利用图特征网络来学习每个地址的图表示并生成图嵌入。最后,我们将一个地址的所有图嵌入聚合到地址级表示中,并进行分类模型,以给出地址行为分类。作为一个附带的贡献,我们构建并发布了一个大规模的注释数据集,其中包括超过200万个真实世界的比特币地址,并涉及4种类型的地址行为。实验结果表明,我们提出的框架优于最先进的比特币地址分类器和现有的分类模型,其中精度和F1分数分别为96%和95%。我们的实现和数据集已经发布,希望能启发其他人。
2022-11-26 cs.AI cs.CR cs.LG
A Topological Perspective on Demystifying GNN-Based Link Prediction Performance
Vanderbilt University(范德堡大学);Snap Inc.(Snap公司)
该研究从拓扑视角探究GNN链路预测性能的节点差异,提出拓扑集中度(TC)及近似TC指标,发现拓扑分布偏移问题,并探索通过边重加权提升TC以优化链路预测性能的方法。
2023-10-06 cs.LG cs.SI
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
在神经架构搜索(NAS)中,降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中,神经切线核(NTK)正成为一个有前途的理论框架,其可用于在初始化时估计神经架构的性能。在这项工作中,我们重新审视了几个初始化的指标,可以从NTK,并揭示其关键的缺点。然后,通过对NTK时间演化的实证分析,我们推断出现代神经架构表现出高度的非线性特征,使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性,我们引入了标签梯度对齐(LGA),一种新的基于NTK的度量,其固有的配方使其能够捕获大量的非线性优势,目前在现代神经架构。通过最小的训练量,LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后,我们证明了LGA,辅以几个时代的训练,成功地指导现有的搜索算法,以显着降低搜索成本,以实现有竞争力的搜索性能。该代码可从以下网址获取:https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
Demystifying Neural Style Transfer
Peking University(北京大学);TuSimple(图森未来)
神经风格转移最近展示了非常令人兴奋的结果,在学术界和工业界都引起了关注。尽管取得了惊人的结果,但神经风格迁移的原理,特别是为什么Gram矩阵可以代表风格仍然不清楚。在本文中,我们提出了一种新的解释神经风格转移,将其视为一个领域自适应问题。具体地说,我们从理论上证明,匹配的特征地图的革兰氏矩阵是等效的最大平均离散(MMD)与二阶多项式核最小化。因此,我们认为,神经风格转移的本质是匹配的风格图像和生成的图像之间的特征分布。为了进一步支持我们的观点,我们尝试了其他几种分布对齐方法,并取得了令人满意的结果。我们相信这种新颖的解释将这两个重要的研究领域联系起来,并对未来的研究有所启示。
2017-07-01 cs.CV cs.LG cs.NE
LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs
Bosch Center for Artificial Intelligence(博世人工智能中心)
图神经网络(GNN)已经成为图形相关任务的非常成功的工具。然而,现实世界的问题涉及非常大的图,并且使GNN适应这些问题所需的计算资源迅速增长。此外,真实世界图的噪声性质和大小会导致GNN过度拟合,如果没有正确正则化的话。令人惊讶的是,最近的工作表明,大型图往往涉及许多冗余的组件,可以删除,而不会影响性能太多。这包括在通过GNNs层进行推理期间或作为稀疏化输入图的预处理步骤的节点或边移除。这一有趣的现象使得能够开发出既高效又准确的最先进的GNN。在本文中,我们采取了进一步的措施,揭开这一现象的神秘面纱,并提出了一个系统的方法,称为局部敏感剪枝(LSP)的局部敏感哈希的基础上图修剪。我们的目标是稀疏化一个图,使原始图的相似局部环境在所得到的稀疏图中产生相似的环境,这是图相关任务的一个基本特征。为了证明基于局部图属性的剪枝应用的合理性,我们在各种情况下证明了基于局部性属性的剪枝应用相对于其他剪枝策略的优势。在合成数据集和真实数据集上进行的大量实验证明了LSP的优越性,它可以在不影响性能的情况下从大型图中删除大量边缘,并伴有相当大的加速。
2021-11-10 cs.AI cs.LG
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Department of Mathematics and Statistics(数学与统计系)
该研究提出用于解释RNN机理的情景记忆理论,通过设计变量绑定任务验证RNN会收敛到对应回路,并提出特权基算法提升RNN可解释性,为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
深度神经网络(DNN)正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战,技术范围从分布式算法到低级电路设计。在这次调查中,我们从理论的角度来描述这个问题,其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后,我们回顾并建模DNN中不同类型的并发:从单个操作符,通过网络推理和训练中的并行性,到分布式深度学习。我们讨论异步随机优化,分布式系统架构,通信方案和神经结构搜索。基于这些方法,我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning
Northeastern University(东北大学)
神经网络修剪的状态已经被注意到是不清楚的,甚至混乱了一段时间,主要是由于“缺乏标准化的基准和指标”[3]。为了标准化基准,首先,我们需要回答:什么样的比较设置被认为是公平的?很可惜,这个基本而重要的问题,在社会上几乎没有得到澄清。同时,我们观察到一些论文在剪枝实验中使用了(严重的)次优超参数,而其背后的原因也是难以捉摸的。这些次优超参数进一步加剧了扭曲的基准,使神经网络修剪的状态更加模糊。修剪中的两个谜团代表了这种令人困惑的状态:较大的微调学习率的性能提升效果,以及过滤器修剪中继承预训练权重的无价值论点。在这项工作中,我们试图通过揭开这两个谜团来解释网络修剪的混乱状态。具体而言,首先阐明剪枝实验中的公平性原则,并总结了广泛使用的比较设置;其次揭示了两个剪枝奥秘,并指出了迄今为止尚未得到很好认识的网络可训练性的核心作用;最后总结了本文,并对未来如何校准剪枝基准给出了一些具体建议。代码:https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing.
2023-02-21 cs.AI cs.CV cs.LG
Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network
Nokia Technologies(诺基亚技术)
我们重新审视模糊神经网络与广义汉明距离的基石概念,它提供了一个新的和理论上合理的框架,重新解释许多有用的神经网络技术方面的模糊逻辑。特别是,我们推测和经验表明,著名的批量归一化(BN)技术实际上适应的归一化偏差,使其近似的公正的偏见引起的广义汉明距离。一旦在分析上强制执行了应有的偏差,就不需要对偏差项进行优化,也不需要复杂的批量归一化。同样根据广义汉明距离,流行的校正线性单元(ReLU)可以被视为在网络输入和权重之间设置最小汉明距离阈值。一方面,这种阈值方案可以通过在神经元输出的两个极端上引入双阈值来改进。另一方面,ReLU被证明是不必要的,可以从为MNIST分类等简单任务训练的网络中删除。所提出的广义海明网络(GHN)不仅适合在模糊逻辑理论中进行严格的分析和解释,而且还在各种学习任务上表现出快速的学习速度、良好的控制行为和最先进的性能。
2017-10-27 cs.LG stat.ML
Demystifying Randomly Initialized Networks for Evaluating Generative Models
Yonsei University(延世大学)
生成模型的评估主要是基于在特定特征空间中估计分布和地面真实分布之间的比较。为了将样本嵌入到信息特征中,以前的工作通常使用针对分类优化的卷积神经网络,这受到最近研究的批评。因此,已经探索了各种特征空间以发现替代方案。其中,一种令人惊讶的方法是使用随机初始化的神经网络进行特征嵌入。然而,采用随机特征的基本依据还没有得到充分的证明。在本文中,我们严格研究了具有随机权重的模型的特征空间,并与训练模型进行了比较。此外,我们提供了一个经验证据来选择网络的随机特征,以获得一致和可靠的结果。我们的研究结果表明,来自随机网络的特征可以很好地评估生成模型,类似于来自训练网络的特征,而且,这两种类型的特征可以以互补的方式一起使用。
2022-12-14 cs.LG
ProPINN: Demystifying Propagation Failures in Physics-Informed Neural Networks
School of Software, BNRist, Tsinghua University(软件学院、BNRist、清华大学)
本文针对物理信息神经网络(PINNs)的传播失效问题,深入剖析其根本原因,提出新型ProPINN架构,可有效解决失效模式,相较基于Transformer的模型实现46%的相对性能提升。
2026-08-11 cs.LG
Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator
Purdue University(普渡大学)
在过去的十年里,深度学习在计算机视觉、机器翻译和游戏玩法方面取得了巨大的成功。这一成功在关键方面依赖于梯度下降优化和通过反向传播观察到的误差来学习神经网络参数的能力。然而,神经网络架构变得越来越复杂和多样化,这激发了对更一般形式的可微编程的新兴追求,其中任意参数化计算可以通过梯度下降来训练。在本文中,我们重新审视自动微分(AD)技术,特别是旨在揭开AD的反向模式形式,推广反向传播神经网络。我们发现了反向模式AD和定界延续之间的紧密联系,它允许纯粹通过运算符重载实现反向模式AD,而无需任何辅助数据结构。我们进一步展示了AD的这种公式化如何与多阶段编程(staging)有效地结合,从而实现一种高效的实现,该实现结合了基于显式具体化计算图的深度学习框架的性能优势(例如,TensorFlow)与纯库方法的表现力(例如,PyTorch)。
2019-08-29 cs.LG stat.ML
Demystifying Learning Rate Policies for High Accuracy Training of Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
学习率(LR)是一个重要的超参数,用于调整深度神经网络(DNN)的有效训练。即使对于恒定学习率的基线,选择一个好的常数值来训练DNN也是非常重要的。动态学习率涉及在训练过程的各个阶段对LR值的多步调整,并提供高精度和快速收敛。然而,它们更难调谐。在本文中,我们提出了一个全面的研究13个学习率函数和相关的LR政策,通过检查他们的范围参数,步骤参数,和值更新参数。我们提出了一套指标来评估和选择LR政策,包括分类置信度,方差,成本和鲁棒性,并实现在LRBench,LR基准测试系统。LRBench可以帮助最终用户和DNN开发人员选择好的LR策略,避免糟糕的LR策略来训练他们的DNN。我们在开源深度学习框架Caffe上测试了LRBench,以展示LR策略的调优优化。通过广泛的实验评估,我们试图通过确定良好的LR政策,有效的LR值范围和步长LR更新时间表的LR政策,以揭开LR政策的调整。
2019-10-26 cs.LG stat.ML
Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges
University of Chinese Academy of Sciences(中国科学院大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Peng Cheng Laboratory(鹏城实验室)
本文通过建立CE最小化与多类SVM的联系,推导多类间隔泛化界,理论解释了训练末期泛化提升现象,并发现标签与特征对齐方式影响泛化程度,提出“非保守泛化”特性。
2023-10-12 cs.LG
Towards Demystifying Dimensions of Source Code Embeddings
University of Houston(休斯顿大学)
源代码表示是应用机器学习技术处理和分析程序的关键。表示源代码的一种流行方法是神经源代码嵌入,其表示具有通过在大量程序上训练深度神经网络而计算的高维向量的程序。虽然取得了成功,但对这些载体的内容及其特征知之甚少。在本文中,我们提出了我们的初步结果,以更好地理解code2vec神经源代码嵌入的内容。特别是,在一个小的案例研究中,我们使用code2vec嵌入来创建二进制SVM分类器,并将其性能与手工制作的功能进行比较。我们的研究结果表明,手工制作的功能可以执行非常接近的高维code2vec嵌入,和信息增益更均匀地分布在code2vec嵌入相比,手工制作的功能。我们还发现,code2vec嵌入比手工制作的功能更容易去除低信息增益的维度。我们希望我们的研究结果可以为这些代码表示的原则性分析和评估提供一个垫脚石。
2020-09-29 cs.LG cs.PL cs.SE
Demystifying Topological Message-Passing with Relational Structures: A Case Study on Oversquashing in Simplicial Message-Passing
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);UCLA(加州大学洛杉矶分校);Center for Scalable Data Analytics and Artificial Intelligence(可扩展数据与人工智能中心);University of Oxford(牛津大学)
本文提出基于关系结构的统一公理化框架,以连接图与拓扑消息传递,并用于分析和缓解单纯形网络中的过度挤压问题。
2025-06-06 cs.LG stat.ML
Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks
University of Cagliari(卡利亚里大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Pluribus One;CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
后门攻击会误导机器学习模型,在测试时出现特定触发时输出攻击者指定的类。这些攻击需要毒化训练数据以损害学习算法,例如,通过将包含触发器的中毒样本与所需的类别标签一起注入训练集中。尽管关于后门攻击和防御的研究越来越多,但影响后门攻击成功的潜在因素及其对学习算法的影响尚未得到很好的理解。在这项工作中,我们的目标是揭示这个问题,揭示后门攻击诱导一个更平滑的决策功能周围的触发样本-一种现象,我们称之为\textit{backdoor smoothing}。为了量化后门平滑,我们定义了一个度量,该度量评估与输入样本周围的分类器的预测相关联的不确定性。我们的实验表明,当触发器被添加到输入样本时,平滑度会增加,并且这种现象在更成功的攻击中更加明显。我们还提供了初步证据,证明后门触发器不是唯一的平滑诱导模式,但我们的方法也可以检测到其他人工模式,为理解当前防御的局限性和设计新的防御铺平了道路。
2021-11-02 cs.CR cs.LG stat.ML
Demystifying Oversmoothing in Sheaf Neural Networks: An Index-Theoretic Criterion
Chern Institute of Mathematics(陈省身数学研究所);Nankai University(南开大学);School of Physical and Mathematical Sciences(物理与数学科学学院);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本研究针对层神经网络的过度平滑问题,提出指标理论比较判据,引入GyroSheaf扩展至非线性场景,经十个模型实验验证了该判据的有效性。
2026-08-18 cs.LG math.DG
Demystifying and Generalizing BinaryConnect
University of Waterloo(滑铁卢大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
BinaryConnect(BC)及其许多变体已经成为神经网络量化的事实标准。然而,我们对BC的内部工作原理的了解仍然非常有限。我们试图在四个不同的方面缩小这一差距:(a)我们表明,现有的量化算法,包括后训练量化,是惊人的相似;(b)我们认为,作为一个自然的家庭,邻近地图的量化器,既容易设计和分析;(c)我们改进了BC是对偶平均的特殊情况的观察,对偶平均本身是广义条件梯度算法的特殊情况;(d)因此,我们提出ProxConnect(PC)作为BC的推广,并通过利用已建立的连接证明其收敛性。我们在CIFAR-10和ImageNet上进行了实验,并验证了PC具有竞争力的性能。
2021-10-25 cs.LG stat.ML
Spectral Higher-Order Neural Networks
University of Florence(佛罗伦萨大学);University of Namur(那慕尔大学)
本文提出谱高阶神经网络,通过谱属性重构模型,解决高阶交互中的稳定性与参数缩放问题,适用于通用前馈网络结构。
2026-03-30 cs.AI cs.LG
Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena
MIT(麻省理工学院);NYU(纽约大学)
在神经网络模型的上下文中,过度参数化是指这些模型似乎对看不见的数据进行了很好的概括,即使参数的数量显著超过了样本量,并且模型完全符合训练数据。对这种现象的传统解释是基于用于训练数据的算法的自正则化特性。在本文中,我们证明了一系列的结果,提供了一个有点分歧的解释。采用教师/学生模型,其中教师网络用于生成预测,学生网络在观察到的标记数据上进行训练,然后在样本外数据上进行测试,我们表明,任何学生网络插值教师网络生成的数据都具有良好的泛化能力,只要样本量至少是由数据维数和近似保证单独控制的显式量,而不管教师或学生网络的内部节点的数量。我们的主张是基于多项式(张量)回归模型来近似教师和学生网络,其程度仅取决于所需的精度和网络深度。这种参数化明显不依赖于内部节点的数量。因此,我们的结果暗示的一个信息是,通过隐藏节点的数量来参数化宽神经网络是误导性的,参数化复杂性的更合适的度量是与张量化数据相关的回归系数的数量。特别是,这在某种程度上调和了神经网络的泛化能力与数据复杂性和泛化界的更经典的统计概念。我们在MNIST和Fashion-MNIST数据集上的实证结果确实证实了张量化回归实现了良好的样本外性能,即使张量的次数最多为2。
2020-03-23 cs.LG cs.NE math.ST
Spectral Higher-Order Neural Networks Have Sharp Expressivity Bounds
研究谱高阶神经网络的表达能力界限,提出利用谱属性的新参数化方法,通过权重共享降低计算成本,在N位奇偶校验任务上评估该框架,证明其具有通用且可调的假设空间。
2026-07-22 cs.AI cs.LG
Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions
Sapienza University of Rome(罗马大学)
本研究提出拓扑神经网络框架,通过高维结构传播消息缓解图神经网络的过挤压瓶颈,并提出了单纯注意力网络、胞腔注意力网络及增强型胞腔同构网络,有效捕获传统模型易遗漏的高阶依赖关系。
2024-02-10 cs.AI cs.LG
Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学CMA-Shanghai);Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学自然科学研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文以宏观极限分析多层全连接网络的梯度下降动力学,提出 theta-lazy 区域,证明输出初始尺度 κ 超阈值即可实现零训练损失,并放宽 NTK 的缩放条件。
2024-04-07 cs.LG stat.ML
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
University of Waterloo(滑铁卢大学);TU Darmstadt(达姆施塔特工业大学)
本研究推出基于Pyserini和Lucene的统一神经稀疏检索评估工具包SPRINT,在BEIR基准上建立零样本稀疏检索基线,揭示SPLADEv2性能最优的关键原因。
2023-07-19 cs.CL cs.IR cs.LG
Higher-order Clustering and Pooling for Graph Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
图神经网络在大量的图分类任务上实现了最先进的性能,特别是由于池运算符,它将学习到的节点嵌入分层聚合到最终的图表示中。然而,他们不仅受到质疑,最近的工作显示,与随机池的性能相当,但也完全忽略了高阶连接模式。为了解决这个问题,我们提出了HoscPool,一个基于聚类的图池操作符,它可以分层捕获高阶信息,从而产生更丰富的图表示。事实上,我们通过在目标函数中最小化基序谱聚类的松弛公式来学习端到端的概率聚类分配矩阵,然后将其扩展到池化算子。我们评估了HoscPool在图分类任务上的性能,以及它在具有真实社区结构的图上的聚类组件,实现了最佳性能。最后,我们对联营体的内部运作进行了深入的实证分析。
2022-09-02 cs.AI cs.LG
CliquePH: Higher-Order Information for Graph Neural Networks through Persistent Homology on Clique Graphs
MediaTek Research(联发科研究院);Technical University of Munich(慕尼黑工业大学);University of Fribourg(弗里堡大学)
针对图神经网络难以捕捉高阶信息的问题,提出CliquePH方法,通过团图上的持久同调提取高阶拓扑信息,提升测试准确率达31%。
2024-11-26 cs.AI cs.LG
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题,提出隐式超图神经网络IHGNN,通过求解非线性不动点方程实现稳定全局传播,并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University(斯坦福大学)
批量归一化(BN)是一种常用的技术,用于加速和稳定深度神经网络的训练。尽管其经验的成功,一个完整的理论理解BN尚未开发。在这项工作中,我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架,以获得具有BN的权重衰减正则化ReLU网络的精确凸表示,该网络可以在多项式时间内进行训练。我们的分析还表明,最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外,我们发现,梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响,我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性,用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Yanshan University(燕山大学);Lehigh University(理海大学)
图神经网络(GNN)已广泛用于图上的深度学习。它们可以学习有效的节点表示,从而在节点分类和节点聚类等图形分析任务中实现卓越的性能。然而,大多数方法忽略了现实世界中的异质性图。另一方面,为异构图设计的方法无法学习复杂的语义表示,因为它们只使用元路径而不是元图。此外,它们不能完全捕获节点之间基于内容的相关性,因为它们要么不使用自注意机制,要么只使用它来考虑每个节点的直接邻居,忽略高阶邻居。我们提出了一种新的高阶属性增强(HAE)框架,以逐层的方式增强节点嵌入。在HAE框架下,我们提出了一个高阶属性增强图神经网络(HAEGNN)的异构网络表示学习。HAEGNN同时结合了丰富的,异构的语义元路径和元图,并利用自我注意机制,探索基于内容的节点交互。HAEGNN独特的高阶结构允许检查一阶和高阶邻域。此外,HAEGNN表现出良好的可解释性,因为它学习不同的元路径和元图的重要性。HAEGNN也是内存高效的,因为它避免了基于每个元路径的矩阵计算。实验结果表明,HAEGNN不仅在节点分类、节点聚类和可视化方面优于现有方法,而且在内存效率和可解释性方面也具有优势。
2021-04-16 cs.LG cs.SI
Graph Neural Network leveraging Higher-order Class Label Connectivity for Heterophilous Graphs
The University of Osaka(大阪大学)
针对异配图中节点分类性能受限问题,提出标签上下文分类器(LCC),通过四种游走生成标签上下文嵌入捕获高阶类标签连通性,并可与任意GNN自适应集成,实验表明优于现有方法。
2026-06-05 cs.AI cs.LG
Leveraging Personalized PageRank and Higher-Order Topological Structures for Heterophily Mitigation in Graph Neural Networks
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Yazhou Bay Innovation Institute, Hainan Tropical Ocean University(海南热带海洋大学亚龙湾创新研究院);Key Lab of Education Blockchain and Intelligent Technology, Guangxi Normal University(广西师范大学教育区块链与智能技术重点实验室)
针对异质性图中成对关系忽视高阶结构导致性能不佳的问题,提出HPGNN模型,通过高阶个性化PageRank近似捕获多尺度交互并降噪,在异质性图上优于多数先进方法。
2025-10-09 cs.AI cs.LG
Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
TU Dortmund University(多特蒙德工业大学);RWTH Aachen University(亚琛工业大学);McGill University(麦吉尔大学);MILA(MILA(蒙特利尔学习算法研究所))
近年来,图神经网络(GNN)已经成为一种强大的神经架构,可以以有监督的端到端方式学习节点和图的向量表示。到目前为止,GNN只进行了经验评估-显示出有希望的结果。以下工作从理论的角度研究GNN,并将其与$1$维Weisfeiler-Leman图同构启发式($1$ -WL)联系起来。我们表明,GNNs具有相同的表现力的$1$ -WL在区分非同构(子)图。因此,这两种算法也具有相同的缺点。在此基础上,我们提出了一个广义的GNN,所谓的$k$维GNN($k$ -GNN),它可以考虑在多个尺度的高阶图结构。这些高阶结构在表征社交网络和分子图中起着至关重要的作用。我们的实验评估证实了我们的理论研究结果,以及确认,高阶信息是有用的图分类和回归的任务。
2021-11-30 cs.AI cs.CV cs.LG
Higher-order Spatio-temporal Physics-incorporated Graph Neural Network for Multivariate Time Series Imputation
School of Information Technology, Halmstad University(哈尔姆斯塔德大学信息技术学院)
针对多元时间序列插补中数据驱动模型难以捕捉复杂时空关系及高阶邻居计算复杂的问题,提出高阶时空物理融合图神经网络HSPGNN,利用动态拉普拉斯矩阵和偏微分方程构建模型,结合归一化流评估节点重要性,在四个基准数据集上验证了有效性。
2024-07-18 cs.AI cs.LG
The Logic of Graph Neural Networks
RWTH Aachen University(亚琛工业大学)
图神经网络(GNN)是用于图上的机器学习问题的深度学习架构。最近已经表明,GNN的表达能力可以通过组合Weisfeiler-Leman算法和有限变量计数逻辑来精确表征。这种对应关系甚至导致了新的高阶GNN,对应于更高维度的WL算法。本文的目的是解释GNN的这些描述性特征。
2022-01-09 cs.AI cs.LG cs.LO
Higher-Order Explanations of Graph Neural Networks via Relevant Walks
Berlin Institute of Technology (TU Berlin)(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);RIKEN(理化学研究所);Google Research(谷歌研究院);Korea University(高丽大学);Max Planck Institut für Informatik(马克斯·普朗克信息学研究所)
图神经网络(GNN)是用于预测图结构化数据的流行方法。由于GNN将输入图紧密地缠绕到神经网络结构中,因此常见的可解释AI方法不适用。到目前为止,在很大程度上,GNN对用户来说仍然是黑匣子。在本文中,我们证明了GNN实际上可以使用高阶展开自然地解释,即通过识别共同有助于预测的边缘组。实际上,我们发现,这样的解释可以使用嵌套的归属方案,其中现有的技术,如逐层相关传播(LRP)可以应用在每一步提取。输出是与预测相关的进入输入图的遍历的集合。我们的新解释方法,我们表示为GNN-LRP,适用于广泛的图神经网络,并让我们提取文本数据的情感分析,量子化学中的结构-属性关系和图像分类的实际相关见解。
2020-11-27 cs.AI cs.LG stat.ML
Explaining Local, Global, And Higher-Order Interactions In Deep Learning
University of Rochester(罗切斯特大学)
我们提出了一个简单而高度概括的方法来解释神经网络的推理过程中的相互作用的部分。首先,我们设计了一个算法的基础上,交叉导数计算统计交互作用的影响,个人的功能,这是广义的2路和高阶(3路或更多)的相互作用。我们提出的结果并排与基于权重的归因技术,证实交叉导数是一个优越的度量2路和高阶交互检测。此外,我们将交叉导数作为神经网络中的解释性设备的使用扩展到计算机视觉设置,通过扩展Grad-CAM,一种流行的基于梯度的CNN解释工具,到高阶。虽然Grad-CAM只能解释图像中单个对象的重要性,但我们称之为Taylor-CAM的方法可以解释神经网络跨多个对象的关系推理。我们展示了我们的解释的成功定性和定量,包括与用户研究。我们将发布所有代码作为工具包,以促进可解释的深度学习。
2021-09-24 cs.AI cs.LG
Changes from Classical Statistics to Modern Statistics and Data Science
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);Jiangxi Technology & Science Normal University(江西科技师范大学);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
坐标系是每一个定量科学、工程和医学的基础。经典物理学和统计学是建立在笛卡尔坐标系上的。古典概率和假设检验理论只适用于欧几里德数据。然而,现实世界中的现代数据来自自然语言处理、数学公式、社交网络、交通和传感器网络、计算机视觉、自动化和生物医学测量。欧几里德假设不适用于非欧几里德数据。这种观点解决了迫切需要克服这些基本的限制,并鼓励扩展古典概率理论和假设检验,扩散模型和随机微分方程从欧几里德空间到非欧几里德空间。诸如自然语言处理、计算机视觉、图形神经网络、流形回归和推理理论、流形学习、图形神经网络、用于概念的自动合成生成的合成扩散模型和去神秘化机器学习系统的人工智能已经迅速发展。微分流形理论是深度学习和数据科学的数学基础。我们迫切需要将数据分析的范式从经典的欧几里得数据分析转变为欧几里得和非欧几里得数据分析,并开发越来越多的创新方法来描述,估计和推断现代真实数据集的非欧几里得几何。欧几里德和非欧几里德数据综合分析的通用框架,复合人工智能,决策智能和边缘人工智能为从根本上推进人工智能提供了强大的创新思想和策略。我们希望将统计学与人工智能结合起来,开发现代统计学的统一理论,并推动下一代人工智能和数据科学。
2022-10-30 cs.LG stat.ME
Feature Weight Tuning for Recursive Neural Networks
Stanford University(斯坦福大学)
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息,并强调重要的证据,换句话说,执行“权重调整”更高层次的表示收购。我们提出了两个模型,加权神经网络(WNN)和二进制期望神经网络(BENN),自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明,显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
Neuralizing Efficient Higher-order Belief Propagation
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
图神经网络模型已被广泛用于在端到端设置中学习图结构化数据的节点表示。这些模型通常依赖于谱图卷积的局部一阶近似,因此无法捕获节点之间的高阶关系信息。概率图模型形成了另一类模型,其在合并此类关系信息时提供了丰富的灵活性,但受限于高阶的低效近似推理算法。在本文中,我们建议结合这些方法来学习更好的节点和图形表示。首先,我们推导出一个有效的近似和积循环信念传播推理算法高阶PGM。然后,我们将消息传递更新嵌入到神经网络中,以在端到端学习中提供推理算法的归纳偏差。这为我们提供了一个足够灵活的模型,可以容纳领域知识,同时保持计算优势。我们进一步提出了用于构建高阶因子的方法,这些因子以节点和边缘特征为条件,并在必要时共享参数。我们的实验评估表明,我们的模型确实捕捉到了高阶信息,在分子数据集中的表现大大优于最先进的$k$阶图神经网络。
2020-10-19 cs.LG stat.ML
Demystifying the Transferability of Adversarial Attacks in Computer Networks
Sabanci University(萨班哲大学);University of Padua(帕多瓦大学);Moulay Ismail University of Meknes(梅克内斯穆莱·伊斯梅尔大学);Florida International University(佛罗里达国际大学)
卷积神经网络(CNN)模型是最常用的深度学习网络之一,广泛应用于学术界和工业界。最近的研究表明,针对此类模型的对抗攻击即使在攻击者所针对的模型之外的模型上使用,也可以保持其有效性。这个主要的属性被称为可转移性,这使得CNN不适合安全应用。在本文中,我们提供了第一项全面的研究,评估了基于CNN的计算机网络模型针对对抗性可转移性的鲁棒性。此外,我们调查的可转移性的财产问题是否持有在计算机网络的应用。在我们的实验中,我们首先考虑五种不同的攻击:迭代快速梯度方法(I-FGSM),基于雅可比的显着图(JSMA),有限内存Broyden Fletcher Goldfarb Shanno BFGS(L-BFGS),投影梯度下降(PGD)和DeepFool攻击。然后,我们对三个众所周知的数据集执行这些攻击:基于网络的物联网检测(N-BaIoT)数据集,域生成算法(DGA)数据集和RIPE Atlas数据集。我们的实验结果清楚地表明,可转移性发生在I-FGSM,JSMA和LBFGS攻击的特定用例中。在这种情况下,目标网络上的攻击成功率从63.00%到100%不等。最后,我们提出了两种屏蔽策略,通过考虑最强大的攻击(MPA)和不匹配的LSTM架构来阻止攻击的可转移性。
2022-03-31 cs.AI cs.CR cs.CV
Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods
Northeastern University(东北大学);University of Iowa(爱荷华大学);New York University(纽约大学)
针对 CNN 改进受模型规模与环境限制的问题,本文基于常微分方程离散化视角,提出线性多步高阶数值差分堆叠方案,在不增加模型规模的前提下提升 ResNet 性能。
2024-09-08 cs.AI cs.CV cs.LG
Higher-order-ReLU-KANs (HRKANs) for solving physics-informed neural networks (PINNs) more accurately, robustly and faster
College of Professional and Continuing Education(专业及持续教育学院);The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出以高阶ReLU作为KANs激活函数基础的HRKANs,通过简化激活函数并保留光滑非零高阶导数,在Poisson方程和Burgers方程上显著提升PINNs的拟合精度、鲁棒性并降低训练时间。
2024-09-29 cs.AI cs.CE cs.LG
Higher-order Sparse Convolutions in Graph Neural Networks
Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Khalifa University(哈利法大学);Information Technology University(信息技术大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);La Rochelle Université(拉罗谢尔大学)
图神经网络(GNNs)已被应用于计算机科学中的许多问题。捕捉节点之间的高阶关系对于提高GNN的表达能力至关重要。然而,现有的方法来捕捉这些关系可能是不可行的大规模的图形。在这项工作中,我们介绍了一种新的高阶稀疏卷积的基础上的Sobolev范数的图形信号。我们的稀疏Sobolev GNN(S-SobGNN)在每一层上计算一个级联的过滤器,并增加Hadamard幂,以获得一组更多样化的函数,然后线性组合层对每个过滤器的嵌入进行加权。我们在半监督学习的几个应用中评估S-SobGNN。与几种最先进的方法相比,S-SobGNN在所有应用中都表现出了竞争力。
2023-02-21 cs.LG eess.SP
Higher Order Recurrent Neural Networks
York University(约克大学)
在本文中,我们研究了新的神经网络结构,以更好地模拟长期依赖的序列数据。我们建议使用更多的记忆单元来跟踪循环神经网络(RNN)中更多的先前状态,这些状态都通过不同的加权路径作为反馈被递归地馈送到隐藏层。通过扩展RNN中流行的递归结构,我们为模型提供了更好的短期记忆机制来学习序列中的长期依赖性。类似于信号处理中的数字滤波器,我们将这些结构称为高阶RNN(HORNs)。与RNN类似,HORN也可以使用时间反向传播方法来学习。HORN通常适用于各种序列建模任务。在这项工作中,我们已经研究了HORNs的语言建模任务,使用两个流行的数据集,即Penn Treebank(PTB)和英语text8数据集。实验结果表明,提出的HORN在两个数据集上都具有最先进的性能,显着优于常规RNN和流行的LSTM。
2016-04-30 cs.AI cs.NE
On the Limits of Hierarchically Embedded Logic in Classical Neural Networks
Bill Cochran
本文将神经网络建模为逻辑谓词空间上的线性算子,证明网络深度严格限制其可表示的逻辑阶数,并解释幻觉、重复和规划受限等现象。
2025-07-28 cs.AI
Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出一种新的局部邻域递归池化技术,使GNN能计数大小为k的子图,克服低阶GNN局限,并利用稀疏性降低计算复杂度,同时给出信息论与时间复杂度的下界。
2021-10-11 cs.LG
LHGNN: Local-Higher Order Graph Neural Networks For Audio Classification and Tagging
Queen Mary University of London(伦敦玛丽女王大学);Meta;Tilburg University(蒂尔堡大学)
针对Transformer难以处理高阶关系的问题,提出局部-高阶图神经网络LHGNN,通过整合局部邻域与模糊C均值聚类高阶数据,在三个音频数据集上以更少参数超越Transformer,并在无ImageNet预训练时优势显著。
2025-01-29 cs.AI cs.SD eess.AS
Demystifying Brain Tumour Segmentation Networks: Interpretability and Uncertainty Analysis
Indian Institute of Technology Madras(印度马德拉斯理工学院)
胶质瘤及其瘤内结构的准确自动分割不仅对治疗计划而且对随访评估都很重要。已经开发了几种基于2D和3D深度神经网络(DNN)的方法来分割脑肿瘤并对来自不同MRI模态的不同类别的肿瘤进行分类。然而,这些网络通常是黑箱模型,并且不提供关于它们执行此任务所采取的过程的任何证据。提高这种深度学习技术的透明度和可解释性对于将这种方法完全整合到医疗实践中是必要的。在本文中,我们将探索各种技术来解释脑肿瘤分割模型的功能组织,并提取内部概念的可视化,以了解这些网络如何实现高度准确的肿瘤分割。我们使用BraTS 2018数据集来训练三个具有标准架构的不同网络,并概述了这些网络在分割脑肿瘤过程中的相似性和差异。我们发现,脑肿瘤分割网络在过滤器级别上学习某些人类可理解的解纠缠概念。我们还表明,他们采取自上而下或分层的方法来定位肿瘤的不同部分。然后,我们提取一些内部特征图的可视化,并提供关于模型输出的不确定性度量,以提供有关这些网络预测的额外定性证据。我们相信,这种人类可理解的组织和概念的出现可能有助于这些方法在医学诊断中的接受和整合。
2020-01-25 cs.CV cs.LG eess.IV
E(n) Equivariant Graph Neural Networks
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学)
本文提出了一种新的学习与旋转、平移、反射和置换等变的图神经网络的模型,称为E(n)-等变图神经网络(EGNNs)。与现有的方法相比,我们的工作不需要在中间层计算昂贵的高阶表示,同时它仍然实现了竞争力或更好的性能。此外,尽管现有的方法仅限于三维空间上的等方差,但我们的模型很容易扩展到高维空间。我们证明了我们的方法对动力学系统建模,图自动编码器中的表示学习和预测分子性质的有效性。
2022-02-16 cs.LG stat.ML
Factor Graph Neural Networks
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出因子图神经网络(FGNNs),通过将近似Sum-Product循环置信传播算法神经化为消息传递模块,高效捕获高阶关系,实现高效推理与端到端学习,并能统一表示Max-Product与Sum-Product传播。
2023-08-02 cs.LG
Curvature-based Comparison of Two Neural Networks
Shanghai Jiao Tong University(上海交通大学)
本文通过比较两个深度神经网络的每一个全连通层中由激活向量组成的流形,展示了它们的异同。本文的主要贡献包括:1)一个新的数据生成算法,这是至关重要的确定维数的流形; 2)一个系统的战略比较流形。特别地,我们把黎曼曲率和截面曲率作为判据的一部分,它能反映流形的内在几何性质。给出了一些有趣的结果和现象,有助于说明两种网络提取的特征之间的异同,揭开深层神经网络内在机理的神秘面纱。
2018-01-21 cs.CV cs.LG
Neural Message Passing on High Order Paths
University of Toronto(多伦多大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);CIFAR(加拿大高级研究院);Vector Institute(向量研究所)
图神经网络在预测分子性质方面取得了令人瞩目的成绩,但它们不能直接解释图中的局部和隐藏结构,如官能团和分子几何结构。在每个传播步骤中,GNN仅在一阶邻居上聚合,忽略后续邻居中包含的重要信息以及这些高阶连接之间的关系。在这项工作中,我们将图神经网络推广到传递消息并在高阶路径上聚合。这允许信息在图的各个级别和子结构上传播。我们证明了我们的模型在分子性质预测的几个任务。
2020-02-24 cs.LG stat.ML
Approximating High-Dimensional Minimal Surfaces with Physics-Informed Neural Networks
Gwinnett School of Mathematics, Science, and Technology(格威内特数学科学技术高中);Georgia State University(佐治亚州立大学)
本文提出使用物理信息神经网络(PINN)求解高维极小曲面偏微分方程,有效克服了维度灾难,并在无GPU设备上实现快速训练与高维数据可视化,同时探讨了该方法的性能与局限性。
2023-09-07 cs.AI math.AP