Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling
University of Pisa(帕尔米斯大学);University of Cambridge(剑桥大学)
提出MP-SSM,将现代状态空间模型的核心计算嵌入消息传递神经网络,实现静态和时序图上的高效、置换等变和长程信息传播,并通过精确敏感性分析刻画深层信息流问题。
2026-05-26 cs.AI cs.LG
Graph Signal Processing Meets Mamba2: Adaptive Filter Bank via Delta Modulation
KAIST(韩国科学技术院)
本文提出HADES框架,将Mamba2重新解释为线图上的自适应滤波器组,通过结构化偏置实现全局低通和局部高通滤波,提升效率和可解释性。
2026-03-20 cs.AI cs.LG
Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University Health Network(大学网络健康中心);Peter Munk Cardiac Centre(彼得·芒克心脏中心);Department of Laboratory Medicine and Pathobiology, University of Toronto(多伦多大学检验医学与病理生物学系);AI Hub, University Health Network(大学网络健康中心人工智能中心)
本文提出 Graph-Mamba,通过引入 Mamba 块及输入相关的节点选择、优先级与排列策略,以更低 FLOPs 和显存实现长程图上下文建模,并在十个基准上超越现有方法。
2024-02-01 cs.AI cs.LG
Characterizing the Behavior of Training Mamba-based State Space Models on GPUs
Massachusetts Institute of Technology (MIT)(麻省理工学院);Northeastern University (NEU)(东北大学)
针对Transformer注意力二次复杂度的扩展障碍,本工作评估并表征了基于Mamba的SSM在GPU上的训练行为,构建跨架构模型套件分析其架构影响,为该类模型的性能扩展优化提供新见解。
2025-08-25 cs.AR cs.CL cs.LG
Effectively Modeling Time Series with Simple Discrete State Spaces
Stanford University(斯坦福大学)
时间序列建模是一个成熟的问题,它通常要求方法(1)表达复杂的依赖关系,(2)预测长期前景,(3)有效地训练长序列。状态空间模型(SSM)是时间序列的经典模型,之前的工作将SSM与深度学习层相结合,以实现高效的序列建模。然而,我们发现这些先前的方法的基本限制,证明他们的SSM表示不能表达自回归时间序列过程。因此,我们引入SpaceTime,一个新的状态空间时间序列架构,提高了所有三个标准。对于表现力,我们提出了一个新的SSM参数化的基础上的同伴矩阵-离散时间过程的规范表示-这使得SpaceTime的SSM层学习理想的自回归过程。对于长期预测,我们引入了一个“闭环”的同伴SSM的变化,这使得SpaceTime通过生成自己的逐层输入来预测许多未来的时间步长。为了有效的训练和推理,我们引入了一种算法,该算法减少了伴随矩阵的前向传递的内存和计算。有了序列长度$\ell$和状态空间大小$d$,我们就可以简单地从$\tilde{O}(d \ell)$到$\tilde{O}(d + \ell)$。在实验中,我们的贡献导致了广泛和多样化的基准测试的最先进的结果,6 / 7 ECG和语音时间序列分类的最佳或次佳AUROC,以及14 / 16 Informer预测任务的最佳MSE。此外,我们发现SpaceTime(1)适合AR($p$)过程,之前的深度SSM失败了,(2)在更长的时间范围内比现有技术更准…
2023-03-16 cs.AI cs.LG
On the Relation of State Space Models and Hidden Markov Models
本文系统比较了HMMs、线性高斯状态空间模型、卡尔曼滤波与现代NLP状态空间模型,揭示其结构相似性与语义差异,明确经典模型与现代神经序列模型的关系。
2026-01-19 cs.CL cs.LG cs.SY
Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Technische Universität Darmstadt (TU Darmstadt)(达姆施塔特工业大学)
针对状态空间模型作为世界模型的局限性,提出Hidden-Parameter SSMs和Multi-Time Scale SSMs两种概率形式化体系,实现可扩展的分层时间抽象与不确定性建模,在长程预测任务中超越Transformer变体。
2025-06-30 cs.AI cs.LG
An Empirical Study of Mamba-based Language Models
NVIDIA(英伟达);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学);Together AI;Carnegie Mellon University(卡内基梅隆大学);Cartesia AI
本文在相同数据和最高 3.5T tokens 条件下对比 8B 参数 Mamba、Mamba-2、Transformer 及混合模型,发现 Mamba-2-Hybrid 在标准与长上下文任务上整体更优且推理更快。
2024-06-12 cs.CL cs.LG
Bridging Graph and State-Space Modeling for Intensive Care Unit Length of Stay Prediction
University of Cambridge, UK(剑桥大学);University of Oxford, UK(牛津大学)
提出S$^2$G-Net神经架构,结合Mamba状态空间模型与GraphGPS图神经网络处理多模态EHR数据,在大规模MIMIC-IV数据集上显著提升了ICU住院时长预测性能。
2025-10-11 cs.LG
NAKUL-Med: Spectral-Graph State Space Models with Dynamics Kernels for Medical Signals
Microsoft(微软)
NAKUL-Med通过动态核生成、谱上下文建模和图引导的空间注意力,提升多通道生理信号分析的性能,实现高准确率和高效推理。
2026-04-24 cs.AI cs.CV cs.LG
Graph Mamba: Towards Learning on Graphs with State Space Models
Cornell University(康奈尔大学)
针对现有GNN的过度挤压、长程依赖捕捉差及GTs计算成本高等问题,提出基于选择性状态空间模型的Graph Mamba Networks框架,通过四个必需和一个可选步骤设计,在大幅降低计算成本的同时于多种基准数据集上取得优异性能。
2024-02-19 cs.LG
State Space Models on Temporal Graphs: A First-Principles Study
Sun Yat-sen University(中山大学);Shanghai Jiao Tong University(上海交通大学);Coupang(酷澎(Coupang))
针对现有RNN、Transformer建模时序图的长程依赖与计算复杂度问题,本研究通过引入拉普拉斯正则项将状态空间模型(SSM)理论拓展到时序图,提出GraphSSM框架,实验验证其在多类时序图基准上的有效性。
2024-10-29 cs.AI cs.LG
State Space Models over Directed Graphs
IEEE Publication Technology Group(IEEE出版技术组)
针对现有图状态空间模型无法处理有向图长程因果依赖且训练效率受限的问题,提出DirEgo2Token方法将有向图序列化,并构建DirGraphSSM架构在有向图上实现状态空间模型,在多项任务上取得领先性能且训练速度显著提升。
2025-09-17 cs.AI cs.LG
Automatically Generating Codes from Graphical Screenshots Based on Deep Autocoder
Sun Yat-sen University(中山大学)
在软件前端开发过程中,将图形用户界面(GUI)图像转换为相应的前端代码是一项不可避免的繁琐工作。已经有一些尝试使这项工作成为自动的。但是,由于缺乏注意力机制的指导,这些模型生成的GUI代码并不准确。为了解决这个问题,我们提出了PixCoder基于人工监督的注意力机制。该方法是训练一个神经网络来预测输入GUI图像中的样式表,然后输出一个向量。PixCoder根据输出向量生成针对特定平台的GUI代码。实验结果表明,PixCoder生成的GUI代码的正确率在95%以上。
2020-07-05 cs.CV cs.LG
A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs
University of Glasgow(格拉斯哥大学)
我们提出了一个变分自编码器和一个基于Transformer的模型,它充分利用图卷积和图池层直接在图上操作的组合。Transformer模型实现了一个新的节点编码层,取代了Transformers中通常使用的位置编码,以创建一个没有位置信息的Transformer,该transformer对图形进行操作,将相邻节点的属性编码到边生成过程中。所提出的模型建立在对具有边缘特征的图进行操作的图生成工作的基础上,创建了一个模型,该模型提供了图中节点数量的改进的可扩展性。此外,我们的模型能够学习一个解纠缠的,可解释的潜在空间,通过潜在变量和图形属性之间的映射来表示图形属性。在实验中,我们选择了一个基准任务的分子生成,生成的节点和边缘功能的重要性。使用QM9数据集,我们证明了我们的模型在生成有效,独特和新颖分子的任务中表现出色。最后,我们证明了该模型是可解释的生成分子控制的分子特性,然后我们分析和可视化学习的潜在表示。
2021-04-09 cs.LG
Generating the Graph Gestalt: Kernel-Regularized Graph Representation Learning
最近的工作图生成模型已经取得了显着的进展,越来越逼真的图形,如测量的全球图形功能,如度分布,密度和聚类系数。深度生成模型也通过更好地建模图拓扑中的局部相关性取得了重大进展,这对于预测未观察到的图组件非常有用,例如从附近观察到的图组件中存在链接或节点类。对图形数据的完整科学理解应该同时解决全局和局部结构。在本文中,我们提出了一个联合模型,两者作为互补的目标,图VAE框架。全局结构是通过将图形内核的概率模型,其损失函数是密切相关的重建和输入图形的全局结构之间的最大平均差异(MMD)。ELBO目标从模型中导出正则化一个标准的本地链路重建项与MMD项。我们的实验证明了显着的改善,在现实中生成的图形结构,通常由1-2个数量级的图形结构指标相比,领先的图形VAE和GAN模型。在许多情况下,本地链路重建也会得到改善。
2021-06-29 cs.LG
Generating a Graph Colouring Heuristic with Deep Q-Learning and Graph Neural Networks
University of Warwick(华威大学)
本研究提出基于深度Q-Learning和图神经网络的ReLCol方法,通过新颖的图参数化方式生成图着色构造启发式算法,实验证明其具有竞争力且表明强化学习在该问题上的潜力。
2023-04-08 cs.LG
Challenges of Generating Structurally Diverse Graphs
HSE University(高等经济大学);Yandex Research(Yandex研究中心)
针对生成结构多样图的研究空白,本文定义了图多样性的度量方式,提出并对比了多种优化多样性的算法,证实其可显著提升多样性,还深化了对图距离与结构特性关系的理解。
2024-12-11 cs.LG
GraphNarrator: Generating Textual Explanations for Graph Neural Networks
Emory University(埃默里大学)
本文提出GraphNarrator,首个为图神经网络生成自然语言解释的方法,通过生成式语言模型映射输入输出对,并利用基于显著性解释的伪标签和Expert Iteration训练端到端解释生成器,实验证明其生成的解释忠实、简洁且符合人类偏好。
2025-05-28 cs.CL cs.LG
Generating a Doppelganger Graph: Resembling but Distinct
Emory University(埃默里大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
深度生成模型自其诞生以来,已经变得越来越能够生成新颖且感知上真实的信号(例如,图像和声波)。随着图结构数据的深度模型的出现,自然兴趣寻求这些图的生成模型的扩展。最近在从图的集合中学习的情况下看到了成功的扩展(例如,蛋白质数据库),但是从单个图中学习在很大程度上还没有被探索。然而,后一种情况在实践中很重要。例如,金融和医疗系统中的图表包含了如此多的机密信息,以至于公众几乎不可能访问它们,但只有当类似的数据可用于基准测试时,这些领域的开放科学才能取得进展。在这项工作中,我们提出了一种方法来生成一个二重图,类似于一个给定的一个在许多图形属性,但仍然很难被用来逆向工程原来的一个,在这个意义上的一个接近零的边缘重叠。该方法是图表示学习、生成对抗网络和图实现算法的协调。通过与几个图生成模型(无论是否由神经网络参数化)的比较,我们证明了我们的结果几乎没有再现给定的图,但密切匹配其属性。我们进一步表明,下游的任务,如节点分类,对生成的图形达到类似的性能使用原始的。
2021-01-23 cs.LG cs.SI
GraphNVP: An Invertible Flow Model for Generating Molecular Graphs
Tokyo Institute of Technology(东京工业大学);Preferred Networks, Inc.(Preferred Networks公司)
我们提出了GraphNVP,这是第一个可逆的,规范化的基于流的分子图生成模型。我们将图的生成分解为两个步骤:(i)邻接张量和(ii)节点属性的生成。这种分解产生的确切的似然最大化图结构的数据,结合两个新的可逆流。我们的经验表明,我们的模型有效地生成有效的分子图,几乎没有重复的分子。此外,我们观察到,学习的潜在空间可用于生成具有所需化学性质的分子。
2019-05-28 cs.AI cs.LG stat.ML
SteinGen: Generating Fidelitous and Diverse Graph Samples
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对仅观测单个图时的图生成难题,提出 SteinGen,通过基于 Stein 算子的 Glauber 动力学及逐步重估机制,在指数随机图模型上实现高保真与高多样性。
2024-04-04 cs.LG stat.ML
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法,实现大规模分布式图的高效嵌入,提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models
Stanford University(斯坦福大学);University of Southern California(南加州大学)
建模和生成图是研究生物学、工程学和社会科学中网络的基础。然而,由于图的非唯一、高维性质以及给定图中边之间存在的复杂、非局部依赖性,对图上的复杂分布进行建模然后从这些分布中有效地采样是具有挑战性的。在这里,我们提出了GraphRNN,这是一种深度自回归模型,可以解决上述挑战,并以最小的结构假设来近似任何图的分布。GraphRNN通过在一组有代表性的图上进行训练来学习生成图,并将图生成过程分解为一系列节点和边的形成,条件是到目前为止生成的图结构。为了定量评估GraphRNN的性能,我们引入了一套基准数据集,基线和基于最大平均离散度的新评估指标,这些指标可以测量各组图之间的距离。我们的实验表明,GraphRNN显著优于所有基线,学习生成与目标集的结构特征相匹配的各种图,同时还可以扩展到比以前的深度模型大50倍的图。
2018-06-23 cs.AI cs.LG cs.SI
Generating Robust Counterfactual Witnesses for Graph Neural Networks
Aalborg University(奥尔堡大学);Case Western Reserve University(凯斯西储大学)
本文提出鲁棒反事实见证(RCWs)结构,为图神经网络节点分类提供在至多 k 个节点对扰动下仍保持事实性与反事实性的解释,并给出验证与生成算法及可扩展并行方案。
2024-04-30 cs.DB cs.LG
MoFlow: An Invertible Flow Model for Generating Molecular Graphs
Weill Cornell Medicine(威尔康奈尔医学院)
由深度图生成模型驱动生成具有所需化学性质的分子图为加速药物发现过程提供了一种非常有前途的方法。这种图生成模型通常包括两个步骤:学习潜在表示和生成分子图。然而,由于分子图的化学约束和组合复杂性,从潜在表示生成新的和化学上有效的分子图是非常具有挑战性的。在本文中,我们提出了MoFlow,一个基于流的图形生成模型来学习分子图及其潜在表示之间的可逆映射。为了生成分子图,我们的MoFlow首先通过基于Glow的模型生成键(边),然后通过新的图形条件流生成给定键的原子(节点),最后将它们组装成具有事后有效性校正的化学有效分子图。MoFlow算法具有精确、易于处理的似然训练、高效的一次嵌入和生成、化学有效性保证、训练数据的100%重建以及良好的泛化能力等优点。我们通过四个任务来验证我们的模型:分子图的生成和重建,连续潜在空间的可视化,属性优化和约束属性优化。我们的MoFlow实现了最先进的性能,这意味着其潜在的效率和有效性,以探索药物发现的大化学空间。
2020-06-17 cs.LG physics.chem-ph stat.ML
Heterogeneous Graph Structure Learning through the Lens of Data-generating Processes
University College London(伦敦大学学院);University of Oxford(牛津大学)
本文首次提出异构图结构学习方法,通过构建异构图隐马尔可夫网络(H2MN)建模数据生成过程,并以最大后验估计和交替优化求解,在边类型识别和边权重恢复上取得优异效果。
2025-03-11 cs.AI cs.LG stat.ML
NetGAN: Generating Graphs via Random Walks
Technical University of Munich(慕尼黑工业大学)
我们提出了NetGAN -第一个能够模拟真实世界网络的图的隐式生成模型。我们提出的问题,图的生成学习的分布有偏随机游动的输入图。该模型是基于一个随机神经网络,产生离散的输出样本,并使用Wasserstein GAN目标进行训练。NetGAN能够生成展示已知网络模式的图,而无需在模型定义中显式指定它们。与此同时,我们的模型表现出很强的泛化特性,尽管没有专门为此任务进行训练,但其竞争性的链接预测性能突出了这一点。作为结合这两种理想属性的第一种方法,NetGAN为进一步研究开辟了令人兴奋的途径。
2018-06-01 cs.LG cs.SI stat.ML
Generating Causal Temporal Interaction Graphs for Counterfactual Validation of Temporal Link Prediction
University of Oxford(牛津大学)
本文提出通过生成因果时间交互图来验证时间链接预测模型的反事实性,引入结构方程模型并提出基于预测误差的距离度量,用于评估因果模型的鲁棒性。
2026-02-02 cs.LG cs.SY eess.SY
Generating Adjacency Matrix for Video Relocalization
在本文中,我们继续我们的工作,视频重定位任务。在利用图卷积提取视频帧内和帧间特征的基础上,改进了基于相似度度量的图卷积方法,其加权邻接矩阵是通过计算图中任意两个不同时间步的特征之间的相似度度量得到的。在ActivityNet v1.2和Thumos14数据集上的实验表明了该改进的有效性,其性能优于现有的方法。
2022-01-27 cs.CV cs.LG eess.IV
Generating Multiple-Choice Knowledge Questions with Interpretable Difficulty Estimation using Knowledge Graphs and Large Language Models
本文提出利用知识图谱和大语言模型生成带难度估计的多选题,通过知识图谱构建和语言模型生成相结合,实现高质量且可解释的多选题生成。
2026-04-12 cs.AI cs.CL cs.LG