Cleora: A Simple, Strong and Scalable Graph Embedding Scheme
Synerise(赛纳里斯(Synerise公司));Warsaw University of Technology(华沙理工大学)
图嵌入领域目前主要由对比学习方法主导,该方法需要制定明确的目标函数并对正例和反例进行采样。这会产生概念和计算开销。简单、经典的无监督方法,如多维缩放(MSD)或拉普拉斯特征映射,跳过了繁琐的目标优化的必要性,直接利用数据几何。不幸的是,它们依赖于非常昂贵的操作,如矩阵特征分解,使它们无法扩展到当今数字世界中常见的大型图形。在本文中,我们提出了Cleora:一种算法,它可以在两个世界中获得最佳效果,即无监督和高度可扩展性。我们表明,高质量的嵌入可以产生没有流行的逐步学习框架与示例采样。我们算法的一个直观的学习目标是,一个节点应该与它的邻居相似,而不显式地将断开的节点分开。该目标是通过迭代加权平均的节点邻居的嵌入,然后跨维度归一化。由于平均操作,该算法在嵌入空间中快速前进,通常只需几次迭代即可达到最佳嵌入。Cleora比其他最先进的CPU算法运行速度更快,并在下游任务(链接预测和节点分类)上产生具有竞争力质量的嵌入。我们表明,Cleora学习的数据抽象是类似的对比方法,但在更低的计算成本。我们在MIT许可下开源Cleora,允许在https://github.com/Synerise/cleora下进行商业使用。
2021-02-03 cs.AI cs.LG
Fast and scalable learning of neuro-symbolic representations of biomedical knowledge
Medical University of Vienna(维也纳医科大学)
在这项工作中,我们解决的问题,快速和可扩展的学习一般生物知识的神经符号表示。基于最近发表的用于演示神经符号表示学习的综合生物知识图谱(Alshahrani,2017),我们展示了如何训练实体的快速(不到1分钟)对数线性神经嵌入。我们利用这些表示作为机器学习分类器的输入,以实现生物链接预测等重要任务。分类器通过连接学习的实体嵌入来表示实体关系,并在连接的嵌入上训练分类器以从自动生成的否定示例中辨别真实关系来训练。我们简单的嵌入方法大大提高了分类错误相比,以前发表的国家的最先进的结果,产生最大的增加$+0.28$ F-措施和$+0.22$ ROC AUC得分最困难的生物链接预测问题。最后,我们的嵌入方法训练的速度快了几个数量级($\leq$ 1分钟vs.小时),在嵌入维度方面更经济($d=50$ vs. $d=512$),并且自然地编码了不对称生物关系的方向性,这可以通过我们连接嵌入的顺序来控制。
2018-04-30 cs.AI cs.CL
Scalable Semantic Steering of Embedding Projections
Virginia Tech(弗吉尼亚理工学院);Department of Defense(国防部);Tulane University(路易斯安那州立大学)
研究高维数据嵌入的低维投影语义结构问题,提出可扩展语义引导方法,将语义计算从单个项目转移到用户定义组,通过单LLM调用为组生成结构化配置文件,减少LLM调用并在多模态嵌入中有效应用。
2026-07-07 cs.AI cs.CV cs.HC
Embedding-Aware Quantum-Classical SVMs for Scalable Quantum Machine Learning
National Irish Centre for AI (CeADAR), University College Dublin (UCD), Dublin, Ireland(爱尔兰人工智能国家中心(CeADAR)、都柏林大学(UCD));SISTEMIC Research Group, University of Antioquia, Medellín, Colombia(SISTEMIC研究组、安蒂奎亚大学);Department of Computer Science, University of Torino, Torino, Italy(计算机科学系、托里诺大学);Corporation for Aerospace Initiatives (CASIRI), University of Cauca, Popayán, Colombia(航空航天倡议公司(CASIRI)、考卡大学)
本文提出结合类别平衡k-means蒸馏与ViT嵌入的量子-经典SVM流水线,首次系统证明量子核优势关键取决于嵌入选择,并在MNIST和Fashion-MNIST上实现优于经典SVM的准确率提升。
2025-11-10 cs.AI cs.LG quant-ph
Self-improving data synthesis can scale embedding-model adaptation across domains and tasks
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能全国重点实验室)
研究针对嵌入模型适配新任务时手动设计训练数据成本高、难规模化的问题,提出SYNTRA自改进检索数据合成方法,经多领域多任务实验验证其可高效提升嵌入模型检索效果,实现模型跨域跨任务规模化适配。
2026-11-02 cs.AI cs.IR cs.LG
Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models
Snowflake Inc.(赛富时公司)
本文介绍 arctic-embed 文本嵌入模型系列的数据集构建与训练配方,通过消融验证关键设计,使五个开源模型在 MTEB Retrieval 同规模评测中达到最先进水平。
2024-05-08 cs.AI cs.CL cs.IR
HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models
HoneyBee框架整合多模态肿瘤数据生成统一患者嵌入,在TCGA 33种癌症、超1.1万患者上实现98.5%分类准确率,并证明通用大模型在临床文本表示上优于专用医学模型。
2025-08-27 cs.AI cs.DB cs.LG
Towards Scalable Handwriting Communication via EEG Decoding and Latent Embedding Integration
Korea University(高丽大学)
本研究提出一种结合CEBRA潜空间嵌入与并行卷积神经网络的EEG解码方法,在九类手写字符分类任务中实现91%准确率,验证了从EEG信号解码细粒度手写动作的可行性。
2024-11-14 cs.AI cs.LG
L2G2G: a Scalable Local-to-Global Network Embedding with Graph Autoencoders
University of Cambridge(剑桥大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Glasgow(格拉斯哥大学)
针对图自编码器可扩展性差的问题,提出动态同步潜在节点表示的L2G2G方法,在保持可扩展性的同时提升准确率,在大型稠密网络上甚至优于速度慢但精度高的传统GAE。
2024-02-02 cs.AI cs.LG cs.SI
Scalable attribute-aware network embedding with locality
University of Electronic Science and Technology of China(电子科技大学);IBM T.J.Watson Research Center(IBM T.J.沃森研究中心)
将节点属性加入到网络嵌入中有助于提高学习的联合表示同时从拓扑和属性描述特征的能力。最近的研究联合嵌入已经表现出了很好的性能在各种任务,通过联合嵌入两个空间。然而,由于不可或缺的需求,全球性的信息,现有的方法包含的可扩展性的缺陷。在这里,我们提出了\emph{SANE},一个可扩展的属性感知的网络嵌入算法的局部性,学习从拓扑和属性的联合表示。通过在拓扑和属性空间中强制每个节点与其K-最近邻居之间的局部线性关系的对齐,与单独来自拓扑或属性的单个表示相比,联合嵌入表示具有更多的信息。我们认为\emph{SANE}中的局部性是大规模学习联合表示的关键。通过使用来自不同领域的几个真实世界的网络,我们证明了\emph{SANE}的性能和可扩展性方面的有效性。总的来说,对于标签分类的性能,SANE在大多数数据集上成功地达到了最高的F1分数,与其他最先进的联合表示算法相比,甚至更接近需要标签信息作为额外输入的基线方法。与基于单一拓扑结构的算法相比,\emph{SANE}的性能提高了71.4%.对于可扩展性,我们已经证明了线性时间复杂度的\emph{SANE}。此外,我们直观地观察到,当网络规模扩展到10万个节点时,\emph{SANE}的“学习联合嵌入”步骤只需要$\approx10$秒。
2018-04-30 cs.AI cs.IR cs.LG
SLAG: Scalable Language-Augmented Gaussian Splatting
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学)
SLAG提出一种多GPU语言增强高斯泼溅框架,通过SAM和CLIP融合视觉语言特征,并以归一化加权平均替代损失函数实现高效并行场景编码,在保持嵌入质量的同时实现18倍加速。
2025-08-17 cs.AI cs.CV cs.RO
gpuRDF2vec -- Scalable GPU-based RDF2vec
Data and Web Science Group, University of Mannheim, Mannheim 68160, Germany(数据与网络科学组,曼海姆大学,曼海姆)
针对Web规模知识图谱嵌入的挑战,提出gpuRDF2vec开源库,利用GPU和多节点加速RDF2vec流水线,在实验中显著超越现有方法,实现高质量嵌入的高效训练。
2025-08-01 cs.AI
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Scalable Graph Embeddings via Sparse Transpose Proximities
Renmin University of China(中国人民大学)
图嵌入学习图中节点的低维表示,并有效地保留图结构。最近,在这一新兴的研究领域取得了重大进展。然而,有几个基本问题仍然悬而未决。首先,现有的方法不能保持有向图上的出度分布。第二,许多现有的方法采用基于随机游走的邻近性,从而在无向图上遭受冲突的优化目标。最后,现有的因式分解方法无法同时实现可扩展性和非线性。本文对有向图和无向图的图嵌入技术进行了深入的研究。分析了导致出度分布失真和优化目标冲突的根本原因。我们提出{ \em转置邻近},一个统一的方法,解决这两个问题。基于转置邻近的概念,我们设计了\strap,一个基于因子分解的图嵌入算法,同时实现了可扩展性和非线性。\strap利用{ \em后推}算法来有效地计算稀疏{ \em个性化PageRank(PPR)}作为其转置邻近度。通过施加稀疏性约束,我们能够对邻近矩阵应用非线性运算,并执行有效的矩阵分解来导出嵌入向量。最后,我们提出了一个广泛的实验研究,评估各种图形嵌入算法的有效性,我们表明,\strap优于国家的最先进的方法的有效性和可扩展性。
2019-05-16 cs.AI cs.DS cs.LG
Collaborative Last-Mile Delivery: A Multi-Platform Vehicle Routing Problem With En-route Charging
Khalifa University(哈利法大学)
研究提出带在途充电的协作式多平台车辆路径问题(VRP-DR),利用卡车、无人机和机器人协作配送,建立MILP模型并开发FINDER启发式算法,验证了组合配送模式和多访服务能显著节省时间与成本。
2025-05-29 cs.AI cs.MA cs.RO
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
Progressively Optimized Bi-Granular Document Representation for Scalable Embedding Based Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软STCA);University of Science and Technology of China(中国科学技术大学)
特设搜索要求从一个大规模的语料库中选择适当的答案。如今,基于嵌入的检索(EBR)成为一种很有前途的解决方案,其中基于深度学习的文档表示和ANN搜索技术相结合来处理这一任务。然而,一个主要的挑战是,人工神经网络索引可能太大,以适应内存,考虑到相当大的答案语料库。在这项工作中,我们使用双粒度文档表示来解决这个问题,其中轻量级稀疏嵌入被索引并在内存中待机,用于粗粒度候选搜索,而重量级密集嵌入则托管在磁盘中,用于细粒度后验证。为了达到最佳的检索精度,设计了一个渐进式优化框架。稀疏嵌入是提前学习的,用于高质量的候选搜索。以稀疏嵌入引起的候选分布为条件,连续学习密集嵌入以优化从入围候选中区分地面实况。此外,还有两种技术:对比量化和局部中心采样被引入用于稀疏和密集嵌入的学习,这实质上有助于它们的性能。由于上述特征,我们的方法有效地处理了100万规模的EBR,在准确率方面具有很强的优势:在百万规模的语料库上,召回率提高了+4.3%,在十亿规模的语料库上,召回率提高了+17.5%。此外,我们的方法被应用于一个主要的赞助搜索平台,收入(+1.95%),召回(+1.01%)和CTR(+0.49%)大幅增长。我们的代码可在https://github.com/microsoft/BiDR上获得。
2022-03-02 cs.AI cs.CL cs.IR
SMGRL: Scalable Multi-resolution Graph Representation Learning
McMaster University(麦克马斯特大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
针对 GCN 难捕捉长程依赖、过平滑及大图训练成本高的问题,本文提出模型无关的 SMGRL 框架,通过图粗化与自相似性学习并聚合多分辨率嵌入,在低计算成本下提升分类准确率。
2023-08-15 cs.AI cs.LG
Fast and Scalable Gene Embedding Search: A Comparative Study of FAISS and ScaNN
Department of Electrical and Computer Engineering, Drexel University, Philadelphia, USA(电气与计算机工程系,德雷塞尔大学,费城,美国)
本文针对大规模基因序列相似性搜索,系统比较 FAISS 与 ScaNN 在生物信息学基因嵌入上的效率和检索质量,证明其可作为传统比对工具的高效替代方案。
2025-07-22 cs.AI cs.LG q-bio.GN
Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners
Imperial College London(帝国理工学院);University of Surrey(萨里大学)
该研究提出自监督框架NAPE,通过因果Transformer预测下一个音频补丁嵌入,在六个音频语音基准上实现先进性能,可扩展编码器规模,获强线性探测结果,无显式监督时生成结构化注意力模式。
2026-08-21 cs.AI cs.SD eess.AS
MicroSims: A Framework for AI-Generated, Scalable Educational Simulations with Universal Embedding and Adaptive Learning Support
MicroSims通过AI生成和通用嵌入技术,为教育者提供低成本、易定制的交互式模拟工具,提升学习效果并促进教育公平。
2025-11-25 cs.AI
Scalable and interpretable rule-based link prediction for large heterogeneous knowledge graphs
Medical University of Vienna(维也纳医科大学);University Mannheim(曼海姆大学)
基于神经嵌入的机器学习模型已经显示出预测生物医学知识图谱中新链接的前景。不幸的是,它们的实际效用由于缺乏可解释性而减少。最近,完全可解释的,基于规则的算法AnyBURL在许多通用链接预测基准测试中产生了极具竞争力的结果。然而,它的适用性复杂的生物医学知识基础上的大规模预测任务是有限的推理时间长,并与聚合预测的多个规则的困难。我们通过引入SAFRAN规则应用框架来改进AnyBURL,该框架通过可扩展的聚类算法聚合规则。在已建立的通用基准FB 15 K-237和大规模生物医学基准OpenBioLink上,赛峰提供了完全可解释的链接预测的最新结果。此外,它超过了FB 15 K-237上多个已建立的基于嵌入的算法的结果,并缩小了OpenBioLink上基于规则和基于嵌入的算法之间的差距。我们还表明,赛峰智能推理系统将推理速度提高了两个数量级。
2020-12-10 cs.AI cs.IR cs.LG
ProactivePIM: Accelerating Weight-Sharing Embedding Layer with PIM for Scalable Recommendation System
ProactivePIM通过PIM技术加速权重共享算法,提升推荐系统性能。
2025-11-25 cs.AI cs.AR
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
ClusterEA: Scalable Entity Alignment with Stochastic Training and Normalized Mini-batch Similarities
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学)
实体对齐的目的是在不同的知识图谱中找到等价的实体。基于嵌入的方法近年来主导了EA任务。这些方法面临的问题来自嵌入向量的几何属性,包括hubness和隔离。为了解决这些几何问题,许多归一化方法已被采用的EA。然而,越来越大的规模的KG渲染EA模型很难采用规范化过程,从而限制了它们在现实世界中的应用。为了应对这一挑战,我们提出了ClusterEA,这是一个通用框架,能够通过利用具有高实体等效率的小批量标准化方法来扩展EA模型并增强其结果。QuantiterEA包含三个组件来对齐大规模KG之间的实体,包括随机训练,QuantiterSampler和SparseFusion。它首先以随机的方式为EA训练一个大规模的Siamese GNN,以产生实体嵌入。在此基础上,提出了一种新的用于高度重叠小批量采样的随机采样器策略。最后,QuarterEA结合了SparseFusion,它对局部和全局相似性进行归一化,然后融合所有相似性矩阵以获得最终的相似性矩阵。在EA基准测试上使用真实数据集进行的广泛实验提供了对所提出的框架的深入了解,并表明它能够在Hits@1方面超过最先进的可扩展EA框架多达8倍。
2022-06-06 cs.AI cs.CL cs.DB
PE-EK-PINN: Physics Embedding with Evolving Kernel for Scalable Physics-Informed Neural Networks
Department of Electrical & Computer Engineering(电气与计算机工程系)
提出PE-EK-PINN,将物理核作为可学习表示并演化,使活跃核数量与系统规模无关,训练成本从O(N)降至O(log N),在偶极子阵列等实验中大幅提速且误差相当。
2026-09-30 cs.AI
ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices
Tsinghua University(清华大学);Shenzhen University(深圳大学)
本文提出ComRoPE,通过可训练交换角矩阵推广旋转位置编码,解决RoPE变换空间受限问题,在ImageNet-1K上超越现有最优方法,并兼具可扩展性与位置鲁棒性。
2025-06-04 cs.AI cs.CV
SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings
University of Liverpool, UK(利物浦大学);UK AI Security Institute, UK(英国人工智能安全研究所);Loughborough University, UK(洛桑大学);Department of Computer Science, Vanderbilt University, USA(范德比大学计算机科学系)
提出SCARCE方法,用学习到的潜在表示和几何标尺替代传统子集模拟中的性能函数,通过自适应阈值构建嵌套事件,在MNIST误分类和LLM越狱任务中实现更低的估计误差和更好的可迁移性。
2026-11-10 cs.AI cs.LG
CAKE: A Scalable Commonsense-Aware Framework For Multi-View Knowledge Graph Completion
Beihang University(北京航空航天大学);Hikvision Research Institute(海康威视研究院)
知识图谱不可避免地存储了大量的事实三元组,而它们仍然是不完整的。以往的知识图谱完备模型仅仅依靠事实视图数据来预测实体之间的缺失链接,而忽略了有价值的常识知识。以往的知识图谱嵌入技术存在负采样无效和事实视图链接预测不确定等问题,限制了知识图嵌入的性能。为了解决上述挑战,我们提出了一个新的和可扩展的常识感知知识嵌入(CAKE)框架,自动提取常识的事实三元组与实体概念。所生成的常识增强了有效的自我监督,以促进高质量的负采样(NS)和联合常识和事实观点链接预测。KGC任务的实验结果表明,组装我们的框架可以提高原来的KGE模型的性能,和建议的常识感知NS模块是优于其他NS技术。此外,我们提出的框架可以很容易地适应各种KGE模型和解释预测结果。
2022-04-17 cs.AI cs.CL
A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs
Mila - Québec AI Institute(魁北克人工智能研究所);University of Montréal(蒙特利尔大学);Intel AI Lab(英特尔人工智能实验室);Peking University(北京大学);LG Electronics AI Lab(LG电子人工智能实验室);HEC Montréal(蒙特利尔高等商学院);CIFAR AI Chair(CIFAR人工智能讲席)
针对基于路径的知识图谱推理方法可扩展性不足的问题,提出受A*算法启发的A*Net,通过优先级函数选择重要节点边以降低开销,在基准上性能媲美现有最优路径方法,在百万级数据集上取得新SOTA且收敛更快。
2023-11-08 cs.AI cs.LG
Scalable Whole Slide Image Representation Using K-Mean Clustering and Fisher Vector Aggregation
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电气工程系)
本文提出一种可扩展的WSI分类方法,通过补丁特征提取、K均值聚类和Fisher向量编码,生成紧凑表示,实现高准确性和可扩展性。
2025-01-21 cs.AI cs.CV cs.LG
Erasing Thousands of Concepts: Towards Scalable and Practical Concept Erasure for Text-to-Image Diffusion Models
Dept. of Electrical and Computer Engineering(电气与计算机工程系);INMC(智能纳米研究中心);IPAI(人工智能研究所);Seoul National University(首尔国立大学)
本文提出ETC框架,通过tMM模型和MoEraser模块实现大规模概念消除,提升生成质量与鲁棒性,验证了在2000多个概念上的优越性能。
2026-04-12 cs.AI cs.CV
Hamiltonian-Inspired Attention Mechanism for Scalable RF Transmitter Fingerprinting
Frondeur Labs(弗朗德实验室)
提出哈密顿Transformer,通过物理启发的注意力结构(规范保持值更新和相位增量嵌入)提升射频发射器指纹识别在规模扩展下的性能。
2026-05-17 cs.AI eess.SP
Scalable Spatiotemporal Graph Neural Networks
UiT the Arctic University of Norway(挪威北极圈大学);NORCE Norwegian Research Centre(挪威研究中心NORCE);Politecnico di Milano(米兰理工大学)
时空时间序列的神经预测推动了几个相关应用领域的研究和工业创新。图神经网络(GNN)通常是预测架构的核心组件。然而,在大多数时空GNN中,计算复杂性与序列长度乘以图中链接数的二次因子成比例,因此阻碍了这些模型在大型图和长时间序列中的应用。虽然在静态图的上下文中已经提出了提高可扩展性的方法,但很少有研究致力于时空情况。为了填补这一空白,我们提出了一个可扩展的架构,利用了时间和空间动态的有效编码。特别是,我们使用随机递归神经网络将输入时间序列的历史嵌入到包含多尺度时间动态的高维状态表示中。这样的表示,然后传播沿空间维度使用不同的权力的图形邻接矩阵生成节点嵌入的特点是丰富的池的时空特征。在被馈送到前馈解码器之前,可以以无监督的方式有效地预先计算得到的节点嵌入,该前馈解码器学习将多尺度时空表示映射到预测。然后,可以通过对节点嵌入进行采样而不破坏任何依赖性,将训练过程并行化,从而实现大型网络的可扩展性。相关数据集上的实证结果表明,我们的方法取得了与最先进的竞争力的结果,同时大大减少了计算负担。
2023-02-20 cs.AI cs.LG