GSPMD: General and Scalable Parallelization for ML Computation Graphs
Google(谷歌)
我们提出了GSPMD,一个自动的,基于编译器的并行化系统,用于常见的机器学习计算。它允许用户以与单个设备相同的方式编写程序,然后通过一些关于如何分配张量的注释给出提示,GSPMD将基于这些注释并行计算。它的分区表示简单而通用,允许它在各种模型上表达不同或混合的并行范例。GSPMD根据有限的用户注释为每个操作员推断分区,从而方便扩展现有的单设备程序。它解决了生产使用中的几个技术挑战,使GSPMD能够在多达2048个Cloud TPUv3内核上实现50%至62%的计算利用率,适用于多达1万亿个参数的模型。
2021-12-23 cs.DC cs.LG
P-EAGLE: Parallel-Drafting EAGLE with Scalable Training
University of California, Santa Cruz(加州大学圣克ruz分校);AWS Amazon(亚马逊AWS)
P-EAGLE通过可学习共享隐藏状态实现并行多标记预测,结合注意力掩码预计算和序列划分技术,提升长上下文训练效率,实现比自回归EAGLE-3快1.10-1.36倍的速度提升。
2026-02-01 cs.AI cs.LG
Relaxed Scheduling for Scalable Belief Propagation
ITMO University(圣彼得堡国立信息技术机械与光学大学);IST Austria(奥地利科学技术研究所)
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此,已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而,尽管并行化的知识丰富,一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中,我们专注于高效的并行算法的关键机器学习任务的推理图形模型,特别是在基本的信念传播算法。我们解决的挑战,有效地并行化这一经典的范例,显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究,表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面,在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司)
贝叶斯优化(BO)是一个灵活而强大的框架,适用于计算昂贵的基于仿真的应用程序,并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一,但其能力受到数据大小,所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织,必须同时解决。在这项工作中,我们提出了可扩展的$^3$ -BO框架,它采用稀疏GP作为底层的代理模型,以大数据的范围,并配备了一个随机嵌入,以有效地优化高维问题,有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征,其在计算预算内充分利用HPC上的计算资源。因此,所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的:关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题,并最大限度地减少挂钟等待时间,以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力,在HPC环境中有100万个数据点,10,000维问题,20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
FastOmniTMAE: Parallel Clause Learning for Scalable and Hardware-Efficient Tsetlin Embeddings
Department of ICT University of Agder(信息与通信技术系阿格德大学);School of Engineering Newcastle University(工程学院新castle大学)
本文提出FastOmniTMAE,通过并行评估和更新阶段提升训练效率,实现分类任务5倍加速,同时在FPGA和SoC上实现高效逻辑嵌入学习。
2026-05-07 cs.LG
HyPar-Flow: Exploiting MPI and Keras for Scalable Hybrid-Parallel DNN Training using TensorFlow
The Ohio State University(俄亥俄州立大学)
为了减少大规模DNN的训练时间,科学家们已经开始探索数据并行、模型并行和混合并行等并行化策略。虽然数据并行已经得到了广泛的研究和发展,但在有效实现模型并行和混合并行方面还存在一些问题。我们关注的四个主要问题是:1)定义跨进程的分布式模型的概念,2)实现跨进程边界的前向/反向传播,这需要显式通信,3)在固有的顺序任务上获得并行加速,以及4)实现可扩展性而不损失模型的准确性。为了解决这些问题,我们创建了HyPar-Flow --一个模型大小/类型不可知的,可扩展的,实用的和用户透明的系统,用于通过利用MPI,Keras和TensorFlow进行混合并行训练。HyPar-Flow提供了一个API,可用于对任何Keras模型进行大规模的数据、模型和混合并行训练。我们创建了用户提供的Keras模型的内部分布式表示,利用TF的Eager执行功能进行跨进程的分布式前向/反向传播,利用流水线来提高性能,并利用高效的MPI原语进行可扩展的通信。在模型分区之间,我们使用send和recv来交换层数据/部分错误,而allreduce用于累积/平均模型副本之间的梯度。除了HyPar-Flow的设计和实现,我们还提供了三个最先进的HPC系统的全面正确性和性能结果,包括TACC Frontera(Top500.org上排名第5)。对于超深度模型ResNet-1001,HyPar-Flow提供:1)基于Horo…
2020-02-19 cs.AI cs.DC cs.LG
Efficient classification using parallel and scalable compressed model and Its application on intrusion detection
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Software Microelectronics, Peking University(北京大学软件与微电子学院)
为了实现入侵检测中的高效分类,提出了一种水平压缩和垂直压缩相结合的压缩模型。水平压缩采用OneR算法,垂直压缩采用仿射传播算法,从大量的训练数据中选择具有代表性的小样本。为了能够在计算上压缩具有可伸缩性的更大容量的训练数据,然后针对上述模型压缩过程的每个步骤实现并评估基于MapReduce的并行化方法,可以直接使用常见但有效的分类方法。在KDD 99和CMDC 2012两个公开的入侵检测数据集上的实验应用研究表明,基于压缩模型的分类方法可以有效地将检测速度提高184倍,最重要的是,其代价是平均精度差异小于1%.
2014-05-14 cs.CR cs.LG
Scalable Community Detection via Parallel Correlation Clustering
MIT(麻省理工学院);Google(谷歌)
图聚类和社区发现是现代数据采掘的核心问题。分析数十亿级数据的需求日益增长,这就要求针对这些问题的算法更快、更可扩展。在这种聚类算法的质量和速度之间存在一定的权衡。在本文中,我们设计了可扩展的算法,实现高质量的基础上地面真相评估时。我们基于LambdaCC目标(由Veldt等人介绍)开发了一个通用的顺序和共享内存并行框架,其包括模块化和相关聚类。我们的框架由高度优化的实现组成,这些实现可扩展到数十亿条边的大型数据集,并在未加权和加权图上获得与地面实况数据相比高质量的聚类。我们的实证评估表明,该框架提高了可扩展的社区发现的速度和质量之间的最先进的权衡。例如,在具有双向超线程的30核机器上,我们的实现实现了比其他相关性集群基线高出几个数量级的加速,比我们自己的顺序基线高出28.44倍的加速,同时保持或提高了质量。
2021-07-27 cs.AI cs.DC cs.LG
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架,通过无通信分布式采样、3D并行矩阵乘法和数据并行性,实现大规模小批量GNN训练,提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations
University of Southern California(南加州大学)
强化学习(RL)在机器人、游戏和医疗保健等应用领域取得了巨大成功。然而,训练RL代理非常耗时。目前的实现表现出性能不佳,由于挑战,如不规则的内存访问和线程级同步开销的CPU。在这项工作中,我们提出了一个框架,用于在多核系统上生成可扩展的强化学习实现。重播缓冲区是RL算法的关键组件,它有助于存储从环境相互作用中获得的样本以及学习过程的数据采样。我们定义了一个新的数据结构的优先级重放缓冲区的基础上$K$ -ary和树,支持异步并行插入,采样,和优先级更新。为了解决不规则内存访问的挑战,我们提出了一种新的数据布局来存储和树的节点,减少了缓存未命中的数量。此外,我们提出了$\textit{lazy writing}$机制,以减少线程级的同步开销的重放缓冲区操作。我们的框架采用并行演员同时收集数据,通过环境的相互作用,并行学习者执行随机梯度下降使用收集的数据。我们的框架支持广泛的强化学习算法,包括DQN,DDPG等。我们通过使用OpenAI基准测试在CPU + GPU平台上进行实验,证明了我们的框架在加速RL算法方面的有效性。
2021-12-22 cs.LG cs.SY eess.SY
Breaking Boundaries: Distributed Domain Decomposition with Scalable Physics-Informed Neural PDE Solvers
University of California, Irvine(加州大学欧文分校)
该研究提出Mosaic Flow的端到端并行化方案,结合数据并行训练与域并行,大幅缩短拉普拉斯算子训练时间,实现大域可扩展推理且保持精度,为复杂物理建模与科学发现提供潜力工具。
2023-08-28 cs.DC cs.LG
Parallel Active Subspace Decomposition for Scalable and Efficient Tensor Robust Principal Component Analysis
Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系)
本文提出并行主动子空间分解方法,通过将张量展开的每个模式分解为正交矩阵和小矩阵,降低核范数最小化问题的规模,提升张量鲁棒主成分分析的效率和精度。
2017-12-28 cs.LG cs.NA math.NA
Parallel Scan Recurrent Neural Quantum States for Scalable Variational Monte Carlo
Department of Physics;Astronomy, University of California, Davis, California 95616, USA;Astronomy, San Jos\'e State University, San Jos\'e, California 95192, USA;Department of Applied Mathematics, University of Waterloo, Waterloo, ON N2L 3G1, Canada;Vector Institute, Toronto, Ontario, M5G 0C6, Canada
本文提出并行扫描循环神经量子态,通过并行化递归结构实现高效变分蒙特卡洛计算,在一维和二维空间中实现大规模自旋晶格模拟。
2026-05-13 cond-mat.dis-nn cond-mat.str-el cs.LG
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport(布里奇波特大学)
AdaBoost是机器学习中的一种重要算法,在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器,然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的,但它的学习执行时间可能会很长,具体取决于应用程序,例如,在人脸检测中,学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用,需要大幅减少学习时间,使得可以结合自适应的近实时的目标检测系统。在本文中,我们开发了一个混合并行和分布式AdaBoost算法,利用多个核心的CPU通过轻量级线程,并通过Web服务软件架构使用多台机器,以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构,并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比,它使用单级主从并行和分布式实现[1],在四个节点上仅实现了2.66的加速比,我们在31个工作站上实现了95.1的加速比,每个工作站都有一个四核处理器,每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Layer-Wise Partitioning and Merging for Efficient and Scalable Deep Learning
Manchester Metropolitan University(曼彻斯特城市大学);University of Sheffield(谢菲尔德大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
深度神经网络(DNN)模型通常从一层到另一层顺序训练,这会导致前向、后向和更新锁定的问题,导致训练时间方面的性能较差。现有的并行策略,以减轻这些问题提供次优的运行时性能。在这项工作中,我们提出了一种新的逐层划分和合并,向前和向后传递并行框架,以提供更好的训练性能。所提出的工作的新颖性包括:1)分层分区和合并模型,可以最大限度地减少设备之间的通信开销,而无需在训练过程中使用现有策略的内存成本; 2)前向传递和后向传递并行化和优化,以解决更新锁定问题并最大限度地减少总训练成本。对真实用例的实验评估表明,该方法在训练速度方面优于最先进的方法;并且在不影响非并行方法的准确性性能的情况下,实现了几乎线性的加速比。
2022-07-22 cs.DC cs.LG
Accurate, Efficient and Scalable Graph Embedding
US Army Research Lab-West(美国陆军研究实验室西区)
图卷积网络(GCN)模型及其变体是用于促进图上的分类和聚类的强大的图嵌入工具。然而,一个主要的挑战是降低分层GCN的复杂性,并使它们在非常大的图上可并行化和可扩展-最先进的技术无法在不损失准确性和效率的情况下实现可扩展性。在本文中,我们提出了新的并行化技术的图形采样为基础的GCN,实现卓越的可扩展性能非常大的图形,而不影响准确性。具体来说,我们的GCN保证了工作效率的培训,并在计算和通信方面节省了大量的费用。为了在紧密耦合的共享内存系统上扩展GCN训练,我们为训练中的关键步骤开发了并行化策略:对于图形采样步骤,我们利用多个采样实例内和多个采样实例之间的并行性,并设计了一种高效的并发访问数据结构,为处理单元数量提供了近线性加速的理论保证。对于采样图中的特征传播步骤,我们通过数据分区来提高缓存利用率并减少DRAM通信。我们证明,我们的分区策略是一个2-近似最小化的通信时间相比,最优策略。我们证明了我们的并行图嵌入在几个大型数据集上的可扩展性(关于处理器数量,图形大小和GCN模型大小),效率和准确性方面优于最先进的方法。在40核Xeon平台上,与串行实现相比,我们的并行训练在采样步骤中实现了$64\times$加速(使用AVX),在特征传播步骤中实现了$25\times$加速,从而实现了$21\times$的净加速。
2020-08-05 cs.LG cs.PF stat.ML
Accurate, Efficient and Scalable Training of Graph Neural Networks
University of Southern California(南加利福尼亚大学);US Army Research Lab(美国陆军研究实验室)
图神经网络(GNN)是在图上生成节点嵌入的强大深度学习模型。当在大型图上应用深度GNN时,以有效和可扩展的方式进行训练仍然具有挑战性。我们提出了一种新的并行训练框架。通过将小的子图作为小批量进行采样,与最先进的小批量方法相比,我们减少了数量级的训练工作量。然后,我们并行化的关键计算步骤紧耦合共享内存系统。对于图形采样,我们利用并行内和跨采样器实例,并提出了一个有效的数据结构,支持并发访问的采样器。理论上,并行采样器相对于处理单元的数量实现了接近线性的加速比。对于子图内的特征传播,我们通过数据分区来提高缓存利用率并减少DRAM流量。我们的分区是一个2-近似策略,最大限度地减少通信成本相比,最佳的。我们进一步开发了一个运行时调度器来重新排序训练操作,并调整小批量子图,以提高并行性能。最后,我们将上述并行化策略推广到支持多种类型的GNN模型和图采样器。所提出的训练在可扩展性、效率和准确性方面同时优于最先进的训练。在40核Xeon平台上,与串行实现相比,我们在采样步骤中实现了60倍的加速(使用AVX),在特征传播步骤中实现了20倍的加速。我们的算法能够快速训练更深层次的GNN,与Tensorflow实现相比,速度提高了几个数量级。我们在https://github.com/GraphSAINT/GraphSAINT上开源我们的代码。
2020-10-05 cs.DC cs.LG
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India(IBM印度研究院);CSIR-CEERI(印度科学与工业研究理事会-中央电子工程研究所);IIT Delhi(印度理工学院德里分校)
训练深度网络既昂贵又耗时,训练周期会随着数据大小和模型参数的增长而增加。在本文中,我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义,使其适用于需要大量训练数据和模型参数的深度网络,这些数据和模型参数太大,无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上,以实现显着的加速,并获得更好的结果,使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法,适用于网络在机器上划分的情况(模型分解),以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络,卷积神经网络,递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果,展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速(对于CNN高达11倍),并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
Generalized Orders of Magnitude for Scalable, Parallel, High-Dynamic-Range Computation
GlassRoom Software LLC(GlassRoom软件公司);Thomas J. Watson Research Center, IBM Research(IBM研究院Watson研究中心);Brown University(布朗大学)
针对长序列实数复合运算中的数值下溢/上溢问题,提出广义数量级(GOOMs)扩展浮点数,结合并行前缀扫描在GPU上实现,通过三个实验证明其在高动态范围计算中可扩展且数值稳健。
2025-10-09 cs.AI cs.LG cs.NA
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland(马里兰大学);Microsoft(微软);HEALTH[at]SCALE;Flatiron Health;Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
我们提出了一个集成的方法,在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略,在一小组变量上学习模型,并迭代地合并到一个全局解决方案中。结构学习涉及组合操作,如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型,该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的,并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
Scalable Motif Counting for Large-scale Temporal Graphs
Ocean University of China(中国海洋大学);Massachusetts Institute of Technology(麻省理工学院);The University of Hong Kong(香港大学)
时间图分析中的一个基本问题是对小的连通子图模式(即,基序),这有益于广泛的现实世界应用,诸如异常检测、结构预测和网络表示学习。然而,现有的工作集中在精确的时间模体是不可扩展的大规模时间图数据,由于其沉重的计算成本或固有的并行性不足。在这项工作中,我们提出了一个可扩展的并行框架,精确计数的时间图案在大规模的时间图。我们首先分类的时间图案基于其独特的属性,然后设计定制的算法,提供有效的策略,以准确地计算每个类别的主题实例。此外,我们紧凑的数据结构,即三重和四重计数器,使我们的算法能够直接识别每个类别的时间模体实例,根据边缘信息和边缘之间的关系,从而显着提高计数效率。基于所提出的计数算法,我们设计了一个分层的并行框架,具有节点间和节点内的并行策略,并充分利用现代CPU的多线程能力,并发地计算所有的时间图案。在16个真实世界的时态图数据集上进行的大量实验证明了我们提出的时态基序计数框架的优越性和能力,与最先进的方法相比,实现了高达538* 的加速比。我们的方法的源代码可在https://github.com/steven-ccq/FAST-temporal-motif上获得。
2022-04-20 cs.LG cs.SI
BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
Anonymous Authors(匿名作者)
BOOST通过引入瓶颈感知张量并行和优化技术,提升低秩瓶颈架构的训练效率,实现1.46-1.91倍的速度提升,同时减少通信开销和GPU利用率。
2026-05-11 cs.DC cs.LG
Breaking the Nonsmooth Barrier: A Scalable Parallel Method for Composite Optimization
École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);MILA(蒙特利尔学习算法研究所);DIRO(蒙特利尔大学计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
由于其简单性和优异的性能,随机梯度下降的并行异步变体已成为解决多核架构上的大范围大规模最优化问题的流行方法。然而,尽管它们在实际中取得了成功,但仍然缺乏对非光滑目标的支持,使得它们不适合机器学习中的许多感兴趣的问题,例如Lasso,Group Lasso或凸约束的经验风险最小化。在这项工作中,我们提出并分析ProxASAGA,一个完全异步稀疏方法的启发SAGA,方差减少增量梯度算法。该方法易于实现,并显着优于现有技术的几个非光滑,大规模的问题。我们证明,我们的方法实现了理论上的线性加速比相对于顺序版本的假设下的稀疏梯度和块分离的近端。多核架构上的经验基准测试表明,在20核机器上实际加速高达12倍。
2017-11-05 cs.LG math.OC stat.ML
ParlayANN: Scalable and Deterministic Parallel Graph-Based Approximate Nearest Neighbor Search Algorithms
Carnegie Mellon University(卡内基梅隆大学);UC Riverside(加州大学河滨分校);University of Maryland(马里兰大学);Microsoft Research(微软研究院)
针对现有并行图ANNS算法扩展性差和不确定性问题,提出ParlayANN库,包含四种确定性并行算法,可扩展至十亿级数据集,并通过实验验证其高效性和全面比较。
2024-02-08 cs.IR cs.LG
Scalable Memristive-Friendly Reservoir Computing for Time Series Classification
Adaptive AI Research Group(适应性人工智能研究组);University of Lübeck(吕贝克大学);Department of Computer Science(计算机科学系);University of Pisa(比萨大学)
本文提出MARS架构,通过新颖的减法跳接连接实现高效并行计算和深度模型构建,显著提升训练速度和预测性能,优于传统序列模型。
2026-04-21 cs.LG cs.NE
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC(南加州大学);MIT(麻省理工学院)
基于计算统计推断的抽样问题,我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$,和一个常数$-1 \leq p \leq 1$,我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$,使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵,使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$,我们的算法在$m$中以接近线性的方式工作,并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样,它在随机性方面是最优的,在工作量和并行复杂度方面几乎是最优的。此外,我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
SPILDL: A Scalable and Parallel Inductive Learner in Description Logic
King Saud University(沙特国王大学)
本文提出面向描述逻辑的可扩展并行归纳学习器 SPILDL,支持 $\mathcal{ALCQI}^{\mathcal{(D)}}$ 与字符串属性,并结合共享内存、分布式内存及 CPU+GPU 评估,最高实现约 560 倍加速。
2024-12-01 cs.AI cs.DC cs.DS
Efficient Parallel Multi-Hop Reasoning: A Scalable Approach for Knowledge Graph Analysis
Intel Corporation(英特尔公司)
针对大规模知识图谱上多跳推理的时间效率问题,本文提出利用领域学习嵌入并行寻找三跳查询前K条路径的算法,并在Intel与AMD架构上验证其高性能与可扩展性。
2024-06-11 cs.AI cs.DC cs.DS