KIS-S: A GPU-Aware Kubernetes Inference Simulator with RL-Based Auto-Scaling
提出KIS-S框架,结合GPU感知模拟器KISim与基于PPO的自动伸缩器KIScaler,在模拟中学习策略并直接部署,显著提升奖励并降低延迟,实现智能编排。
2025-07-10 cs.DC
A Survey on Big Data for Network Traffic Monitoring and Analysis
网络流量监控和分析(NTMA)是网络管理的关键组成部分,特别是为了保证大型网络(如Internet)的正确运行。随着互联网服务的复杂性和业务量的不断增加,设计可扩展的NTMA应用变得越来越困难。流量分类和监管等应用需要实时和可扩展的方法。异常检测和安全机制需要在处理数以百万计的异构事件时快速识别和响应不可预测的事件。最后,系统必须收集、存储和处理大量的历史数据集,以便进行事后分析。这些正是一般大数据方法所面临的挑战:数量,速度,多样性和准确性。这项调查将NTMA和大数据结合在一起。我们对NTMA以前采用大数据方法的工作进行了分类,以了解NTMA在多大程度上探索了大数据的潜力。本调查主要关注管理NTMA大数据的方法和技术,此外还简要讨论了大数据分析(例如,机器学习)。最后,我们为未来的工作提供了指导方针,讨论了经验教训和研究方向。
2020-03-03 cs.DC cs.NI
BigGraphVis: Leveraging Streaming Algorithms and GPU Acceleration for Visualizing Big Graphs
图形布局是探索海量图形的关键。大量的节点和边不允许网络分析软件产生有意义的普适网络的可视化。长计算时间,内存和显示限制包围软件的能力,探索大量的图形。介绍了一种新的并行图形可视化方法BigGraphVis,该方法利用GPU的并行处理和社区发现算法来实现图形社区的可视化。将并行流媒体社区发现算法与概率数据结构相结合,充分利用图形处理器(GPU)的并行处理。据我们所知,这是第一次尝试将流算法的强大功能与GPU计算相结合,以应对大图形可视化挑战。我们的方法提取社区信息,在几个通过的边缘列表,并使用Forcephilas2算法呈现社区结构。我们对大量真实图形的实验表明,通过可视化图形社区可以实现大约70%到95%的加速,并且可视化似乎是有意义和可靠的。我们检查的最大的图包含超过300万个节点和3400万条边,布局计算大约花了五分钟。我们还观察到,BigGraphVis着色策略可以成功地应用于生成信息量更大的Forcebrahas2布局。
2021-08-01 cs.CG cs.DC cs.GR
Dynamic Hierarchical Birkhoff-von Neumann Decomposition for All-to-All GPU Communication
National Tsing Hua University(国立清华大学);New York University(纽约大学)
本文提出了一种动态层次Birkhoff-von Neumann分解框架,用于优化所有到所有GPU通信的调度,通过减少分解复杂性并提高稳定性来提升大规模训练集群的性能。
2026-02-26 cs.DC cs.NI
Parallel Implementations of Cellular Automata for Traffic Models
Biham-Middleton-Levine(BML)交通模型是一个简单的二维离散元胞自动机(CA)模型,用于研究交通流中的自组织和相变。从计算的角度来看,BML模型表现出离散CA的通常特征,其中自动机的状态根据取决于每个单元及其邻居的状态的简单规则进行更新。在本文中,我们研究了各种优化的影响,加快CA计算的BML模型作为一个案例研究。特别是,我们描述和分析的影响,依赖于CPU的功能,如多个核心或SIMD指令,并在GPU上的几个并行实现。实验评估提供了定量措施的回报,每种技术的加速方面,一个简单的串行实现。我们的研究结果表明,CPU和GPU实现的BML流量模型之间的性能差距可以通过巧妙地利用所有CPU功能来减少。
2018-04-21 cs.DC
Cloud Based Big Data DNS Analytics at Turknet
域名系统(DNS)是一种分层分布式命名系统,用于计算机、服务或连接到Internet的任何资源。DNS将URL查询解析为IP地址,以便在全球范围内定位计算机服务和设备。到目前为止,具有大量DNS数据的分析应用程序是一个具有挑战性的问题。由于数据特征的敏感性,从DNS数据中聚类域流量的特征需要更复杂的分析平台和工具。在这项研究中,提出了一个基于云的大数据应用程序,基于Apache Spark,对DNS数据,以及基于流量的周期性趋势模式,以划分众多的域名和地区到不同的组,其查询流量时间序列的特点。初步实验结果的Turknet DNS数据在日常运营中进行了讨论与商业智能应用。
2020-07-08 cs.DC
High-Level Big Integer Arithmetic in Futhark for GPUs
University of Copenhagen(哥本哈根大学);Cheriton School of Computer Science, U. Waterloo(滑铁卢大学切里顿计算机科学学院)
该研究用Futhark实现GPU上中等规模大整数的块级四则运算,对比手写C++/CUDA与CGBN,发现数组自动布局对性能关键,高级代码经优化后性能具竞争力。
2026-08-03 cs.DC cs.PL cs.SC
Accelerating Statewide Connected Vehicles Big (Sensor Fusion) Data ETL Pipelines on GPUs
本文提出基于GPU(利用Nvidia Rapids和Dask)的解决方案,加速全州车联网大数据ETL处理,实现70倍加速,将密苏里州全天数据处理时间从48小时降至25分钟,提供实时时空洞察。
2023-05-08 cs.DC
Modeling Traffic Congestion with Spatiotemporal Big Data for An Intelligent Freeway Monitoring System
交通拥挤是一个复杂的、非线性的时空建模问题。智能交通系统通过收集和分析大量不同类别的信息,可以预测和控制交通流量和道路拥挤。这份报告提供了一个从北到南穿越台湾的旅行时间分析,反之亦然。本文以国道台南至高雄段为例,分析南台湾地区民众的交通状况。数据是使用台湾交通部提供的电子收费系统(ETC)记录的。我们使用MapReduce框架将数据处理成一个更小的任务,可以分布在多个计算机集群,以加快进程。结果表明,交通流时空模型受方向、工作时间和节假日的强烈影响,每周都有一个循环模式。时空数据集内的独特模式可以用于人工智能决策系统,以供未来开发。
2019-09-30 cs.CY cs.DC
VarioPath: Workload-Aware All-to-All Communication for PCIe GPU Clusters
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
VarioPath提出结合离线拓扑分析与在线需求感知的调度框架,解决PCIe GPU集群中AlltoAllv通信的链路争用问题,实现平均5.88倍加速并显著降低推理延迟。
2026-09-29 cs.DC cs.NI
From Skew to Symmetry: Node-Interconnect Multi-Path Balancing with Execution-time Planning for Modern GPU Clusters
The Ohio State University(俄亥俄州立大学)
本文提出NIMBLE系统,通过动态重分布流量平衡节点内和节点间路径的利用率,提升GPU集群的通信性能。
2026-03-31 cs.DC cs.NI
ContainerStress: Autonomous Cloud-Node Scoping Framework for Big-Data ML Use Cases
Oracle Physical Sciences Research Center(甲骨文物理科学研究中心);Oracle Corporation(甲骨文公司);NVIDIA Corporation(英伟达公司)
在云环境中部署大数据机器学习(ML)服务对云供应商提出了针对任何给定客户用例的云容器配置大小调整方面的挑战。OracleLabs开发了一个自动化框架,该框架使用嵌套循环Monte Carlo模拟来自主扩展云CPU-GPU“配置”(云容器中可供最终客户使用的CPU和/或GPU配置)范围内的任何规模的客户机器学习用例。此外,OracleLabs和NVIDIA作者还合作进行了一项ML基准研究,该研究分析了任何ML预测算法的计算成本和GPU加速,并评估了由传统CPU和NVIDIA GPU组成的云容器中计算成本的降低。
2020-03-18 cs.DC cs.LG cs.PF
GOSH: Embedding Big Graphs on Small Hardware
在图嵌入中,图的连通性信息用于将每个顶点表示为d维空间中的点。与原始的不规则结构信息不同,这种表示可以用于许多机器学习任务。虽然这个过程在实践中非常有用,但它确实很昂贵,不幸的是,图形变得越来越大,越来越难以嵌入。将该过程扩展到更大的图的尝试已经成功,但通常在硬件要求方面付出了高昂的代价。我们提出了GOSH,一种在单个GPU上以最小约束嵌入任意大小的图的方法。GOSH利用一种新颖的图形粗化方法来压缩图形,并最大限度地减少嵌入所需的工作,与最先进的技术相比,它可以在一小部分时间内提供高质量的嵌入。除此之外,它还集成了一种分解模式,可以使用单个GPU嵌入任何任意大的图形,对内存大小的限制最小。通过这些技术,GOSH能够在不到一个小时的时间内在单个GPU上嵌入一个具有超过6500万个顶点和18亿条边的图,并获得93%的AUCROC用于链接预测,通过运行该工具80分钟可以增加到95%。
2020-08-31 cs.DC
A readahead prefetcher for GPU file system layer
GPU广泛用于I/O密集型大数据应用。先前的工作演示了使用GPU端文件系统层GPUfs来提高此类工作负载中的GPU性能和可编程性的好处。然而,GPUfs无法为通用I/O模式提供高性能,其中GPU用于顺序处理整个数据集。在这项工作中,我们提出了一些系统级的优化,以提高GPUfs的性能,这样的工作负载。我们对GPU I/O访问模式、CPU-GPU PCIe传输和SSD存储之间的相互作用进行了深入分析,并确定了主要瓶颈。我们提出了一种新的GPU I/O预读预取和GPU页面缓存替换机制来解决这些问题。与原始GPU相比,GPU I/O预读预取器在一系列微基准测试中实现了超过$2\times$(几何平均值)的更高带宽。此外,我们评估系统的14个应用程序来自RODINIA,PARBOIL和POLYBENCH基准套件。与传统的仅CPU数据传输技术相比,我们的预取机制将其执行时间提高了50%,I/O带宽提高了82%。
2021-09-11 cs.DC
A Data as a Service (DaaS) Model for GPU-based Data Analytics
具有要为消费者提供的资源的基于云的服务越来越成为规范,特别是对于大数据、时空数据采掘和应用服务,这些服务强加用户同意的服务质量(QoS)规则或服务水平协议(SLA)。考虑到数据中心和云系统的普遍性,需要考虑成本,效用和能源的系统的实时分析。本文提出了一种用于数据即服务(DaaS)的GPU系统的覆盖模型,以提供来自数据中心或云系统的网络数据、客户、投资者和用户数据的实时数据分析。使用一个模型层来定义一个学习协议和系统,我们给出了一个定制的,有利可图的系统在GPU上的DaaS。如结果所示,支持GPU的聚类模型分析的预处理和初始操作是有希望的。我们在真实世界的数据集上检查模型,以建模大数据集或时空数据采掘服务。我们还使用聚类、神经网络的自组织特征映射(SOFM或SOM)来生成我们的模型的结果,以生成DaaS模型的聚类分布。到目前为止的实验结果表明,一个有前途的模型,可以提高SLA和/或QoS的DaaS。
2018-02-05 cs.DC
Accelerating MoE with Dynamic In-Switch Computing on Multi-GPUs
Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学);Shanghai Qi Zhi Institute(上海人工智能实验室)
本文提出DySHARP,通过动态交换机计算减少MoE中GPU间通信冗余,结合动态多内存寻址和令牌中心内核融合,实现1.79倍加速。
2026-05-07 cs.AR cs.DC
Big Computing: Where are we heading?
本文从不同的角度概述了当前大数据在计算场景中的发展趋势。一些重要的方面包括Exascale,计算能力和提供大数据的应用程序类型。这始于当前计算硬件对不断增长的大数据应用需求的限制。我们强调的问题和挑战的能源需求,软件的复杂性,硬件故障,容错计算和通信。随着计算的复杂性在未来将上升。本文还强调了生物信息学,社交媒体,硬件和软件需求,数据密集型计算,然后走向GPU时代的大计算系统的未来发展方向。
2020-04-09 cs.DC
A Modern Approach to Real-Time Air Traffic Management System
Pandit Deendayal Energy University(潘迪特·迪恩达亚尔能源大学)
本项目利用Apache Spark、HDFS和Spark Streaming等大数据框架,设计了一种实时空中交通管理系统架构,通过Kafka和Elasticsearch实现数据采集与可视化,展示了实时分析在提升航空管理效率方面的潜力。
2025-03-01 cs.DC cs.LG
CuLDA_CGS: Solving Large-scale LDA Problems on GPUs
潜在狄利克雷分配(LDA)是一种流行的主题模型。考虑到LDA算法的输入语料库由数百万到数十亿个令牌组成的事实,LDA训练过程非常耗时,这可能会阻止LDA在许多场景中的使用,例如,在线服务GPU使现代机器学习算法和大数据分析受益匪浅,因为它们可以提供高内存带宽和计算能力。因此,许多框架,例如Ten- sorFlow、Caffe、CNTK,支持使用GPU来加速流行的机器学习数据密集型算法。然而,我们观察到GPU上的LDA解决方案并不令人满意。在本文中,我们提出了CuLDA_CGS,一个基于GPU的高效和可扩展的方法来加速大规模LDA问题。CuLDA_CGS旨在以高吞吐量有效解决LDA问题。为此,我们首先精心设计了工作负载划分和同步机制,充分利用了多GPU的优势。然后,我们通过从采样算法、并行化和数据压缩的角度进行优化,将LDA采样过程卸载到每个单独的GPU。评估表明,与最先进的LDA解决方案相比,CuLDA_CGS在单个GPU上的性能大幅提升(高达7.3倍)。CuLDA_CGS能够在4个GPU上实现额外的3.0倍加速。源代码可在https://github.com/cuMF/ CuLDA_CGS上公开获取。
2018-03-13 cs.DC
RedSync : Reducing Synchronization Traffic for Distributed Deep Learning
Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
数据并行已成为跨多个节点扩展深度神经网络(DNN)训练的主要方法。由于局部模型的大量梯度同步可能是大规模分布式训练的瓶颈,因此压缩通信数据近年来得到了广泛的关注。在最近提出的几种压缩算法中,残差梯度压缩(RGC)是最成功的方法之一,它可以在保持正确精度和相同收敛速度的前提下,显著地压缩每个节点的发送消息大小(0.1%的梯度大小)。然而,关于压缩深度网络的文献几乎完全集中在实现良好的理论压缩率上,而RGC在实际分布式实现中的效率却很少被研究。在本文中,我们开发了一个基于RGC的系统,能够减少真实世界多GPU系统上的端到端训练时间。我们提出的设计称为RedSync,它引入了一组优化,以减少通信带宽的要求,同时引入有限的开销。我们在两个不同的多GPU平台上评估了RedSync的性能,包括128个GPU的超级计算机和8-GPU服务器。我们的测试用例包括Cifar 10和ImageNet上的图像分类任务,以及Penn Treebank和Wiki 2数据集上的语言建模任务。对于具有高通信计算比的DNN,长期以来被认为可扩展性差,RedSync带来了显着的性能改进。
2019-07-22 cs.CV cs.DC cs.LG
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算(HPC)和图形处理单元(GPU)的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务(大数据)提供了巨大的计算资源。虽然已经提出了许多HPC框架,但并行编程模型提出了许多挑战,例如,如何充分利用不同编程模型中的功能,通过CPU和GPU中的多线程来实现和管理并行性。在本文中,我们将概述三种并行编程模型,CUDA,MapReduce和Pthreads。目标是探索有关该主题的文献,并提供编程模型中呈现的功能的高级视图,以帮助高性能用户简明地理解并行编程概念,从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
SpCCL: A Sparsity-Aware Collective Communication Library for GPU Platforms
University of Maryland, College Park(马里兰大学帕克分校)
研究针对GPU平台上稀疏数据的集合通信,提出利用稀疏性算法及新格式Pici,能适应数据稀疏度并修改表示,在高输入稀疏度下相比NCCL有显著加速。
2026-09-22 cs.DC
An investigation of GPU-based stiff chemical kinetics integration methods
五阶隐式Runge-Kutta方法和两个配备Krylov子空间近似的四阶指数积分方法在GPU上实现,并与分析化学动力学Jacobian软件pyJac配对。每种算法的性能进行了评估,通过整合随机部分搅拌反应器模拟采样的热化学状态数据,并与常用的基于CPU的隐式积分器CVODE。我们估计,在单个GPU上运行的隐式Runge-Kutta方法相当于在12-38个CPU内核上运行的CVODE,用于将单个全局积分时间步长为1 e-6 s与氢和甲烷模型进行积分。在研究的最严格的情况下--甲烷模型,全局积分时间步长为1 e-4 s--线程发散和更高的内存流量显着降低GPU的性能相当于CVODE运行在大约三个CPU内核。在CPU和GPU上,指数积分算法比隐式积分器执行得更慢。线程发散和内存流量被确定为GPU集成器性能的主要限制因素,并讨论了缓解这些问题的技术。在GPU上使用有限差分雅可比矩阵(代替pyJac提供的分析雅可比矩阵)由于线程发散而大大降低了积分器性能,导致最大减速7.11-240.96倍;相比之下,CPU上相应的减速仅为1.39-2.61倍,强调了使用分析雅可比矩阵进行高效GPU集成的重要性。最后,通过GPU \slash SIMD加速刚性化学动力学集成,确定了未来的研究方向,使现实的化学反应流模拟。
2017-02-14 cs.DC physics.chem-ph physics.comp-ph
BANG: Billion-Scale Approximate Nearest Neighbor Search using a Single GPU
本文提出BANG,首个在单个GPU上处理无法完全放入显存的十亿级图数据集的ANNS技术,通过压缩数据集与主机内存图索引协同访问,在三个十亿级数据集上实现召回率0.9时吞吐量比竞争方法高50至400倍。
2025-04-12 cs.DC
cu_FastTucker: A Faster and Stabler Stochastic Optimization for Parallel Sparse Tucker Decomposition on Multi-GPUs
高阶、高维和稀疏张量(HOHDST)数据源于实际的工业应用,即,社交网络、推荐系统、生物信息和交通信息。稀疏张量分解(STD)可以将HOHDST数据投影到低秩空间。本文提出了一种新的Kruskal逼近核张量的STD方法和逼近整体梯度的随机策略,该方法包括以下两个部分:(1)核张量的Kruskal积的矩阵化展开顺序遵循因子矩阵的乘法顺序,从而将指数运算量降为线性运算量;(2)随机策略采用一步随机抽样集来逼近整个梯度,抽样集的体积远小于原始样本集的体积。同时,该方法可以保证收敛性,节省内存开销。由于同阶矩阵乘法的紧凑性和随机策略的并行访问,cuFastTucker的速度可以通过GPU进一步增强。此外,针对大规模HOHDST数据无法在单个GPU上容纳的问题,提出了cuFastTucker的数据划分和通信策略,用于多GPU上的数据容纳。cuFastTucker可以实现最快的速度,并保持相同的精度和比SOTA算法低得多的内存开销,例如,P $-$ Tucker、Vest和SGD $\_$ Tucker。代码和部分数据集可在“https://github.com/ZixuanLi-China/FastTucker”上免费获得。
2022-04-14 cs.DC
FpgaHub: Fpga-centric Hyper-heterogeneous Computing Platform for Big Data Analytics
FpgaHub提出以FPGA为中心的超异构计算平台,利用可重构计算和丰富IO接口作为数据与控制枢纽,协同CPU、GPU、DPU等处理器,以突破专用硬件IO限制并提升大数据分析性能。
2025-03-12 cs.AR cs.DC
Mesh-Attention: A New Communication-Efficient Distributed Attention with Improved Data Locality
Tsinghua University(清华大学);Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ByteDance Seed(字节跳动种子)
Mesh-Attention通过改进的数据本地性,提高了分布式注意力的通信效率和可扩展性,实验显示在大规模GPU上实现了显著的加速和通信量减少。
2026-08-11 cs.AI cs.DC
GPU-Initiated On-Demand High-Throughput Storage Access in the BaM System Architecture
图形处理单元(GPU)传统上依赖于主机CPU来发起对数据存储的访问。这种方法非常适合具有已知数据访问模式的GPU应用程序,这些模式使其数据集的分区能够在GPU中以流水线方式处理。然而,新兴的应用程序,如图形和数据分析,推荐系统,或图神经网络,需要细粒度的,数据相关的访问存储。由于CPU-GPU同步开销高、I/O流量放大和CPU处理延迟长,因此CPU启动存储访问不适合这些应用程序。GPU启动的存储从存储控制路径中消除了这些开销,因此可以以更高的速度支持这些应用程序。然而,缺乏系统架构和软件堆栈来实现有效的GPU启动的存储访问。这项工作提出了一种新的系统架构,BaM,填补了这一空白。BaM具有细粒度的软件缓存,可以合并数据存储请求,同时最大限度地减少I/O流量放大。该软件缓存通过高吞吐量队列与存储系统通信,使现代GPU中的大量并发线程能够以高速率发出I/O请求,以充分利用存储设备和系统互连。实验结果表明,BaM为BFS和CC图形分析基准提供了1.0倍和1.49倍的端到端速度,同时将硬件成本降低了21.7倍,而不是从主机内存访问图形数据。此外,BaM在相同硬件上将数据分析工作负载的速度提高了5.3倍。
2023-02-06 cs.AR cs.DC cs.OS
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此,MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群,并提供具有成本效益和弹性的解决方案。然而,迁移、存储和处理大数据的数据中心之间和内部的流量不断增加,这正在成为一个瓶颈,需要能够减少拥塞和功耗的增强型基础设施。此外,具有请求各种大数据服务的多个租户的企业面临的挑战是,需要以降低的运行成本和功耗来优化其资源的租赁,同时避免利用不足或过度利用。在本调查中,我们总结了各种大数据编程模型和应用程序的特点,并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查,这些技术越来越多地支持大数据系统。此外,我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征,并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面,我们致力于优化处理大数据的系统。最后,提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而,由于GPU之间的通信的复杂性,特别是对于具有不规则消息大小的集体通信,有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中,我们提供了一个性能评估的Allanov例程多GPU系统,专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果,并对稀疏张量因子分解进行了案例研究,这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具,使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后,我们评估我们的工具的通信性能时,使用传统的MPI,CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统:一个16节点的集群,每个节点一个GPU,NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明,张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾,以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
Accelerating wave-propagation algorithms with adaptive mesh refinement using the Graphics Processing Unit (GPU)
Clawpack是一个使用基于黎曼解算器和限制器的高分辨率有限体积法求解非线性双曲型偏微分方程的库。它支持自适应网格细化(AMR),这在解决多尺度问题中至关重要。最近,我们增加了使用图形处理单元(GPU)加速代码的功能。添加了管理CPU和GPU AMR数据并促进GPU内核执行的工具。定制和CPU线程安全内存管理器旨在管理GPU和CPU内存池,这对于消除内存分配和释放的开销至关重要。该算法在每个时间步进行全局约简,根据柯朗数约束动态调整时间步。一些小的GPU内核被合并到更大的内核中,这大大降低了内核启动开销。在声学基准问题中观察到$2$和$3$之间的总运行时间的加速。
2018-08-08 cs.DC cs.MS cs.NA
Universal Quantum Computer Simulation of 50 Qubits on Europe`s First Exascale Supercomputer Harnessing Its Heterogeneous CPU-GPU Architecture
Jülich Supercomputing Centre, Forschungzentrum Jülich(于利希超级计算中心,于利希研究中心);NVIDIA(英伟达)
本文提出了一种新的高性能通用量子计算机模拟器JUQCS-50,利用GH200超级芯片的关键特性,在欧洲首个exascale超级计算机上实现了50个量子比特的通用量子计算机模拟,通过三个创新方法实现了16.6倍的速度提升。
2026-05-20 cs.DC physics.comp-ph quant-ph
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University(清华大学);The University of Hong Kong(香港大学);ByteDance(字节跳动);Cornell University(康奈尔大学)
图神经网络(GNN)将深度神经网络(DNN)的成功扩展到非欧几里德图数据,在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此,现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL,一个分布式GNN训练系统,旨在通过一些关键思想解决瓶颈。首先,我们提出了一个动态缓存引擎,以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计,我们找到了一个低开销和高缓存命中率的最佳点。其次,我们改进了图划分算法,以减少子图采样过程中的跨分区通信。最后,仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明,BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
Parallel Multi-Hypothesis Algorithm for Criticality Estimation in Traffic and Collision Avoidance
Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔大学);AUDI AG(奥迪股份公司)
由于目前自动驾驶和车辆主动安全的发展,越来越需要能够实时执行复杂关键性预测的算法。能够处理多对象交通场景有助于实现各种汽车应用,例如用于碰撞预防和缓解的驾驶员辅助系统以及自动驾驶汽车的后备系统。我们提出了一个完全基于模型的算法与并行架构。该算法可以通过模拟数百万个轨迹组合和检测物体之间的碰撞来评估复杂的多模式(车辆和行人)交通场景的危险性。该算法能够在非常早期的阶段估计即将到来的临界状态,展示了其在车辆安全系统和自动驾驶应用中的潜力。在测试车辆中的嵌入式系统上的实现以原型的方式证明了该算法与现代汽车的硬件可能性的兼容性。对于包含11个动态对象的复杂交通场景,在Drive PX~2的GPU上,在21 ms内评估了超过8600万个姿势组合。
2020-05-14 cs.DC cs.RO
MultiPath Memory Access: Breaking Host-GPU Bandwidth Bottlenecks in LLM Services
Hunan University(湖南大学);Tencent(腾讯)
本文提出MMA系统,通过多路径内存访问技术提升主机与GPU间的数据传输效率,减少LLM服务中的延迟瓶颈。
2026-05-13 cs.DC cs.NI cs.PF
ZenFlow: Enabling Stall-Free Offloading for LLM Training
University of Virginia(弗吉尼亚大学);University of California, Merced(加州大学梅尔塞德斯分校);Argonne National Laboratory(阿贡国家实验室);Snowflake AI Research(Snowflake人工智能研究)
ZenFlow通过异步更新和梯度选择,优先处理重要参数,解耦GPU与CPU更新,实现无停滞卸载训练,获得高达5倍加速并减少85%以上GPU停滞。
2026-10-16 cs.DC cs.LG
OO-VR: NUMA Friendly Object-Oriented VR Rendering Framework For Future NUMA-Based Multi-GPU Systems
基于NUMA的多GPU系统具有强大的计算能力,是为虚拟现实提供可持续和可扩展性能的理想选择。然而,整个多GPU系统被视为一个单一的GPU,在工作负载分配过程中忽略了VR渲染中的数据局部性,导致GPU模型之间大量的远程内存访问。通过对不同类型的并行渲染框架进行全面的表征,我们观察到,将渲染对象及其所需数据分布在每GPM上可以减少GPM间的内存访问。然而,在基于NUMA的多GPU系统中,这种对象级绘制仍然面临两个主要挑战:(1)同一对象左右视图之间的大数据局部性和不同对象之间的数据共享;(2)软件级分布和组合机制导致的工作负载不平衡。为了解决这些问题,我们提出了面向对象的VR渲染框架(OO-VR),进行软件和硬件的协同优化,提供一个NUMA友好的解决方案,在基于NUMA的多GPU系统的VR多视图渲染。我们首先提出了一个面向对象的VR编程模型,利用同一对象的两个视图之间的数据共享和分组对象成批次的基础上,他们的纹理共享水平。然后,我们设计了一个对象感知的运行时批处理分发引擎和分布式硬件组合单元,以实现GPMs之间的负载均衡。最后,在我们的VR功能模拟器上进行的评估显示,OO-VR提供了1.58倍的整体性能提升,并在最先进的多GPU系统上减少了76%的GPM内存流量。此外,OO-VR还为未来更大的多GPU场景提供了NUMA友好的性能可扩展性,同时本地和远程内存之间的带宽不断增加。
2020-01-08 cs.DC cs.GR
Adaptive Inference Batching using Policy Gradients
NVIDIA Corporation(英伟达公司)
针对突发异构负载下推理服务的调度难题,采用强化学习学习自适应批处理路由策略,在多GPU场景下消除队头阻塞,性能远超传统启发式方法。
2026-07-07 cs.AI cs.DC cs.LG
A High Performance Implementation of Spectral Clustering on CPU-GPU Platforms
谱聚类是一种最流行的图聚类算法,它在许多科学和工程应用中取得了最好的性能。然而,常用软件平台(如Matlab和Python)中的现有实现对于许多新兴的大数据应用程序来说并不能很好地扩展。在本文中,我们提出了一个快速实现的谱聚类算法的CPU-GPU异构平台上。我们的实现利用了多核CPU的计算能力和GPU的大规模多线程和SIMD功能。给定的输入数据点在高维空间中,我们提出了一个并行的计划来建立一个稀疏的相似性图表示在一个标准的稀疏表示格式。然后利用ARPACK软件和cuSPARSE库的反向通信接口计算拉普拉斯矩阵的最小$k$特征向量,其中$k$通常非常大.此外,我们在GPU上实现了一个非常快速的并行$k$ -means算法。我们的实现被证明是显着更快相比,最知名的Matlab和Python实现的每一步。此外,我们的算法扩展到具有非常大量的集群的问题。
2018-02-13 cs.DC cs.MS
Enhancing Large-Scale AI Training Efficiency: The C4 Solution for Real-Time Anomaly Detection and Communication Optimization
Alibaba Group(阿里巴巴集团);Hong Kong University of Science and Technology(香港科技大学)
针对大规模分布式训练中硬件故障检测延迟和通信冲突导致的效率低下问题,提出通信驱动的C4方案,利用负载同质性和可预测通信模型实现快速异常定位与流量规划,在实际系统中将效率从30%提升至45%。
2025-05-23 cs.AI cs.DC cs.LG
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University(纽约大学)
GPUTOK提出基于GPU的字节级BPE分词器,通过优化算法和内存管理,显著提升分词速度,同时保持输出质量,适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
GPUVM: GPU-driven Unified Virtual Memory
本文提出GPUVM,一种利用RDMA网络设备构建无需CPU/OS参与的GPU驱动虚拟内存系统,通过GPU线程管理按需分页与迁移,对延迟敏感应用性能比UVM提升高达4倍。
2024-11-08 cs.DC cs.OS cs.PF
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库,通过学习驱动的自适应算法选择,提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能,实现在Frontier系统上reduce-scatter性能提升达168倍,Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
Fast and Scalable Distributed Deep Convolutional Autoencoder for fMRI Big Data Analytics
The University of Georgia(佐治亚大学);Innopolis University(因诺波利斯大学)
近年来,分析基于任务的功能磁共振成像(tfMRI)数据已成为了解大脑功能和网络的重要工具。然而,由于tfMRI数据的庞大规模,其内在的复杂结构,以及缺乏底层神经活动的基础事实,建模tfMRI数据是困难和具有挑战性的。以前提出的数据建模方法,包括独立成分分析(ICA)和稀疏字典学习只提供了一个弱建立模型的基础上盲声源分离的强烈假设下,原始的fMRI信号可以线性分解成时间序列分量与相应的空间映射。与此同时,分析和学习大量的tfMRI数据,从各种主题已被证明是非常苛刻的,但仍然具有挑战性,即使在计算硬件的技术进步。鉴于卷积神经网络(CNN)是一种从tfMRI时间序列等低级数据中学习高级抽象的鲁棒方法,在这项工作中,我们提出了一种快速可扩展的分布式深度卷积自动编码器模型的新框架。该模型旨在学习tfMRI数据的复杂层次结构,并以分布式方式利用多个GPU的处理能力。为了实现这样一个模型,我们在Apache Spark和Tensorflow库之上创建了一个增强的处理管道,利用了一个非常大的GPU机器集群。将该模型应用于人类连接组计划(HCP)的实验数据表明,该模型对tfMRI大数据分析是有效的,可扩展的,从而在未来实现从海量fMRI大数据中数据驱动的层次神经科学信息提取。
2018-03-04 cs.DC cs.LG cs.NE