Improving GPU-accelerated Adaptive IDW Interpolation Algorithm Using Fast kNN Search
提出了一种基于现代图形处理器(GPU)的高效并行自适应逆距离加权(AIDW)插值算法。该算法是我们以前的GPU加速AIDW算法的改进,采用快速k-近邻(kNN)搜索。在AIDW算法中,需要为每个插值点找到多个最近邻数据点,自适应地确定幂参数,然后利用幂参数对插值点进行加权插值,得到期望的插值点预测值。在这项工作中,我们开发了一种快速kNN搜索方法的基础上的空间划分的数据结构,甚至网格,以改善以前的GPU加速AIDW算法。改进算法由kNN搜索和加权插值两个阶段组成。为了评估改进算法的性能,我们进行了五组实验测试。实验结果表明:(1)改进后的算法与相应的串行算法相比,可以实现高达1017的加速比;(2)改进后的算法比我们以前的GPU加速AIDW算法至少快两倍;(3)快速kNN搜索的使用可以显著提高整个GPU加速AIDW算法的计算效率。
2016-01-22 cs.DC
Adaptive Multi-GPU Exchange Monte Carlo for the 3D Random Field Ising Model
提出了一种自适应多GPU交换蒙特卡罗方法,用于三维随机场模型的模拟。算法设计基于两级并行化方案,该方案允许该方法在存在更快的GPU以及多个GPU的情况下扩展其性能。温度设置根据短期试运行中观察到的汇率进行调整,从而导致交换过程零星的区域的汇率增加。性能结果表明,并行回火是在GPU上实现的理想策略,并且相对于单核CPU版本在一到两个数量级之间运行,多GPU扩展大约是$99\%$有效的。所获得的结果扩展的可能性模拟的大小$L = 32, 64$的工作站与两个GPU。
2015-09-22 cond-mat.stat-mech cs.DC physics.comp-ph
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Qingdao Research Institute, Beihang University(北京航空航天大学青岛研究院);School of Software, Beihang University(北京航空航天大学软件学院)
针对GNN训练依赖昂贵平台的问题,提出A3GNN框架,通过局部感知采样、细粒度并行调度及强化学习优化资源利用,在CPU-GPU异构平台实现经济、自适应、自动化训练,提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
Accelerating wave-propagation algorithms with adaptive mesh refinement using the Graphics Processing Unit (GPU)
Clawpack是一个使用基于黎曼解算器和限制器的高分辨率有限体积法求解非线性双曲型偏微分方程的库。它支持自适应网格细化(AMR),这在解决多尺度问题中至关重要。最近,我们增加了使用图形处理单元(GPU)加速代码的功能。添加了管理CPU和GPU AMR数据并促进GPU内核执行的工具。定制和CPU线程安全内存管理器旨在管理GPU和CPU内存池,这对于消除内存分配和释放的开销至关重要。该算法在每个时间步进行全局约简,根据柯朗数约束动态调整时间步。一些小的GPU内核被合并到更大的内核中,这大大降低了内核启动开销。在声学基准问题中观察到$2$和$3$之间的总运行时间的加速。
2018-08-08 cs.DC cs.MS cs.NA
An Adaptive Distributed Stencil Abstraction for GPUs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种面向多节点GPU的自适应分布式Stencil抽象,通过CharmTyles框架实现,采用NumPy-like语法降低移植成本,并展示其在资源弹性与性能优化上的优势。
2025-12-22 cs.DC
GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs
作为基于图的深度学习的新兴趋势,图神经网络(GNN)因其生成高质量节点特征向量(嵌入)的能力而脱颖而出。然而,现有的一刀切的GNN实现不足以赶上不断发展的GNN架构,不断增加的图形大小和不同的节点嵌入维度。为此,我们提出了\textbf{GNNAdvisor},一个自适应和高效的运行时系统,以加速GPU平台上的各种GNN工作负载。首先,GNNAvisor从GNN模型和输入图中探索并识别出几个与性能相关的特征,并将其用作GNN加速的新驱动力。其次,GNNAvisor实现了一种新颖高效的2D工作负载管理,专为GNN计算量身定制,以提高不同应用设置下的GPU利用率和性能。第三,GNNAvisor利用GPU的存储层次结构,根据GPU内存结构和GNN工作负载的特点,优雅地协调GNN的执行,从而实现加速。此外,为了实现自动运行时优化,GNNAvisor集成了一个轻量级的分析模型,用于有效的设计参数搜索。广泛的实验表明,GNNAvisor在各种数据集的主流GNN架构上的性能优于最先进的GNN计算框架,例如Deep Graph Library(平均速度快于$3.02\times$)和NeuGraph(快于$4.10\times$)。
2021-06-20 cs.DC
Accelerating Adaptive IDW Interpolation Algorithm on a Single GPU
本文重点研究了GPU加速的自适应逆距离加权插补算法的设计与实现。AIDW是标准IDW的改进版本,它可以根据空间点分布模式自适应地确定功率参数,实现比IDW更准确的预测。在本文中,我们首先提出了两个版本的GPU加速的AIDW,天真的版本没有从共享内存中获利和平铺的版本利用共享内存。我们还使用数据布局,数组结构(AoS)和对齐结构数组(AoaS),在单精度和双精度的上实现了朴素版本和平铺版本。然后,我们评估的GPU加速AIDW的性能进行比较,它与原来的CPU版本。实验结果表明:在单精度的上,朴素版本和平铺版本可以分别实现大约270和400的加速比。此外,在单精度的上,使用布局SoA的实现总是比使用布局AoaS的实现稍快。然而,在双精度的上,加速比仅约为8;我们还观察到:(1)与朴素版本相比,平铺版本没有获得性能提升;(2)使用SoA和AoaS不会导致计算效率的显着差异。
2015-12-10 cs.DC
PAGANI: A Parallel Adaptive GPU Algorithm for Numerical
针对大规模并行结构上的多维数值积分这一具有挑战性的问题,提出了一种新的自适应并行算法。自适应算法已经证明了最好的性能,但有效的众核利用率是难以实现的,因为自适应的工作负载可以在整个集成空间变化很大,是不可能预测的先验。现有的并行算法利用独立的处理器上的顺序计算,这导致由于需要数据重新分配和处理器同步的瓶颈。我们的算法采用了高吞吐量的方法,其中所有现有的子区域进行处理,并在并行细分。重复的子区域分类和过滤改进了蛮力方法,并允许算法有效地利用计算和存储器资源。CUDA实现显示了比最快的开源CPU方法高出几个数量级的加速,并扩展了困难被积体的可实现精度。我们的算法通常优于其他现有的确定性并行方法。
2021-06-23 cs.DC
BlockMGARD: Accelerating Adaptive Scientific Data Reduction with Region-of-Interest Error Control on GPUs
University of Oregon(俄勒冈大学);Oak Ridge National Laboratory(橡树岭国家实验室);New Jersey Institute of Technology(新泽西理工学院);Oregon State University(俄勒冈州立大学)
本文提出支持关注区域的GPU有损压缩器BlockMGARD,通过缓存内块分解等四项改进,在真实数据集上实现了比MGARD-X更高的吞吐量、压缩比与线性扩展性,降低了I/O成本。
2026-09-02 cs.DC
Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs
Seoul National University(首尔国立大学)
针对PCIe连接消费级GPU的MoE推理,提出ThunderEP通信设计,消除中继跳、利用DMA引擎并降低轮询开销,在RTX 4090/5090系统上实现最高1.66倍端到端加速。
2026-10-01 cs.DC cs.LG
Adaptive GPU Resource Allocation for Multi-Agent Collaborative Reasoning in Serverless Environments
Department of Engineering Management and Systems Engineering, George Washington University, USA(工程管理与系统工程系,乔治华盛顿大学)
本文提出一种自适应GPU资源分配框架,通过动态分配资源降低延迟并提升效率,适用于无服务器环境下的多智能体协作推理任务。
2026-01-01 cs.AI cs.DC cs.MA
Stream-K++: Adaptive GPU GEMM Kernel Scheduling and Selection using Bloom Filters
University of Washington(华盛顿大学);Advanced Micro Devices, Inc.(超威半导体有限公司);Meta Platforms, Inc.(Meta平台公司)
Stream-K++通过布隆过滤器实现自适应GPU GEMM内核调度与选择,显著提升性能并保持高准确性。
2025-11-25 cs.DC
Diverse Adaptive Bulk Search: a Framework for Solving QUBO Problems on Multiple GPUs
本文提出DABS框架,一种基于遗传算法的多GPU QUBO求解器,通过多种搜索算法、遗传操作和解池的多样化策略,自动选择有效方法,在八块NVIDIA A100 GPU上成功找到三类QUBO问题的最优解。
2023-03-17 cs.DC cs.PF
Parallel CPU- and GPU-based connected component algorithms for event building for hybrid pixel detectors
针对Timepix系列混合像素探测器高数据吞吐量下的实时聚类需求,提出基于并查集与路径压缩的并行连通分量算法,GPU实现达每秒3亿命中,较CPU方法加速两个数量级并减少数据丢失。
2024-12-16 cs.DC physics.ins-det
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中,我们探讨了通用并行计算的图形处理器(GPU)的限制,通过研究问题,需要高度不规则的数据访问模式:列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况,这对于良好的GPU性能至关重要。我们的实验研究表明,PRAM算法是一个很好的起点,开发高效的并行GPU方法,但需要非平凡的修改,以确保良好的GPU性能。我们提出了一套指导方针,帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出,GPU的并行图形算法的研究是更广泛的兴趣,一般的离散和组合问题,因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
Characterizing Adaptive Mesh Refinement on Heterogeneous Platforms with Parthenon-VIBE
University of Michigan(密歇根大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本研究分析 Parthenon 块结构 AMR 基准在 CPU-GPU 系统上的性能,发现小网格块和深 AMR 层级降低 GPU 性能,并提出优化以提高吞吐量、减少内存占用,为未来异构超算 AMR 部署提供参考。
2025-09-24 cs.DC cs.PF
Gleam: Adaptive Network-Efficient CUDA API Remoting for Cross-Device GPU Sharing over LANs
Shanghai Jiao Tong University(上海交通大学);Lenovo Information Products (Shenzhen) Ltd(联想信息产品(深圳)有限公司);Lenovo (Beijing) Ltd(联想(北京)有限公司)
研究旨在实现局域网内跨设备GPU共享以促进AI推理,提出Gleam框架,通过自动模型权重缓存、异步执行、设计运行时任务调度器及确保上下文一致性等方法,提升API远程调用效率和系统吞吐量,性能优于现有基线。
2026-07-28 cs.DC cs.LG
SPPO:Efficient Long-sequence LLM Training via Adaptive Sequence Pipeline Parallel Offloading
针对长序列 LLM 训练的显存与资源瓶颈,提出 SPPO 框架,通过自适应卸载、两级激活管理和启发式流水线调度,仅用 128 张 A100 完成 7B 模型、4M token 训练,吞吐量最高提升 3.38 倍。
2025-03-13 cs.DC
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University(暨南大学网络空间安全学院);Department of Electrical and Computer Engineering, Western University(韦仕敦大学电气与计算机工程系);School of Computer Science, Guangzhou University(广州大学计算机科学与工程学院)
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法,用于优化分布式边缘网络中的协作计算任务,提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University(浙江大学)
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题,提出自适应批大小的延迟同步算法ABS-SGD,通过累积延迟梯度并充分利用计算资源,在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG
AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院)
AdaptGear提出利用子图层级密度特征定制内核并动态选择最优内核集合,以平衡稀疏性收益与执行效率,在NVIDIA GPU上实现GNN训练最高6.49倍加速。
2023-05-27 cs.DC cs.LG
FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
FreeToken是边缘原生MoE服务系统,通过协同设计服务栈实现带宽自适应执行,将个人计算机转化为弹性推理平台,可在边缘硬件上部署大参数MoE模型,拓展了本地AI服务能力。
2026-08-18 cs.DC
GPU-Accelerated Quantum Simulation: Empirical Backend Selection, Gate Fusion, and Adaptive Precision
Intrinsic Lab, Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (SeNSE), Indian Institute of Technology Delhi(印度德里理工学院传感器、仪器与网络物理系统工程中心(Intrinsic Lab));RSL Quantum, FITT, IIT Delhi(印度德里理工学院FITT量子研究小组)
本文提出基于GPU的量子电路模拟框架,通过经验后端选择算法、门融合引擎和自适应精度切换,提升20-28个量子比特系统的模拟速度,达到CPU的64至146倍,并在IBM量子处理器上验证了贝尔态保真度和电路深度降低效果。
2026-04-04 cs.DC cs.ET quant-ph
Study to achieve environment adaptive software
近年来,GPU和FPGA等异构硬件在许多系统中使用,物联网设备也迅速增加。然而,要利用异构硬件,由于需要很多技术技能,因此障碍很高。为了打破这种情况,我们认为未来需要应用程序员只需要编写要处理的逻辑,然后软件将适应具有异构硬件的环境,以便轻松利用异构硬件和物联网设备。因此,在本文中,我们提出了环境自适应软件,通过自动转换代码和配置设置来运行一次编写的高性能应用程序,以便我们可以在要部署的位置使用GPU,FPGA和物联网设备。阐述了实现环境自适应软件的流程和基本技术。
2019-03-16 cs.DC
Fast simulations of highly-connected spiking cortical models using GPUs
在过去的十年里,人们对开发用于模拟大规模尖峰神经元网络的并行硬件系统的兴趣越来越大。与其他高度并行系统相比,GPU加速解决方案具有成本相对较低和通用性强的优势,这也要归功于使用CUDA-C/C++编程语言的可能性。NeuronGPU是一个GPU库,用于大规模模拟尖峰神经网络模型,使用C++和CUDA-C++编程语言编写,基于一种新颖的尖峰传递算法。该库包括简单的LIF(leaky-integrate-and-fire)神经元模型以及几个具有基于电流或电导的突触的多突触AdEx(adaptive-exponential-integrate-and-fire)神经元模型、用户可定义的模型和不同的设备。AdEx模型的动力学微分方程的数值解是通过一个并行实现,写在CUDA-C++,五阶龙格-库塔法与自适应步长控制。在这项工作中,我们评估了这个库的性能上的模拟皮质微电路模型,基于LIF神经元和电流为基础的突触,并在一个平衡的网络的兴奋性和抑制性神经元,使用AdEx神经元和电导为基础的突触。在这些模型上,我们将证明所提出的库在每秒生物活性的模拟时间方面达到了最先进的性能。特别是,使用单个NVIDIA GeForce RTX 2080 Ti GPU板,可以以非常接近实时的速度模拟包括约77,000个神经元和$3 \cdot 10^8$连接的全尺寸皮层微电路模型,而1,000,000个AdEx神经…
2020-11-09 cs.DC cs.NE q-bio.NC
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战,特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中,我们使用现有的解决方案来实现这一点:我们使用HPX来获得细粒度的任务,以轻松分配工作并精细地重叠通信和计算。对于计算本身,我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而,有一个缺失的环节:虽然HPX暴露的细粒度并行性对可扩展性很有用,但当任务变得太小而无法使设备饱和时,它可能会阻碍GPU性能,从而导致资源利用率低下。为了弥补这一差距,我们调查了Tiger中多种不同的GPU工作聚合策略,添加了一种新策略,并评估了节点级性能对最新AMD和NVIDIA GPU的影响,实现了明显的加速。
2023-03-04 cs.DC
p-adaptive discontinuous Galerkin method for the shallow water equations on heterogeneous computing architectures
针对浅水方程提出一种重新设计的p自适应无求积间断伽辽金方法,通过分离并重叠低阶与高阶计算,结合自动代码生成优化CPU-GPU任务分布,在包括海啸模拟等场景中实现了显著的性能提升。
2023-11-19 cs.DC cs.MS
MARS: Towards High Goodput and Low KV Thrashing in Agent Serving under GPU Memory Constraints
Duke University(杜克大学)
提出MARS协同调度系统,通过统一信息流全局协调GPU推理与CPU工具执行,解耦准入与执行防止资源过载,并采用智能体中心调度器最小化端到端延迟,实验显示延迟降低5.94倍。
2026-11-13 cs.DC cs.LG cs.MA
Exploring the Design Space of Static and Incremental Graph Connectivity Algorithms on GPUs
连通分支和生成森林是图的基本算法,因为它们在图聚类和图像分割等重要应用中有着广泛的应用。GPU是图形算法的理想平台,因为其高峰值性能和内存带宽。虽然文献中存在几种GPU连接算法,但许多设计选择尚未探索。在本文中,我们将探讨GPU连接算法中的各种设计选择,包括采样、链接和树压缩,适用于静态和增量设置。我们的各种设计选择导致超过300个新的GPU实现的连接,其中许多优于国家的最先进的。我们提出了一个实验评估,并表明,我们实现了2.47倍加速比现有的静态算法的平均加速。在增量设置中,我们实现了高达每秒482.3亿条边的吞吐量。与72核机器上最先进的CPU实现相比,我们使用Tesla V100 GPU实现了8.26- 14.51倍的静态连接加速和1.85- 13.36倍的增量连接加速。
2020-08-26 cs.DC
A model-driven approach for a new generation of adaptive libraries
高效的高性能库通常公开多个可调参数,以提供高度优化的例程。这些范围可以从简单的循环展开因子或向量大小一直到算法变化,假定某些实现可以通过利用诸如本地存储器和向量单元之类的硬件特性而更适合于某些设备。传统上,这样的参数和算法选择被调整,然后针对特定架构和输入的某些特性进行硬编码。然而,新兴的应用程序通常是数据驱动的,因此传统的方法在实践中使用的广泛的输入和架构中并不有效。在本文中,我们提出了一种新的自适应框架,用于数据驱动的应用程序,它使用预测模型来选择最佳的算法参数,通过训练合成和真实的数据集。我们证明了BLAS库的有效性,特别是在其矩阵乘法例程。我们目前的实验结果为两个GPU架构,并显示显着的性能增益高达3倍(高端NVIDIA Pascal GPU)和2.5倍(嵌入式ARM马里GPU)相比,传统的优化库。
2018-06-19 cs.DC cs.MS cs.PF
cuVegas: Accelerate Multidimensional Monte Carlo Integration through a Parallelized CUDA-based Implementation of the VEGAS Enhanced Algorithm
本研究提出基于CUDA的VEGAS+算法实现cuVegas,优化GPU多维积分的工作负载分配,相比CPU实现提速2-3个数量级,比现有最优GPU实现快2倍。
2024-08-17 cs.DC
AdEle: An Adaptive Congestion-and-Energy-Aware Elevator Selection for Partially Connected 3D NoCs
通过降低全连接3D片上网络(NoC)中的垂直连接数量,部分连接3D NoC(PC-3DNoC)有助于缓解可靠性和制造问题。本文提出了一种新的,自适应拥塞和能量感知的电梯选择方案称为AdEle,以改善PC-3DNoCs的流量分布。AdEle采用离线多目标模拟退火算法来寻找好的电梯子集,并采用在线电梯选择策略来增强路由过程中的电梯选择。在不同的实际应用流量和配置场景下,与最先进的技术相比,AdEle平均将网络延迟提高了10.9%(最高可达14.6%),而能耗开销不到6.9%。
2021-10-11 cs.AR cs.DC cs.PF
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Zurich(苏黎世大学)
本文提出GPU优化的k近邻算法FastGraph,通过支持梯度流的GPU驻留分箱分区方案与自适应调优,在低维场景下相比主流库实现20-40倍加速且无额外内存开销,可有效提升GNN工作流性能。
2026-10-26 cs.DC
Nereus: Adaptive Parallelism for LLM Post-Training
Aalto University(阿尔托大学);Shenzhen University of Advanced Technology(深圳先进技术大学);Zhejiang University(浙江大学)
Nereus提出一种成本感知的自适应并行运行时,通过弹性模型单元和全局转换图,动态调整RL后训练的执行计划,显著降低延迟并提升吞吐量。
2026-09-29 cs.AI cs.DC
Adaptive Inference Batching using Policy Gradients
NVIDIA Corporation(英伟达公司)
针对突发异构负载下推理服务的调度难题,采用强化学习学习自适应批处理路由策略,在多GPU场景下消除队头阻塞,性能远超传统启发式方法。
2026-07-07 cs.AI cs.DC cs.LG