DB-SpMSpV: Dual-View Blocked Sparse Matrix-Sparse Vector Multiplication for Dynamic GPU Workloads
Beihang University（北京航空航天大学）
本文提出面向动态GPU工作负载的双视角分块SpMSpV框架DB-SpMSpV，集成至DB-BFS和DB-Decoding后，在A100和RTX 4090上相比现有方法实现了显著加速。
2026-08-18 cs.DC
PilotANN: Memory-Bounded GPU Acceleration for Vector Search
提出PilotANN混合CPU-GPU系统，通过三阶段图遍历和快速入口选择，在1亿规模数据集上实现3.9-5.4倍吞吐量加速，支持比GPU内存大12倍的数据集。
2025-03-27 cs.DC
Multi-GPU Graph Analytics
我们提出了一个单节点，多GPU可编程图形处理库，允许程序员轻松地扩展单GPU图形算法，以实现可扩展的性能与数十亿条边的大型图形。直接使用单GPU实现，我们的设计只需要程序员指定一些算法相关的问题，隐藏大多数多GPU相关的实现细节。我们分析了在不同的图形原语和数据集的背景下，可扩展性的理论和实践限制。我们描述了几个优化，如方向优化遍历，和一个刚刚足够的内存分配方案，更好的性能和更小的内存消耗。与以前的工作相比，我们在操作和数据集上实现了一流的性能，包括随着系统中GPU数量的增加，在大多数原语上具有出色的强可扩展性和弱可扩展性。
2017-03-01 cs.DC
HARP-ME: Closure-Driven Exact Induced Motif Enumeration on GPUs
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
研究针对GPU上精确诱导子图枚举的挑战，提出HARP-ME框架，通过闭包感知编译、诱导签名重用等技术，优化锚点选择，实现高效枚举，在多个数据集上速度远超其他方法，证明其在GPU子图枚举中的优势。
2026-07-15 cs.DC
Graph Traversal on Tensor Cores: A BFS Framework for Modern GPUs
Department of Computer Science and Engineering, Faculty of Engineering and Natural Sciences, Sabancı University（萨班哲大学工程与自然科学学院计算机科学与工程系）；Center of Excellence in Data Analytics, Sabancı University（萨班哲大学数据卓越中心）
提出BLEST框架，通过将广度优先搜索重构为位级稀疏矩阵-向量计算，并引入二值化虚拟切片集、优化张量核心布局和惰性顶点更新等机制，在GPU上实现了平均22.0倍于GAP等现有方法的加速。
2026-06-03 cs.DC cs.DS
Revising Apetrei's bounding volume hierarchy construction algorithm to allow stackless traversal
本文提出一种修改 Apetrei 算法的方法，通过恢复 Karras 的内部节点顺序，在单次自底向上遍历中构建适合无栈遍历的层次结构，从而以更低成本加速范围查询。
2024-12-21 cs.DC cs.DS
GORIO: GPU-Centered Remote I/O for Graph ANNS over NVMe-oF
NUDT（国防科技大学）
研究针对图近似近邻搜索中大型向量索引超单GPU服务器内存问题，提出GORIO系统，将以GPU为中心的本地I/O扩展到远程存储，设计两层架构，实验表明其性能大幅提升。
2026-07-08 cs.DB cs.DC
Fast tree-based algorithms for DBSCAN for low-dimensional data on GPUs
本文提出一种GPU加速的DBSCAN新框架及两种基于树的算法，通过融合邻居搜索与簇信息更新，在低维数据上实现了高性能聚类并有效降低了内存使用。
2023-06-28 cs.DC
Analysis of GPU Parallel Computing based on Matlab
Matlab在科学计算中应用非常广泛，但Matlab的计算效率低于C语言程序。为了提高计算速度，一些工具箱可以使用GPU来加速计算。本文介绍了GPU的工作原理，基于Matlab的GPU并行计算实验及结果分析。实验结果表明，对于并行操作，GPU的计算速度快于CPU，对于逻辑指令，GPU的计算速度慢于CPU。
2015-05-25 cs.DC
Gunrock: GPU Graph Analytics
对于GPU上的大规模图形分析，数据访问和控制流的不规则性以及GPU编程的复杂性对开发可编程高性能图形库提出了两个重大挑战。我们的图形处理系统“Gunrock”是专门为GPU设计的，它使用了一个高层次的、批量同步的、以数据为中心的抽象，专注于顶点或边缘边界上的操作。Gunrock通过将高性能GPU计算原语和优化策略与高级编程模型相结合，实现了性能和表现力之间的平衡，该模型允许程序员以较小的代码大小和最少的GPU编程知识快速开发新的图形原语。我们描述了各种优化策略的性能，并评估了Gunrock在不同GPU架构上的整体性能，这些GPU架构涵盖了从基于矩阵的算法和排名算法到三角形计数和基于二分图的算法的各种图形原语。结果表明，在单个GPU上，Gunrock平均至少比Boost和PowerGraph有一个数量级的加速，与最快的GPU硬连线原语和CPU共享内存图形库（如Ligra和Galois）相当的性能，并且比任何其他GPU高级图形库都更好。
2017-01-04 cs.DC
JZ-Tree: GPU friendly neighbour search and friends-of-friends with dual tree walks in JAX plus CUDA
University of Vienna（维也纳大学）
本文提出一种针对GPU架构的Morton(z-order)平面树层级结构，实现高效的双树遍历，显著提升大规模问题的性能，支持多GPU分布式计算。
2026-04-07 astro-ph.CO cs.DC physics.comp-ph
GPU-Accelerated Algorithms for Process Mapping
Heidelberg University（海德堡大学）
本文提出两种基于GPU的进程映射算法，通过分层多细分和多级图划分管道整合，实现高效的负载平衡与通信成本优化，具有显著的速度提升优势。
2026-03-13 cs.DC
GraphCage: Cache Aware Graph Processing on GPUs
由于图算法的不规则性，有效的图处理是具有挑战性的。使用GPU来加速不规则图算法甚至更难高效，因为GPU的高度结构化的SIMT架构并不适合不规则应用。由于之前花费了大量精力将图形算法巧妙地映射到GPU上，GPU上的图形处理性能仍然受到内存延迟的限制，导致计算资源的利用率较低。由稀疏图数据结构生成的随机存储器访问是这种显著的存储器访问延迟的主要原因。简单地应用为矩阵计算提出的常规高速缓存分块技术由于GPU上的显著开销而具有有限的益处。我们提出了GraphCage，一个以缓存为中心的优化框架，用于在GPU上进行高效的图形处理。我们首先提出了一个面向吞吐量的缓存阻塞计划（TOCAB）在推和拉方向。与传统的高速缓存阻塞，遭受重复访问时，在GPU上处理大型图形，TOCAB是专门针对GPU架构优化，以减少这种开销，提高内存访问效率。为了将我们的方案集成到最先进的实现中，而不会产生显著的开销，我们通过考虑子图的稀疏性来协调TOCAB与负载均衡策略。为了使缓存阻塞的算法，我们考虑的好处和开销在不同的迭代与不同的工作集大小，并应用TOCAB拓扑驱动的内核在拉方向。评估表明，与手工优化的实现和最先进的框架（例如CuSha和Gunrock）相比，GraphCage可以将性能提高2 ~ 4倍，并且内存消耗比CuSha更少。
2019-04-03 cs.DC
A Concurrent Queue System for Multi-GPU Platforms: Application to Bellman-Ford SSSP
Koc University（科奇大学）
本文设计实现了基于NVIDIA NVSHMEM的多GPU并发队列系统，以Bellman-Ford SSSP算法为案例测试，在A100 GPU及10种测试图上分别取得最高3.92倍、3.03倍的加速比，为同类首个多GPU并发队列实现。
2026-08-25 cs.DC
2FACE: Bi-Directional Face Traversal for Efficient Geometric Routing
提出了双向人脸遍历算法$2FACE$，以缩短几何路由中消息到达目的地的路径。我们的算法结合了最好的单向遍历算法的实用性与最坏情况下的消息复杂度$O(|E|)$，其中$E$是网络边缘的数量。我们将$2FACE$应用到各种几何路由算法中。我们的模拟结果表明，双向人脸遍历减少了两到三倍的消息传递的延迟相比，单向人脸遍历。这样选择的路径接近最短的可能路线。这种速度上的提高伴随着类似的消息开销增加。我们描述了一种算法，它通过记录更好的面遍历方向来补偿此消息开销。因此，如果源有多个消息要发送到目的地，则后续消息将遵循最短路由。我们的模拟结果表明，与大多数几何路由算法的消息开销，找到最短的路线，通过双向面遍历补偿在两个到四个重复消息。
2006-11-22 cs.DC cs.DS cs.OS
High-Performance Out-of-core Block Randomized Singular Value Decomposition on GPU
奇异值分解（SVD）的快速计算在各种机器学习任务中具有重要意义。最近，基于随机线性代数的奇异值分解方法在这方面表现出显着的加速。本文试图通过利用现代计算架构，即图形处理单元（GPU），进一步加速计算，目标是处理可能不适合GPU内存的大规模数据。它导致了一种新的块随机算法，该算法充分利用了GPU的能力，并以核外方式有效地处理大规模数据。我们的实验表明，所提出的块随机SVD（BRSVD）方法优于现有的随机SVD方法在保持相同的精度方面的速度。我们还展示了它的应用凸鲁棒主成分分析，这表明显着的加速在计算机视觉应用。
2017-06-22 cs.DC
GPU-Framework for Teamwork Action Recognition
由于复杂的计算模型，团队动作识别的实时的处理是一个挑战，以实现高系统性能。因此，本文提出了一种基于图形处理单元（GPU）的框架，以实现一个显着的速度在性能的角色为基础的活动识别的团队合作。该框架可以应用于各个领域，特别是体育和军事应用。此外，该框架可以定制许多动作识别应用程序。本文介绍了该框架的各个阶段，其中GPU是提高性能的主要工具。通过在GPU上执行视频处理和机器学习算法来实现加速。视频处理和机器学习算法涵盖了我们框架中涉及的所有计算。视频处理任务涉及运动检测、分割和对象跟踪算法的GPU实现。此外，我们的框架集成了GPUCV，这是OpenCV功能的GPU版本。在我们的框架下，支持机器学习任务的GPU实现的支持向量机（SVM）的对象分类和特征离散化，隐马尔可夫模型（HMM）的活动识别阶段，和ID 3算法的团队成员的角色识别。该系统在UC-Teamwork数据集上进行了测试，在NVidia 9500 GT图形卡（32 500 MHz处理器）上实现了20倍的加速比。
2013-10-12 cs.DC
Efficient and High-quality Sparse Graph Coloring on the GPU
图着色已被广泛用于并行计算中的并发发现。为了加速大规模数据集的图着色，已经提出了利用现代GPU的并行算法。现有的GPU实现要么具有有限的性能，要么产生不令人满意的着色质量（分配的颜色太多）。我们提出了一个工作效率高的并行图着色的GPU上实现具有良好的着色质量。我们的方法采用了投机贪婪计划，内在地产生更好的质量比找到最大独立集的方法。为了在GPU上实现高性能，我们改进了算法，以利用有效的运算符和减少冲突。我们还结合了常见的优化技术，以进一步提高性能。我们的方法进行评估与合成和现实世界的稀疏图形的NVIDIA GPU。实验结果表明，我们提出的实现实现平均4.1倍（高达8.9倍）的串行实现的加速比。它的性能也优于现有的GPU实现从NVIDIA ® SPARSE库（2.2倍的平均加速），同时产生更好的着色质量比SPARSE。
2020-01-17 cs.DC
Every Microsecond Matters: Achieving Near Speed-of-Light Latency in GPU Collectives
ETH Zürich（苏黎世联邦理工学院）；NVIDIA Corporation（英伟达公司）
研究在扩展网络中使GPU集合通信接近硬件光速下限的方法，确定关键原则，基于NCCL开发低延迟接口实现新对称集合，微基准测试和实际应用表明能降低延迟、提升吞吐量，对AI推理和传统HPC工作负载有益。
2026-07-20 cs.DC
Exploring the Design Space of Static and Incremental Graph Connectivity Algorithms on GPUs
连通分支和生成森林是图的基本算法，因为它们在图聚类和图像分割等重要应用中有着广泛的应用。GPU是图形算法的理想平台，因为其高峰值性能和内存带宽。虽然文献中存在几种GPU连接算法，但许多设计选择尚未探索。在本文中，我们将探讨GPU连接算法中的各种设计选择，包括采样、链接和树压缩，适用于静态和增量设置。我们的各种设计选择导致超过300个新的GPU实现的连接，其中许多优于国家的最先进的。我们提出了一个实验评估，并表明，我们实现了2.47倍加速比现有的静态算法的平均加速。在增量设置中，我们实现了高达每秒482.3亿条边的吞吐量。与72核机器上最先进的CPU实现相比，我们使用Tesla V100 GPU实现了8.26- 14.51倍的静态连接加速和1.85- 13.36倍的增量连接加速。
2020-08-26 cs.DC
Parallel Vertex Cover Algorithms on GPUs
在图中寻找小顶点覆盖在许多领域都有应用。该问题的两个常见公式包括：最小顶点覆盖，它找到图中最小的顶点覆盖，和参数化顶点覆盖，它找到大小小于或等于某个参数$k$的顶点覆盖。两种公式的算法都遍历搜索树，搜索树随着图的大小或$k$的值呈指数增长。由于多种原因，在GPU上对顶点覆盖搜索树的遍历进行并行化是具有挑战性的。首先，搜索树是一个狭窄的二叉树，这使得它很难提取足够的子树并行处理，以充分利用GPU的资源。其次，搜索树高度不平衡，这使得跨大量并行GPU工作器的负载均衡具有挑战性。第三，保持并行遍历许多子树所需的所有中间状态对GPU的存储器资源造成很大压力，并且可能成为并行性的限制因素。为了解决这些挑战，我们提出了一种方法来遍历顶点覆盖搜索树并行使用GPU，同时处理动态负载均衡。每个线程块使用本地堆栈遍历不同的子树，但是，我们也使用全局工作列表来平衡负载。块根据需要将其子树的分支贡献给全局工作列表，而完成其子树的块从全局工作列表中获得新的分支。我们使用度数组来表示中间图，这样表示在内存中是紧凑的，以避免限制并行性，但独立的，这是必要的负载均衡。我们的评估表明，与以前的工作相比，我们的混合使用本地堆栈和全局工作列表的方法大大提高了性能，减少了负载不平衡，特别是在困难的情况下的问题。
2022-04-21 cs.DC
SOLANET: Distributed Neighbor Graph Construction on GPU-Accelerated Systems
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
提出SOLANET，一种在GPU加速分布式系统上通过本地图构建和远程近似最近邻搜索实现高效邻居图构建的工具，在MI300A APU上单GPU性能优于现有方法，并在大规模数据上展示近线性加速。
2026-05-26 cs.DC
Fast Integral Histogram Computations on GPU for Real-Time Video Analytics
在许多多媒体内容分析框架中，表示为直方图的特征似然图在整个算法中起着关键作用。积分直方图为在恒定时间内提取多尺度基于直方图的区域描述符提供了有效的计算框架，这些区域描述符被认为是许多视频内容分析框架的主要构建块。我们评估四个不同的映射的积分直方图计算到图形处理单元（GPU）使用不同的内核优化策略。我们的内核以交叉编织或波前扫描顺序对行和列直方图执行累积求和，使用不同的数据组织和调度方法，这些方法严重影响GPU资源（核心和共享内存）的利用率。与基于条带的组织相比，将3D阵列平铺成更小的规则数据块显著加快了计算效率。与单线程顺序CPU实现相比，使用GTX Titan X图形卡，使用对角波前扫描的平铺积分直方图对于640 x 480图像和32个仓具有约300.4帧/秒的最佳性能，加速因子约为120。双缓冲已被利用来重叠跨图像序列的计算和通信。将积分直方图箱计算映射到多个GPU上使我们能够以0.73 Hz的帧速率和比单线程CPU实现高153倍的加速因子以及比16线程CPU实现高45倍的加速因子来处理32千兆字节的积分直方图数据（64 MB图像和128个箱）。
2017-11-06 cs.DC
FZ-GPU: A Fast and High-Ratio Lossy Compressor for Scientific Computing Applications on GPUs
针对现有科学数据有损压缩器无法兼顾高压缩比与高吞吐量的问题，本文提出GPU端的FZ-GPU压缩器，通过优化压缩流水线与CUDA架构实现更优性能。
2023-05-02 cs.DC
GPU Programming - Speeding Up the 3D Surface Generator VESTA
新颖的“体积包围表面提取算法”（VESTA）从计算机断层摄影体积图像和/或三维（3D）模拟数据生成三角形等值面。在这里，我们提出了VESTA和当前最先进的Marching Cubes算法（MCA）的基于GPU的代码实现的各种基准。这项研究的一个主要结果是VESTA运行速度明显快于MCA。
2015-01-26 cs.CG cs.DC cs.GR
gpuPairHMM: High-speed Pair-HMM Forward Algorithm for DNA Variant Calling on GPUs
Johannes Gutenberg University（约翰内斯·古腾堡大学）；NVIDIA Corporation（英伟达公司）
gpuPairHMM是一种基于GPU的高吞吐量配对-HMM前向算法，用于加速DNA变异检测，其在多种GPU上实现了接近峰值的性能，并在不同硬件上均优于现有方法。
2024-11-18 cs.DC q-bio.GN
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Communication Strategy Selection for Multi-GPU 3D FDTD with Convolutional Perfectly Matched Boundary Layers
Oregon State University（俄勒冈州立大学）
针对带CPML边界条件的多GPU三维FDTD计算，研究直接GPU间对等交换相比主机中转的加速效果，并评估扩大鬼域区域的影响。
2026-06-05 cs.DC math-ph math.MP
Analysing the Performance of GPU Hash Tables for State Space Exploration
在过去的几年中，通用图形处理器（GPU）已被用于显着加速许多应用程序。GPU最近带来显著加速的领域之一是模型检验。在模型检验中，状态空间，即，大的有向图，探索，以验证模型是否满足所需的属性。GPUexplore是一个基于GPU的模型检查器，它使用一个哈希表来有效地跟踪已经探索过的状态。由于在这种探索期间发现并存储了大量的状态，因此哈希表应该能够快速地并发处理许多插入和查询。在本文中，我们实验比较了两种不同的哈希表优化的GPU，一个是GPU探索哈希表，另一个使用布谷鸟哈希。我们使用从模型检验实验中获得的随机和非随机数据来比较两种哈希表的性能，以分析两种哈希表用于状态空间探索的适用性。我们得出的结论是，对于随机数据，Cuckoo哈希比GPU explore哈希快三倍，对于非随机数据，Cuckoo哈希快五到九倍。这表明在不久的将来进一步加速GPU探索的巨大潜力。
2017-12-27 cs.DC cs.DS
Speed, power and cost implications for GPU acceleration of Computational Fluid Dynamics on HPC systems
本文利用ANSYS Fluent评估HPC上CFD工作流GPU加速的速度、功耗与成本，发现GPU计算更快，但初始化、功耗和成本优势因GPU型号及数量而异。
2024-04-03 cs.DC cs.NA cs.PF
Divide-and-Conquer 3D Convex Hulls on the GPU
我们描述了一个纯粹的分治并行算法计算三维凸包。我们在GPU硬件上实现了该算法，并找到了一个显着的加速比可比的CPU实现。
2012-05-06 cs.CG cs.DC
Technical Report: Accelerating Dynamic Graph Analytics on GPUs
由于图形分析通常涉及计算密集型操作，因此GPU已被广泛用于加速处理。然而，在诸如社交网络、网络安全和欺诈检测的许多应用中，它们的代表图频繁地演变，并且必须在GPU上执行图结构的重建以并入更新。因此，图的重建成为处理高速图流的瓶颈。在本文中，我们提出了一个基于GPU的动态图存储方案，以支持现有的图形算法容易。此外，我们提出了并行更新算法，以支持高效的流更新，使维护的图形是立即可用于GPU上的高速分析处理。我们在大规模真实数据集和合成数据集上使用三个流应用程序进行了广泛的实验，证明了我们所提出的方法的优越性能。
2018-06-27 cs.DC cs.DS
Using hardware performance counters to speed up autotuning convergence on GPUs
Institute of Computer Science, Masaryk University（马萨里克大学计算机科学研究所）
如今，GPU加速器通常用于加速各种硬件上的通用计算任务。然而，由于GPU架构和处理数据的多样性，针对特定类型的硬件和特定数据特征的代码优化可能极具挑战性。与性能相关的源代码参数的自动调优允许应用程序的自动优化，并保持其性能的可移植性。虽然自动调优过程通常会导致代码加速，但如果（i）调优空间很大并且充满了性能不佳的实现，或者（ii）由于处理的数据发生变化或迁移到不同的硬件，因此必须频繁重复自动调优过程，则搜索调优空间可能会带来不可接受的开销。在本文中，我们介绍了一种新的方法来搜索调谐空间。该方法利用在经验调优期间收集硬件性能计数器（也称为分析计数器）的优势。这些计数器用于将搜索过程导航到更快的实现。该方法需要在任何GPU上对调谐空间进行采样。它构建了一个特定于问题的模型，可以在各种甚至以前看不见的输入或GPU上进行自动调整时使用。使用一组五个基准测试，我们实验证明，我们的方法可以加快自动调整时，应用程序需要被移植到不同的硬件，或者当它需要处理具有不同特性的数据。我们还比较了我们的方法的最先进的，并表明，我们的方法是优越的搜索步骤的数量方面，通常优于其他搜索的收敛时间。
2021-09-17 cs.DC cs.LG cs.PF
Speeding up Local Optimization in Vehicle Routing with Tensor-based GPU Acceleration
School of Management, Huazhong University of Science and Technology（华中科技大学管理学院）
本文提出基于张量的GPU加速方法，用于加速车辆路径问题中的局部优化，通过高效计算提升计算效率和解质量。
2026-01-29 cs.AI cs.DC
Optimized Password Recovery for Encrypted RAR on GPUs
RAR使用经典的对称加密算法SHA-1哈希和AES算法进行加密，密码恢复的唯一方法是暴力破解，非常耗时。在本文中，我们提出了一种使用GPU来加快密码恢复过程的方法。但由于SHA-1哈希算法中计算量大、耗时长的部分很难并行化，因此本文采用粗粒度并行。也就是说，一个GPU线程负责验证一个密码。我们主要使用了三种优化方法来优化这个并行版本：CPU和GPU之间的异步并行、冗余计算和条件语句减少以及寄存器使用优化。实验结果表明，在AMD FirePro W8000 GPU上，该算法的最终版本比在Intel Core i5 CPU上优化的串行版本的性能提高了43~57倍。
2015-05-28 cs.CR cs.DC
GPU-Accelerated Algorithms for Compressed Signals Recovery with Application to Astronomical Imagery Deblurring
Politecnico di Torino（都灵理工大学）
压缩传感有望通过提升从源到接收器的编码复杂度来实现天文数据的带宽有效的机载压缩。信号被离线恢复，利用GPU的并行计算能力来加速重建过程。然而，固有的GPU硬件约束限制了可恢复信号的大小和实际可实现的加速。在这项工作中，我们设计的并行算法，利用循环矩阵的性能，有效的GPU加速稀疏信号恢复。我们的方法降低了内存需求，使我们能够用有限的内存恢复非常大的信号。此外，由于矩阵向量乘法和矩阵求逆的ad-hoc并行化，它实现了十倍的信号恢复加速。最后，我们实际证明了我们的算法在循环矩阵的一个典型应用：在压缩域中去模糊稀疏天文图像。
2017-07-07 astro-ph.IM cs.CV cs.DC
A New Data Layout For Set Intersection on GPUs
交集是频繁项集挖掘、稀疏布尔矩阵乘法等问题的核心。众所周知，对于某些计算问题，可以通过使用图形处理单元（GPU）作为大规模并行计算设备来获得大的速度增益。然而，GPU需要高度规则的控制流和存储器访问模式，并且出于这个原因，先前用于相交集合的GPU方法使用了简单的位图表示。这种表示需要在稀疏数据集上占用过多的空间。在本文中，我们提出了一种新的数据布局，“蝙蝠地图”，这是特别适合于并行处理，即使是稀疏数据紧凑。频繁项集挖掘是集交理论的重要应用之一。作为BatMaps潜力的案例研究，我们专注于频繁对挖掘，这是频繁项集挖掘的核心特例。主要的发现是，我们的方法是能够实现加速比Apriori和FP增长时，不同的项目的数量是大的，和问题实例的密度是1%以上。以前在GPU上实现的频繁项集挖掘无法显示最佳单线程实现的加速。
2011-02-04 cs.DC cs.DS
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络（DNN）的训练过程是计算密集型的，通常需要数天到数周的时间来训练DNN模型。因此，在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单，数据并行是目前最常用的并行化方法。然而，由于GPU之间频繁的权重同步，数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行，它在GPU之间划分DNN模型，并并发处理多个小批。与数据并行相比，该方法可以显著降低GPU间通信成本。然而，流水线模型并行面临着权重陈旧的问题;也就是说，梯度是用陈旧的权重计算的，导致训练不稳定和精度损失。在本文中，我们提出了一种流水线模型并行执行方法，使高GPU利用率，同时保持强大的训练精度，通过一种新的权重预测技术，SpecTrain。实验结果表明，我们的建议实现了高达8.91倍的加速比相比，在4-GPU平台上的数据并行，同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
Accelerating Recommender Systems using GPUs
我们描述了GPU实现的矩阵推荐算法CCD++和ALS。我们比较的处理时间和预测能力的GPU实现与现有的多核版本的相同的算法。GPU上的结果优于多核版本（最大加速比为14.8）。
2015-11-08 cs.DC cs.IR
Exact Sparse Matrix-Vector Multiplication on GPU's and Multicore Architectures
我们提出了有限域和环$\Zb/m\Zb$的稀疏矩阵--稠密向量乘法（\spmv{}）的不同实现。我们利用图形卡处理器（GPU）和多核架构。我们的目标是提高\linbox库中的\spmv{}的速度，以及今后其黑盒算法的速度。此外，我们使用这个和一个新的并行化的sigma基算法在有限域上的并行块Wiedemann秩实现。
2010-04-21 cs.DC cs.MS cs.SC
Multi-GPU Distributed Parallel Bayesian Differential Topic Modelling
Research School of Computer Science（计算机科学研究学院）
数据、文档和其他内容爆炸式增长，人们需要工具来分析和解释这些内容，需要工具将内容转化为信息和知识。主题建模是为了解决这些问题而发展起来的。主题模型，如LDA [Blei et. 2003]允许自动提取数据中的显著模式。在分析文本时，这些模式被称为主题。在LDA的众多扩展中，很少有扩展能够可靠地分析多组文档并提取主题相似性。最近，差分主题建模（SPDP）的引入[Chen et. 2012]在区别性设置中一致地比许多主题模型表现得更好。还需要提高主题模型的采样速度。虽然已经为分布式算法做出了一些努力，但目前还没有使用图形处理单元（GPU）完成的工作。注意，GPU框架已经成为解决许多问题的最具成本效益的平台。在本论文中，我提出并实现了一个近似于SPDP的可扩展的多GPU分布式并行框架。通过实验，我已经证明了我的算法在速度上提高了大约50倍，同时几乎同样准确，只有一个便宜的笔记本电脑GPU。此外，我已经证明了当使用多个GPU时，速度的提高是次线性可扩展的，同时保持了准确性。因此，在中型GPU集群上，速度提升可能达到一千倍。注意SPDP只是LDA的其他扩展的代表。虽然我的算法是为了与SPDP一起工作而实现的，但它被设计成足够通用的，可以与其他主题模型一起工作。对较小集合的加速（即，这意味着这些更复杂的LDA扩展现在可以实时完成，从而开辟了在工业中使用这些LDA模型的新方法。
2015-10-22 cs.CL cs.DC cs.LG
Fast Locality Sensitive Hashing for Beam Search on GPU
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
我们提出了一种基于GPU的局部敏感哈希（LSH）算法，以加快序列模型的束搜索。我们利用赢家通吃（WTA）哈希，这是基于隐藏的维度的相对排名顺序，从而弹性的数值扰动。我们的算法设计充分考虑了CUDA支持的GPU的底层架构（算法/架构协同设计）：1）并行Cuckoo哈希表用于LSH代码查找（保证O（1）查找时间）; 2）候选列表在波束之间共享以最大化并行性; 3）顶部频繁字合并到候选列表中以提高性能。在4个大规模神经机器翻译模型上的实验表明，该算法在softmax模块上可以获得4倍的加速比，在GPU上可以获得2倍的整体加速比，而不会损害BLEU。
2018-06-02 cs.AI cs.CL cs.DC
SPEED: Streaming Partition and Parallel Acceleration for Temporal Interaction Graph Embedding
Fudan University（复旦大学）；University of California, Davis（加州大学戴维斯分校）；Tencent Weixin Group（腾讯微信事业群）
针对时序交互图无法并行处理且难以扩展至GPU的问题，提出SPEED方法，通过流式边划分与并行加速组件实现多GPU训练加速，最高提速19.29倍并降低69%资源消耗，同时保持下游任务竞争力。
2023-09-11 cs.DC cs.LG cs.SI
FliX: Flipped-Indexing for Scalable GPU Queries and Updates
University of Waterloo（滑铁卢大学）；Johannes Gutenberg University（约翰内斯·古腾堡大学）
FliX通过翻转索引范式，实现动态全GPU驻留CDSs的高效查询和更新，减少冗余工作和战败分歧，提升吞吐量和性能。
2026-04-17 cs.DB cs.DC cs.DS
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练，因此需要将DL训练扩展到GPU集群。然而，当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差，因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次，从而导致更频繁的网络同步。我们提出了Poseidon，一个有效的通信架构，用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算，减少突发网络通信。此外，Poseidon使用混合通信方案，根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升，即使带宽有限（10 GbE）和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外，Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升，比开源TensorFlow（20倍速度提升）提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
Streaming Data from HDD to GPUs for Sustained Peak Performance
在全基因组关联研究（GWAS）的背景下，人们必须解决长序列的广义最小二乘问题;这样的任务有两个限制因素：执行时间-通常在几天或几周的范围内-和数据管理-数据集在TB级。我们提出了一个算法，避免这两个问题。通过流水线计算，并感谢一个复杂的传输策略，我们流数据从硬盘到主内存到GPU，并实现持续的峰值性能;相对于一个高度优化的CPU实现，我们的算法显示了2.6倍的加速比。此外，该方法适用于多个GPU，并获得几乎完美的可扩展性。当使用4个GPU时，我们观察到上述实现的加速比为9倍，而在广泛的生物学库中为488倍。
2013-02-18 cs.CE cs.DC cs.MS
Efficient Batch Search Algorithm for B+ Tree Index Structures with Level-Wise Traversal on FPGAs
Otto-von-Guericke University Magdeburg（奥托·冯·古里克马格德堡大学）；TU Bergakademie Freiberg（弗莱贝格工业大学）
本文提出一种基于B+树索引结构的高效批量搜索算法，通过FPGA上的层次遍历实现，减少全局内存访问，提高节点重用率，并支持可变批量大小和树深度。
2026-04-22 cs.AR cs.DB cs.DC
Accelerating Polynomial Multiplication for Homomorphic Encryption on GPUs
同态加密（HE）使用户能够安全地将敏感数据的存储和计算外包给不受信任的服务器。HE不仅为云系统的安全性提供了有吸引力的解决方案，而且基于格子的HE系统也被认为可以抵抗量子计算机的攻击。然而，当前的HE实现遭受过高的延迟。为了使基于格的HE在现实世界的系统中变得可行，关键瓶颈-特别是多项式乘法-必须是高效的。在本文中，我们提出了一个基于GPU的多项式乘法实现的表征。我们首先对模块化约简技术进行了调查，并分析了广泛使用的Barrett模块化约简算法的几个变体。然后，我们提出了一个模块化的减少变种优化的64位整数字的GPU上，获得了1.8倍的速度比现有的可比实现。接下来，我们将探索以下针对GPU的多项式乘法改进，以优化延迟和吞吐量：1）我们提出了一种2D混合基数、多块的NTT实现，其平均加速比是之前最先进技术的1.85倍。2）我们探索了旨在减少冗余内存访问的共享内存优化，进一步将加速比提高1.2倍。3)最后，我们融合的阿达玛产品与相邻阶段的NTT，减少旋转因子的内存占用50%。通过结合我们的NTT优化，我们实现了123.13倍和2.37倍的整体加速比，分别超过了以前最先进的CPU和GPU实现的NTT内核。
2022-09-02 cs.AR cs.CR cs.DC
