Faster Vertex Cover Algorithms on GPUs with Component-Aware Parallel Branching
Department of Computer Science at the American University of Beirut（贝鲁特美国大学计算机科学系）；David R. Cheriton School of Computer Science at the University of Waterloo（滑铁卢大学大卫R.切里顿计算机科学学院）
本文提出一种在GPU上负载平衡的并行分支方法，通过检测图分裂组件并独立处理以提高顶点覆盖算法效率。
2025-12-20 cs.DC
Accelerating Concurrent Heap on GPUs
优先级队列（Priority queue），通常以堆的形式实现，是一种抽象的数据类型，已经在许多著名的应用程序中使用，如Dijkstra的最短路径算法，Prim的最小生成树，Huffman编码和分支定界算法。然而，这是具有挑战性的利用GPU上的堆的并行性，因为控制发散和内存不规则性必须考虑。在本文中，我们提出了一个并行广义堆模型，有效地工作在GPU上。我们还证明了我们的广义堆模型的线性化，使我们能够对预期的结果的原因。我们彻底评估了我们的并发堆，并显示出最大19.49倍的加速比与顺序CPU实现和2.11倍的加速比与现有的GPU实现。我们还将堆应用于单源最短路径，加速比高达1.23倍，0/1背包问题加速比高达12.19倍。
2019-06-15 cs.DC
$O(1)$-Round MPC Algorithms for Multi-dimensional Grid Graph Connectivity, EMST and DBSCAN
本文提出$O(1)$轮MPC算法，解决多维网格图连通性、近似EMST和DBSCAN聚类，实现确定性边级近似，优于现有期望近似。
2025-01-21 cs.CC cs.CG cs.DC
TREES: A CPU/GPU Task-Parallel Runtime with Explicit Epoch Synchronization
我们已经开发了一个任务并行运行时系统，称为TREES，这是专为CPU/GPU平台上的高性能。在具有多个CPU的平台上，Cilk的“工作优先”原则是任务并行应用程序如何实现性能的基础，但工作优先不适合GPU。我们以工作第一为基础，创建了“协同工作”原则，以解决GPU的具体优势和劣势。协同工作原则扩展了工作优先原则，指出：（a）关键路线上的间接费用应由整个系统立即支付;（b）工作间接费用应由合作支付。我们在OpenCL中实现了TREES运行时，并在CPU/GPU平台上对TREES应用程序进行了实验评估。
2016-08-01 cs.DC cs.OS cs.PL
Speculative Parallel Evaluation Of Classification Trees On GPGPU Compute Engines
DePaul University（德保罗大学）
我们研究的问题，通过使用GPU的在线和实时应用程序的优化分类树评价。针对图像分割中经常使用的连续属性树，我们首先将现有的串行和数据并行评价算法建立在坚实的基础上。然后，我们介绍了一个推测性的并行算法设计的单指令，多数据（SIMD）架构中常见的GPU。理论分析表明，如何运行时间的数据和推测分解比较假设独立的处理器。为了比较SIMD环境中的算法，我们实现了CUDA 2.0架构的机器和比较时序的串行CPU实现。各种优化及其效果进行了讨论，并给出了所有算法的结果。我们的具体测试表明，与数据分解相比，推测算法将运行时间提高了25%。
2011-11-06 cs.CV cs.DC
The Shamrock code: I- Smoothed Particle Hydrodynamics on GPUs
本文提出基于 C++17 和 SYCL 的性能可移植框架 Shamrock，通过二进制代数加速并行树构建并实现 Phantom 的 SPH 算法，在超算上千 GPU 上以高于 90% 的并行效率实现每秒数十亿粒子的处理能力。
2025-03-12 astro-ph.IM cs.DC
LUDA: Boost LSM Key Value Store Compactions with GPUs
基于日志结构化合并（Log-Structured-Merge，LSM）树的键值存储正面临充分利用底层存储设备的显著性能改进的关键挑战，这使得LSM键值存储的压缩操作变得受CPU限制，并且缓慢的压缩显著降低键值存储性能。为了解决这个问题，我们提出了LUDA，一个带有CUDA的LSM键值存储，它使用GPU来加速LSM键值存储的压缩操作。如何有效地并行压缩程序，以及适应GPU架构的最佳性能合同的挑战LUDA。具体来说，LUDA克服了这些挑战，利用压缩过程之间的数据独立性，并使用合作排序机制和明智的数据移动。在不同CPU开销水平下运行在商用GPU上，评估结果显示LUDA提供了高达2倍的吞吐量和2倍的数据处理速度，并实现了比LevelDB和RocksDB更稳定的第99百分位延迟。
2020-04-07 cs.DC
Exploring the Design Space of Static and Incremental Graph Connectivity Algorithms on GPUs
连通分支和生成森林是图的基本算法，因为它们在图聚类和图像分割等重要应用中有着广泛的应用。GPU是图形算法的理想平台，因为其高峰值性能和内存带宽。虽然文献中存在几种GPU连接算法，但许多设计选择尚未探索。在本文中，我们将探讨GPU连接算法中的各种设计选择，包括采样、链接和树压缩，适用于静态和增量设置。我们的各种设计选择导致超过300个新的GPU实现的连接，其中许多优于国家的最先进的。我们提出了一个实验评估，并表明，我们实现了2.47倍加速比现有的静态算法的平均加速。在增量设置中，我们实现了高达每秒482.3亿条边的吞吐量。与72核机器上最先进的CPU实现相比，我们使用Tesla V100 GPU实现了8.26- 14.51倍的静态连接加速和1.85- 13.36倍的增量连接加速。
2020-08-26 cs.DC
TrioSeq: A Novel Approach to Accelerate Triplet Sequence Alignment on GPUs
INESC-ID, Instituto Superior Técnico（葡萄牙高级技术研究所）
针对现有GPU加速三联体序列比对效率低的问题，提出TrioSeq方法，利用GPU细粒度并行和同步机制实现高通量比对，在NVIDIA和AMD GPU上性能提升至少20%。
2026-05-27 cs.DC
PANDORA: A Parallel Dendrogram Construction Algorithm for Single Linkage Clustering on GPU
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出PANDORA，一种基于递归树收缩的并行算法，用于在GPU上高效构建单链接层次聚类的树状图，在多厂商GPU上显著优于现有最佳实现。
2024-01-11 cs.DC cs.LG
Solving large permutation flow-shop scheduling problems on GPU-accelerated supercomputers
置换流水车间调度中的最小完工时间问题是一个著名的组合优化难题。在E.在1993年的Taillard，23个案件近30年来一直没有解决。在本文中，我们提出了我们的尝试，解决这些情况下的最优使用并行分支定界树搜索的GPU加速让Zay超级计算机。我们报告了11个以前未解决的问题实例的精确解，并改进了8个实例的上界。这些问题的解决方案既需要算法改进，也需要利用千万亿次高性能计算平台的计算能力。所面临的挑战在于，在由数百个大规模并行加速器设备和多核处理器组成的分布式系统上，高效地执行高度不规则的细粒度搜索树的并行深度优先遍历。我们提出并讨论了我们的基于置换的B&B的设计和实现，并通过实验评估其并行性能高达384 V100 GPU（200万CUDA核心）和3840 CPU核心。最大解决实例的最优性证明需要大约64 CPU年的计算-使用256个GPU和超过400万个并行搜索代理，搜索树的遍历在13小时内完成，探索339个$\times 10^{12}$节点。
2020-12-17 cs.DC
GPUTreeShap: Massively Parallel Exact Calculation of SHAP Scores for Tree Ensembles
Nvidia Corporation（英伟达公司）；University of Waikato（怀卡托大学）
SHAP（SHapley加法解释）值提供了基于Shapley值的机器学习模型的预测的博弈论解释。虽然SHAP值的精确计算通常在计算上是难以处理的，但是称为TreeShap的递归多项式时间算法可用于决策树模型。然而，尽管它的多项式时间复杂度，TreeShap可以成为一个显着的瓶颈时，实际的机器学习管道应用于大型决策树集成。不幸的是，复杂的TreeShap算法很难映射到GPU等硬件加速器。在这项工作中，我们提出了GPUTreeShap，一个重新制定的TreeShap算法，适用于大规模并行计算的图形处理单元。我们的方法首先预处理每个决策树，以隔离可变大小的子问题，从原来的递归算法，然后解决装箱问题，最后映射子问题的单指令，多线程（SIMT）任务的并行执行与专门的硬件指令。凭借单个NVIDIA Tesla V100-32 GPU，我们在两个20核Xeon E5-2698 v4 2.2 GHz CPU上执行的最先进的多核CPU实现中，实现了高达19倍的SHAP值加速和高达340倍的SHAP交互值加速。我们还使用8个V100 GPU进行了多GPU计算实验，展示了每秒120万行的吞吐量-基于CPU的等效性能估计需要6850个CPU内核。
2022-02-03 cs.DC cs.LG
A GPU-Accelerated Fast Summation Method Based on Barycentric Lagrange Interpolation and Dual Tree Traversal
提出了求解粒子相互作用的重心拉格朗日对偶树遍历（BLDTT）快速求和方法。该计划取代了良好分离的粒子-粒子相互作用的自适应选择粒子簇，集群粒子，集群集群近似给出重心拉格朗日插值在代理粒子上的切比雪夫网格在每个集群。BLDTT是独立于内核的，并且近似可以有效地映射到GPU上，其中目标粒子提供外部并行性级别，源粒子提供内部并行性级别。我们提出了一个OpenACC GPU实现的MPI远程内存访问的分布式内存并行化的BLDTT。GPU加速的BLDTT的性能表现为不同的问题大小，粒子分布，几何域，和相互作用内核，以及不平等的目标和源粒子的计算。与我们早期的粒子团重心拉格朗日树码（BLTC）的比较表明，BLDTT的优越性能。特别地，在单个GPU上，对于从$N$ = 1 E5到1 E8的问题大小，BLTC具有$O(N\log N)$缩放，而BLDTT具有$O(N)$缩放。此外，MPI强缩放结果的BLTC和BLDTT使用$N$ = 64 E6粒子上多达32个GPU。
2020-12-13 cs.DC physics.comp-ph
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.（字节跳动公司）；Northeastern University（东北大学）；New York University（纽约大学）
多实例GPU（Multi-Instance GPU，简称GPU）是NVIDIA A100 GPU推出的一项新功能，可将一个物理GPU划分为多个GPU实例。借助GPU，A100可以成为服务于深度神经网络（DNN）的最具成本效益的GPU。然而，发现最有效的GPU分区是具有挑战性的。底层问题是NP难的，而且，它是一个新的抽象问题，我们定义为可重构机器调度问题（RMS）。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案，MIG服务。分布式服务是一个算法管道，融合了各种新设计的算法和定制的经典算法，包括启发式贪心算法，遗传算法（GA）和蒙特卡罗树搜索算法（MCTS）。我们在Kubernetes上实现了MIG服务。我们的实验表明，与使用A100相比，MIG服务可以节省高达40%的GPU，同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
A GPU-Accelerated Barycentric Lagrange Treecode
我们提出了一个MPI + OpenACC实现的内核独立的重心拉格朗日树码（BLTC）的快速求和的GPU上的粒子相互作用。分布式内存并行化使用递归坐标二分法进行区域分解和MPI远程内存访问来构建每个秩上的本地本质树。粒子交互被组织成目标批处理/源集群交互，这些交互有效地映射到GPU上;目标并行化提供了外部并行化级别，而重心粒子集群近似的直接和形式提供了内部并行化级别。在几个测试用例上，通过库仑势和汤川势验证了GPU加速的BLTC性能，测试粒子数高达10亿。
2020-03-13 cs.DC physics.comp-ph
Massively Parallel Construction of Radix Tree Forests for the Efficient Sampling of Discrete Probability Distributions
我们比较了不同的离散概率分布采样方法，并介绍了一种新的算法，这是特别有效的大规模并行处理器，如GPU。该方案保留了输入序列的分布特性，平均暴露恒定的时间复杂度，并显着降低了某些分布的平均操作数时，采样是在一个并行算法，需要同步后执行。避免了朴素方法的负载均衡问题，补充了所需辅助数据结构的非常有效的大规模并行构造算法。
2019-08-30 cs.DC cs.GR
GPU backed Data Mining on Android Devices
University of Vienna（维也纳大学）
为低功耗设备上的高性能计算选择适当的编程范式可以有助于加速计算。许多Android设备都集成了GPU，尽管没有官方支持，但OpenCL框架可以在Android设备上用于处理这些GPU。OpenCL支持线程和数据并行。使用GPU的应用程序必须考虑到它们可以随时被用户或Android操作系统挂起的事实。我们已经创建了一个包装库，允许在Android设备上使用OpenCL。已经编写的OpenCL程序几乎不需要修改就可以执行。我们使用这个库比较了DBSCAN和Kmeans算法在Arm-v7平板电脑的集成GPU上的性能，以及同一设备上的其他单线程和多线程实现。我们已经研究了哪种编程范式和语言允许执行速度和能耗之间的最佳权衡。在Android设备上使用GPU for HPC有助于在偏远地区、恶劣环境条件下以及能源供应存在问题的地区执行计算密集型机器学习或数据采掘任务。
2021-12-09 cs.DC cs.LG
Bonsai: A GPU Tree-Code
我们提出了一个重力层次N体代码，旨在有效地运行在图形处理单元（GPU）。算法的所有部分都在GPU上执行，这消除了中央处理器（CPU）和GPU之间的数据传输的需要。我们的测试表明，引力树代码优于调优的CPU代码的算法的所有部分，并显示出超过20倍的整体性能提高，导致超过每秒280万个粒子的处理速率。
2012-04-10 astro-ph.IM cs.DC
On the Design and Analysis of Parallel and Distributed Algorithms
本文探讨多核时代下并行与分布式算法取代串行算法的趋势，介绍其基础算法、分析及效率考量。
2023-11-10 cs.DC
Arkade: k-Nearest Neighbor Search With Non-Euclidean Distances using GPU Ray Tracing
提出Arkade方法，利用GPU光线追踪硬件，通过两种归约将非欧几里得距离kNN搜索转化为欧几里得距离形式，实现1.6-200倍加速。
2024-04-21 cs.DC cs.GR cs.PF
A sparse octree gravitational N-body code that runs entirely on the GPU processor
我们提出了并行算法的构建和遍历稀疏八叉树的图形处理单元（GPU）。该算法是基于并行扫描和排序方法。为了测试性能和可行性，我们在CUDA中以重力树代码的形式实现了它们，该代码完全在GPU上运行。(The代码可在http：//castle.strw.learnuniv.nl/software.html公开获得）树构造和遍历算法可移植到支持CUDA或OpenCL编程语言的众核设备。重力树代码在树构造期间优于调优的CPU代码，并且总体上显示出超过20倍的性能改进，导致每秒超过280万个粒子的处理速率。
2012-04-10 astro-ph.IM cs.DC
H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示，例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此，有必要为这些矩阵上的分布式操作提供支持的软件，以允许大规模的问题被表示。在本文中，我们提出了高性能，分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块，H2Opus是一个面向性能的软件包，支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的，以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示，Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性，矩阵向量乘法的性能超过2.3 Tflops/s/GPU，矩阵压缩的性能超过670 Gflops/s/GPU，其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率，通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器，并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
EXaCTz: Guaranteed Extremum Graph and Contour Tree Preservation for Distributed- and GPU-Parallel Lossy Compression
The Ohio State University（俄亥俄州立大学）；Oregon State University（俄勒冈州立大学）；University of Utah（犹他大学）
本文提出EXaCTz算法，通过并行方法在损失压缩的标量场数据中保持极值图和轮廓树。算法通过理论证明收敛性，实现高吞吐量和拓扑一致性，实验显示其在单GPU上达到4.52GB/s的吞吐量，远超现有方法。
2026-09-24 cs.DC
GPU-acceleration for Large-scale Tree Boosting
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
在本文中，我们提出了一种新的大规模并行算法来加速GPU（图形处理单元）上的决策树构建过程，这是梯度提升决策树（GBDT）和随机森林训练的关键步骤。以前的基于GPU的树构建算法是基于并行多扫描或基数排序来找到确切的树分裂，因此遭受可扩展性和性能问题。我们表明，使用基于直方图的算法来近似地找到最佳分割是更有效和可扩展的GPU上。通过比较传统的基于GPU的图像直方图构造与决策树训练中的特征直方图构造的差异，提出了一种基于GPU的快速特征直方图构造内核，并设计了计算和内存访问顺序，以减少原子更新冲突，最大限度地提高GPU利用率。我们的算法可以被用来作为一个下降的替代直方图建设在流行的树提升系统，以提高其可扩展性。作为一个例子，为了在GPU数据集上训练GBDT，我们使用主流GPU的方法比LightGBM中基于CPU的直方图算法快7-8倍，比XGBoost中的精确分裂查找算法快25倍，同时达到类似的预测精度。
2017-06-26 cs.DC cs.LG stat.ML
Blink: Fast and Generic Collectives for Distributed ML
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
跨GPU的模型参数同步为大规模数据并行训练引入了高开销。现有的参数同步协议不能有效地利用可用的网络资源，面对不断增加的硬件异构性。为了解决这个问题，我们提出了Blink，一个集体通信库，通过包装生成树动态生成最佳的通信原语。我们提出的技术，以尽量减少生成的树的数量和扩展Blink利用异构通信通道更快的数据传输。评估表明，与最先进的NCCL相比，Blink可以实现高达8倍的模型同步速度，并将图像分类任务的端到端训练时间减少高达40%。
2019-10-11 cs.DC cs.LG
JZ-Tree: GPU friendly neighbour search and friends-of-friends with dual tree walks in JAX plus CUDA
University of Vienna（维也纳大学）
本文提出一种针对GPU架构的Morton(z-order)平面树层级结构，实现高效的双树遍历，显著提升大规模问题的性能，支持多GPU分布式计算。
2026-04-07 astro-ph.CO cs.DC physics.comp-ph
Exploiting ray tracing technology through OptiX to compute particle interactions with cutoff in a 3D environment on GPU
本研究提出利用GPU的光线追踪技术计算3D环境中带截断的粒子相互作用，无需构建单元网格或显式kd树即可实现准线性复杂度，虽当前性能多数情况下不及经典网格方法，但为相关研究提供了新思路。
2024-12-16 cs.DC cs.GR
A High-Throughput AES-GCM Implementation on GPUs for Secure, Policy-Based Access to Massive Astronomical Catalogs
Light Bridges S.L.（Light Bridges 有限公司）；Observatorio Astronómico del Teide（泰德天文台）；Universidad de La Laguna (ULL)（拉古纳大学）；Instituto Tecnológico y de Energías Renovables (ITER)（技术与可再生能源研究所）；Instituto de Astrofísica de Canarias (IAC)（加那利天体物理研究所）
提出一种集成策略引擎与GPU加速AES-GCM的框架，通过并行树归约优化GHASH瓶颈，实现高吞吐量认证加密，支持PB级天文数据的安全访问。
2026-06-16 astro-ph.IM cs.CR cs.DC
Using Graph Properties to Speed-up GPU-based Graph Traversal: A Model-driven Approach
虽然众所周知并且公认的是图算法的性能严重依赖于输入数据，但是令人惊讶的是，很少有研究来量化和预测图结构对性能的影响。在GPU等众核系统上运行的并行图形算法也不例外：大多数研究都集中在如何在特定GPU上有效地实现和调整不同的图形操作。然而，由于用于对系统进行基准测试的图形，因此仅间接考虑了输入图形的性能影响。在这项工作中，我们提出了一个案例研究，研究如何使用输入图的属性，以提高性能的广度优先搜索（BFS）图遍历。为此，我们首先研究了248个图中15个不同BFS实现的性能变化。使用此性能数据，我们表明，显着的速度可以通过结合最好的实现，为每个级别的遍历。为了利用这种数据相关的优化，我们必须正确预测每个图级别算法的相对性能，并在运行时为每个级别启用动态切换到最佳算法。我们使用收集的性能数据来训练二元决策树，以实现高精度预测和快速切换。我们的经验表明，我们的决策树是足够快，允许实现之间的动态切换，没有明显的开销，并在其预测足够准确，使显着的BFS加速。我们的结论是，我们的模型驱动方法（1）使BFS能够超越最先进的GPU算法，（2）可以适用于其他BFS变体，其他算法或更具体的数据集。
2017-08-03 cs.DC
GPU Acceleration of 3D Agent-Based Biological Simulations
生物学研究人员正面临着为日益复杂的基于主体的模型开发高性能计算机模拟的严峻挑战。BioDynaMo是一个开源的基于代理的仿真平台，旨在减轻研究人员在开发高性能计算时的复杂性。通过高级接口，研究人员可以在BioDynaMo的多线程核心执行引擎上实现他们的模型，以快速开发有效利用并行计算硬件的模拟。在基于生物代理的建模中，通常计算密集型的操作类型是那些涉及代理与其本地邻域交互的操作。在这项工作中，我们研究了目前实施的方法处理附近的细胞代理在BioDynaMo的相互作用，以及如何提高性能，使大规模和复杂的模拟。我们建议取代kd树实现，找到和覆盖的邻居，每个代理与一个统一的网格方法，使我们能够利用大规模并行架构的图形处理单元（GPU）。我们在CUDA和OpenCL中实现了统一网格方法，以解决所有主要供应商的GPU问题，并评估了几种技术以进一步提高性能。此外，我们分析了我们的实现模型的性能与不同密度的相邻代理。因此，与多线程基线版本相比，机械交互方法的性能提高了两个数量级。这些实现是开源的，并在Github上公开提供。
2021-04-30 cs.DC cs.PF
Leveraging Multi-Instance GPUs through moldable task scheduling
本文针对 NVIDIA MIG 多实例 GPU 环境提出三阶段可塑任务调度算法 FAR，通过动态重配置和重分区树启发式等方法最小化完工时间，在 A30 和 A100/H100 上分别取得 7/4 和 2 的近似比，实验表现显著优于现有方案。
2025-07-18 cs.DC cs.ET cs.PF
High-speed detection of emergent market clustering via an unsupervised parallel genetic algorithm
我们实现了一个主从并行遗传算法（PGA）与定制的对数似然适应度函数，以确定价格演变内的紧急集群。我们使用图形处理单元（GPU）来实现PGA，并使用不相交的最小生成树（MSTs）将结果可视化。我们证明，我们的GPU PGA，实现了商用通用GPU，能够恢复股票集群在次秒的速度，在南非市场的股票的子集的基础上。这是一个务实的选择，低成本，可扩展的并行计算，是显着快于原型串行实现优化的C为基础的第四代编程语言，虽然结果是不直接可比的，由于编译器的差异。结合快速在线日内相关矩阵估计从高频数据的聚类识别，建议的实现提供了成本效益，近实时的风险评估金融从业人员。
2015-08-02 cs.DC cs.NE q-fin.CP
Analyzing Search Techniques for Autotuning Image-based GPU Kernels: The Impact of Sample Sizes
现代计算系统越来越复杂，其多核CPU和GPU加速器每年都在变化，甚至更频繁。因此，编写有效使用相关复杂存储器系统并利用可用并行性的程序变得非常具有挑战性。自动调优通过搜索最佳参数集将参数化代码优化到目标硬件来解决这个问题。因此，在过去的几十年中，经验自整定获得了兴趣。虽然新的自动调整算法定期提出和出版，我们将展示为什么比较这些自动调整算法是一个看似困难的任务。在本文中，我们描述了我们的实证研究的国家的最先进的搜索技术进行自动调整，通过比较它们的样本量，基准和架构的范围。我们优化了6个可调参数，搜索空间大小超过200万。所研究的算法包括随机搜索（RS）、随机森林回归（RF）、遗传算法（GA）、高斯过程贝叶斯优化（BO GP）和树-Parzen估计贝叶斯优化（BO TPE）。我们在ImageCL基准测试套件上的结果表明，理想的自动调整算法在很大程度上取决于样本大小。在我们的研究中，BO GP和BO TPE在样本量从25到100的大多数情况下都优于其他算法。然而，遗传算法通常优于其他的样本大小200及以上。我们通常会看到在样本大小的较低范围（25-100）中，RS的加速效果最好。然而，对于更高的样本量（200-400），算法的性能更一致地优于RS。因此，对于所有样本量，没有一种最先进的算法优于其他算法。对今后的工作也提出了一些建议。
2022-03-25 cs.DC
FliX: Flipped-Indexing for Scalable GPU Queries and Updates
University of Waterloo（滑铁卢大学）；Johannes Gutenberg University（约翰内斯·古腾堡大学）
FliX通过翻转索引范式，实现动态全GPU驻留CDSs的高效查询和更新，减少冗余工作和战败分歧，提升吞吐量和性能。
2026-04-17 cs.DB cs.DC cs.DS
Fast Sparse Matrix Permutation for Mesh-Based Direct Solvers
University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）；Texas A&M University（德克萨斯农工大学）；University of California, Davis（加州大学戴维斯分校）
本文提出了一种针对三角网格产生的线性系统优化的快速稀疏矩阵置换算法，通过放松传统分区和分离优化要求，提高置换效率和消除树构建效率，从而在CPU和GPU上实现更高效的稀疏Cholesky求解器。
2026-06-04 cs.DC cs.GR
TorchOpt: An Efficient Library for Differentiable Optimization
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute for AI, Peking University（北京大学人工智能研究院）
近年来，各种可微优化算法蓬勃发展。这些算法表现出不同的执行模式，并且它们的执行需要超出单个CPU和GPU的大量计算资源。然而，现有的可微分优化库不能支持高效的算法开发和多CPU/GPU执行，使得可微分优化算法的开发通常繁琐且昂贵。本文介绍了TorchOpt，一个基于PyTorch的高效可微优化库。TorchOpt提供了一个统一的和富有表现力的可微优化编程抽象。这种抽象允许用户有效地声明和分析各种显式梯度、隐式梯度和零阶梯度的可微优化程序。TorchOpt还提供了一个高性能的分布式执行运行时。该运行时可以在CPU/GPU上完全并行化计算密集型微分操作（例如张量树展平），并自动将计算分发到分布式设备。实验结果表明，TorchOpt在8 GPU服务器上实现了$5.2\times$训练时间的加速。TorchOpt可在https://github.com/metaopt/torchopt/上获得。
2022-11-13 cs.AI cs.DC cs.LG
Elixir: Train a Large Language Model on a Small GPU Cluster
HPC-AI Technology Inc.（HPC-AI科技公司）；National University of Singapore（新加坡国立大学）
本文提出 Elixir 方案，通过运行前模型剖析自动选择内存划分与卸载的最优组合，在小型 GPU 集群上高效训练大语言模型，并在 GPT-2 上实现最高 3.4 倍加速。
2023-05-31 cs.AI cs.DC cs.LG
