exa-AMD: A Scalable Workflow for Accelerating AI-Assisted Materials Discovery and Design
exa-AMD是一款基于Python的应用程序，通过集成AI/ML工具、材料数据库和量子力学计算构建可扩展的高性能工作流，利用Parsl库实现工作流逻辑与执行配置解耦，加速功能材料的发现与设计。
2025-06-26 cs.DC
T-RBFT: A Scalable and Efficient Byzantine Consensus Based on Trusted Execution Environment for Consortium Blockchain
Xi’an University of Technology（西安工业大学）；Shaanxi Key Laboratory for Network Computing and Security Technology（陕西省网络计算与安全技术重点实验室）
本文提出T-RBFT，一种基于网络分片和可信执行环境的两层共识机制，通过动态分组和TEE辅助BFT协议提升联盟链的性能和可扩展性。
2026-04-17 cs.DC
G-Monitor: Gridbus web portal for monitoring and steering application execution on global grids
网格在其应用中正在经历快速增长，随之而来的是对易于使用和可扩展的门户的需求。我们通过开发一个易于使用、可扩展、基于Web的门户网站G-Monitor来满足这一要求。本文提出了一个通用的体系结构的门户网站到网格环境中，并讨论了我们的实现和它的应用。
2003-02-06 cs.DC
TIDE-MC: Two-Sided Interpolative Decomposition for Billion-Scale GPU Matrix Completion
Nanjing University（南京大学）；Northeastern University (China)（东北大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Dalian Maritime University（大连海事大学）；Qiyuan Lab（启源实验室）；Tsinghua University（清华大学）
本文提出基于双边插值分解的GPU框架TIDE-MC，解决现有GPU矩阵补全求解器内存不足或PCIe开销大的问题，可完成超大规模工作负载，实现大幅加速、降内存及低重构误差。
2026-08-04 cs.DC
Oobleck: Resilient Distributed Training of Large Models Using Pipeline Templates
University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云服务）；Peking University（北京大学）
该研究提出Oobleck框架，通过规划-执行协同设计、异构流水线模板与f+1个等价副本实现大模型分布式训练的容错，可证明避免资源闲置，在数十亿参数模型上吞吐量远超现有最优方案。
2023-11-07 cs.DC cs.LG
BigFCM: Fast, Precise and Scalable FCM on Hadoop
聚类在大数据挖掘中扮演着重要的角色，它既是一种建模技术，也是许多数据采掘过程实现中的预处理步骤。模糊聚类比非模糊方法提供了更大的灵活性，它允许每个数据记录在某种程度上属于多个聚类。然而，模糊聚类的一个严重挑战是缺乏可扩展性。地球科学、生物学和网络等新兴领域的海量数据集确实需要高性能的并行和分布式计算来解决现实世界的问题。虽然一些聚类方法已经被改进以在大数据平台上执行，但它们的执行时间对于大数据集来说会大大增加。提出并设计了一种基于Hadoop分布式数据平台的可扩展模糊C均值聚类算法BigFCM。基于map-reduce编程模型，它利用了几种机制，包括一个有效的缓存设计，以实现几个数量级的执行时间减少。在多千兆字节数据集上的广泛评估表明，BigFCM是可扩展的，同时它保留了聚类的质量。
2016-05-10 cs.DC
PPT-SASMM: Scalable Analytical Shared Memory Model: Predicting the Performance of Multicore Caches from a Single-Threaded Execution Trace
由于多核处理器设计的复杂性，多核处理器上并行应用的性能建模一直是计算协同设计中的一个难题。多核包括复杂的私有和共享存储层次结构。我们提出了一个可扩展的分析共享内存模型（SASMM）。SASMM可以预测在多核上运行的并行应用程序的性能。SASMM使用概率和计算效率高的方法来预测多核缓存的重用距离配置文件。SASMM依赖于对重用配置文件的随机、静态的基本块级分析。配置文件是根据顺序运行的应用程序的内存跟踪计算的，而不是使用多线程跟踪。实验结果表明，该模型可以预测私有L1缓存命中率为2.12%，共享L2缓存命中率为1.50%左右的出错率。
2021-03-19 cs.DC cs.PF
A Template for Implementing Fast Lock-free Trees Using HTM
使用硬件事务内存（HTM）的算法必须提供一个仅限软件的回退路径来保证进度。回退路径的设计可能对性能产生深远的影响。如果允许回退路径与硬件事务并发运行，则必须对硬件事务进行检测，这会增加大量开销。否则，硬件事务必须等待回退路径上的任何进程，从而导致并发瓶颈，或者移动到回退路径。我们介绍了一种结合两种方法的方法。其关键思想是使用三条执行路径：HTM快速路径、HTM中间路径和软件回退路径，这样中间路径可以与其他两条路径同时运行。快速路径和回退路径不会并发运行，因此快速路径不会产生检测开销。此外，快速路径事务可以移动到中间路径，而不是等待或移动到软件路径。我们通过生成Brown等人的树更新模板的加速版本来演示我们的方法，其可用于实现基于下树的快速无锁数据结构。我们使用加速模板实现了两个无锁树：二叉搜索树（BST）和（a，b）树（B树的推广）。实验表明，与72个并发进程，我们的加速（a，b）树执行4.0倍和4.2倍之间的操作，每秒使用原始的树更新模板获得的实现。
2017-08-16 cs.DC
Aragog: Just-in-Time Model Routing for Scalable Serving of Agentic Workflows
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
Aragog通过动态配置调整提升工作流服务吞吐量和降低延迟，保持准确性。
2025-12-12 cs.DC
Scalable Synthesis of distributed LLM workloads through Symbolic Tensor Graphs
本文提出STAGE框架，通过符号张量图高效建模分布式AI工作负载，支持多种并行策略，实现大规模LLM和MoE模型的高保真仿真。
2026-06-26 cs.AI cs.DC
Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start
University of Michigan（密歇根大学）；UC Berkeley（加州大学伯克利分校）；Duke（杜克大学）
Foundry通过模板化CUDA图上下文材料化，减少LLM服务冷启动延迟，提升启动速度并保持吞吐量。
2026-04-08 cs.DC cs.LG
Programming Scalable Cloud Services with AEON
设计低延迟的基于云的应用程序，以适应不可预测的工作负载并有效地利用现代云计算平台是很困难的。Actor模型是一种流行的范例，可用于开发分布式应用程序：Actor封装状态并通过发送事件相互通信。如果每个事件只访问单个参与者，则可以保证一致性，从而消除潜在的数据竞争和死锁。然而，为跨多个参与者的并发事件提供一致性并不简单。本文通过引入AEON来解决这个问题：一个提供以下属性的框架：（i）可编程性：程序员在推理多参与者事件导致的并发时，只需要推理顺序语义;（ii）可扩展性：AEON运行时协议保证多参与者事件的可串行化和无饥饿执行，同时最大化并行执行;（iii）弹性：AEON支持细粒度的弹性，使程序员能够透明地迁移单个参与者，而不会违反一致性或带来显着的性能开销。我们的实证结果表明，这是可能的，结合所有上述三个世界的最佳而不影响应用程序的性能。
2019-12-07 cs.DC
Supermassive Blockchain
National University of Singapore（新加坡国立大学）
本文提出一种解耦状态执行的架构，设计出一种新型存储可扩展的BFT协议，实现传统BFT协议的确定性安全属性，通过擦除编码确保状态可用性，降低网络开销。
2026-03-25 cs.DC
RCOMPSs: A Scalable Runtime System for R Code Execution on Manycore Systems
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Seqera Labs（Seqera实验室）
本文提出可扩展运行时系统 RCOMPSs，通过动态任务编程模型自动处理 R 应用的并行执行、依赖跟踪与调度，并在两个 HPC 系统上验证了其在 KNN、K-means 和线性回归任务中最多 128 核及 32 节点规模下的良好可扩展性。
2026-11-05 cs.DC stat.CO
Scalable Comparative Visualization of Ensembles of Call Graphs
优化大规模并行代码的性能对于有效利用计算资源至关重要。代码开发人员经常探索各种执行参数，例如硬件配置、系统软件选择和应用程序参数，并且对检测和理解不同执行中的瓶颈感兴趣。它们通常收集表示为调用图的分层性能配置文件，调用图将性能指标与其执行上下文结合起来。一起探索多个调用图的关键任务是乏味和具有挑战性的，因为执行上下文中的许多结构差异和收集的性能度量中的显著可变性（例如，执行运行时）。在本文中，我们提出了一个增强版本的CallFlow，以支持使用新类型的可视化，分析，图形操作和功能的调用图的集合的探索。我们介绍了集成桑基，一个新的视觉设计，结合了资源流（桑基）和箱形图可视化技术的优势。尽管资源流可视化可以轻松直观地描述调用图的图形性质，但覆盖在Sankey节点上的箱形图传达了集成中的性能变化。我们的交互式可视界面提供了链接视图，以帮助探索调用图的集合，例如，通过促进结构差异的分析以及识别相似或不同的调用图。我们证明了我们的设计的有效性和实用性，通过大规模并行代码的案例研究。
2020-07-01 cs.DC cs.PF
Scalable Deployment of AI Time-series Models for IoT
IBM Research Ireland（爱尔兰IBM研究公司（IBM Research Ireland））
IBM Research Castor是一个云原生系统，用于在物联网应用程序中管理和部署大量AI时间序列模型。支持使用Python和R建模代码模板，遵循典型的机器学习工作流。一个基于知识的方法来管理模型和时间序列数据，允许使用一般的语义概念来表达功能工程任务。模型模板可以针对语义概念的特定实例以编程方式部署，从而随着物联网应用程序的增长支持模型重用和自动复制。利用无服务器云计算框架自动并行执行部署的模型。经过训练的模型版本和滚动预测的完整历史被持久化，从而实现完整的模型谱系和可追溯性。结果部署在现实世界中的智能电网现场预测应用的报告。还评估了执行多达数万个AI建模任务的可扩展性。
2020-03-24 cs.AI cs.CY cs.DC
RepEx: A Flexible Framework for Scalable Replica Exchange Molecular Dynamics Simulations
分子交换（RE）模拟已经成为分子科学的重要算法工具。RE仿真涉及独立仿真的并发执行，这些独立仿真很少交互和交换信息。下一组模拟参数基于交换的结果。通常RE功能被集成到分子模拟软件包中。RE功能与仿真代码紧密集成的主要动机是性能。这在多个层面上都有限制。首先，RE方法的进展与分子模拟代码有关。因此，这些进展仍然局限于他们开发的分子模拟代码。其次，它是难以扩展或实验与新的RE算法，因为在分子模拟代码的专业知识是典型的需要。在本文中，我们提出了RepEx框架，解决了现有方法的上述缺点，同时在各种平台上的灵活性（任何RE方案）和可扩展性（成千上万的副本）之间取得平衡。RepEx被设计为使用基于试点作业的运行时系统，并支持不同的RE模式和执行模式。RE模式涉及RE仿真中的同步机制，以及将工作负载空间和时间映射到CPU核心的执行模式。我们讨论如何设计和实现产生以下主要贡献的RepEx框架：（i）其独立于分子模拟代码支持不同RE方案的能力，（ii）提供独立于资源的特定可用性执行不同交换方案和副本计数的能力，（iii）提供具有对任务级并行性的一流支持的运行时系统，以及（iv）需要沿多个维度的可伸缩性。
2016-01-20 cs.DC
Towards Efficient and Scalable Distributed Vector Search with RDMA
针对分布式向量搜索中计算与通信效率的矛盾，提出CoTra系统，通过聚类数据划分、异步执行和任务推送等协同设计及系统优化，在16台机器上实现9.8-13.4倍扩展，吞吐量达最佳基线的2.12-3.58倍。
2025-07-09 cs.DC
Kairos: A Scalable Serving System for Physical AI
Princeton University（普林斯顿大学）；Microsoft（微软公司）
Kairos是首个支持生成-执行循环的多机器人服务系统，通过主动参与执行阶段，显著降低任务延迟，适用于广泛物理AI模型和机器人。
2026-05-12 cs.DC cs.RO
Mystique: Enabling Accurate and Scalable Generation of Production AI Benchmarks
Cornell University（康奈尔大学）；Meta；University of California, Davis（加州大学戴维斯分校）；Massachusetts Institute of Technology（麻省理工学院）
Mystique利用PyTorch执行轨迹以算子粒度捕获AI模型运行时信息，通过轻量级数据采集和ET可组合性，实现生产级AI基准的精确、可扩展且可移植的生成。
2023-04-11 cs.AI cs.DC
ScalableHD: Scalable and High-Throughput Hyperdimensional Computing Inference on Multi-Core CPUs
University of Southern California, Los Angeles, California, USA（美国南加州大学）
本文提出 ScalableHD，通过两阶段流水线、分块、NUMA 绑定及批量自适应变体，在多核 CPU 上高效执行 HDC 推理，最高实现较 TorchHD 10 倍吞吐加速且近线性扩展。
2025-06-10 cs.DC cs.LG
Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments
有效和可靠地管理和执行大规模科学计算的实际实现是相当具有挑战性的。科学计算通常涉及对大量数据进行操作的数千甚至数百万个任务，这样的数据通常是分布式结构化的并且以异构物理格式存储，并且科学家必须在异构、分布式并且可能不断变化的计算、存储和网络资源的集合上指定和运行这样的计算。我们提出了几个先进的系统：Swift，Karajan和Falkon的集成，以解决在网格环境中运行各种大规模的科学应用程序的挑战。Swift是一种并行编程工具，用于快速可靠地规范、执行和管理大规模科学和工程工作流。Swift由一个名为SwiftScript的简单脚本语言和一个强大的运行时系统组成，该系统基于CoG Karajan工作流引擎，并集成了Falkon轻量级任务执行服务，该服务使用多级调度和流线型调度器。我们展示了集成系统的可扩展性，性能和可靠性，使用来自天文学，认知神经科学和分子动力学，这都包括大量的细粒度的工作的应用程序的例子。我们表明，Swift能够表示动态工作流，其结构只能在运行时确定，并使用SwiftScript大大减少了各种工作流表示的代码大小;通过Karajan引擎调度执行数十万并行计算;与传统的批处理器相比，执行时间减少了90%。
2008-08-26 cs.DC cs.PL
Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））；Brookhaven National Laboratory（布鲁克海文国家实验室）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）；Princeton University（普林斯顿大学）
本文扩展 RADICAL-Pilot，提出支持基于服务执行的可扩展运行时架构，以实现跨本地与远程 HPC/云资源的 HPC/ML 无缝耦合和低开销并发 ML 执行。
2025-03-17 cs.AI cs.DC
SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
IPADS, Shanghai Jiao Tong University（上海交通大学IPADS）
针对CPU矩阵扩展单元与核心在LLM推理中的不匹配，提出SMEPilot引擎，通过基于屋顶线的表征指导算子执行选择，实现SME与CPU协同工作，端到端性能提升达3.94倍。
2026-06-16 cs.AI cs.DC cs.PF
Spark Policy Toolkit: Semantic Contracts and Scalable Execution for Policy Learning in Spark
本文提出Spark Policy Toolkit，通过语义合同和可扩展执行解决Spark中政策学习的效率与稳定性问题，验证了其在不同工作负载下的性能优势。
2026-04-27 cs.DB cs.DC cs.LG
MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging
Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
MergePipe通过预算感知的参数管理实现高效的大语言模型融合，减少I/O并提升整体性能。
2026-02-05 cs.AI cs.DB cs.DC
Reproducible and Portable Big Data Analytics in the Cloud
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
云计算已经成为帮助重现计算实验的主要方法。然而，在云中复制基于批处理的大数据分析（包括描述性和预测性分析）仍然存在两个主要困难。第一个是如何自动化端到端的可扩展分析执行，包括分布式环境配置、分析管道描述、并行执行和资源终止。第二个是为一个云开发的应用程序很难在另一个云中复制，也就是说，供应商锁定问题。为了解决这些问题，我们利用无服务器计算和容器化技术来实现自动化的可扩展执行和可再现性，并利用适配器设计模式来实现跨不同云的应用程序可移植性和可再现性。我们提出并开发了一个开源工具包，该工具包支持1）通过单个命令完全自动化的端到端执行和再现，2）每次执行的自动化数据和配置存储，3）基于用户偏好的灵活客户端模式，4）执行历史查询，以及5）在相同环境或不同环境中简单再现现有执行。我们在AWS和Azure上进行了广泛的实验，使用了四个在虚拟CPU/GPU集群上运行的大数据分析应用程序。实验表明，该工具包能够实现良好的执行性能、可扩展性和高效的可重复性，适用于基于云的大数据分析。
2023-03-10 cs.DC cs.LG cs.NI
DPU: DAG Processing Unit for Irregular Graphs with Precision-Scalable Posit Arithmetic in 28nm
概率机器学习、稀疏线性代数和机器人导航等现实应用中的计算可以建模为不规则有向无环图（DAG）。DAG中的不规则数据依赖性对通用CPU和GPU上的并行执行提出了挑战，导致硬件严重利用不足。本文提出了DPU，一个专门的处理器设计的高效执行不规则的DAG。DPU配备了并行计算单元，可独立执行DAG的不同子图。计算单元可以使用硬件支持的同步原语在一个周期内同步，并通过有效的互连与全局存储的暂存器通信。此外，一个精度可扩展的并行计算的算术单元，使应用程序相关的精度。该DPU采用28 nm CMOS流片，在稀疏线性代数和概率机器学习工作负载的DAG上，与最先进的CPU和GPU实现相比，实现了5.1 $\times$和20.6 $\times$的加速比。这一性能是在0.23 W的功率预算下实现的，而CPU和GPU的功率预算分别为55 W和98 W，因此DPU的峰值效率为538 GOPS/W，分别比CPU和GPU高1350 $\times$和9000 $\times$。因此，通过专门的架构，DPU可以实现不规则DAG工作负载的低功耗执行。
2021-12-10 cs.AR cs.DC cs.SY
Scalable In Situ Lagrangian Flow Map Extraction: Demonstrating the Viability of a Communication-Free Model
我们介绍和评估一种新的算法，在现场提取拉格朗日流图，我们称之为边界终止优化（BTO）。我们的方法是一个无通信的模型，不需要消息传递或进程之间的同步，提高可扩展性，从而减少整体执行时间，并减轻在原位处理的模拟代码上放置的障碍。我们在节点边界处终止粒子集成，并仅存储通过跨节点通信粒子而提取的流图的子集，从而引入了准确性-性能权衡。我们运行实验多达2048 GPU和多个模拟数据集。对于我们考虑的实验配置，我们的研究结果表明，我们的无通信技术在原位节省了2倍至4倍的执行时间，同时在定量和定性上与以前的工作几乎一样准确。最重要的是，这项研究建立了可行性接近在原位拉格朗日流图提取使用无通信模型在未来。
2020-04-04 cs.CE cs.DC physics.comp-ph
CHAMB-GA: A Containerized HPC Scalable Microservice-Based Framework for Genetic Algorithms
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
提出CHAMB-GA框架，通过容器编排和批调度实现遗传算法从个人电脑到分布式集群的无缝扩展，支持异步并行进化操作和适应度评估，在3500+CPU核心上开销极小，并成功应用于德国电网HVDC线路优化。
2026-07-28 cs.DC math.OC
