Introducing the Task-Aware Storage I/O (TASIO) Library
基于任务的编程模型是并行化和无缝负载平衡应用程序工作负载的优秀工具。然而，缺乏I/O密集型应用程序和基于任务的编程模型的集成。通常，I/O操作会使请求线程暂停，直到数据由备份设备提供服务。由于线程运行的核心变得空闲，因此应该可以将数据查询操作与计算工作负载或更多的I/O操作重叠。尽管如此，与其他任务重叠的I/O任务会带来额外的复杂性，目前编程模型的运行时无法管理。在这项工作中，我们专注于通过引入任务感知存储I/O（TASIO）库将存储I/O集成到任务模型中。我们使用自定义基准对TASIO进行了广泛的测试，并得出结论，根据工作负载，它能够实现高达2倍的加速，尽管如果不使用正确的设置，它可能会导致速度下降。
2020-11-27 cs.DC
A Minimum-Cost Flow Model for Workload Optimization on Cloud Infrastructure
计算、存储和网络领域的最新技术进步，以及组织在削减成本的同时保持对不断增长的服务需求的响应的需求增加，导致了云计算服务的采用增长。云服务提供了提高敏捷性、弹性、可扩展性和降低总拥有成本（TCO）的承诺。这项研究介绍了一个框架，通过使用线性规划（ILP）方法来优化工作负载分配到Amazon Web Services（AWS）云基础设施上的服务器，从而最大限度地降低成本和提高资源利用率。该模型是基于经典的最小成本流模型，被称为分配模型。
2017-07-28 cs.DC
Modeling GPU Dynamic Parallelism for Self Similar Density Workloads
动态并行（DP）是GPU编程模型的运行时特征，其允许GPU线程递归地执行附加GPU内核。除了使并行分层模式的编程更容易之外，DP还可以通过细分过程将有限的GPU资源集中在表现出更多并行性的子区域上来加速表现出异构数据布局的问题。然而，做一个最佳的细分过程是不平凡的，因为有不同的参数，在DP的最终性能发挥重要作用。此外，当前DP的编程抽象还引入了可能损害最终性能的开销。在这项工作中，我们提出了一个细分成本模型的问题，表现出自相似密度（SSD）的工作负载（如分形），以了解什么参数提供最快的细分方法。此外，我们引入了一个新的细分实现，命名为\textit{Adaptive Serial Kernels}（ASK），作为一个较小的开销替代CUDA的动态细分。使用Mandelbrot集上的成本模型作为案例研究表明，最优方案是从$g=[2,16]$之间的初始细分开始，然后在$r=2,4$的区域内继续细分，当区域达到$B \sim 32$时停止。实验结果与理论参数吻合较好，验证了成本模型的可用性。在性能方面，所提出的ASK方法运行到$\sim 60\%$快于Mandelbrot集合中的动态递归，并且运行到$12\times$快于基本的穷举实现，而DP运行到$7.5\times$。
2022-06-05 cs.DC cs.PF
New Tools, Programming Models, and System Support for Processing-in-Memory Architectures
本论文面向 DRAM 内存内处理架构，提出 DAMOV 数据移动基准、MIMDRAM 可编程基板、Proteus 低延迟硬件框架和 DaPPA 编程框架，以降低 PIM 采用门槛并提升性能与可编程性。
2025-08-27 cs.AR cs.DC
Maya: Optimizing Deep Learning Training Workloads using GPU Runtime Emulation
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Inc.（英伟达公司）
针对大型基础模型训练优化中手动试错低效、现有性能建模系统存在语义鸿沟的问题，提出Maya通过GPU运行时仿真拦截API调用捕获完整工作负载行为，实现低误差预测并识别出可降低56%训练成本的配置。
2025-11-15 cs.DC cs.LG
Performance Analysis of Scientific Computing Workloads on Trusted Execution Environments
科学计算有时涉及对敏感数据的计算。根据数据和执行环境，HPC（高性能计算）用户或数据提供者可能需要机密性和/或完整性保证。为了研究基于硬件的可信执行环境（TEE）在实现安全科学计算方面的适用性，我们深入分析了AMD SEV和英特尔SGX对各种HPC基准测试的性能影响，包括传统科学计算、机器学习、图形分析和新兴科学计算工作负载。我们观察到三个主要发现：1）SEV需要在大规模NUMA机器上仔细放置内存（1个$\times$ $-$ 3.4 $\times$减速，无NUMA感知放置，1个$\times$ $-$ 1.15 $\times$减速），2）虚拟化$-$是SEV $-$的先决条件，这会导致具有不规则内存访问和大型工作集的工作负载的性能下降（1 $\times$ $-$ 4 $\times$与图形应用程序的本机执行相比减慢）和3）SGX不适合HPC，因为其有限的安全存储器大小和不灵活的编程模型（1.2 $\times$ $-$ 126 $\times$在不安全执行上减慢）。最后，我们将讨论即将推出的新的TEE设计及其对科学计算的潜在影响。
2020-10-25 cs.AR cs.CR cs.DC
Methodologies, Workloads, and Tools for Processing-in-Memory: Enabling the Adoption of Data-Centric Architectures
现代应用中数据的日益普及和不断增长的规模已经导致传统的以处理器为中心的计算系统中的高计算成本。在存储器设备之间移动大量数据（例如，DRAM）和计算元件（例如，在现代系统中，跨带宽受限的内存通道的CPU、GPU（图形处理器）可以消耗超过60%的总能量。为了降低这些成本，内存处理（PIM）范式将计算移动到更靠近数据所在的位置，减少（在某些情况下消除）在内存和处理器之间移动数据的需要。PIM有两种主要方法：（1）近存储器处理（PnM），其中PIM逻辑被添加到与存储器相同的管芯或3D堆叠存储器的逻辑层;以及（2）使用存储器处理（PuM），其使用存储单元的操作原理来执行计算。来自学术界和工业界的许多作品已经展示了PnM和PuM对于来自不同领域的各种工作负载的好处。然而，在商业系统中完全采用PIM仍然是非常具有挑战性的，这是由于缺乏跨计算机体系结构栈的PIM体系结构的工具和系统支持，所述计算机体系结构栈包括：（i）针对PIM体系结构的工作负载表征方法和基准测试套件;（ii）可以促进使用底层PIM原语的复杂操作和算法的实现的框架;（iii）编译器支持和针对PIM架构的编译器优化;（iv）对PIM感知虚拟内存、存储管理、数据分配和数据映射的操作系统支持;以及（v）高效的数据一致性和一致性机制。我们在这项工作中的目标是为PnM和PuM架构提供工具和系统支持，旨在简化PIM在当前和未来系统中的采用。
2022-05-31 cs.AR cs.DC cs.PF
Pipeflow: An Efficient Task-Parallel Pipeline Programming Framework using Modern C++
流水线是一种基本的并行编程模式。主流流水线编程框架依靠数据抽象来执行流水线调度。这种设计对于以数据为中心的流水线应用是方便的，但对于只利用流水线中任务并行性的算法是低效的。因此，我们引入了一个新的任务并行流水线编程框架称为Pipeflow。Pipeflow并没有设计另一个数据抽象，而是专注于流水线调度本身，使任务并行流水线算法的实现比现有的框架更有效。我们已经在微基准测试和实际应用中评估了Pipeflow。例如，Pipeflow在采用流水线并行来加快运行时间的VLSI布局和时序分析工作负载中，分别比oneTBB快24%和10%。
2022-02-01 cs.DC
Retrospective: A Scalable Processing-in-Memory Accelerator for Parallel Graph Processing
本文回顾了ISCA 2015论文，提出可编程的Tesseract存内处理架构，通过3D堆叠存储器与消息传递模型从零设计近内存加速器系统，最大化加速图处理等数据密集型应用，并分析了其广泛影响与未来展望。
2023-06-27 cs.AR cs.DC
Two-Dimensional Batch Linear Programming on the GPU
本文提出了一种新的，高性能的，图形处理单元为基础的算法，有效地解决二维的【形】线性规划的批量。二维的【形】线性规划的域是特别有用的，由于相关的几何问题的流行。批处理线性规划是指在一个操作中解决许多不同的线性规划。通过同时求解多个线性程序并在线程间均匀分配工作负载，可以最大化图形处理单元的利用率。对最先进的图形处理单元和CPU线性程序求解器，分别获得超过22倍和63倍的加速比。
2019-02-13 cs.DC
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University（斯坦福大学）；Tata Consultancy Services（塔塔咨询服务公司）
现代实时业务分析由异构工作负载（例如，数据库查询、图形处理和机器学习）组成。这些分析应用程序需要能够捕获组成工作负载的所有方面（包括它们所使用的数据模型以及跨处理引擎的数据移动）的编程环境。Polystore系统适合此类应用;然而，这些系统目前在CPU上执行，摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++，一种使用硬件加速器（例如FPGA，CGRA和GPU）加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能，这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性，并引入了新的研究问题，这些问题是由硬件加速器的使用引起的（例如，优化和映射跨异构计算单元的查询计划，以及利用硬件流水线和并行性来提高性能）。在本文中，我们详细讨论了这些挑战，并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
Vyasa: A High-Performance Vectorizing Compiler for Tensor Convolutions on the Xilinx AI Engine
Xilinx的AI Engine是节能矢量处理的最新行业示例，包括对2D SIMD数据路径和shuffle互连网络的新支持。目前对AI引擎进行编程的方法依赖于用于向量intrinsic的C/C++ API。虽然它比汇编级编程更先进，但它要求程序员根据硬件的详细知识指定一些低级操作。为了应对这些挑战，我们引入了Vyasa，这是一个新的编程系统，它扩展了Halide DSL编译器，可以自动为AI引擎生成代码。我们在36个CONV 2D和6个CONV 3D工作负载上评估了Vyasa，并在32位和16位操作数下实现了7.6和23.3 MAC/周期的几何平均值（分别代表峰值性能的95.9%和72.8%）。对于其中4个工作负载，我们可以使用专家编写的代码，Vyasa证明了几何平均性能提高了1.10倍，相对于专家编写的代码，代码减少了50倍。
2020-06-02 cs.DC
SaLoBa: Maximizing Data Locality and Workload Balance for Fast Sequence Alignment on GPUs
序列比对在许多测序应用中形成重要的骨架。序列比对的常用策略是用二维动态规划方法进行近似串匹配。虽然一些先前的工作已经进行了GPU加速的序列比对，我们确定了几个缺点，限制了充分利用现代GPU的计算能力。本文介绍了SaLoBa，一个GPU加速的序列比对库，专注于种子扩展。基于对以前真实测序数据的分析，我们提出了利用数据局部性和提高工作负载平衡的技术。实验结果表明，SaLoBa显着提高种子扩展内核相比，最先进的基于GPU的方法。
2023-01-23 cs.DB cs.DC
Hardless: A Generalized Serverless Compute Architecture for Hardware Processing Accelerators
越来越多地使用为特定应用定制的硬件处理加速器，例如用于图像识别的视觉处理单元（VPU），进一步增加了开发人员的配置、开发和管理开销。开发人员已经成功地使用全自动弹性云服务（如无服务器计算）来应对这些额外的工作，并缩短在CPU上运行的应用程序的开发周期。不幸的是，目前的云解决方案还没有为需要硬件加速的应用程序提供这些简化。然而，随着专用硬件加速的发展不断提供性能和成本改进，在云中实现易用性将变得越来越重要。在本文中，我们提出了Hardless的初步设计和实现，Hardless是一种可扩展的通用无服务器计算架构，可以支持任意硬件加速器的工作负载。我们展示了Hardless如何跨不同的商用硬件加速器扩展，并使用当今无服务器计算中常见的相同执行和编程模型支持各种工作负载。
2022-08-05 cs.DC
A Cost-Effective Workload Allocation Strategy for Cloud-Native Edge Services
如今，物联网应用程序由一系列松散耦合的模块组成，即微服务，可以在由私有和公共资源组成的异构环境中进行管理和放置。因此，分布应用程序逻辑在保证性能和降低成本方面带来了新的挑战。然而，大多数现有的解决方案都专注于降低按使用付费的成本，而没有考虑基于微服务的架构。我们为基于微服务的应用程序提出了一种具有成本效益的工作负载分配。我们建模的问题作为一个整数规划问题，我们制定了一个有效的和接近最优的启发式解决方案，给出了NP-硬度的原始问题。数值结果表明，所提出的启发式的成本降低和性能方面的最佳和国家的最先进的解决方案的良好性能。此外，在运行于OpenStack生态系统中的Kubernetes集群中进行的评估证实了所提出的解决方案的可行性和有效性。
2021-10-25 cs.DC cs.NI
Partitioner Selection with EASE to Optimize Distributed Graph Processing
本文提出基于机器学习的定量预测方法，用于自动选择边分区算法，以优化分布式图处理的端到端运行时间，实验表明该方法相比随机选择平均减少11.1%的运行时间。
2023-04-11 cs.DC
Consolidating the innovative concepts towards Exascale computing for Co-Design of Co-Applications ll: Co-Design Automation - Workload Characterization
众核协同设计是一项复杂的任务，其中应用复杂性设计空间、异构众核架构设计空间、并行程序设计语言设计空间、模拟器设计空间和优化器设计空间应该通过绑定过程来集成，并且这些设计空间是所谓的众核协同设计空间的集合。建立一个协同设计自动化流程来控制协同设计的复杂性，从而缩短周转时间是必不可少的。协同设计自动化是一个框架，用于理解多核协同设计空间之间的依赖关系，并使用一组算法设计这些相互依赖关系背后的逻辑。这些算法的软件模块和众核协同设计空间的其余部分相互作用，以产生功率-性能优化的异构众核架构，该架构专用于在没有空间-分时共享的情况下同时执行协同应用。这种协同设计自动化必须具有内置的用户可定制的工作负载生成器，以便对新兴的众核架构进行基准测试。这种可定制性有利于生成具有所需计算复杂性、通信复杂性、控制流复杂性和引用局部性的复杂工作负载，这些复杂工作负载在分布下指定并建立在定量模型上。此外，可定制的工作负载模型有助于生成所谓的计算和通信激增。目前没有一个基准测试套件包含可以匹配本文中提出的可定制工作负载模型的属性的应用程序和内核。上述概念的例子，案例研究的模拟结果从模拟器收集的支持。
2018-04-29 cs.DC
SIMD-X: Programming and Processing of Graph Algorithms on GPUs
凭借高计算能力和内存带宽，图形处理单元（GPU）有助于加速数据密集型分析，尤其是当此类应用程序适合单指令多数据（SIMD）模型时。然而，由于内存访问和控制流的不规则性，诸如宽度优先搜索和k核之类的图形算法通常无法充分利用GPU。为了应对这一挑战，我们开发了SIMD-X，用于在GPU上编程和处理单指令多个复杂数据。具体来说，新的主动计算合并（ACC）模型不仅为程序员提供了编程的便利，更重要的是为系统级优化创造了机会。为此，SIMD-X利用即时任务管理，在运行时过滤掉不活动的顶点，并智能地将各种任务映射到不同数量的GPU核心，以追求工作负载平衡。此外，SIMD-X利用基于推拉的内核融合，在新的无死锁全局屏障的帮助下，将大量的计算内核减少到非常少。使用SIMD-X，用户可以在数十行代码中编写图形算法，同时实现3？，六个？二十四？三个？Gunrock，Galois，CuSha和Ligra的加速。
2018-12-10 cs.DC
Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany（德国联邦研究、科技与航天部）
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷，提出基于ILP的异构CPU-CIM划分框架，最小化端到端推理延迟，较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
Hybrid quantum programming with PennyLane Lightning on HPC platforms
该研究推出PennyLane的Lightning高性能态矢量模拟器套件，支持多种架构，通过多项优化提升性能，可在单节点模拟30量子比特、多节点模拟41量子比特，在部分场景性能优于同类工具。
2024-03-04 cs.DC cs.ET physics.comp-ph
LLMapReduce: Multi-Level Map-Reduce for High Performance Data Analysis
map-reduce并行编程模型在大数据社区中非常流行。许多大数据工作负载可以从超级计算机提供的增强性能中受益。LLMapReduce为运行在超级计算机上的大数据用户提供了熟悉的映射-缩减并行编程模型。LLMapReduce通过在一行代码中提供简单的并行编程能力，极大地简化了map-reduce编程。LLMapReduce支持所有程序设计语言和许多调度器。LLMapReduce可以与任何应用程序一起工作，而无需修改应用程序。此外，LLMapReduce可以通过允许用户切换到更高效的单程序多数据（SPMD）并行编程模型的选项来克服map-reduce并行编程模型中的缩放限制。这些特性使用户能够将计算开销减少到某些应用程序的标准map-reduce的10倍以上。LLMapReduce被MIT的数百名用户广泛使用。目前LLMapReduce可以与几个编译器一起工作，例如SLURM，Grid Engine和LSF。
2016-07-22 cs.DC
FusionStitching: Boosting Execution Efficiency of Memory Intensive Computations for DL Workloads
性能优化是一种不断寻求应用程序域和硬件之间和谐映射的艺术。近年来，深度学习（DL）在工业中的应用激增。优化此类工作负载的传统智慧主要集中在计算密集型操作（GEMM，卷积等）。然而，我们在这项工作中表明，内存密集型计算的性能是至关重要的E2E性能在实际的DL模型。我们提出了\emph{FusionStitching}，一个优化框架，能够融合内存密集型\emph{elementwise}，\emph{reduction}和细粒度的\emph{GEMM/Batched-GEMM}操作，有或没有数据依赖，到大型计算单元，然后映射和转换成高效的GPU内核。我们将融合计划优化问题转化为整数线性规划问题，并提出了一套经验算法来减小组合搜索空间。为了将优化的融合计划映射到硬件，我们提出了一种技术，通过充分利用片上资源（如暂存器或寄存器），将各种计算组有效地组合到单个GPU内核中。六个基准和四个工业规模的实际模型的实验结果令人鼓舞。总体而言，与Tensorflow基线相比，\emph{FusionStitching}可以达到高达5.7倍的加速比，与当前技术水平相比，实现1.25倍至1.85倍的性能加速比，平均1.4倍（几何平均值）。
2019-11-24 cs.DC
A Language for Programming Edge Clouds for Next Generation IoT Applications
为了在物联网应用程序中有效使用边缘计算，我们需要将应用程序划分为任务，并将其映射到云、雾（边缘服务器）和设备级别，以便以最佳方式使用不同级别的资源，以满足整体服务质量要求。在本文中，我们考虑了应用程序到雾映射的四个问题：不同级别的任务放置，限制网络负载的数据过滤，雾故障转移和数据一致性，以及对边缘热点的反应。我们描述了我们为边缘计算创建的程序设计语言和中间件，它们解决了上述四个问题。该语言具有分布式节点编程模型，允许为组织成云，雾，设备层次结构的节点集合编写程序。本文描述了语言的主要设计元素，并解释了原型实现。该语言中体现的独特分布式节点编程模型支持新的面向边缘的编程模式，非常适合认知或数据密集型边缘计算工作负载。本文介绍了语言原型的初步评估结果，以及使用程序设计语言开发的分布式外壳和智能停车应用程序。
2019-06-21 cs.DC
Snowpark: Performant, Secure, User-Friendly Data Engineering and AI/ML Next To Your Data
本文介绍Snowpark，一个基于Snowflake弹性架构的托管解决方案，通过安全沙箱、包缓存和智能调度等创新，实现高性能、安全且易用的数据工程与AI/ML处理。
2025-08-07 cs.DB cs.DC
Persistent Memory Programming Abstractions in Context of Concurrent Applications
非易失性存储器（NVM）技术如PCM、STT、忆阻器和Fe-RAM的出现被认为通过减少存储器和存储器之间的间隙而摆脱传统的存储层次结构来增强系统性能。这种存储器技术被认为具有DRAM的性能和磁盘的持久性。因此，它还将为大数据应用程序提供显着的性能优势，允许以最低的持久化延迟在内存中处理大型数据。通过传统的存储器编程来利用这种以存储器为中心的计算技术的性能优势并不是微不足道的，并且对于并行/并发应用来说，挑战加剧了。为此，已经提出了几种编程抽象，如NVthreads，Mnemosyne和Intel的NVML。然而，决定一个编程抽象，这是更容易编程，并在同一时间确保一致性和平衡各种软件和架构的权衡是公开的有争议的和活跃的研究领域的NVM社区。我们通过建立一个并发和持久集以及开放寻址的哈希表数据结构应用程序来研究NVthreads、Mnemosyne和NVML库。在这个过程中，我们探索和报告各种权衡和隐藏的成本，涉及建立并发应用程序的持久性方面实现效率，一致性和易于编程与这些NVM编程抽象。最后，我们评估了集合和哈希表数据结构应用程序的性能。我们观察到，NVML是最容易编程，但效率最低，Mnemosyne是最性能友好的，但涉及重大的编程工作，以建立并发和持久的应用程序。
2017-12-13 cs.DC
Distributed Real-Time Energy Management in Data Center Microgrids
数据中心运营商在运行其数据中心时通常面临三个重要问题，即，不断上涨的电费、不断增加的碳足迹和意外停电。为了缓解这些问题，在微电网中运行数据中心是一个很好的选择，因为微电网可以提高电力服务的能源效率、可持续性和可靠性。因此，在本文中，我们调查的问题，能源管理多个数据中心的微电网。具体而言，我们打算通过考虑电价、可再生能源产出和数据中心工作负载的不确定性，最大限度地降低数据中心微电网的长期运营成本。我们首先制定了一个随机规划问题的考虑因素很多，例如，为批量工作负载、交互式工作负载分配、批量工作负载削减、电力购买/销售、电池充电/放电效率以及备用发电机的斜坡约束提供异构服务延迟保证。然后，我们设计了一个实时和分布式算法的基础上，李雅普诺夫优化技术和交替方向的乘法器（ADMM）的一个变种的问题。此外，所提出的算法提供的性能保证进行了分析。大量的仿真结果表明，该算法在降低数据中心微电网的运营成本的有效性。
2017-02-01 cs.DC
Exploiting Inherent Elasticity of Serverless in Irregular Algorithms
无服务器计算，特别是功能即服务（FaaS）执行模型，最近已被证明是有效的运行大规模计算。然而，很少有人注意到高度并行的应用程序与不平衡和不规则的工作负载。通常，由于无法提前预测其计算资源，这些工作负载一直被排除在云之外，经常导致严重的资源过度和不足情况。然而，我们在本文中的主要观点是，无服务器计算技术的弹性和易于管理性可能是首次在云中有效运行这些有问题的工作负载的关键推动因素。更具体地说，我们证明了一个简单的无服务器的执行器池抽象可以实现更好的成本-性能权衡比静态大小的Spark集群建立在大型EC2虚拟机。为了支持这一结论，我们评估三个不规则的算法：不平衡树搜索（UTS），Mandelbrot集使用的Mariani-Silver算法和介数中心性（BC）的随机图。例如，我们的UTS无服务器实现能够以相同的成本超过Spark高达55%。我们还表明，使用相同数量的虚拟CPU，无服务器环境在BC算法中的性能可以超过大型EC2 10%。这提供了第一个具体的证据，表明高度并行的不规则工作负载可以使用纯无状态函数有效地执行，对用户几乎没有负担，即，用户无需了解不明显的系统级参数和优化。此外，我们还表明，UTS可以从FaaS按需付费计费模式中受益，这使得首次启用某些应用程序级优化具有价值，这些优化可以带来显着的改进（例如41%），而成本的增加可以忽略不计。
2022-06-30 cs.DC
Performance Evaluation of Serverless Edge Computing for Machine Learning Applications
智能医疗、自动驾驶汽车和智能城市等下一代技术需要新的方法来处理物联网（IoT）设备产生的网络流量，以及高效的编程模型来部署机器学习技术。无服务器边缘计算是一种新兴的计算范式，它融合了边缘计算和无服务器计算这两种最新技术，可以解决这些挑战。然而，很少有工作来探索这种技术的能力和性能。本文使用流行的开源框架，即Kubeless，OpenFaaS，Fission和funcX，对无服务器边缘计算系统进行了全面的性能分析。实验考虑了不同的程序设计语言、工作负载和并发用户的数量。机器学习工作负载已被用于评估系统在不同工作条件下的性能，以提供对最佳实践的见解。评估结果揭示了无服务器边缘计算当前面临的一些挑战，以及这项新兴技术在机器学习应用中的开放研究机会。
2022-10-19 cs.DC cs.PF
Deep Learning At Scale and At Ease
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；NetEase, Inc.（网易公司）
最近，深度学习技术在各种多媒体应用中取得了成功，例如图像分类和多模态数据分析。大型深度学习模型被开发用于学习复杂数据的丰富表示。在深度学习被广泛应用于多媒体和其他应用之前，有两个挑战需要克服。一个是可用性，即不同模型和训练算法的实现必须由非专家完成，特别是当模型庞大而复杂时。另一个是可扩展性，即深度学习系统必须能够提供巨大的计算资源需求，以训练具有海量数据集的大型模型。为了解决这两个挑战，在本文中，我们设计了一个分布式的深度学习平台称为SINGA，它具有直观的编程模型的基础上的公共层抽象的深度学习模型。通过灵活的分布式训练架构和特定的优化技术，实现了良好的可扩展性。SINGA可以在GPU和CPU上运行，我们证明它的性能优于许多其他最先进的深度学习系统。我们在SINGA中为现实生活中的多媒体应用开发和训练深度学习模型的经验表明，该平台既可用又可扩展。
2016-03-25 cs.DC cs.LG
Faabric: Fine-Grained Distribution of Scientific Workloads in the Cloud
由于其高度并行性和资源需求，许多科学应用程序都受益于云部署。如今，科学应用程序在专用的虚拟机池上执行，导致资源碎片化：用户为未充分利用的资源付费，而提供商无法在应用程序之间重新分配未使用的资源。虽然无服务器云计算可以解决这些问题，但其编程模型与科学应用程序中共享内存和消息传递的使用不兼容：无服务器函数在动态调度函数时不直接在同一VM上共享内存或支持消息传递语义。我们描述了Faabric，一个新的无服务器云运行时，透明地分发应用程序与共享内存和消息传递跨虚拟机。Faabric通过一种称为Granules的新执行抽象，以细粒度（线程/进程）的方式调度计算来实现这一点。为了支持共享内存，Granules使用WebAssembly隔离，但直接共享内存;为了支持消息传递，Granules提供异步点对点通信。Faabric调度Granules以满足应用程序的并行性需求。它还将更改同步到Granule的共享内存，并迁移Granule以提高局部性。
2023-02-22 cs.DC cs.OS
Software-Distributed Shared Memory for Heterogeneous Machines: Design and Use Considerations
分布式共享内存（DSM）允许使用方便的共享内存编程模型将应用程序实现和部署到分布式体系结构上，在该模型中，一组任务能够分配和访问数据，而不管它们的远程本地化。随着HPC和嵌入式环境中分布式异构体系结构的发展，人们对诸如DSM之类的系统重新产生了兴趣，这些系统简化了复杂硬件的可编程性。在这份报告中，一些设计考虑，建立一个完整的软件DSM（S-DSM）。这个S-DSM被称为SAT（Share Among Things），是在欧洲项目M2 DC（Modular Microserver DataCentre）的框架内由CEA（法国替代能源和原子能委员会）开发的，以解决在微服务器架构上管理共享数据的问题。S-DSM的特点是将大型数据自动分解为称为块的原子块，可以部署多个一致性协议来管理不同的块，基于事件编程的混合编程模型和微睡眠机制来减少消息接收的能耗。
2020-09-03 cs.DC
A Programming Model for GPU Load Balancing
我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。因此，我们也希望通过在我们的抽象中将负载平衡的关注点从工作处理中分离出来，管理现有代码并将其扩展到未来的架构中变得更加容易。
2023-01-12 cs.DC
Saarthi: An End-to-End Intelligent Platform for Optimising Distributed Serverless Workloads
Saarthi是一个端到端无服务器框架，通过输入感知的资源预测、智能请求编排、容错冗余和多目标ILP优化，在OpenFaaS上实现1.45倍吞吐量提升和1.84倍成本降低。
2025-11-10 cs.DC
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG（哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心）
本文综述 2017–2024 年 66 篇研究，分析异构 HPC 工作负载映射与调度工具，指出 NP-hard 难题及启发式局限，并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12
2012-08-09 cs.DC
Bringing Together Dynamic Geometry Software and the Graphics Processing Unit
我们为动态几何软件（DGS）配备了一种用户友好的方法，可以在图形处理单元（GPU）上进行大规模并行计算。DGS和GPU的这种相互作用在教育和数学研究中开辟了各种应用。GPU辅助的数学属性发现，代数曲面的交互式可视化（光线投射），实时图像和镜头的数学变形，以及PDE的计算要求高的数值模拟，这些都是我们的方法在DGS中可以访问的新领域的长而多功能列表中的例子。我们简化了复杂（数学）可视化的开发，并为通用计算（GPGPU）提供了快速原型方案。仅使用一种高级（脚本）程序设计语言对CPU和GPU进行编程的可能性是我们概念的一个重要方面。我们将着色器编程无缝地嵌入到高级（脚本）编程环境中。上述需要的高级程序设计语言到GPU的着色器程序设计语言的transcompilation的符号过程，在这篇文章中，我们解决了一个高级程序设计语言的GPU的着色器语言的自动翻译的挑战。为了保持平台独立性和在现代设备上使用我们的技术的可能性，我们专注于通过WebGL实现。
2018-08-14 cs.DC cs.MS cs.SC
Towards a Linear-Algebraic Hypervisor
本文提出一种并行虚拟机，通过评估数百万个并发数组程序，发现其在相对传统顺序评估的情况下可达到147倍的加速效果。
2026-04-14 cs.DC cs.PF cs.PL
