HiRL: Hierarchical Reinforcement Learning for Coordinated Resource Management in Heterogeneous Edge Computing
North China Electric Power University（华北电力大学）；University of Glasgow（格拉斯哥大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Sydney（悉尼大学）；Beihang University（北京航空航天大学）
本文提出HiRL框架，通过分层强化学习解决异构边缘计算中的资源协调问题，采用TD3和DDQN分别处理连续功率管理和离散任务分配，实验显示在低负载下节能51%，高负载下延迟降低24%。
2026-05-11 cs.DC
End-to-end Mapping in Heterogeneous Systems Using Graph Representation Learning
USC（南加州大学）；Intel Labs（英特尔研究院）
为了使异构计算系统的自主编程和优化能力，我们提出了一个统一的，端到端的，可编程的图形表示学习（PGL）框架，能够挖掘的复杂性高层次的程序到通用的中间表示，提取特定的计算模式和预测的代码段将最好地运行在一个特定的核心在异构硬件平台。该框架从代码图中提取多重分形拓扑特征，利用图形自编码器学习如何将图形划分为计算内核，并利用图神经网络（GNN）来预测处理器类型的正确分配。在评估中，我们验证了PGL框架，并证明了最大的加速比为6.42倍的基于线程的执行，和2.02倍的最先进的技术相比。
2022-04-25 cs.DC cs.LG
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当今的计算系统需要在计算资源之间来回移动数据（例如，CPU、GPU、加速器）和片外主存储器，以便可以对数据进行计算。不幸的是，这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中，一个有前途的执行范例是内存中处理（PIM），其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能，因为PIM基板施加了许多设计约束。因此，许多最近的作品共同设计专门的PIM加速器和算法，以提高性能并降低（i）来自各种应用领域的应用程序的能耗;以及（ii）各种计算环境，包括云系统，移动系统和边缘设备。我们展示了共同设计算法和硬件的好处，这种方式有效地利用了PIM范式用于两个现代数据密集型应用：（1）边缘设备的机器学习推理模型和（2）云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中，我们广泛分析每个应用程序的计算和内存访问模式，以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中，我们利用第一步的见解来共同设计算法和硬件加速器，为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB
FusionStitching: Boosting Execution Efficiency of Memory Intensive Computations for DL Workloads
性能优化是一种不断寻求应用程序域和硬件之间和谐映射的艺术。近年来，深度学习（DL）在工业中的应用激增。优化此类工作负载的传统智慧主要集中在计算密集型操作（GEMM，卷积等）。然而，我们在这项工作中表明，内存密集型计算的性能是至关重要的E2E性能在实际的DL模型。我们提出了\emph{FusionStitching}，一个优化框架，能够融合内存密集型\emph{elementwise}，\emph{reduction}和细粒度的\emph{GEMM/Batched-GEMM}操作，有或没有数据依赖，到大型计算单元，然后映射和转换成高效的GPU内核。我们将融合计划优化问题转化为整数线性规划问题，并提出了一套经验算法来减小组合搜索空间。为了将优化的融合计划映射到硬件，我们提出了一种技术，通过充分利用片上资源（如暂存器或寄存器），将各种计算组有效地组合到单个GPU内核中。六个基准和四个工业规模的实际模型的实验结果令人鼓舞。总体而言，与Tensorflow基线相比，\emph{FusionStitching}可以达到高达5.7倍的加速比，与当前技术水平相比，实现1.25倍至1.85倍的性能加速比，平均1.4倍（几何平均值）。
2019-11-24 cs.DC
Multi-Personality Partitioning for Heterogeneous Systems
设计流程使用图分区作为单个设备的布局和布线的先驱，并在多个设备之间划分网表或任务图。分区器已经通过多资源约束来适应FPGA异构性，但是还没有利用相应的能力来以多种方式实现一些计算（例如，LUT与DSP块），这可以实现卓越的解决方案。本文介绍了多个性图划分，它将资源映射方面的划分。我们提出了一个修改后的多层次KLFM分区算法，也执行异构资源映射的节点与多个潜在的实现（多个个性）。我们使用21个电路和基准图来评估我们的多个性FPGA电路分区器的几个变体，并表明动态资源映射平均比静态映射提高了这些电路的切割尺寸27%。我们进一步表明，它提高了偏离目标资源利用率的50%以上的分区后资源映射。
2017-04-06 cs.DC cs.DS
Load-Balanced Bottleneck Objectives in Process Mapping
我们提出了一个新的问题制定图分区，是针对现代异构超级计算机上的时间关键型模拟的需求。
2020-01-27 cs.DC
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG（哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心）
本文综述 2017–2024 年 66 篇研究，分析异构 HPC 工作负载映射与调度工具，指出 NP-hard 难题及启发式局限，并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
Challenges Towards Deploying Data Intensive Scientific Applications on Extreme Heterogeneity Supercomputers
在过去的半个世纪里，推动计算进步的缩小晶体管由于功率墙而停滞不前;现在，极端异质性有望成为满足日益多样化的科学领域需求的下一个驱动力。为了释放这种超级计算机的潜力，我们确定了三大类八个潜在挑战：首先，需要快速的数据移动，因为极端的异构性将不可避免地使通信电路复杂化，从而阻碍数据移动。其次，我们需要为相应的应用程序/阶段智能地调度合适的硬件。第三，我们必须降低编程复杂性，以鼓励采用异构计算。
2018-04-25 cs.DC
A Graph-Partition-Based Scheduling Policy for Heterogeneous Architectures
为了有效地提高系统性能，许多系统选择配备多核和众核处理器（如GPU）。由于它们的离散存储器，这些异构体系结构包括计算机内的分布式系统。在这种情况下，数据流编程模型很有吸引力，因为它易于表示并发性。程序员只需要定义任务依赖关系，而不需要考虑如何在硬件上调度它们。然而，将所得到的任务图有效地映射到硬件上仍然是一个挑战。在本文中，我们提出了一个图分区调度策略映射数据流的工作负载到异构硬件。根据我们的实验，我们的图分区为基础的调度实现了传统的基于队列的方法相当的性能。
2015-02-26 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架，整合图神经网络与强化学习，用于异构HPC系统中的约束与数据感知工作流映射及调度，在保证接近ILP最优解质量的同时大幅缩短执行时间，实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
DiviML: A Module-based Heuristic for Mapping Neural Networks onto Heterogeneous Platforms
Cornell University（康奈尔大学）
本文提出DiviML框架，通过编译器级别自动划分与设备映射，将深度神经网络部署到异构硬件上，结合MILP精确求解与模块度启发式算法，在保证解质量的同时大幅降低运行时间并显著提升延迟和吞吐量性能。
2023-08-02 cs.DC cs.LG cs.SE
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University（布朗大学）
研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
2026-07-27 cs.DC
Mapping Large Memory-constrained Workflows onto Heterogeneous Platforms
针对大规模DAG型科学工作流的内存约束调度问题，提出一种四步启发式算法，通过DAG分块、块拆分合并适配内存及块交换局部搜索，在异构平台上实现更优的完工时间表现。
2024-07-12 cs.DC
MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for Heterogeneous MPSoC Deployment
University of California Irvine（加州大学欧文分校）；Université Polytechnique Hauts-de-France（上法兰西综合理工大学）
提出 MaGNAS 映射感知图神经架构搜索框架，通过双层进化搜索联合优化视觉 GNN 架构与异构 MPSoC 映射，在 Xavier AGX 上显著降低延迟和能耗且准确率损失极小。
2023-07-16 cs.CV cs.DC cs.LG
Optimising Virtual Resource Mapping in Multi-Level NUMA Disaggregated Systems
本文针对多级 NUMA 解耦系统中资源访问延迟不均的问题，提出一种基于虚拟核心绑定和内存迁移的 NUMA 感知映射算法，并在 288 核、约 1TB 内存的系统上验证其相比默认 Linux 调度器能显著提升应用性能。
2025-01-02 cs.DC
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT，这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台，用于数据处理和分析，从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念：它为物联网运营提供了云服务的灵活性和弹性。此外，它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式，弥合了云计算和物联网生态系统之间的差距。因此，Cloud4IoT扮演的角色类似于Fog Computing，Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块，支持专用设备，即物联网网关，通过这些网关，新的传感器对象可以访问平台。总体而言，该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟，有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建，用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现，并在两个不同的用例中演示。
2018-10-03 cs.DC
Evaluating Large Language Models for Workload Mapping and Scheduling in Heterogeneous HPC Systems
Faculty of Mathematics and Computer Science, Georg-August-Universität Göttingen（数学与计算机科学学院，哥廷根乔治-奥古斯特大学）
本研究评估21个公开LLM在异构HPC工作负载映射调度任务上的表现，明确其组合优化推理能力边界，指出LLM更适合作为可解释决策副驾驶而非自主求解器。
2025-11-04 cs.AI cs.DC
Scaling Radio Astronomy Signal Correlation on Heterogeneous Supercomputers Using Various Data Distribution Methodologies
下一代射电望远镜将需要更大数量级的计算能力，以提供更高灵敏度的宇宙视图。在射电望远镜信号处理流程的初始阶段，信号相关性是处理巨大数据吞吐量和密集计算方面的最大挑战之一。我们实现了一个基于GPU集群的软件相关器与各种数据分布模型，并给出了一个系统的比较使用Fornax超级计算机的测试结果的基础上。通过分析每个模型的可扩展性和吞吐量，在广泛的问题大小范围内确定最佳方法，涵盖下一代望远镜的规模。
2013-05-24 astro-ph.IM cs.DC
Heterogeneous-Reliability Memory: Exploiting Application-Level Memory Error Tolerance
本文总结了我们在通过异构可靠性内存（HRM）来表征应用程序内存错误漏洞以优化数据中心成本方面的工作，该工作发表在DSN 2014上，并探讨了这项工作的意义和未来潜力。内存设备是数据中心总拥有成本（TCO）的关键组成部分，而用于减少这些设备上发生的错误的技术会增加此成本。为存储器设备提供可靠性的现有方法悲观地将所有数据视为同样易受存储器错误的影响。我们的主要见解是，在新的数据密集型应用程序中存在不同的内存错误容忍度，并且传统的一刀切的内存可靠性技术在成本方面效率低下。这提供了一个机会，通过为不同的应用程序提供适当的内存可靠性，大大降低服务器硬件成本。为此，在我们的DSN 2014论文中，我们做出了三个主要贡献，以低数据中心成本实现高度可靠的服务器。首先，我们开发了一种新方法来量化应用程序对内存错误的容忍度。其次，使用我们的方法，我们进行了三个新的数据密集型工作负载（交互式Web搜索应用程序，内存中的键-值存储和图形挖掘框架）的案例研究，以确定新的见解应用程序内存错误漏洞的性质。第三，基于我们的见解，我们提出了几种新的硬件/软件异构可靠性存储系统的设计，以降低数据中心的成本，同时实现高可靠性，并讨论他们的权衡。我们表明，我们的新技术可以减少4.7%的服务器硬件成本，同时实现99.90%的单服务器可用性。
2018-05-10 cs.DC
Exploring Multi-Reader Buffers and Channel Placement during Dataflow Network Mapping to Heterogeneous Many-core Systems
本文针对数据流应用在众核平台上的内存开销与执行周期权衡问题，提出选择性使用多读者缓冲区并联合探索执行单元与通道映射的多目标设计空间探索方法，实验表明其Pareto前沿质量显著优于参考方法。
2023-11-29 cs.DC
An Empirical Evaluation of Quantum-Inspired QUBO Methods for Heterogeneous HPC Workflow Mapping and Scheduling
Institute of Computer Science, Georg-August-Universität Göttingen（哥廷根大学计算机科学研究所）；GWDG mbH（GWDG有限责任公司）
通过系统实验评估三种量子启发式QUBO变体（单次模拟退火、多次尝试退火和分层QAOA启发调度）在异构HPC工作流调度中的可行性、makespan和资源利用率，并与MILP、CP-SAT、GA和HEFT等经典基线比较，发现QUBO方法在任务数超过15时可行性下降，经典方法在现有求解器能力下仍更可靠。
2026-05-25 cs.DC
Application-Driven Architecture Exploration for Cross-Layer Heterogeneous Systems
Tsinghua University（清华大学）
研究跨层异构系统设计空间难探索的问题，提出应用驱动框架CHASE，通过分层图表示候选方案，用解耦两级循环避免联合硬件映射搜索难的问题，在稀疏计算和大语言模型工作负载上评估，实现加速并降本降耗。
2026-07-28 cs.DC
Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments
边缘计算通过利用数据邻近性并将延迟敏感和计算密集型工作负载卸载到附近的边缘服务器来实现大量新兴边缘应用程序。然而，由于有限的接入点边缘站点和受限的弹性，在广域环境中大规模支持边缘应用用户带来了挑战。在本文中，我们介绍了Armada：一个密集分布的边缘云基础设施，它探索了在异构环境中使用专用和志愿者资源为地理分布的用户提供服务。我们描述了轻量级的Armada架构和优化技术，包括性能感知的边缘选择，边缘上的自动扩展和负载均衡，容错和原位数据访问。我们在真实世界的志愿者环境和模拟平台上评估了Armada，以展示常见的边缘应用程序，即实时目标检测和人脸识别，可以轻松地部署在Armada上，以低延迟的方式为分布式用户提供大规模服务。
2021-11-23 cs.DC
Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud
City University of New York（纽约城市大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
本文针对志愿者边缘云中数据密集型工作流调度问题，提出一种基于异步优势演员-评论家强化学习的方法，综合考虑工作流需求、资源偏好与资源策略，实验证明其在需求满足度和资源利用率上优于基线策略。
2024-07-01 cs.AI cs.DC
LOAM: Low-latency Communication, Caching, and Computation Placement in Data-Intensive Computing Networks
针对分散计算网络中资源分配未综合考虑拓扑、弹性资源、计算复用及非线性拥塞目标的问题，提出低延迟联合通信、缓存与计算部署框架LOAM，通过离线和在线算法解决NP-hard成本最小化问题，性能优于多个基线。
2024-03-23 cs.DC cs.NI
Methods and Experiences for Developing Abstractions for Data-intensive, Scientific Applications
为需要集成各种类型的计算、仪器和数据的科学应用开发软件提出了与商业软件不同的挑战。这些应用程序需要规模，并需要将各种编程和计算模型与不断发展的异构基础设施集成在一起。因此，分布式基础设施的普遍和有效的抽象是至关重要的，然而，科学应用和基础设施的抽象开发过程并没有得到很好的理解。虽然基于理论的系统开发方法适用于定义良好的封闭环境，但它们在为科学系统和应用程序设计抽象方面有严重的局限性。设计科学研究（DSR）方法为设计能够在各个层面处理现实世界复杂性的实用系统提供了基础。与以理论为中心的方法相比，DSR通过构建和严格评估所有工件来强调实践相关性和知识创造。我们展示了DSR如何提供一个定义良好的框架，为分布式系统开发抽象和中间件系统。具体来说，我们解决的关键问题，分布式资源管理异构基础设施的动态范围内的规模，目前限制了许多科学应用的挑战。我们使用的试点抽象，广泛使用的资源管理抽象的高性能，高吞吐量，大数据和流应用程序，作为一个案例研究评估DSR活动。为此，我们分析了研究过程中产生的文物的设计和评估的试点抽象。我们发现DSR为迭代设计和评估系统提供了一个简洁的框架。最后，我们总结经验，总结不同的教训。
2020-03-25 cs.DC cs.SE
Tripod of Requirements in Horizontal Heterogeneous Mobile Cloud Computing
移动计算的最近趋势是在移动设备中执行资源密集型应用，而不管需要即将到来的技术的底层资源限制（例如，有限的处理器和能量）。云计算在固定计算机中的繁荣孕育了移动云计算（MCC）技术，该技术旨在除了节省能量之外还增强移动设备的计算和存储能力。然而，与云计算相比，MCC更加异构和不可靠（由于无线连接）。操作系统的变化、数据碎片以及安全和隐私等问题阻碍和减缓了MCC的实施和普及。在本文中，我们将MCC描述为一个水平异构生态系统，并确定了影响移动云解决方案和MCC成功的13个关键指标和方法。我们将它们分为三个主要类别，即普遍性，信任和能源效率，并在MCC中设计了一个三脚架。我们提出的三脚架表明，MCC的成功可以通过减少移动性挑战（例如无缝连接，碎片化），增加信任和提高能源效率来实现。
2012-05-15 cs.DC
Static Generation of Efficient OpenMP Offload Data Mappings
本文提出静态分析工具 OMPDart，通过建模主机与设备区域的数据依赖并实施源代码转换，自动生成高效 OpenMP 卸载数据映射，在九个 HPC 基准上显著减少数据传输。
2024-09-07 cs.DC
A Model and Survey of Distributed Data-Intensive Systems
本文提出统一模型剖析分布式数据密集型系统的核心功能与设计权衡，并据此分类数十个系统，以比较异构方案、识别趋势并指出开放研究方向。
2023-06-07 cs.DB cs.DC
Ray Data: A dynamic and scalable system for heterogeneous data processing
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Anyscale
针对传统分布式数据处理系统异构资源利用率低、故障开销高的问题，提出融合批处理与流处理的流批模型，推出的Ray Data系统显著提升了异构推理流水线吞吐量与多模态模型训练效率。
2026-10-21 cs.DC cs.LG
Acceleration of Data Analytics on Heterogeneous Supercloud Systems
Huawei Research（华为研究）
本文提出面向异构超级云的计算模型与ReDSEa工具链，自动化映射、负载均衡等，在鲲鹏920与昇腾910系统上实现CH分解和SVD分析高达17倍和88倍的加速。
2026-10-06 cs.DC cs.MS cs.PF
MoE Parallel Folding: Heterogeneous Parallelism Mappings for Efficient Large-Scale MoE Model Training with Megatron Core
NVIDIA
本文提出MoE并行折叠方法，通过解耦注意力层和MoE层的并行化，提升大规模MoE模型训练的效率与可扩展性。
2026-03-02 cs.DC cs.LG
HgPCN: A Heterogeneous Architecture for E2E Embedded Point Cloud Inference
针对嵌入式边缘端点云工作负载端到端处理实时性不足的问题，提出HgPCN异构架构，通过八叉树索引采样和基于体素扩展聚合的定制单元分别优化预处理下采样与推理数据结构化瓶颈，实现实时点云推理。
2025-01-14 cs.AR cs.DC
