On Heterogeneous Coded Distributed Computing
我们考虑最近提出的编码分布式计算（CDC）的框架，利用精心设计的冗余计算，使编码的机会，大大减少了通信负载的分布式计算。我们将此框架推广到异构系统，其中计算集群中的不同节点可以具有不同的存储（或处理）能力。我们提供了信息理论上的最佳数据集的位置和编码数据洗牌计划，最大限度地减少了3个节点的集群中的通信负载。对于具有$K>3$节点的集群，我们提供了一个算法描述，以将我们的编码思想推广到更大的网络。
2017-09-01 cs.DC cs.IT math.IT
A Domain Specific Approach to Heterogeneous Computing: From Availability to Accessibility
我们提倡针对多核CPU、GPU和FPGA等异构计算平台的特定领域软件开发方法。我们认为，三个具体的好处是实现采用这样的方法：便携式，高效的实现异构平台;域特定的质量指标，以软件开发人员将理解的形式，在可用的计算资源的自动化，最佳分区。这三个好处允许软件开发人员的开发方法，他们在一个单一的，易于理解的形式描述他们的计算问题，并在可用资源的建模过程后，选择他们希望如何在各种领域特定的指标之间进行交易。我们在前瞻性金融框架（$F^3$）方面的工作在实践中证明了这一方法。我们能够在各种CPU、GPU和FPGA计算平台上高效地执行一系列计算金融期权定价任务。我们还可以创建准确的金融领域的walltime延迟和统计置信度度量模型。此外，我们相信我们可以使用这种执行和建模功能来支持自动的最佳分区。
2014-08-21 cs.CE cs.DC cs.PF
Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers
我们研究了云计算系统中的多资源分配问题，其中资源池是由大量异构服务器构建的，这些服务器代表处理、内存和存储等资源配置空间中的不同点。我们设计了一个多资源分配机制，称为DRFH，概括的主导资源公平性（DRF）的概念，从一个单一的服务器到多个异构服务器。DRFH提供了许多非常理想的性能。使用DRFH，没有用户喜欢另一个用户的分配;没有人可以在不减少其他用户的分配的情况下改善其分配;更重要的是，没有用户有动机谎报其资源需求。作为一个直接的应用程序，我们设计了一个简单的启发式，实现DRFH在现实世界中的系统。由Google集群跟踪驱动的大规模模拟表明，DRFH的性能明显优于传统的基于时隙的调度器，从而提高了资源利用率，大大缩短了作业完成时间。
2013-08-01 cs.DC
Scientific Workflows in Heterogeneous Edge-Cloud Computing: A Data Placement Strategy Based on Reinforcement learning
与云计算或其他传统的分布式计算环境相比，异构边缘-云计算范例可以提供部署科学工作流的最佳解决方案。由于科学数据集的大小不同以及其中一些数据集的隐私问题，因此必须找到一种数据放置策略，以最大限度地减少数据传输时间。一些最先进的数据放置策略结合边缘计算和云计算来分发科学数据集。然而，在工作流执行期间，将新生成的数据集动态分发到适当的数据中心并退出已使用的数据集仍然是一个挑战。为了应对这一挑战，本研究不仅构建了一个数据放置模型，其中包括共享数据集内的个人和跨不同地理区域的多个工作流之间，但也提出了一个数据放置策略（DYM-RL-DPS）的基础上的两个阶段的算法。首先，在工作流的构建阶段，我们使用差分进化的离散粒子群优化算法来预先分配初始数据集到适当的调度中心。然后，我们将动态数据集分布问题重新表示为马尔可夫决策过程，并提供了一种基于强化学习的方法来学习科学工作流运行时阶段的最优策略。通过模拟异构边缘云计算环境，设计了综合实验来验证DYM-RL-DPS的优越性。与其他策略相比，我们的策略可以有效地减少数据传输时间。
2022-05-14 cs.DC
Coarse-Grain Performance Estimator for Heterogeneous Parallel Computing Architectures like Zynq All-Programmable SoC
异构计算正在成为节能系统设计的强制性要求。基于这一目标，现代异构平台，如Zynq全可编程SoC，集成了基于ARM的SMP和可编程逻辑，已经被设计出来。然而，这些平台引入了大的设计周期组成的硬件/软件分区，粒度和硬件加速器的数量，硬件/软件集成，比特流生成等，本文提出了一种性能并行异构估计系统的硬件/软件协同设计和运行时异构任务调度的关键。结果表明，程序员可以快速决定，仅基于她/他的Ompss（OpenMP +扩展）的应用程序，这是协同设计，实现近最佳的异构并行性能，基于所提出的方法，并考虑只合成估计结果。所提出的方法将程序员协同设计决策从数小时减少到数分钟，并在Zynq全可编程SoC上显示出硬件/软件异构并行性能估计的高潜力。
2015-08-27 cs.DC cs.PF
Exploring Uncore Frequency Scaling for Heterogeneous Computing
本文针对异构CPU-GPU系统中GPU主导负载下非核心频率无法有效降低导致功耗浪费的问题，提出用户透明的运行时MAGUS，通过内存吞吐量预测与相位管理实现最高27%节能和26% EDP降低。
2025-02-06 cs.DC
Optimal Data Placement for Data-Sharing Scientific Workflows in Heterogeneous Edge-Cloud Computing Environments
与传统的分布式计算或云计算环境相比，异构边缘-云计算范例可以为部署科学工作流提供更优化的方向。由于科学数据集的大小不一，且其中一些数据集必须保持私密性，因此寻找一种既能减少数据传输又能降低放置成本的数据放置策略仍然是一个难题。针对这一问题，结合边缘计算和云计算的优势，构建了一个数据放置模型，通过智能计算来平衡数据传输时间和数据放置成本。该模型解决的最困难的研究挑战是考虑在这种混合计算环境中的许多约束，其中包括在不同地理区域的单个和多个工作流之间的共享数据集。根据所建立的模型，提出了一种新的数据布局策略DE-DPSO-DPS，该策略采用差分进化离散粒子群优化算法（DE-DPSO-DPA）对这些科学数据集进行布局。该策略不仅考虑了边缘微处理器的数量和存储容量、不同微处理器之间的带宽以及私有数据集的比例等特性，还分析了算法在工作流执行过程中的性能。在模拟的异构边缘云计算环境中进行了综合实验，结果表明，与传统的数据共享科学工作流策略相比，该数据放置策略能够有效地减少数据传输时间和放置成本。
2021-04-13 cs.DC
Optimal Load Allocation for Coded Distributed Computation in Heterogeneous Clusters
近年来，编码技术已成为分布式计算中有效减轻离散节点影响的一种技术。然而，在这种情况下的编码主要是在同构工作者的假设下探索的，尽管现实世界的计算集群通常可以由具有不同计算能力的异构工作者组成。没有异构性意识的均匀负载分配可能会导致延迟的显著损失。在本文中，我们提出了最佳的负载分配编码分布式计算与异构工作者。具体来说，我们专注于存在具有相同计算能力的工人的情况下，这可以被视为一组进行分析。我们依赖于预期延迟的下限，并通过显示我们提出的负载分配达到足够大数量的工人的下限的最小值来获得最佳负载分配。从数值模拟，当假设组的异质性，我们的负载分配减少了预期的延迟的数量级超过现有的负载分配方案。
2020-02-17 cs.DC
A Framework for Developing Real-Time OLAP algorithm using Multi-core processing and GPU: Heterogeneous Computing
存储数据量的压倒性增长促使研究人员寻求不同的方法，以最佳地利用它，其中大多数都面临着响应时间的问题，由于这种巨大的数据量。大多数解决方案都建议物化作为一个最受欢迎的解决方案。然而，这样的解决方案无论如何也不能获得实时的答案.在本文中，我们提出了一个框架，说明了障碍和建议的解决方案，在实现实时的OLAP答案，显着地用于决策支持系统和数据仓库的方式。
2014-02-16 cs.DC
MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University（信息工程大学先进计算与智能工程实验室）
针对经典-量子系统异构性问题，提出MPI-Q库，通过统一管理经典与量子进程、轻量通信路径和异构同步机制，实现高效混合分布式计算，实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
Heterogeneous High Throughput Scientific Computing with APM X-Gene and Intel Xeon Phi
电力需求将成为高能物理所使用的分布式高吞吐量计算（DHTC）未来增长的制约因素。性能功耗比是评估计算机体系结构以实现经济高效计算的关键度量。此外，未来的性能增长将来自于具有专用处理器的异构、众核和高计算密度平台。在本文中，我们将研究面向科学计算应用的英特尔至强融核多集成核（MIC）协处理器和Applied Micro X-Gene ARMv 8 64位低功耗服务器片上系统（SoC）解决方案。我们报告我们的软件移植，性能和能源效率的经验，并评估使用这种技术的分布式计算系统的背景下，如全球大型强子对撞机计算网格（WLCG）的潜力。
2014-10-10 cs.DC hep-ex physics.comp-ph
A Practical Algorithm Design and Evaluation for Heterogeneous Elastic Computing with Stragglers
我们在Amazon EC2上进行的大量实际测量表明，即使虚拟实例共享相同的配置，它们也通常具有不同的计算速度。这促使我们研究异构编码存储弹性计算（CSEC）系统，其中具有不同计算速度的机器在不同的计算步骤中任意加入和离开网络。在CSEC系统中，最大距离可分离（MDS）码用于编码存储，使得不必利用每个弹性事件重新定义文件放置。计算分配算法用于在给定不同机器的计算速度的情况下最小化计算时间。虽然以前的异构CSEC的研究不包括离散-计算过程中的慢机器，我们开发了一个新的框架，在异构CSEC引入离散容忍。基于这个框架，我们设计了一种新的算法，使用我们以前提出的方法异构CSEC，使系统可以处理指定大小的任何子集的掉队者，同时最大限度地减少计算时间。此外，我们建立了一个折衷的计算时间和离散公差。现有的CSEC设计的另一个主要限制是缺乏使用实际应用的实际评估。在本文中，我们评估了我们的设计在Amazon EC2上的幂迭代和线性回归应用程序的性能。评估结果表明，所提出的异构CSEC算法优于国家的最先进的设计超过30%。
2021-09-15 cs.DC cs.IT math.IT
A Task-Type-Based Algorithm for the Energy-Aware Profit Maximizing Scheduling Problem in Heterogeneous Computing Systems
在本文中，我们设计了一个有效的算法的能源意识的利润最大化调度问题，其中的高性能计算系统管理员是每单位时间的利润最大化。该算法的运行时间依赖于任务类型的数量，而以前的算法的运行时间依赖于任务的数量。此外，我们证明了最坏情况下的性能比接近2，这可能是最好的结果。仿真实验表明，该算法比以往的方法更准确。
2015-01-22 cs.DC cs.DS
Robust Dynamic Resource Allocation via Probabilistic Task Pruning in Heterogeneous Computing Systems
在异构分布式计算（HC）系统中，计算资源和到达的任务都可能存在差异.在不一致的异构计算系统中，任务类型在异构机器上具有不同的执行时间。需要一种方法来将到达的任务映射到基于机器可用性和性能的机器，最大化满足截止日期的任务数量（定义为鲁棒性）。对于有严格截止日期的任务（例如实时视频流中的任务），错过截止日期的任务将被丢弃。本研究中研究的问题是最大限度地提高超额认购HC系统的鲁棒性。最大化这种鲁棒性的一种方法是修剪（即推迟或放弃）满足其最后期限的概率较低的任务，以增加其他任务满足其最后期限的概率。在本文中，我们首先提供了一个数学模型来估计一个任务的概率，满足其截止日期存在的任务丢弃。然后，我们调查的方法进行概率下降，我们发现下降和推迟的阈值。接下来，我们开发了一个修剪感知映射启发式算法，并将其扩展到各种任务类型之间的公平性。我们展示了在HC系统中使用概率剪枝的成本效益。模拟结果，利用选择的映射算法，显示效率的修剪机制，提高鲁棒性（平均25%）和成本在超额认购HC系统高达40%。
2019-01-27 cs.DC
Heterogeneous Computation Assignments in Coded Elastic Computing
我们研究了异构编码弹性计算（CEC）网络的最优设计，其中机器具有不同的相对计算速度。Yang介绍的CEC { \it et al.}是一个框架，它减轻了弹性事件的影响，其中机器加入和离开网络。使用最大距离可分离（MDS）代码将一组数据分布在存储受限的机器之间，使得特定大小的机器的任何子集都可以执行所需的计算。这种设计消除了在每个弹性事件之后重新分发数据的需要。在这项工作中，我们开发了一个过程中的任意异构计算网络，通过定义一个最佳的计算负载，或分配给每台机器的计算数量，以尽量减少整体计算时间。然后，我们提出了一个算法来定义一个特定的计算分配之间的机器，利用MDS代码，并满足最佳的计算负载。
2020-01-12 cs.DC cs.IT math.IT
SCALE-TRACK: Asynchronous Euler-Lagrange particle tracking on heterogeneous computing architecture
Leibniz-Institute for Tropospheric Research（莱布尼茨对流层研究所）；Wikki GmbH（Wikki有限公司）
本文提出了一种可扩展的双向耦合欧拉-拉格朗日粒子追踪算法，通过异步耦合、缓存友好数据结构和分块分区技术，解决了现有EL实现的局限性，并在本地工作站和HPC集群上实现了高精度模拟和扩展性。
2026-08-28 cs.CE cs.DC physics.comp-ph
Toward Heterogeneous, Distributed, and Energy-Efficient Computing with SYCL
本文提出基于SYCL的高层编程接口，通过Celerity和SYnergy两个扩展分别解决加速器集群工作负载分配与高能效计算问题，从而简化异构高性能计算系统编程。
2025-05-09 cs.DC
Dwarfs on Accelerators: Enhancing OpenCL Benchmarking for Heterogeneous Computing Architectures
出于性能和能效的原因，高性能计算（HPC）硬件正变得越来越异构。OpenCL框架支持跨各种计算设备的可移植编程，并在下一代加速器编程中获得影响力。为了在一系列应用中表征这些设备的性能，需要一个多样化的、可移植的和可配置的基准测试套件，OpenCL是一个有吸引力的编程模型。我们提出了一个扩展和增强版本的OpenDwarfs OpenCL基准测试套件，重点放在应用程序的健壮性，策展的额外的基准测试，更加强调结果的正确性和选择的问题大小。初步结果和分析报告了八个基准代码在一组不同的架构-三个英特尔CPU，五个Nvidia GPU，六个AMD GPU和一个至强Phi。
2018-05-10 cs.DC cs.PF
PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing
随着越来越多的服务提供商选择由第三方资源提供商提供的云平台，资源提供商需要为不同云场景下的异构工作负载提供资源。考虑到异构工作负载的巨大差异，我们是否可以在云计算中为异构工作负载协调调配资源？在本文中，我们专注于这个重要的问题，这是由以前的一些工作。我们的贡献有三个方面：（1）分别提出了两种典型云场景下的异构工作负载协同资源配置方案：第一种是大型组织为两个异构工作负载运行私有云;第二种是大型组织或两个服务提供商运行异构工作负载恢复到公有云;（2）我们构建了一个敏捷系统PhoenixCloud，使资源提供商能够在异构工作负载整合到云站点时，根据需要创建协调的运行时环境;（3）在实验中进行了综合评价。对于两种典型的异构负载跟踪：并行批处理作业和Web服务，实验表明：a）在私有云场景下，当吞吐量与专用集群系统的吞吐量基本相同时，我们的解决方案使集群的配置规模减少了约40%; b）在公共云场景中，我们的解决方案不仅减少了总资源消耗，而且峰值资源消耗最大为EC2 +RightScale方案的31%。
2010-07-20 cs.DC
FpgaHub: Fpga-centric Hyper-heterogeneous Computing Platform for Big Data Analytics
FpgaHub提出以FPGA为中心的超异构计算平台，利用可重构计算和丰富IO接口作为数据与控制枢纽，协同CPU、GPU、DPU等处理器，以突破专用硬件IO限制并提升大数据分析性能。
2025-03-12 cs.AR cs.DC
Rethinking Dynamic Networks and Heterogeneous Computing with Automatic Parallelization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对动态网络与异构节点场景，提出基于仿真的自动并行规划方法，并通过策略剪枝加速搜索，提升大语言模型训练性能与适应性。
2025-06-03 cs.AI cs.DC
CPU-GPU Heterogeneous Code Acceleration of a Finite Volume Computational Fluid Dynamics Solver
本文研究有限体积CFD求解器SENSEI的CPU-GPU异构加速，提出考虑ghost cell交换的性能模型，并通过超声速进气道算例验证异构计算相比纯CPU或纯GPU的性能优势。
2023-05-29 cs.DC cs.PF
Adaptive Edge Process Migration for IoT in Heterogeneous Cloud-Fog-Edge Computing Environment
以云为中心的物联网管理系统的延迟问题激发了雾和边缘计算（FEC）架构，该架构将任务从云分发到边缘资源，如路由器，交换机或物联网设备本身。具体来说，物联网系统的移动传感器也可以为FEC执行某些任务。考虑到当移动传感器无法继续其任务时从移动传感器到其他资源的动态过程迁移的需要，IoT系统需要提供允许移动传感器在运行时将其任务动态地迁移到其他FEC资源的灵活机制。然而，它提出了一个问题，在什么是最佳的方法时，移动传感器打算将其任务迁移到多个异构FEC资源？为了解决这个问题，作者提出了REM方案，这是能够优化进程迁移决策。此外，为了实现这样的系统并验证REM方案，作者开发了EPIOT主机框架。最后，作者实现了REM方案和框架，并进行了评估，结果表明，REM方案是能够提高在异构FEC环境中的进程迁移的性能。
2018-11-27 cs.DC
LEGaTO: Low-Energy, Secure, and Resilient Toolset for Heterogeneous Computing
LEGaTO项目利用基于任务的编程模型，为由CPU、GPU、FPGA和低功耗引擎组成的欧洲制造异构硬件提供软件生态系统。其目标是实现从边缘到融合云/HPC的一个数量级的能源节约，同时平衡安全性和弹性挑战。LEGaTO是一个为期三年的欧盟H2020项目，于2017年12月启动。
2019-12-01 cs.DC
Function Delivery Network: Extending Serverless Computing for Heterogeneous Platforms
无服务器计算在亚马逊的Lambda平台推出后迅速发展。功能即服务（FaaS）是无服务器计算的关键推动因素，它允许将应用程序分解为在FaaS平台上执行的简单独立功能。FaaS平台负责将资源部署和促进功能。当今的一些云应用程序分布在异构的连接计算资源上，并且在其结构和资源需求方面具有高度动态性。然而，FaaS平台仅限于同构集群和同构功能，并且在调度之前不考虑功能的数据访问行为。我们引入了一个扩展的FaaS异构集群和支持异构功能，通过网络的分布式异构目标平台称为功能交付网络（FDN）。目标平台是同构节点集群和其上的FaaS平台的组合。FDN提供功能交付即服务（FDaaS），将功能交付到正确的目标平台。我们展示的机会，如不同的目标平台的特点，多个目标平台之间的协作执行的可能性，以及本地化的数据，FDN提供在实现两个目标：服务水平目标（SLO）的要求和能源效率时，通过评估超过五个分布式目标平台调度功能使用FDNInspector，我们开发的分布式目标平台的基准测试工具。与高端目标平台上的调度相比，我们评估中的边缘目标平台上的调度功能将总体能耗降低了17倍，而不违反SLO要求。
2021-02-03 cs.DC cs.PF
A new step for computing
IBM Technology（IBM 技术部）
未来的数据中心是由异构系统组成的数据中心，这些系统将运行异构工作负载。这些系统将尽可能靠近数据。异构系统将配备二进制，生物启发和量子加速器。这些架构将成为应对挑战的基础。就像管弦乐队指挥一样，混合云将使这些系统能够通过安全和智能自动化层来设置音乐。
2021-11-04 cs.AI cs.DC
E2C: A Visual Simulator for Heterogeneous Computing Systems
在这些系统的发展史上，异构化一直是分布式计算不可或缺的一个方面。特别地，随着加速器技术的日益普及（例如，GPU和TPU）以及通过ASIC和FPGA的特定领域计算的出现，异构性和利用它已经成为比以往任何时候都更加关键的挑战。利用系统异构性一直是分布式系统中的一个长期挑战，并在过去进行了广泛的研究。使用真实的基础设施（例如公共云提供商提供的基础设施）来对不同应用程序的异构机器的性能进行基准测试，针对不同的目标，以及在各种工作负载强度下，成本和时间都是高昂的。为了减轻这种负担，我们开发了一个开源的仿真工具，称为E2 C，可以帮助研究人员和从业人员研究任何类型的异构计算系统，并测量其性能在各种系统配置。E2 C具有直观的图形用户界面（GUI），使其用户能够轻松检查系统级解决方案（调度、负载均衡、可扩展性等）。在一个受控的环境中在短时间内，在没有成本。特别是，E2 C提供了以下功能：（i）模拟异构计算系统;（ii）实现新开发的调度方法并将其插入系统;（iii）测量能耗和其他与输出相关的指标;以及（iv）强大的视觉方面，以缓解学生的学习曲线。E2 C的潜在用户可以是计算机科学/工程专业的本科生和研究生、研究人员和从业人员。
2022-12-21 cs.DC cs.OS
Uncoded Storage Coded Transmission Elastic Computing with Straggler Tolerance in Heterogeneous Systems
针对异构速度、存储约束及掉队者问题，提出USCTEC组合优化框架及启发式算法，以降低矩阵-矩阵乘法的期望计算时间并减少存储开销。
2024-01-22 cs.DC cs.IT math.IT
HEROv2: Full-Stack Open-Source Research Platform for Heterogeneous Computing
异构计算机将通用主机处理器与特定于域的加速器集成在一起，以将多功能性与效率和高性能相结合。然而，要实现异构计算机的全部潜力，必须克服许多硬件和软件设计挑战。虽然架构和系统模拟器可以用来分析异构计算机，但它们面临着模拟速度和性能建模精度之间不可避免的妥协。在这项工作中，我们提出了HEROv 2，这是一个基于FPGA的研究平台，可以准确快速地探索由基于32位RISC-V内核集群的加速器和应用级64位ARMv 8或RV 64主机处理器组成的异构计算机。HEROv 2允许在64位主机和32位加速器之间无缝共享数据，并具有完全开源的片上网络，统一的异构编程接口以及基于LLVM的混合数据模型，混合ISA异构编译器。我们在四个案例研究中评估了HEROv 2，从工具链和系统架构的应用程序级别到加速器微架构。我们展示了HEROv 2如何实现异构计算全栈的有效研究和开发。例如，编译器可以平铺循环并推断往返于加速器的数据传输，这导致与原始程序相比加速高达4.4倍，并且在大多数情况下仅比手写实现慢15%，这需要2.6倍的代码。
2022-01-11 cs.AR cs.DC cs.PF
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算（HPC）系统，所述高性能计算（HPC）系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用：它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能，从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机（能够维持每秒$10^{18}$浮点运算）。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统，这是一个现有的具体方法的合成，并开发一种优化方法，这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing System
University of Utah（犹他大学）；MathWorks；Peking University（北京大学）
任务流旨在使用基于轻量级任务图的方法简化并行和异构应用程序的构建。任务流引入了一个具有表达能力的任务图编程模型，以帮助开发人员在异构计算平台上实现并行和异构分解策略。我们的编程模型区分自己作为一个非常一般的类的任务图并行与图中的控制流，使端到端的并行优化。为了支持我们的模型具有高性能，我们设计了一个高效的系统运行时，解决了我们的模型中出现的许多新的调度挑战，并优化了延迟，能源效率和吞吐量的性能。我们已经证明了在现实世界中的应用程序的任务流有前途的性能。例如，Taskflow解决大规模机器学习工作负载的速度比工业系统oneTBB快29%，内存少1.5倍，吞吐量高1.9倍，机器上有40个CPU和4个GPU。我们已经开放了Taskflow的源代码，并将其部署给开源社区中的大量用户。
2021-09-06 cs.AI cs.DC
A New Design Framework for Heterogeneous Uncoded Storage Elastic Computing
弹性是现代云计算系统中的一个重要特征，并且可能导致计算失败或显著增加计算时间。这种弹性意味着云上的虚拟机可以在短时间内被抢占（例如，小时或分钟）;另一方面，新的虚拟机可能随着时间的推移变得可用，以补偿计算资源。Yang等人在2018年提出的编码存储弹性计算（CSEC）是克服弹性的有效方法，它的存储和计算负载相对较少。然而，CSEC的限制之一是它可能仅适用于某些类型的计算（例如，线性的），并且由于经常需要编码数据存储和近似，因此应用于更复杂的计算可能是有挑战性的。因此，可能优选的是通过直接将数据复制到虚拟机中来使用未编码的存储。此外，根据我们自己的测量，Amazon EC2集群上的虚拟机通常具有异构的计算速度，即使它们具有完全相同的配置（例如，CPU、RAM、I/O成本）。在本文中，我们介绍了一个新的优化框架，在非编码存储弹性计算（USEC）系统的异构计算速度，以最大限度地减少总的计算时间。在此框架下，我们提出了最优的解决方案，USEC系统与或没有离散公差使用不同的存储位置。我们提出的算法使用Amazon EC2上的幂迭代应用程序进行评估。
2021-07-23 cs.DC cs.IT math.IT
A New Combinatorial Coded Design for Heterogeneous Distributed Computing
Li等人在2015年提出的编码分布式计算（CDC）提供了一种有效的方法来交易计算能力，以减少MapReduce和Spark等一般分布式计算框架中的通信负载。特别地，将映射阶段中的计算负载增加因子r可以创建编码的多播机会，以将混洗阶段中的通信负载减少相同的因子。然而，CDC方案是为同构设置而设计的，其中计算节点上的存储、计算负载和通信负载是相同的。此外，它需要一个指数级的大量输入文件（数据批次），减少功能和多播组相对于节点的数量，以实现承诺的收益。我们提出了一种新的CDC方法的基础上的组合设计，它适应异构网络的节点具有不同的存储和计算能力，解决了CDC的局限性。此外，所提出的方法需要一个指数级更少的输入文件的数量相比，李等人提出的原始CDC计划。同时，由此产生的计算通信权衡保持乘法增益相比，传统的未编码单播和渐近实现李等人提出的最佳性能。
2020-07-21 cs.DC cs.IT math.IT
Autonomous Task Dropping Mechanism to Achieve Robustness in Heterogeneous Computing Systems
分布式计算系统的鲁棒性被定义为在参数不确定的情况下保持系统性能的能力。不确定性是异构（甚至同构）分布式计算系统中的一个关键问题，它会影响系统的鲁棒性。值得注意的是，这些系统的性能受到任务执行时间和到达时间的不确定性的干扰。因此，我们的目标是使系统对这些不确定性具有鲁棒性。考虑到任务执行时间是一个随机变量，我们使用概率分析，开发一个自主的主动任务丢弃机制，以达到我们的鲁棒性目标。具体来说，我们提供了一个数学模型，确定最优的任务丢弃决策，使系统的鲁棒性最大化。然后，我们利用的数学模型，开发一个任务丢弃启发式，实现系统的鲁棒性在一个可行的时间复杂度。虽然所提出的模型是通用的，可以应用于任何分布式系统，我们专注于异构计算（HC）系统，有更高程度的不确定性比同构系统。实验结果表明，自主主动丢弃机制可以提高系统的鲁棒性高达20%。
2020-05-22 cs.DC cs.OS cs.PF
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的，它们基于这样的假设：处理器的绝对速度不取决于计算任务的大小。事实证明，这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型（FPM），表示处理器的速度的函数的问题大小，最近已经提出。然而，这些算法不能采用自适应的应用程序，因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样，这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同，它们不假设速度函数是给定的。相反，他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数，而是构建和使用它们的部分估计，足以以给定的精度进行计算的最佳分布。在这些算法中，异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明，处理器之间的最佳矩阵分布的执行时间显着减少，由数量级，比优化的应用程序的总执行时间。
2011-09-14 cs.DC
A Unified Programming Model for Heterogeneous Computing with CPU and Accelerator Technologies
本文提出一种统一编程模型，将加速器视为I/O设备，扩展常见语言文件管理，简化异构编程，并支持耦合应用计算。
2024-05-30 cs.DC
E2C: A Visual Simulator to Reinforce Education of Heterogeneous Computing Systems
随着加速器技术（例如，GPU和TPU）以及通过ASIC和FPGA的特定领域计算的出现，异构性问题以及理解其对性能的影响变得比以往任何时候都更加重要。然而，它是具有挑战性的，有效地教育学生的异构性对分布式系统的性能的潜在影响，并在逻辑上的资源分配方法，以有效地利用资源。使用真实的基础设施来对不同应用程序、不同目标和不同工作负载强度下的异构机器的性能进行基准测试，成本和时间都很高。为了加强学习异质性的各个方面的质量，并减少教育差距的扩大，我们开发了一个开源的模拟工具，称为E2 C，可以帮助学生研究人员研究任何类型的异构（或同构）计算系统，并在各种配置下测量其性能。E2 C配备了直观的图形用户界面（GUI），使其用户能够轻松检查系统级解决方案（调度、负载均衡、可扩展性等）。在一个可控的环境中在短时间内。E2 C是一个离散事件模拟器，提供以下功能：（i）模拟异构计算系统;（ii）实现新开发的调度方法并将其插入系统;（iii）测量能耗和其他与输出相关的指标;以及（iv）强大的视觉方面，以减轻学生的学习曲线。我们在分布式和云计算课程中使用了E2 C作为作业。我们的匿名调查研究表明，学生评价E2 C的得分为8.7分，满分10分，其有用性在理解异构计算中的调度概念。
2023-03-20 cs.AR cs.DC cs.OS
A Study of Optimizing Heterogeneous Resources for Open IoT
最近，物联网技术已经取得了进展，并且许多传感器和执行器连接到网络。此前，物联网服务是以垂直整合的方式开发的。但现在开放物联网的概念已经引起了人们的关注，它通过整合水平分离的设备和服务来实现各种物联网服务。对于开放物联网时代，我们提出了隐性计算技术，以发现用户需要的数据设备，并动态使用它们。我们还实现了默会计算的基本技术。本文提出了三层优化策略来降低隐式计算服务的运行成本，提高隐式计算服务的性能，使隐式计算服务能够作为一种连续的服务被发现。在优化过程中，在全面运营之前，为设备、网络和云计算适当的功能分配。
2017-11-03 cs.DC
Coded Elastic Computing on Machines with Heterogeneous Storage and Computation Speed
我们研究了异构编码弹性计算（CEC）的优化设计，其中机器具有不同的计算速度和存储。Yang等人在2018年引入的CEC是一个减轻弹性事件影响的框架，机器可以在任意时间加入和离开。在CEC中，数据使用最大距离可分离（MDS）代码在机器之间分发，以便机器的子集可以执行所需的计算。然而，最先进的CEC设计仅在同构网络上运行，其中机器具有相同的速度和存储。这可能不切实际。在这项工作中，基于MDS存储分配，我们开发了一种新的计算分配方法，异构CEC网络，以尽量减少总的计算时间。我们首先考虑机器具有异构计算速度但具有相同存储的情况，然后考虑两种异构性都存在的情况。我们提出了一种新的组合优化公式，并解决它通过分解成一个凸优化问题，找到最佳的计算负载和“填充问题”，找到确切的计算分配。一个低复杂度的“填充算法”是适应，并可以在一定数量的迭代等于最多的可用机器的数量内完成。
2020-08-12 cs.DC cs.IT math.IT
BLASX: A High Performance Level-3 BLAS Library for Heterogeneous Multi-GPU Computing
基本线性代数子程序（Basic Linear Algebra Subprograms，BLAS）是一组低级线性代数内核，广泛应用于深度学习和科学计算。新兴GPU架构带来的巨大而经济的计算能力推动了在多GPU系统上实现计算密集型3级BLAS的兴趣。在本文中，我们调查了现有的多GPU 3级BLAS，并提出1）问题，如不适当的负载均衡，低效的通信，GPU流级并发和数据缓存不足，阻碍了当前的实现充分利用异构计算资源; 2）和GPU间的对等（P2P）通信仍然没有探索。然后，我们提出BLASX：一个高度优化的多GPU 3级BLAS。我们采用了算法的概念，由瓦片处理矩阵瓦片作为基本的数据单元和瓦片上的操作作为基本任务。任务由一个动态异步运行时引导，它是缓存和位置感知的。BLASX下的通信成本变得微不足道，因为它完美地重叠了异步任务进程中跨多个流的通信和计算。它还通过提出一种创新的2级分层切片缓存，利用GPU间的P2P通信，将当前的切片缓存方案向前推进了一步。因此，BLASX在多GPU配置下可观察到线性加速;广泛的基准测试表明，BLASX始终优于相关的领先工业和学术项目，如cuBLAS-XT，SuperMatrix，MAGMA和PaRSEC。
2015-10-16 cs.DC
An integrated heterogeneous computing framework for ensemble simulations of laser-induced ignition
介绍了一种集成计算框架，通过在异构超级计算机上进行基于物理的系综模拟来研究复杂的工程系统。该框架主要用于定量评估火箭发动机中激光诱导点火。我们开发并结合了一个隐式编程系统，可压缩反应流求解器，和一个强大的和便携式平台上的数据生成/管理策略。我们系统地提出了这个框架，使用混合CPU/GPU机器上的测试问题。效率，可扩展性和精度的求解器进行了全面评估与规范的单位问题。Ensemble的数据管理和自动编码演示使用一个典型的扩散火焰的情况下。采用简化的三维模型燃烧室对湍流气体燃料射流的点火进行了灵敏度分析。我们的方法结合了计算机科学、物理和工程以及数据科学，以实现跨学科的工作流程。该框架是面向艾级的，可以被认为是未来计算科学研究现实世界系统的基准。
2022-02-04 cs.CE cs.DC physics.data-an
A Heterogeneous In-Memory Computing Cluster For Flexible End-to-End Inference of Real-World Deep Neural Networks
University of Bologna（博洛尼亚大学）；IBM Research Europe（IBM欧洲研究院）；ETH Zurich（苏黎世联邦理工学院）
在小型电池受限的物联网设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器（NVM）的模拟存内计算（IMC）承诺在深度神经网络（DNN）推理中的主要效率改进，并且用作DNN权重的片上存储器存储。然而，IMC的功能灵活性限制及其对性能、能量和面积效率的影响在系统级还没有完全理解。为了实现实际的端到端物联网应用，IMC阵列必须封装在异构可编程系统中，这带来了新的系统级挑战，我们的目标是在这项工作中解决这些挑战。我们提出了一个异构的紧耦合集群架构集成8个RISC-V内核，一个存内计算加速器（IMA），和数字加速器。我们在高度异构的工作负载上对系统进行基准测试，例如MobileNetV 2的瓶颈层，与高度优化的核心并行执行相比，性能提高了11.5倍，能效提高了9.5倍。此外，我们探索了完整的移动级DNN（MobileNetV 2）在IMC阵列资源方面的端到端推理的要求，通过将我们的异构架构扩展到多阵列加速器。我们的研究结果表明，我们的解决方案，在MobileNetV 2的端到端的推理，是一个数量级优于现有的可编程架构和两个数量级优于国家的最先进的异构解决方案集成存内计算模拟核心的执行延迟。
2022-01-04 cs.AR cs.DC cs.LG
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前（AOT）并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换，由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供，也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展，统一了矩阵/张量运算符中的用户编写的循环和隐式循环，以及CPU与GPU代码变体的自动化部分。此外，我们的多面体优化使节点内和节点间的并行。最后，使用Ray运行时部署优化的输出代码，以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示，在单节点和多节点实验中，相对于顺序Python，性能有了显著的提高，当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理（STAP）雷达应用时，性能提高了20，000多$\times$。
2022-03-11 cs.DC
FZModules: A Heterogeneous Computing Framework for Customizable Scientific Data Compression Pipelines
FZModules是一个异构计算框架，通过模块化接口和异步任务执行库，组装误差有界的自定义压缩管线，在四个科学数据集上实现了与GPU压缩器相当的速度和与CPU压缩器相似的率失真。
2025-09-24 cs.DC
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出APPFL框架，利用Globus Compute和AWS实现跨云与超算的安全联邦学习，并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
p-adaptive discontinuous Galerkin method for the shallow water equations on heterogeneous computing architectures
针对浅水方程提出一种重新设计的p自适应无求积间断伽辽金方法，通过分离并重叠低阶与高阶计算，结合自动代码生成优化CPU-GPU任务分布，在包括海啸模拟等场景中实现了显著的性能提升。
2023-11-19 cs.DC cs.MS
TrustMesh: A Blockchain-Enabled Trusted Distributed Computing Framework for Open Heterogeneous IoT Environments
本文提出TrustMesh，一种面向开放异构IoT环境的区块链可信分布式计算框架，通过三层架构结合许可链与多阶段PBFT协议，支持非确定性调度且保持拜占庭容错，在冷链监控实验中故障检测延迟低于150毫秒，有效平衡了安全性、性能与灵活性。
2025-01-17 cs.DC
EngineCL: Usability and Performance in Heterogeneous Computing
异构系统已经成为当今最常见的架构之一，这要归功于它们出色的性能和能耗。然而，由于它们的异构性，它们的编程非常复杂，甚至更难以在不同设备上实现性能可移植性。本文介绍了EngineCL，一个新的基于OpenCL的运行时系统，显著简化了一个单一的大规模数据并行内核的所有设备上的异构系统的协同执行。它执行一组关于设备管理的低级任务，它们的不相交内存空间和在系统设备之间调度工作负载，同时提供分层API。EngineCL已在两个计算节点（HPC和商品系统）中进行了验证，这两个节点将六个设备与不同的架构结合在一起。实验结果表明，与OpenCL相比，它具有优异的可用性;在小于1秒的执行负载下，与原生版本相比，最大开销为2.8%，并且在较长的执行时间内趋于零;在平衡负载时，它可以达到平均0.89的效率。
2020-02-14 cs.DC
Secure Coded Cooperative Computation at the Heterogeneous Edge against Byzantine Attacks
边缘计算正在成为一种新的范例，允许在网络边缘处理数据，其中通常通过在边缘共同利用多个设备来生成和收集数据。然而，将任务卸载到其他设备会使边缘计算应用程序完全受到攻击者的摆布。其中一种攻击，也是这项工作的重点，是拜占庭攻击，其中一个或多个设备可以破坏卸载的任务。此外，利用边缘计算的潜力是具有挑战性的，主要是由于边缘设备的异构性和时变性。在本文中，我们开发了一个安全的编码合作计算机制（SC 3），提供了安全性和计算效率的保证，优雅地结合同态哈希函数和编码合作计算。在边缘资源异构和时变的情况下，采用同态哈希函数来抵抗拜占庭攻击，并采用编码协作计算来提高计算效率。仿真结果表明，SC3算法显著改善了任务完成延迟。
2019-08-15 cs.DC
Heterogeneous FPGA+GPU Embedded Systems: Challenges and Opportunities
边缘计算范式已经出现，以处理云计算问题，例如可扩展性，安全性和低响应时间等。这种新的计算趋势严重依赖于无处不在的边缘嵌入式系统。性能和能耗是设计此类系统时应考虑的两个主要因素。本文从性能和能耗两个方面研究了由嵌入式FPGA和GPU（作为加速器）组成的异构嵌入式系统为应用提供的机遇和挑战。我们研究三个设计，建模和调度的挑战，在整个文件。我们还提出了三种技术来应对这三个挑战。将所提出的技术应用于图像直方图、密集矩阵-向量乘法和稀疏矩阵-向量乘法三个应用，当FPGA和GPU并行执行相应的应用时，性能和能耗分别提高了1.79倍和2.29倍。
2019-01-25 cs.DC
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx，一种用现代C++编写的基于任务的运行时系统，通过同时利用CPU和GPU（CUDA/HIP）并将通信纳入任务图来支持分布式异构计算，并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Heterogeneous Tasks Offloading in Vehicular Edge Computing: A Federated Meta Deep Reinforcement Learning Approach
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Chengdu Neusoft University（成都新soft大学）
本文提出了一种联邦元深度强化学习框架FedMAGS，用于解决车载边缘计算中异构任务卸载问题，通过图注意力网络捕捉DAG依赖关系，序列到序列策略生成结构化卸载决策，并利用联邦元学习实现跨分布式MEC服务器的快速适应。
2026-05-18 cs.DC cs.LG
Fork is All You Need in Heterogeneous Systems
针对异构系统编程复杂度高的问题，提出基于CXL的统一编程运行时系统CodeFlow，支持高级语言编译后自动调度到加速器，降低开发成本并提升性能。
2024-04-16 cs.DC cs.ET
Marionette: Data Structure Description and Management for Heterogeneous Computing
LIP（葡萄牙粒子物理研究所）；CERN（欧洲核子研究组织）；University of Oregon（俄勒冈大学）
Marionette 是一个 C++17 库，通过编译期抽象将数据布局与接口解耦，为 GPU 等异构平台提供灵活高效的数据结构定义、内存管理与跨设备传输，并保持与现有代码兼容。
2025-11-06 cs.DC
