Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University（斯坦福大学）；Tata Consultancy Services（塔塔咨询服务公司）
现代实时业务分析由异构工作负载（例如，数据库查询、图形处理和机器学习）组成。这些分析应用程序需要能够捕获组成工作负载的所有方面（包括它们所使用的数据模型以及跨处理引擎的数据移动）的编程环境。Polystore系统适合此类应用;然而，这些系统目前在CPU上执行，摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++，一种使用硬件加速器（例如FPGA，CGRA和GPU）加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能，这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性，并引入了新的研究问题，这些问题是由硬件加速器的使用引起的（例如，优化和映射跨异构计算单元的查询计划，以及利用硬件流水线和并行性来提高性能）。在本文中，我们详细讨论了这些挑战，并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
Efficient Unified Caching for Accelerating Heterogeneous AI Workloads
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud（华为云）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对现有缓存策略难以适配AI集群异构工作负载的问题，提出基于AccessStreamTree分层抽象和假设检验的IGTCache统一缓存系统，可定制多维度缓存策略，显著提升缓存命中率并缩短作业完成时间。
2025-06-14 cs.DC cs.LG
HARP: A Taxonomy for Heterogeneous and Hierarchical Processors for Mixed-reuse Workloads
本文提出 HARP 分类法，系统梳理分层异构加速器设计空间，并扩展 Timeloop 以建模和分析不同存储层级异构性对混合复用张量工作负载的影响。
2025-02-18 cs.AR cs.DC
Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads
University of Cambridge（剑桥大学）
本文提出一种基于成本调度的工作负载感知混合数据中心策略，根据查询token数量在能效处理器和高性能GPU间动态分配LLM任务，可将CPU+GPU能耗降低7.5%。
2024-04-25 cs.AI cs.DC
Hydra: Brokering Cloud and HPC Resources to Support the Execution of Heterogeneous Workloads at Scale
Hydra是一个跨云与HPC的代理系统，可并发获取异构资源并管理异构工作流执行，通过四项贡献（设计、实现、实验表征和海平面工作流）验证了其可扩展性。
2024-07-16 cs.DC cs.SE
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait（科威特大学）；Northwestern Polytechnical University, China（西北工业大学）
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度，提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany（德国联邦研究、科技与航天部）
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷，提出基于ILP的异构CPU-CIM划分框架，最小化端到端推理延迟，较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
Flare: Native Compilation for Heterogeneous Workloads in Apache Spark
现代数据分析需要结合关系、过程和映射-归约风格的功能处理，这一点得到了广泛的认可。像Spark这样的最先进的系统已经添加了SQL前端和关系查询优化，这保证了表达能力和性能的提高。但是这些扩展在从现代硬件平台中提取高性能方面有多好呢？虽然Spark已经取得了令人印象深刻的进步，但我们表明，对于关系型工作负载，与同类最佳查询引擎相比，仍然存在显着差距。当走出关系世界时，如果必须将大部分计算视为用户定义函数（UDF），那么查询优化技术将无效。我们介绍Flare：Spark的一个新后端，使性能更接近最好的SQL引擎，而不会放弃Spark的额外表现力。我们展示了TPC-H等关系工作负载以及结合关系和迭代函数处理的一系列机器学习内核的数量级加速。Flare通过（1）编译为本机代码，（2）替换Spark运行时系统的部分，以及（3）将优化和代码生成的范围扩展到大型UDF类来实现这些结果。
2017-03-23 cs.DB cs.DC cs.PF
Parallelizing Workload Execution in Embedded and High-Performance Heterogeneous Systems
在本文中，我们介绍了一个软件定义的框架，使所有的可编程处理资源的并行利用异构片上系统（SoC），包括基于FPGA的硬件加速器和可编程CPU。考虑了两个具有不同架构的平台，并且在这两个平台中使用单个C/C++源代码用于CPU和FPGA资源。而不是简单地使用硬件加速器从CPU卸载任务，我们提出了一个调度器，动态分配的任务之间的所有资源，充分利用所有的计算设备，同时最大限度地减少负载不平衡。多架构研究比较了ARMV7和ARMV 8实现与不同数量和类型的CPU核心，也不同的FPGA微架构和大小。我们的测量结果表明，这两个平台都受益于CPU内核在相同的能源需求水平下协助FPGA执行。
2018-02-09 cs.DC
CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning over Heterogeneous Edge Devices
Sun Yat-sen University（中山大学）；University of Nevada, Reno（内华达大学里诺分校）；Arizona State University（亚利桑那州立大学）
人工智能的最新进展已经推动了网络边缘的智能应用，例如灵巧家庭、智能工厂和智能城市。为了在资源受限的边缘设备上部署计算密集型深度神经网络（DNN），传统方法依赖于将工作负载卸载到远程云或在本地优化终端设备的计算。然而，云辅助的方法受到不可靠和延迟显著的广域网，和本地计算方法受到限制的计算能力。协同执行机制为实现高性能边缘智能提供了一种新的范式，近年来引起了越来越多的研究兴趣。在本文中，我们提出了CoEdge，这是一个分布式DNN计算系统，可以在异构边缘设备上协调协作DNN推理。CoEdge利用边缘的可用计算和通信资源，并根据设备的计算能力和网络条件动态划分DNN推理工作负载。基于实际原型的实验结果表明，CoEdge算法在推理延迟接近的情况下，比现有算法具有更好的节能效果，对4种广泛采用的CNN模型，其能耗降低幅度可达25.5%~66.9%.
2020-12-06 cs.CV cs.DC cs.NI
Data-aware Dynamic Execution of Irregular Workloads on Heterogeneous Systems
针对异构系统调度依赖手动划分的问题，提出DyPe调度框架，通过动态分析数据特征和算子间并行性自动优化执行，在GPU-FPGA系统上相比静态调度和仅GPU方案显著提升性能与能效。
2025-02-10 cs.AR cs.DC
Seeing Shapes in Clouds: On the Performance-Cost trade-off for Heterogeneous Infrastructure-as-a-Service
在不久的将来，FPGA将按小时提供，但是这种新的基础设施即服务（IaaS）使用模式既带来了机遇，也带来了挑战：机会是程序员可以在比以前更短的时间内以更大的规模交换资源以获得性能。面临的挑战是寻找和遍历异构IaaS的权衡，以确保增加的资源导致最大可能的性能提高。这种权衡是帕累托最优的。异构资源集群的帕累托最优权衡可以通过解决多个多目标优化问题来找到，从而将任务最优分配到可用平台。解决这些优化程序可以使用简单的启发式方法或正式的混合线性规划（MILP）技术。当在多核CPU、GPU和FPGA平台的异构集群上使用蒙特卡洛算法对128个金融期权进行定价时，MILP方法产生的权衡比启发式方法快110%，并且便宜50%以上。这些结果表明，异构IaaS的高质量性能资源权衡最好通过正式的优化方法来实现。
2015-08-27 cs.DC
Emulating Heterogeneous Client Execution in Federated Learning
University of Luxembourg（卢森堡大学）
BouquetFL通过模拟异构硬件配置，为联邦学习研究提供了一种在单台机器上实现受控实验的工具，以研究实际部署中的系统异质性。
2026-09-02 cs.DC
Carbon and Reliability-Aware Computing for Heterogeneous Data Centers
本文提出一种面向异构数据中心的跨分布式数据中心时空工作负载迁移综合优化框架，通过基于服务器预期寿命的隐含碳排放模型及考虑硬件、软件和工作负载故障的备份资源分配策略，在满足SLA的同时联合最小化运营与隐含碳排放，使总碳排放减少高达21%。
2025-04-01 cs.CE cs.DC cs.PF
GENSERVE: Efficient Co-Serving of Heterogeneous Diffusion Model Workloads
Rice University（莱斯大学）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）；Cisco Research（思科研究）；University of Washington（华盛顿大学）
GENSERVE通过利用扩散过程的可预测性，优化共服务效率，解决异构工作负载下的延迟SLA问题，实验表明其在多种配置下将SLA达成率提升44%。
2026-04-08 cs.DC
Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators
nd IEEE International Conference on Embedded and Real-Time Computing Systems and Applications（第32届IEEE嵌入式与实时计算系统与应用国际会议）
针对异构DNN加速器上多DNN执行中因层延迟差异导致的调度灵活性不足和截止时间错过率增加问题，提出层变体概念和Terastal框架，通过离线虚拟预算分配和层变体设计结合在线调度，优化加速器映射和变体选择，实验表明截止时间错过率降低30%以上且精度损失仅2.24%。
2026-06-05 cs.AR cs.DC cs.LG
Fork is All You Need in Heterogeneous Systems
针对异构系统编程复杂度高的问题，提出基于CXL的统一编程运行时系统CodeFlow，支持高级语言编译后自动调度到加速器，降低开发成本并提升性能。
2024-04-16 cs.DC cs.ET
Simulating LLM training workloads for heterogeneous compute and network infrastructure
针对现有LLM训练模拟器假设同构基础设施的局限，本文提出异构感知的分布式模拟器，支持自定义设备组配置，以预测异构环境下的训练时间并评估其影响。
2025-08-07 cs.DC
Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip
本文以Grace Hopper超级芯片（GH200）为例，研究了紧耦合异构系统中的数据移动问题，描述了节点内和节点间内存操作特性，展示了内存放置策略对实际工作负载性能的重要影响与权衡机会。
2024-08-26 cs.DC
Reshaping Rollout Workloads for Asynchronous RL Post-Training on Heterogeneous Accelerators
Beijing University of Posts Telecommunications（北京邮电大学）；StepFun（阶跃星辰）
CadenceRL通过结构性的工作负载重塑（节奏控制与集中）解决异构回放池中异步RL后训练的调度难题，显著提升解码吞吐量并降低轨迹延迟。
2026-09-30 cs.DC
Large-Scale LLM Inference with Heterogeneous Workloads: Prefill-Decode Contention and Asymptotically Optimal Control
The Hong Kong University of Science and Technology（香港科技大学）
本文研究了大规模LLM推理中异构工作负载下的Prefill-Decode竞争问题，提出了一种随机控制框架，通过多类多服务器队列网络模型，实现了渐进最优的资源分配与调度策略。
2026-06-04 cs.DC math.OC
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University（布朗大学）
研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
2026-07-27 cs.DC
Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
针对异构设备与多租户资源争用导致张量并行训练出现落后任务的问题，提出 ZERO-resizing 与轻量迁移结合的 SEMI-migration，在无迁移或无精度损失间自适应均衡工作负载，并在 Colossal-AI 上验证有效。
2024-01-21 cs.DC
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG（哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心）
本文综述 2017–2024 年 66 篇研究，分析异构 HPC 工作负载映射与调度工具，指出 NP-hard 难题及启发式局限，并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
Workload Scheduling on heterogeneous Mobile Edge Cloud in 5G networks to Minimize SLA Violation
智能设备已成为我们生活中不可或缺的一部分，并在几乎所有领域获得越来越多的适用性。诸如增强现实（AR）、自动驾驶和在线游戏等延迟感知应用需要更多的资源，例如网络带宽和计算能力。由于传统的移动网络无法满足所需的带宽和延迟，移动边缘云（MEC）应运而生，在5G网络上为用户提供云计算能力。在本文中，我们考虑了一个异构MEC网络与众多的移动用户，他们的任务发送到MEC服务器。每个任务都有一个可接受的最大响应时间。用户的非均匀分布使得一些MEC服务器成为热点，无法容纳更多用户。一种解决方案是在MEC服务器之间重新定位任务，称为“任务迁移”。我们制定这个问题的任务调度作为一个混合整数非线性优化问题，以尽量减少服务水平协议（SLA）的违规行为。由于解决这个优化问题具有较高的计算复杂性，我们引入了一个贪心算法，称为MESA，迁移启用调度算法，它达到一个接近最优的解决方案迅速。实验表明，在SLA违反方面，MESA与最优选择的平均距离和最差距离分别只有8%和11%。此外，与将任务分配给MEC服务器而不进行迁移相比，支持迁移的解决方案可以将SLA违规减少约30%。
2020-03-21 cs.DC cs.NI
Model Exploration Using OpenMOLE - a workflow engine for large scale distributed design of experiments and parameter tuning
OpenMOLE是一个科学的工作流引擎，强调工作负载分配。工作流是使用构建在Scala之上的高级领域特定语言（DSL）设计的。它公开了自然的并行结构，可以轻松地将工作流产生的工作负载委托给广泛的分布式计算环境。在这项工作中，我们简要地暴露了强大的资产OpenMOLE，并证明其效率在探索代理仿真模型的参数集。我们使用计算昂贵的遗传算法（GA）对该模型进行多目标优化。OpenMOLE通过其DSL隐藏了设计此类实验的复杂性，并透明地分发优化过程。该示例显示了如何在欧洲电网基础设施上在一个小时内评估具有20万个个体的GA的初始化。
2015-06-12 cs.DC
Heterogeneous Dataflow Accelerators for Multi-DNN Workloads
增强/虚拟现实（AR/VR）等新兴AI应用利用多个深度神经网络（DNN）模型来执行子任务，如目标检测、手部跟踪等。由于子任务的多样性，DNN模型内部和跨DNN模型的层在操作和形状上高度异构。这样的层异质性对于在单个加速器衬底上采用固定带宽的固定带宽加速器（FDA）是一个挑战，因为每个层优选不同的带宽（计算顺序和并行化）和瓦片大小。已经提出了可重构DNN加速器（RDA），以使其流适应不同的层，以应对这一挑战。然而，RDA的低灵活性是以昂贵的硬件结构（交换机、控制器等）的面积和能量成本实现的。和每层重新配置。或者，这项工作提出了一种新的加速器，异构以太网加速器（HDAs），它部署了多个子加速器，每个子加速器支持不同的以太网。HDA比RDA具有更高的能效和更低的面积成本，比RDA具有更粗粒度的灵活性。为了利用这些好处，需要仔细优化跨子加速器的硬件资源分区和层执行调度。因此，我们还提出了Herald，它共同优化硬件分区和层执行调度。在一套AR/VR和MLPerf工作负载上使用Herald，我们发现了一种有前途的HDA架构Maelstrom，它比最好的FDAs降低了65.3%的延迟和5.0%的能耗，比最先进的RDA降低了22.0%的能耗，但延迟却增加了20.7%。结果表明，HDA是RDA的另一类帕累托最优加速器，具有能量优势，根据用例，它可能是比RDA更好的选择。
2020-12-17 cs.DC
Fair Comparison of Scheduling Algorithms on Heterogeneous Edge Clusters: A Continuous Adaptive Benchmark
TU Wien（维也纳工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Universidad de Extremadura（埃斯特雷马杜拉大学）；ICREA（加泰罗尼亚高级研究院）
提出一种开源基准平台，用于公平比较异构边缘集群上的连续多模式调度算法，通过统一接口、闭环工作负载驱动器和双指标SLO评分，揭示控制器排名强烈依赖配置，且原始SLO与稳态SLO分离可暴露切换成本。
2026-06-11 cs.DC
ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads
Rice University（莱斯大学）；Independent Researcher（独立研究员）
ALTO通过适应性调优和编排技术提升异构LoRA训练效率，通过监控损失轨迹和优化资源分配实现多任务协同，达到13.8倍的速度提升而不牺牲适配器质量。
2026-04-10 cs.AI cs.DC cs.LG
EcoKube: Simulating Carbon-Aware Scheduling Policies in Heterogeneous Edge-Cloud Environments
University of Amsterdam（阿姆斯特丹大学）
针对云与边缘计算能源需求增长及碳排放问题，提出EcoKube框架，用于在异构边缘云环境中评估可持续性感知调度策略，含事件驱动模拟器等，通过合成批处理工作负载评估，可在部署前比较策略。
2026-07-13 cs.DC
Response Time Bounds for Typed DAG Parallel Tasks on Heterogeneous Multi-cores
异构多核利用不同架构的优势来执行特定类型的工作负载，通常提供更高的性能和能效。在本文中，我们研究的最坏情况下的响应时间（WCRT）分析\emph{typed}调度的并行DAG任务异构多核，其中的DAG中的每个顶点的工作负载只允许在一个特定类型的核心上执行。这个问题唯一已知的WCRT界限是非常悲观的，并遭受\emph{non-self-sustainability}问题。在本文中，我们提出了两个新的WCRT界。第一个新的边界具有与现有边界相同的时间复杂度，但更精确，并解决了其\emph{non-self-sustainability}问题。第二个新的界限探索更详细的任务图结构信息，以大大提高精度，但计算成本更高。我们证明了当系统中的类型数是一个变量时，计算第二界的问题是强NP-困难的，并给出了当类型数是一个常数时，具有多项式时间复杂度的有效算法.随机生成的工作负载的实验表明，我们提出的新方法是显着更精确的比现有的界限，同时具有良好的可扩展性。
2018-08-07 cs.DC
Energy-Aware Aggregation of Dynamic Temporal Workload in Data Centers
数据中心提供商寻求最大限度地降低其总拥有成本（TCO），而功耗已成为社会关注的问题。我们提出的配方，以最大限度地减少服务器的能源消耗和服务器成本下三个不同的数据中心服务器设置（同质，异构，混合异构集群）与动态的时间工作负载。我们的研究表明，同质模型显着不同的异质模型的计算时间（一个数量级）。为了能够计算最优配置在近实时的大规模数据中心，我们提出了两种模式，聚合的最大值和聚合的平均值。此外，我们提出了两种聚合方法，静态（周期性）聚合和动态（非周期性）聚合。我们发现，在聚合的最大模式，动态聚合导致成本节省高达约18%的静态聚合。在平均值聚合模式中，与平均值静态聚合模式相比，平均值动态聚合可以节省高达约50%的工作负载重新安排。总的来说，我们的方法有助于理解能源感知聚合的权衡。
2013-09-16 cs.DC
RankMap: Priority-Aware Multi-DNN Manager for Heterogeneous Embedded Devices
School of Electrical, Computer, and Biomedical Engineering, Southern Illinois University（南伊利诺伊大学电气、计算机与生物医学工程学院）；Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
针对边缘数据中心多DNN工作负载管理的挑战，本文提出RankMap——一种面向异构嵌入式设备的优先级感知管理器，通过随机空间探索结合性能估计器优化多DNN映射，实现平均吞吐量提升3.6倍、指定DNN优先级提升57.5倍并避免饥饿。
2024-11-26 cs.DC cs.ET cs.LG
Building Time-Triggered Schedules for typed-DAG Tasks with alternative implementations
像图像处理、自动驾驶等硬实时系统需要增加经典多核平台无法提供的计算能力的需求，以满足其时序约束。异构指令集架构（ISA）平台允许加速专用核（例如GPU、DSP、ASIC）等上的实时工作负载，并且适合于这些应用。此外，这些平台提供了更大的设计选择，因为给定的功能可以实现到几种类型的计算元件上。最近提出了HPC-DAG（异构并行有向无环图）任务模型，用于捕获异构平台上的实时工作负载执行。它表达了ISA的异构性，以及硬件加速器的一些特定特性，如没有抢占或昂贵的抢占，替代实现和在线条件执行。在本文中，我们提出了一个时间表调度方法来分配和调度一组HPC-DAG任务到一组异构的核心，通过平均线性规划（ILP）。通过逐步探索设计空间，我们的设计允许处理资源的异质性，在线执行成本和更快的求解时间
2021-08-31 cs.DC cs.SY eess.SY
Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC
School of Computer Science, Peking University（北京大学计算机科学学院）；The University of Hong Kong（香港大学）；National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）
Agent.xpu通过异构执行图和流感知协调技术，高效调度代理LLM工作负载，提升主动吞吐量和反应性响应性能
2026-01-06 cs.DC cs.LG
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Argonne National Laboratory（阿贡国家实验室）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
提出SWARM+，一种通过分层多智能体共识实现去中心化工作负载管理的系统，在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Green-LLM: Optimal Workload Allocation for Environmentally-Aware Distributed Inference
Arizona State University（亚利桑那州立大学）
本文提出Green-LLM框架，通过联合优化运营成本、碳排放和延迟惩罚，实现可持续的大语言模型推断，同时满足水消耗约束。
2026-04-08 cs.DC cs.NI cs.SY
Application-Driven Architecture Exploration for Cross-Layer Heterogeneous Systems
Tsinghua University（清华大学）
研究跨层异构系统设计空间难探索的问题，提出应用驱动框架CHASE，通过分层图表示候选方案，用解耦两级循环避免联合硬件映射搜索难的问题，在稀疏计算和大语言模型工作负载上评估，实现加速并降本降耗。
2026-07-28 cs.DC
Shared Memory-contention-aware Concurrent DNN Execution for Diversely Heterogeneous System-on-Chips
Colorado School of Mines（科罗拉多矿业学院）
针对多DNN并发推理的异构SoC，提出HaX-CoNN调度方案，考虑层特征、共享内存争用和加速器转换，在Orin、Xavier和Snapdragon 865上实现内存争用降低45%，延迟和吞吐量分别提升32%和29%。
2024-02-07 cs.AI cs.DC cs.PF
Evaluating Large Language Models for Workload Mapping and Scheduling in Heterogeneous HPC Systems
Faculty of Mathematics and Computer Science, Georg-August-Universität Göttingen（数学与计算机科学学院，哥廷根乔治-奥古斯特大学）
本研究评估21个公开LLM在异构HPC工作负载映射调度任务上的表现，明确其组合优化推理能力边界，指出LLM更适合作为可解释决策副驾驶而非自主求解器。
2025-11-04 cs.AI cs.DC
Energy-aware Web Browsing on Heterogeneous Mobile Platforms
Web浏览是数十亿移动用户每天进行的活动。电池寿命是许多移动用户最关心的问题，他们经常发现自己的手机在最不方便的时候就没电了。异构多核架构是一种节能处理解决方案。然而，当前的移动web浏览器依赖于操作系统来利用底层硬件，其不知道各个web内容并且通常导致低的能量效率。本文描述了一种自动方法来渲染移动Web工作负载的性能和能源效率。它通过开发一种基于机器学习的方法来预测使用哪个处理器来运行Web渲染引擎以及处理器应该以什么频率运行来实现这一点。我们的预测器从一组训练Web工作负载中离线学习。然后将构建的预测器集成到浏览器中，以预测运行时的最佳处理器配置，同时考虑Web工作负载特性和优化目标：无论是加载时间，能耗还是它们之间的权衡。我们使用最热门的500个网页在一个有代表性的ARM big.LITTLE移动架构上评估我们的方法。我们的方法实现了理想预测器所提供的性能的80%。我们得到，平均，45%，63.5%和81%的改善分别为加载时间，能源消耗和能源延迟产品，相比，Linux异构多处理调度。
2017-10-09 cs.DC
Leveraging Hardware Performance Counters for Predicting Workload Interference in Vector Supercomputers
本文针对SX-Aurora TSUBASA异构超级计算机中向量主机与向量引擎间的资源争用问题，提出利用硬件性能计数器和机器学习算法构建预测模型，以准确分类和预测工作负载干扰，为优化作业调度和资源分配提供依据。
2024-10-17 cs.DC
Synapse: Synthetic Application Profiler and Emulator
我们引入Synapse的动机是需要估计和模拟高性能和分布式异构资源上的工作负载执行特性。Synapse具有独立于平台的应用程序分析器，并能够在各种异构资源上模拟分析的工作负载。Synapse被用作真实工作负载的代理应用程序（或“代表性应用程序”），其附加优势是可以以任意粒度级别进行调优，而这在真实应用程序中是不可能实现的。实验表明，使用Synapse的自动分析代表应用程序的特点，高保真度。使用Synapse的仿真可以再现原始运行时环境中的应用程序行为，以及在不同的运行时环境中使用时再现属性。
2016-02-15 cs.DC
Load Balancing for Skewed Streams on Heterogeneous Cluster
流应用程序经常遇到不对称的工作负载，并在异构集群上执行。在这种不利条件下的最佳资源利用成为一个挑战，因为它需要推断资源容量和输入分布在运行时间。在本文中，我们通过将其建模为负载均衡问题来解决上述挑战。我们提出了一种新的分区策略，称为一致性分区（CG），它使每个处理元素实例（PEI）处理的工作负载根据其容量。CG背后的主要思想是在源处的小型、大小相等的虚拟工作者的概念，这些虚拟工作者根据其能力分配给工作者。我们提供了一个理论分析所提出的算法，并通过广泛的实证评估表明，我们提出的方案优于国家的最先进的方法，如关键分组。特别是，CG在延迟方面的性能比键分组高3.44倍。
2017-10-01 cs.DC
Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads
Karlsruhe Insitute of Technology (KIT)（卡尔斯鲁厄理工学院）；German Cancer Research Centre (DKFZ)（德国癌症研究中心）
随着近年来人工智能的兴起和模型复杂性的增加，对计算资源不断增长的需求开始构成重大挑战。对更高计算能力的需求正在通过越来越强大的加速器和大型计算集群的使用来满足。然而，在分布式和加速系统上训练的大型模型的预测准确性的提高是以能源需求大幅增加为代价的，研究人员已经开始质疑这种人工智能方法的环境友好性。因此，能源效率对AI模型开发人员和基础设施运营商都起着重要作用。AI工作负载的能耗取决于模型实现和使用的硬件。因此，准确测量不同类型计算节点上AI工作流的功耗是算法改进以及未来计算集群和硬件设计的关键。为此，我们在不同类型的计算节点上测量了深度学习模型的两个典型应用的能耗。我们的研究结果表明，1。直接从运行时导出能耗是不准确的，但是需要考虑计算节点的消耗关于其组成; 2.忽略混合节点上的加速器硬件导致关于能量消耗的超比例低效率; 3.模型训练和推理的能耗应该分开考虑-虽然GPU上的训练在运行时间和能耗方面优于所有其他节点类型，但CPU节点上的推理可以是高效的。这种方法的一个优点是，超级计算机的所有用户都可以获得有关能耗的信息，从而可以轻松地转移到其他工作负载，同时提高用户对能耗的认识。
2022-12-03 cs.AI cs.DC
Energy-Efficient Real-Time Scheduling for Two-Type Heterogeneous Multiprocessors
Imperial College London（帝国理工学院）
本文提出三种新的数学优化方法，解决具有硬约束的实时任务集的两种类型异构多处理器调度问题。通过全局调度方案和流模型，算法在任务负荷分配和执行顺序确定上具有线性复杂度，实现可行性最优和能耗最优，且在某些约束截止期限的任务集中可实现高达40%的能耗节省。
2016-07-15 cs.DC cs.OS cs.SY
Towards Co-execution on Commodity Heterogeneous Systems: Optimizations for Time-Constrained Scenarios
异构系统存在于从强大的超级计算机到移动设备（包括台式计算机）的各种系统中，这要归功于它们优异的性能和能耗。这些架构在桌面系统和中型服务服务器中的普遍存在允许足够的可变性来利用广泛的问题，例如多媒体工作负载、视频编码、图像过滤和机器学习中的推理。由于异构性，已经做了一些努力来减少编程工作并保持性能可移植性，但这些系统包括一组挑战。应用程序卸载工作负载的上下文以及在执行协同执行时引入的管理开销，会在时间受限的场景下损害性能增益。因此，本文提出了优化引擎CL运行时，以减少在商品系统中共同执行时的惩罚，以及负载均衡时的算法改进。进行了详尽的实验评估，显示优化改进的7.5%和17.4%的二进制和基于ROI的卸载模式，分别。由于所有的优化，新的负载均衡算法总是最有效的调度配置，实现了平均效率为0.84的悲观的情况下。
2020-10-23 cs.DC cs.PF
A Domain Specific Approach to High Performance Heterogeneous Computing
异构计算系统的用户面临两个问题：首先，在理解他们的应用程序的可观察的特性，如延迟和结果的质量之间的权衡关系，其次，如何利用这些特性的知识，有效地分配工作到分布式计算平台。特定领域的方法可以解决这两个问题。通过考虑操作或功能的子集，可观察特性或域度量的模型可以被提前制定，并且在任务实例的运行时被填充。然后，这些度量模型可以用于将工作分配表示为受约束的整数规划，该规划可以使用逻辑学、机器学习或混合线性规划（MILP）框架来求解。这些索赔说明使用计算金融衍生品定价的示例域，与工作负载延迟或完工时间和定价准确性的域指标。对于128个基于Black-Scholes和Heston模型的期权定价任务的大而不同的工作负载，在16个多核CPU、GPU和FPGA平台的不同阵列上运行，模型对完工时间和准确性的预测通常在运行时性能的10%以内。当这些模型被用作机器学习和基于MILP的工作负载分配方法的输入时，可以看到比启发式方法的延迟改善高达24和270倍。
2016-03-14 cs.CE cs.DC
Efficient and Scalable Agentic AI with Heterogeneous Systems
Stanford University（斯坦福大学）；Gimlet Labs Inc.（Gimlet实验室）；Intel（英特尔）
本文提出面向 AI 智能体工作负载的异构系统，通过成本模型、MLIR 编译和动态编排实现执行图优化与端到端 SLA，显著降低 TCO。
2025-07-25 cs.AI cs.DC cs.LG
Energy hardware and workload aware job scheduling towards interconnected HPC environments
新的HPC机器正在接近艾级。这些机器的功耗一直在增加，研究人员正在研究降低功耗的方法。第二个趋势是HPC机器越来越复杂，越来越多的异构硬件组件和不同的集群架构在同一台机器中协作。我们将这些环境称为异构多集群环境。为了在这些环境中优化性能和能耗，本文提出了一种能量感知的多集群（EAMC）作业调度策略。EAMC策略能够通过预测不同硬件架构和处理器频率下到达作业的性能和能耗来优化作业的调度和放置，从而减少工作负载的能耗、完工时间和响应时间。该策略为每个作业-资源组合分配不同的优先级，以便优先考虑效率最高的作业-资源组合，而效率较低的作业-资源组合仍然在可变程度上被考虑，从而减少响应时间并提高集群利用率。我们在Slurm中实现了EAMC策略，并评估了两个CPU集群在同一台机器上协作的场景。模拟工作负载运行的应用程序从现实世界中建模显示，响应时间和完工时间减少了25%和6%，同时节省了高达20%的总能源消耗相比，最大限度地减少运行时间的政策，并通过49%，26%，和6%相比，最小限度地减少能源。
2021-06-22 cs.DC
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法，用于在许多用户之间仲裁这些昂贵的培训资源，已经展示了如何优化各种多任务，多用户目标，如公平性和完工时间。不幸的是，现有的性能分析器在很大程度上没有考虑性能异质性。在本文中，我们提出了Gavel，一个异构性感知调度系统，广泛的现有的调度策略。Gavel将这些策略表示为优化问题，使得以异构感知的方式为目标进行优化变得容易，同时也认识到了空间共享等性能优化。然后，Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载，并将最终目标（如平均作业完成时间和完工时间）提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
Optimisation of ATLAS computing resource usage through a modern HEP Benchmark Suite via HammerCloud and Big PanDA
本文利用HammerCloud和PanDA在136个站点部署增强型HEP Benchmark Suite，系统评估HEPScore23基准下ATLAS计算资源的实际性能与声明能力差异，识别配置问题并优化资源使用效率。
2025-02-07 cs.DC hep-ex
HEP-BNN: A Framework for Finding Low-Latency Execution Configurations of BNNs on Heterogeneous Multiprocessor Platforms
与全精度神经网络相比，二值化神经网络（BNN）通过二值化权重和激活显著降低了计算和内存需求。在由CPU和GPU组成的异构多处理器平台的不同设备上执行BNN中的层可以影响推理性能，即，准确性和延迟。通常，由CPU和GPU组成的异构硬件平台可用于执行BNN工作负载。然而，为了有效地使用异构硬件，有必要找到一个有效的策略BNN的工作负载映射。在这项工作中，我们提出了一个框架，生成有效的BNN层到设备的映射（即模型的每一层的适当的并行配置）的执行平台组成的CPU和CUDA的GPU。我们评估我们提出的框架与两个BNN架构使用两个著名的数据集，时尚MNIST和CIFAR-10，在三个硬件平台上具有不同的特点。结果表明，与运行完全并行化的GPU实现相比，我们的框架在我们测试的硬件上分别生成了高达2倍，2.6倍和11.8倍的高效配置。
2023-01-12 cs.DC
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California（南加州大学）
从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
