Lotaru: Locally Predicting Workflow Task Runtimes for Resource Management on Heterogeneous Infrastructures
本文提出 Lotaru，一种面向异构集群的本地化工作流任务运行时预测方法，通过微基准测试与缩减输入数据结合贝叶斯线性回归，在无历史数据下实现高精度预测，误差降低超12.5%，并有效支持调度与碳减排优化。
2023-09-13 cs.DC
eLLM: Elastic Memory Management Framework for Efficient LLM Serving
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
eLLM提出一种弹性内存管理框架，通过虚拟张量抽象、弹性内存机制和轻量调度策略，提升LLM服务的内存利用效率，实现在动态负载下的更高吞吐量和更大批次大小。
2026-05-06 cs.DC
ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而，在工作窃取运行时的上下文中降低总能耗仍然具有挑战性，特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放（DVFS），其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果：（i）在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中，在每个任务的基础上利用DVFS是不切实际的;（ii）任务可塑造性，其中单个任务可以通过工作共享在多个线程/核心上执行，可以帮助减少能耗;以及（iii）任务和分配的资源之间的不匹配（即~核类型和核数量）可能间接地影响能量消耗。在本文中，我们提出ERASE（EneRgy Aware ERAEr），一个应用程序内的任务调度器上的工作窃取运行时，旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策，从而实现节能。此外，ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说，与最先进的基于DVF的路由器相比，ERASE实现了高达31%的节能，平均性能提高了44%。
2022-01-28 cs.DC
Runtime Optimization of Join Location in Parallel Data Management Systems
在并行系统上运行的应用程序通常需要将流式关系或存储关系与在并行数据存储系统中索引的数据联接。某些应用程序还计算连接元组上的UDF。连接可以在数据存储节点处完成，对应于减少侧连接，或者通过从存储系统提取数据到计算节点来完成，对应于映射侧连接。这两种方法都可能是次优的：reduce side joins可能会导致偏斜，而map side joins可能会导致大量数据被传输和复制。在本文中，我们提出的技术，使运行时的决定，这两个选项之间的每个键的基础上，以提高吞吐量的连接，占UDF计算，如果有的话。我们的技术是基于一个扩展的滑雪租赁算法，并提供最坏情况下的性能保证相对于我们所考虑的空间中的最佳点。我们的技术使用负载均衡，考虑到CPU，网络和I/O成本以及计算和存储节点上的负载。我们已经在Hadoop、Spark和Muppet流处理引擎上实现了我们的技术。我们的实验表明，我们的优化技术提供了一个显着的提高吞吐量超过现有的技术。
2017-07-31 cs.DB cs.DC
An Energy-Aware Online Learning Framework for Resource Management in Heterogeneous Platforms
Arizona State University（亚利桑那州立大学）；Washington State University（华盛顿州立大学）
移动平台必须满足快速响应时间和最小能耗的矛盾要求，作为动态变化的应用程序的函数。为了满足这一需求，作为这些设备核心的片上系统（SoC）提供了各种控制旋钮，例如活动内核的数量及其电压/频率电平。出于两个原因，在运行时最佳地控制这些旋钮具有挑战性。首先，大的配置空间禁止穷举解决方案。其次，离线设计的控制策略充其量是次优的，因为许多潜在的新应用程序在设计时是未知的。我们通过提出一种在线模仿学习方法来应对这些挑战。我们的关键思想是构建一个离线策略，并使其在线适应新的应用程序，以优化给定的指标（例如，能源）。所提出的方法利用了在运行时学习的功率性能模型所启用的监督。我们证明了其有效性的商业移动平台与16个不同的基准。我们的方法成功地适应控制策略，以未知的应用程序后，执行不到25%的指令。
2020-03-20 cs.DC cs.LG cs.SY
Provisioning to Runtime Optimization of a 100 MW-Scale AI Cluster
Meta Platforms（Meta平台）
本文首次描述了超大规模AI数据中心从早期电力规划到运行时动态功耗管理的端到端过程，并提供了150兆瓦数据中心中83K GB200 GPU集群的详细功耗测量数据。
2026-10-05 cs.AR cs.DC cs.SY
Proactive Serverless Function Resource Management
本文为无服务器语言运行时引入了一个新的原语，称为freshen。使用freshen，开发人员或提供商可以在给定函数执行之前指定要执行的功能。这种主动技术允许在执行时减轻与无服务器功能相关的开销，从而提高功能响应能力。我们显示了各种预测的机会存在合理的时间窗口内运行freshen。一个高层次的设计和实施的描述，以及初步的结果，以显示我们的计划的潜在利益。
2020-10-09 cs.DC cs.SY eess.SY
Enhancing Resource Management through Prediction-based Policies
基于任务的编程模型正在成为一种有前途的替代方案，以充分利用多/众核系统。这些编程模型依赖于运行时系统，其目标是通过将应用程序任务适当地调度到核心来提高应用程序性能。此外，这些运行时系统提供策略来应对缺乏并行性以填充所有核心的应用阶段。然而，这些策略通常是静态的，并且有利于性能或能源效率。在本文中，我们扩展了一个基于任务的运行时系统，该系统具有轻量级的监控和预测基础设施，可以动态预测每个应用程序阶段所需的最佳核心数量，从而提高性能和能源效率。通过在多核/众核系统中执行几个基准测试，我们表明，我们的基于预测的政策具有竞争力的性能，同时提高能源效率相比，最先进的政策。
2020-09-23 cs.DC
eBeeMetrics: An eBPF-based Library Framework for Feedback-free Observability of QoS Metrics
University of California, Riverside（加州大学河滨分校）
eBeeMetrics通过eBPF可观测事件（如系统调用）准确观测应用级指标，解耦系统管理运行时与QoS指标反馈，提升服务器动态识别能力。
2026-03-26 cs.DC
Beyond Storage: State as a Runtime Control Problem in Parallel and Distributed Systems
Huazhong University of Science and Technology（华中科技大学）
研究共享状态在多系统中的影响，通过围绕三个维度组织文献，用通用框架合成，识别反模式，为面向契约的蓝图和评估议程提供依据，将状态管理表征为运行时控制问题。
2026-07-28 cs.DB cs.DC
Cost-effective Energy Monitoring of a Zynq-based Real-time System including dual Gigabit Ethernet
已经在CPU驱动的片上系统（SoC）中建立的细粒度功率管理特征的持续集成使得传统的现场可编程门阵列（FPGA）和最近的混合可编程SoC（pSoC）能够达到更能量敏感的应用领域（例如，汽车和机器人）。通过将固定功能的多核SoC与灵活、可配置的FPGA结构相结合，后者可用于实现异构实时系统（RTS），这些系统通常实现具有高计算和通信（I/O）密度的复杂专用架构。它们的工作负载、当前活动的省电特性以及功耗的动态变化要求在所有相关供电轨上进行精确的电压和电流检测，以便能够可靠地评估各种电源管理技术。在本文中，我们提出了一个低成本的18通道16位分辨率测量（子）系统，能够200 kSPS（千采样每秒）的仪器目前的pSoC开发板。为此，我们将同时采样模数转换器（ADC）和模拟电压/电流检测电路与Cortex M7微控制器结合起来，并使用SD卡进行存储。此外，我们建议将以太网PHY等关键I/O组件纳入电源监控，以全面了解RTS的时间行为，不仅涵盖FPGA和CPU上的计算，还包括通信，例如，传感器值的接收和致动信号的发送。我们提出了一个与两个千兆以太网PHY和一个HDMI输入相结合的测量系统的FMC大小的实现。搭配Xilinx的ZC 702开发板，我们能够同步采集Zynq pSoC和两个PHY的电源轨迹，精确到足以识别单个以太网帧。
2019-03-22 cs.DC cs.PF eess.SP
Formal and Empirical Study of Metadata-Based Profiling for Resource Management in the Computing Continuum
针对计算连续体资源管理中静态预测与运行时画像的局限，提出一种结合历史执行轨迹与静态元数据的工作负载画像方法，在阿里云和谷歌集群数据上验证了其实时准确估计运行时行为的能力。
2025-04-29 cs.DC
vPALs: Towards Verified Performance-aware Learning System For Resource Management
vPALs通过结合相关系统指标与验证机制，在运行时为集群资源管理提供安全的性能预测，解决普通神经网络易受分布外样本影响的问题，并在基准测试中优于普通神经网络。
2024-04-03 cs.DC
Predicting the Performance of Scientific Workflow Tasks for Cluster Resource Management: An Overview of the State of the Art
本文综述了科学工作流任务运行时间与内存预测的最新方法，比较了其关键特征，并探讨了性能预测在集群调度、节能计算及成本预测中的应用。
2025-04-29 cs.DC
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Device-Centric Monitoring for Mobile Device Management
计算设备的普遍性已经导致增加了不仅确保部署在其上的应用关于其规范是正确的，而且确保以适当的方式使用设备的需要，特别是在设备由除实际用户之外的一方提供的情况下。在移动设备和操作系统的运行时验证方面已经完成的许多工作主要是以应用程序为中心的，从而导致难以或不可能验证全局的以设备为中心的属性（例如，用户每天在所有应用程序上发送的消息可能不超过100条）。在本文中，我们提出了一种以设备为中心的方法来运行时验证设备的行为对设备的策略与不同的应用程序作为独立的组件，有助于设备的整体行为。我们还提出了一个Android设备的实现，并评估了一些以设备为中心的政策，报告所获得的实证结果。
2016-03-29 cs.DC cs.SE
Runtime Verification for Business Processes Utilizing the Bitcoin Blockchain
使用流程编排和分散的业务流程管理系统已被命名为集中式业务流程编排的替代方案。在编排中，对流程实例的控制由独立的各方共享，在流程运行时，没有任何一方拥有完全的控制权或知识。尽管如此，出于文档编制、记帐或补偿的目的，在运行时期间监视和验证流程实例是必要的。为了实现业务流程运行时验证，这项工作探索了比特币区块链的适用性，以创建一个新的编排解决方案。由此产生的方法是实现在一个功能齐全的软件原型。该软件解决方案在定性比较中进行评估。研究结果表明，我们基于区块链的方法可以实现对编排的无缝执行监控和验证，同时保持流程参与者的匿名性和独立性。此外，在性能分析的原型进行了评估。
2017-08-18 cs.DC cs.SE
Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））；Brookhaven National Laboratory（布鲁克海文国家实验室）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）；Princeton University（普林斯顿大学）
本文扩展 RADICAL-Pilot，提出支持基于服务执行的可扩展运行时架构，以实现跨本地与远程 HPC/云资源的 HPC/ML 无缝耦合和低开销并发 ML 执行。
2025-03-17 cs.AI cs.DC
Nalar: Workflow-Aware Management of Agentic Applications
UT Austin（德克萨斯大学奥斯汀分校）；Cisco Research（思科研究）
Nalar是一个高效代理服务框架，通过分离工作流规范与执行，实现异构代理应用的可扩展、高效和基于策略的服务，显著提升性能和稳定性。
2026-10-02 cs.DC cs.MA
HiCR, an Abstract Model for Distributed Heterogeneous Programming
本文提出分布式异构编程抽象模型 HiCR，通过最小抽象操作集合与插件化运行时支持层，实现跨当前及未来硬件平台的应用执行。
2025-09-01 cs.DC
HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
HyperOffload通过图驱动的编译器方法优化超节点架构上的LLM内存管理，减少峰值内存使用并提升计算效率。
2026-02-03 cs.AI cs.AR cs.DC
Task Runtime Prediction in Scientific Workflows Using an Online Incremental Learning Approach
The University of Melbourne（墨尔本大学）
工作流调度和资源配置中的许多算法都依赖于任务的性能估计来产生调度计划。因此，一个能够对任务的执行进行建模并准确预测其运行时间的分析器成为任何工作流管理系统（WMS）的重要组成部分。随着使用云部署科学工作流的多租户工作流即服务（WaaS）平台的出现，任务运行时预测变得更具挑战性，因为它需要在近实时场景中处理大量数据，同时处理云资源的性能变化。因此，依赖于诸如使用基本统计描述（例如，平均值、标准偏差）或批量离线回归技术来估计运行时间可能不适合于这样的环境。在本文中，我们提出了一种在线增量学习方法来预测云中科学工作流中任务的运行时间。为了提高预测的性能，我们利用细粒度的资源监控数据的形式的CPU利用率，内存使用量和I/O活动的时间序列记录，反映了任务的执行的独特特征。我们将我们的解决方案与利用基于回归机器学习技术的资源监控数据的最先进方法进行比较。从我们的实验中，所提出的策略提高了性能，在误差方面，高达29.89%，相比国家的最先进的解决方案。
2018-10-10 cs.DC cs.LG
MARS: Middleware for Adaptive Reflective Computer Systems
众核计算平台的运行时资源管理的自适应方法通常需要一个表示目标平台的软件组织或体系结构的系统的运行时模型。平台的资源类型和资源之间的交互的日益增加的异构性对面对动态工作负载的协调的基于模型的决策提出了挑战。自我意识属性通过反射资源管理器解决了新兴异构众核处理（HMP）平台的这些挑战。然而，随着HMP计算平台架构的快速发展，跨不同硬件平台移植自感知决策逻辑是具有挑战性的，需要资源管理器更新其模型和特定于平台的接口。我们提出了MARS（自适应和反射系统的中间件），一个跨层和多平台的框架，允许用户轻松地创建资源管理器组成的系统模型和资源管理策略，在一个灵活和协调的方式。MARS包括一个通用的用户级传感/驱动接口，允许便携式策略设计，以及一个用于协调多个策略的反射系统模型。我们通过一个动态电压和频率缩放（DVFS）策略的例子，它可以运行在任何基于Linux的HMP计算平台上，展示了MARS的跨系统堆栈的多个层的交互。
2021-07-23 cs.AR cs.DC cs.SY
Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management
Ludwig Maximilian University（路德维希-马克西米利安大学）；BMW Group（宝马集团）；Utrecht University（乌得勒支大学）；Rutgers University-New Brunswick（罗格斯大学新不伦瑞克校区）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）；Princeton University（普林斯顿大学）
本文提出混合量子-高性能计算系统中自适应资源、工作负载和任务管理的中间件方法，通过四层架构、执行动机集、Pilot-Quantum框架和Q-Dreamer工具包实现应用感知调度和性能建模。
2026-04-03 cs.DC quant-ph
Increasing the Degree of Parallelism Using Speculative Execution in Task-based Runtime Systems
基于任务的编程模型在现代高性能平台上开发科学应用程序方面已经证明了它们的效率。它们允许将并行化的管理委托给运行时系统（RS），该运行时系统负责数据一致性、调度以及将工作分配给计算单元。然而，某些应用程序具有有限的并行度，因此无论RS实现多么高效，它们都可能无法在现代多核CPU上扩展。在本文中，我们建议使用投机释放的并行性时，它是不确定的，如果一些任务将修改数据，我们正式提出了一种新的方法，使投机执行的任务图。这种描述在我们的新C++ RS中部分实现，称为SPETABARU，如果其他人不确定要修改数据，它能够提前执行任务。我们研究我们的方法来计算Monte Carlo和副本交换Monte Carlo模拟的行为。
2019-03-19 cs.DC
The Jaseci Programming Paradigm and Runtime Stack: Building Scale-out Production Applications Easy and Fast
University of Michigan（密歇根大学）
针对生产级横向扩展应用开发复杂性高的问题，提出协同设计的运行时系统Jaseci与编程语言Jac，通过提高抽象级别将数据管理、微服务组件化等复杂性移入运行时栈实现自动化，从而降低开发门槛并提升性能与生产力。
2023-05-17 cs.CL cs.DC cs.PL
Extending SLURM for Dynamic Resource-Aware Adaptive Batch Scheduling
随着对功率预算的日益增长的限制和增加的硬件故障率，未来的艾级系统的操作面临着几个挑战。为此，HPC社区积极研究了通过启用可延展作业来实现资源感知和适应性。可延展作业可以在运行时更改其计算资源，并可以显著提高HPC系统性能。然而，由于流行的并行编程范例（如MPI）的刚性，以及缺乏对批处理系统中动态资源管理的支持，延展性作业在很大程度上没有实现。在本文中，我们扩展了SLURM批处理系统，以支持可延展作业的执行和批调度。可延展的应用程序是使用一种新的自适应并行范式称为侵入式MPI，它扩展了MPI标准，以支持在运行时的资源自适应。我们提出了两个可延展的作业调度策略，以支持性能感知和功耗感知的动态重配置决策在运行时。我们实施的战略，在SLURM和评估他们的生产HPC系统。我们的性能感知调度策略的结果表明，与其他调度策略相比，在最大完工时间，平均系统利用率，平均响应和等待时间的改善。此外，我们展示了动态电力走廊管理使用我们的功率感知策略。
2021-05-20 cs.DC cs.SE
ARCAS: Adaptive Runtime System for Chiplet-Aware Scheduling
针对 chiplet CPU 分区 L3 缓存导致的 NUMA 内延迟与带宽差异，本文提出 ARCAS 运行时，通过 chiplet 感知调度、硬件感知分配、细粒度监控及轻量级并发迁移机制优化内存密集型并行应用性能。
2025-03-14 cs.AR cs.DC cs.PF
Parallax: Runtime Parallelization for Operator Fallbacks in Heterogeneous Edge Systems
University of Southampton（南安普顿大学）；UCL AI Centre（伦敦大学学院人工智能中心）；University College London（伦敦大学学院）
Parallax通过并行化和内存优化，提升移动设备上动态神经网络推断的效率与响应性。
2025-12-12 cs.AI cs.CV cs.DC
GreenDyGNN: Runtime-Adaptive Energy-Efficient Communication for Distributed GNN Training
Tennessee Technological University（田纳西理工大学）；University at Buffalo（布法罗大学）
本文提出GreenDyGNN，通过动态缓存管理在分布式GNN训练中降低能耗，适应运行时网络变化，实现比传统方法更高的能效。
2026-04-25 cs.DC
Cross-layer Application-aware Power/Energy Management for Extreme Scale Science
在过去的几十年里，高性能计算（HPC）已经发展成为日益复杂和强大的系统。目前的HPC系统消耗几兆瓦的电力，足以为小城镇供电，实际上很快就会接近它们可用的电力极限。据估计，在现有技术下，实现艾级将需要数百兆瓦，从多个角度来看这是不可行的。架构和技术研究人员正在积极解决这个问题;然而，正如过去的历史所示，这些层面的创新是不够的，必须伴随着更高层面的创新（算法，编程，运行时，操作系统），以实现多个数量级的减少-即，需要综合的跨层和应用感知策略。此外，能源/功率效率必须与解决方案的质量、性能和可靠性以及其他目标相结合，并且需要适当的权衡。
2013-04-10 cs.DC
GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs
作为基于图的深度学习的新兴趋势，图神经网络（GNN）因其生成高质量节点特征向量（嵌入）的能力而脱颖而出。然而，现有的一刀切的GNN实现不足以赶上不断发展的GNN架构，不断增加的图形大小和不同的节点嵌入维度。为此，我们提出了\textbf{GNNAdvisor}，一个自适应和高效的运行时系统，以加速GPU平台上的各种GNN工作负载。首先，GNNAvisor从GNN模型和输入图中探索并识别出几个与性能相关的特征，并将其用作GNN加速的新驱动力。其次，GNNAvisor实现了一种新颖高效的2D工作负载管理，专为GNN计算量身定制，以提高不同应用设置下的GPU利用率和性能。第三，GNNAvisor利用GPU的存储层次结构，根据GPU内存结构和GNN工作负载的特点，优雅地协调GNN的执行，从而实现加速。此外，为了实现自动运行时优化，GNNAvisor集成了一个轻量级的分析模型，用于有效的设计参数搜索。广泛的实验表明，GNNAvisor在各种数据集的主流GNN架构上的性能优于最先进的GNN计算框架，例如Deep Graph Library（平均速度快于$3.02\times$）和NeuGraph（快于$4.10\times$）。
2021-06-20 cs.DC
Evaluating the Self-Optimization Process of the Adaptive Memory Management Architecture Self-aware Memory
随着集成度的不断提高，众核处理器系统不仅在HPC中，而且在桌面或移动系统中都有可能成为未来的系统结构。如今，像Tilera TILE、KALRAY MPPA或Intel SCC这样的多核处理器在平铺架构中结合了越来越多的内核，主要是为高性能应用而设计的，重点是直接的核间通信。当前的体系结构受到诸如存储器控制器、存储器I/O或不灵活的存储管理之类的中央或稀疏组件的限制。在未来的高度动态的工作负载与多个并发运行的应用程序，不断变化的I/O特性和不可预测的内存使用必须利用这些众核系统。因此，存储管理必须在本质上变得更加灵活和分布式，并且需要自适应机制和系统结构。利用自感知存储器（Self-aware Memory，SaM），提出了一种分散的、可扩展的、自治的自优化存储器体系结构。这种自适应存储管理可以实现更高的灵活性和存储器的容易使用。在本文中，一个正在进行的分散自优化的概念，并提出了其各种参数的评价。结果表明，分散优化过程的开销是摊销的优化运行时使用适当的参数设置。
2014-05-12 cs.DC
No-Restart Elasticity in an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Charm++运行时系统中的无重启重新缩放机制，通过成员协商、通信端点对账和保留状态的初始化路径，将弹性开销从数秒降至毫秒级，并消除GPU检查点依赖，显著提升竞价实例下的HPC弹性效率。
2026-09-29 cs.DC
Marionette: Data Structure Description and Management for Heterogeneous Computing
Marionette 是一个 C++17 库，通过编译期抽象将数据布局与接口解耦，为 GPU 等异构平台提供灵活高效的数据结构定义、内存管理与跨设备传输，并保持与现有代码兼容。
2025-11-06 cs.DC
CEDR-API: Productive, Performant Programming of Domain-Specific Embedded Systems
本文提出基于 API 的 CEDR 编程方法，优化 DSSoC 应用开发流程，并在 Xilinx 与 Nvidia 平台上验证其可在保持性能的同时降低 19.5% 运行时开销。
2023-04-24 cs.DC
