Concurrent Scheduling of High-Level Parallel Programs on Multi-GPU Systems
本文提出指令图这一低级中间表示，将SYCL分布式程序中的内存管理、数据传输、MPI通信与内核调用的调度分析移出关键路径，并在Celerity运行时中实现并发调度与内存分配优化，在多达128个GPU上验证了强扩展性能。
2025-03-13 cs.DC
Allocation and Admission Policies for Service Streams
一个服务供应系统进行检查，其中一些服务器被用来提供不同类型的服务，付费客户。客户执行作业流的费用;作业流中的作业数量和提交率是指定的。另一方面，提供者承诺一定的服务质量（QoS），通过流中作业的平均等待时间来测量。如果未满足约定的QoS要求，则支付罚款。目标是使单位时间的总平均收益最大化。动态政策，使服务器分配和流准入的决定，介绍和评估。几个模拟的结果进行了说明。
2011-02-17 cs.DC cs.PF
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel（城堡投资）；New Jersey Institute of Technology（新泽西理工学院）；IBM Research（IBM研究院）
本文研究了流处理中的资源分配问题，在大型分布式系统中，连续的数据流必须得到实时的处理。为了最大化系统吞吐量，将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的，但实际的流媒体系统的关键，许多基于启发式的算法已经开发，以找到合理的好的解决方案。在本文中，我们提出了一个图形感知的编码器-解码器框架，学习一个通用的资源分配策略，可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练，我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明，该模型优于METIS，一个国家的最先进的图分割算法，和基于LSTM的编码器-解码器模型，在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
An Improved Multiple Faults Reassignment based Recovery in Cluster Computing
在多个节点故障的情况下，与单个节点故障相比，性能变得非常低。集群计算中的节点故障可以通过多容错计算来容忍。现有的恢复方案是有效的单故障，但没有多个故障。本文提出的恢复方案有两个阶段：顺序阶段，并发阶段。在序贯阶段，通过提出的基于动态秩的负载分配算法，使所有工作节点的负载得到均匀分配。在并发阶段，通过故障节点作业分配算法，在多个故障节点中找出负载最小的节点，将所有故障节点的负载以及新作业的到达平均分配给所有可用节点。算法的顺序执行和并发执行提高了算法的性能，也提高了资源利用率。基于动态等级的负载再分配算法作为顺序恢复算法工作，而将故障节点分配到负载最小的计算节点的再分配算法作为并发恢复再分配算法工作。由于负载在所有可用的工作节点之间均匀分布，迭代次数少，迭代时间和通信开销低，因此性能得到改善。动态排序算法是一种低开销、高收敛的算法，可以在所有可用节点之间均匀地重新分配任务。故障节点的重新分配是由一个低开销的有效故障作业分配算法。测试结果表明，所提出的方案的有效性。
2011-02-13 cs.DC
Integrative Dynamic Reconfiguration in a Parallel Stream Processing Engine
负载均衡、操作实例配置和水平扩展是并行流处理引擎中的关键问题，分别可以实现低数据处理延迟、优化集群利用率和最小化通信开销。在以前的工作中，这些问题通常是单独和独立处理的。我们认为，这些问题是紧密耦合的意义上说，他们都需要在运行时确定工作负载的分配和迁移计算状态。单独优化它们将导致次优解决方案。因此，在本文中，我们研究如何将这三个问题建模为一个集成的优化问题。特别是，我们首先考虑工作量分配的通信成本的影响不大，并建模的负载平衡问题作为一个混合线性规划。之后，我们提出了一个扩展的解决方案称为ALBIC，它支持一般的作业。我们实现的Apache风暴，一个开源的并行流处理引擎的顶部所提出的技术。在合成和真实数据集上的广泛实验结果表明，我们的技术明显优于现有的方法。
2016-02-11 cs.DC
Data Allocation in a Heterogeneous Disk Array - HDA with Multiple RAID Levels for Database Applications
我们考虑在异构磁盘阵列（HDA）中分配虚拟阵列（VA）。每个VA都包含一组相关的对象和数据集，如文件、关系表，它们具有相似的性能和可用性特征。我们评估单通数据分配方法HDA使用合成流的分配请求，其中每个VA的特点是其RAID级别，磁盘负载和空间要求。目标是最大限度地增加分配的VA数量，并保持较高的磁盘带宽和容量利用率，同时平衡磁盘负载。虽然只有RAID1（基本镜像）和RAID5（旋转奇偶校验阵列）被认为是在实验研究中，我们开发所需的分析，以估计磁盘负载的其他RAID级别。由于VA负载随时间变化很大，因此在峰值负载期间执行VA分配，同时确保在其他高负载期间不超过磁盘带宽。实验结果与分配请求的合成流表明，分配方法最大限度地减少最大磁盘带宽和容量利用率或它们的方差在所有磁盘产生的最大数量的分配VA。HDA节省了磁盘带宽，因为单个RAID级别为一小部分对象提供最严格的可用性要求，会导致更新所有对象的检查块或数据副本的不必要的高开销。通过采用集群RAID 5范例，可以增加分配的VA的数量，该范例利用了冗余和带宽利用率之间的权衡。由于可以在各个VA的级别执行重建，因此优先重建具有较高访问速率的VA可以提高整体性能。
2015-10-16 cs.DC
Modeling and Simulation of Spark Streaming
随着越来越多的设备连接到物联网，将产生无限的数据流，这些数据流必须“实时”处理，以触发自动化操作并提供实时服务。Spark Streaming是一个流行的实时流处理框架。为了有效地使用Spark Streaming并实现稳定的流处理，需要在不同的参数配置之间进行仔细的相互作用。错误可能会导致严重的资源过度配置和性能下降。为了缓解这些问题，本文开发了一个可执行和可配置的模型SSP（代表Spark Streaming Processing）来建模和仿真Spark Streaming。SSP是用ABS编写的，ABS是一种形式化的、可执行的、面向对象的语言，用于通过并发对象组对分布式系统进行建模。SSP允许用户快速评估和比较不同的参数配置，而无需在群集/云上部署应用程序。仿真结果表明，SSP能够在不同的场景下模仿Spark Streaming。
2018-09-11 cs.DC
QoE-Aware Resource Allocation for Crowdsourced Live Streaming: A Machine Learning Approach
Qatar University（卡塔尔大学）
在个人设备的巨大技术进步和无线移动网络接入的普及的驱动下，世界见证了众包直播流媒体的爆炸式增长。确保更好的观众体验质量（QoE）是最大化观众数量和增加流媒体提供商利润的关键。这可以通过倡导地理分布式云基础设施来实现，以尽可能接近观众分配多媒体资源，以最大限度地减少访问延迟和视频停顿。此外，预先分配确切的所需资源避免了过度供应，过度供应可能导致服务提供商的显著成本。相反，供应不足可能会对观众造成重大延迟。在本文中，我们介绍了一个预测驱动的资源分配框架，以最大限度地提高观众的QoE和最小化的资源分配成本。首先，通过利用我们独特的数据集中可用的观众位置，我们实现了一个机器学习模型来预测每个地理分布的云站点附近的观众数量。其次，基于预测结果显示接近实际值，我们制定了一个优化问题，主动分配资源的观众接近。此外，我们将提出一个折衷之间的视频访问延迟和资源分配的成本。
2019-06-20 cs.DC cs.HC cs.LG
Event Stream Processing with Multiple Threads
目前的运行时验证工具很少使用多线程来加速对大型事件跟踪的属性的评估。在本文中，我们提出了一个扩展的BeepBeep 3事件流引擎，允许使用多个线程在查询的评估。各种并行化策略，并介绍了简单的例子。这些战略的实施，然后评估经验上的问题样本。与以前的单线程版本的BeepBeep引擎相比，只将几个线程分配给查询的特定部分，在运行时间方面有了显著的改进。
2017-07-09 cs.DC
Justin: Hybrid CPU/Memory Elastic Scaling for Distributed Stream Processing
Justin是一种针对分布式流处理的混合CPU/内存自动伸缩器，通过细粒度内存分配和压力感知策略，在Apache Flink中实现，以更少资源支持目标速率。
2025-05-26 cs.DC
Resource allocation for task-level speculative scientific applications: a proof of concept using Parallel Trajectory Splicing
大规模分布式计算机上并行性的不断增加给许多科学应用带来了重大的可扩展性挑战。提高可伸缩性的一个常见策略是将算法表示为可以在运行时系统上并发执行的独立任务。在这篇手稿中，我们认为这种方法的泛化任务级的投机是允许的。在这种情况下，每个任务都有一个概率，该概率对应于该任务的产品将作为计算的一部分被消耗的可能性。我们考虑的问题，最佳的资源分配的每个可能的任务，以便最大限度地提高预期的整体计算吞吐量。这种方法的力量是通过分析其应用程序的并行轨迹拼接，一个完全并行的原子模拟的长时间动力学方法证明。
2020-10-22 cond-mat.mtrl-sci cs.DC
AgileDART: An Agile and Scalable Edge Stream Processing Engine
针对传统数据处理系统难以适配边缘应用低延迟、高并发、环境异构动态的问题，提出AgileDart边缘流处理引擎，通过动态数据流抽象和老虎机路径规划模型，相较现有方案在延迟、扩展性和适应性上表现更优。
2025-07-29 cs.DB cs.DC
SGDRC: Software-Defined Dynamic Resource Control for Concurrent DNN Inference on NVIDIA GPUs
针对GPU上并发DNN推理的资源分配难题，提出软件定义的SGDRC，通过逆向工程与缓存着色消除VRAM冲突，动态分配带宽和计算单元，提升SLO达标率与吞吐量。
2025-03-26 cs.AR cs.DC cs.PF
A Case Study in Coordination Programming: Performance Evaluation of S-Net vs Intel's Concurrent Collections
我们提出了一个编程方法和运行时性能的案例研究比较声明性数据流协调语言S-Net与英特尔的并发集合（CnC）。作为一种协调语言，S-Net实现了在一个单独的算法语言中实现的顺序软件组件和它们在异步数据流流网络中的并行编排之间的关注点的几乎完全分离。我们调查的优点，S-网和CnC的帮助下，一个相关的和非平凡的线性代数问题：平铺Cholesky分解。我们描述了平铺Cholesky分解的两种替代S-Net实现，并将其与两种CnC实现进行比较，一种具有显式性能调整，另一种没有，以前曾用于说明英特尔CnC。我们在48核机器上的实验表明，S-Net在这个问题上的表现优于CnC。
2014-04-03 cs.DC cs.PL
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Intel（英特尔）
本文提出Reclaimer深度强化学习模型，通过动态感知微服务运行时变化，在满足QoS前提下最小化CPU核心分配，实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
Harnessing Scalable Transactional Stream Processing for Managing Large Language Models [Vision]
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 TStreamLLM 框架，将事务流处理与 LLM 管理结合，以支持高并发、低延迟的持续更新与调用，并通过医疗和交通场景阐明研究路线。
2023-07-17 cs.AI cs.DB cs.DC
Implementing CUDA Streams into AstroAccelerate -- A Case Study
为了能够在NVIDIA GPU上异步运行任务，程序员必须使用CUDA流的语法在代码中显式实现异步执行。流允许程序员启动独立的并发执行任务，提供异步利用GPU上不同功能单元的能力。例如，通过将不同的任务放置在不同的CUDA流中，可以在PCIe总线上传输来自对输入数据n-1执行的先前计算的结果，同时计算输入数据n的结果。这种方法的好处是主机和设备之间的数据传输所花费的时间可以通过计算隐藏。本案例研究涉及将CUDA流实施到AstroAccelerate中。AstroAccelerate是用于时域射电天文学的GPU加速实时信号处理管道。
2021-05-06 astro-ph.IM cs.DC
Assessing Intel's Memory Bandwidth Allocation for resource limitation in real-time systems
工业界最近正在考虑采用云计算来托管安全关键应用。然而，通常在云中采用的多核处理器的使用由于对共享资源（诸如存储器子系统）的争用而引入了时间异常。在本文中，我们将探讨英特尔内存带宽分配（MBA）技术的潜力，该技术可用于至强可扩展处理器。通过采用一个系统的测量方法，在真实的硬件上，我们评估的间接内存带宽的限制，可实现应用MBA延迟，表明只有给定的延迟值（即70，80和90）是有效的，在我们的设置。我们还测试了当干扰核心（例如，生成并发存储器访问工作负载）存在于同一机器上。我们的研究结果可以通过提供对共享内存影响的理解来支持设计人员，从而使云环境中安全关键应用程序的进度可以预测。
2022-06-29 cs.AR cs.DC
Overview of Bachelors Theses 2021
在这项工作中，我们回顾了ITMO大学Vitaly Aksenov监督下完成的学士学位论文。本概述简要介绍了六个主题：Oleg Fafurin的“Development of a Streaming Algorithm for the Decomposition of graphy to Tree decomposition”、Roman Smirnov的“Development of Memory-friendly Concurrent数据结构“、Daniil Bolotov的“Theoretical Analysis of the Performance of Concurrent数据结构“、Alena Martsenyuk的“Parallel Batched Interpolation Search Tree”Vitalii Krasnov的“并行批处理自调整数据结构”和Ildar Zinatulin的“并行批处理持久二进制搜索树”。
2021-07-26 cs.DC cs.DS
Using Dedicated and Opportunistic Networks in Synergy for a Cost-effective Distributed Stream Processing Platform
本文提出了一个案例，利用专用和机会网络资源的协同作用，在分布式托管平台的数据流处理应用程序。我们以前的研究已经证明了在高吞吐量计算应用程序中，及时分配处理单元是主要关注点的情况下，将专用可靠资源与机会资源相结合的好处。由于分布式流处理应用程序需要以一致的速率在处理站点之间进行大量数据传输，因此对网络资源的适当控制对于确保稳定的处理流非常重要。在本文中，我们提出了一个系统模型的混合托管平台，其中安装在分布式站点的流处理服务器互连的专用链接和公共互联网的组合。分散式算法已经被开发用于在竞争任务之间分配两类网络资源，其目标是实现更高的任务吞吐量和更好地利用昂贵的专用资源。从广泛的模拟研究结果表明，适当的管理，系统利用专用和机会资源的协同作用，产生相当高的任务吞吐量，因此，更高的投资回报率比系统单独使用昂贵的专用资源。
2009-03-25 cs.DC cs.NI
Decentralized Management of Bi-modal Network Resources in a Distributed Stream Processing Platform
本文提出了资源管理技术分配通信和计算资源的分布式流处理平台。该平台旨在利用两类网络连接的协同作用-专用和机会。我们以前进行的研究已经证明了这样的双模态资源组织的好处，它结合了一个非常大的池的空闲计算机的机会计算能力的专用计算机的小池，以服务于高吞吐量的计算应用程序。本文将双模态资源组织的思想扩展到通信资源的管理中。由于分布式流处理应用需要以一致的速率在处理站点之间传输大量数据，因此对网络资源的适当控制对于确保稳定的处理流是重要的。在本文中使用的系统模型是一个平台，在分布式站点的流处理服务器互连的专用和机会主义的通信链路的组合。详细分析了两个相关的资源分配问题，并使用分散算法求解。一个是流处理任务在处理和通信资源上的映射。另一个是自适应重新分配的机会通信链路，由于其容量的变化。总体优化目标是更高的任务吞吐量和更好地利用昂贵的专用链路。评估表明，该算法能够利用双模态通信链路的协同作用，实现优化目标。
2009-03-24 cs.DC cs.NI
An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Comsats Institute of Information Technology（COMSATS信息技术学院）
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源，同时通过实时传送和为所有观众提供适当的表示来最大化服务质量（QoS）是一个具有挑战性的问题。在我们的论文中，我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点，考虑延迟和质量约束，以保证最大的QoS观众和最小的成本为内容提供方。首先，我们提出了一个离线优化，决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次，我们使用机器学习来构建预测模型，该模型可以提前预测每个云站点要保留的近似转码资源。最后，我们开发了一个贪婪的最近和Chestion算法（GNCA）执行的资源分配的实时广播视频租用的资源。大量的模拟表明，GNCA优于众包直播流媒体的最先进的资源分配方法，在系统成本方面实现了超过20%的增益，同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
Double-Edge-Assisted Computation Offloading and Resource Allocation for Space-Air-Marine Integrated Networks
Information Science and Technology College, Dalian Maritime University（大连海事大学信息科学技术学院）；Dalian Neusoft University of Information（大连东软信息学院）
本文提出一种双边辅助计算卸载与资源分配方案，用于空天海一体化网络中的能量高效计算任务处理。
2025-12-03 cs.DC cs.IT math.IT
