Resilient Execution of Data-triggered Applications on Edge, Fog and Cloud Resources
物联网(IoT)正在导致物理世界的流数据的普遍可用性,再加上作为智能城市和5G部署的一部分部署的边缘计算基础设施。这些受限的、不太可靠但便宜的资源由雾资源补充,雾资源提供联合管理和加速计算,以及按需付费的云资源。缺乏直观的方法来部署应用程序管道以使用这些不同的流,并在边缘和雾资源上可靠地执行它们。我们提出了一个创新的应用程序模型,声明式地指定查询,以匹配来自流源的微批数据流,并触发数据管道的分布式执行。我们还设计了一个弹性的调度策略,使用先进的保留可靠的雾,以保证在最后期限内,同时最大限度地减少执行成本的低完成。我们对100多个虚拟物联网资源和$\approx 10k$任务执行进行了详细的实验,并与基线调度策略进行了比较,说明了我们框架的成本效益,弹性和可扩展性。
2022-03-24 cs.DC
MPIX Stream: An Explicit Solution to Hybrid MPI+X Programming
混合MPI+X编程范式,其中X指的是线程或GPU,在高性能计算领域获得了突出地位。这与系统架构变得更加异构的趋势相对应。当前的MPI标准只指定了MPI和线程运行时之间的兼容性级别。应用程序不存在MPI概念或接口来显式地将线程上下文或GPU流上下文传递给MPI实现。这种缺乏使得性能优化在某些情况下变得复杂,在其他情况下变得不可能。我们在MPI中提出了一个新的概念,称为MPIX流,来表示X运行时中存在的一般串行执行上下文。MPIX流可以直接映射到线程或GPU执行流。将线程上下文传递到MPI允许实现将执行上下文精确地映射到网络端点。将GPU执行上下文传递到MPI允许实现直接对GPU流进行操作,从而降低CPU/GPU同步成本。
2022-08-30 cs.DC cs.PF
StreamBox-TZ: Secure Stream Analytics at the Edge with TrustZone
虽然在云边缘处理大量的物联网数据流是很有吸引力的,但这样做会将数据暴露给边缘上复杂、易受攻击的软件堆栈,从而带来安全威胁。为此,我们主张将数据及其计算隔离在边缘的可信执行环境(TEE)中,将它们与我们认为不可信的剩余边缘软件堆栈隔离开来。这种方法面临两个主要挑战:(1)在单个TEE中执行高吞吐量、低延迟的流分析,这受到低可信计算基础(TCB)和有限物理内存的限制;(2)验证流分析的执行,因为执行涉及边缘上的不可信软件组件。作为回应,我们提出了StreamBox-TZ(SBT),这是一个用于边缘平台的流分析引擎,可提供强大的数据安全性,可验证的结果和良好的性能。SBT为基于ARM TrustZone的TEE提供了一个设计和优化的数据平面。它支持持续的远程认证,以确保分析正确性和结果新鲜度,同时产生低开销。SBT仅向TCB添加42.5 KB的可执行文件(占整个TCB的16%)。在八核ARMv 8平台上,它通过以亚秒级延迟处理高达140 MB/秒(12 M事件/秒)的输入事件来提供最先进的性能。SBT的安全机制所产生的开销小于25%。
2019-06-05 cs.CR cs.DC cs.OS
Implementing CUDA Streams into AstroAccelerate -- A Case Study
为了能够在NVIDIA GPU上异步运行任务,程序员必须使用CUDA流的语法在代码中显式实现异步执行。流允许程序员启动独立的并发执行任务,提供异步利用GPU上不同功能单元的能力。例如,通过将不同的任务放置在不同的CUDA流中,可以在PCIe总线上传输来自对输入数据n-1执行的先前计算的结果,同时计算输入数据n的结果。这种方法的好处是主机和设备之间的数据传输所花费的时间可以通过计算隐藏。本案例研究涉及将CUDA流实施到AstroAccelerate中。AstroAccelerate是用于时域射电天文学的GPU加速实时信号处理管道。
2021-05-06 astro-ph.IM cs.DC
LOS: Local-Optimistic Scheduling of Periodic Model Training For Anomaly Detection on Sensor Data Streams in Meshed Edge Networks
异常检测对于处理边缘和雾环境、智能城市以及工业4.0中的传感器数据量越来越重要。为了确保良好的结果,需要定期更新所使用的ML模型,以适应传感器数据中的季节变化和概念漂移。尽管边缘资源可用性的增加可以允许直接在设备上原位执行模型训练,但它仍然经常被卸载到雾设备或云。在本文中,我们提出了本地乐观调度(LOS),这是一种在数据源附近执行周期性ML模型训练作业的方法,而不会使轻量级边缘设备过载。训练作业根据需要卸载到附近的邻居节点,并且资源消耗被优化以满足训练周期,同时仍然确保足够的资源用于进一步的训练执行。这种调度是以分散、协作和机会主义的方式完成的,而不需要完全了解基础设施和工作负载。我们在现实世界数据集的边缘计算测试平台上评估了我们的方法。实验结果表明,LOS的地方接近输入传感器流的训练执行,减少训练时间和训练周期之间的偏差高达40%,并增加了成功调度的训练工作量相比,在原位执行。
2021-09-27 cs.DC
MorphStream: Scalable Processing of Transactions over Streams on Multicores
本文提出多核事务流处理引擎 MorphStream,通过规划、调度、执行三阶段范式支持动态调度与并行处理,实验表明其在多场景下优于现有 TSPE。
2023-07-24 cs.DB cs.DC
Trevor: Automatic configuration and scaling of stream processing pipelines
大规模有效地操作分布式数据流处理工作负载是困难的。工作负载的操作者必须利用与目标数据率的要求相匹配的资源来并行化和布局工作负载的任务。挑战在于,操作员和程序员通常都不知道工作负载作为资源函数的扩展行为。操作员手动搜索可以处理预测峰值负载的安全操作点,并部署足够的净空以吸收不可预测的峰值。这种经验性的静态过度配置浪费了计算和人力资源。我们表明,精确的性能模型可以自动学习的分布式流处理系统,可以预测执行性能的工作,甚至在部署之前。此外,这些模型可以用来优化调度逻辑上指定的作业到可用的物理硬件。最后,这些模型和派生的执行计划可以在线优化,以动态适应运行时环境中不可预测的变化,或者随着作业负载的变化自动扩展。
2018-12-22 cs.DC
Lightweight Asynchronous Snapshots for Distributed Dataflows
分布式有状态流处理支持在云中部署和执行大规模连续计算,目标是低延迟和高吞吐量。这种模式最基本的挑战之一是在潜在故障下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先,它们通常会停止影响摄取的整体计算。第二,它们急切地将所有传输中的记录与操作状态一起持久化,这导致快照比所需的要大。在这项工作中,我们提出了异步屏障快照(ABS),一个轻量级的算法,适合于现代的轻量级执行引擎,最大限度地减少空间需求。ABS仅在非循环执行拓扑上持久化操作符状态,同时在循环拓扑上保持最小记录日志。我们在Apache Flink上实现了ABS,这是一个支持有状态流处理的分布式分析引擎。我们的评估表明,我们的算法不会对执行产生重大影响,保持线性可扩展性,并在频繁快照的情况下表现良好。
2015-06-29 cs.DC
Visual Insights into Agentic Optimization of Pervasive Stream Processing Services
Universitat Pompeu Fabra(庞培法布拉大学);TU Wien(维也纳工业大学)
本研究提出了一种面向普及流处理服务的自动扩展平台,通过代理优化服务执行,提升资源利用率和系统性能。
2026-02-19 cs.DC cs.PF cs.SY
SET: Stream-Event-Triggered Scheduling for Efficient CUDA Graph Pipelines
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对GPU调度开销和同步延迟问题,提出基于多流任务并行流水线模型和图执行流的CUDA运行时框架,实现1.15-1.44倍加速并减少18-54%调度开销。
2026-06-03 cs.AR cs.DC
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
如今,一些软件系统依赖于流处理架构来提供可扩展的性能并近实时地处理大量数据。流处理框架通过将应用程序的执行分布在多台机器上来促进可伸缩计算。尽管性能被广泛研究,容错的测量-流处理框架提供的一个关键功能-仍然没有得到适当的测量更新和全面的测试床。此外,故障恢复对性能的影响大多被忽略。本文提供了一个全面的故障恢复性能,稳定性和恢复时间在云原生环境与现代开源框架,即Flink,Kafka流,和火花结构化流的分析。我们的基准分析的灵感来自混沌工程注入故障。一般来说,我们的研究结果表明,有很大的变化相比,以前的研究在分布式流处理的故障恢复。特别是,结果表明,Flink是最稳定的,并具有最好的故障恢复之一。此外,Kafka Streams在失败后表现出性能不稳定性,这是由于其当前的重新平衡策略在负载均衡方面可能是次优的。Spark Structured Streaming显示了适当的故障恢复性能和稳定性,但具有更高的事件延迟。我们的研究旨在(i)帮助行业从业者选择最合适的流处理框架,以有效和可靠地执行数据密集型应用程序;(ii)支持研究人员应用和扩展我们的研究方法以及我们的基准;(iii)识别,预防和协助解决生产部署中的潜在问题。
2024-05-29 cs.DC cs.SE
Shared Arrangements: practical inter-query sharing for streaming dataflows
目前的系统,数据并行,增量处理和视图维护高速率流隔离独立查询的执行。这在存在并发增量维护的查询时产生了不必要的冗余和开销:每个查询必须独立地在相同的输入流上维护相同的索引状态,并且新查询必须在开始发出其第一个结果之前从头开始构建此状态。本文介绍了共享的安排:索引视图的维护状态,允许并发查询重用相同的内存中的状态,而不损害数据并行性能和伸缩。我们实现了共享的安排在一个现代的流处理器,并显示了数量级的改进,查询响应时间和资源消耗的交互式查询对高吞吐量的流,同时也显着提高性能,在其他领域,包括业务分析,图形处理,和程序分析。
2020-06-11 cs.DC
CLASP: Chained-Request-Aware Scaling and Operator Placement for Serverless Stream Processing
The University of Melbourne(墨尔本大学)
针对无服务器流处理中链式请求开销被忽视导致的工作节点数量估计偏差问题,提出CLASP策略,通过联合考虑执行与链式请求开销优化算子部署,实现吞吐量提升与延迟降低。
2026-09-01 cs.DC
Serverless Abstractions for Short-Running, Lightweight Streams
Technische Universität Berlin(柏林工业大学)
流函数通过基于迭代器的接口,为短时、轻量级流提供高效处理,减少99%的处理开销。
2026-03-03 cs.DC
Descriptive and Predictive Analysis of Aggregating Functions in Serverless Clouds: the Case of Video Streaming
无服务器云分配多个任务(例如,微服务)。这使得无服务器云提供商能够通过透明地聚合特定上下文的类似任务(例如,视频处理)共享其计算的全部或部分。为此,了解通过聚合任务所节省的时间量至关重要。缺乏这样的知识可能会导致不知情的合并和调度决策,反过来,可能会导致合并任务或其他后续任务的截止日期违规。因此,在本文中,我们研究的问题,估计执行时间节省合并任务的情况下,视频处理的例子。为了了解不同形式的合并节省的执行时间,我们首先建立了一组基准视频,并检查了各种各样的视频处理任务--有合并和没有合并。我们观察到,虽然合并可以节省高达44%的执行时间,可能的合并情况的数量是棘手的。因此,在第二部分中,我们利用基准测试的结果,并开发了一种基于梯度提升决策树(GBDT)的方法来估计任何给定的任务合并情况下的时间节省。实验结果表明,该方法可以估计的时间节省与出错率为0.04,测量的基础上的均方根误差(RMSE)。
2020-12-10 cs.DC cs.MM
Learning from the Past: Adaptive Parallelism Tuning for Stream Processing Systems
本文提出 StreamTune,通过预训练与微调框架利用历史执行数据和 DAG 结构进行流处理系统自适应并行度调优,在 Apache Flink 和 Timely Dataflow 上显著减少重配置次数与并行度,同时保持处理性能。
2025-07-07 cs.DB cs.DC
GPU-resident Execution for Timing-predictable Sensor Processing Systems
NVIDIA(英伟达)
本文提出GPU驻留执行模型,在NVIDIA Holoscan C++框架实现,可降低实时传感器处理系统的抖动,在1080p 60Hz摄像头应用中使光子到显示抖动降7.3倍、软件处理抖动降170倍。
2026-10-12 cs.DC cs.OS
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream,它确保有限的延迟,同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制:(1)动态查询和(2)动态操作级查询规划。通过控制微批量大小,LMStream显著降低了单个数据集的延迟,因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外,LMStream提出了一种低开销的在线模型参数优化方法,而不中断实时流处理。我们在Apache Spark上实现了LMStream,它支持微批流处理。与以前的面向吞吐量的方法相比,LMStream的平均延迟最高可提高70.7%,而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
Nephele Streaming: Stream Processing Under QoS Constraints At Scale
近年来,以近乎实时的方式处理大量连续数据流的能力已成为许多科学和工业用例的关键先决条件。虽然单个数据流通常处理起来微不足道,但它们的聚合数据量很容易超过传统流处理系统的可扩展性。与此同时,像MapReduce或Dryad这样的并行数据处理系统目前在数据密集型应用程序中非常受欢迎,并且已经证明可以扩展到大量节点。这些系统中的许多还提供流传输能力。然而,与传统的流处理器,这些系统已经忽视了预期的流处理应用的QoS要求,到目前为止。在本文中,我们解决这个差距。首先,我们分析当今的并行数据处理框架的共同设计原则,并确定这些原则,提供自由度在权衡QoS目标的延迟和吞吐量。其次,我们提出了一个高度分布式的计划,允许这些框架来检测违反用户定义的QoS约束,优化作业执行,而无需手动交互。作为概念证明,我们为我们的并行数据处理框架Nephele实现了我们的方法,并通过与Hadoop Online的比较来评估其有效性。对于一个示例流媒体应用程序从多媒体域上运行的集群的200个节点,我们的方法提高了至少13倍的处理延迟,同时保持高的数据吞吐量时,需要的。
2013-08-05 cs.DC
Privacy Preserving Stream Analytics: The Marriage of Randomized Response and Approximate Computing
如何在保护用户隐私的同时支持高实用性分析,以实现低延迟流处理?回答这个问题:我们描述的设计,实施和评估的PRIVAPPROX,数据分析系统的隐私保护流处理。PRIVAPPROX提供了三个属性:(i)隐私:为用户提供零知识隐私保证,比最先进的差分隐私更严格的隐私约束;(ii)效用:数据分析师系统地探索输出准确性之间的权衡的接口(具有误差估计)和查询执行预算;(iii)延迟:基于可扩展的“无同步”分布式架构的近实时流处理。我们的方法背后的关键思想是将两种现有技术结合在一起:即采样(用于近似计算的背景下)和随机响应(用于隐私保护分析的背景下)。由此产生的婚姻是互补的-它实现了更强的隐私保证,并提高了性能,这是实现低延迟流分析的必要因素。
2017-06-05 cs.CR cs.DC
Quantitative Impact Evaluation of an Abstraction Layer for Data Stream Processing Systems
随着对处理不断增长的数据量的需求,已经开发了各种新的数据流处理框架。将实现从一个这样的系统移动到另一个这样的系统,例如,出于性能原因,需要使现有应用程序适应新接口。Apache Beam通过提供一个抽象层来解决这些高替代成本,该抽象层允许在任何支持的流框架上执行程序。在本文中,我们提出了一种新的基准架构,用于比较使用Apache Beam对三种流媒体框架的性能影响:Apache Spark Streaming,Apache Flink和Apache Apex。我们发现,在调查的系统中使用Apache Beam进行应用程序开发时,性能会受到显着影响。总的来说,使用Apache Beam进行检查流应用程序会导致查询执行时间的差异很大,与没有抽象层的查询相比,查询执行时间的延迟高达58倍。所有开发的基准工件都是公开的,以确保可重复的结果。
2019-07-18 cs.DC cs.PF
Evaluation of Data Enrichment Methods for Distributed Stream Processing Systems
本文深入评估了DSP系统的数据增强方法,发现将增强数据外包给DSP系统可提升特定用例性能,但也指出其增加的资源消耗需要专门针对云应用性能密集型工作负载设计的流处理解决方案。
2023-11-23 cs.DC
NeuroRing: Scaling Spiking Neural Networks via Multi-FPGA Bidirectional Ring Topologies and Stream-Dataflow Architectures
KTH Royal Institute of Technology(皇家理工学院)
提出NeuroRing,一种基于流数据流架构和双向环拓扑的模块化可扩展SNN加速器,在FPGA上实现,支持单/多FPGA部署,与NEST模拟器集成,在大脑皮层微回路基准和数独约束满足任务上实现快于实时的执行(RTF=0.83)并具有良好的扩展性和能效。
2026-05-26 cs.AR cs.DC cs.NE
System-aware dynamic partitioning for batch and streaming workloads
当处理具有高度偏斜和非平稳密钥分布的数据流时,当哈希分区无法正确平衡数据时,我们经常会观察到过载的分区。为了避免延迟整个计算阶段完成的缓慢任务,有必要应用自适应的动态分区,该分区在给定观察到的密钥分布的情况下连续重新计算最佳分区器。虽然存在用于静态数据集的批处理和无状态流处理的这样的解决方案,但是对于密钥分布随时间改变的长时间运行的有状态流传输作业,该任务是困难的。仔细的检查点和操作员状态迁移对于在操作运行时更改分区是必要的。我们的主要成果是一个轻量级的动态重新分区(DR)模块,用于分布式数据处理系统(DDPS),包括Apache Spark和Flink,它以可忽略的开销提高了性能。DR可以使用我们的Key Isolator Partitioner(KIP)在执行过程中自适应地重新分区数据。在我们对真实工作负载和幂律分布的实验中,对于各种Spark和Flink作业,我们达到了1.5-6的加速比。
2021-05-31 cs.DC
Ev-Edge: Efficient Execution of Event-based Vision Algorithms on Commodity Edge Platforms
Purdue University(普渡大学)
针对事件流与异构边缘硬件不匹配导致性能不佳的问题,提出Ev-Edge框架,通过稀疏帧转换、动态聚合和并发任务映射三项优化,显著降低了延迟和能耗。
2024-03-23 cs.CV cs.DC cs.LG
Hazelcast Jet: Low-latency Stream Processing at the 99.99th Percentile
Jet是Hazelcast在过去五年中开发的一款开源、高性能、分布式流处理器。Jet的设计以毫秒级延迟为第99.99百分位数,作为其主要设计目标。最初,Jet的目标是成为一个执行引擎,在Hazelcast的内存数据网格(IMDG)生成的流之上执行复杂的业务逻辑:一组高性能、内存中、分区和复制的数据结构。随着时间的推移,Jet发展成为一个成熟的横向扩展流处理器,可以处理无序流和一次处理保证。Jet的端到端延迟在毫秒级,其吞吐量在每个CPU核心数百万个事件的数量级。本文介绍了我们为了最大限度地提高每个CPU核心的性能而做出的主要设计决策,以及经验教训和经验性能评估。
2021-03-18 cs.DB cs.DC
Multi-tenant Pub/Sub Processing for Real-time Data Streams
设备和传感器在不同的位置和协议上生成数据流。这些数据通常会到达一个用于存储和处理流的中央平台。处理可以实时的进行,转换和丰富可以在运行中进行,但也可以在数据存储和组织在存储库中之后进行。在前一种情况下,需要流处理技术对数据进行操作;在后一种情况下,通常使用批处理分析和查询。本文介绍了一种基于用户提供的代码动态构造数据流处理拓扑的运行时。这些动态拓扑是使用由使用数据的应用程序定义的数据订阅模型动态构建的。每个用户定义的处理单元称为服务对象。每个服务对象都使用输入数据流,并且可以产生其他服务对象可以使用的输出流。基于订阅的编程模型使多个用户能够部署他们自己的数据处理服务。运行时动态转发数据并执行来自不同用户的服务对象。数据流可以源自真实世界的设备,也可以是服务对象的输出。
2020-07-06 cs.DC
Flo: a Semantic Foundation for Progressive Stream Processing
本文提出参数化流处理语言 Flo,通过流处理进展和即时执行两个语义属性,确保流处理输出的确定性与新鲜度,并证明 Flink、LVars 和 DBSP 等系统语义可由 Flo 建模。
2024-11-13 cs.DC cs.PL
When Two Choices Are not Enough: Balancing at Scale in Distributed Stream Processing
仔细平衡分布式流处理系统中的负载对执行延迟和吞吐量具有根本性影响。负载均衡是一个挑战,因为现实世界的工作负载是倾斜的:流中的一些元组与键相关联,这些键比其他键更频繁。在大型部署中,偏斜的问题明显更多:更多的worker意味着每个worker的密钥更少,因此很难“平均”热键和冷键的成本。我们提出了一种新的负载均衡技术,使用heaving hitter算法来有效地识别流中最热的键。这些热键被分配给$d \geq 2$选项以确保负载平衡,其中$d$被自动调整以最小化运算符复制的内存和计算成本。该技术在线工作,不需要使用路由表。我们广泛的评估表明,我们的技术可以平衡大规模部署的实际工作负载,并通过$\mathbf{150\%}$和$\mathbf{60\%}$分别提高吞吐量和延迟在Apache Storm上部署时,在以前的最先进的。
2016-01-27 cs.DC
AutoStreamPipe: LLM Assisted Automatic Generation of Data Stream Processing Pipelines
Departement of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系)
本文提出AutoStreamPipe框架,利用LLM和思维超图自动生成流处理管道,显著减少开发时间和错误率。
2025-10-27 cs.AI cs.DC cs.ET
Runtime-optimized Multi-way Stream Join Operator for Large-scale Streaming data
本文提出运行时优化的多路流连接算子,通过周期统计、二次指数平滑预测和基于代价模型的自适应优化算法 dpPick 动态调整探测顺序,并在 TPC-DS 数据集上验证其处理效率显著优于对比方法。
2024-11-24 cs.DB cs.DC
Stream Processing With Dependency-Guided Synchronization (Extended Version)
具有低延迟要求的实时数据处理应用已经导致流处理系统的日益普及。虽然此类系统提供了可用于自动实现数据并行的方便API,但它们对需要在并行节点之间同步的计算提供了有限的支持。在本文中,我们提出了 * 依赖引导同步(DGS)*,一种替代的编程模型,用于具有复杂同步要求的有状态流计算。在该模型中,输入被视为部分有序的,程序由一组并行化结构,适用于分解的偏序和过程事件独立。我们的编程模型映射到一个名为 * 同步计划 * 的执行模型,它支持并行节点之间的同步。我们的评估表明,两个广泛使用的系统- Flink和Timely Dataflow -提供的API不能适当地暴露一些代表性应用程序中的并行性。相比之下,DGS使实现具有可扩展的性能,由此产生的同步计划在现有系统中手动实现时提供吞吐量改进,并且与编写顺序代码相比,编程开销很小。
2022-01-03 cs.DC cs.PL