A Two-Sided Matching Model for Data Stream Processing in the Cloud-Fog Continuum
延迟敏感和带宽密集型流处理应用是Internet网络上的主要流量生成器。流由连续的数据元素序列组成，这些数据元素需要近乎实时的处理。为了改善通信延迟并减少网络拥塞，雾计算通过将计算移动到网络边缘来补充云服务。不幸的是，新的云-雾连续体的异构性提出了与部署和执行数据流应用程序相关的重要挑战。在这项工作中，我们探索了一种称为Cloud-Fog的双边稳定匹配模型，用于在异构Cloud-Fog计算资源上部署分布式应用程序，该分布式应用程序表示为流处理微服务的工作流。在CODA中，应用微服务基于其微服务流处理时间对连续体资源进行排名，而资源基于其剩余带宽对流处理微服务进行排名。一种稳定的多对一匹配算法根据微服务的相互偏好将其分配给资源，旨在优化应用程序端的完整流处理时间和资源端的总流流量。我们评估CODA算法使用模拟和真实世界的云雾场景。与相关的最先进的方法相比，我们实现了11%至45%的流处理时间和1.3%至20%的流流量。
2021-05-17 cs.DC
Parallelizing Windowed Stream Joins in a Shared-Nothing Cluster
并行和分布式计算环境中大量处理节点的可用性使得能够在高速数据流上进行复杂的实时的处理，如许多新兴应用所要求的。滑动窗口流连接是流处理系统中最重要的操作之一。在本文中，我们考虑的问题，并行化的滑动窗口流连接运算符在一个没有共享集群。我们提出了一个框架，固定或预定义的通信模式的基础上，分配加入处理负载的无共享集群。我们考虑各种开销，同时扩展了大量的节点，并提出解决方案的方法来应对这些问题。我们实现了一个集群使用的消息传递系统的算法，并提出了实验结果表明连接处理算法的有效性。
2013-07-24 cs.DB cs.DC
A Survey on Transactional Stream Processing
本文综述事务流处理（TSP）的发展，梳理现有方案在需求、方法与设计权衡上的异同，并展望未来方向，以推动新型TSP系统设计。
2023-06-01 cs.DB cs.DC
A survey of systems for massive stream analytics
数据的巨大增长要求从传统的数据处理解决方案切换到可以处理连续实时的数据流的系统。各种应用程序采用流处理系统来为新兴的大数据问题提供解决方案。Storm、Spark Streaming和S4等开源解决方案试图回答关键的流处理问题。最近推出的实时的流处理商业解决方案，如Amazon Kinesis，IBM Infosphere Stream，反映了行业需求。处理大量实时的数据流分析的系统和应用程序相关挑战是一个活跃的研究领域。在本文中，我们提出了一个比较分析现有的国家的最先进的流处理解决方案。我们还包括各种应用领域，这些应用领域正在转变其业务模式，以从这些大规模流处理系统中受益。
2016-06-04 cs.DC
BlobShuffle: Cost-Effective Repartitioning in Stream Processing Systems via Object Storage Exemplified with Kafka Streams
Dynatrace Research（Dynatrace 研究）
提出BlobShuffle方法，利用云对象存储作为中间交换层，通过批量存储和紧凑通知机制降低流处理系统中跨可用区数据重排的网络成本，实验表明相比原生Kafka Streams可减少40倍以上成本且延迟低于2秒。
2026-06-02 cs.DB cs.DC cs.PF
A Context-Aware Knowledge Graph Platform for Stream Processing in Industrial IoT
Polytechnic University of Marche（马尔凯理工大学）
本文提出一种面向工业物联网流处理的上下文感知知识图谱平台，通过统一异构数据源实现灵活的数据采集和可组合的流处理管道，结合语义模型和上下文推理提升数据互操作性。
2026-02-23 cs.DB cs.DC cs.IR
Nephele Streaming: Stream Processing Under QoS Constraints At Scale
近年来，以近乎实时的方式处理大量连续数据流的能力已成为许多科学和工业用例的关键先决条件。虽然单个数据流通常处理起来微不足道，但它们的聚合数据量很容易超过传统流处理系统的可扩展性。与此同时，像MapReduce或Dryad这样的并行数据处理系统目前在数据密集型应用程序中非常受欢迎，并且已经证明可以扩展到大量节点。这些系统中的许多还提供流传输能力。然而，与传统的流处理器，这些系统已经忽视了预期的流处理应用的QoS要求，到目前为止。在本文中，我们解决这个差距。首先，我们分析当今的并行数据处理框架的共同设计原则，并确定这些原则，提供自由度在权衡QoS目标的延迟和吞吐量。其次，我们提出了一个高度分布式的计划，允许这些框架来检测违反用户定义的QoS约束，优化作业执行，而无需手动交互。作为概念证明，我们为我们的并行数据处理框架Nephele实现了我们的方法，并通过与Hadoop Online的比较来评估其有效性。对于一个示例流媒体应用程序从多媒体域上运行的集群的200个节点，我们的方法提高了至少13倍的处理延迟，同时保持高的数据吞吐量时，需要的。
2013-08-05 cs.DC
SProBench: Stream Processing Benchmark for High Performance Computing Infrastructure
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Center for Interdisciplinary Digital Sciences (CIDS) TUD Dresden University of Technology（德累斯顿工业大学可扩展数据分析与人工智能中心（ScaDS.AI）跨学科数字科学中心（CIDS））
本文提出SProBench，一种针对大规模计算系统的数据流处理框架性能评估基准测试工具，具备模块化架构、SLURM集群支持及高可扩展性，实验显示其吞吐量超过现有基准十倍。
2025-04-03 cs.DC cs.PF
Fault Tolerance for Stream Processing Engines
KTH Royal Institute of Technology（瑞典皇家理工学院）
本综述研究分布式流处理引擎（DSPEs）的容错问题，分析2016年先进流处理引擎的容错技术，归类为主动复制等三类方法，探讨其对不同流应用需求的影响，还修正原稿并总结后续发展。
2026-10-21 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下，例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中，必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案，用于以可扩展且高效的方式处理无界数据流。最近，已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展，以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序，流处理提出了挑战，实现弹性系统，可以根据当前的负载，有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中，弹性变得更具挑战性。这项工作探讨了其中一些挑战，并讨论了文献中提出的解决方案，以解决这些问题。
2017-12-02 cs.DC
Building Analytics Pipelines for Querying Big Streams and Data Histories with H-STREAM
本文介绍了H-STREAM，一个大的流/数据处理管道评估引擎，提出流处理操作符作为微服务，以支持来自物联网（物联网）环境的大数据流的分析和可视化。H-STREAM微服务结合了流处理和数据存储技术，这些技术根据产生流的事物的数量、它们产生流的速度以及可用于在线处理流并将其交付给消费者的物理计算资源进行调整。H-STREAM提供安装在云环境中的流处理和可视化微服务。微服务可以被组合用于实现特定的流聚合分析管道作为查询。本文提出了一种实验验证，使用Microsoft Azure作为部署环境，测试H-STREAM在（i）神经科学实验和（i）物联网农场上运行的社交连接分析场景中处理速度和容量挑战的能力。
2021-08-07 cs.DC
AgileDART: An Agile and Scalable Edge Stream Processing Engine
针对传统数据处理系统难以适配边缘应用低延迟、高并发、环境异构动态的问题，提出AgileDart边缘流处理引擎，通过动态数据流抽象和老虎机路径规划模型，相较现有方案在延迟、扩展性和适应性上表现更优。
2025-07-29 cs.DB cs.DC
Performance Optimization in Stream Processing Systems: Experiment-Driven Configuration Tuning for Kafka Streams
Johannes Kepler University（约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace 研究部）；JKU/Dynatrace Co-Innovation Lab, Johannes Kepler University Linz（JKU/Dynatrace 联合创新实验室，约翰内斯·开普勒大学林茨分校）；LIT CPS Lab, Johannes Kepler University Linz（LIT CPS 实验室，约翰内斯·开普勒大学林茨分校）
本文提出了一种基于实验驱动的自动化配置优化方法，通过拉丁超立方采样、模拟退火和梯度爬升三种技术，提升Kafka Streams在云原生环境下的性能表现。
2026-03-04 cs.DC cs.PF
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
Theodolite: Scalability Benchmarking of Distributed Stream Processing Engines in Microservice Architectures
分布式流处理引擎的设计重点是可扩展性，以连续的方式处理大数据量。我们提出了经纬仪的方法基准的分布式流处理引擎的可扩展性。这种方法的核心是定义实现流处理的微服务必须满足的用例。对于每个用例，我们的方法识别可能影响用例可伸缩性的相关工作负载维度。我们建议为每个用例和相关的工作负载维度设计一个基准。我们提出了一个通用的基准测试框架，可以应用于执行给定用例和工作负载维度的各个基准测试。我们的框架为给定维度的不同工作负载和不同数量的处理实例执行用例的Cocklow架构的实现。通过这种方式，它可以确定资源需求如何随着工作负载的增加而变化。在本文的范围内，我们提出了4个确定的用例，来自处理工业物联网数据，以及7个相应的工作负载维度。我们提供了Kafka Streams和Apache Flink的4个基准测试的实现，以及在云环境中执行可扩展性基准测试的基准测试框架的实现。我们使用这两种方法来评估Theodolite方法，并对不同部署选项的Kafka Streams和Flink的可扩展性进行基准测试。
2021-02-11 cs.DC cs.PF cs.SE
Quantitative Impact Evaluation of an Abstraction Layer for Data Stream Processing Systems
随着对处理不断增长的数据量的需求，已经开发了各种新的数据流处理框架。将实现从一个这样的系统移动到另一个这样的系统，例如，出于性能原因，需要使现有应用程序适应新接口。Apache Beam通过提供一个抽象层来解决这些高替代成本，该抽象层允许在任何支持的流框架上执行程序。在本文中，我们提出了一种新的基准架构，用于比较使用Apache Beam对三种流媒体框架的性能影响：Apache Spark Streaming，Apache Flink和Apache Apex。我们发现，在调查的系统中使用Apache Beam进行应用程序开发时，性能会受到显着影响。总的来说，使用Apache Beam进行检查流应用程序会导致查询执行时间的差异很大，与没有抽象层的查询相比，查询执行时间的延迟高达58倍。所有开发的基准工件都是公开的，以确保可重复的结果。
2019-07-18 cs.DC cs.PF
PDSP-Bench: A Benchmarking System for Parallel and Distributed Stream Processing
本文提出PDSP-Bench基准测试系统，针对分布式异构环境中的并行流处理性能，支持集成机器学习模型，通过对Apache Flink的测试及成本模型比较，揭示并行性对性能的非线性等趋势。
2025-04-14 cs.DB cs.DC
Task Allocation for Distributed Stream Processing
对实时、动态处理越来越多的大量数据的需求不断增长。为了确保流数据的及时和可靠的处理，已经开发了各种分布式流处理架构和平台，其处理（动态地）将处理任务分配给当前可用的物理资源以及在这些资源之间路由流数据的基本任务。然而，虽然有很多平台提供这种功能，但其背后的理论还没有得到很好的理解。特别是，不清楚如何最好地分配处理任务给给定的资源。在本文中，我们建立了一个理论基础，正式定义了分布式流处理的任务分配问题，我们证明是NP-难的。此外，我们提出了一个近似算法的类串并行可分解图，它捕获了广泛的常见的流处理应用程序。该算法实现了一个常数因子近似的假设下，资源的数量至少与计算任务的数量和计算成本的任务的通信成本占主导地位的比例。
2016-01-22 cs.DC
A protocol for instruction stream processing
由执行中的指令序列产生的行为是要由某个执行环境控制的行为：执行的每个步骤启动执行环境对指令的处理，并且在处理完成时返回的应答确定行为如何进行。在本文中，我们关注的情况下，处理发生远程。我们描述了一个协议，以处理的情况下，由执行下的指令序列产生的行为导致生成的指令流进行处理和远程执行单元处理的指令流的处理。
2009-05-14 cs.DC cs.PL
LifeStream: A High-Performance Stream Processing Engine for Periodic Streams
世界各地的医院每天都从患者那里收集大量的生理数据。最近，人们对这些数据进行统计分析以获得更多见解并提供更好的医疗诊断的研究兴趣有所增加。这种分析需要对大量数据进行复杂的计算，需要高效的数据处理系统。本文表明，目前可用的数据处理解决方案，要么无法满足性能要求，或缺乏简单，灵活的编程接口。为了解决这个问题，我们提出了\emph{LifeStream}，一个高性能的生理数据流处理引擎。LifeStream通过提供丰富的时间查询语言支持实现了编程的轻松性，通过采用利用生理数据周期性的优化实现了性能。我们证明，LifeStream实现了端到端性能高达$7.5\times$高于国家的最先进的流引擎和$3.2\times$比手工优化的数值库在现实世界的数据集和工作负载。
2021-03-03 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的，然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流，分布式流处理系统，解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有一定的界限。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明，AF流保留高算法特定的流算法的准确性，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下都能保持较高的性能（与无容错相比）和多次故障后的高准确率（与无故障相比）。
2019-08-12 cs.DC
GALOIS: A Hybrid and Platform-Agnostic Stream Processing Architecture
针对物联网场景下边缘数据流处理系统的硬件与平台异构性问题，提出基于WebAssembly的混合式平台无关架构GALOIS，结合P2P与主从模式通信，实验验证其在能耗和CPU占用上优于Docker方案。
2023-05-03 cs.DB cs.DC
Learning from the Past: Adaptive Parallelism Tuning for Stream Processing Systems
本文提出 StreamTune，通过预训练与微调框架利用历史执行数据和 DAG 结构进行流处理系统自适应并行度调优，在 Apache Flink 和 Timely Dataflow 上显著减少重配置次数与并行度，同时保持处理性能。
2025-07-07 cs.DB cs.DC
DSCEP: An Infrastructure for Distributed Semantic Complex Event Processing
今天，由于收集数据的手段的出现，大多数应用程序都以流的形式不断产生信息。传感器和社交网络从不同的现实生活情况中以相当快的速度收集大量的数据。越来越多的应用程序需要处理来自不同来源的异构数据流以及大量的背景知识。仅使用数据流上的信息对于许多用例来说是不够的。语义复杂事件处理（Semantic Complex Event Processing，CEP）系统是在经典的基于规则的CEP系统基础上发展起来的，它将高层知识表示和RDF流处理结合起来，同时利用数据流和背景静态知识。此外，CEP方法缺乏语义解释和分析数据的能力，这是语义CEP（SCEP）试图解决的问题。SCEP有几个局限性;其中之一与其高处理时间有关。本文提供了一个概念模型和实现的分布式SCEP的基础设施，其中每个SCEP运营商可以处理部分数据，并将其发送到其他SCEP运营商，以实现一些答案。我们表明，通过分裂的RDF流处理和背景知识使用SCEP运营商的概念，有可能大大减少处理时间。
2020-02-14 cs.DB cs.DC
Hazelcast Jet: Low-latency Stream Processing at the 99.99th Percentile
Jet是Hazelcast在过去五年中开发的一款开源、高性能、分布式流处理器。Jet的设计以毫秒级延迟为第99.99百分位数，作为其主要设计目标。最初，Jet的目标是成为一个执行引擎，在Hazelcast的内存数据网格（IMDG）生成的流之上执行复杂的业务逻辑：一组高性能、内存中、分区和复制的数据结构。随着时间的推移，Jet发展成为一个成熟的横向扩展流处理器，可以处理无序流和一次处理保证。Jet的端到端延迟在毫秒级，其吞吐量在每个CPU核心数百万个事件的数量级。本文介绍了我们为了最大限度地提高每个CPU核心的性能而做出的主要设计决策，以及经验教训和经验性能评估。
2021-03-18 cs.DB cs.DC
Resource- and Message Size-Aware Scheduling of Stream Processing at the Edge with application to Realtime Microscopy
虽然可以利用云边缘的计算资源来改善延迟并降低各种移动，Web和IoT应用程序的云服务成本，但这些资源自然受到限制。对于分布式流处理应用程序，将一些处理工作卸载到云边缘有明显的优势。许多最先进的流处理应用程序，如Flink和Spark Streaming，被设计为专门在云中运行，不适合这种混合边缘/云部署设置，尤其是因为它们的制造商对这种部署中的异构硬件考虑有限。特别地，它们的路由器广泛地假设同构网络拓扑（除了数据局部性考虑，例如，HDFS/Spark）。专门用于这种混合部署场景的流处理框架，特别是物联网应用程序，允许开发人员手动将管道中的特定运营商分配给云边缘的节点。在本文中，我们研究了在混合云/边缘部署环境中对CPU成本和消息大小敏感的调度流处理，目的是最大化有限边缘资源的吞吐量。我们演示了电子显微镜图像流的实时边缘处理，并根据我们的方法与资源不可知的基线调度程序，在基准测试下，测量端到端延迟的一致减少。
2019-12-19 cs.DC
StreamBed: capacity planning for stream processing
本文提出 StreamBed 容量规划系统，通过小规模受控测试平台为 Flink 查询建立资源需求模型，并在 Nexmark 上证明其能以 48 核准确预测超过 1,000 核作业的容量。
2023-09-28 cs.DC
Pilot-Streaming: A Stream Processing Framework for High-Performance Computing
越来越多的科学应用依赖于流处理，以便从科学仪器、模拟和物联网（IoT）传感器的数据源中及时生成见解。流媒体应用的开发是一项复杂的任务，需要集成异构的分布式基础设施、框架、中间件和应用组件。不同的应用程序组件通常使用不同的抽象和框架以不同的语言编写。通常，需要额外的组件，例如消息代理（例如Kafka），以解耦数据生产和消费，并避免诸如背压等问题。由于诸如由数据源引起的可变数据率、自适应采样技术或网络带宽、由不同机器学习算法的使用引起的可变处理负载之类的因素，流应用可能是极其动态的。因此，能够响应这些因素之一的变化的应用程序级资源管理至关重要。我们提出试点流，一个框架，支持流框架，应用程序和他们的资源管理需求的HPC基础设施。Pilot-Streaming基于Pilot-Job概念，使开发人员能够管理复杂流应用程序的分布式计算和数据资源。它使应用程序能够通过在运行时添加/删除资源来动态响应资源需求。这种能力对于平衡复杂的流管道至关重要。为了解决开发和表征流应用的复杂性，我们提出了流迷你应用框架，其支持用于数据生成和处理的不同可插入算法，例如，用于使用不同的技术重建光源图像。我们利用迷你应用程序框架进行试点流的评估。
2018-11-11 cs.DC
Evaluation of Data Enrichment Methods for Distributed Stream Processing Systems
本文深入评估了DSP系统的数据增强方法，发现将增强数据外包给DSP系统可提升特定用例性能，但也指出其增加的资源消耗需要专门针对云应用性能密集型工作负载设计的流处理解决方案。
2023-11-23 cs.DC
Multi-tenant Pub/Sub Processing for Real-time Data Streams
设备和传感器在不同的位置和协议上生成数据流。这些数据通常会到达一个用于存储和处理流的中央平台。处理可以实时的进行，转换和丰富可以在运行中进行，但也可以在数据存储和组织在存储库中之后进行。在前一种情况下，需要流处理技术对数据进行操作;在后一种情况下，通常使用批处理分析和查询。本文介绍了一种基于用户提供的代码动态构造数据流处理拓扑的运行时。这些动态拓扑是使用由使用数据的应用程序定义的数据订阅模型动态构建的。每个用户定义的处理单元称为服务对象。每个服务对象都使用输入数据流，并且可以产生其他服务对象可以使用的输出流。基于订阅的编程模型使多个用户能够部署他们自己的数据处理服务。运行时动态转发数据并执行来自不同用户的服务对象。数据流可以源自真实世界的设备，也可以是服务对象的输出。
2020-07-06 cs.DC
Zero-Shot Cost Models for Distributed Stream Processing
本文提出了一种分布式流处理系统（DSPS）的学习成本估计模型，旨在提供准确的执行查询的成本预测。这项工作的一个主要前提是，所提出的学习模型可以推广到开箱即用的流工作负载的动态。这意味着一旦训练好的模型就可以准确地预测性能指标，例如延迟和吞吐量，即使数据和工作负载的特性或操作员对硬件的部署在运行时发生变化。这样，该模型可用于解决诸如优化操作符的放置等任务，以最小化流查询的端到端延迟或最大化其吞吐量，即使在不同的条件下。我们对著名的DSPS Apache Storm的评估表明，该模型可以准确地预测看不见的工作负载和查询，同时在现实世界的基准测试中推广。
2022-07-08 cs.DB cs.DC
Serverless Abstractions for Short-Running, Lightweight Streams
Technische Universität Berlin（柏林工业大学）
流函数通过基于迭代器的接口，为短时、轻量级流提供高效处理，减少99%的处理开销。
2026-03-03 cs.DC
Resource Allocation Strategies for In-Network Stream Processing
在本文中，我们考虑的运营商映射问题，在网络流处理应用。网络内流处理包括将稳态操作符树应用于在网络上的各个位置处不断更新的多个数据对象。网络内流处理的示例包括传感器网络中的数据处理，或分布式关系数据库上的连续查询。我们在一个"构造性"场景中研究算子映射问题，即，在这种情况下，构建专用于购买具有各种成本和能力的处理服务器的应用的平台。目标是最小化平台的成本，同时确保应用程序实现最小的稳态吞吐量。本文的第一个贡献是一组相关的运营商安置问题的线性规划的形式化，并证明，即使是简单的版本的问题是NP-完全的。我们的第二个贡献是设计了几个多项式时间算法，通过大量的模拟和理论界的最优解进行评估。
2008-07-10 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网（IoT）的发展，分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发，是一个广泛使用的流处理引擎，其他包括Flink，Spark流。为了保证流媒体应用的成功运行，需要知道流媒体应用的最优资源需求，而过高的资源估计会增加额外的成本，因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中，我们提出了一个模型驱动的方法调度流应用程序，有效地利用先验知识的应用程序提供可预测的调度行为。具体来说，我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外，这种直觉还驱动资源映射，并有助于缩小估计和实际的低性能和资源利用率。总之，这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
Fast Prototyping of Distributed Stream Processing Applications with stream2gym
本文提出基于 Mininet 的 stream2gym 工具，通过高层接口支持大规模分布式流处理应用的快速原型化与多条件测试，并以低资源消耗获得与硬件测试平台相近的准确结果。
2024-09-01 cs.DC cs.NI
Phoebe: QoS-Aware Distributed Stream Processing through Anticipating Dynamic Workloads
分布式流处理系统已经成为大数据处理平台的重要组成部分。它们的特点是对接近实时的事件流进行高吞吐量处理，目标是提供低延迟结果，从而实现对时间敏感的决策。同时，即使在存在部分故障的情况下，也期望结果是一致的，其中需要精确的一次处理保证正确性。流处理工作负载通常在本质上是动态的，这使得静态配置随着时间的推移而变得非常低效。静态资源分配几乎肯定会对服务质量产生负面影响和/或导致更高的操作成本。在本文中，我们提出了Phoebe，一个主动的方法来系统自动调优的分布式流处理作业执行动态工作负载。我们的方法利用并行分析运行，QoS建模和运行时优化提供了一个通用的解决方案，配置参数自动调整，以确保稳定的服务，以及与恢复时间服务质量目标的对齐。Phoebe利用时间序列预测来洞察未来的工作负载需求，从而提供准确、长期和可靠的扩展决策。我们的实验表明，菲比是能够提供一个稳定的服务，同时减少资源过度配置。
2022-06-20 cs.DC
Runtime-optimized Multi-way Stream Join Operator for Large-scale Streaming data
本文提出运行时优化的多路流连接算子，通过周期统计、二次指数平滑预测和基于代价模型的自适应优化算法 dpPick 动态调整探测顺序，并在 TPC-DS 数据集上验证其处理效率显著优于对比方法。
2024-11-24 cs.DB cs.DC
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
如今，一些软件系统依赖于流处理架构来提供可扩展的性能并近实时地处理大量数据。流处理框架通过将应用程序的执行分布在多台机器上来促进可伸缩计算。尽管性能被广泛研究，容错的测量-流处理框架提供的一个关键功能-仍然没有得到适当的测量更新和全面的测试床。此外，故障恢复对性能的影响大多被忽略。本文提供了一个全面的故障恢复性能，稳定性和恢复时间在云原生环境与现代开源框架，即Flink，Kafka流，和火花结构化流的分析。我们的基准分析的灵感来自混沌工程注入故障。一般来说，我们的研究结果表明，有很大的变化相比，以前的研究在分布式流处理的故障恢复。特别是，结果表明，Flink是最稳定的，并具有最好的故障恢复之一。此外，Kafka Streams在失败后表现出性能不稳定性，这是由于其当前的重新平衡策略在负载均衡方面可能是次优的。Spark Structured Streaming显示了适当的故障恢复性能和稳定性，但具有更高的事件延迟。我们的研究旨在（i）帮助行业从业者选择最合适的流处理框架，以有效和可靠地执行数据密集型应用程序;（ii）支持研究人员应用和扩展我们的研究方法以及我们的基准;（iii）识别，预防和协助解决生产部署中的潜在问题。
2024-05-29 cs.DC cs.SE
Move Fast and Meet Deadlines: Fine-grained Real-time Stream Processing with Cameo
多租户流处理系统中的资源供应面临着保持高资源利用率（没有过度供应）和确保性能隔离的双重挑战。在我们常见的生产用例中，流工作负载必须满足延迟目标并避免违反服务级别协议，现有解决方案无法处理用户需求的广泛变化。我们的框架Cameo使用细粒度的流处理（受演员计算模型的启发），能够提供高资源利用率，同时满足延迟目标。Cameo基于用户延迟目标和查询语义动态计算和传播事件的优先级。在Microsoft Azure上的实验表明，与最先进的技术相比，Cameo框架：i）在单租户设置中将查询延迟降低了2.7倍，ii）在多租户场景中将查询延迟降低了4.6倍，iii）经受住了工作负载的瞬时峰值。
2020-10-06 cs.DC
High-level Stream Processing: A Complementary Analysis of Fault Recovery
本文针对流处理框架容错度量不足的问题，扩展故障恢复实验并分析配置空间，揭示恢复与性能优化潜力及配置调优复杂性，强调需引入透明调优抽象并加强跨社区协作。
2024-05-13 cs.DC cs.PF cs.SE
STRETCH: Virtual Shared-Nothing Parallelism for Scalable and Elastic Stream Processing
流处理应用程序通过数据分析任务的有向无环图从原始数据中提取价值。无共享（SN）并行是扩展流处理应用的事实标准。给定一个应用程序，SN并行实例化每个分析任务的几个副本，使每个实例负责整个分析的专用部分，并依赖于专用队列在连接的实例之间交换数据。一方面，SN并行性可以向上和向外扩展应用程序的执行，因为线程可以在进程/节点内和跨进程/节点运行任务实例。另一方面，它缺乏共享可能会导致不必要的开销，并阻碍扩展时，线程操作的数据，可以共同访问共享内存。这种权衡促使我们研究一种流处理应用程序利用共享内存并增强扩展（在横向扩展之前）的方法，同时坚持流处理应用程序广泛采用的基于SN的API。我们介绍了STRETCH，一个框架，最大限度地扩大规模，并提供即时的弹性重新配置（无状态转移）的流处理应用程序。我们提出了虚拟无共享（VSN）的并行性和弹性的概念，并提供了正式的定义和正确性证明的语义分析任务支持的STRETCH，显示他们扩展了常见的流处理引擎。我们还提供了一个完全实现的原型，并表明STRETCH的性能超过了最先进的框架，如Apache Flink，并提供了前所未有的超快重新配置，即使在配置数十个新任务实例时也不到40毫秒。
2022-04-29 cs.DC
AlertMix: A Big Data platform for multi-source streaming data
对流处理的需求正以前所未有的速度增长。大数据不再局限于处理大量数据。在大多数现实场景中，处理流数据的需求只能满足业务需求。交易、欺诈检测、系统监控、产品维护以及Twitter和YouTube视频等社交媒体数据都需要它。在这种情况下，关注于批处理的“太晚架构”无法实现用例。在本文中，我们提出了一个端到端的大数据平台AlertMix，用于处理多源流数据。它的架构以及如何利用各种大数据技术在这项工作中进行了解释。我们展示了我们的平台在目前由平台处理的实时流媒体数据上的性能。
2018-06-18 cs.DC cs.IR
Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning
Computer Science Department（计算机科学系）；Kwame Nkrumah University of Science and Technology（库马西科技大学）
本文提出一种面向边缘数据流处理的主动式自动伸缩框架，通过GRU负载预测、基于DTW与联合分布适配的迁移学习以及考虑资源约束的水平伸缩模块，在低训练成本下实现优于CNN、ARIMA、Prophet和RL方法的预测精度与伸缩效果。
2025-07-19 cs.CV cs.DC cs.LG
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream，它确保有限的延迟，同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制：（1）动态查询和（2）动态操作级查询规划。通过控制微批量大小，LMStream显著降低了单个数据集的延迟，因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外，LMStream提出了一种低开销的在线模型参数优化方法，而不中断实时流处理。我们在Apache Spark上实现了LMStream，它支持微批流处理。与以前的面向吞吐量的方法相比，LMStream的平均延迟最高可提高70.7%，而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel（城堡投资）；New Jersey Institute of Technology（新泽西理工学院）；IBM Research（IBM研究院）
本文研究了流处理中的资源分配问题，在大型分布式系统中，连续的数据流必须得到实时的处理。为了最大化系统吞吐量，将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的，但实际的流媒体系统的关键，许多基于启发式的算法已经开发，以找到合理的好的解决方案。在本文中，我们提出了一个图形感知的编码器-解码器框架，学习一个通用的资源分配策略，可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练，我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明，该模型优于METIS，一个国家的最先进的图分割算法，和基于LSTM的编码器-解码器模型，在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
Decentralized Management of Bi-modal Network Resources in a Distributed Stream Processing Platform
本文提出了资源管理技术分配通信和计算资源的分布式流处理平台。该平台旨在利用两类网络连接的协同作用-专用和机会。我们以前进行的研究已经证明了这样的双模态资源组织的好处，它结合了一个非常大的池的空闲计算机的机会计算能力的专用计算机的小池，以服务于高吞吐量的计算应用程序。本文将双模态资源组织的思想扩展到通信资源的管理中。由于分布式流处理应用需要以一致的速率在处理站点之间传输大量数据，因此对网络资源的适当控制对于确保稳定的处理流是重要的。在本文中使用的系统模型是一个平台，在分布式站点的流处理服务器互连的专用和机会主义的通信链路的组合。详细分析了两个相关的资源分配问题，并使用分散算法求解。一个是流处理任务在处理和通信资源上的映射。另一个是自适应重新分配的机会通信链路，由于其容量的变化。总体优化目标是更高的任务吞吐量和更好地利用昂贵的专用链路。评估表明，该算法能够利用双模态通信链路的协同作用，实现优化目标。
2009-03-24 cs.DC cs.NI
ShuffleBench: A Benchmark for Large-Scale Data Shuffling Operations with Distributed Stream Processing Frameworks
本文提出新型基准测试程序ShuffleBench，用于评估分布式流处理框架的数据shuffle性能，它高度可配置、开源且支持四款主流框架，实验显示Flink吞吐量最高、Hazelcast延迟最低。
2024-03-07 cs.DC cs.SE
eSPICE: Probabilistic Load Shedding from Input Event Streams in Complex Event Processing
复杂事件处理系统在运行中处理输入事件流。由于输入事件速率可能超过系统的能力，并导致违反定义的延迟界限，因此使用甩负荷来丢弃一部分输入事件流。这里的关键问题是要丢弃多少事件和哪些事件，以便保持定义的延迟范围，并最大限度地降低结果质量。在流处理领域，已经提出了不同的减载策略，但它们主要取决于单个元组（事件）的重要性。然而，当复杂事件处理系统执行模式检测时，事件的重要性也受到相同模式中的其他事件的影响。在本文中，我们提出了一个称为eSPICE的复杂事件处理系统的减载框架。eSPICE依赖于构建一个概率模型，该模型可以了解窗口中事件的重要性。事件在窗口中的位置及其类型用作构建模型的特征。此外，我们提供算法来决定何时开始丢弃事件以及丢弃多少事件。此外，我们广泛评估了eSPICE在两个真实世界数据集上的性能。
2020-02-14 cs.DC
Using Dedicated and Opportunistic Networks in Synergy for a Cost-effective Distributed Stream Processing Platform
本文提出了一个案例，利用专用和机会网络资源的协同作用，在分布式托管平台的数据流处理应用程序。我们以前的研究已经证明了在高吞吐量计算应用程序中，及时分配处理单元是主要关注点的情况下，将专用可靠资源与机会资源相结合的好处。由于分布式流处理应用程序需要以一致的速率在处理站点之间进行大量数据传输，因此对网络资源的适当控制对于确保稳定的处理流非常重要。在本文中，我们提出了一个系统模型的混合托管平台，其中安装在分布式站点的流处理服务器互连的专用链接和公共互联网的组合。分散式算法已经被开发用于在竞争任务之间分配两类网络资源，其目标是实现更高的任务吞吐量和更好地利用昂贵的专用资源。从广泛的模拟研究结果表明，适当的管理，系统利用专用和机会资源的协同作用，产生相当高的任务吞吐量，因此，更高的投资回报率比系统单独使用昂贵的专用资源。
2009-03-25 cs.DC cs.NI
ESTemd: A Distributed Processing Framework for Environmental Monitoring based on Apache Kafka Streaming Engine
Central University of Technology（中央理工大学）
分布式网络和实时系统正在成为新计算机时代物联网（IoT）最重要的组成部分，其中包括从传感器生成的巨大数据流或数据集以及从现有遗留系统生成的数据。生成的数据提供了测量，推断和理解环境指标的能力，从脆弱的生态和自然资源到城市环境。这可以通过分析异构数据源（结构化和非结构化）来实现。在本文中，我们提出了一个分布式框架环境监测领域的事件流处理引擎（ESTemd）的异构环境数据流处理的应用。我们在这一领域的工作表明，大数据技术可以在环境决策支持系统、预警和预报系统中发挥有益的作用。提出的框架解决了异构系统的数据异构性和实时的处理巨大的环境数据集的挑战，通过发布/订阅方法，通过一个统一的数据管道与Apache Kafka的应用程序的实时的形状分析。
2021-04-02 cs.AI cs.DC
Benchmarking Distributed Stream Processing Platforms for IoT Applications
物联网（IoT）是一种技术范式，其中数百万个传感器实时监控并帮助通知或管理物理，环境和人类系统。物联网应用固有的闭环响应和决策能力使其成为使用低延迟和可扩展流处理平台的理想候选者。分布式流处理系统（DSPS）正在成为任何物联网堆栈的基本组件，但尚未针对物联网数据流和应用程序对当代DSPS的功效和性能进行严格研究。在这里，我们开发了一个基准套件和性能指标，以评估流物联网应用程序的DSPS。该基准测试包括13个常见的物联网任务，这些任务被分类在各种功能类别中并形成微基准测试，以及两个用于统计汇总和预测分析的物联网应用程序，这些应用程序利用了DSPS的各种分布式组成功能。这些与来自智能城市的真实物联网观察的流工作负载相结合。我们验证了流行的Apache Storm DSPS的物联网基准测试，并给出了实证结果。
2016-07-26 cs.DC
Adaptive Processing of Spatial-Keyword Data Over a Distributed Streaming Cluster
具有GPS功能的智能手机的广泛使用以及微博和社交网络应用程序的普及，Twitter和Facebook已经导致了大量带有地理标签的文本数据流的生成。许多应用需要实时处理这些流。例如，基于位置的电子优惠券和广告定位系统使广告商能够向数百万用户注册数百万广告。用户数量通常非常高，他们不断移动，广告也经常变化。因此，向匹配的用户发送正确的广告是非常具有挑战性的。现有的流传输系统要么是集中式的，要么是没有空间关键字感知的，并且不能有效地支持快速到达的空间关键字数据流的处理。本文介绍了一个分布式空间关键字流处理系统Tornado。Tornado的特点是路由单元可以公平地分配工作负载，此外，还可以将数据对象和相应的查询放在同一个处理单元中。路由单元使用增强网格，一种新的结构，配备了一个有效的搜索算法，用于分发数据对象和查询。Tornado使用赋值器来处理查询的数据对象。路由单元通过在数据更新与任何查询不匹配时不发送数据更新进行处理来最小化冗余通信。通过应用动态评估的成本公式，连续表示每个评估器的处理开销，Tornado可以适应工作负载的变化。广泛的实验评估使用空间文本范围查询真实的Twitter数据表明，龙卷风优于非空间文本感知的方法高达两个数量级的整体系统吞吐量。
2017-09-08 cs.DC
Flo: a Semantic Foundation for Progressive Stream Processing
本文提出参数化流处理语言 Flo，通过流处理进展和即时执行两个语义属性，确保流处理输出的确定性与新鲜度，并证明 Flink、LVars 和 DBSP 等系统语义可由 Flo 建模。
2024-11-13 cs.DC cs.PL
RIoTBench: A Real-time IoT Benchmark for Distributed Stream Processing Platforms
物联网（IoT）是一种新兴的技术范式，其中数百万个传感器和执行器帮助实时的【形】监控和管理物理、环境和人类系统。物联网应用固有的闭环响应能力和决策能力使其成为使用低延迟和可扩展流处理平台的理想候选者。托管在云数据中心上的分布式流处理系统（DSPS）正在成为任何物联网软件架构中实时的【形】数据处理和分析的重要引擎。但是，当代DSPS的功效和性能尚未针对物联网应用和数据流进行严格的研究。在这里，我们开发了实时物联网基准套件RIoTBench，以及性能指标，以评估流物联网应用的DSPS。该基准测试包括27个常见的物联网任务，这些任务分为不同的功能类别，并作为可重用的微基准测试实现。此外，我们提出了由这些任务组成的四个物联网应用程序基准，并利用DSPS的各种语义。这些应用程序基于常见的物联网模式，用于数据预处理，统计汇总和预测分析。这些与来自智能城市和健身的真实物联网观察的四个流工作负载相结合，峰值流速率范围从500到10000条消息/秒，频率分布多样。我们在Microsoft Azure公共云上验证了流行的Apache Storm DSPS的RIoTBench套件，并提出了经验观察。DSPS研究人员可以使用该套件进行性能分析和资源调度，物联网从业人员可以使用该套件评估DSPS平台。
2017-01-30 cs.DC
