Mobility Stream Processing on NebulaStream and MEOS
Université libre de Bruxelles(布鲁塞尔自由大学);BIFOLD, TU-Berlin(柏林工业大学 BIFOLD);SNCB-NMBS Engineering(比利时国家铁路工程)
NebulaMEOS结合MEOS和NebulaStream,实现实时时空流数据处理,用于分析列车运营和环境影响。
2025-11-25 cs.DB
Strider: A Hybrid Adaptive Distributed RDF Stream Processing Engine
实时处理来自传感器的数据流正在成为物联网场景中的常见任务。其关键实现目标包括有效处理大量传入数据流,并支持异常检测等高级数据分析服务。在一个正在进行的工业项目中,我们发现24/7可用的流处理引擎通常面临动态变化的数据和工作负载特征。这些变化会影响发动机的性能和可靠性。我们提出了Strider,一个混合自适应分布式RDF流处理引擎,根据数据流的状态优化逻辑查询计划。Strider旨在保证重要的工业属性,如可扩展性,高可用性,容错,高吞吐量和可接受的延迟。这些保证是通过使用Spark和Kafka等最先进的Apache组件设计引擎架构来实现的。我们强调效率(例如,在一台机器机器上,与最先进的系统相比,吞吐量增加高达60倍,在9台机器的集群上,吞吐量为310万个三元组/秒,这是该系统类别中的重大突破)。Strider在真实世界和合成数据集上的应用
2017-05-16 cs.DB
Scaling Ordered Stream Processing on Shared-Memory Multicores
许多现代应用需要实时处理大量高速数据。这种数据处理需求可以建模为流式计算。流计算被指定为一个多线程图,该图以数据、流水线和任务并行的形式暴露了并行化其执行的多个机会。另一方面,许多重要的应用程序要求对流的处理是有序的,其中输入的处理顺序与它们到达的顺序相同。在有序处理和并行化流计算之间存在根本冲突。本文主要研究在共享内存多核机器上有效并行有序流计算的问题。我们首先解决的关键挑战,利用数据并行在有序设置。我们提出了一个低延迟,非阻塞的并发数据结构,以有序的并发工人对一个操作符产生的输出。我们还提出了一种新的方法来并行化分区的有状态操作符,可以有效地处理跨分区的负载不平衡,主要是避免由于排序的延迟。我们说明了我们的并发数据结构的权衡和有效性的微基准和流查询从TPCx-BB基准。然后,我们提出了一个自适应的运行时,动态映射暴露的并行计算的机器。我们提出了几个直观的调度算法,并在TPCx-BB查询上进行了经验比较。我们发现,对于流计算,利用尽可能多的流水线并行的算法比那些试图利用数据并行的算法性能更好。
2018-03-30 cs.DB
BriskStream: Scaling Data Stream Processing on Shared-Memory Multicore Architectures
我们介绍BriskStream,内存中的数据流处理系统(DSP),专门为现代共享内存多核架构设计。BriskStream的主要贡献是执行计划优化范例,即RLAS,它采用相对位置(即,NUMA距离)的每对生产者-消费者运营商的考虑。我们提出了一个分支和边界为基础的方法与三个算法来解决由此产生的非平凡的优化问题。实验评估表明,BriskStream产生更高的吞吐量和更好的可扩展性比现有的DSP多核架构处理不同类型的工作负载时。
2019-04-07 cs.DB
Towards a Multimodal Stream Processing System
TU Darmstadt(达姆施塔特工业大学);DFKI(德国人工智能研究中心);INSA Lyon(里昂国立应用科学学院)
本文提出将MLLMs作为一等运算符嵌入的新一代多模态流处理系统愿景,通过逻辑、物理和语义层面的优化减少模型负载并提升吞吐量,原型Samsara性能提升超一个数量级,还给出相关研究路线图。
2025-11-11 cs.DB
S-Store: Streaming Meets Transaction Processing
流处理解决了实时应用的需求。事务处理解决短原子计算的协调和安全问题。因此,这两种运作模式存在于单独的、烟囱式的系统中。在这项工作中,我们试图融合两个计算范式在一个单一的系统称为S-商店。通过这种方式,S-Store可以同时适应OLTP和流应用程序。我们提出了一个简单的事务模型的流,无缝集成与传统的OLTP系统。我们选择构建S-Store作为H-Store的扩展,H-Store是一个开源的、内存中的分布式OLTP数据库系统。通过以这种方式实现S-Store,我们可以利用H-Store已经支持的事务处理功能,并且我们可以专注于支持流所需的其他实现特性。类似的实现可以使用其他主存OLTP平台来完成。我们表明,我们实际上可以实现更高的吞吐量流工作负载在S-Store比同等的部署在H-Store单独。我们还展示了如何在H-Store中添加适量的新功能来实现这一目标。此外,我们将S-Store与两个最先进的流媒体系统Spark Streaming和Storm进行了比较,并展示了S-Store如何匹配,有时甚至超过它们的性能,同时提供更强的事务保证。
2015-03-10 cs.DB
Continuous Prompts: LLM-Augmented Pipeline Processing over Unstructured Streams
Brown University(布朗大学)
本文提出连续提示框架,通过引入大语言模型的持续推理能力,实现对无结构流的持久语义处理,并通过动态优化提升效率与精度的平衡。
2025-12-03 cs.DB
Benchmarking Distributed Stream Data Processing Systems
对可扩展且高效的流分析的需求导致了许多具有高度分散的能力和性能特征的开源流数据处理系统(SDPS)的开发。虽然最初的举措试图比较系统的简单工作负载,但在详细分析系统的性能特征方面存在明显的差距。在本文中,我们提出了一个基准测试分布式流处理引擎的框架。我们使用我们的套件来详细评估三个广泛使用的SDPS的性能,即Apache Storm,Apache Spark和Apache Flink。我们的评估特别关注测量窗口操作的吞吐量和延迟,这是流分析中的基本操作类型。对于此基准测试,我们根据受在线游戏行业启发的现实生活、工业用例设计工作负载。我们工作的贡献是三方面的。首先,我们给出了有状态操作符的延迟和吞吐量的定义。其次,我们仔细分离的测试和驱动程序下的系统,以正确地表示典型的流处理部署的开放世界模型,因此,可以在现实条件下测量系统性能。第三,我们建立了第一个基准框架来定义和测试流媒体系统的可持续性能。我们的详细评估突出了每个系统的个别特性和用例。
2019-06-24 cs.DB
Resource Usage Estimation of Data Stream Processing Workloads in Datacenter Clouds
在可负担得起的虚拟化基础设施资源上的数据流的实时计算是运动处理架构中的重要数据形式。然而,在确保严格保证服务质量的同时处理这样的数据流是有问题的,这是由于:(i)不确定的流到达模式;(ii)需要处理不同类型的连续查询;以及(iii)连续查询的可变资源消耗行为。最近的工作探索了使用统计技术来估计SQL查询和OLTP工作负载的资源。所有这些技术都将每个查询的资源使用量近似为单个点值。然而,在其中数据流无休止地流过算子图并且造成性能和资源需求波动的数据流处理工作负载中,单点资源估计是不充分的。因为它既没有足够的表现力,也没有捕捉目标数据的多模态特性。为此,我们提出了一种新的技术,它使用混合密度网络,神经网络和混合模型的组合结构,估计整个频谱的资源使用概率密度函数。该方法是一种灵活方便的建模未知分布模型的手段。我们已经使用线性道路基准和TPC-H验证了模型,在许多误差指标下观察到高精度:均方误差,连续排名概率得分和负对数预测密度。
2015-01-28 cs.DB
Process Faster, Pay Less: Functional Isolation for Stream Processing
EPFL(洛桑联邦理工学院);TU Wien(维也纳工业大学);Oracle(甲骨文公司)
FunShare通过动态分组查询提升资源效率,保持性能,减少基础设施成本。
2026-03-19 cs.DB
Application of Data Stream Processing Technologies in Industry 4.0 -- What is Missing?
随着物联网领域的发展,工业4.0对制造商来说变得越来越重要。另一项越来越受到关注的技术是数据流处理系统。尽管这种流框架似乎很适合工业4.0场景,但它们在这种情况下的应用仍然很低。本文的贡献有三个方面。首先,我们介绍了我们从现场检查中得出的行业调查结果,重点是工业4.0。此外,还阐述了我们对工业4.0及相关重要方面的看法。作为第三个贡献,我们阐述了为什么数据流处理技术可以成为工业4.0的推动者,并指出了这方面可能存在的障碍。
2019-07-22 cs.DB
VectraFlow: Long-Horizon Semantic Processing over Data and Event Streams with LLMs
Brown University(布朗大学)
VectraFlow通过结合LLM与传统关系运算符,实现了对无结构数据流的长时域语义处理,提供连续语义运算符,支持自然语言意图到可执行运算图的转换,实现从原始文本到匹配事件群体的端到端模式检测。
2026-04-04 cs.DB
Towards Concurrent Stateful Stream Processing on Multicore Processors (Technical Report)
针对现有流处理系统并发状态访问锁开销高、多核利用率低的问题,提出采用事务语义、结合双模式调度与动态重构执行的TStream系统,在相近延迟下吞吐量最高达现有最优方案的4.8倍,且对多种工作负载耐受性强。
2020-01-16 cs.DB
Efficient Join Processing Over Incomplete Data Streams (Technical Report)
几十年来,快速数据流上的连接算子一直受到数据库界的广泛关注,因为它具有广泛的实际应用,如在线聚类、入侵检测、传感器数据监控等,现有的工作通常假设要连接的数据流是完整的(没有任何缺失值).然而,这种假设可能并不总是成立,因为对象从流可能包含一些丢失的属性,由于各种原因,如数据包丢失,网络拥塞/故障,在本文中,我们正式提出了一个重要的问题,即加入不完整的数据流(Join-iDS),检索加入对象对不完整的数据流具有高的置信度。我们以“同时进行数据填充和查询处理”的方式处理Join-iDS问题。为了实现这种风格,我们设计了一个有效的和高效的成本模型为基础的插补方法,通过不同的依赖(DD),设计有效的修剪策略,以减少联合iDS搜索空间,并提出了高效的算法,通过我们提出的成本模型为基础的数据概要/索引。已经进行了大量的实验,以验证我们提出的Join-iDS方法的效率和有效性的真实和合成数据集。
2019-08-23 cs.DB
GeoFlink: A Distributed and Scalable Framework for the Real-time Processing of Spatial Streams
Apache Flink是一个开源系统,用于批量和流数据的可扩展处理。Flink本身并不支持空间数据流的高效处理,这是许多处理空间数据的应用程序的要求。除了Flink之外,其他可扩展的空间数据处理平台,包括GeoSpark、Spatial Hadoop等,都不支持流式工作负载,只能处理静态/批量工作负载。为了填补这一空白,我们提出了GeoFlink,它扩展了Apache Flink,以支持空间数据类型,索引和连续查询空间数据流。为了能够有效地处理空间连续查询,并在Flink集群节点之间进行有效的数据分布,引入了基于网格的索引。GeoFlink目前支持点数据类型上的空间范围、空间$k$ NN和空间连接查询。对真实空间数据流的广泛实验研究表明,GeoFlink实现了显着更高的查询吞吐量比普通Flink处理。
2020-08-03 cs.DB cs.DC
Knowledge-infused and Consistent Complex Event Processing over Real-time and Persistent Streams
物联网(IoT)和网络物理系统(CPS)中的新兴应用对执行在线分析的大数据平台提出了新的挑战。来自物联网部署的无处不在的传感器能够高速生成数据流,其中包括来自各种领域的信息,并在磁盘上积累大量数据。复杂事件处理(CEP)是一种重要的实时的【形】计算范式,用于分析连续数据流。然而,CEP的现有工作在很大程度上仅限于关系查询处理,暴露了查询规范和执行的两个明显差距:(1)为关系查询模型注入更高级别的知识语义,以及(2)跨时间空间的无缝查询评估跨越过去、现在和未来的事件。这些允许对具有不同学科属性的数据流进行可访问的分析,并帮助跨越速度(实时的【形】)和容量(持久)维度。在本文中,我们介绍了一个知识注入CEP(X-CEP)框架,它提供了领域感知的知识查询结构以及时态运算符,允许端到端查询跨越实时的【形】和持久流。我们将此查询模型转换为在线和离线数据流上的高效查询执行,提出了几种优化方法,以减轻通过评估语义谓词和访问大容量历史数据流引入的开销。提出的X-CEP查询模型和执行方法在我们的原型语义CEP引擎,SCEPter中实现。我们验证我们的查询模型使用域感知CEP查询从现实世界的智能电网应用程序,并实验分析我们的优化执行这些查询的好处,使用事件流从校园微电网物联网部署。
2016-11-02 cs.DB
Building User-defined Runtime Adaptation Routines for Stream Processing Applications
流处理应用程序被部署为连续查询,从提交到取消都在运行。这种部署模式限制了需要应用程序执行运行时调整的开发人员,例如算法调整、增量作业部署和特定于应用程序的故障恢复。目前,开发人员通过使用外部脚本和/或通过将与数据处理逻辑无关的运算符插入流处理图中来进行运行时适配。在本文中,我们描述了一个名为orchestrator的组件,它允许用户编写自动适应应用程序的运行时条件的例程。开发人员通过注册和处理事件以及指定驱动来构建编排器。事件可以由于系统状态的改变而生成(例如,应用组件故障),内置系统度量(例如,连接的吞吐量),或定制应用度量(例如,质量评分)。一旦协调器接收到事件,用户就可以通过使用协调器驱动API来采取适配动作。我们演示了使用的编排在IBM的System S中的三个不同的应用程序的上下文中,说明应用程序适应传入的数据分布的变化,应用程序故障,并按需动态组合。
2012-08-21 cs.DB
Scalable real-time processing with Spark Streaming: implementation and design of a Car Information System
流数据处理是当今大数据领域的热门话题,因为它可以在低延迟内处理大量事件。最常用的开源流处理平台之一是Spark Streaming,本文基于真实世界的用例对其进行了演示和讨论。该用例是关于汽车信息系统的,它是经典流处理系统的一个示例。首先,系统被设计和工程化,其中应用程序架构被仔细地创建,因为它应该适合于类似的用例。在本文的最后,CIS和火花流的目标问题度量模型的使用进行评估。评估证明,Spark Streaming能够以可扩展和容错的方式创建流处理。但它也表明Spark是一个非常快速的项目,这可能会在软件项目的开发和维护过程中造成问题。
2017-09-14 cs.DB cs.DC
On Load Shedding in Complex Event Processing
复杂事件处理(CEP)是一种流处理模型,专注于检测连续事件流中的事件模式。虽然CEP模型已经在研究社区和商业技术中获得了普及,但是在存在资源约束或减载的情况下在重负载下优雅地降低性能的问题在很大程度上被忽视了。CEP类似于“经典的”流数据管理,但它处理的是完全不同的一类查询。不幸的是,这使得为流数据处理开发的甩负荷算法不适用。在本文中,我们研究CEP切负荷在各种资源约束。我们正式广泛的类CEP切负荷方案作为不同的优化问题。我们展示了一系列的复杂性结果,揭示了这些问题的硬度和构建脱落算法的性能保证。我们的研究结果揭示了开发负荷削减算法,最大限度地提高效用的困难。
2013-12-16 cs.DB
Incremental Techniques for Large-Scale Dynamic Query Processing
来自不同学科的许多应用程序现在都需要实时的分析快速发展的大数据。多年来,已经提出了用于增量式处理查询的各种方法。传统方法依赖于在流式传输更新时更新查询的结果,而不是重新计算这些查询,因此,期望更高的执行性能。然而,它们对于高频率更新的大型数据库表现不佳。因此,在文献中已经提出了新的算法和方法来解决这些挑战,例如,通过降低处理更新的复杂性。此外,这些算法中的许多现在都利用了分布式流媒体平台,如Spark Streaming和Flink。在本教程中,我们简要讨论增量查询处理的传统方法,然后概述由于处理大数据流而引入的新挑战。然后,我们详细讨论了最近提出的算法,解决这些挑战。我们强调的特点和算法分析的各种建议的方法,并讨论未来的研究方向。
2019-02-01 cs.DB
Highest-performance Stream Processing
我们提出的流处理库,实现了现有的OCaml流库的最高性能,达到手写状态机的速度和内存效率。它支持有限流和无限流,具有熟悉的声明式接口,可以是map、filter、take(while)、drop(while)、zip、flatmap combinators和tupling的任意组合。有经验的用户可以使用有状态流的低级接口,并实现累积映射、压缩和窗口化。该库基于有保证的代码生成(目前,OCaml和C),并保证在所有情况下完全融合。
2022-11-24 cs.DB cs.PL
Delivery, consistency, and determinism: rethinking guarantees in distributed stream processing
最先进的流处理系统的一致性要求是根据交付保证来定义的。精确一次是最强的一个,也是最终用户最想要的。然而,关于这一概念有几个问题。强制执行一次的常用技术会产生显著的性能开销。此外,精确一次的概念没有正式定义,也没有捕获提供支持此保证的流处理系统的所有属性。在本文中,我们介绍了一个正式的框架,使我们能够更经常地定义流保证。我们证明了交付,一致性和确定性的属性是紧密相连的分布式流处理。我们还表明,具有轻量级的确定性,它是可能的,以提供确切的一次几乎没有性能开销。实验表明,该方法可以显着优于替代工业解决方案。
2019-07-14 cs.DB cs.DC
Handling out-of-order input arrival in CEP engines on the edge combining optimistic, pessimistic and lazy evaluation
本文提出 LimeCEP,一种结合惰性求值、缓冲与推测处理的混合 CEP 方法,集成 Kafka 处理乱序与重复事件,在保持高精度和召回率的同时,相比 SASE 和 FlinkCEP 显著降低延迟、内存和 CPU 消耗,适用于边缘非云部署。
2025-07-07 cs.DB
Comparative Evaluation of Data Stream Indexing Models
近年来,数据流的管理和处理已经成为计算机科学的几个领域(例如,分布式系统、数据库系统和数据采掘)中活跃的研究主题。数据流可以被认为是一个短暂的,不断增加的数据序列。在数据流应用中,由于在线监控的存在,对用户查询的响应要求具有时间和空间效率。在本文中,我们考虑索引的特殊要求,以确定在数据流处理环境中的不同技术的性能。流索引与传统数据库中的方法有主要区别。此外,我们分析比较数据流索引模型,可以提供一个合适的方法进行流索引。
2012-08-03 cs.DB
Inter-Operator Feedback in Data Stream Management Systems via Punctuation
大容量、高速的数据流可能会压倒流处理系统的能力;数据优先级排序、避免不必要的处理和按需结果生成等技术可能是降低处理要求所必需的。然而,数据流在速率和内容方面的动态性质使得这些技术的应用具有挑战性。这样的技术已经在静态和集中式查询优化的上下文中被解决;然而,它们还没有被完全解决用于数据流管理系统。在这项工作中,我们提出了一个全面的框架,支持优先级,避免不必要的工作,并按需结果生产的分布式,不可靠的,突发的,无序的数据源,典型的许多数据流。我们提出了一种形式的运营商间的反馈,它的流动对流的方向,沟通所需的信息,使这些技术的执行。该反馈利用标点来描述感兴趣的子集。我们确定反馈信息的潜在来源,表征新类型的标点符号,以支持反馈,并描述查询操作员可能实现的反馈的生产者,开发者和中继器的角色。我们提出了使用NiagaraST数据流系统的初步实验观察。
2009-09-10 cs.DB
Fast Data Management with Distributed Streaming SQL
为了在当今数据驱动的经济中保持竞争力,大大小小的企业都在转向流处理平台,以在数据到达时处理大容量、高速度和多样化的数据流(快速数据)。由当今流行的系统提供的低级编程模型缺乏对变化的响应:增强需要伴随着大量周转时间的代码变化。尽管分布式SQL查询引擎已经可用于大数据,但我们仍然缺乏对分布式流处理系统中基于SQL的流查询功能的支持。在本白皮书中,我们确定了一组要求,并提出了一个标准的基于SQL的流查询模型,用于管理所谓的快速数据。
2015-11-12 cs.DB
MorphStream: Scalable Processing of Transactions over Streams on Multicores
本文提出多核事务流处理引擎 MorphStream,通过规划、调度、执行三阶段范式支持动态调度与并行处理,实验表明其在多场景下优于现有 TSPE。
2023-07-24 cs.DB cs.DC
Structuring the Processing Frameworks for Data Stream Evaluation and Application
organization= Department of Systems;Computer Networks, Wroclaw University of Science
针对数据流分类评估中标签延迟且获取有限的问题,本文综述并模拟验证现有处理技术,提出考虑标签延迟的数据流处理框架分类法及漂移检测与分类方法的关联。
2024-11-11 cs.DB cs.LG
Parallelizing Windowed Stream Joins in a Shared-Nothing Cluster
并行和分布式计算环境中大量处理节点的可用性使得能够在高速数据流上进行复杂的实时的处理,如许多新兴应用所要求的。滑动窗口流连接是流处理系统中最重要的操作之一。在本文中,我们考虑的问题,并行化的滑动窗口流连接运算符在一个没有共享集群。我们提出了一个框架,固定或预定义的通信模式的基础上,分配加入处理负载的无共享集群。我们考虑各种开销,同时扩展了大量的节点,并提出解决方案的方法来应对这些问题。我们实现了一个集群使用的消息传递系统的算法,并提出了实验结果表明连接处理算法的有效性。
2013-07-24 cs.DB cs.DC
A Survey on Transactional Stream Processing
本文综述事务流处理(TSP)的发展,梳理现有方案在需求、方法与设计权衡上的异同,并展望未来方向,以推动新型TSP系统设计。
2023-06-01 cs.DB cs.DC
AgileDART: An Agile and Scalable Edge Stream Processing Engine
针对传统数据处理系统难以适配边缘应用低延迟、高并发、环境异构动态的问题,提出AgileDart边缘流处理引擎,通过动态数据流抽象和老虎机路径规划模型,相较现有方案在延迟、扩展性和适应性上表现更优。
2025-07-29 cs.DB cs.DC
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎(DSPE)上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比,我们得到的增量程序返回准确的结果,而不是近似的答案。这是通过在查询计算生存期内保留最小状态,并使用增量计算技术在每个时间间隔(取决于当前状态和最新批次的数据)返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询,包括迭代和嵌套查询、具有聚合的分组和等价连接。最后,我们报告了我们的框架的原型实现,称为MRQL流,运行在Spark之上,我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
A Context-Aware Knowledge Graph Platform for Stream Processing in Industrial IoT
Polytechnic University of Marche(马尔凯理工大学)
本文提出一种面向工业物联网流处理的上下文感知知识图谱平台,通过统一异构数据源实现灵活的数据采集和可组合的流处理管道,结合语义模型和上下文推理提升数据互操作性。
2026-02-23 cs.DB cs.DC cs.IR
PDSP-Bench: A Benchmarking System for Parallel and Distributed Stream Processing
本文提出PDSP-Bench基准测试系统,针对分布式异构环境中的并行流处理性能,支持集成机器学习模型,通过对Apache Flink的测试及成本模型比较,揭示并行性对性能的非线性等趋势。
2025-04-14 cs.DB cs.DC
GALOIS: A Hybrid and Platform-Agnostic Stream Processing Architecture
针对物联网场景下边缘数据流处理系统的硬件与平台异构性问题,提出基于WebAssembly的混合式平台无关架构GALOIS,结合P2P与主从模式通信,实验验证其在能耗和CPU占用上优于Docker方案。
2023-05-03 cs.DB cs.DC
Learning from the Past: Adaptive Parallelism Tuning for Stream Processing Systems
本文提出 StreamTune,通过预训练与微调框架利用历史执行数据和 DAG 结构进行流处理系统自适应并行度调优,在 Apache Flink 和 Timely Dataflow 上显著减少重配置次数与并行度,同时保持处理性能。
2025-07-07 cs.DB cs.DC
DSCEP: An Infrastructure for Distributed Semantic Complex Event Processing
今天,由于收集数据的手段的出现,大多数应用程序都以流的形式不断产生信息。传感器和社交网络从不同的现实生活情况中以相当快的速度收集大量的数据。越来越多的应用程序需要处理来自不同来源的异构数据流以及大量的背景知识。仅使用数据流上的信息对于许多用例来说是不够的。语义复杂事件处理(Semantic Complex Event Processing,CEP)系统是在经典的基于规则的CEP系统基础上发展起来的,它将高层知识表示和RDF流处理结合起来,同时利用数据流和背景静态知识。此外,CEP方法缺乏语义解释和分析数据的能力,这是语义CEP(SCEP)试图解决的问题。SCEP有几个局限性;其中之一与其高处理时间有关。本文提供了一个概念模型和实现的分布式SCEP的基础设施,其中每个SCEP运营商可以处理部分数据,并将其发送到其他SCEP运营商,以实现一些答案。我们表明,通过分裂的RDF流处理和背景知识使用SCEP运营商的概念,有可能大大减少处理时间。
2020-02-14 cs.DB cs.DC
Tight Lower Bounds for Query Processing on Streaming and External Memory Data
我们研究了一个用于外部存储和流处理的干净机器模型。我们表明,外部数据的扫描次数会导致严格的层次结构(只要工作空间足够小,例如,在输入的大小上的多对数)。我们还表明,无论是连接或排序是可行的,如果产品的数量$r(n)$扫描的外部存储器和大小$s(n)$的内部存储器缓冲区是足够小,例如,尺寸为$o(\sqrt[5]{n})$。我们还建立了严格的边界的复杂性的评价和过滤。
2005-04-29 cs.CC cs.DB
Hazelcast Jet: Low-latency Stream Processing at the 99.99th Percentile
Jet是Hazelcast在过去五年中开发的一款开源、高性能、分布式流处理器。Jet的设计以毫秒级延迟为第99.99百分位数,作为其主要设计目标。最初,Jet的目标是成为一个执行引擎,在Hazelcast的内存数据网格(IMDG)生成的流之上执行复杂的业务逻辑:一组高性能、内存中、分区和复制的数据结构。随着时间的推移,Jet发展成为一个成熟的横向扩展流处理器,可以处理无序流和一次处理保证。Jet的端到端延迟在毫秒级,其吞吐量在每个CPU核心数百万个事件的数量级。本文介绍了我们为了最大限度地提高每个CPU核心的性能而做出的主要设计决策,以及经验教训和经验性能评估。
2021-03-18 cs.DB cs.DC
A Survey on the Evolution of Stream Processing Systems
Delivery Hero SE(Delivery Hero公司);Delft University of Technology(代尔夫特理工大学);RISE(RISE研究院);Boston University(波士顿大学)
流处理一直是一个活跃的研究领域超过20年,但它现在见证了它的黄金时期,由于最近的研究界和众多全球开源社区的成功努力。本综述全面概述了流处理系统的基本方面及其在无序数据管理、状态管理、容错、高可用性、负载管理、弹性和重新配置等功能领域的发展。我们回顾了过去值得注意的研究成果,概述了早期('00-' 10)和现代('11-' 22)流媒体系统之间的相似性和差异,并讨论了最近的趋势和开放的问题。
2023-01-14 cs.CL cs.DB cs.DC
Engineering Crowdsourced Stream Processing Systems
Qatar Computing Research Institute(卡塔尔计算研究所);CRP Henri Tudor Luxembourg(卢森堡亨利·都铎公共研究中心)
众包流处理系统(CSP)是在数据流的处理中并入众包任务的系统。这可以被视为使众包工作能够高速应用于大规模数据样本,或者等同地,使流处理能够利用人类智能。它还导致数据处理系统能力的大幅扩展。CSP系统的工程设计需要人机计算元素的结合。从一般系统理论的角度来看,这意味着要考虑这两个元素的继承和新兴属性。在本文中,我们定位CSP系统在一个更广泛的分类,概述了一系列的设计原则和评估指标,提出了一个可扩展的框架,他们的设计,并描述了几种设计模式。我们展示了CSP系统的能力,通过执行一个案例研究,将我们提出的框架应用于一个真实的系统(AIDR)的设计和分析,该系统在时间关键的危机事件中对社交媒体消息进行分类。结果表明,与纯流处理系统相比,AIDR可以实现更高的数据分类精度,而与纯众包解决方案相比,该系统通过需要更少的人工工作量来更好地利用人类工作者。
2014-08-04 cs.AI cs.DB cs.SE
Zero-Shot Cost Models for Distributed Stream Processing
本文提出了一种分布式流处理系统(DSPS)的学习成本估计模型,旨在提供准确的执行查询的成本预测。这项工作的一个主要前提是,所提出的学习模型可以推广到开箱即用的流工作负载的动态。这意味着一旦训练好的模型就可以准确地预测性能指标,例如延迟和吞吐量,即使数据和工作负载的特性或操作员对硬件的部署在运行时发生变化。这样,该模型可用于解决诸如优化操作符的放置等任务,以最小化流查询的端到端延迟或最大化其吞吐量,即使在不同的条件下。我们对著名的DSPS Apache Storm的评估表明,该模型可以准确地预测看不见的工作负载和查询,同时在现实世界的基准测试中推广。
2022-07-08 cs.DB cs.DC
Diba: A Re-configurable Stream Processor
针对硬件流处理研发成本高、上市周期长的问题,提出可重构流处理器Diba,采用单向数据流和分离式通用接口设计以简化查询映射,在TPC-H基准测试中验证了其处理不同规模数据流的有效性。
2024-08-27 cs.AR cs.DB
Runtime-optimized Multi-way Stream Join Operator for Large-scale Streaming data
本文提出运行时优化的多路流连接算子,通过周期统计、二次指数平滑预测和基于代价模型的自适应优化算法 dpPick 动态调整探测顺序,并在 TPC-DS 数据集上验证其处理效率显著优于对比方法。
2024-11-24 cs.DB cs.DC
Differentially Private Stream Processing at Scale
该研究提出首个大规模差分隐私流聚合系统DP-SQLP,在算法与系统层面实现创新,经实验误差较基准降低至少16倍,已应用于Google Shopping与Google Trends。
2024-07-12 cs.CR cs.DB
Differentially Private Streaming Data Release under Temporal Correlations via Post-processing
本文提出一种后处理框架,通过将差分隐私数据发布建模为最大后验估计并转化为非线性约束规划,显著提升了时间相关性下差分隐私流数据的效用和准确性。
2023-06-26 cs.CR cs.DB
Can Large Language Models Reason about Event-Time Stream-Processing Semantics?
Northeastern University(东北大学)
该研究构建了StreamReason-Bench基准测试,发现LLM在事件时间流处理语义推理任务上表现不佳,思维链可提升其性能,难点在于事件时间与延迟数据处理。
2026-08-17 cs.AI cs.DB
BlobShuffle: Cost-Effective Repartitioning in Stream Processing Systems via Object Storage Exemplified with Kafka Streams
Dynatrace Research(Dynatrace 研究)
提出BlobShuffle方法,利用云对象存储作为中间交换层,通过批量存储和紧凑通知机制降低流处理系统中跨可用区数据重排的网络成本,实验表明相比原生Kafka Streams可减少40倍以上成本且延迟低于2秒。
2026-06-02 cs.DB cs.DC cs.PF
Parallel Stream Processing Against Workload Skewness and Variance
基于键的工作负载分区是并行流处理引擎中使用的常见策略,其实现逻辑运算符中的工作线程上的有效键-值元组分布。虽然当键通常遵循静态分布时,对键的随机化散列能够平衡基于键的分区的工作负载,但是当传入数据流上发生工作负载变化时,它可能会生成较差的平衡性能。本文提出了一种新的基于键的工作负载划分框架,并给出了支持有状态操作员动态工作负载分配的实用算法。该框架结合了基于散列和显式基于键的路由策略来进行工作负载分配,该策略为少数键指定目标工作线程,并为其他键分配散列函数。当传入数据流发生短期分布波动时,系统自适应地更新包含所选键的路由表,以便在有状态操作符内以最小的迁移开销重新平衡工作负载。我们制定的再平衡操作作为一个优化问题,具有多个目标,最大限度地减少状态迁移成本,控制路由表的大小,打破工作线程之间的工作负载不平衡。尽管NP-硬度的性质背后的优化配方,我们仔细研究和证明背后的关键(重新)路由和状态迁移的算法,以促进快速响应的工作量变化与可分配的成本在分布式系统中的正常处理。对合成数据和真实世界流应用的实证研究验证了我们的建议的有用性,并证明了我们的方法在文献中的最先进的解决方案的巨大优势。
2016-12-13 cs.DB cs.DC
Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning
对分布式系统进行微调被认为是一项工艺,依赖于直觉和经验。当系统需要近乎实时的地做出反应时,这变得更具挑战性,因为流媒体引擎必须保持预先商定的服务质量指标。在本文中,我们提出了一种自动化方法,该方法基于监督和强化学习方法的组合,以根据先前的负载推荐最合适的杠杆配置。有了这个,流媒体引擎可以自动调整,而不需要人类来确定正确的方式和适当的时间来部署它们。这为今天尚未应用的新配置打开了大门,因为管理这些系统的复杂性已经超过了人类专家的能力。我们展示了强化学习系统如何在比人类更短的时间内找到更好的配置,并适应不断变化的工作负载。
2018-09-14 cs.DB cs.DC cs.LG
Data Stream Clustering: A Review
Middle East Technical University(中东技术大学)
连接设备的数量正在稳步增加,这些设备不断生成数据流。尽管面临许多挑战,但数据流的实时处理引起了人们的兴趣。聚类是最适合实时数据流处理的方法之一,因为它可以应用于较少的先验信息的数据,它不需要标记的实例。然而,数据流聚类在许多方面不同于传统的聚类,它有几个具有挑战性的问题。在这里,我们提供有关数据流的概念和共同特征的信息,如概念漂移,数据流的数据结构,时间窗口模型和离群值检测。本文对近年来的数据流聚类算法进行了综述,并从基本聚类技术、计算复杂性和聚类精度三个方面对它们进行了分析。这些算法的比较,以及仍然开放的问题。我们指出流行的数据流存储库和数据集,流处理工具和平台。最后讨论了数据流聚类中存在的问题。
2020-07-16 cs.AI cs.DB cs.LG
VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
National University of Ireland Galway(爱尔兰国立高威大学)
视频数据是高度表达性的,传统上机器很难解释。由于视频流的非结构化表示,从视频流中查询事件模式具有挑战性。诸如复杂事件处理(CEP)之类的中间件系统从数据流中挖掘模式,并及时向用户发送通知。当前CEP系统由于其非结构化数据模型和缺乏表达性查询语言而对查询视频流具有固有的限制。在这项工作中,我们专注于CEP框架,用户可以定义高层次的表达查询视频检测的时空事件模式的范围。在此背景下,我们提出:i)VidCEP,一种用于视频流的内存中、动态、近实时复杂事件匹配框架。该系统使用基于图形的事件表示的视频流,这使得能够使用级联的深度神经网络模型从视频中检测高级语义概念,ii)视频事件查询语言(VEQL),以表达CEP中的视频流的高级用户查询,iii)复杂的事件匹配器,以通过在视频数据上匹配表达性用户查询来检测时空视频事件模式。所提出的方法检测时空视频事件模式的F分数范围从0.66到0.89。VidCEP保持接近实时的性能,平均吞吐量为每秒70帧,5个并行视频,匹配延迟为亚秒级。
2020-07-15 cs.CV cs.DB cs.MM