Knowledge-infused and Consistent Complex Event Processing over Real-time and Persistent Streams
物联网（IoT）和网络物理系统（CPS）中的新兴应用对执行在线分析的大数据平台提出了新的挑战。来自物联网部署的无处不在的传感器能够高速生成数据流，其中包括来自各种领域的信息，并在磁盘上积累大量数据。复杂事件处理（CEP）是一种重要的实时的【形】计算范式，用于分析连续数据流。然而，CEP的现有工作在很大程度上仅限于关系查询处理，暴露了查询规范和执行的两个明显差距：（1）为关系查询模型注入更高级别的知识语义，以及（2）跨时间空间的无缝查询评估跨越过去、现在和未来的事件。这些允许对具有不同学科属性的数据流进行可访问的分析，并帮助跨越速度（实时的【形】）和容量（持久）维度。在本文中，我们介绍了一个知识注入CEP（X-CEP）框架，它提供了领域感知的知识查询结构以及时态运算符，允许端到端查询跨越实时的【形】和持久流。我们将此查询模型转换为在线和离线数据流上的高效查询执行，提出了几种优化方法，以减轻通过评估语义谓词和访问大容量历史数据流引入的开销。提出的X-CEP查询模型和执行方法在我们的原型语义CEP引擎，SCEPter中实现。我们验证我们的查询模型使用域感知CEP查询从现实世界的智能电网应用程序，并实验分析我们的优化执行这些查询的好处，使用事件流从校园微电网物联网部署。
2016-11-02 cs.DB
Chasing Streams with Existential Rules
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Technische Universität Dresden（德累斯顿工业大学）；Technische Universität Wien（维也纳工业大学）
我们研究了存在规则的推理，以执行数据流的查询回答。在静态数据库中，这个问题已经得到了广泛的研究，但它的扩展到快速变化的数据尚未被考虑。为了弥合这一差距，我们扩展了LARS，一个著名的基于规则的流推理框架，支持存在规则。为此，我们展示了如何将LARS与存在主义翻译成一组语义保持的存在主义规则。由于查询回答这样的规则是不可判定的一般情况下，我们描述了如何利用流的时间性质，并提出适当的概念，确保可判定性的非周期性。
2022-05-04 cs.AI cs.DB
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
Stream Reasoning in Temporal Datalog
University of Oxford（牛津大学）
近年来，人们对扩展传统流处理引擎的逻辑、基于规则的推理能力越来越感兴趣。这带来了重大的理论和实践挑战，因为规则可以导出新信息并将其传播到过去和未来的时间点;因此，流式查询答案可能依赖于尚未接收到的数据，以及在过去很久以前到达的数据。然而，流推理算法必须能够尽快地流出查询答案，并且只能在内存中保留有限数量的先前输入事实。在本文中，我们提出了新的推理问题，以应对这些挑战，并研究其计算性能的数据扩展的时间排序和后继函数（一个核心的基于规则的语言流推理应用程序）。
2018-11-15 cs.AI cs.DB
GraphQL Live Querying with DynamoDB
我们提出了一种在数据库级别实现GraphQL实时查询的方法。我们在Go中的DynamoDB模拟模拟了分布式键值存储，并实现了实时查询以暴露可能的陷阱。实现实时查询的两个关键组件是存储在实时查询中选择的字段，并确定在每次数据库写入中更新了哪些对象字段。对系统的stream（key，fields）请求包含要包括在实时查询流中的字段，并且在随后的put（key，object）操作中，数据库异步地确定哪些字段被更新，并且如果这些字段与stream（）请求重叠，则将新的查询视图推送到流。在讨论了我们的实现之后，我们探讨了使用实时查询的动机，例如简化软件通信，最大限度地减少数据传输，以及实现实时数据，并描述了使用GraphQL和实时查询构建软件的架构。
2020-08-01 cs.DB
Factor Windows: Cost-based Query Rewriting for Optimizing Correlated Window Aggregates
窗口聚集在流处理中是普遍存在的。在Azure流分析（ASA）中，由微软的Azure云托管的流处理服务，我们看到许多客户查询包含多个相关窗口上的聚合函数（例如MIN和MAX）（例如，长度为五分钟和十分钟的翻转窗口）。在本文中，我们提出了一个基于成本的优化框架，通过在多个窗口之间共享计算来优化此类查询。特别是，我们引入了因子窗口的概念，这是辅助窗口，不是在输入查询，但可能有助于降低整体计算成本，我们的成本为基础的优化器可以产生重写的查询计划，具有较低的成本比原来的查询计划，利用因子窗口。由于我们的优化技术是在查询（计划）重写的水平，他们可以实现任何流处理系统，支持声明性的，SQL类查询语言，而不改变底层的查询执行引擎。我们正式的共享计算问题，提出了详细的优化技术，并报告在合成和真实数据集的评估结果。我们的研究结果表明，与原始的查询计划相比，我们基于成本的优化器输出的重写计划可以产生更高的吞吐量（高达16.8倍）。
2022-03-08 cs.DB
Fast Data Management with Distributed Streaming SQL
为了在当今数据驱动的经济中保持竞争力，大大小小的企业都在转向流处理平台，以在数据到达时处理大容量、高速度和多样化的数据流（快速数据）。由当今流行的系统提供的低级编程模型缺乏对变化的响应：增强需要伴随着大量周转时间的代码变化。尽管分布式SQL查询引擎已经可用于大数据，但我们仍然缺乏对分布式流处理系统中基于SQL的流查询功能的支持。在本白皮书中，我们确定了一组要求，并提出了一个标准的基于SQL的流查询模型，用于管理所谓的快速数据。
2015-11-12 cs.DB
Sketch-based Querying of Distributed Sliding-Window Data Streams
虽然传统的数据管理系统专注于在集中式设置中评估静态数据集上的单个临时查询，但一些新兴的应用程序需要（可能是连续的）对广泛分布且不断更新的动态数据的查询的答案。此外，这样的查询答案通常需要对“陈旧”的数据打折，并且仅对最近数据到达的滑动窗口进行操作（例如，在过去24小时内发生的数据更新）。这样的分布式数据流应用要求新颖的算法解决方案，其既具有时间和空间效率（以管理高速数据流），又具有通信效率（以处理物理数据分发）。在本文中，我们考虑的问题，复杂的查询回答分布式，高维数据流的滑动窗口模型。我们介绍了一种新的草图技术（称为ECM草图），允许有效的汇总流数据在基于时间和基于计数的滑动窗口的概率精度保证。我们的草图结构使点以及内积查询，并可用于解决广泛的问题，如维护频率统计，找到重打击，计算分位数的滑动窗口模型。专注于分布式环境中，我们演示了如何ECM草图的个人，本地流可以组成生成一个（低错误）ECM草图摘要的顺序保持聚合的所有流，此外，我们展示了如何ECM草图可以利用连续监测滑动窗口查询分布式流。我们广泛的实验研究与两个现实生活中的数据集验证了我们的理论主张，并验证了我们的技术的有效性。据我们所知，我们是第一个工作，以解决高效，避免错误的复杂查询answ…[截断]。
2012-06-30 cs.DB
CheetahGIS: Architecting a Scalable and Efficient Streaming Spatial Query Processing System
Southern University of Science and Technology（南方科技大学）；Wuhan University（武汉大学）
针对现有系统处理大量移动对象和实时空间查询的局限性，本研究基于Apache Flink Stateful Functions构建CheetahGIS系统，通过模块化架构、优化方法和通用范式提升性能，并验证了其处理三种流查询的通用性。
2025-11-12 cs.DB cs.DC
Sequences, yet Functions: The Dual Nature of Data-Stream Processing
在过去的十年中，随着可用数据量的稳步增长，数据流处理的重要性不断提高。除了数据中心监控和点击分析等传统领域外，越来越多的支持网络的生产机器可以生成连续的数据流。由于其连续性，数据流上的查询可能更复杂，并且明显比数据库查询更难理解。由于用户必须考虑操作细节，维护和调试变得具有挑战性。当前的方法将数据流建模为序列，因为这是它们物理接收的方式。这些模型产生了一个以实现为中心的视角。我们探索一种替代的方式建模数据流的时间切片语义的重点。这种关注导致了一个基于函数的模型，它更适合于查询语义的推理。通过调整流处理中的相关概念的定义，我们的模型，我们说明了我们的方法的实用性。因此，我们将数据流和查询原语与函数式编程和数学中的概念联系起来。最值得注意的是，我们证明了数据流是单子，并展示了如何获得单子定义当前的数据流模型。我们提供了一个抽象的，但实际的角度对数据流相关的主题的基础上健全的，一致的查询模型。我们的工作可以作为未来的数据流查询语言的坚实基础。
2018-01-16 cs.DB
Schema-based Scheduling of Event Processors and Buffer Minimization for Queries on Structured Data Streams
我们介绍了一个扩展的XQuery语言，FluX，支持基于事件的查询处理和有意识的处理主内存缓冲区。这种语言的基于事件的查询可以以非常直接的方式在流XML数据上执行。然后，我们开发了一种算法，允许有效地重写Xcovery到基于事件的Flux语言。此算法使用来自DTD的顺序约束来调度事件处理程序，从而最小化计算查询所需的缓冲量。我们讨论了我们的框架内的查询优化和查询评估的各种技术方面。这是补充与我们的方法的实验评估。
2004-06-07 cs.DB
Capturing Data Uncertainty in High-Volume Stream Processing
我们提出了一个数据流系统的设计和开发，捕捉数据的不确定性，从数据汇集查询处理，最终结果生成。我们的系统专注于自然建模为连续随机变量的数据。对于这样的数据，我们的系统采用基于概率和统计理论的方法来捕获数据的不确定性，并将这种方法集成到大容量流处理中。我们的系统的第一个组成部分捕获来自传感设备的原始数据流的不确定性。由于这样的原始数据流可能是高噪声的，并且可能没有携带足够的信息用于查询处理，我们的系统采用数据生成过程的概率模型和流速度推断来将原始数据转换为具有不确定性度量的所需格式。第二个组件捕获数据通过查询操作符传播时的不确定性。为了有效地量化查询操作符的结果不确定性，我们探索了各种基于概率和统计理论的技术来以流速度计算结果分布。我们目前正在与一组科学家合作，使用从危险天气监测和对象跟踪和监测领域（最终在实际系统中）收集的痕迹来评估我们的系统。
2009-09-09 cs.DB
HIGGS: HIerarchy-Guided Graph Stream Summarization
针对图流摘要存储和查询的挑战，提出自底向上的层次结构HIGGS，通过局部化存储与查询处理限制哈希冲突，在准确性、空间开销和查询效率上显著优于现有方法。
2024-12-20 cs.DB
Process Faster, Pay Less: Functional Isolation for Stream Processing
EPFL（洛桑联邦理工学院）；TU Wien（维也纳工业大学）；Oracle（甲骨文公司）
FunShare通过动态分组查询提升资源效率，保持性能，减少基础设施成本。
2026-03-19 cs.DB
Predictive Price-Performance Optimization for Serverless Query Processing
Microsoft（微软）
我们提出了一个有效的，参数化的预测资源分配建模框架，专注于计算资源的数量，可以优化一系列的性价比目标的数据分析在无服务器查询处理设置。我们深入讨论和评估了我们的系统AutoExecutor如何使用此框架为Azure Synapse上运行的Spark SQL查询自动选择接近最佳的执行器和核心计数。我们的技术改进了Spark的内置，反应，动态执行器分配能力，通过大幅减少总执行器分配和执行器占用，同时运行查询，从而释放执行器，可能被其他并发查询使用或减少整体集群配置需求。与Sparklens等执行后分析工具相比，我们在执行查询之前预测查询的资源分配，并且还可以考虑输入数据大小的变化，以预测所需的分配。
2021-12-16 cs.DB cs.LG
Tight Lower Bounds for Query Processing on Streaming and External Memory Data
我们研究了一个用于外部存储和流处理的干净机器模型。我们表明，外部数据的扫描次数会导致严格的层次结构（只要工作空间足够小，例如，在输入的大小上的多对数）。我们还表明，无论是连接或排序是可行的，如果产品的数量$r(n)$扫描的外部存储器和大小$s(n)$的内部存储器缓冲区是足够小，例如，尺寸为$o(\sqrt[5]{n})$。我们还建立了严格的边界的复杂性的评价和过滤。
2005-04-29 cs.CC cs.DB
Incremental Techniques for Large-Scale Dynamic Query Processing
来自不同学科的许多应用程序现在都需要实时的分析快速发展的大数据。多年来，已经提出了用于增量式处理查询的各种方法。传统方法依赖于在流式传输更新时更新查询的结果，而不是重新计算这些查询，因此，期望更高的执行性能。然而，它们对于高频率更新的大型数据库表现不佳。因此，在文献中已经提出了新的算法和方法来解决这些挑战，例如，通过降低处理更新的复杂性。此外，这些算法中的许多现在都利用了分布式流媒体平台，如Spark Streaming和Flink。在本教程中，我们简要讨论增量查询处理的传统方法，然后概述由于处理大数据流而引入的新挑战。然后，我们详细讨论了最近提出的算法，解决这些挑战。我们强调的特点和算法分析的各种建议的方法，并讨论未来的研究方向。
2019-02-01 cs.DB
Accelerating Aggregation Queries on Unstructured Streams of Data
本文提出 InQuest 系统，通过低成本代理模型、采样和有限高精度预言机调用，在多模态非结构化数据流上实时估计聚合查询，并提供误差收敛保证与显著性能提升。
2023-08-17 cs.DB
The Window Validity Problem in Rule-Based Stream Reasoning
University of Oxford（牛津大学）
基于规则的时态查询语言提供了以自然的方式捕获流数据上的复杂分析任务所需的表达能力和灵活性。然而，流处理应用程序通常需要使用有限资源的近实时响应。特别是，重要的是，基础查询语言具有有利的计算特性，并且流处理算法能够在任何时间点在存储器中仅保留少量先前接收的事实而不牺牲正确性。在本文中，我们提出了一个递归的时间数据的片段与易处理的数据复杂性和研究的属性，通用流推理算法的这一片段。我们专注于窗口有效性问题，以尽量减少流推理算法需要在任何时间点将数据保存在内存中的时间点的数量。
2018-11-15 cs.AI cs.DB cs.LO
Distributed Publish/Subscribe Query Processing on the Spatio-Textual Data Stream
包含空间和文本信息的大量数据，例如，带有地理标签的推特在网上泛滥这样的空间文本数据流包含有价值的信息，为数以百万计的用户与不同的关键字和位置的各种利益。发布/订阅系统通过允许用户注册具有空间和文本约束的连续查询来实现高效和有效的信息分发。然而，数据规模和用户群的爆炸性增长对现有的集中式空间文本数据流发布/订阅系统提出了挑战。在本文中，我们提出了我们的分布式发布/订阅系统，称为PS2 Stream，它提供了一个巨大的空间文本数据流，并将流定向到目标用户注册的兴趣。与现有系统相比，PS2 Stream在最小化工作负载总量和平衡工作人员负载方面实现了更好的工作负载分配。为了实现这一点，我们提出了一个新的工作量分配算法，同时考虑空间和文本属性的数据。此外，PS2 Stream支持动态负载调整，以适应工作负载的变化，这使得PS2 Stream自适应。在商业云计算平台上，通过大量的实际数据进行了实证评估，验证了系统设计的优越性和技术在系统性能提升方面的优势。
2017-08-23 cs.DB
Distributed Inference and Query Processing for RFID Tracking and Monitoring
在本文中，我们提出了一个可扩展的，分布式流处理系统的RFID跟踪和监控的设计。由于RFID数据缺乏包容性和位置信息，这是关键的查询处理，我们建议在一个单一的体系结构，推理作为一种使能机制，高层次的查询处理流查询处理的位置和包容推理相结合。我们进一步考虑在大型分布式环境中实例化这样一个系统的挑战，以及分布式推理和查询处理的设计技术。我们的实验结果，使用真实世界的数据和大型合成的痕迹，证明了我们提出的技术的准确性，效率和可扩展性。
2011-03-22 cs.DB
Semantic and Influence aware k-Representative Queries over Social Streams
社交平台上不断产生的海量数据，成为用户重要的信息源。从社会流中获取新鲜和有价值的信息的主要方法是\emph{social search}。虽然社会化搜索已经有了广泛的研究，但现有的方法只关注查询结果的\emph{relevance}，而忽略了\emph{representativeness}。在本文中，我们提出了一种新的语义和影响意识的$k$ -代表（$k$ -SIR）查询的社会流的基础上的主题建模。具体来说，我们认为用户查询和元素都表示为主题空间中的向量。$k$ -SIR查询检索在查询时间w.r. t在滑动窗口上具有最大值\emph{representativeness}的$k$元素的集合。查询向量。元素集的代表性包括由主题模型计算的语义和影响力分数。随后，我们设计了两个近似算法，即\textsc{Multi-Topic ThresholdStream}（MTTS）和\textsc{Multi-Topic ThresholdDescend}（MTTD），实时处理$k$ -SIR查询。这两种算法都利用了在每个主题上维护的排名列表，用于具有理论保证的$k$ -SIR处理。在真实数据集上的大量实验证明了$k$ -SIR查询与现有方法相比的有效性以及我们提出的$k$ -SIR处理算法的效率和可扩展性。
2019-01-29 cs.DB cs.SI
Scheduling of Intermittent Query Processing
针对流处理中带截止时间约束的查询效率低下问题，提出利用更宽窗口的间歇式批处理调度方案，并在 Apache Spark 上实现，性能较 Spark streaming 提升数个数量级。
2024-09-20 cs.DB
Enabling Incremental Query Re-Optimization
随着声明式查询处理技术的范围扩展到Web、数据流、网络路由器和云平台，人们越来越需要自适应查询处理技术，这些技术可以在出现故障或意外性能变化时重新规划。数据分布或计算节点上的状态更新可能会对应该运行哪个查询计划的选择产生重大影响。理想情况下，新的系统架构将能够基于成本做出关于重新分配工作、迁移数据等的决策，并在实时状态信息可用时快速做出反应。现有的基于成本的查询优化器本质上不是增量的，并且必须在每次状态或成本更新时“从头开始”运行。因此，它们通常导致只能缓慢地对更新做出反应的自适应方案。一个悬而未决的问题是，是否有可能在流式或重复查询执行环境中构建用于自适应查询处理的基于成本的重新优化架构，例如，通过在给定新成本信息的情况下递增地更新优化器状态。我们表明，这可以实现有益的，特别是流处理工作负载。我们的技术建立在最近提出的方法，制定查询计划枚举作为一组递归的数据库查询，我们开发了各种新的优化方法，以确保有效的修剪在静态和增量的情况下。我们实现我们的解决方案在现有的研究查询处理系统，并表明，它有效地支持基于成本的初始优化以及频繁的自适应性。
2014-09-22 cs.DB
FluxSieve: Unifying Streaming and Analytical Data Planes for Scalable Cloud Observability
Dynatrace Research（Dynatrace 研究）
FluxSieve通过统一流式与分析数据平面，实现高并发下查询性能的显著提升，同时保持低存储和计算开销。
2026-03-05 cs.DB cs.DC cs.PF
Probabilistic Top-k Dominating Query Monitoring over Multiple Uncertain IoT Data Streams in Edge Computing Environments
National Chiao Tung University（国立交通大学）；Compal Electronics, Inc.（广达电脑股份有限公司）；National Taipei University of Technology（台北科技大学）
本文提出了一种基于边缘计算环境的多不确定物联网数据流概率性Top-k支配查询方法，通过并行计算提高效率并减少通信成本，提升查询精度。
2019-06-01 cs.DB cs.DC
RMLStreamer-SISO: an RDF stream generator from streaming heterogeneous data
流推理查询语言（如CQELS和C-SPARQL）支持RDF流上的查询应答。不幸的是，目前缺乏有效的RDF流生成器来为RDF流推理器提供支持。最先进的RDF流生成器在它们可以处理的流数据的速度和量方面受到限制。为了以可伸缩的方式高效地生成RDF流，我们扩展了RMLStreamer，使其也可以从动态异构数据流生成RDF流。本文介绍了一种可扩展的解决方案，它依赖于一个动态窗口的方法来生成RDF流，具有低延迟和高吞吐量的多个异构数据流。我们的评估表明，我们的解决方案通过实现毫秒级延迟（与最先进的解决方案所需的秒相比）、所有工作负载的恒定内存使用以及约70，000条记录/秒的可持续吞吐量（与最先进的解决方案所需的10，000条记录/秒相比）来超越最先进的解决方案。这打开了对大量数据流的访问，以便与语义Web集成。
2022-10-26 cs.DB
SAQL: A Stream-based Query System for Real-Time Abnormal System Behavior Detection
最近，高级网络攻击包括一系列涉及许多漏洞和主机的步骤，危及许多受到良好保护的企业的安全。这导致了将每个主机（大数据）中的系统活动作为一系列事件无处不在地监视，并搜索异常（异常行为）以分类风险事件的解决方案。由于对抗这些攻击是一项时间紧迫的任务，以防止进一步的损害，这些解决方案面临的挑战是结合专业知识，对大规模来源数据进行及时的异常检测。为了解决这些挑战，我们提出了一种新的基于流的查询系统，作为输入，一个实时的【形】事件提要聚合从多个主机在企业，并提供了一个异常查询引擎，查询事件提要，以确定异常行为的基础上指定的异常。为了便于基于专家知识表达异常的任务，我们的系统提供了一个特定于域的查询语言，SAQL，它允许分析师表示模型（1）基于规则的异常，（2）时间序列异常，（3）基于不变量的异常，（4）基于异常。我们在NEC Labs America部署了由150台主机组成的系统，并使用1.1TB的真实系统监控数据（包含33亿个事件）对其进行了评估。我们对一系列攻击行为和微基准测试的评估表明，我们的系统具有低检测延迟（<2 s）和高系统吞吐量（110，000事件/s;支持~4000台主机），并且在内存利用率方面比现有的基于流的复杂事件处理系统更有效。
2018-06-25 cs.CR cs.DB
PRSP: A Plugin-based Framework for RDF Stream Processing
在本文中，我们提出了一个基于插件的框架RDF流处理命名PRSP。在这个框架内，我们可以使用SPARQL查询引擎来处理C-SPARQL查询，并以简单的方式保持这些引擎的高性能。利用PRSP，我们可以通过分布式SPARQL引擎在分布式上下文中处理大规模RDF流。此外，我们可以统一评估现有SPARQL查询引擎在处理RDF流时的性能和正确性，这修正了从静态RDF（即，RDF图）到动态RDF（即，RDF流）。最后，在PRSP中，我们在YABench上进行了实验性的正确性和性能评估。实验结果表明，PRSP引擎在处理RDF流时，虽然与其他引擎略有不同，但仍能保持较高的性能。
2017-01-14 cs.DB
Predictive Query-based Pipeline for Graph Data
针对图处理海量数据计算成本高的问题，研究提出可存储嵌入为节点属性的图嵌入应用方案，支持动态更新与多方法对比，助力提取节点关系与相似性的洞见。
2024-12-13 cs.DB cs.LG
SWARM: Adaptive Load Balancing in Distributed Streaming Systems for Big Spatial Data
支持GPS的设备的激增导致了许多基于位置的服务的发展。这些服务需要实时处理大量的空间数据。目前的空间数据规模无法使用集中式系统处理。这导致了分布式空间流系统的发展。现有系统使用静态空间分区来分配工作负载。相比之下，实时流式传输的空间数据遵循随时间连续变化的非均匀空间分布。分布式空间流系统需要对空间数据和查询的分布变化做出反应。本文介绍了SWARM，一个轻量级的自适应协议，连续监测的数据和查询工作负载跨分布式进程的空间数据流系统，并重新分配和重新平衡的工作负载的性能瓶颈得到检测。SWARM能够处理多个查询执行和数据持久化模型。分布式流系统可以直接使用SWARM来自适应地在其机器之间重新平衡系统的工作负载，而对底层空间应用程序的原始代码的更改最小。使用真实和合成数据集进行的广泛实验评估表明，平均而言，SWARM比静态网格分区实现了200%的改进，静态网格分区是根据观察数据和查询工作负载的有限历史来确定的。此外，与其他技术相比，SWARM平均减少了4倍的执行延迟。
2020-02-27 cs.DB
Continuous Query for Top-$K$ Maximal Sum Intervals over Streaming Data
Beijing Institute of Technology（北京理工大学）；Northeastern University（东北大学）；Singapore Management University（新加坡管理大学）；Shenyang Aerospace University（沈阳航空航天大学）
针对流数据上连续查询Top-$K$最大和区间的问题，提出基于分区的策略，通过特定分区方案确保最大和区间在单个分区内，实现独立并行处理，开发相关算法，经实验验证显著提升了效率。
2026-07-14 cs.DB
VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
National University of Ireland Galway（爱尔兰国立高威大学）
视频数据是高度表达性的，传统上机器很难解释。由于视频流的非结构化表示，从视频流中查询事件模式具有挑战性。诸如复杂事件处理（CEP）之类的中间件系统从数据流中挖掘模式，并及时向用户发送通知。当前CEP系统由于其非结构化数据模型和缺乏表达性查询语言而对查询视频流具有固有的限制。在这项工作中，我们专注于CEP框架，用户可以定义高层次的表达查询视频检测的时空事件模式的范围。在此背景下，我们提出：i）VidCEP，一种用于视频流的内存中、动态、近实时复杂事件匹配框架。该系统使用基于图形的事件表示的视频流，这使得能够使用级联的深度神经网络模型从视频中检测高级语义概念，ii）视频事件查询语言（VEQL），以表达CEP中的视频流的高级用户查询，iii）复杂的事件匹配器，以通过在视频数据上匹配表达性用户查询来检测时空视频事件模式。所提出的方法检测时空视频事件模式的F分数范围从0.66到0.89。VidCEP保持接近实时的性能，平均吞吐量为每秒70帧，5个并行视频，匹配延迟为亚秒级。
2020-07-15 cs.CV cs.DB cs.MM
Towards a Multimodal Stream Processing System
TU Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）；INSA Lyon（里昂国立应用科学学院）
本文提出将MLLMs作为一等运算符嵌入的新一代多模态流处理系统愿景，通过逻辑、物理和语义层面的优化减少模型负载并提升吞吐量，原型Samsara性能提升超一个数量级，还给出相关研究路线图。
2025-11-11 cs.DB
Elastic Scheduling of Intermittent Query Processing in a Cluster Environment
U R Rao Satellite Centre, ISRO（乌尔·拉卫星中心，印度空间研究组织）；IIT Bombay（孟买印度理工学院）
本文提出了一种在弹性并行环境中处理元组批处理的调度方案，以满足截止时间并最小化成本，同时处理多个并发查询、新查询的到来和输入速率变化。
2026-07-21 cs.DB
Inter-Operator Feedback in Data Stream Management Systems via Punctuation
大容量、高速的数据流可能会压倒流处理系统的能力;数据优先级排序、避免不必要的处理和按需结果生成等技术可能是降低处理要求所必需的。然而，数据流在速率和内容方面的动态性质使得这些技术的应用具有挑战性。这样的技术已经在静态和集中式查询优化的上下文中被解决;然而，它们还没有被完全解决用于数据流管理系统。在这项工作中，我们提出了一个全面的框架，支持优先级，避免不必要的工作，并按需结果生产的分布式，不可靠的，突发的，无序的数据源，典型的许多数据流。我们提出了一种形式的运营商间的反馈，它的流动对流的方向，沟通所需的信息，使这些技术的执行。该反馈利用标点来描述感兴趣的子集。我们确定反馈信息的潜在来源，表征新类型的标点符号，以支持反馈，并描述查询操作员可能实现的反馈的生产者，开发者和中继器的角色。我们提出了使用NiagaraST数据流系统的初步实验观察。
2009-09-10 cs.DB
Earliest query answering over streamed trees
Technical University of Munich（慕尼黑工业大学）；Univ. Artois, CNRS, UMR 8188, Centre de Recherche en Informatique de Lens (CRIL)（阿图瓦大学，法国国家科学研究中心，联合研究实验室8188，伦斯信息中心）；University of Warsaw（华沙大学）；CRIStAL, Université de Lille, INRIA（CRIStAL实验室，里尔大学，法国国家数字科学与创新研究所）
针对大规模流式JSON/XML文档，提出基于单子二阶逻辑(MSO)的一元查询最早回答方法，实现常数时间更新和低延迟、低内存占用。
2026-06-05 cs.DB cs.DS cs.FL
Consistent Streaming Through Time: A Vision for Event Stream Processing
事件处理将在构建能够立即对业务关键事件做出反应的企业应用程序方面发挥越来越重要的作用。近年来已经提出了各种技术，例如事件处理、数据流和异步消息传递（例如，发布/订阅）。我们相信这些技术共享一个共同的处理模型，不同之处仅在于目标工作负载，包括查询语言特性和一致性要求。我们认为，整合这些技术是自然发展的下一步。在本文中，我们提出了一个概述和讨论的基础CEDR，事件流系统，包括一个时间流模型，统一和进一步丰富查询语言功能，处理不完善的事件交付和定义正确性保证。我们描述了具体的贡献，到目前为止，并概述了在开发CEDR系统的下一步。
2006-12-21 cs.DB
Accelerating Machine Learning Queries with Linear Algebra Query Processing
针对数据处理与 ML 预测分离导致的冗余和优化受限问题，提出基于 GPU 线性代数求值的算子融合方法，最高实现 317 倍加速。
2024-01-24 cs.DB cs.PF
Diba: A Re-configurable Stream Processor
针对硬件流处理研发成本高、上市周期长的问题，提出可重构流处理器Diba，采用单向数据流和分离式通用接口设计以简化查询映射，在TPC-H基准测试中验证了其处理不同规模数据流的有效性。
2024-08-27 cs.AR cs.DB
LiveVectorLake: A Real-Time Versioned Knowledge Base Architecture for Streaming Vector Updates and Temporal Retrieval
School of Artificial Intelligence \& Data Science Indian Institute of Technology Jodhpur Jodhpur, India
LiveVectorLake提出一种双层时间知识库架构，实现实时语义搜索与版本历史管理，优化查询性能、更新效率和合规性。
2025-11-24 cs.AI cs.DB cs.IR
Skyline Queries Over Incomplete Data Streams (Technical Report)
在实际应用中，由于传感器设备的故障或数据汇集技术的不完善，真实世界的流数据往往包含缺失或不完整的数据属性.在本文中，我们将形式化和解决一个新的和重要的问题，命名为天际线查询不完整的数据流（Sky-iDS），检索天际线对象（在缺失属性的存在下）具有高置信度的不完整的数据流。为了解决Sky-iDS问题，我们将设计有效的方法，通过差分依赖（DD）规则，从不完整的数据流中估算对象的缺失属性。我们将提出有效的修剪策略，以减少搜索空间的Sky-iDS问题，设计成本模型为基础的索引结构，以方便数据填补和skyline计算在同一时间，并集成我们提出的技术到一个高效的Sky-iDS查询应答算法。已经进行了大量的实验，以确认我们的Sky-iDS处理方法在真实和合成数据集的效率和有效性。
2019-09-26 cs.DB
LSketch: A Label-Enabled Graph Stream Sketch Toward Time-Sensitive Queries
针对图流高效存储与查询挑战，提出LSketch，通过保留标签信息并引入滑动窗口模型，以次线性空间高精度支持结构与时间敏感查询，在四个真实数据集上验证了其优越性。
2023-04-06 cs.DB cs.DS
Probabilistic Skyline Query Processing over Uncertain Data Streams in Edge Computing Environments
随着技术的进步，我们生活中产生的数据越来越快，各种应用需要处理的数据量变得极其巨大。因此，我们需要投入更多的精力来分析数据并提取有价值的信息。云计算曾经是解决大量数据分析问题的好技术。然而，在物联网（IoT）普及的时代，将传感数据传回云端进行集中数据分析将消耗大量的无线通信和网络传输成本。为了解决上述问题，边缘计算已经成为一种很有前途的解决方案。在本文中，我们提出了一个新的算法，在边缘计算环境中处理不确定数据流上的概率skyline查询。我们使用第二个天际线集的概念来过滤不太可能是天际线结果的数据。此外，边缘服务器只发送更新云服务器上的全局分析结果所需的信息，这将大大减少通过网络传输的数据量。实验结果表明，该方法在二维数据上的响应时间比暴力方法减少了50%以上，在高维数据上的处理速度也保持了领先水平.
2020-09-15 cs.DB cs.DC cs.DS
Complex event recognition under time constraints: towards a formal framework for efficient query evaluation
本文研究时间约束下的复杂事件识别，提出带时间CEL逻辑和带时间CEA自动机模型，证明其表达能力等价，并给出具有常数更新时间和输出线性延迟的流式评估算法。
2025-04-01 cs.DB cs.FL cs.LO
Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources
Apache Calcite是一个基础软件框架，为许多流行的开源源数据处理系统（如Apache Hive、Apache Storm、Apache Flink、Druid和MapD）提供查询处理、优化和查询语言支持。Calcite的体系结构包括一个模块化和可扩展的查询优化器，具有数百个内置优化规则，一个能够处理各种查询语言的查询处理器，一个为可扩展性设计的适配器体系结构，以及对异构数据模型和存储（关系，半结构化，流和地理空间）的支持。这种灵活、可嵌入和可扩展的架构使Calcite成为大数据框架中具有吸引力的选择。它是一个活跃的项目，继续引入对新型数据源、查询语言以及查询处理和优化方法的支持。
2018-02-28 cs.DB
A Minimal Variance Estimator for the Cardinality of Big Data Set Intersection
近年来，人们对开发用于连续数据流的高效处理和查询的“流算法”越来越感兴趣。这些算法寻求提供准确的结果，同时最大限度地减少所需的存储和处理时间，在其输出中的一个小的不准确性的代价。感兴趣的基本查询是两个大数据流的交集大小。这个问题出现在许多不同的应用领域，如网络监控，数据库系统，数据集成和信息检索。在本文中，我们开发了一个新的算法，这个问题的基础上，最大似然法（ML）。我们表明，该算法优于所有已知的计划，它渐近达到最佳的方差。
2016-06-03 cs.DB cs.DS
Large-scale continuous subgraph queries on streams
图模式匹配涉及在更大的图中为查询子图找到精确或近似匹配。它已被广泛研究，并在计算机视觉，计算生物学，社交网络，安全和金融等领域有很强的应用。图的精确模式匹配问题通常用子图同构来描述，而子图同构是NP完全的。来自在线社交网络、新闻和视频流的流数据呈指数级增长，以及对态势感知的持续需求，激发了一种用于发现流更新模式的解决方案。这也是实时分析市场的主要驱动力。在不断演化的图上，针对流输入的图模式匹配的增量算法的开发是一个新兴的研究领域。与此问题相关的一些挑战与在流数据库上的连续查询（CQ）评估中发现的相同。本文回顾了CQ系统的详尽研究领域的一些代表性工作，并确定了重要的语义，约束和架构功能，也适合HPC系统执行实时图形分析。对于这些功能中的每一个，我们提出了一个简短的讨论，在数据库领域遇到的挑战，解决方案的方法，并说明其相关性在一个高性能，流图处理框架。
2012-07-31 cs.DB cs.DC
PDSP-Bench: A Benchmarking System for Parallel and Distributed Stream Processing
本文提出PDSP-Bench基准测试系统，针对分布式异构环境中的并行流处理性能，支持集成机器学习模型，通过对Apache Flink的测试及成本模型比较，揭示并行性对性能的非线性等趋势。
2025-04-14 cs.DB cs.DC
