On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的，然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流，分布式流处理系统，解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有一定的界限。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明，AF流保留高算法特定的流算法的准确性，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下都能保持较高的性能（与无容错相比）和多次故障后的高准确率（与无故障相比）。
2019-08-12 cs.DC
Better Write Amplification for Streaming Data Processing
本文介绍 YT 系统中用于流式 MapReduce 的新组件，借助核心 YT 机制在应对落后节点与故障的同时实现容错、exactly-once 语义及低写放大。
2023-06-05 cs.DC
PyParSVD: A streaming, distributed and randomized singular-value-decomposition library
我们介绍PyParSVD \footnote{https://github.com/Romit-Maulik/PyParSVD}，一个Python库，实现了一个流，分布式和随机算法的奇异值分解。为了证明其有效性，我们从科学数据中提取相干结构。此外，我们显示弱缩放评估高达256个节点的西塔机在阿贡领导计算设施，展示了潜在的大规模数据分析的实际数据集。
2021-08-19 cs.DC cs.MS physics.ao-ph
SDT-GNN: Streaming-based Distributed Training Framework for Graph Neural Networks
Texas State University（德克萨斯州立大学）；Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；SK hynix America（SK hynix美国分公司）；NVIDIA（英伟达公司）
SDT-GNN提出了一种基于流的分布式图神经网络训练框架，通过流式边输入减少内存需求，并引入SPRING算法提升划分质量，实验证明其在内存占用和性能上的优势。
2025-12-08 cs.DC cs.LG
Pilot-Streaming: A Stream Processing Framework for High-Performance Computing
越来越多的科学应用依赖于流处理，以便从科学仪器、模拟和物联网（IoT）传感器的数据源中及时生成见解。流媒体应用的开发是一项复杂的任务，需要集成异构的分布式基础设施、框架、中间件和应用组件。不同的应用程序组件通常使用不同的抽象和框架以不同的语言编写。通常，需要额外的组件，例如消息代理（例如Kafka），以解耦数据生产和消费，并避免诸如背压等问题。由于诸如由数据源引起的可变数据率、自适应采样技术或网络带宽、由不同机器学习算法的使用引起的可变处理负载之类的因素，流应用可能是极其动态的。因此，能够响应这些因素之一的变化的应用程序级资源管理至关重要。我们提出试点流，一个框架，支持流框架，应用程序和他们的资源管理需求的HPC基础设施。Pilot-Streaming基于Pilot-Job概念，使开发人员能够管理复杂流应用程序的分布式计算和数据资源。它使应用程序能够通过在运行时添加/删除资源来动态响应资源需求。这种能力对于平衡复杂的流管道至关重要。为了解决开发和表征流应用的复杂性，我们提出了流迷你应用框架，其支持用于数据生成和处理的不同可插入算法，例如，用于使用不同的技术重建光源图像。我们利用迷你应用程序框架进行试点流的评估。
2018-11-11 cs.DC
Toward Accessible and Safe Live Streaming Using Distributed Content Filtering with MoQ
Baylor University（贝勒大学）
本文扩展 Media over QUIC Transport 协议，通过分布式实时内容分析仅过滤违规视频片段，在低延迟下支持安全可访问的一对多直播。
2025-05-13 cs.CV cs.DC cs.MM
CUTTANA: Scalable Graph Partitioning for Faster Distributed Graph Databases and Analytics
针对大规模图无法单存、现有流式划分质量低的问题，提出带缓冲、粗化细化技术的CUTTANA流式划分器，在保证延迟相当的同时提升划分质量，优化图分析与数据库性能。
2024-12-10 cs.DB cs.DC
D3-GNN: Dynamic Distributed Dataflow for Streaming Graph Neural Networks
University of Warwick（华威大学）；Fujitsu Research of Europe（富士通欧洲研究院）；Amazon Web Services（亚马逊网络服务）
针对流式图神经网络的算法与系统挑战，提出分布式混合并行系统D3-GNN，通过流式聚合器、分布式计算图及层间层内加窗方案处理更新，相较DGL吞吐量提升约76倍。
2024-09-10 cs.AI cs.DC cs.LG
Communication-Efficient and Exact Clustering Distributed Streaming Data
一个广泛使用的方法来聚类一个单一的数据流是两个阶段的方法，其中在线阶段创建和维护微集群，而离线阶段从微集群生成宏集群。我们使用这种方法，提出了一个分布式框架聚类流数据。我们提出的框架由基本过程组成：一个协调器-站点过程和许多远程站点过程。远程站点进程可以直接与协调器进程通信，但不能与其他远程站点进程通信。每个远程站点进程从其本地数据流中生成并维护表示簇信息摘要的微簇。远程站点通过串行化技术将本地微聚类发送给协调器，或者协调器调用远程方法从远程站点获取本地微聚类。协调器接收到来自远程站点的所有局部微聚类后，通过宏聚类方法生成全局聚类。我们的理论和实证结果表明，我们的分布式框架产生的全局聚类是类似的底层集中式算法在同一数据集上产生的聚类。通过使用局部微聚类方法，我们的框架实现了高可扩展性和通信效率。
2012-09-19 cs.DB cs.DC
Railgun: streaming windows for mission critical systems
一些关键任务系统（如欺诈检测）需要在要求高吞吐量和低延迟的应用程序上的长时间窗口内提供准确的实时指标。由于这些应用程序需要“永远”运行，应对大量和尖峰数据负载，因此它们还需要在分布式环境中运行。毫不奇怪，我们不知道任何分布式流媒体系统提供所有这些属性。相反，现有的系统进行了大量的简化，例如将滑动窗口实现为一组固定的部分重叠窗口，从而危及度量准确性（违反金融监管规则）或延迟（违反服务协议）。在本文中，我们提出了Railgun，一个容错的，弹性的，分布式的流媒体系统，支持实时滑动窗口的情况下，需要高负载和毫秒级的延迟。我们使用真实数据对Railgun的初始原型进行了基准测试，显示出比Flink显著更低的延迟，以及与窗口大小无关的低内存使用。
2020-11-10 cs.DB cs.DC
A Distributed, Decoupled System for Losslessly Streaming Dynamic Light Probes to Thin Clients
我们提出了一个网络化的，高性能的图形系统，结合了动态的，高质量的，光线跟踪全局光照计算的服务器上的直接照明和主要的可见性计算的客户端。这种方法在低功耗和传统硬件上提供了实时光线追踪的许多图像质量优势，同时保持了低延迟响应和移动形状因子。我们的系统通过在远程机器上计算漫射全局光照来将图形管道分布在网络上。全局光照的计算使用最近的辐照体积表示与一种新颖的，无损的，基于HEVC的，硬件加速的编码，和感知动机的更新方案相结合。我们的实验实现每秒传输数千个辐照探针，需要不到50 Mbps的吞吐量，与传统的无损纹理压缩相比，以60 Hz的频率传输时，所消耗的带宽减少了99.4%。与通过视频流进行的最先进的远程渲染相比，这种带宽降低可以实现更高质量和更低延迟的图形。此外，我们的分割渲染解决方案将远程计算与本地渲染相结合，因此不会限制本地显示更新速率或分辨率。
2021-03-10 cs.DC cs.GR
ESTemd: A Distributed Processing Framework for Environmental Monitoring based on Apache Kafka Streaming Engine
Central University of Technology（中央理工大学）
分布式网络和实时系统正在成为新计算机时代物联网（IoT）最重要的组成部分，其中包括从传感器生成的巨大数据流或数据集以及从现有遗留系统生成的数据。生成的数据提供了测量，推断和理解环境指标的能力，从脆弱的生态和自然资源到城市环境。这可以通过分析异构数据源（结构化和非结构化）来实现。在本文中，我们提出了一个分布式框架环境监测领域的事件流处理引擎（ESTemd）的异构环境数据流处理的应用。我们在这一领域的工作表明，大数据技术可以在环境决策支持系统、预警和预报系统中发挥有益的作用。提出的框架解决了异构系统的数据异构性和实时的处理巨大的环境数据集的挑战，通过发布/订阅方法，通过一个统一的数据管道与Apache Kafka的应用程序的实时的形状分析。
2021-04-02 cs.AI cs.DC
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
Adaptive Normalization in Streaming Data
在当今的数字时代，数据无处不在，从物联网到医疗保健或金融应用。这导致了潜在的无限增长的大数据流，需要有效地利用它。数据规范化是数据分析的重要预处理技术。它有助于防止错误建模并降低数据中固有的复杂性，特别是对于从多个源和上下文集成的数据。大数据流的规范化是具有挑战性的，因为不断发展的不一致性，时间和内存的限制，以及整个数据的不可用事先。提出了一种分布式的大数据流自适应规范化方法。使用固定大小的滑动窗口，它提供了一种简单的机制来调整统计数据，以规范每个窗口中的变化数据。实现Apache风暴，一个分布式实时流数据框架，我们的方法利用分布式数据处理高效规范化。与针对特定用途（例如，分类），我们没有。此外，我们的自适应机制允许灵活的控制，通过用户指定的阈值，时间和精度之间的归一化权衡。本文阐述了我们提出的方法以及其他一些技术和实验的合成和真实世界的数据。从我们提出的方法中获得的归一化数据，在160，000个数据流实例上，与实际数据相比，基线提高了89%，均方根误差为0.0041。
2019-10-17 cs.DC
S-PowerGraph: Streaming Graph Partitioning for Natural Graphs by Vertex-Cut
分析大型自然图的一个标准解决方案是在集群上采用分布式计算。在分布式计算中，图划分（GP）方法以平衡的方式将图的顶点或边分配给不同的机器，以便一些分布式算法可以适应。大多数传统的GP方法都是离线的，这意味着在划分之前已经观察了整个图。然而，离线方法往往会产生很高的计算成本。因此，流图划分（SGP）方法，它可以在一个在线的方式划分图，最近在分布式计算中引起了极大的关注。存在两种典型的GP策略：边切割和顶点切割。大多数SGP方法采用边切割，但很少有顶点切割方法已被提出的SGP。然而，顶点切割策略将是比边切割策略更好的选择，因为自然图的度通常遵循高度偏斜的幂律分布。因此，我们提出了一种新的方法，称为S-PowerGraph，自然图的顶点切割SGP。我们的S-PowerGraph方法简单但有效。在几个大型自然图和合成图上的实验表明，我们的S-PowerGraph可以超越最先进的基线。
2015-11-09 cs.DC cs.SI
Scaling-up Distributed Processing of Data Streams for Machine Learning
Target Corporation（塔吉特公司）；University of Michigan（密歇根大学）；Rutgers University–New Brunswick（罗格斯大学新伯朗士威分校）
机器学习在许多领域的新兴应用涉及对数据流的持续收集和学习。将流数据实时并入到学习模型中对于改进这些应用中的推理是至关重要的。此外，这些应用程序通常涉及在地理上分布的实体处固有地收集的数据，或者出于存储器、计算和/或隐私原因而有意地跨多个机器分布的数据。在这种分布式的流媒体环境中训练模型需要通过物理实体之间的通信链路以协作方式解决随机优化问题。当流式传输数据率与计算节点的处理能力和/或通信链路的速率相比较高时，这提出了一个具有挑战性的问题：如何在计算能力和/或通信速率的约束下最好地利用传入数据进行分布式训练？近几十年来，出现了大量的研究来解决这一问题和相关问题。本文回顾了最近开发的方法，专注于大规模分布式随机优化的计算和带宽有限的制度，重点是收敛分析，明确占计算，通信和流速率之间的不匹配。特别是，它侧重于解决以下问题的方法：（i）分布式随机凸问题，以及（ii）分布式主成分分析，这是一个具有允许全局收敛的几何结构的非凸问题。对于这样的方法，本文讨论了分布式算法设计方面的最新进展时，面对高速率流数据。此外，它回顾了这些方法的保证，这些方法表明存在系统可以以最优速率从分布式流数据中学习的制度。
2020-08-31 cs.DC cs.LG eess.SP
TraceMesh: Scalable and Streaming Sampling for Distributed Traces
TraceMesh提出一种基于局部敏感哈希和演化聚类的可扩展流式分布式追踪采样方法，通过低维投影与动态采样决策避免冗余，在采样准确性和效率上显著优于现有方法。
2024-06-11 cs.DC cs.SE
An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Comsats Institute of Information Technology（COMSATS信息技术学院）
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源，同时通过实时传送和为所有观众提供适当的表示来最大化服务质量（QoS）是一个具有挑战性的问题。在我们的论文中，我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点，考虑延迟和质量约束，以保证最大的QoS观众和最小的成本为内容提供方。首先，我们提出了一个离线优化，决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次，我们使用机器学习来构建预测模型，该模型可以提前预测每个云站点要保留的近似转码资源。最后，我们开发了一个贪婪的最近和Chestion算法（GNCA）执行的资源分配的实时广播视频租用的资源。大量的模拟表明，GNCA优于众包直播流媒体的最先进的资源分配方法，在系统成本方面实现了超过20%的增益，同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
Modeling and Simulation of Spark Streaming
随着越来越多的设备连接到物联网，将产生无限的数据流，这些数据流必须“实时”处理，以触发自动化操作并提供实时服务。Spark Streaming是一个流行的实时流处理框架。为了有效地使用Spark Streaming并实现稳定的流处理，需要在不同的参数配置之间进行仔细的相互作用。错误可能会导致严重的资源过度配置和性能下降。为了缓解这些问题，本文开发了一个可执行和可配置的模型SSP（代表Spark Streaming Processing）来建模和仿真Spark Streaming。SSP是用ABS编写的，ABS是一种形式化的、可执行的、面向对象的语言，用于通过并发对象组对分布式系统进行建模。SSP允许用户快速评估和比较不同的参数配置，而无需在群集/云上部署应用程序。仿真结果表明，SSP能够在不同的场景下模仿Spark Streaming。
2018-09-11 cs.DC
A Distributed Real-Time Recommender System for Big Data Streams
在当今数据驱动的世界中，推荐系统（RS）在支持决策过程中发挥着至关重要的作用。随着用户不断连接到互联网，他们变得越来越没有耐心，对RS提出的过时建议的容忍度也越来越低，例如，Netflix上的电影推荐或亚马逊上的书籍阅读。这反过来又要求不断培训登记系统，以应对数据的在线时尚以及用户品味和兴趣的不断变化，即概念漂移。流（在线）RS必须满足三个要求：持续的培训和推荐，处理概念漂移和扩展能力。流推荐系统在文献中提出的大多数，解决前两个要求，不考虑可扩展性。这是因为他们在一台机器上运行训练过程。这样的机器，无论它有多强大，最终都无法应对数据量，这是从大数据处理中吸取的教训。为了解决第三个挑战，我们提出了一个分裂和复制机制构建分布式流推荐系统。我们的机制受到了支持当代大数据处理系统的成功无共享架构的启发。我们已经将我们的机制，两个著名的在线推荐系统，即矩阵分解和基于项目的协同过滤方法。我们已经在Apache Flink上实现了我们的机制。我们进行了实验比较基线（单机）的方法与我们的分布式方法的性能。通过评估不同的数据集，已经观察到处理延迟、吞吐量和准确性的改善。我们的实验表明，在线召回提高了40%以上的内存消耗减少了50%。
2022-04-10 cs.DC
Video Streaming in Distributed Erasure-coded Storage Systems: Stall Duration Analysis
各行业对全球视频的需求一直在蓬勃发展。随着视频流媒体服务的扩展和改进，基于云的视频正在演变为任何成功企业的必要功能，以接触内部和外部受众。本文认为，视频流在分布式系统中的视频片段编码使用纠删码更好的可靠性，从而成为第一个工作，我们最好的知识，认为视频流在纠删编码的分布式云系统。每个视频片段的每个编码块的下载时间被表征，并且在擦除编码块的选择上的有序统计被用于获得不同视频片段的回放时间。使用回放时间，对失速持续时间的矩母函数的界限被用来界定平均失速持续时间。基于矩生成函数的有序统计量的界限也被用来界定失速持续时间尾部概率，该概率确定失速时间大于预定义的数字的概率。这两个度量，平均停顿持续时间和停顿持续时间尾部概率，是终端用户的重要体验质量（QoE）度量。基于这些指标，我们制定了一个优化问题，以联合最小化的凸组合的QoE指标平均在所有请求的放置和访问的视频内容。非凸问题的解决使用一个有效的迭代算法。数值结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-26 cs.DC cs.IT cs.MM
Incremental Community Detection in Distributed Dynamic Graph
社区发现是图分析领域的一个重要研究课题，具有广泛的应用前景。在过去的几年中，开发了各种静态社区发现算法和质量度量。然而，大多数真实世界的图形不是静态的，经常会随着时间的推移而变化。在流数据的情况下，相关联的图中的社区需要被连续地更新或者每当新的数据流被添加到图中时被更新，这在设计良好的社区发现算法以用于在流数据上维护动态图方面提出了大得多的挑战。在本文中，我们提出了一个增量式的社区发现算法，用于维护流数据的动态图。本研究的贡献包括：（a）分布式加权社区聚类（DWCC）算法的实现，（b）一种新的增量分布式加权社区聚类（IDWCC）算法的设计和实现，以及（c）一个实验研究，我们的IDWCC算法与DWCC算法的性能进行比较。我们验证了我们的框架在处理流数据和执行大型内存中的分布式动态图分析的功能和效率。结果表明，我们的IDWCC算法的执行速度比DWCC算法的三倍相似的精度。
2021-10-12 cs.DC cs.LG cs.SI
Ripple: Scalable Incremental GNN Inferencing on Large Streaming Graphs
Indian Institute of Science (IISc)（印度科学学院）
Ripple通过高效的增量更新机制，在大规模动态图上实现快速且准确的GNN推断，支持单机和分布式环境，提升处理速度和实时性。
2025-05-17 cs.DC
Recursive Multi-Section on the Fly: Shared-Memory Streaming Algorithms for Hierarchical Graph Partitioning and Process Mapping
如何将图划分为平衡的块，使得块之间的边较少，是大规模分布式处理的关键问题。目前的趋势是分割巨大的图流算法，它使用低计算资源。在这项工作中，我们提出了一个共享内存流多递归分区方案，执行递归多节的飞行，而不知道整体输入图。我们的方法有一个相当低的运行时间复杂度相比，国家的最先进的非缓冲的一遍分割算法的标准图分割的情况下。此外，如果分布式系统的拓扑是已知的，则可以通过将分区映射到处理元件上来进一步优化通信成本。我们的实验表明，我们的算法是速度更快，产生更好的进程映射比竞争工具。在图分区的情况下，与Fennel相比，我们的框架以多5%的切割边缘为代价快了两个数量级。
2022-02-01 cs.DC cs.DS
Task Allocation for Distributed Stream Processing
对实时、动态处理越来越多的大量数据的需求不断增长。为了确保流数据的及时和可靠的处理，已经开发了各种分布式流处理架构和平台，其处理（动态地）将处理任务分配给当前可用的物理资源以及在这些资源之间路由流数据的基本任务。然而，虽然有很多平台提供这种功能，但其背后的理论还没有得到很好的理解。特别是，不清楚如何最好地分配处理任务给给定的资源。在本文中，我们建立了一个理论基础，正式定义了分布式流处理的任务分配问题，我们证明是NP-难的。此外，我们提出了一个近似算法的类串并行可分解图，它捕获了广泛的常见的流处理应用程序。该算法实现了一个常数因子近似的假设下，资源的数量至少与计算任务的数量和计算成本的任务的通信成本占主导地位的比例。
2016-01-22 cs.DC
Chiron: Optimizing Fault Tolerance in QoS-aware Distributed Stream Processing Jobs
容错是在处理要求高级别可用性和低延迟处理的流作业时需要更深入考虑的属性，即使在必须遵守服务质量约束的故障情况下也是如此。通常，系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，这是一种昂贵的操作，其对系统的整体性能产生负面影响，并且手动优化特定作业的容错是一项困难且耗时的任务。在本文中，我们介绍凯龙，自动优化的频率与检查点流作业中执行的方法。对于任何选定的作业，都将执行并行分析运行，每个分析运行都包含配置的一个变体，生成的度量用于对基于检查点的容错对性能和可用性的影响进行建模。理解这些关系是最小化性能目标和满足严格的服务质量约束的关键。我们与Apache Flink一起实现了Chiron原型，并通过实验证明了它的有用性。
2021-02-11 cs.DC
Optimizing Federated Learning in the Era of LLMs: Message Quantization and Streaming
Nvidia Corp.（英伟达公司）
本文提出通过消息量化和流式传输技术优化联邦学习，以应对大语言模型带来的通信和资源挑战。
2025-11-20 cs.DC
Toward Reliable and Rapid Elasticity for Streaming Dataflows on Clouds
流数据的普遍可用性推动了对用于流应用的分布式快速数据平台的兴趣。这种延迟敏感的应用程序需要使用弹性云资源上的横向扩展来响应输入速率和任务行为的动态性。像Apache Storm这样的平台不提供强大的功能来响应这种动态性和跨VM快速迁移任务。我们提出了几种流媒体流检查点和迁移方法，允许流媒体流迁移，而不会丢失任何飞行中的消息或其内部任务状态，同时减少恢复和稳定的时间。我们在Apache Storm上实施并评估这些迁移策略，使用微和应用程序扩展来扩展到多达2-21个Azure VM。我们的结果表明，我们可以在50秒内迁移大尺寸的磁盘，相比之下，风暴的默认方法，接管$100~sec$。我们还发现，我们的方法可以更早地稳定应用程序，并且没有失败和重新处理消息。
2017-12-02 cs.DC
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream，它确保有限的延迟，同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制：（1）动态查询和（2）动态操作级查询规划。通过控制微批量大小，LMStream显著降低了单个数据集的延迟，因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外，LMStream提出了一种低开销的在线模型参数优化方法，而不中断实时流处理。我们在Apache Spark上实现了LMStream，它支持微批流处理。与以前的面向吞吐量的方法相比，LMStream的平均延迟最高可提高70.7%，而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
ScaDLES: Scalable Deep Learning over Streaming data at the Edge
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对边缘流数据在线训练的系统与统计异构性、带宽受限等问题，提出ScaDLES框架，解决非IID数据与流速率差异难题，收敛速度较传统分布式SGD最高提升3.29倍。
2024-01-29 cs.DC cs.LG cs.NI
Play like a Vertex: A Stackelberg Game Approach for Streaming Graph Partitioning
针对大规模图流式分区中内存受限与偏斜导致质量下降的问题，提出 S5P，利用 head/tail 边集划分、偏斜感知聚类和 Stackelberg 图博弈，在相同负载约束下显著提升分区质量与分布式处理效率。
2024-02-28 cs.DB cs.DC cs.GT
EdgeServe: A Streaming System for Decentralized Model Serving
The University of Chicago（芝加哥大学）
本文提出分布式流式系统EdgeServe，用于解决数据流场景下机器学习模型服务中的数据路由、时间同步和速率控制问题，并在人类活动识别、自动驾驶和网络入侵检测三个任务上验证了其实时预测能力。
2024-02-22 cs.DB cs.DC cs.LG
Democratizing Scalable Cloud Applications: Transactional Stateful Functions on Streaming Dataflows
本论文提出Stateflow和Styx，通过事务性状态函数模型和分布式流引擎，解决云应用开发中的可编程性、高性能事务和弹性问题，实现更普及的云应用开发。
2025-12-19 cs.DB cs.DC
Streaming IoT Data and the Quantum Edge: A Classic/Quantum Machine Learning Use Case
Vienna University of Technology（维也纳工业大学）
本研究针对后摩尔时代数据密集型紧急分析需求，探索用边缘计算将量子机器学习集成到分布式计算体系，梳理挑战与方案，并给出物联网场景的初步分析结果。
2024-02-23 cs.DC cs.ET cs.LG
Safecloud: A Distributed, Encrypted Storage Cloud for Streaming
IENYC（纽约工程学院）
提出Safecloud，一种分布式加密存储与流媒体网络，通过密钥分层、收敛内容寻址和并行树结构实现端到端加密、去重和高效流式访问，并引入基于腐败证明的经济激励机制。
2026-06-02 cs.CR cs.DB cs.DC
Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning
对分布式系统进行微调被认为是一项工艺，依赖于直觉和经验。当系统需要近乎实时的地做出反应时，这变得更具挑战性，因为流媒体引擎必须保持预先商定的服务质量指标。在本文中，我们提出了一种自动化方法，该方法基于监督和强化学习方法的组合，以根据先前的负载推荐最合适的杠杆配置。有了这个，流媒体引擎可以自动调整，而不需要人类来确定正确的方式和适当的时间来部署它们。这为今天尚未应用的新配置打开了大门，因为管理这些系统的复杂性已经超过了人类专家的能力。我们展示了强化学习系统如何在比人类更短的时间内找到更好的配置，并适应不断变化的工作负载。
2018-09-14 cs.DB cs.DC cs.LG
Zero-Shot Cost Models for Distributed Stream Processing
本文提出了一种分布式流处理系统（DSPS）的学习成本估计模型，旨在提供准确的执行查询的成本预测。这项工作的一个主要前提是，所提出的学习模型可以推广到开箱即用的流工作负载的动态。这意味着一旦训练好的模型就可以准确地预测性能指标，例如延迟和吞吐量，即使数据和工作负载的特性或操作员对硬件的部署在运行时发生变化。这样，该模型可用于解决诸如优化操作符的放置等任务，以最小化流查询的端到端延迟或最大化其吞吐量，即使在不同的条件下。我们对著名的DSPS Apache Storm的评估表明，该模型可以准确地预测看不见的工作负载和查询，同时在现实世界的基准测试中推广。
2022-07-08 cs.DB cs.DC
Forgetting Alternation and Blossoms: A New Framework for Fast Matching Augmentation and Its Applications to Sequential/Distributed/Streaming Computation
Osaka University（大阪大学）
针对图最大基数匹配问题，提出一种基于遗忘交替性的新结构定理（不依赖花结构），改进交替基树性质并给出新算法，还在分布式/流计算中提出高效近似算法，基于独立价值的近似因子放大框架。
2025-11-11 cs.DC cs.DS math.CO
GeoFlink: A Distributed and Scalable Framework for the Real-time Processing of Spatial Streams
Apache Flink是一个开源系统，用于批量和流数据的可扩展处理。Flink本身并不支持空间数据流的高效处理，这是许多处理空间数据的应用程序的要求。除了Flink之外，其他可扩展的空间数据处理平台，包括GeoSpark、Spatial Hadoop等，都不支持流式工作负载，只能处理静态/批量工作负载。为了填补这一空白，我们提出了GeoFlink，它扩展了Apache Flink，以支持空间数据类型，索引和连续查询空间数据流。为了能够有效地处理空间连续查询，并在Flink集群节点之间进行有效的数据分布，引入了基于网格的索引。GeoFlink目前支持点数据类型上的空间范围、空间$k$ NN和空间连接查询。对真实空间数据流的广泛实验研究表明，GeoFlink实现了显着更高的查询吞吐量比普通Flink处理。
2020-08-03 cs.DB cs.DC
Towards Decentralized Complex Queries over Distributed Ledgers: a Data Marketplace Use-case
分布式账本技术（DLT）和分散式文件存储（DFS）正越来越多地用于创建通用、分散和不信任的基础设施，参与者在点对点交互中进行交互和协作。一个突出的用例是去中心化的数据市场，在那里用户同时是消费者和提供者，需要无信任的交互。然而，DLT和DFS中的数据通常是非结构化的，并且没有有效的机制来查询某种类型的数据以用于市场中的搜索。在本文中，我们建议使用分布式哈希表（DHT）作为DLT之上的一层，一旦数据被获取并存储在分类账中，这些数据可以通过多个基于关键字的查询进行搜索，这要归功于DHT提供的查找功能。DHT网络是一个超立方体覆盖结构，组织用于有效处理多个基于关键字的查询。我们提供了一个分散的数据市场和分析的基础上的模拟，证明了所提出的方法的可行性，这样的解决方案的架构。
2021-09-10 cs.CR cs.DC cs.NI
Secure and Low-Latency IoT Analytics Using an Edge-Based Streaming Architecture
Allenhouse Institute of Technology（艾伦豪斯理工学院）
针对物联网实时流处理中云架构延迟高的问题，提出EdgeStream边缘框架，通过MQTT通信和分布式异常检测实现低延迟分析，实验显示延迟降低达92.8%。
2026-06-16 cs.CR cs.DC
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权（均匀）随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型，我们的目标是展示其实用性。我们提出并分析了完全分布式，通信效率的算法，这两个版本的问题。在多达256个节点（5120个处理器）上进行加权水库采样的实验评估显示出良好的加速比，而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
Stateless Network-Aware Adaptive Bitrate Streaming over IPFS
Stony Brook（石溪大学）
针对IPFS环境性能波动导致传统ABR流媒体QoE下降的问题，提出一种无状态网络感知ABR策略，通过仅使用本地可观测信号逐段计算比特率，避免跨提供者状态同步，在故障条件下QoE提升最高约6倍。
2026-06-28 cs.DC cs.NI
VHT: Vertical Hoeffding Tree
Telefonica Research（西班牙电信研究）；Qatar Computing Research Institute（卡塔尔计算研究所）；Telecom ParisTech（巴黎高等电信学院）；LARC-SMU（新加坡管理大学智能系统实验室）
物联网大数据需要新的机器学习方法，能够扩展到高速到达的大数据。决策树是流行的机器学习模型，因为它们非常有效，但易于解释和可视化。在文献中，我们可以找到学习决策树的分布式算法，也可以找到流算法，但没有结合这两种特性的算法。在本文中，我们提出了垂直Hoeffding树（VHT），第一个分布式流学习决策树算法。它的特点是一种新的方式分布决策树通过垂直并行。该算法是在Apache SAMOA（一个用于挖掘分布式数据流的平台）上实现的，因此能够在真实世界的集群上运行。我们运行几个实验来研究我们的新VHT算法的准确性和吞吐量性能，以及它的扩展能力，同时保持其优越的性能，相对于非分布式决策树。
2016-07-28 cs.AI cs.DB cs.DC
CoCoS: Fast and Accurate Distributed Triangle Counting in Graph Streams
给定一个图流，我们如何使用多台机器和有限的存储来估计其中的三角形数量？具体来说，应该如何在机器上处理和采样边缘，以实现快速准确的估计？三角形的计数（即，大小为3的集团）已被证明在包括异常检测、社区发现和链接推荐的许多应用中是有用的。对于大型动态图中的三角形计数，最近的工作主要集中在流式算法和分布式算法上，但很少关注它们的组合，以实现“两全其美”。在这项工作中，我们提出了CoCoS，一种快速准确的分布式流算法，用于估计全局三角形的计数（即，所有三角形）和与每个节点关联的局部三角形。在输入流上进行一次传递，COCOS仔细地处理并存储多台机器上的边，以便最大限度地减少计算和存储资源的冗余使用。与基线相比，CoCoS（a）准确：估计误差最多小39倍，（b）快速：最多快10.4倍，随输入流的大小线性扩展，（c）理论上合理：产生无偏估计。
2021-02-27 cs.DB cs.DC cs.DS
