Using Dedicated and Opportunistic Networks in Synergy for a Cost-effective Distributed Stream Processing Platform
本文提出了一个案例，利用专用和机会网络资源的协同作用，在分布式托管平台的数据流处理应用程序。我们以前的研究已经证明了在高吞吐量计算应用程序中，及时分配处理单元是主要关注点的情况下，将专用可靠资源与机会资源相结合的好处。由于分布式流处理应用程序需要以一致的速率在处理站点之间进行大量数据传输，因此对网络资源的适当控制对于确保稳定的处理流非常重要。在本文中，我们提出了一个系统模型的混合托管平台，其中安装在分布式站点的流处理服务器互连的专用链接和公共互联网的组合。分散式算法已经被开发用于在竞争任务之间分配两类网络资源，其目标是实现更高的任务吞吐量和更好地利用昂贵的专用资源。从广泛的模拟研究结果表明，适当的管理，系统利用专用和机会资源的协同作用，产生相当高的任务吞吐量，因此，更高的投资回报率比系统单独使用昂贵的专用资源。
2009-03-25 cs.DC cs.NI
Decentralized Management of Bi-modal Network Resources in a Distributed Stream Processing Platform
本文提出了资源管理技术分配通信和计算资源的分布式流处理平台。该平台旨在利用两类网络连接的协同作用-专用和机会。我们以前进行的研究已经证明了这样的双模态资源组织的好处，它结合了一个非常大的池的空闲计算机的机会计算能力的专用计算机的小池，以服务于高吞吐量的计算应用程序。本文将双模态资源组织的思想扩展到通信资源的管理中。由于分布式流处理应用需要以一致的速率在处理站点之间传输大量数据，因此对网络资源的适当控制对于确保稳定的处理流是重要的。在本文中使用的系统模型是一个平台，在分布式站点的流处理服务器互连的专用和机会主义的通信链路的组合。详细分析了两个相关的资源分配问题，并使用分散算法求解。一个是流处理任务在处理和通信资源上的映射。另一个是自适应重新分配的机会通信链路，由于其容量的变化。总体优化目标是更高的任务吞吐量和更好地利用昂贵的专用链路。评估表明，该算法能够利用双模态通信链路的协同作用，实现优化目标。
2009-03-24 cs.DC cs.NI
Prototyping a ROOT-based distributed analysis workflow for HL-LHC: the CMS use case
本文以 CMS 为用例，利用 ROOT RDataFrame、JupyterLab 与 HTCondor 构建生产级分布式高能物理分析设施，将传统迭代分析改为声明式并行工作流并获得一个数量级加速。
2023-07-24 cs.CE cs.DC hep-ex
Stalactite: Toolbox for Fast Prototyping of Vertical Federated Learning Systems
ITMO University（ITMO大学）；Sber AI Lab（Sber AI实验室）
本文提出开源垂直联邦学习框架Stalactite，内置同态加密层和多种VFL算法，帮助研究者快速构建分布式学习原型，并在真实推荐数据集上验证其有效性。
2024-10-03 cs.DC cs.IR cs.LG
Facilitating Rapid Prototyping in the OODIDA Data Analytics Platform via Active-Code Replacement
OODIDA（车载/非车载分布式数据分析）是一个分布式实时分析平台，目标是汽车行业的参考车辆车队。它的用户是数据分析师。大部分数据分析任务由客户端（板载）执行，而中央云服务器执行补充任务（非板载）。OODIDA可以自动打包和部署，这需要重新启动系统的部分或全部。由于这可能会造成破坏，我们增加了在客户端和服务器上执行用户定义的Python模块的能力。这些模块可以在不重新启动系统的任何部分的情况下被替换;它们甚至可以在正在进行的分配的迭代之间被替换。此功能称为活动代码替换。它促进了用例，例如机器学习算法的迭代A/B测试或动态修改实验算法。结果的一致性是通过多数表决来实现的，这可以防止国家受到污染。在理想化的环境中，活动代码替换可以在不到一秒的时间内完成，而标准部署需要多几个数量级的时间。本文的主要贡献是描述了一个相对简单的方法来替换活动代码，这是非常用户友好的。它使数据分析师能够在云服务器和客户端设备上快速执行自定义代码。合理的保护措施和设计决策确保了此功能可以由不熟悉OODIDA实现的非专家使用，特别是此功能。由于添加了活动代码替换特性，OODIDA现在非常适合快速原型设计。
2020-12-30 cs.DC cs.PL cs.SE
Towards a decentralized algorithm for mapping network and computational resources for distributed data-flow computations
一些高吞吐量的分布式数据处理应用需要多跳处理数据流。这些应用包括对源自传感器网络的数据流的连续处理、通过嵌入源自不同位置的若干分量流来构成多媒体流等。这些数据流计算应用需要根据应用的数据流拓扑互连的多个处理节点，以用于数据的流上处理。由于应用程序通常会持续很长一段时间，因此重要的是要将组件计算和通信最佳地映射到网络中的节点和链路上，满足容量约束并优化一些质量度量，例如端到端延迟。不幸的是，映射问题是NP完全的，并且先前已经提出了以集中方式计算近似解的算法。然而，由于网络的动态性，实际上不可能将整个网络的正确状态聚合在单个节点中。在本文中，我们提出了一个分布式算法的数据流应用程序的组件的最佳映射。我们提出了几种算法，以尽量减少算法的消息复杂性，同时保持解决方案的质量。
2009-03-25 cs.DC cs.NI
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的，然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流，分布式流处理系统，解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有一定的界限。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明，AF流保留高算法特定的流算法的准确性，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下都能保持较高的性能（与无容错相比）和多次故障后的高准确率（与无故障相比）。
2019-08-12 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网（IoT）的发展，分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发，是一个广泛使用的流处理引擎，其他包括Flink，Spark流。为了保证流媒体应用的成功运行，需要知道流媒体应用的最优资源需求，而过高的资源估计会增加额外的成本，因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中，我们提出了一个模型驱动的方法调度流应用程序，有效地利用先验知识的应用程序提供可预测的调度行为。具体来说，我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外，这种直觉还驱动资源映射，并有助于缩小估计和实际的低性能和资源利用率。总之，这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权（均匀）随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型，我们的目标是展示其实用性。我们提出并分析了完全分布式，通信效率的算法，这两个版本的问题。在多达256个节点（5120个处理器）上进行加权水库采样的实验评估显示出良好的加速比，而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长，不断挑战着大数据处理平台和挖掘技术的最新水平。因此，它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求，本文提出了Stream to Cloud & Edge（S2CE），这是同类产品中第一个优化的多云和边缘编排器，易于配置，可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习，同时提供实用和可扩展处理的必要功能：数据融合和预处理，采样和合成流生成，云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在偏斜的情况下加剧。我们引入部分密钥分配（PKG），一个新的流划分方案，适应经典的“两个选择的权力”的分布式流设置，利用两个新的技术：密钥拆分和本地负载估计。这样，它实现了比键分组更好的负载均衡，同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG，包括真实世界和合成数据集。与标准散列相比，PKG将负载不平衡降低了几个数量级，并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时，这一结果转化为吞吐量提高了60%，延迟提高了45%。
2015-04-03 cs.DC
StreamLearner: Distributed Incremental Machine Learning on Event Streams: Grand Challenge
如今，需要对来自智能设备的大量流数据进行自动分析，以实现物联网。复杂事件处理（CEP）范式承诺对事件流进行低延迟模式检测。然而，CEP系统需要用诸如在线训练和推理的机器学习（ML）能力来扩展，以便能够检测模糊模式（例如，离群值），并使用增量模型训练来提高运行时期间的模式识别准确性。在本文中，我们提出了一个分布式CEP系统表示为StreamLearner的ML启用复杂事件检测。所提出的编程模型和数据并行系统架构使广泛的现实世界的应用，并允许动态扩展和出系统资源的低延迟，高吞吐量的事件处理。我们表明，DEBS大挑战2017案例研究（即，智能工厂中的异常检测）无缝集成到StreamLearner API中。实验验证了StreamLearner的可扩展性和高事件吞吐量。
2017-06-26 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下，例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中，必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案，用于以可扩展且高效的方式处理无界数据流。最近，已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展，以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序，流处理提出了挑战，实现弹性系统，可以根据当前的负载，有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中，弹性变得更具挑战性。这项工作探讨了其中一些挑战，并讨论了文献中提出的解决方案，以解决这些问题。
2017-12-02 cs.DC
Partial Key Grouping: Load-Balanced Partitioning of Distributed Streams
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在偏斜的情况下加剧。我们引入部分密钥分配（PKG），一个新的流划分方案，适应经典的“两个选择的权力”的分布式流设置，利用两个新的技术：密钥拆分和本地负载估计。这样，它实现了比键分组更好的负载均衡，同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG，包括真实世界和合成数据集。与标准散列相比，PKG将负载不平衡降低了几个数量级，并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时，这一结果转化为吞吐量提高了175%，延迟提高了45%。PKG已集成到Apache Storm v0.10中。
2015-10-26 cs.DC
Task Allocation for Distributed Stream Processing
对实时、动态处理越来越多的大量数据的需求不断增长。为了确保流数据的及时和可靠的处理，已经开发了各种分布式流处理架构和平台，其处理（动态地）将处理任务分配给当前可用的物理资源以及在这些资源之间路由流数据的基本任务。然而，虽然有很多平台提供这种功能，但其背后的理论还没有得到很好的理解。特别是，不清楚如何最好地分配处理任务给给定的资源。在本文中，我们建立了一个理论基础，正式定义了分布式流处理的任务分配问题，我们证明是NP-难的。此外，我们提出了一个近似算法的类串并行可分解图，它捕获了广泛的常见的流处理应用程序。该算法实现了一个常数因子近似的假设下，资源的数量至少与计算任务的数量和计算成本的任务的通信成本占主导地位的比例。
2016-01-22 cs.DC
Bleach: A Distributed Stream Data Cleaning System
在本文中，我们解决的问题，基于规则的流数据清洗，设置严格的要求延迟，规则的动态性和能力，以应付数据流的无界性。我们设计了一个系统，称为漂白，它实现了实时违规检测和数据修复上的脏数据流。Bleach依赖于高效、紧凑和分布式的数据结构来维护必要的状态以修复数据，使用等价类算法的增量版本。此外，它支持规则动态，并使用“累积”滑动窗口操作来提高清理精度。我们使用TPC-DS衍生的脏数据流评估漂白剂的原型，并观察其高吞吐量，低延迟和高清洗精度，即使与规则动态。实验结果表明优越的性能漂白相比，基准系统建立在微批量流范例。
2016-09-16 cs.DB cs.DC
Benchmarking Distributed Stream Processing Platforms for IoT Applications
物联网（IoT）是一种技术范式，其中数百万个传感器实时监控并帮助通知或管理物理，环境和人类系统。物联网应用固有的闭环响应和决策能力使其成为使用低延迟和可扩展流处理平台的理想候选者。分布式流处理系统（DSPS）正在成为任何物联网堆栈的基本组件，但尚未针对物联网数据流和应用程序对当代DSPS的功效和性能进行严格研究。在这里，我们开发了一个基准套件和性能指标，以评估流物联网应用程序的DSPS。该基准测试包括13个常见的物联网任务，这些任务被分类在各种功能类别中并形成微基准测试，以及两个用于统计汇总和预测分析的物联网应用程序，这些应用程序利用了DSPS的各种分布式组成功能。这些与来自智能城市的真实物联网观察的流工作负载相结合。我们验证了流行的Apache Storm DSPS的物联网基准测试，并给出了实证结果。
2016-07-26 cs.DC
Optimal Random Sampling from Distributed Streams Revisited
我们给出了一个改进的算法，从一个大的数据流中抽取随机样本时，输入元素分布在多个站点，通过一个中央协调器进行通信。在任何时间点，协调器所持有的元素集合都代表了迄今为止所观察到的所有元素集合中的均匀随机样本。当与以前的工作相比，我们的算法渐近提高系统中发送的消息的总数，以及协调器所需的计算。我们还提出了一个匹配的下限，表明我们的协议发送的消息的最佳数量的一个常数的因素，具有很大的概率。作为一个副产品，我们得到了一个改进的算法，发现在多个分布式站点的沉重打击。
2019-03-28 cs.DC
Phoebe: QoS-Aware Distributed Stream Processing through Anticipating Dynamic Workloads
分布式流处理系统已经成为大数据处理平台的重要组成部分。它们的特点是对接近实时的事件流进行高吞吐量处理，目标是提供低延迟结果，从而实现对时间敏感的决策。同时，即使在存在部分故障的情况下，也期望结果是一致的，其中需要精确的一次处理保证正确性。流处理工作负载通常在本质上是动态的，这使得静态配置随着时间的推移而变得非常低效。静态资源分配几乎肯定会对服务质量产生负面影响和/或导致更高的操作成本。在本文中，我们提出了Phoebe，一个主动的方法来系统自动调优的分布式流处理作业执行动态工作负载。我们的方法利用并行分析运行，QoS建模和运行时优化提供了一个通用的解决方案，配置参数自动调整，以确保稳定的服务，以及与恢复时间服务质量目标的对齐。Phoebe利用时间序列预测来洞察未来的工作负载需求，从而提供准确、长期和可靠的扩展决策。我们的实验表明，菲比是能够提供一个稳定的服务，同时减少资源过度配置。
2022-06-20 cs.DC
Delivery, consistency, and determinism: rethinking guarantees in distributed stream processing
最先进的流处理系统的一致性要求是根据交付保证来定义的。精确一次是最强的一个，也是最终用户最想要的。然而，关于这一概念有几个问题。强制执行一次的常用技术会产生显著的性能开销。此外，精确一次的概念没有正式定义，也没有捕获提供支持此保证的流处理系统的所有属性。在本文中，我们介绍了一个正式的框架，使我们能够更经常地定义流保证。我们证明了交付，一致性和确定性的属性是紧密相连的分布式流处理。我们还表明，具有轻量级的确定性，它是可能的，以提供确切的一次几乎没有性能开销。实验表明，该方法可以显着优于替代工业解决方案。
2019-07-14 cs.DB cs.DC
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分，因为用户越来越依赖于它们提供快速访问新结果的能力。因此，根据这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性，静态配置通常不能以低开销满足服务质量约束。在本文中，我们提出了Khaos，一种新的方法，它利用虚拟云自动化技术的并行处理功能，用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段，借用混沌工程的原则：建立稳定状态的处理条件，进行实验，以更好地了解系统如何执行故障，并使用这些知识，不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型，并通过实验证明了它的有用性。
2023-01-26 cs.DC
Federated Anomaly Detection over Distributed Data Streams
FEUP（波尔图大学工程学院）；INESC TEC（葡萄牙国家能源与电网研究所）；FCUP（波尔图大学理学院）；FEP（波尔图大学经济学院）
例如，由于隐私立法和法规以及其他重要的道德问题，即使在高聚合水平上，电信网络数据的共享如今也受到高度限制。它导致数据分散在机构、地区和州之间，抑制了人工智能方法的使用，否则这些方法可以大规模利用数据。它需要建立一个平台来控制这些数据，建立模型或执行计算。在这项工作中，我们提出了一种方法来建立异常检测，联邦学习和数据流之间的桥梁。这项工作的首要目标是在分布式数据流上检测联邦环境中的异常。这项工作通过在异常检测的联邦学习设置中调整数据流算法，并通过提供一个强大的框架和在真实世界的分布式部署场景中演示实际可行性，补充了最先进的技术。
2022-05-17 cs.DC cs.LG
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream，它确保有限的延迟，同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制：（1）动态查询和（2）动态操作级查询规划。通过控制微批量大小，LMStream显著降低了单个数据集的延迟，因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外，LMStream提出了一种低开销的在线模型参数优化方法，而不中断实时流处理。我们在Apache Spark上实现了LMStream，它支持微批流处理。与以前的面向吞吐量的方法相比，LMStream的平均延迟最高可提高70.7%，而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
A Dynamic Vertical Scaling Strategy for Distributed Stream Processing Applications in Edge Computing
Pontifical Catholic University of Rio Grande do Sul（南里奥格兰德天主教大学）
针对边缘流处理资源受限问题，提出基于近端策略优化的动态垂直扩展策略，联合调整任务分配并满足p95延迟目标，实验表明违规率低于对比方法且CPU使用更少。
2026-09-14 cs.DC
When Two Choices Are not Enough: Balancing at Scale in Distributed Stream Processing
仔细平衡分布式流处理系统中的负载对执行延迟和吞吐量具有根本性影响。负载均衡是一个挑战，因为现实世界的工作负载是倾斜的：流中的一些元组与键相关联，这些键比其他键更频繁。在大型部署中，偏斜的问题明显更多：更多的worker意味着每个worker的密钥更少，因此很难“平均”热键和冷键的成本。我们提出了一种新的负载均衡技术，使用heaving hitter算法来有效地识别流中最热的键。这些热键被分配给$d \geq 2$选项以确保负载平衡，其中$d$被自动调整以最小化运算符复制的内存和计算成本。该技术在线工作，不需要使用路由表。我们广泛的评估表明，我们的技术可以平衡大规模部署的实际工作负载，并通过$\mathbf{150\%}$和$\mathbf{60\%}$分别提高吞吐量和延迟在Apache Storm上部署时，在以前的最先进的。
2016-01-27 cs.DC
ESTemd: A Distributed Processing Framework for Environmental Monitoring based on Apache Kafka Streaming Engine
Central University of Technology（中央理工大学）
分布式网络和实时系统正在成为新计算机时代物联网（IoT）最重要的组成部分，其中包括从传感器生成的巨大数据流或数据集以及从现有遗留系统生成的数据。生成的数据提供了测量，推断和理解环境指标的能力，从脆弱的生态和自然资源到城市环境。这可以通过分析异构数据源（结构化和非结构化）来实现。在本文中，我们提出了一个分布式框架环境监测领域的事件流处理引擎（ESTemd）的异构环境数据流处理的应用。我们在这一领域的工作表明，大数据技术可以在环境决策支持系统、预警和预报系统中发挥有益的作用。提出的框架解决了异构系统的数据异构性和实时的处理巨大的环境数据集的挑战，通过发布/订阅方法，通过一个统一的数据管道与Apache Kafka的应用程序的实时的形状分析。
2021-04-02 cs.AI cs.DC
Evaluation of Data Enrichment Methods for Distributed Stream Processing Systems
本文深入评估了DSP系统的数据增强方法，发现将增强数据外包给DSP系统可提升特定用例性能，但也指出其增加的资源消耗需要专门针对云应用性能密集型工作负载设计的流处理解决方案。
2023-11-23 cs.DC
GeoFlink: A Distributed and Scalable Framework for the Real-time Processing of Spatial Streams
Apache Flink是一个开源系统，用于批量和流数据的可扩展处理。Flink本身并不支持空间数据流的高效处理，这是许多处理空间数据的应用程序的要求。除了Flink之外，其他可扩展的空间数据处理平台，包括GeoSpark、Spatial Hadoop等，都不支持流式工作负载，只能处理静态/批量工作负载。为了填补这一空白，我们提出了GeoFlink，它扩展了Apache Flink，以支持空间数据类型，索引和连续查询空间数据流。为了能够有效地处理空间连续查询，并在Flink集群节点之间进行有效的数据分布，引入了基于网格的索引。GeoFlink目前支持点数据类型上的空间范围、空间$k$ NN和空间连接查询。对真实空间数据流的广泛实验研究表明，GeoFlink实现了显着更高的查询吞吐量比普通Flink处理。
2020-08-03 cs.DB cs.DC
RIoTBench: A Real-time IoT Benchmark for Distributed Stream Processing Platforms
物联网（IoT）是一种新兴的技术范式，其中数百万个传感器和执行器帮助实时的【形】监控和管理物理、环境和人类系统。物联网应用固有的闭环响应能力和决策能力使其成为使用低延迟和可扩展流处理平台的理想候选者。托管在云数据中心上的分布式流处理系统（DSPS）正在成为任何物联网软件架构中实时的【形】数据处理和分析的重要引擎。但是，当代DSPS的功效和性能尚未针对物联网应用和数据流进行严格的研究。在这里，我们开发了实时物联网基准套件RIoTBench，以及性能指标，以评估流物联网应用的DSPS。该基准测试包括27个常见的物联网任务，这些任务分为不同的功能类别，并作为可重用的微基准测试实现。此外，我们提出了由这些任务组成的四个物联网应用程序基准，并利用DSPS的各种语义。这些应用程序基于常见的物联网模式，用于数据预处理，统计汇总和预测分析。这些与来自智能城市和健身的真实物联网观察的四个流工作负载相结合，峰值流速率范围从500到10000条消息/秒，频率分布多样。我们在Microsoft Azure公共云上验证了流行的Apache Storm DSPS的RIoTBench套件，并提出了经验观察。DSPS研究人员可以使用该套件进行性能分析和资源调度，物联网从业人员可以使用该套件评估DSPS平台。
2017-01-30 cs.DC
Scaling-up Distributed Processing of Data Streams for Machine Learning
Target Corporation（塔吉特公司）；University of Michigan（密歇根大学）；Rutgers University–New Brunswick（罗格斯大学新伯朗士威分校）
机器学习在许多领域的新兴应用涉及对数据流的持续收集和学习。将流数据实时并入到学习模型中对于改进这些应用中的推理是至关重要的。此外，这些应用程序通常涉及在地理上分布的实体处固有地收集的数据，或者出于存储器、计算和/或隐私原因而有意地跨多个机器分布的数据。在这种分布式的流媒体环境中训练模型需要通过物理实体之间的通信链路以协作方式解决随机优化问题。当流式传输数据率与计算节点的处理能力和/或通信链路的速率相比较高时，这提出了一个具有挑战性的问题：如何在计算能力和/或通信速率的约束下最好地利用传入数据进行分布式训练？近几十年来，出现了大量的研究来解决这一问题和相关问题。本文回顾了最近开发的方法，专注于大规模分布式随机优化的计算和带宽有限的制度，重点是收敛分析，明确占计算，通信和流速率之间的不匹配。特别是，它侧重于解决以下问题的方法：（i）分布式随机凸问题，以及（ii）分布式主成分分析，这是一个具有允许全局收敛的几何结构的非凸问题。对于这样的方法，本文讨论了分布式算法设计方面的最新进展时，面对高速率流数据。此外，它回顾了这些方法的保证，这些方法表明存在系统可以以最优速率从分布式流数据中学习的制度。
2020-08-31 cs.DC cs.LG eess.SP
Zero-Shot Cost Models for Distributed Stream Processing
本文提出了一种分布式流处理系统（DSPS）的学习成本估计模型，旨在提供准确的执行查询的成本预测。这项工作的一个主要前提是，所提出的学习模型可以推广到开箱即用的流工作负载的动态。这意味着一旦训练好的模型就可以准确地预测性能指标，例如延迟和吞吐量，即使数据和工作负载的特性或操作员对硬件的部署在运行时发生变化。这样，该模型可用于解决诸如优化操作符的放置等任务，以最小化流查询的端到端延迟或最大化其吞吐量，即使在不同的条件下。我们对著名的DSPS Apache Storm的评估表明，该模型可以准确地预测看不见的工作负载和查询，同时在现实世界的基准测试中推广。
2022-07-08 cs.DB cs.DC
Chiron: Optimizing Fault Tolerance in QoS-aware Distributed Stream Processing Jobs
容错是在处理要求高级别可用性和低延迟处理的流作业时需要更深入考虑的属性，即使在必须遵守服务质量约束的故障情况下也是如此。通常，系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，这是一种昂贵的操作，其对系统的整体性能产生负面影响，并且手动优化特定作业的容错是一项困难且耗时的任务。在本文中，我们介绍凯龙，自动优化的频率与检查点流作业中执行的方法。对于任何选定的作业，都将执行并行分析运行，每个分析运行都包含配置的一个变体，生成的度量用于对基于检查点的容错对性能和可用性的影响进行建模。理解这些关系是最小化性能目标和满足严格的服务质量约束的关键。我们与Apache Flink一起实现了Chiron原型，并通过实验证明了它的有用性。
2021-02-11 cs.DC
PDSP-Bench: A Benchmarking System for Parallel and Distributed Stream Processing
本文提出PDSP-Bench基准测试系统，针对分布式异构环境中的并行流处理性能，支持集成机器学习模型，通过对Apache Flink的测试及成本模型比较，揭示并行性对性能的非线性等趋势。
2025-04-14 cs.DB cs.DC
CoCoS: Fast and Accurate Distributed Triangle Counting in Graph Streams
给定一个图流，我们如何使用多台机器和有限的存储来估计其中的三角形数量？具体来说，应该如何在机器上处理和采样边缘，以实现快速准确的估计？三角形的计数（即，大小为3的集团）已被证明在包括异常检测、社区发现和链接推荐的许多应用中是有用的。对于大型动态图中的三角形计数，最近的工作主要集中在流式算法和分布式算法上，但很少关注它们的组合，以实现“两全其美”。在这项工作中，我们提出了CoCoS，一种快速准确的分布式流算法，用于估计全局三角形的计数（即，所有三角形）和与每个节点关联的局部三角形。在输入流上进行一次传递，COCOS仔细地处理并存储多台机器上的边，以便最大限度地减少计算和存储资源的冗余使用。与基线相比，CoCoS（a）准确：估计误差最多小39倍，（b）快速：最多快10.4倍，随输入流的大小线性扩展，（c）理论上合理：产生无偏估计。
2021-02-27 cs.DB cs.DC cs.DS
An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Comsats Institute of Information Technology（COMSATS信息技术学院）
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源，同时通过实时传送和为所有观众提供适当的表示来最大化服务质量（QoS）是一个具有挑战性的问题。在我们的论文中，我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点，考虑延迟和质量约束，以保证最大的QoS观众和最小的成本为内容提供方。首先，我们提出了一个离线优化，决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次，我们使用机器学习来构建预测模型，该模型可以提前预测每个云站点要保留的近似转码资源。最后，我们开发了一个贪婪的最近和Chestion算法（GNCA）执行的资源分配的实时广播视频租用的资源。大量的模拟表明，GNCA优于众包直播流媒体的最先进的资源分配方法，在系统成本方面实现了超过20%的增益，同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
A Distributed Real-Time Recommender System for Big Data Streams
在当今数据驱动的世界中，推荐系统（RS）在支持决策过程中发挥着至关重要的作用。随着用户不断连接到互联网，他们变得越来越没有耐心，对RS提出的过时建议的容忍度也越来越低，例如，Netflix上的电影推荐或亚马逊上的书籍阅读。这反过来又要求不断培训登记系统，以应对数据的在线时尚以及用户品味和兴趣的不断变化，即概念漂移。流（在线）RS必须满足三个要求：持续的培训和推荐，处理概念漂移和扩展能力。流推荐系统在文献中提出的大多数，解决前两个要求，不考虑可扩展性。这是因为他们在一台机器上运行训练过程。这样的机器，无论它有多强大，最终都无法应对数据量，这是从大数据处理中吸取的教训。为了解决第三个挑战，我们提出了一个分裂和复制机制构建分布式流推荐系统。我们的机制受到了支持当代大数据处理系统的成功无共享架构的启发。我们已经将我们的机制，两个著名的在线推荐系统，即矩阵分解和基于项目的协同过滤方法。我们已经在Apache Flink上实现了我们的机制。我们进行了实验比较基线（单机）的方法与我们的分布式方法的性能。通过评估不同的数据集，已经观察到处理延迟、吞吐量和准确性的改善。我们的实验表明，在线召回提高了40%以上的内存消耗减少了50%。
2022-04-10 cs.DC
Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning
对分布式系统进行微调被认为是一项工艺，依赖于直觉和经验。当系统需要近乎实时的地做出反应时，这变得更具挑战性，因为流媒体引擎必须保持预先商定的服务质量指标。在本文中，我们提出了一种自动化方法，该方法基于监督和强化学习方法的组合，以根据先前的负载推荐最合适的杠杆配置。有了这个，流媒体引擎可以自动调整，而不需要人类来确定正确的方式和适当的时间来部署它们。这为今天尚未应用的新配置打开了大门，因为管理这些系统的复杂性已经超过了人类专家的能力。我们展示了强化学习系统如何在比人类更短的时间内找到更好的配置，并适应不断变化的工作负载。
2018-09-14 cs.DB cs.DC cs.LG
Theodolite: Scalability Benchmarking of Distributed Stream Processing Engines in Microservice Architectures
分布式流处理引擎的设计重点是可扩展性，以连续的方式处理大数据量。我们提出了经纬仪的方法基准的分布式流处理引擎的可扩展性。这种方法的核心是定义实现流处理的微服务必须满足的用例。对于每个用例，我们的方法识别可能影响用例可伸缩性的相关工作负载维度。我们建议为每个用例和相关的工作负载维度设计一个基准。我们提出了一个通用的基准测试框架，可以应用于执行给定用例和工作负载维度的各个基准测试。我们的框架为给定维度的不同工作负载和不同数量的处理实例执行用例的Cocklow架构的实现。通过这种方式，它可以确定资源需求如何随着工作负载的增加而变化。在本文的范围内，我们提出了4个确定的用例，来自处理工业物联网数据，以及7个相应的工作负载维度。我们提供了Kafka Streams和Apache Flink的4个基准测试的实现，以及在云环境中执行可扩展性基准测试的基准测试框架的实现。我们使用这两种方法来评估Theodolite方法，并对不同部署选项的Kafka Streams和Flink的可扩展性进行基准测试。
2021-02-11 cs.DC cs.PF cs.SE
Distributed Real-Time Sentiment Analysis for Big Data Social Streams
University of Jyväskylä（于韦斯屈莱大学）
大数据趋势迫使以数据为中心的系统具有连续的快速数据流。近年来，流数据的实时分析已经形成了一个新的研究领域，其目标是以可忽略的延迟回答关于正在发生的事情的查询。实时流数据处理的真正挑战是不可能存储数据实例，因此使用在线分析算法。为了执行实时分析，数据的预处理应该以仅将流的简短摘要存储在主存储器中的方式执行。此外，由于到达速度快，每个数据实例的平均处理时间应该是这样的，即传入实例不会在没有被捕获的情况下丢失。最后，学习者需要提供高分析准确性的衡量标准。Sentinel是一个用Java编写的分布式系统，旨在通过强制以分布式形式完成处理和学习过程来解决这一挑战。Sentinel建立在Apache Storm之上，这是一个分布式计算平台。Sentinels学习器（Vertical Hoeffding Tree）是一种基于VFDT的并行决策树学习算法，具有在分布式环境下实现并行分类的能力。Sentinel还使用SpaceSaving来保存数据流的摘要，并将其摘要存储在概要数据结构中。Sentinel在Twitter公共流API上的应用，并讨论了结果。
2016-12-27 cs.CL cs.DB cs.DC
Adaptive Processing of Spatial-Keyword Data Over a Distributed Streaming Cluster
具有GPS功能的智能手机的广泛使用以及微博和社交网络应用程序的普及，Twitter和Facebook已经导致了大量带有地理标签的文本数据流的生成。许多应用需要实时处理这些流。例如，基于位置的电子优惠券和广告定位系统使广告商能够向数百万用户注册数百万广告。用户数量通常非常高，他们不断移动，广告也经常变化。因此，向匹配的用户发送正确的广告是非常具有挑战性的。现有的流传输系统要么是集中式的，要么是没有空间关键字感知的，并且不能有效地支持快速到达的空间关键字数据流的处理。本文介绍了一个分布式空间关键字流处理系统Tornado。Tornado的特点是路由单元可以公平地分配工作负载，此外，还可以将数据对象和相应的查询放在同一个处理单元中。路由单元使用增强网格，一种新的结构，配备了一个有效的搜索算法，用于分发数据对象和查询。Tornado使用赋值器来处理查询的数据对象。路由单元通过在数据更新与任何查询不匹配时不发送数据更新进行处理来最小化冗余通信。通过应用动态评估的成本公式，连续表示每个评估器的处理开销，Tornado可以适应工作负载的变化。广泛的实验评估使用空间文本范围查询真实的Twitter数据表明，龙卷风优于非空间文本感知的方法高达两个数量级的整体系统吞吐量。
2017-09-08 cs.DC
DataX: A system for Data eXchange and transformation of streams
智能传感器的指数增长和5G网络的快速发展正在创造一个充满数据流的世界。然而，构建高性能多传感器分布式流处理应用的一个关键障碍是高编程复杂性。我们提出DataX，一个新的平台，提高程序员的生产力，使易于交换，转换和融合的数据流。DataX抽象简化了应用程序的规范，并公开了应用程序功能（微服务）之间的并行性和依赖性。DataX运行时自动设置适当的数据通信机制，支持跨应用程序轻松重用微服务和数据流，并利用无服务器计算来转换、融合和自动扩展微服务。DataX使大规模分布式应用程序的编写、部署和可靠运行变得容易。将这些功能综合到一个平台中比任何可用的流处理系统都更具变革性。
2021-11-09 cs.DC
Video Streaming in Distributed Erasure-coded Storage Systems: Stall Duration Analysis
各行业对全球视频的需求一直在蓬勃发展。随着视频流媒体服务的扩展和改进，基于云的视频正在演变为任何成功企业的必要功能，以接触内部和外部受众。本文认为，视频流在分布式系统中的视频片段编码使用纠删码更好的可靠性，从而成为第一个工作，我们最好的知识，认为视频流在纠删编码的分布式云系统。每个视频片段的每个编码块的下载时间被表征，并且在擦除编码块的选择上的有序统计被用于获得不同视频片段的回放时间。使用回放时间，对失速持续时间的矩母函数的界限被用来界定平均失速持续时间。基于矩生成函数的有序统计量的界限也被用来界定失速持续时间尾部概率，该概率确定失速时间大于预定义的数字的概率。这两个度量，平均停顿持续时间和停顿持续时间尾部概率，是终端用户的重要体验质量（QoE）度量。基于这些指标，我们制定了一个优化问题，以联合最小化的凸组合的QoE指标平均在所有请求的放置和访问的视频内容。非凸问题的解决使用一个有效的迭代算法。数值结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-26 cs.DC cs.IT cs.MM
Evaluation of Load Prediction Techniques for Distributed Stream Processing
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Technische Universität Berlin（柏林工业大学）
分布式流处理（DSP）系统能够处理大的连续数据流，以接近实时的产生结果。它们是许多数据密集型应用程序和分析平台的重要组成部分。事件到达DSP系统的速率可能随时间变化很大，这可能是由于数据流中的趋势、周期和季节性模式。传入工作负载的先验知识使资源管理和优化任务（例如动态缩放、资源的实时迁移以及运行时配置参数的调整）的主动方法成为可能，从而带来潜在的更好的服务质量。在本文中，我们进行了全面的评估，不同的负载预测技术的DSP工作。我们确定了三个用例，并制定了特定于DSP作业的负载预测要求。自动优化的经典和深度学习方法正在典型DSP领域的九个不同数据集上进行评估，即物联网，Web 2.0和集群监控。我们比较了模型在整体准确性和训练持续时间方面的性能。我们的研究结果表明，深度学习方法为大多数评估数据集提供了最准确的负载预测。
2021-08-10 cs.AI cs.DC
To Migrate or not to Migrate: An Analysis of Operator Migration in Distributed Stream Processing
数据流处理系统中最重要的问题之一是使用操作员迁移以具有成本效益的方式处理高度可变的工作负载，并根据需要在任何给定时间适应需求。操作符迁移是一个复杂的过程，涉及到正在运行的查询的状态和流管理的更改，通常不会丢失任何数据，并且尽可能少地中断执行。本调查从历史角度以及迁移目标的角度概述了运营商迁移的解决方案。它引入了操作员迁移的概念模型，以建立统一的术语和分类现有的解决方案。现有的工作在该领域进行了分析，迁移的机制从迁移数据的决定。在后一种情况下，强调成本效益分析，这对运营商迁移很重要，但往往只是隐含地解决，或完全被忽视。对可用解决方案的描述使读者从算法的角度对设计方案有了很好的理解。我们补充这一点的实证研究，提供定量的见解不同的设计方案的迁移机制的影响。
2022-03-07 cs.DC
ShuffleBench: A Benchmark for Large-Scale Data Shuffling Operations with Distributed Stream Processing Frameworks
本文提出新型基准测试程序ShuffleBench，用于评估分布式流处理框架的数据shuffle性能，它高度可配置、开源且支持四款主流框架，实验显示Flink吞吐量最高、Hazelcast延迟最低。
2024-03-07 cs.DC cs.SE
Stream-based Decentralized Runtime Verification
工业控制系统（ICS）通常由地理上分布的组件构建，并且通常使用可编程逻辑控制器用于本地化过程。由于这种系统的验证是具有挑战性的，因为这两个时间敏感性的系统规范和分布式组件的固有的安全性，开发运行时保证，不仅验证不同的组件的正确性，而且还生成汇总的系统的统计数据是感兴趣的。在本文中，我们首先提出了一个通用的技术，用于分布式应用程序的运行时监控，其行为可以建模为输入/输出{ \em流}与内部计算模块的部分同步语义，其中一个不完美的时钟同步算法是假设。其次，我们提出了一个广义的基于流的分散运行时验证技术。我们还严格评估我们的算法广泛的合成实验和几个ICS和飞机SBS消息数据集。
2023-01-30 cs.DC cs.FL
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
CUTTANA: Scalable Graph Partitioning for Faster Distributed Graph Databases and Analytics
针对大规模图无法单存、现有流式划分质量低的问题，提出带缓冲、粗化细化技术的CUTTANA流式划分器，在保证延迟相当的同时提升划分质量，优化图分析与数据库性能。
2024-12-10 cs.DB cs.DC
A Utilization Model for Optimization of Checkpoint Intervals in Distributed Stream Processing Systems
最先进的分布式流处理系统，如Apache Flink和Storm，最近包括检查点，为有状态应用程序提供容错。这是一个必要的可能性，因为这些系统的头部到Exascale政权，显然是更有效的比复制状态大小的增长。然而，当前的系统使用检查点间隔的标称值，其指示假设大约每19天1次故障，其没有考虑检查点过程的突出方面，也没有考虑系统规模，这可能容易导致低效的系统操作。为了解决这个缺点，我们提供了一个严格的推导利用率-总时间的一部分，可供系统做有用的工作-，其中包括检查点间隔，故障率，检查点成本，故障检测和重启成本，深度的系统拓扑结构和消息延迟。我们的模型产生了一个优雅的表达式的利用率，并提供了一个最佳的检查点间隔给定这些参数，有趣的是，它只依赖于检查点的成本和故障率。我们通过使用Apache Flink进行实验来确认我们模型的准确性和有效性，在每种情况下，我们都可以提高系统利用率，特别是随着系统大小的增加。我们的模型提供了一个坚实的理论基础，更详细的检查点方法的分析和优化。
2019-11-27 cs.DC
Adaptive Normalization in Streaming Data
在当今的数字时代，数据无处不在，从物联网到医疗保健或金融应用。这导致了潜在的无限增长的大数据流，需要有效地利用它。数据规范化是数据分析的重要预处理技术。它有助于防止错误建模并降低数据中固有的复杂性，特别是对于从多个源和上下文集成的数据。大数据流的规范化是具有挑战性的，因为不断发展的不一致性，时间和内存的限制，以及整个数据的不可用事先。提出了一种分布式的大数据流自适应规范化方法。使用固定大小的滑动窗口，它提供了一种简单的机制来调整统计数据，以规范每个窗口中的变化数据。实现Apache风暴，一个分布式实时流数据框架，我们的方法利用分布式数据处理高效规范化。与针对特定用途（例如，分类），我们没有。此外，我们的自适应机制允许灵活的控制，通过用户指定的阈值，时间和精度之间的归一化权衡。本文阐述了我们提出的方法以及其他一些技术和实验的合成和真实世界的数据。从我们提出的方法中获得的归一化数据，在160，000个数据流实例上，与实际数据相比，基线提高了89%，均方根误差为0.0041。
2019-10-17 cs.DC
Justin: Hybrid CPU/Memory Elastic Scaling for Distributed Stream Processing
Justin是一种针对分布式流处理的混合CPU/内存自动伸缩器，通过细粒度内存分配和压力感知策略，在Apache Flink中实现，以更少资源支持目标速率。
2025-05-26 cs.DC
Online Machine Learning in Big Data Streams
Institute for Computer Science and Control, Hungarian Academy of Sciences（匈牙利科学院计算机科学与控制研究所）
大数据流中的在线机器学习领域涵盖了（1）分布式算法和（2）从数据流中工作的算法，只有有限的可能性存储过去的数据。第一个要求主要涉及软件架构和有效的算法。第二个也对建模方法施加了重要的理论限制：在数据流模型中，随着新数据的到来，旧数据不再可用于修改早期的次优建模决策。在这篇文章中，我们提供了分布式软件架构和库以及用于在线学习的机器学习模型的概述。我们强调的分类，回归，推荐和无监督建模流数据的最重要的想法，我们展示了它们是如何实现在各种分布式数据流处理系统。这篇文章是一份参考资料，而不是一份调查。我们并不试图全面描述所有现有的方法和解决方案;相反，我们给出了该领域最重要的资源。所有相关的子领域，在线算法，在线学习和分布式数据处理在当前的研究和开发中占主导地位，在撰写本文时出现了概念上新的研究成果和软件组件。在本文中，我们参考了几个调查结果，包括分布式数据处理和在线机器学习。与过去的调查相比，我们的文章是不同的，因为我们讨论推荐系统的扩展细节。
2018-02-16 cs.DC cs.LG stat.ML
DSCEP: An Infrastructure for Distributed Semantic Complex Event Processing
今天，由于收集数据的手段的出现，大多数应用程序都以流的形式不断产生信息。传感器和社交网络从不同的现实生活情况中以相当快的速度收集大量的数据。越来越多的应用程序需要处理来自不同来源的异构数据流以及大量的背景知识。仅使用数据流上的信息对于许多用例来说是不够的。语义复杂事件处理（Semantic Complex Event Processing，CEP）系统是在经典的基于规则的CEP系统基础上发展起来的，它将高层知识表示和RDF流处理结合起来，同时利用数据流和背景静态知识。此外，CEP方法缺乏语义解释和分析数据的能力，这是语义CEP（SCEP）试图解决的问题。SCEP有几个局限性;其中之一与其高处理时间有关。本文提供了一个概念模型和实现的分布式SCEP的基础设施，其中每个SCEP运营商可以处理部分数据，并将其发送到其他SCEP运营商，以实现一些答案。我们表明，通过分裂的RDF流处理和背景知识使用SCEP运营商的概念，有可能大大减少处理时间。
2020-02-14 cs.DB cs.DC
Railgun: streaming windows for mission critical systems
一些关键任务系统（如欺诈检测）需要在要求高吞吐量和低延迟的应用程序上的长时间窗口内提供准确的实时指标。由于这些应用程序需要“永远”运行，应对大量和尖峰数据负载，因此它们还需要在分布式环境中运行。毫不奇怪，我们不知道任何分布式流媒体系统提供所有这些属性。相反，现有的系统进行了大量的简化，例如将滑动窗口实现为一组固定的部分重叠窗口，从而危及度量准确性（违反金融监管规则）或延迟（违反服务协议）。在本文中，我们提出了Railgun，一个容错的，弹性的，分布式的流媒体系统，支持实时滑动窗口的情况下，需要高负载和毫秒级的延迟。我们使用真实数据对Railgun的初始原型进行了基准测试，显示出比Flink显著更低的延迟，以及与窗口大小无关的低内存使用。
2020-11-10 cs.DB cs.DC
