Research on the Application of Spark Streaming Real-Time Data Analysis System and large language model Intelligent Agents
Ferret Relationship Intelligence（费雷特关系智能公司）；China Telecom Shanghai Company（中国电信上海公司）
本研究提出结合Agent AI与LangGraph构建基于Spark Streaming和Kafka的实时情感分析系统，通过动态工作流与人在回路机制提升大数据环境下的决策灵活性与可靠性。
2024-12-10 cs.AI cs.DC
System-aware dynamic partitioning for batch and streaming workloads
当处理具有高度偏斜和非平稳密钥分布的数据流时，当哈希分区无法正确平衡数据时，我们经常会观察到过载的分区。为了避免延迟整个计算阶段完成的缓慢任务，有必要应用自适应的动态分区，该分区在给定观察到的密钥分布的情况下连续重新计算最佳分区器。虽然存在用于静态数据集的批处理和无状态流处理的这样的解决方案，但是对于密钥分布随时间改变的长时间运行的有状态流传输作业，该任务是困难的。仔细的检查点和操作员状态迁移对于在操作运行时更改分区是必要的。我们的主要成果是一个轻量级的动态重新分区（DR）模块，用于分布式数据处理系统（DDPS），包括Apache Spark和Flink，它以可忽略的开销提高了性能。DR可以使用我们的Key Isolator Partitioner（KIP）在执行过程中自适应地重新分区数据。在我们对真实工作负载和幂律分布的实验中，对于各种Spark和Flink作业，我们达到了1.5-6的加速比。
2021-05-31 cs.DC
Empirical Analysis of Lifelog Data using Optimal Feature Selection based Unsupervised Logistic Regression (OFS-ULR) Model with Spark Streaming
IIIT Allahabad（阿拉哈巴德印度信息技术学院）
普适医疗监测系统领域的最新进展导致实时生成大量的生活日志数据。慢性病是发展中国家和发达国家最严重的健康挑战之一。据世卫组织统计，这占所有死亡人数的73%，占全球疾病负担的60%。慢性病分类模型现在正在利用生活日志数据的潜力来探索更好的医疗保健实践。建立一种基于最优特征选择的无监督Logistic回归模型（OFS-ULR），用于慢性病分类。由于生活日志数据分析是至关重要的，由于其敏感的性质，因此传统的分类模型表现出有限的性能。因此，利用生活日志数据设计新的分类器对慢性病进行分类是时代的需要。建立一个好的模型的关键部分取决于数据集的预处理，识别重要特征，然后用合适的超参数训练学习算法以获得更好的性能。所提出的方法使用一系列步骤来改进现有方法的性能，例如（i）去除冗余或无效实例，（ii）使用聚类标记数据并将数据划分为类，（iii）通过应用一些领域知识或选择算法来识别合适的特征子集，（iv）超参数调整模型以获得最佳结果，以及（v）使用Spark流式传输环境的性能评估。为此，在实验中使用两个时间序列数据集来计算准确率、召回率、精确率和f1分数。实验分析证明了所提出的方法的适用性相比，传统的分类器和我们的新构建的模型取得了最高的准确性和降低了训练的复杂性之间的所有。
2022-04-12 cs.DC cs.LG
Collaborative Reuse of Streaming Dataflows in IoT Applications
分布式流处理系统（DSPS），如Apache Storm和Spark Streaming，可以组成持续在数据流上执行的连续流。物联网（IoT）应用程序使用它们来分析来自智能城市网络基础设施的传感器数据，并做出积极的公用事业管理决策。随着利用共享城市传感器流的物联网应用生态系统的不断发展，应用程序将执行重复的预处理和分析任务。这提供了协作重用重叠流程的产出的机会，从而提高了资源效率。在本文中，我们提出了\emph{dataflow reuse algorithms}，给定一个提交的流，识别可重用的任务和流的交集从一个集合的运行流，形成一个\emph{merged dataflow}。还提出了类似的算法，以unmerge的波纹时，他们被删除。我们为流行的Apache Storm DSPS实现了这些算法，并基于具有不同到达和离开分布的公共OPMW工作流以及来自RIoTBench的21个真实物联网路由器，验证了35个合成路由器的性能和资源节省。
2017-09-11 cs.DC
Performance Characterization and Modeling of Serverless and HPC Streaming Applications
实验在环计算（EILC）需要支持多种类型的处理和在动态范围内管理异构基础设施：从边缘到云和HPC以及中间资源。无服务器是一种新兴的服务，它将高级中间件服务（如用于管理任务的分布式执行引擎）与低级基础设施相结合。它提供了可用性和可伸缩性的潜力，但增加了管理异构和动态资源的复杂性。作为回应，我们扩展了Pilot-Streaming以支持无服务器平台。Pilot-Streaming为HPC、云和无服务器的资源管理提供了统一的抽象，并独立于应用程序工作负载分配资源容器，从而无需编写特定于资源的代码。了解流应用程序和基础设施的性能和扩展特性是EILC面临的另一个挑战。StreamInsight可深入了解流媒体应用程序和基础设施的性能、选择、配置和扩展行为。StreamInsight的基础是通用的可伸缩性定律，它允许准确量化流应用程序的可伸缩性属性。通过在HPC和AWS Lambda上的实验，我们证明了StreamInsight为各种应用程序特性提供了准确的模型，例如，机器学习模型大小和资源配置。
2019-09-13 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网（IoT）的发展，分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发，是一个广泛使用的流处理引擎，其他包括Flink，Spark流。为了保证流媒体应用的成功运行，需要知道流媒体应用的最优资源需求，而过高的资源估计会增加额外的成本，因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中，我们提出了一个模型驱动的方法调度流应用程序，有效地利用先验知识的应用程序提供可预测的调度行为。具体来说，我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外，这种直觉还驱动资源映射，并有助于缩小估计和实际的低性能和资源利用率。总之，这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
Neural-based Modeling for Performance Tuning of Spark Data Analytics
Ecole Polytechnique（巴黎综合理工学院）；University of Massachussets at Amherst（马萨诸塞大学阿默斯特分校）
云数据分析已成为企业业务运营中不可或缺的一部分，用于数据驱动的洞察力发现。云数据分析的性能建模对于性能调优和云中的其他关键操作至关重要。传统的建模技术无法适应该领域中工作负载和系统行为的高度多样性。在本文中，我们将最新的深度学习技术用于云数据分析的自动化性能建模过程，重点关注Spark数据分析作为代表性工作负载。我们工作的核心是学习工作负载嵌入（具有一组所需属性）的概念，以表示不同作业的基本计算特性，当与控制资源分配和其他系统旋钮的作业配置一起使用时，可以进行性能预测。我们的工作提供了适合我们要求的不同建模选择的深入研究。广泛的实验结果揭示了不同建模方法的优势和局限性，以及我们最好的性能方法优于最先进的云分析建模工具的优越性能。
2021-01-20 cs.DB cs.DC cs.LG
Fault Tolerance for Stream Processing Engines
KTH Royal Institute of Technology（瑞典皇家理工学院）
本综述研究分布式流处理引擎（DSPEs）的容错问题，分析2016年先进流处理引擎的容错技术，归类为主动复制等三类方法，探讨其对不同流应用需求的影响，还修正原稿并总结后续发展。
2026-10-21 cs.DC
Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services
高质量的视频流，无论是视频点播（VOD）还是直播流，通常都需要转换（即转码）视频流，以匹配观众设备的特性（例如，在空间分辨率或支持的格式方面）。考虑到转码操作的计算成本和视频流传输需求的激增，流传输服务提供商（SSP）变得依赖于云服务来保证其观众的流传输的服务质量（QoS）。云提供商以不同类型的虚拟机（VM）的形式提供异构计算服务，价格也各不相同。有效利用云服务进行视频转码需要对异构云虚拟机上的不同视频转码操作进行详细的性能分析。在这项研究中，第一次，我们提供了一个全面的分析异构云虚拟机上的视频流转码的性能。提供这样的分析对于高效预测异构VM上的转码时间以及任何针对视频转码定制的调度方法的功能至关重要。基于此分析的结果，并考虑到异构云虚拟机的成本差异，在这项研究中，我们还提供了一个模型来量化各种转码任务的每种云虚拟机类型的适用程度。所提供的模型可以提供具有准确的性能和成本权衡的资源（VM）供应方法，以有效地利用云服务进行视频流传输。
2018-09-18 cs.DC
Modeling, Analysis, and Hard Real-time Scheduling of Adaptive Streaming Applications
在实时的【形】系统中，应用程序的行为必须在编译时是可预测的，以保证时间约束。然而，由于在运行时的模式切换而表现出自适应行为的现代流应用可能由于在模式转换期间应用的未知行为而降低系统可预测性。因此，在模式转换过程中进行适当的时间分析是保持系统可预测性的必要条件。为此，在本文中，我们首先介绍模式感知数据流（MADF），这是我们的新的可预测的计算模型（MoC），有效地捕捉自适应流应用程序的行为。然后，作为MADF的操作语义的重要组成部分，我们提出了最大重叠偏移（MOO），这是我们的新协议的模式转换。该转换协议的主要优点在于，与自定时转换协议相比，它避免了模式转换时模式之间的定时干扰。因此，任何模式转换都可以独立于过去发生的模式转换进行分析。基于这个过渡协议，我们提出了一个硬实时分析，以及保证定时约束，避免处理器过载模式转换过程中。因此，使用该协议，我们可以推导出一个下限和上限的最早开始时间的任务在新的模式在模式转换的方式，硬实时的【形】约束的尊重。
2018-07-12 cs.DC
Quantitative Impact Evaluation of an Abstraction Layer for Data Stream Processing Systems
随着对处理不断增长的数据量的需求，已经开发了各种新的数据流处理框架。将实现从一个这样的系统移动到另一个这样的系统，例如，出于性能原因，需要使现有应用程序适应新接口。Apache Beam通过提供一个抽象层来解决这些高替代成本，该抽象层允许在任何支持的流框架上执行程序。在本文中，我们提出了一种新的基准架构，用于比较使用Apache Beam对三种流媒体框架的性能影响：Apache Spark Streaming，Apache Flink和Apache Apex。我们发现，在调查的系统中使用Apache Beam进行应用程序开发时，性能会受到显着影响。总的来说，使用Apache Beam进行检查流应用程序会导致查询执行时间的差异很大，与没有抽象层的查询相比，查询执行时间的延迟高达58倍。所有开发的基准工件都是公开的，以确保可重复的结果。
2019-07-18 cs.DC cs.PF
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream，它确保有限的延迟，同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制：（1）动态查询和（2）动态操作级查询规划。通过控制微批量大小，LMStream显著降低了单个数据集的延迟，因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外，LMStream提出了一种低开销的在线模型参数优化方法，而不中断实时流处理。我们在Apache Spark上实现了LMStream，它支持微批流处理。与以前的面向吞吐量的方法相比，LMStream的平均延迟最高可提高70.7%，而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
Resource- and Message Size-Aware Scheduling of Stream Processing at the Edge with application to Realtime Microscopy
虽然可以利用云边缘的计算资源来改善延迟并降低各种移动，Web和IoT应用程序的云服务成本，但这些资源自然受到限制。对于分布式流处理应用程序，将一些处理工作卸载到云边缘有明显的优势。许多最先进的流处理应用程序，如Flink和Spark Streaming，被设计为专门在云中运行，不适合这种混合边缘/云部署设置，尤其是因为它们的制造商对这种部署中的异构硬件考虑有限。特别地，它们的路由器广泛地假设同构网络拓扑（除了数据局部性考虑，例如，HDFS/Spark）。专门用于这种混合部署场景的流处理框架，特别是物联网应用程序，允许开发人员手动将管道中的特定运营商分配给云边缘的节点。在本文中，我们研究了在混合云/边缘部署环境中对CPU成本和消息大小敏感的调度流处理，目的是最大化有限边缘资源的吞吐量。我们演示了电子显微镜图像流的实时边缘处理，并根据我们的方法与资源不可知的基线调度程序，在基准测试下，测量端到端延迟的一致减少。
2019-12-19 cs.DC
Performance Modeling of Streaming Kernels and Sparse Matrix-Vector Multiplication on A64FX
A64 FX CPU是目前Top500排行榜上排名第一的超级计算机。虽然它是一个传统的基于缓存的多核处理器，但其峰值性能和内存带宽可与加速器设备相媲美。为这样一个新的体系结构生成高效的代码需要很好地理解其性能特性。利用这些功能，我们构建的执行缓存存储器（ECM）的性能模型的A64 FX处理器在FX 700超级计算机，并验证它使用流循环。我们还确定架构的特点，并获得优化提示。将ECM模型应用于稀疏矩阵向量乘法（SpMV），我们激发了CRS矩阵存储格式不合适的原因以及SELL-C-sigma格式如何通过适当的代码优化实现SpMV的带宽饱和。
2020-09-29 cs.AR cs.DC cs.PF
A survey of systems for massive stream analytics
数据的巨大增长要求从传统的数据处理解决方案切换到可以处理连续实时的数据流的系统。各种应用程序采用流处理系统来为新兴的大数据问题提供解决方案。Storm、Spark Streaming和S4等开源解决方案试图回答关键的流处理问题。最近推出的实时的流处理商业解决方案，如Amazon Kinesis，IBM Infosphere Stream，反映了行业需求。处理大量实时的数据流分析的系统和应用程序相关挑战是一个活跃的研究领域。在本文中，我们提出了一个比较分析现有的国家的最先进的流处理解决方案。我们还包括各种应用领域，这些应用领域正在转变其业务模式，以从这些大规模流处理系统中受益。
2016-06-04 cs.DC
Big Data application in congestion detection and classification using Apache spark
Iowa state university（爱荷华州立大学）
随着大数据时代的到来，现在可以获得爆炸性的信息量。学术界和工业界大数据的巨大增长需要大规模的数据处理系统。大量的研究都在优化Spark的性能，使其成为最先进的快速通用数据处理系统。许多科学和工程领域都随着大数据分析而进步，例如生物学，金融和交通运输。智能交通系统（ITS）的普及和直接受益于丰富的信息。其目标是通过减少拥堵和事故来改善交通网络的安全和管理。实现这一目标的第一步是更好地理解、建模和高效地检测网络中的拥塞。在这项研究中，我们引入了一个有效的拥塞检测模型。基础网络由I-35、I-80、I-29和I-380高速公路的3017个路段组成，总长1570英里，平均每段（0.4-0.6）英里。拥塞检测结果表明，该方法的准确率为90%，计算时间减少了99.88%。
2021-01-16 cs.DC cs.LG
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
如今，一些软件系统依赖于流处理架构来提供可扩展的性能并近实时地处理大量数据。流处理框架通过将应用程序的执行分布在多台机器上来促进可伸缩计算。尽管性能被广泛研究，容错的测量-流处理框架提供的一个关键功能-仍然没有得到适当的测量更新和全面的测试床。此外，故障恢复对性能的影响大多被忽略。本文提供了一个全面的故障恢复性能，稳定性和恢复时间在云原生环境与现代开源框架，即Flink，Kafka流，和火花结构化流的分析。我们的基准分析的灵感来自混沌工程注入故障。一般来说，我们的研究结果表明，有很大的变化相比，以前的研究在分布式流处理的故障恢复。特别是，结果表明，Flink是最稳定的，并具有最好的故障恢复之一。此外，Kafka Streams在失败后表现出性能不稳定性，这是由于其当前的重新平衡策略在负载均衡方面可能是次优的。Spark Structured Streaming显示了适当的故障恢复性能和稳定性，但具有更高的事件延迟。我们的研究旨在（i）帮助行业从业者选择最合适的流处理框架，以有效和可靠地执行数据密集型应用程序;（ii）支持研究人员应用和扩展我们的研究方法以及我们的基准;（iii）识别，预防和协助解决生产部署中的潜在问题。
2024-05-29 cs.DC cs.SE
Anomaly Detection for Network Connection Logs
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）；European Organisation for Nuclear Research（欧洲核子研究组织）
我们利用基于ELK、Spark和Hadoop的流架构，以近乎实时的方式收集、存储和分析数据库连接日志。该系统使用无监督学习调查离群值;日志数据的广泛采用的聚类和分类算法，通过离群值的可视化突出每个模型中的细微变化。到达一个新的解决方案来评估未标记的，未经过滤的连接日志，我们提出了一种方法，可以外推到一个通用的系统，分析连接日志在一个大型的基础设施，包括数千个单独的节点，并产生数百行日志每秒。
2018-12-01 cs.DC cs.LG stat.ML
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
How Reliable is Your Service at the Extreme Edge? Analytical Modeling of Computational Reliability
Queen’s University（女王大学）
本文提出了一种分析框架，用于评估极端边缘计算中计算可靠性的概率，通过两种信息模式推导闭合形式表达式，并验证了在多设备部署中的有效性。
2026-02-18 cs.DC cs.NI cs.SY
