AgileDART: An Agile and Scalable Edge Stream Processing Engine
针对传统数据处理系统难以适配边缘应用低延迟、高并发、环境异构动态的问题，提出AgileDart边缘流处理引擎，通过动态数据流抽象和老虎机路径规划模型，相较现有方案在延迟、扩展性和适应性上表现更优。
2025-07-29 cs.DB cs.DC
Designing a Real-Time IoT Data Streaming Testbed for Horizontally Scalable Analytical Platforms: Czech Post Case Study
企业级物联网（IoT）应用需要实时的【形】水平可扩展的数据处理平台，这是一个不断增长的趋势。从传感器网络接收数据流实时的【形】处理平台（例如，自动驾驶和联网车辆、企业和家庭的智能安全、智能手表、健身追踪器和其他可穿戴设备）需要分布式MQTT代理。本案例研究介绍了为捷克邮政准备的物联网数据流测试平台。该平台已达到每24小时200万条信息（包括短信和电子邮件）的吞吐量要求。经过测试的MQTT代理运行在水平可扩展测试平台的单个虚拟节点上。不久，捷克邮政将对其电子服务进行现代化改造，以增加符合电子商务和电子政务需求的包裹递送。所提出的测试平台满足所有要求，它也是每秒处理数千条消息的能力。所提出的平台和概念可转移到医疗保健系统，交通运营，汽车行业和其他领域，如智能城市。
2021-12-10 cs.DC cs.SE
A Scalable and Robust Framework for Data Stream Ingestion
构建数据驱动型组织的一个重要部分是能够处理和处理连续的数据流，以发现可操作的见解。互联设备和社交网络的爆炸式增长导致了大量数据的持续生成。股票报价、信用卡交易、趋势新闻、交通状况、时间敏感的患者数据等流数据源不仅非常常见，而且如果不快速处理，可能会迅速贬值。数据率的不断增加的量和高度不规则的性质对数据流处理系统提出了新的挑战。其中一个具有挑战性但重要的任务是如何准确地摄取来自各种来源和位置的数据流并将其集成到分析平台中。这些挑战要求新的策略和系统能够在处理故障时提供所需的可扩展性和鲁棒性。本文研究了现有数据流摄取系统的基本需求和技术现状，提出了一种可扩展的容错数据流摄取和集成框架，该框架可以作为一个可重用的组件，跨给定平台上的结构化和非结构化输入数据的多个馈送，并在一个真实的案例中展示了该框架的实用性-世界数据流处理案例研究，集成了Apache NiFi和Kafka，用于处理来自全球各地的高速新闻文章。该研究还确定了未来研究开发大规模数据流处理基础设施的最佳实践和差距。
2018-12-11 cs.DC
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）；Johannes Kepler University（约翰内斯·开普勒大学）；La Trobe University（乐卓博大学）；Universitas Muhammadiyah Malang（玛琅穆罕默迪亚大学）
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本，使得部署完全监督算法不可行。另一方面，半监督的大规模数据流的问题很少在文献中探讨，因为大多数作品都是在传统的单节点计算环境中设计的，同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络（WeScatterNet），以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的，采用无数据模型融合策略，在并行计算阶段后进行模型压缩。它具有一个开放的网络结构，以解决全球和本地漂移的问题，同时集成了数据增强，注释和自动校正（$DA^3$）的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估，在六个大规模的数据流问题，只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比，它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
A Scalable Data Streaming Infrastructure for Smart Cities
智慧城市可以为市民提供的许多服务都依赖于其基础设施的能力，这些基础设施能够实时的收集和处理部署在城市中的传感器产生的大量连续数据。在本文中，我们介绍了我们在HERMES项目的背景下设计的服务器基础设施，以收集来自传感器的数据，并将其聚合成流，用于智能城市的服务。
2017-03-08 cs.DC
Scalable and Reliable Multi-Dimensional Aggregation of Sensor Data Streams
不断增加的数据量和对实时的处理它们的要求导致越来越多的分析平台和软件系统根据流处理的概念进行设计。一个常见的应用领域是处理来自传感器的连续数据流，例如物联网设备或性能监控工具。除了分析纯传感器数据之外，通常还需要对传感器组的数据进行分析。因此，各个传感器的数据流必须被连续地聚合成用于组的数据流。出于现实世界中的应用场景，我们建议，这样的流聚合方法必须允许聚合传感器在分层组中，支持多个这样的层次结构并行，在运行时提供重新配置，并保持应用流处理技术引起的可扩展性和可靠性质量。我们提出了一个满足这些要求的流处理架构，可以集成到现有的大数据架构中。我们提出了一个试点实施这样一个扩展的架构，并显示它是如何在工业中使用。此外，在实验评估中，我们表明，我们的解决方案的规模与传感器的数量呈线性关系，并提供足够的可靠性，在故障的情况下。
2019-11-15 cs.DC cs.SE
FluxSieve: Unifying Streaming and Analytical Data Planes for Scalable Cloud Observability
Dynatrace Research（Dynatrace 研究）
FluxSieve通过统一流式与分析数据平面，实现高并发下查询性能的显著提升，同时保持低存储和计算开销。
2026-03-05 cs.DB cs.DC cs.PF
Safe, Seamless, And Scalable Integration Of Asynchronous GPU Streams In PETSc
本文针对GPU异步流难以集成到通用库的问题，列举了库作者面临的困难并提出解决方案，为PETSc设计了统一的异步编程模型，在保持易用性的同时展现了广泛的性能优势。
2023-06-30 cs.DC cs.PF cs.SE
A User-oriented Portable, Reproducible, and Scalable Software Ecosystem
HPE HPC/AI EMEA Research Lab（惠普高性能计算/人工智能欧洲中东非洲研究实验室）；EDF Lab Paris Saclay（法国电力集团巴黎萨克雷实验室）
本文针对科学家在多样硬件上做研究的情况，提出一种软件生态系统，通过模块化、统一命令行界面，让用户在不同资源上有相同开发环境运行工作流，已在项目中成功测试且可扩展至其他项目。
2026-07-22 cs.DC
ScaDLES: Scalable Deep Learning over Streaming data at the Edge
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对边缘流数据在线训练的系统与统计异构性、带宽受限等问题，提出ScaDLES框架，解决非IID数据与流速率差异难题，收敛速度较传统分布式SGD最高提升3.29倍。
2024-01-29 cs.DC cs.LG cs.NI
Mercury: A modeling, simulation, and optimization framework for data stream-oriented IoT applications
本文提出Mercury框架，通过位置感知建模、仿真与优化方法分析实时雾计算场景的规模与动态运行，支持数据流分析和FaaS计算卸载，并基于DEVS形式化验证，通过驾驶辅助真实轨迹案例验证其有效性。
2023-11-02 cs.DC
Harnessing Scalable Transactional Stream Processing for Managing Large Language Models [Vision]
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 TStreamLLM 框架，将事务流处理与 LLM 管理结合，以支持高并发、低延迟的持续更新与调用，并通过医疗和交通场景阐明研究路线。
2023-07-17 cs.AI cs.DB cs.DC
STRETCH: Virtual Shared-Nothing Parallelism for Scalable and Elastic Stream Processing
流处理应用程序通过数据分析任务的有向无环图从原始数据中提取价值。无共享（SN）并行是扩展流处理应用的事实标准。给定一个应用程序，SN并行实例化每个分析任务的几个副本，使每个实例负责整个分析的专用部分，并依赖于专用队列在连接的实例之间交换数据。一方面，SN并行性可以向上和向外扩展应用程序的执行，因为线程可以在进程/节点内和跨进程/节点运行任务实例。另一方面，它缺乏共享可能会导致不必要的开销，并阻碍扩展时，线程操作的数据，可以共同访问共享内存。这种权衡促使我们研究一种流处理应用程序利用共享内存并增强扩展（在横向扩展之前）的方法，同时坚持流处理应用程序广泛采用的基于SN的API。我们介绍了STRETCH，一个框架，最大限度地扩大规模，并提供即时的弹性重新配置（无状态转移）的流处理应用程序。我们提出了虚拟无共享（VSN）的并行性和弹性的概念，并提供了正式的定义和正确性证明的语义分析任务支持的STRETCH，显示他们扩展了常见的流处理引擎。我们还提供了一个完全实现的原型，并表明STRETCH的性能超过了最先进的框架，如Apache Flink，并提供了前所未有的超快重新配置，即使在配置数十个新任务实例时也不到40毫秒。
2022-04-29 cs.DC
Big Data Analytic based on Scalable PANFIS for RFID Localization
RFID技术已经得到普及，以解决本地化问题，在制造车间，由于其负担得起的，易于部署。该技术用于跟踪制造对象的位置，以提高生产效率。然而，用于定位任务的数据是不容易分析，因为它是从非平稳环境中产生的。它还随着时间的推移不断到达并产生大量数据。因此，需要先进的大数据分析来克服这个问题。提出了一种基于PANFIS（Scalable PANFIS）的分布式大数据分析框架，其中PANFIS是一种进化算法，具有单遍学习数据流的能力。可扩展的PANFIS可以通过处理数据流的多个块/分区来学习大数据流。可扩展的PANFIS还配备了规则结构合并，以消除规则之间的冗余。可扩展的PANFIS通过测量其与单个PANFIS和其他Spark可扩展机器学习算法的性能来验证。实验结果表明，可扩展的PANFIS的运行时间比单一的PANFIS快20倍以上。Scalable PANFIS中的规则合并过程表明，分类任务的准确率没有显着下降，准确率为96.67%，而单个PANFIS的准确率为98.71%。可扩展的PANFIS通常也优于一些Spark MLib机器学习来分类RFID数据，在运行时间上具有可比的速度。
2018-04-26 cs.DC
StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation
School of Computer Science, Peking University（北京大学计算机学院）；StepFun
StreamRL提出基于分离式流生成的强化学习框架，解决共置架构资源耦合及分离式框架中的流水线与偏斜气泡，显著提升吞吐量和成本效益。
2025-04-22 cs.DC cs.LG
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长，不断挑战着大数据处理平台和挖掘技术的最新水平。因此，它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求，本文提出了Stream to Cloud & Edge（S2CE），这是同类产品中第一个优化的多云和边缘编排器，易于配置，可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习，同时提供实用和可扩展处理的必要功能：数据融合和预处理，采样和合成流生成，云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
Lachesis: Scalable Asynchronous BFT on DAG Streams
本文介绍了Lachesis共识协议和Fantom Opera平台的核心技术和关键概念，该平台具有无许可、无领导和EVM兼容的特点。我们介绍我们的新协议，所谓的Lachesis，分布式网络实现拜占庭容错（BFT）~ \cite{lachesis01}。Lachesis协议中的每个节点都在一个本地块DAG上运行，即\emph{OPERA DAG}。针对事务的低终结时间（TTF），我们的通用模型考虑高速但异步事件的DAG流。我们将权益证明（PoS）集成到Lachesis协议的DAG模型中，以提高性能和安全性。我们的无信任系统的一般模型利用参与者的权益作为他们的验证力量~ \cite{stakedag}。Lachesis的共识算法使用Lamport时间戳、图形分层和并发常识来保证事件块和事务的一致总排序。此外，Lachesis协议允许新节点动态加入Opera网络。Lachesis通过将本地历史划分为检查点（所谓的epoch）来优化DAG存储和处理时间。我们还提出了一个模型，以提高利益分散，网络的安全性和活性~ \cite{stairdag}。Fantom的Opera平台建立在我们新颖的Lachesis协议之上，是一个公共的、无领导的、异步的BFT、第一层区块链，具有确定性的最终性。因此，Lachesis协议通过利用具有逻辑时间排序的异步偏序集而不是区块链来适用于分布式账本。我们还提出了我们…
2021-08-04 cs.DC
CRAC: Checkpoint-Restart Architecture for CUDA with Streams and UVM
在全球500强超级计算机中，搭载NVIDIA GPU的份额已经超过25%，并且还在继续增长。虽然容错是超级计算的关键问题，但目前还没有针对NVIDIA GPU上的CUDA应用程序的高效、可扩展解决方案。CRAC（Checkpoint-Restart Architecture for CUDA）是一种新的检查点重启解决方案，支持全系列CUDA应用程序的容错。CRAC结合了：低运行时开销（约1%或更少）;快速检查点重启;支持可扩展CUDA流（有效利用所有数千个GPU核心）;支持统一虚拟内存的全部功能（消除程序员在设备和主机之间迁移内存的负担）。CRAC通过在单个进程的内存中隔离应用程序代码（检查点）及其外部GPU通信（通过不可重入的CUDA库（非检查点））来实现其灵活的架构。这消除了早期方法中进程间通信的高开销，并且具有更少的限制。
2020-08-24 cs.DC
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
如今，一些软件系统依赖于流处理架构来提供可扩展的性能并近实时地处理大量数据。流处理框架通过将应用程序的执行分布在多台机器上来促进可伸缩计算。尽管性能被广泛研究，容错的测量-流处理框架提供的一个关键功能-仍然没有得到适当的测量更新和全面的测试床。此外，故障恢复对性能的影响大多被忽略。本文提供了一个全面的故障恢复性能，稳定性和恢复时间在云原生环境与现代开源框架，即Flink，Kafka流，和火花结构化流的分析。我们的基准分析的灵感来自混沌工程注入故障。一般来说，我们的研究结果表明，有很大的变化相比，以前的研究在分布式流处理的故障恢复。特别是，结果表明，Flink是最稳定的，并具有最好的故障恢复之一。此外，Kafka Streams在失败后表现出性能不稳定性，这是由于其当前的重新平衡策略在负载均衡方面可能是次优的。Spark Structured Streaming显示了适当的故障恢复性能和稳定性，但具有更高的事件延迟。我们的研究旨在（i）帮助行业从业者选择最合适的流处理框架，以有效和可靠地执行数据密集型应用程序;（ii）支持研究人员应用和扩展我们的研究方法以及我们的基准;（iii）识别，预防和协助解决生产部署中的潜在问题。
2024-05-29 cs.DC cs.SE
A Scalable Pipelined Dataflow Accelerator for Object Region Proposals on FPGA Platform
区域建议是目标检测的关键，但它通常是传统控制流架构中提高计算效率的瓶颈。我们已经观察到区域建议任务可能适合通过利用并行驱动加速来执行流水线并行。本文提出了一种可扩展的流水线并行加速器，用于FPGA平台上的高效区域建议。该加速器采用流式方式处理图像数据，分为三个连续的阶段：并行计算、内核计算和排序。首先，在调整大小模块中采用乒乓缓存策略进行旋转加载，保证输出流的连续性;然后，在内核计算模块中，采用分层存储的多流水线结构来完成主要的计算任务。最后，在排序模块中使用了一种冒泡堆排序方法，有效地找到前k个最大的候选。在FPGA平台上进行了高层次综合，在VOC 2007数据集上的实验结果表明，与传统的桌面CPU平台相比，该设计可实现约3.67倍的加速比，与嵌入式ARM平台相比，该设计可实现超过250倍的能效提升。
2018-10-26 cs.DC eess.IV
Fast Online "Next Best Offers" using Deep Learning
TCS Research（塔塔咨询服务公司研究院）
在本文中，我们提出了iPrescribe，一个可扩展的低延迟架构，用于在在线环境中推荐“下一个最佳产品”。本文介绍了iPrescribe的设计，并比较其性能的实现使用不同的实时流技术栈。iPrescribe使用深度学习和机器学习算法的集成进行预测。我们描述了可扩展的实时流技术栈和优化的机器学习实现，以实现38毫秒的第90百分位推荐延迟。优化包括一种新的机制，可以有效地部署周期性长短期记忆（LSTM）深度学习网络。
2019-05-31 cs.DC cs.LG cs.PF
