Serverless data pipeline approaches for IoT data in fog and cloud computing
随着物联网（IoT）设备数量的增加，正在生成大量原始数据。基于云的物联网数据处理中的延迟、成本和其他挑战推动了边缘和雾计算模型的采用，其中一些数据处理任务被移到更接近数据源的地方。正确处理此类数据流需要构建数据管道，以控制数据流的完整生存周期，从数据源的数据采集、边缘和雾处理，到云端存储和分析。数据分析任务需要在距离数据源不同的距离上动态执行，并且通常在非常异构的硬件设备上执行。这可以通过使用无服务器（或FaaS）云计算模型来简化，其中任务被定义为虚拟功能，可以从边缘迁移到云（反之亦然），并以事件驱动的方式在数据流上执行。在这项工作中，我们研究了构建无服务器数据管道（SDP）用于物联网数据分析的好处，并评估了设计SDP的三种不同方法：1）基于现成的数据流工具（DFT），2）基于对象存储服务（OSS）和3）基于MQTT。此外，我们将这些策略应用于三个雾应用程序（Aeneas，PocketSphinx和自定义视频处理应用程序），并通过比较它们的处理时间（计算时间，网络通信和磁盘访问时间）和资源利用率来评估性能。结果表明，DFT是不适合的计算密集型应用，如视频或图像处理，而OSS是最适合这项任务。然而，DFT非常适合带宽密集型应用，因为它使用的网络资源最少。另一方面，基于MQTT的SDP随着CPU和内存使用量的增加而被观察到。<truncted to fit character limi…
2021-12-18 cs.DC
The Power of Internet of Things (IoT): Connecting the Dots with Cloud, Edge, and Fog Computing
本综述全面探讨了物联网与云计算、雾计算和边缘计算三种架构的集成，分析了各自的应用、优势与局限，并指出了未解决的问题与未来研究方向。
2023-09-07 cs.DC cs.NI
ElfStore: A Resilient Data Storage Service for Federated Edge and Fog Resources
随着物联网部署的广泛应用，边缘和雾计算越来越受欢迎。虽然正在探索这些资源上的应用程序组合和调度，但在边缘和雾层上的分布式数据存储服务中存在差距，而仅仅依赖于云来实现数据持久化。这样的服务应该可靠地存储和管理雾和边缘设备上的数据，即使在出现故障的情况下也是如此，并提供透明的发现和对数据的访问，以供边缘计算应用程序使用。在这里，我们介绍了Elfstore，这是第一个用于数据块流的边缘本地联合存储。它使用可靠的雾设备作为超级对等覆盖来监控边缘资源，使用Bloom过滤器提供联合元数据索引，在2跳内定位数据，并维护有关边缘可靠性和存储容量的近似全局统计数据。边缘托管实际的数据块，我们使用一个独特的差异复制方案来选择边缘上复制块，以保证最低的可靠性和平衡存储利用率。我们在20台和272台设备的两个物联网虚拟部署上进行的实验表明，ElfStore具有低开销，仅受网络带宽限制，具有可扩展的性能，并提供可调的弹性。
2019-05-22 cs.DC
Edge-Mapping of Service Function Trees for Sensor Event Processing
针对雾计算中物联网资源受限问题，本文提出将事件处理流水线改造为含服务功能链的服务功能树架构，并设计算法将其映射到雾网络，通过仿真验证其有效性，克服单服务部署瓶颈。
2024-07-16 cs.DC
Implementing CUDA Streams into AstroAccelerate -- A Case Study
为了能够在NVIDIA GPU上异步运行任务，程序员必须使用CUDA流的语法在代码中显式实现异步执行。流允许程序员启动独立的并发执行任务，提供异步利用GPU上不同功能单元的能力。例如，通过将不同的任务放置在不同的CUDA流中，可以在PCIe总线上传输来自对输入数据n-1执行的先前计算的结果，同时计算输入数据n的结果。这种方法的好处是主机和设备之间的数据传输所花费的时间可以通过计算隐藏。本案例研究涉及将CUDA流实施到AstroAccelerate中。AstroAccelerate是用于时域射电天文学的GPU加速实时信号处理管道。
2021-05-06 astro-ph.IM cs.DC
Mercury: A modeling, simulation, and optimization framework for data stream-oriented IoT applications
本文提出Mercury框架，通过位置感知建模、仿真与优化方法分析实时雾计算场景的规模与动态运行，支持数据流分析和FaaS计算卸载，并基于DEVS形式化验证，通过驾驶辅助真实轨迹案例验证其有效性。
2023-11-02 cs.DC
A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）；Nanjing University of Science and Technology（南京理工大学）；K&C Technologies Solutions（K&C技术解决方案公司）
基于DNN的视频分析已经授权了许多新的应用（例如，自动零售）。同时，雾设备的激增为开发人员提供了更多的设计选择，以提高性能并节省成本。据我们所知，本文提出了第一个无服务器系统，该系统充分利用了客户端-雾-云协同作用，以更好地服务于基于DNN的视频分析。具体而言，该系统旨在实现两个目标：1）通过明智地管理部署在客户端、雾和云环境中的计算和带宽资源，在较低带宽使用和较短往返时间（RTT）的约束下提供最佳分析结果。2)将开发人员从繁琐的管理和操作任务中解放出来，包括DNN部署，云和雾的资源管理。为此，我们实现了一个整体的云雾系统，称为VPaaS（视频平台即服务）。VPaaS采用无服务器计算，使开发人员能够通过简单地编程一组功能（例如，模型推理），然后通过精心设计的模块协调这些模块来处理视频。为了节省带宽并减少RTT，VPaaS提供了一种新的视频流协议，该协议仅将低质量视频发送到云。部署在云端的最先进（SOTA）DNN可以识别需要在雾端进一步处理的视频帧区域。在雾端，这些区域中的错误识别标签可以使用轻量级DNN模型进行校正。为了解决数据漂移问题，我们将有限的人类反馈纳入系统中以验证结果，并采用增量学习来不断改进我们的系统。评估表明，VPaaS优于几种SOTA系统：它保持了高准确性，同时将带宽使用量减少了21%，RTT减少了62.5%，云货币成本减少了50%。
2021-02-05 cs.AI cs.DC
LOS: Local-Optimistic Scheduling of Periodic Model Training For Anomaly Detection on Sensor Data Streams in Meshed Edge Networks
异常检测对于处理边缘和雾环境、智能城市以及工业4.0中的传感器数据量越来越重要。为了确保良好的结果，需要定期更新所使用的ML模型，以适应传感器数据中的季节变化和概念漂移。尽管边缘资源可用性的增加可以允许直接在设备上原位执行模型训练，但它仍然经常被卸载到雾设备或云。在本文中，我们提出了本地乐观调度（LOS），这是一种在数据源附近执行周期性ML模型训练作业的方法，而不会使轻量级边缘设备过载。训练作业根据需要卸载到附近的邻居节点，并且资源消耗被优化以满足训练周期，同时仍然确保足够的资源用于进一步的训练执行。这种调度是以分散、协作和机会主义的方式完成的，而不需要完全了解基础设施和工作负载。我们在现实世界数据集的边缘计算测试平台上评估了我们的方法。实验结果表明，LOS的地方接近输入传感器流的训练执行，减少训练时间和训练周期之间的偏差高达40%，并增加了成功调度的训练工作量相比，在原位执行。
2021-09-27 cs.DC
Towards a Cloud Fog Edge System for Smart Building
University Sorbonne Paris Nord（巴黎北索邦大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；National institute of Informatics（国立信息学研究所）
本文提出将建筑物作为数据中心的去中心化系统，利用边缘计算和轻量级Kubernetes-like框架，在低功耗微控制器上部署AI算法，实现可持续、保护隐私的智能环境，并评估了两种新在线算法。
2026-10-02 cs.DC cs.LG
Efficient Runtime Profiling for Black-box Machine Learning Services on Sensor Streams
在云计算、边缘计算和雾计算等高度分布式环境中，机器学习在自动化和优化流程方面的应用正在兴起。机器学习作业经常应用于流条件，其中模型用于分析源自例如视频流或传感数据的数据流。通常需要在下一个数据到达之前及时提供特定数据样本的结果。因此，必须提供足够的资源以确保针对特定数据流的及时处理。提出了一种面向容器化机器学习作业的运行时建模策略，该策略能够对每个作业和组件的资源进行优化和自适应调整。我们的黑盒方法将多种技术组装成一个有效的运行时分析方法，同时不对底层硬件、数据流或应用的机器学习作业做任何假设。结果表明，我们的方法是能够捕获的一般运行时的行为不同的机器学习作业已经经过一个简短的剖析阶段。
2022-03-10 cs.DC
ECHO: An Adaptive Orchestration Platform for Hybrid Dataflows across Cloud and Edge
物联网（IoT）正在提供前所未有的观测数据，用于管理智慧城市公用事业。边缘和雾网关设备是物联网部署的一个组成部分，用于获取实时数据并实施控制。最近，边缘计算正在成为补充以云为中心的分析的一流范例。但一个关键的限制是缺乏跨边缘和云的应用程序的平台即服务。在这里，我们提出了ECHO，一个编排平台，跨分布式资源的业务流程。ECHO的混合数据流组合可以在不同的数据模型上操作-流，微批处理和文件，并与TensorFlow和Storm等本地运行时引擎接口以执行它们。它管理应用程序的生命周期，包括基于容器的部署和用于状态管理的注册表。ECHO可以在不同的Edge、Fog和Cloud资源上调度任务流，也可以在资源之间进行动态任务迁移。我们验证了ECHO平台在Raspberry Pi、NVidia TX 1、ARM 64和Azure Cloud VM资源上执行智能交通和智能实用程序应用的视频分析和传感器流，并展示了我们的结果。
2017-07-04 cs.DC
Real-Time Index Authentication for Event-Oriented Surveillance Video Query using Blockchain
来自监控视频的信息对于态势感知（SAW）至关重要。如今，无处不在的分布式视频传感器正在不断生成大量的监控数据。从数千个视频帧中立即识别感兴趣的对象或放大可疑动作是非常具有挑战性的。使大数据可索引对于解决这个问题至关重要。理想的情况是在视频流上以实时的【形】、现场的方式生成模式索引，而不是依赖于云中心的批处理。现代边缘-雾-云计算范例允许在网络边缘实现时间敏感的任务。现场边缘设备以帧的形式收集感测到的信息并提取有用的特征。近地点雾节点进行上下文化和分类的功能。远程云中心负责更多的数据密集型和计算密集型任务。然而，在不同层中的设备之间交换索引信息引起了安全问题，其中对手可以捕获或篡改特征以误导监视系统。在本文中，提出了一种区块链使能方案，通过边缘和雾节点之间的加密安全信道来保护索引数据。它减少了攻击小边缘和雾设备的机会。通过大量的实验分析验证了该方案的可行性。
2018-07-17 cs.CR cs.DC
The design of a streaming analytical workflow for processing massive transit feeds
检索和分析交通馈送依赖于使用分析工作流，这些工作流可以处理与理解交通网络动态相关的大量数据流，这些动态在其发生的地理空间中完全是确定性的。在本文中，我们考虑的基本问题，在开发一个流的分析工作流程，分析连续到达的多个，无限的过境数据饲料自动处理和丰富他们的额外信息，包含更高层次的概念，相应于一个特定的流动性上下文。该工作流由三个任务组成：（1）用于创建时间窗口的流数据检索;（2）用于处理丢失数据、重叠数据或冗余数据的数据清理;以及（3）用于计算实际到达和离开时间以及巴士旅行期间的停止和移动的数据上下文化，并且还执行移动性上下文计算。该工作流在Hadoop云生态系统中使用来自蒙克顿市CODIAC交通系统的数据流实现。MapReduce的Map（）函数用于检索数据流并将其捆绑到多个集群中，这些集群随后由Reduce（）函数以并行方式处理，以便执行数据上下文化步骤。结果验证了云计算实现高性能和可扩展性的必要性，但是，由于计算和网络的延迟，很明显，数据清理任务不应仅使用云环境进行部署，为在不久的将来将其与雾计算相结合铺平了道路。
2018-06-08 cs.CY cs.DC cs.DS
Intelligent Service Selection in a Multi-dimensional Environment of Cloud Providers for IoT stream Data through cloudlets
Amirkabir University of Technology（阿米尔卡比尔理工大学）
物联网（IoT）服务的扩展和不同传感器生成的大量数据，意味着存储即服务等云计算服务的重要性比以往任何时候都要高。物联网流量对云存储服务施加了额外的限制，例如传感器数据预处理能力以及数据中心和每个数据中心中的服务器之间的负载平衡。此外，它还应符合服务质量（QoS）。混合MWG算法已被提出在这项工作中，它考虑了不同的目标，如能量，处理时间，传输时间，和负载均衡在雾和云层。使用MATLAB脚本来模拟和实现我们的算法，并考虑了不同服务器的服务，例如Amazon，Dropbox，Google Drive等。与MOWCA、KGA和NSGAII相比，MWG的间距指标分别提高了7%、13%和25%。此外，与MOWCA、KGA和NSGAII相比，MWG在质量度量方面分别具有4%、4.7%和7.3%的优化。整体优化结果表明，在考虑不同目标的情况下，与MOWCA、KGA和NSGAII相比，MWG算法的性能分别提高了7.8%、17%和21.6%。
2021-01-26 cs.AI cs.DC cs.NI
Building Analytics Pipelines for Querying Big Streams and Data Histories with H-STREAM
本文介绍了H-STREAM，一个大的流/数据处理管道评估引擎，提出流处理操作符作为微服务，以支持来自物联网（物联网）环境的大数据流的分析和可视化。H-STREAM微服务结合了流处理和数据存储技术，这些技术根据产生流的事物的数量、它们产生流的速度以及可用于在线处理流并将其交付给消费者的物理计算资源进行调整。H-STREAM提供安装在云环境中的流处理和可视化微服务。微服务可以被组合用于实现特定的流聚合分析管道作为查询。本文提出了一种实验验证，使用Microsoft Azure作为部署环境，测试H-STREAM在（i）神经科学实验和（i）物联网农场上运行的社交连接分析场景中处理速度和容量挑战的能力。
2021-08-07 cs.DC
Managing Service-Heterogeneity using Osmotic Computing
随着不断提出服务请求的设备数量的增加以及最近对延迟敏感的应用程序（如流媒体和实时数据处理）的大量占用，更接近用户的计算资源供应变得越来越重要。雾计算通过包含“雾”层来弥合用户和公共/私有云基础设施之间的差距，从而为此类应用提供了解决方案。这种方法能够减少总体处理延迟，但是在利用这种计算基础设施和基于其特性的差异处理服务时的冗余、成本效益的问题仍然存在。这种由于计算资源和流程需求的变化而导致的服务特性差异称为服务异构性。这些问题的一个潜在解决方案是使用渗透计算-最近引入的范例，允许基于资源使用的服务划分，基于数据中心与网络边缘资源的能量，负载，处理时间等参数。然后，服务供应可以跨计算基础设施的不同层进行划分，从边缘设备，在途节点和数据中心，并通过Osmotic软件层提供支持。为了更有效地利用现有的雾服务器资源，为渗透计算提供支持，提出了一种基于适应度的Osmosis算法。所提出的方法是能够有效地分配和分配服务的渗透的原则。结果使用数值模拟展示收益在较低的分配时间和较高的概率的服务被处理的高资源利用率。
2017-04-13 cs.DC
Converter: A CEAML Reasoner Python package to Streamline Orchestration Across Cloud and Edge Continuum
本文提出 Converter 工具，可将 TOSCA 扩展 CEAML 描述转换为 Kubernetes 或 Kubevirt 定义文件，并以 Python 包形式供编排器辅助使用。
2024-04-29 cs.DC
A Cloud Continuum Research Infrastructure for Distributed CPS Experimentation
Università degli Studi di Messina（墨西拿大学）；CINI: National Interuniversity Consortium for Informatics（国家跨大学信息学联盟）；Università degli Studi di Bologna（博洛尼亚大学）；Institute of ICAR CNR（意大利国家研究委员会ICAR研究所）
本文提出基于 SLICES 云 continuum 蓝图的两级参考架构，用于支持分布式 CPS 实验，通过可再生能源社区管理和 AirWatch 两个用例验证，可在同一可编程基础设施上部署、定制和比较不同控制与监控策略。
2026-07-31 cs.DC
TrafficFab: An Autonomic Edge-Cloud Testbed Fabric forAI-Driven Traffic Management
Indian Institute of Science (IISc)（印度科学研究所）
TrafficFab提出自主边缘-云测试平台，结合RTSP模拟、DNN边缘推理、ST-GNN云预测和FM辅助联邦学习，在班加罗尔部署上支持约400路实时流，验证大城市闭环交通分析。
2026-09-25 cs.DC
Theodolite: Scalability Benchmarking of Distributed Stream Processing Engines in Microservice Architectures
分布式流处理引擎的设计重点是可扩展性，以连续的方式处理大数据量。我们提出了经纬仪的方法基准的分布式流处理引擎的可扩展性。这种方法的核心是定义实现流处理的微服务必须满足的用例。对于每个用例，我们的方法识别可能影响用例可伸缩性的相关工作负载维度。我们建议为每个用例和相关的工作负载维度设计一个基准。我们提出了一个通用的基准测试框架，可以应用于执行给定用例和工作负载维度的各个基准测试。我们的框架为给定维度的不同工作负载和不同数量的处理实例执行用例的Cocklow架构的实现。通过这种方式，它可以确定资源需求如何随着工作负载的增加而变化。在本文的范围内，我们提出了4个确定的用例，来自处理工业物联网数据，以及7个相应的工作负载维度。我们提供了Kafka Streams和Apache Flink的4个基准测试的实现，以及在云环境中执行可扩展性基准测试的基准测试框架的实现。我们使用这两种方法来评估Theodolite方法，并对不同部署选项的Kafka Streams和Flink的可扩展性进行基准测试。
2021-02-11 cs.DC cs.PF cs.SE
Stratum: A Serverless Framework for Lifecycle Management of Machine Learning based Data Analytics Tasks
Vanderbilt University（范德堡大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
随着机器学习（ML）库和框架以及它们使用的程序设计语言的激增，以及数据加载、转换、准备和挖掘等操作，ML模型开发正在成为一项艰巨的任务。此外，由于基于云的ML模型开发平台过多，硬件异构，越来越多地关注利用边缘计算资源进行低延迟预测服务，并且通常缺乏对有效执行ML工作流所需资源的完整了解，ML模型部署需要专业知识来有效管理ML工作流的生命周期，并以最小的成本。为了应对这些挑战，我们提出了一个端到端的数据分析，一个名为Stratum的无服务器平台。Stratum可以跨云-雾-边缘频谱部署、调度和动态管理数据摄取工具、实时流应用、批处理分析工具、ML即服务（用于推理作业）和可视化工具。本文描述了Stratum架构，强调它解决的问题。
2019-04-03 cs.DC cs.LG cs.SE
Distributed Deep Neural Networks over the Cloud, the Edge and End Devices
Harvard University（哈佛大学）
我们提出了分布式深度神经网络（DDNN）在分布式计算层次结构，包括云，边缘（雾）和终端设备。虽然能够适应云中的深度神经网络（DNN）的推理，但DDNN还允许在边缘和终端设备处使用神经网络的浅部分进行快速和局部化的推理。当由可扩展的分布式计算层次结构支持时，DDNN可以在神经网络大小上按比例放大并且在地理跨度上向外扩展。由于其分布式特性，DDNN增强了DNN应用的传感器融合、系统容错和数据隐私。在实现DDNN时，我们将DNN的各个部分映射到分布式计算层次结构上。通过联合训练这些部分，我们最大限度地减少了设备的通信和资源使用，并最大限度地提高了在云中使用的提取特征的有用性。由此产生的系统具有内置的支持自动传感器融合和容错。作为概念证明，我们展示了DDNN可以利用传感器的地理多样性来提高对象识别精度并降低通信成本。在我们的实验中，与将原始传感器数据卸载到云中进行处理的传统方法相比，DDNN在本地处理终端设备上的大多数传感器数据，同时实现了高精度，并且能够将通信成本降低20倍以上。
2017-09-06 cs.CV cs.DC
Issues and challenges in Cloud Storage Architecture: A Survey
从家用电器到工业企业，信息和通信技术（ICT）行业正在彻底改变世界。我们正在见证新技术的出现（例如，云计算，雾计算，物联网（IoT），人工智能（AI）和区块链），这证明了ICT的日益增长的使用（例如，商业、教育、健康和家用电器），从而产生大量数据。预计到2025年，750亿台设备每年将处理超过175 ZB的数据。5G技术（即移动通信技术）大大提高了网络速度，使用户能够实时上传超高清视频，这将产生大量的大数据流。此外，具有人工智能的智能设备将在网络上像人类一样（例如，自动驾驶车辆等），也将生成大数据。这种突然的转变和大量数据的产生给存储和管理如此大规模的异构数据带来了严峻的挑战。本文介绍了存储异构大数据所涉及的问题和挑战，其对策（即从安全和管理角度）以及云存储的未来机遇。这些挑战进行了详细审查，并发现了新的动态研究人员在云存储领域。
2020-07-12 cs.CR cs.DC cs.NI
A Scalable Architecture for Power Consumption Monitoring in Industrial Production Environments
详细了解工业生产环境中的电力消耗是降低和优化其功耗的先决条件。如今的工业生产现场配备了各种传感器，这些传感器尤其可以详细监控电力消耗。然而，这些环境通常缺乏自动化的数据整理和分析。我们提出了一个系统架构，集成了不同的传感器，并分析和可视化设备，机器和生产工厂的功耗。它的设计重点是可扩展性，以支持各种规模的生产环境并处理不同的负载。我们认为，在这种情况下，一个可扩展的体系结构必须满足容错，可扩展性，实时数据处理和资源效率的要求。作为解决方案，我们提出了一个基于微服务的架构，通过大数据和流处理技术进行增强。应用雾计算范式，它的一部分部署在一个弹性的中央云中，而其他部分则直接在生产环境中分散运行。该架构的原型实现提供了如何集成不同类型的传感器以及如何连续聚合其测量结果的解决方案。为了使分析的数据易于理解，它提供了一个单页的Web应用程序，提供不同形式的数据可视化。我们在一家中型企业的数据中心部署了这个试验性实施，在那里我们成功地监控了16台服务器的功耗。此外，我们展示了我们的架构与20，000~模拟传感器的可扩展性。
2019-07-01 cs.DC cs.SE
