SkyHOST: A Unified Architecture for Cross-Cloud Hybrid Object and Stream Transfer
University of Luxembourg（卢森堡大学）
SkyHOST通过统一架构整合跨云混合对象和流传输，简化操作并提升跨区域传输效率。
2026-03-20 cs.DC
Cost-Efficient and Robust On-Demand Video Transcoding Using Heterogeneous Cloud Services
视频流通常必须被转码以匹配观看者的设备的特征。流提供商必须存储给定视频的许多转码版本以服务于各种显示器。鉴于观众对视频流的访问模式遵循长尾分布的事实，对于具有低访问速率的视频流，我们建议使用云计算服务以按需方式对其进行转码。利用云服务进行按需视频转码的挑战是为观众保持强大的QoS，并为流媒体服务提供商保持成本效益。为了应对这一挑战，我们提出了基于云的视频流服务（CVS2）架构。它包括一个QoS感知的调度，映射转码任务的虚拟机，考虑的亲和力与分配的异构虚拟机的转码任务。为了在存在变化的流请求的情况下保持鲁棒性，该架构包括具有成本效益的VM ProvisionTM。该组件提供了一个可自配置的异构VM集群。集群被动态地重新配置，以保持与到达的工作负载的最大关联。在不同的工作负载条件下获得的结果表明，CVS2架构可以为观众保持强大的QoS，同时减少流媒体服务提供商的成本高达85%
2017-11-03 cs.DC
Toward Reliable and Rapid Elasticity for Streaming Dataflows on Clouds
流数据的普遍可用性推动了对用于流应用的分布式快速数据平台的兴趣。这种延迟敏感的应用程序需要使用弹性云资源上的横向扩展来响应输入速率和任务行为的动态性。像Apache Storm这样的平台不提供强大的功能来响应这种动态性和跨VM快速迁移任务。我们提出了几种流媒体流检查点和迁移方法，允许流媒体流迁移，而不会丢失任何飞行中的消息或其内部任务状态，同时减少恢复和稳定的时间。我们在Apache Storm上实施并评估这些迁移策略，使用微和应用程序扩展来扩展到多达2-21个Azure VM。我们的结果表明，我们可以在50秒内迁移大尺寸的磁盘，相比之下，风暴的默认方法，接管$100~sec$。我们还发现，我们的方法可以更早地稳定应用程序，并且没有失败和重新处理消息。
2017-12-02 cs.DC
Elastic and Secure Energy Forecasting in Cloud Environments
尽管云计算在资源适配方面提供了许多优势，但我们看到这些新产品要么受到强烈抵制，要么采用速度非常缓慢。阻力的一个原因是：（i）诸如流处理系统的许多技术仍然缺乏适当的弹性机制以便充分利用云的能力，以及（ii）不提供用于安全处理隐私敏感数据的机制，诸如当分析在智能电网的上下文中通过智能插头提供的能耗数据时。在本白皮书中，我们介绍了我们对流数据进行弹性和安全处理的愿景和方法。我们的方法基于StreamMine3G（一种弹性事件流处理系统）和英特尔的SGX技术，该技术使用安全区提供安全处理。我们强调了使用英特尔SGX技术时我们的方法和研究挑战的关键方面。
2017-05-18 cs.DC
StreamFlow: cross-breeding cloud with HPC
本文提出 StreamFlow 工作流执行方法，以声明式环境描述扩展工作流图，支持 Kubernetes、批处理集群等多云/HPC 站点及无共享数据空间的跨环境执行，并通过单细胞转录组分析生物信息学流水线加以验证。
2020-08-30 cs.DC
Efficient Transmission and Reconstruction of Dependent Data Streams via Edge Sampling
由于智能设备的普及和对实时分析的需求，数据流处理是一个越来越重要的话题。地理分布的流传输系统（其中基于云的查询利用来自多个分布式设备的数据流）面临挑战，因为广域网（WAN）带宽通常稀缺或昂贵。边缘计算允许我们通过利用靠近设备的资源来解决这些带宽成本，例如对传入的数据流进行采样，这会降低下游查询的准确性以降低整体传输成本。在本文中，我们利用了数据流之间的相关性可能存在于位于同一地理区域的设备之间的事实。利用这一洞察力，我们开发了一个混合边缘云系统，该系统在边缘采样和云中缺失值的估计之间进行系统性权衡，以减少WAN上的流量。我们提出了一个优化框架，它计算边缘的样本大小，并系统地限制我们可以在云中估计的样本数量，因为流之间的相关性很强。我们的评估与三个现实世界的数据集显示，与现有的采样技术相比，我们的系统可以提供可比的出错率在多个聚合查询，同时减少WAN流量的27- 42%。
2022-08-12 cs.DC
Resilient Execution of Data-triggered Applications on Edge, Fog and Cloud Resources
物联网（IoT）正在导致物理世界的流数据的普遍可用性，再加上作为智能城市和5G部署的一部分部署的边缘计算基础设施。这些受限的、不太可靠但便宜的资源由雾资源补充，雾资源提供联合管理和加速计算，以及按需付费的云资源。缺乏直观的方法来部署应用程序管道以使用这些不同的流，并在边缘和雾资源上可靠地执行它们。我们提出了一个创新的应用程序模型，声明式地指定查询，以匹配来自流源的微批数据流，并触发数据管道的分布式执行。我们还设计了一个弹性的调度策略，使用先进的保留可靠的雾，以保证在最后期限内，同时最大限度地减少执行成本的低完成。我们对100多个虚拟物联网资源和$\approx 10k$任务执行进行了详细的实验，并与基线调度策略进行了比较，说明了我们框架的成本效益，弹性和可扩展性。
2022-03-24 cs.DC
Cloud and the City: Facilitating Flexible Access Control over Data Streams
传感设备的激增产生了过多的数据流，这些数据流又可以被利用来执行复杂的分析，以支持各种实时应用和服务以及长期规划，例如，在智能城市或灵巧家庭的背景下，仅举几个突出的例子。成熟的云基础设施使这一愿景比以往任何时候都更接近现实。然而，我们认为，数据所有者能够灵活轻松地控制与其他实体共享数据的粒度是非常重要的-让数据所有者感到舒适的共享，并利用这种细粒度的控制来实现不同的业务模型或逻辑。在本文中，我们探讨了一些基本的操作，灵活地控制对数据流的访问，并提出了一个框架eXACML+扩展OASIS的XACML模型，以实现相同的。我们开发了一个原型，使用商业StreamBase引擎来展示流数据处理与细粒度访问控制机制（一个小的，但重要的选择集）的无缝结合，并研究了框架的有效性的基础上，在云环境中的实验。
2012-05-31 cs.CR cs.DC
An Edge-Cloud Integrated Framework for Flexible and Dynamic Stream Analytics
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
随着物联网（IoT）、边缘计算和云计算的普及，越来越多的流分析应用正在开发中，包括在IoT传感数据之上的实时趋势预测和目标检测。一种流行的流分析类型是基于时间序列或序列数据预测和预报的递归神经网络（RNN）深度学习模型。与传统的分析不同，传统的分析假设数据提前可用并且不会改变，流分析处理的是不断生成的数据，并且数据趋势/分布可能会发生变化（也就是说，概念漂移），这将导致预测/预报准确性随时间下降。另一个挑战是为流分析找到最佳资源配置，以实现良好的整体延迟。在本文中，我们研究了如何最好地利用边缘和云资源，使用一种称为长短期记忆（LSTM）的RNN模型来实现更好的流分析准确性和延迟。我们提出了一种新的边缘云集成框架，用于混合流分析，支持边缘上的低延迟推理和云上的高容量训练。为了实现灵活的部署，我们研究了不同的方法来部署我们的混合学习框架，包括以边缘为中心，以云为中心和边缘云集成。此外，我们的混合学习框架可以动态地组合基于历史数据预训练的LSTM模型和基于最新数据定期重新训练的另一个LSTM模型的推理结果。使用真实世界和模拟流数据集，我们的实验表明，所提出的边缘云部署在延迟方面是所有三种部署类型中最好的。对于准确性，实验表明，我们的动态学习方法在所有三种概念漂移情况下的所有学习方法中表现最好。
2022-08-13 cs.DC cs.LG cs.NI
Implementing an Edge-Fog-Cloud architecture for stream data management
移动物联网（IoMT）需要支持数据生存周期过程，从排序、清理和监控数据流到查询、聚合和分析等更复杂的任务。当前用于IoMT中的流数据管理的解决方案集中在数据生存周期过程的部分方面，特别强调传感器网络。本文旨在通过开发流数据生存周期流程来解决这个问题，该流程包含处理异构、流和地理位置分散的IoMT设备所需的边缘/雾/云架构。我们提出了一个3层架构，以支持即时层内通信，建立一个流数据流实时响应系统中的即时数据生存周期任务。因此，通信和流程是我们为IoMT设计流数据管理解决方案的决定性因素。我们描述和评估我们的原型实现使用实时交通数据源。初步结果显示了运行数据生存周期任务的优势，这些任务可以减少冗余的数据流，并且不应该传输到云。
2017-09-27 cs.CY cs.DC cs.NI
Sampling Streaming Data with Parallel Vector Quantization -- PVQ
企业数据在云中的积累吸引了更多的企业应用程序到云计算中，从而产生了数据引力。因此，网络流量变得更加以云为中心。这种以云为中心的流量的增加对由于类不平衡而设计用于流数据的学习系统提出了新的挑战。类的数量在从数据流构建的分类器的准确性中起着至关重要的作用。在本文中，我们提出了一种基于矢量量化的采样方法，它大大减少了数据流中的类不平衡。我们通过使用常用的ML模型构建方法对网络流量和异常数据集进行实验来证明其有效性; TensorFlow后端的多层感知器，支持向量机，K-最近邻和随机森林。我们使用并行处理、批处理和随机选择样本构建模型。我们表明，分类模型的准确性提高时，数据流与我们的方法进行预处理。我们使用这些分类器的开箱即用超参数和自动sklearn进行超参数优化。
2022-10-04 cs.DC cs.LG
Optimized Video Streaming over Cloud: A Stall-Quality Trade-off
随着视频流媒体服务的扩展和改进，基于云的视频已经发展成为任何成功企业的必要功能，以接触内部和外部受众。在本文中，视频流在分布式存储被认为是使用纠删码更好的可靠性编码的视频片段。在每个服务器和边缘路由器之间存在多个并行流。对于每个客户端请求，我们需要确定获取数据的服务器子集，以及来自每个所选服务器的并行流之一。为了实现这种调度，本文提出了一种两阶段概率调度算法。视频质量的选择也是以一定的概率分布来选择的。利用这些参数，通过表征每个视频片段的每个编码块的下载时间来确定视频片段的回放时间。使用回放时间，失速持续时间的矩母函数上的界限被用于限制平均失速持续时间。在此基础上，我们制定了一个优化问题，共同优化的凸组合的平均停滞时间和平均视频质量的所有请求，其中两阶段的概率调度，概率视频质量选择，并行流之间的带宽分割，和辅助边界参数可以选择。这个非凸的问题是解决使用一个有效的迭代算法。评估结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-22 cs.DC cs.NI
Optimization and Evaluation of a Multimedia Streaming Service on Hybrid Telco cloud
随着云计算的最新发展，从相当静态的资源部署到更动态的按需实践的范式转变意味着更大的灵活性和更好的资源利用率。这需要新的方法来有效地配置网络。在本文中，我们将描述一类有竞争力的云服务，电信运营商可以提供基于电信基础设施的特点，通过一个适用的流服务架构。然后，我们将这种架构建模为基于成本的数学模型。该模型提供了一个工具，以评估和比较不同的电信网络拓扑结构和部署策略的软件服务的成本。此外，对于每个拓扑，它都可以作为一种手段来表征在整个网络上产生最低资源使用的部署解决方案。通过数值分析说明了这些应用。最后，部署了一个概念验证原型，展示了上述体系结构和模型中服务的动态特性。
2011-09-07 cs.DC cs.MM
Benchmarking scalability of stream processing frameworks deployed as microservices in the cloud
本文通过740余小时Kubernetes实验，系统基准测试了五种主流流处理框架在云端微服务部署下的可扩展性，发现各框架近似线性扩展但资源需求差异显著，且无绝对最优框架，排名取决于用例，Apache Beam抽象层资源开销显著更高。
2023-10-17 cs.DC cs.SE
Performance Optimization in Stream Processing Systems: Experiment-Driven Configuration Tuning for Kafka Streams
Johannes Kepler University（约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace 研究部）；JKU/Dynatrace Co-Innovation Lab, Johannes Kepler University Linz（JKU/Dynatrace 联合创新实验室，约翰内斯·开普勒大学林茨分校）；LIT CPS Lab, Johannes Kepler University Linz（LIT CPS 实验室，约翰内斯·开普勒大学林茨分校）
本文提出了一种基于实验驱动的自动化配置优化方法，通过拉丁超立方采样、模拟退火和梯度爬升三种技术，提升Kafka Streams在云原生环境下的性能表现。
2026-03-04 cs.DC cs.PF
Secure and Low-Latency IoT Analytics Using an Edge-Based Streaming Architecture
Allenhouse Institute of Technology（艾伦豪斯理工学院）
针对物联网实时流处理中云架构延迟高的问题，提出EdgeStream边缘框架，通过MQTT通信和分布式异常检测实现低延迟分析，实验显示延迟降低达92.8%。
2026-06-16 cs.CR cs.DC
Intelligent Service Selection in a Multi-dimensional Environment of Cloud Providers for IoT stream Data through cloudlets
Amirkabir University of Technology（阿米尔卡比尔理工大学）
物联网（IoT）服务的扩展和不同传感器生成的大量数据，意味着存储即服务等云计算服务的重要性比以往任何时候都要高。物联网流量对云存储服务施加了额外的限制，例如传感器数据预处理能力以及数据中心和每个数据中心中的服务器之间的负载平衡。此外，它还应符合服务质量（QoS）。混合MWG算法已被提出在这项工作中，它考虑了不同的目标，如能量，处理时间，传输时间，和负载均衡在雾和云层。使用MATLAB脚本来模拟和实现我们的算法，并考虑了不同服务器的服务，例如Amazon，Dropbox，Google Drive等。与MOWCA、KGA和NSGAII相比，MWG的间距指标分别提高了7%、13%和25%。此外，与MOWCA、KGA和NSGAII相比，MWG在质量度量方面分别具有4%、4.7%和7.3%的优化。整体优化结果表明，在考虑不同目标的情况下，与MOWCA、KGA和NSGAII相比，MWG算法的性能分别提高了7.8%、17%和21.6%。
2021-01-26 cs.AI cs.DC cs.NI
Combining edge and cloud computing for mobility analytics
使用从移动物联网（IoMT）生成的数据进行移动性分析面临着许多挑战，从摄取来自大量雾节点和IoMT设备的数据流，到避免无用的大量数据流溢出云，这些数据流可能会引发瓶颈[1]。管理数据流正在成为IoMT的重要组成部分，因为它将决定未来应该在哪个平台上运行分析任务。数据流通常是具有高数据输入速率的乱序元组序列，并且移动性分析需要从边缘到云的双向实时数据流，反之亦然。在将数据流拉到云之前，除了识别到达时间无序的元组之外，还需要边缘数据流处理来检测丢失、损坏和重复的元组。数据过滤、数据清理和低级数据上下文化等分析任务可以在网络边缘执行。相比之下，更复杂的分析任务（如图形处理）可以部署在云中，并且ad-hoc查询和流式图形分析的结果可以根据用户应用程序的需要推送到边缘。图表是移动分析中使用的有效表示，因为它们统一了有关移动事物之间的连接，邻近和交互的知识。这张海报描述了我们为支持交通系统而开发的实验原型的初步结果，其中边缘和云计算相结合，处理从雾节点转发到云中的交通数据流。本研究的动机是了解如何通过结合云计算和雾计算架构对交通馈送执行有意义的移动性分析，以改善车队管理、公共交通和远程资产监控
2017-06-20 cs.CY cs.DC cs.NI
Semantically Enhanced Time Series Databases in IoT-Edge-Cloud Infrastructure
许多物联网系统都是数据密集型的，用于监测关键系统的故障检测和诊断。大量的数据稳定地从监测系统中的大量传感器中出来。因此，我们需要考虑如何存储和管理这些数据。现有的时间序列数据库（TSDB）可用于监控数据存储，但它们没有很好的模型来描述存储在数据库中的数据流。在本文中，我们开发了一个语义模型的规格说明的监测数据流（时间序列数据）在哪个传感器生成数据流、传感器正在监视哪个实体的哪个度量、实体与系统中的其他实体的关系是什么、哪个测量单元用于数据流等方面。我们还开发了一个工具套件SE-TSDB，它可以运行在现有的TSDB之上，帮助建立数据流的语义规范，并支持基于语义的数据检索。使用我们的语义模型和SE-TSDB工具套件，用户可以检索不存在的数据流，这些数据流可以自动从语义中派生出来。用户还可以检索数据流，而不知道它们在哪里。基于语义的检索在大规模集成的物联网边缘云系统中尤为重要，因为其数据量庞大，可能存储数据的计算和物联网设备数量庞大，以及数据迁移和演变的动态性。通过更好的数据语义，可以更有效地跟踪和灵活地检索数据流，以帮助随时随地进行及时的数据分析和控制决策。
2019-02-10 cs.DB cs.DC
Choosing an effective setup for stream processing
该项目旨在研究在欧洲制造业物联网（IoT）背景下使用边缘计算进行流数据处理的可行性和成本效益。考虑了两种情况：使用边缘计算来减少延迟和使用流行的公共云提供商。这两种场景都表现出了高吞吐量，边缘计算场景的性能略优于公共云场景。还测量了对资源利用率的影响，边缘节点的资源使用率略低于云节点。实验得出的结论是，在边缘运行系统更具成本效益，但只能使用任何基础设施即服务（IaaS）提供商作为基础设施提供商。IaaS提供商在提供边缘解决方案和确定区域数据中心可用作低延迟应用程序存在点的地理区域方面至关重要。保留字：边缘计算、流数据处理、物联网（IoT）、制造业、欧洲、延迟、吞吐量、资源利用率、成本效益、基础设施即服务（IaaS）、区域数据中心、低延迟应用、云计算、可行性研究。
2023-02-28 cs.DC cs.NI
Scheduling Storms and Streams in the Cloud
受新兴的大流数据处理范例（例如，Twitter Storm，Streaming MapReduce），我们研究了在大型服务器集群上调度图的问题。每个图都是一个作业，其中节点表示计算任务，边表示这些计算任务之间的数据流。作业（图）随时间随机到达，完成后离开系统。当一个作业到达时，调度器需要划分图并将其分布在服务器上，以满足负载均衡和成本考虑。具体地说，图中映射到不同服务器的相邻计算任务会在网络上产生负载;因此，服务器之间的作业映射会产生与“断边”数量成比例的成本。我们提出了一个低复杂度的随机调度算法，没有服务抢占，稳定的系统与图到达/离开，更重要的是，它允许一个平滑的权衡最小化平均分区成本和平均队列长度。有趣的是，为了避免服务抢占，我们的方法不依赖于吉布斯采样器，相反，我们表明，相应的限制不变的措施有一个解释源于损失系统。
2015-02-20 cs.DC cs.NI math.OC
An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Comsats Institute of Information Technology（COMSATS信息技术学院）
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源，同时通过实时传送和为所有观众提供适当的表示来最大化服务质量（QoS）是一个具有挑战性的问题。在我们的论文中，我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点，考虑延迟和质量约束，以保证最大的QoS观众和最小的成本为内容提供方。首先，我们提出了一个离线优化，决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次，我们使用机器学习来构建预测模型，该模型可以提前预测每个云站点要保留的近似转码资源。最后，我们开发了一个贪婪的最近和Chestion算法（GNCA）执行的资源分配的实时广播视频租用的资源。大量的模拟表明，GNCA优于众包直播流媒体的最先进的资源分配方法，在系统成本方面实现了超过20%的增益，同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
