Big Data Analytics-Enhanced Cloud Computing: Challenges, Architectural Elements, and Future Directions
云计算的出现使得弹性容量的动态配置成为可能。云数据中心包含数千台物理服务器，托管数量级更多的虚拟机，这些虚拟机可以按需分配给按需付费的用户。然而，并非所有系统都能够通过添加更多虚拟机来扩展。因此，即使对于可扩展的系统，也必须提前规划工作负载，而不是使用纯粹的反应式方法。考虑到生成实时的监控信息的现代云基础设施的规模，以及操作系统和应用程序生成的所有信息，这些数据带来了大数据方法所解决的数量、速度和多样性问题。在本文中，我们研究如何利用大数据分析有助于增强云计算环境的操作。我们讨论了大数据分析在云中的各种应用，通过大数据分析增强云操作的开放问题，以及云异常检测和预防的架构以及未来的研究方向。
2015-10-22 cs.DC
Experimental Performance Evaluation of Cloud-Based Analytics-as-a-Service
越来越多的分析即服务解决方案最近在基于云的服务领域看到了光明。这些服务允许灵活组合计算和存储组件，从而创建强大的数据摄取和处理管道。这项工作是第一次尝试使用广泛的存储服务配置执行的分析应用程序性能的实验评估。我们提出了一个直观的概念，数据的局部性，我们使用作为代理排名不同的服务组合的预期性能。通过实证分析，我们剖析了分析工作负载所实现的性能，并揭示了由于某些配置中出现的阻抗不匹配而导致的问题。我们的工作为更好地理解现代基于云的分析服务及其性能铺平了道路，无论是最终用户还是他们的提供商。
2017-03-15 cs.DC
Workflow-Based Big Data Analytics in The Cloud Environment Present Research Status and Future Prospects
工作流是一个常用术语，用于描述需要执行以解决问题的任务的系统分解。这一概念在科学和商业应用中得到了最好的利用，以精简和改善旨在实现成果的基本进程的业绩。大数据分析问题的日益复杂性促使人们使用科学工作流来执行特定领域应用程序的复杂任务。这项研究调查了基于工作流的大数据分析在云环境中的有效性，对该领域已经进行的研究以及该领域未来可能的研究方向提供了见解。
2017-11-04 cs.DC
Big Data Computing and Clouds: Trends and Future Directions
本文讨论了在大数据应用程序的云上执行分析的方法和环境。它围绕着分析和大数据的四个重要领域，即（i）数据管理和支持架构;（ii）模型开发和评分;（iii）可视化和用户交互;以及（iv）商业模式。通过详细的调查，我们确定了技术上可能存在的差距，并就云支持的大数据计算和分析解决方案的未来方向为研究社区提供了建议。
2014-08-22 cs.DC
Novel Dynamic Load Balancing Algorithm for Cloud-Based Big Data Analytics
云环境中的大数据分析除了安全、隐私和能效之外，还带来了实时负载均衡等挑战。在本文中，我们提出了一种新的负载均衡算法在云环境中，执行资源分配和任务调度效率。所提出的负载均衡器减少了在云上执行的大数据应用程序的执行响应时间。一般来说，调度是一个NP难问题。在我们提出的算法中，我们提供了解决方案，以减少搜索区域，从而降低复杂性的负载均衡。我们推荐两个数学优化模型来执行动态资源分配到虚拟机和任务调度。所提供的解决方案是基于爬山算法来最小化响应时间。我们从响应时间、周转时间、吞吐量指标和请求分布等方面对所提出的算法进行了性能评估，并与一些现有的算法进行了比较
2021-02-01 cs.DC
Big Data Analytics in Cloud environment using Hadoop
大数据管理是目前的一个问题。大数据增长非常快。由于其各种特性，管理起来非常困难。本文重点介绍使用Hadoop在云环境中进行大数据分析。我们根据大数据的特征，如数量，价值，多样性和速度进行了分类。我们已经做了各种节点来处理数据的基础上，他们的体积，速度，价值和品种。在这项工作中，我们已经分类的输入数据和路由到各个处理节点。最后对每个节点进行处理后，将所有节点的输出进行合并，得到最终结果。我们使用Hadoop来划分数据并处理它。
2016-09-15 cs.DC
Adaptive Energy-aware Scheduling of Dynamic Event Analytics across Edge and Cloud Resources
作为物联网（IoT）的一部分，传感器的部署越来越多，正在产生数千个事件流。复杂事件处理（CEP）查询提供了一个有用的范例，对这些数据源的快速决策。虽然通常集中在云中，但在现场部署有能力的边缘设备激发了对跨边缘和云计算的协作事件分析的需求。在这里，我们确定了一个新的问题，即在边缘和云资源上放置查询，以动态地到达和离开分析流程。我们将其定义为一个优化问题，以最小化所有事件分析的总完工时间，同时满足资源的能量和计算约束。我们提出了4种自适应算法和3种重新平衡策略，并使用100 - 1000个边缘设备和虚拟机的详细模拟来验证它们。结果表明，我们的算法提供O（秒）的规划时间，在所有情况下，提供一个有效的和高质量的解决方案，并减少查询迁移的数量。此外，再平衡策略在这些物流中应用时，显着减少了约20 - 25%的完工时间。
2018-01-03 cs.DC
Hybrid Reusable Computational Analytics Workflow Management with Cloudmesh
在本文中，我们总结了我们的努力，创建和利用一个简单的框架来协调计算分析任务的工作流系统的帮助下。我们的设计是基于一个极简的方法，而在同一时间允许访问通过业主的计算机，HPC计算中心，云资源和分布式系统提供的计算资源一般。对这个框架的访问包括一个用于监视和管理工作流的简单GUI、一个REST服务、一个命令行界面以及一个Python界面。由此产生的框架是针对混合计算资源上的AI应用程序基准的几个示例开发的，并作为一种教育工具，用于教授科学家和学生复杂的概念，以在从单个计算机到数千台计算机的资源上执行计算，作为内部部署和云基础设施的一部分。我们证明了一些例子的工具的实用性。该代码在GitHub中作为开源项目提供，并基于一个易于增强的工具cloudmesh。
2022-10-30 cs.DC
CloudMine: Multi-Party Privacy-Preserving Data Analytics Service
越来越多的企业正在用云服务取代他们的数据存储和计算基础设施。同样，越来越强调基于从不同数据源获得的多个数据集执行分析。虽然确保外包给第三方云的数据和计算的安全性本身就具有挑战性，但使用分布在多个独立云上的数据支持分析更是微不足道。在本文中，我们提出了CloudMine，一个基于云的服务，它允许多个数据所有者使用他们的云作为代表的联合数据执行隐私保护的计算。CloudMine保护半诚实数据所有者和半诚实云的数据隐私。它还确保了来自好奇云的计算输出的隐私。它允许数据所有者可靠地检测他们的云代理在执行委托计算时是否懒惰。CloudMine可以在单个云上作为集中式服务运行，也可以在多个独立的云上作为分布式服务运行。CloudMine支持一组基本计算，可用于构建各种高度复杂的分布式隐私保护数据分析。我们演示了如何在云环境中使用CloudMine（安全求和服务）的一个简单实例来实现三个经典的数据采掘任务（分类，关联规则挖掘和聚类）。我们实验的原型服务，其结果表明其实用性支持隐私保护数据分析作为（多）基于云的服务。
2013-10-01 cs.CR cs.DC
Distributed Scheduling of Event Analytics across Edge and Cloud
物联网（IoT）领域从传感器生成大量高速事件流，需要以低延迟进行分析以推动决策。复杂事件处理（CEP）是一种大数据技术，用于实现此类分析，传统上在云虚拟机（VM）上执行。利用专有物联网边缘资源与云虚拟机相结合，可以为CEP提供更好的性能，灵活性和货币成本。在这里，我们为CEP查询的能量感知放置制定了一个优化问题，该问题由一个分析流组成，跨越一系列边缘和云资源，目标是最大限度地减少分析流的端到端延迟。我们提出了一个遗传算法（GA）的元启发式来解决这个问题，并比较它与蛮力优化算法（BF）。我们对边缘和云资源的计算、网络和能源能力进行了详细的实际基准测试。这些结果用于定义一个现实和全面的模拟研究，验证BF和GA解决方案的45个不同的CEP网络，LAN和WAN设置，以及不同的边缘资源可用性。我们将GA和BF解决方案与不同配置的随机和仅云基线进行比较，总共进行了1764次模拟运行。我们的研究表明，遗传算法是在97%的最佳BF解决方案，需要几个小时，映射图与4 - 50查询在1 - 26秒，只有未能提供一个可行的解决方案<= 20%的时间。
2017-12-09 cs.DC
On Designing a Generic Framework for Cloud-based Big Data Analytics
大数据分析最近引起了广泛的研究关注，因为它能够从大量数据中利用有用的信息。云计算被认为是实施大数据分析的最佳基础设施解决方案之一。这篇研究论文提出了一个基于云的大数据分析的五层模型，该模型使用了dew计算和边缘计算概念。此外，本文还提出了一种基于应用程序识别的数据和计算模型选择技术来创建自定义大数据堆栈的方法
2017-11-04 cs.CY cs.DC
Cloud Based Big Data DNS Analytics at Turknet
域名系统（DNS）是一种分层分布式命名系统，用于计算机、服务或连接到Internet的任何资源。DNS将URL查询解析为IP地址，以便在全球范围内定位计算机服务和设备。到目前为止，具有大量DNS数据的分析应用程序是一个具有挑战性的问题。由于数据特征的敏感性，从DNS数据中聚类域流量的特征需要更复杂的分析平台和工具。在这项研究中，提出了一个基于云的大数据应用程序，基于Apache Spark，对DNS数据，以及基于流量的周期性趋势模式，以划分众多的域名和地区到不同的组，其查询流量时间序列的特点。初步实验结果的Turknet DNS数据在日常运营中进行了讨论与商业智能应用。
2020-07-08 cs.DC
Performance Analysis of QoS-Differentiated Pricing in Cloud Computing: An Analytical Approach
IaaS服务设计的一个基本目标是实现用户友好和具有成本效益的服务访问，同时实现高资源效率以实现收入最大化。QoS差异化是实现这一设计目标的一个重要透镜。在本文中，我们提出了第一个分析QoS差异化的资源管理和定价架构的云计算上下文中，在这里，云服务提供商（CSP）提供了一个组合的SLA。为了最大限度地提高CSP的收入，我们解决两个技术问题：（1）如何设置SLA价格，以指导用户的SLA最适合他们的需求，和（2）确定多少服务器应该分配给每个SLA，哪些用户和他们的工作有多少被接纳为服务。我们提出了最佳方案，共同确定SLA为基础的价格和执行容量规划在多项式时间。我们的定价模式在客户端保持了高可用性。与标准的基于使用的定价方案相比，数值结果表明，该计划可以提高收入的五倍增加。
2018-03-24 cs.DC
An Integrated (Crop Model, Cloud and Big Data Analytic) Framework to support Agriculture Activity Monitoring System
本文针对农业活动监测面临的海量异构数据处理与实时协作需求，提出一个融合作物模型、云计算和大数据分析的集成地理信息框架，以提供可扩展、透明且高效的系统支持。
2024-11-19 cs.DC
Sustainable Graph Analytics Workload Scheduling with Evolutionary Reinforcement Learning in Edge-Cloud Systems
Colorado State University（科罗拉多州立大学）；IIIT Guwahati（古瓦哈提信息与技术研究所）；Hewlett-Packard Labs（惠普实验室）
本文提出MERSEM框架，通过进化搜索与强化学习结合，优化边缘-云计算系统中图分析工作负载的调度，减少SLA违规和碳排放。
2026-05-13 cs.DC
Whitepaper on Reusable Hybrid and Multi-Cloud Analytics Service Framework
本文提出一个可复用的混合多云分析服务框架，通过服务概念增强、服务组合与容器技术集成，实现多提供商分析服务的复用与部署。
2023-10-25 cs.DC
Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data
本文介绍AI Earth，一个基于阿里云的遥感智能计算平台，提供公开数据集、计算工具、深度学习模型及大视觉分割模型，支持用户训练和部署模型，以应对海量地球观测数据处理的挑战。
2023-12-27 cs.DC
In-situ data analytics for highly scalable cloud modelling on Cray machines
MONC是一个高度可扩展的建模工具，用于研究大气流动，湍流和云微物理学。典型的模拟会产生大量的原始数据，然后必须对这些数据进行分析以进行科学研究。出于性能和可伸缩性的原因，这种分析和随后写入磁盘的操作应该在数据生成时就地执行，但是人们不希望在执行分析时暂停计算。在本文中，我们提出了MONC的分析方法，其中节点的核心在计算和数据分析之间共享。通过将数据异步发送到分析核心，计算核心可以连续运行，而不必暂停数据写入或分析。我们描述了我们的IO服务器框架和分析工作流，这是高度异步的，以及解决方案，这种方法提出的挑战和一些常见的配置选择的性能影响。这项工作的结果是一个高度可扩展的分析方法，我们说明了高达32768个计算核心的Cray XC30，有最小的性能影响时，使数据分析在MONC运行时，还调查我们的方法的性能和适用性的KNL。
2020-10-27 cs.DC
Big Data Analytics = Machine Learning + Cloud Computing
大数据对不同的人意味着不同的东西。大数据的规模和挑战通常使用三个属性来描述，即数量，速度和多样性（3V），这只反映了数据的某些方面。在本章中，我们回顾了“大数据”一词的历史和相关的分析。我们用大数据的其他属性来增强3V，使其更加全面和相关。我们发现，大数据不仅仅是3V，而是32 V，即9 V，涵盖了大数据背后的根本动机，即基于不同假设或统计模型的商业智能（BI），以便大数据分析（BDA）能够使决策者对一些关键决策或研究结果做出有用的预测。大数据的历史已经证明，执行BDA最具成本效益的方法是在基于云计算（CC）的基础设施上使用机器学习（ML），或者简单地说，ML + CC -> BDA。本章致力于帮助决策者将BDA定义为解决其业务需求的解决方案和机会。
2016-01-13 cs.DC
TrafficFab: An Autonomic Edge-Cloud Testbed Fabric forAI-Driven Traffic Management
Indian Institute of Science (IISc)（印度科学研究所）
TrafficFab提出自主边缘-云测试平台，结合RTSP模拟、DNN边缘推理、ST-GNN云预测和FM辅助联邦学习，在班加罗尔部署上支持约400路实时流，验证大城市闭环交通分析。
2026-09-25 cs.DC
A Secure Data Enclave and Analytics Platform for Social Scientists
数据驱动的研究越来越普遍，数据本身是研究人员的决定性资产，特别是在计算社会科学和人文科学领域。整个职业和研究社区都是围绕有价值的、专有的或敏感的数据集建立的。然而，许多现有的计算资源不能支持数据的安全和成本有效的存储，同时还能够实现数据的安全和灵活的分析。为了满足这些需求，我们提出了CLOUD KOTTA，这是一种基于云的架构，用于安全管理和分析社会科学数据。CLOUD KOTTA利用可靠、安全和可扩展的云资源为用户提供功能，并消除了用户管理复杂基础设施的需求。CLOUD KOTTA实现了自动化、成本感知的模型，用于高效地配置分层存储和自动扩展计算资源。CLOUD KOTTA已经在生产中使用了几个月，目前管理着大约10TB的数据，并已用于处理超过5TB的数据，CPU时间超过75，000小时。它已被用于各种文本分析工作流、矩阵分解和各种机器学习算法，更广泛地说，它支持快速、安全和经济高效的研究。
2016-10-10 cs.DC
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.（推特公司）
大规模实施大数据存储是一项复杂而艰巨的任务，需要先进的基础设施。随着公共云计算的兴起，各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分，冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法，同时确保安全性，隐私性和数据保护。本文还讨论了公共云资源的限制，以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现，但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
Accelerating R-based Analytics on the Cloud
本文讨论了如何利用基于云的基础架构的优势来处理分析工作负载。通常，处理分析工作负载的软件不是由专业程序员开发的，而是由分析师在高级编程环境（如R或Matlab）中临时开发的。这项研究的目标是让分析师能够在其个人工作站上执行分析工作，并以最小的努力在云基础设施上执行，并管理工作所需的资源和数据。如果这可以很好地促进，那么分析师将受益于按需资源，低维护成本和计算资源的可扩展性，所有这些都由云提供。在本文中，提出并实现了一个位于分析师和云基础设施之间的基于并行R的云分析平台（P2RAC）。P2RAC提供了一组命令行工具，用于管理Amazon Elastic Computing Cloud基础设施上的资源（例如实例和群集）、数据和软件执行。使用两个并行问题进行实验研究，得到的结果证实了采用P2RAC解决云上的大规模分析问题的可行性。
2013-08-13 cs.CE cs.DC cs.SE
Towards Confidential Computing: A Secure Cloud Architecture for Big Data Analytics and AI
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）
本文针对生物医学等领域在云环境中面临的数据安全风险，提出一种安全云架构，实现工作流打包与调度，并保障数据、逻辑和计算在传输、使用及静态存储中的安全。
2023-05-28 cs.AI cs.DC
In-Browser Split-Execution Support for Interactive Analytics in the Cloud
今天的规范分析架构由连接到云中后端的浏览器组成。在我们所知道的所有部署中，浏览器只是一个愚蠢的渲染端点。作为替代方案，本文探讨了将分析功能推入浏览器的分割执行架构。我们表明，通过利用类型化数组和asm.js，有可能在浏览器中运行的JavaScript中构建分析型RDBMS，从而实现与本地数据库相媲美的性能。为了支持交互式数据探索，我们的Afterburner原型从后端数据库自动生成本地物化视图，然后将其发送到浏览器，以无缝有效地促进后续交互。我们比较这种架构的几种替代部署，实验证明性能的奇偶性，而在同一时间提供额外的优势，在管理和操作简单性。
2018-04-24 cs.DB cs.DC
Reproducible and Portable Big Data Analytics in the Cloud
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
云计算已经成为帮助重现计算实验的主要方法。然而，在云中复制基于批处理的大数据分析（包括描述性和预测性分析）仍然存在两个主要困难。第一个是如何自动化端到端的可扩展分析执行，包括分布式环境配置、分析管道描述、并行执行和资源终止。第二个是为一个云开发的应用程序很难在另一个云中复制，也就是说，供应商锁定问题。为了解决这些问题，我们利用无服务器计算和容器化技术来实现自动化的可扩展执行和可再现性，并利用适配器设计模式来实现跨不同云的应用程序可移植性和可再现性。我们提出并开发了一个开源工具包，该工具包支持1）通过单个命令完全自动化的端到端执行和再现，2）每次执行的自动化数据和配置存储，3）基于用户偏好的灵活客户端模式，4）执行历史查询，以及5）在相同环境或不同环境中简单再现现有执行。我们在AWS和Azure上进行了广泛的实验，使用了四个在虚拟CPU/GPU集群上运行的大数据分析应用程序。实验表明，该工具包能够实现良好的执行性能、可扩展性和高效的可重复性，适用于基于云的大数据分析。
2023-03-10 cs.DC cs.LG cs.NI
Enabling Interactive Analytics of Secure Data using Cloud Kotta
研究，特别是社会科学和人文科学，越来越依赖于数据科学方法的应用，以分析大量（通常是私人）数据。安全数据飞地为管理和分析私有数据提供了解决方案。然而，这样的飞地并不容易支持发现科学-一种探索性或交互式分析的形式，研究人员通过这种形式以迭代和协作的方式执行一系列（有时很大）分析。许多数据飞地提供的批处理计算模型非常适合执行大型计算任务;然而，对于日常发现科学来说，它远非理想。由于研究人员必须将作业提交到队列中并等待结果，基于队列的批处理计算系统中固有的高延迟性阻碍了交互式分析。在本文中，我们描述了我们如何增强Cloud Kotta安全数据飞地，以支持敏感数据的协作和交互式分析。我们的模型使用了一个灵活的分析环境和Python语言结构，以支持在这个安全的框架内对私有数据执行任意函数。
2017-04-28 cs.DC
Combining edge and cloud computing for mobility analytics
使用从移动物联网（IoMT）生成的数据进行移动性分析面临着许多挑战，从摄取来自大量雾节点和IoMT设备的数据流，到避免无用的大量数据流溢出云，这些数据流可能会引发瓶颈[1]。管理数据流正在成为IoMT的重要组成部分，因为它将决定未来应该在哪个平台上运行分析任务。数据流通常是具有高数据输入速率的乱序元组序列，并且移动性分析需要从边缘到云的双向实时数据流，反之亦然。在将数据流拉到云之前，除了识别到达时间无序的元组之外，还需要边缘数据流处理来检测丢失、损坏和重复的元组。数据过滤、数据清理和低级数据上下文化等分析任务可以在网络边缘执行。相比之下，更复杂的分析任务（如图形处理）可以部署在云中，并且ad-hoc查询和流式图形分析的结果可以根据用户应用程序的需要推送到边缘。图表是移动分析中使用的有效表示，因为它们统一了有关移动事物之间的连接，邻近和交互的知识。这张海报描述了我们为支持交通系统而开发的实验原型的初步结果，其中边缘和云计算相结合，处理从雾节点转发到云中的交通数据流。本研究的动机是了解如何通过结合云计算和雾计算架构对交通馈送执行有意义的移动性分析，以改善车队管理、公共交通和远程资产监控
2017-06-20 cs.CY cs.DC cs.NI
Taming Hybrid-Cloud Fast and Scalable Graph Analytics at Twitter
近年来，我们见证了Twitter对图形分析的需求激增，图形分析已成为Twitter大规模数据分析和机器学习的关键部分之一，用于推动参与度，提供最相关的内容，并促进更健康的对话。然而，图形分析的基础设施历来不是Twitter的投资领域，导致每个项目都需要很长的时间轴和巨大的工程工作来处理Twitter规模的图形。我们如何构建统一的图分析用户体验，以实现从数千到数千亿个顶点和边的各种图规模的现代数据分析？为了将快速和可扩展的图形分析能力带入生产，我们调查了Twitter在大规模图形分析方面面临的挑战，并提出了一个统一的图形分析平台，用于跨内部部署和云进行高效，可扩展和可靠的图形分析，以满足不同图形用例和具有挑战性的规模的要求。我们还对Twitter的生产级图用例在流行的图分析框架之间进行定量基准测试，以证明我们的解决方案。
2022-08-25 cs.DB cs.DC
Scaling Real-Time Traffic Analytics on Edge-Cloud Fabrics for City-Scale Camera Networks
Indian Institute of Science, Bengaluru（印度科学学院）
本文提出了一种可扩展的AI驱动智能交通系统，通过边缘-云织物实现城市级摄像头网络的实时交通分析，利用DNN和ST-GNN实现高吞吐量检测与预测，并通过持续联邦学习提升系统适应性。
2026-03-05 cs.DC
An Edge-Cloud Integrated Framework for Flexible and Dynamic Stream Analytics
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
随着物联网（IoT）、边缘计算和云计算的普及，越来越多的流分析应用正在开发中，包括在IoT传感数据之上的实时趋势预测和目标检测。一种流行的流分析类型是基于时间序列或序列数据预测和预报的递归神经网络（RNN）深度学习模型。与传统的分析不同，传统的分析假设数据提前可用并且不会改变，流分析处理的是不断生成的数据，并且数据趋势/分布可能会发生变化（也就是说，概念漂移），这将导致预测/预报准确性随时间下降。另一个挑战是为流分析找到最佳资源配置，以实现良好的整体延迟。在本文中，我们研究了如何最好地利用边缘和云资源，使用一种称为长短期记忆（LSTM）的RNN模型来实现更好的流分析准确性和延迟。我们提出了一种新的边缘云集成框架，用于混合流分析，支持边缘上的低延迟推理和云上的高容量训练。为了实现灵活的部署，我们研究了不同的方法来部署我们的混合学习框架，包括以边缘为中心，以云为中心和边缘云集成。此外，我们的混合学习框架可以动态地组合基于历史数据预训练的LSTM模型和基于最新数据定期重新训练的另一个LSTM模型的推理结果。使用真实世界和模拟流数据集，我们的实验表明，所提出的边缘云部署在延迟方面是所有三种部署类型中最好的。对于准确性，实验表明，我们的动态学习方法在所有三种概念漂移情况下的所有学习方法中表现最好。
2022-08-13 cs.DC cs.LG cs.NI
Brewing Analytics Quality for Cloud Performance
云计算已经变得越来越流行。云部署的许多选项都可用。测试云性能将使我们能够根据需求选择云部署。在本文中，我们提出了一个创新的过程，在软件中实现，使我们能够评估云性能数据的质量。该过程结合了来自多台机器的性能数据，跨越了用户体验数据、工作负载性能指标和随时可用的系统性能数据。此外，我们还讨论了将原始数据转换为整洁的数据格式以进行后续分析的主要挑战，并描述了我们的过程如何进行多层评估以验证数据处理过程的质量。我们提出了一个案例研究，以证明我们提出的过程的有效性，并结束我们的论文与几个未来的研究方向值得调查。
2015-08-31 cs.DC cs.PF stat.AP
ShoreKeeper: Accelerating Iterative Data Analytics in the Cloud via Distributed Recovery-Cost-Aware Caching
POSTECH（浦项工科大学）；Amazon Web Services（亚马逊云服务）
ShoreKeeper是将集群内存视为统一弹性池的框架，通过全局优化模型和图剪枝技术降低数据恢复成本，在各类云实例上运行，性能优于现有最先进系统。
2026-10-12 cs.DC
An End to End Edge to Cloud Data and Analytics Strategy
University of Idaho（爱达荷大学）
本文针对物联网设备激增带来的实时决策需求，提出了一种端到端的安全边到云数据与分析策略，并提供了设备层、边缘层和云层的参考架构以支持实际部署。
2025-09-15 cs.AI cs.CE cs.DC
A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）；Nanjing University of Science and Technology（南京理工大学）；K&C Technologies Solutions（K&C技术解决方案公司）
基于DNN的视频分析已经授权了许多新的应用（例如，自动零售）。同时，雾设备的激增为开发人员提供了更多的设计选择，以提高性能并节省成本。据我们所知，本文提出了第一个无服务器系统，该系统充分利用了客户端-雾-云协同作用，以更好地服务于基于DNN的视频分析。具体而言，该系统旨在实现两个目标：1）通过明智地管理部署在客户端、雾和云环境中的计算和带宽资源，在较低带宽使用和较短往返时间（RTT）的约束下提供最佳分析结果。2)将开发人员从繁琐的管理和操作任务中解放出来，包括DNN部署，云和雾的资源管理。为此，我们实现了一个整体的云雾系统，称为VPaaS（视频平台即服务）。VPaaS采用无服务器计算，使开发人员能够通过简单地编程一组功能（例如，模型推理），然后通过精心设计的模块协调这些模块来处理视频。为了节省带宽并减少RTT，VPaaS提供了一种新的视频流协议，该协议仅将低质量视频发送到云。部署在云端的最先进（SOTA）DNN可以识别需要在雾端进一步处理的视频帧区域。在雾端，这些区域中的错误识别标签可以使用轻量级DNN模型进行校正。为了解决数据漂移问题，我们将有限的人类反馈纳入系统中以验证结果，并采用增量学习来不断改进我们的系统。评估表明，VPaaS优于几种SOTA系统：它保持了高准确性，同时将带宽使用量减少了21%，RTT减少了62.5%，云货币成本减少了50%。
2021-02-05 cs.AI cs.DC
Data-Intensive Supercomputing in the Cloud: Global Analytics for Satellite Imagery
Descartes Labs（笛卡尔实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了我们的经验，使用云计算，以支持数据密集型分析卫星图像的商业应用。根据我们在高性能计算方面的背景，我们将早期的集群计算系统与当前的云计算及其颠覆HPC市场的潜力进行了比较。在云远程对象存储之上使用我们自己的虚拟文件系统层，我们使用512个Google Compute Engine（GCE）节点访问美国多区域标准存储桶，展示了每秒230 GB的聚合读取带宽。这个数字可以与现有的最好的HPC存储系统相媲美。我们还提出了几个我们的应用结果，包括在乌克兰的领域边界的识别，并从陆地卫星图像生成一个全球无云的基础层。
2017-02-13 cs.AI cs.DC
Lynceus: Cost-efficient Tuning and Provisioning of Data Analytic Jobs
现代数据分析和机器学习工作在云中找到了一个自然的部署平台，以满足其众所周知的大量资源需求。然而，为了实现成本效率，识别满足用户定义的QoS约束（例如，在执行时间上），同时避免不必要的过度供应。本文介绍了Lynceus，一种用于优化基于云的数据分析工作的新方法，该方法通过在最终推荐配置和用于推荐配置的优化过程方面实现显着的成本节约来改进最先进的方法。与现有解决方案不同，Lynceus以联合方式优化云相关和应用程序级参数。这使得推荐配置的成本在第90百分位数时比现有方法降低了3.7倍，现有方法将云相关参数和应用程序级参数的优化视为两个独立的问题。此外，Lynceus降低了优化过程的成本（即，测试配置所产生的云成本）高达11倍。i）超时方法，其允许中止被认为是次优的配置的探索，同时仍然提取有用的信息以指导未来的探索并改进其预测模型-与最近的工作不同，其要么招致测试次优配置的全部成本，要么不能从中止的运行中提取任何知识; ii）一种具有远见和洞察力的技术，通过预测每次探索的长期影响来确定要测试哪些配置-这与采用贪婪优化方法的最先进的云作业优化方法不同。
2020-01-20 cs.DC
Leveraging cloud based big data analytics in knowledge management for enhanced decision making in organizations
近年来，大数据机会已经获得了很大的动力，以加强组织的知识管理。然而，大数据由于其各种属性，如高容量，多样性和速度，不再能有效地存储和分析与传统的数据管理技术，以产生价值的知识开发。因此，需要新的技术和架构来通过高级数据分析来存储和分析这些大数据，从而为组织的有效决策生成重要的实时知识。更具体地说，有必要拥有一个单一的基础设施，提供知识管理的通用功能，并具有足够的灵活性，以处理不同类型的大数据和大数据分析任务。能够存储和处理大量数据的云计算基础设施可以用于高效的大数据处理，因为它最小化了大数据分析所需的大规模计算基础设施的初始成本。本文旨在探讨大数据分析对知识管理的影响，并提出一个基于云的概念框架，可以实时的分析大数据，以促进旨在获得竞争优势的增强决策。因此，该框架将为组织探索大数据分析和知识管理之间的关系铺平道路，这两种关系通常被视为两个不同的实体。
2017-02-15 cs.CY cs.DC
Performance Characterization of In-Memory Data Analytics on a Modern Cloud Server
在过去的十年中，数据分析已经从传统的基于磁盘的处理快速发展到现代的内存处理。然而，很少的努力一直致力于提高性能的微架构级别。本文描述了使用Apache Spark框架进行内存数据分析的性能。我们使用单节点NUMA机器，并确定阻碍工作负载可扩展性的瓶颈。我们还量化了各种数据分析工作负载在微架构级别的效率低下。通过实证评估，我们表明，火花工作负载不线性扩展超过12个线程，由于工作时间膨胀和线程级负载不平衡。此外，在微架构级别，我们观察到内存限制延迟是工作时间膨胀的主要原因。
2015-06-25 cs.DC cs.PF
Rethinking the Cloudonomics of Efficient I/O for Data-Intensive Analytics Applications
本文基于 Uber 生产环境 Presto 集群的追踪数据，揭示了传统 I/O 优化在云环境中因忽略存储 API 调用成本而可能产生意外开销的问题，为云原生数据密集型应用设计成本感知的高效 I/O 策略提供了研究起点。
2023-10-31 cs.DB cs.DC
Scalable, Fast Cloud Computing with Execution Templates
大规模云数据分析应用程序通常是CPU受限的。这些周期中的大多数都被浪费了：用C++编写的基准测试比Naiad和Spark等框架快10-51倍。然而，从这些框架调用更快的实现只能看到适度的（3- 5倍）加速，因为它们的控制平面不能足够快地调度工作。本文介绍了执行模板，一个控制平面抽象的CPU绑定的云应用程序，如机器学习。执行模板利用高度重复的控制流将调度决策缓存为{ \it模板}。节点实例化这些模板，而不是在每次循环执行时重新调度数十万个任务。控制器的模板指定了所有工作节点上的执行，并将其划分为每个工作节点的模板。为了确保模板正确执行，控制器动态地修补模板以匹配程序控制流。我们已经在Nimbus（一个C++云计算框架）中实现了执行模板。在Nimbus中运行，分析基准可以比Naiad和Spark快16-43倍。Nimbus的控制平面可以扩展到多达100个节点（800个核心）上运行这些更快的基准测试。
2016-06-06 cs.DC
Training Data Reduction for Performance Models of Data Analytics Jobs in the Cloud
像Apache Flink和Apache Spark这样的分布式Linux系统以数据并行的方式简化了集群上的大量数据处理。然而，选择合适的集群资源的分布式并行作业的类型和数量是困难的，特别是对于用户谁没有访问以前的性能指标。克服这个问题的一种方法是让用户共享运行时度量，以训练上下文感知的性能模型，从而帮助找到适合手头工作的配置。共享运行时数据而不是训练的模型或模型参数时的一个问题是，数据大小可能会随着时间的推移而大幅增长。本文研究了几种聚类技术，以最大限度地减少训练数据的大小，同时保持相关的性能模型准确。我们的研究结果表明，数据传输，存储和模型训练的效率增益可以通过训练数据减少。在对我们的解决方案进行评估时，我们观察到，平均而言，75%的数据减少只会使预测误差增加一个百分点。
2022-03-11 cs.DC
Tangram: High-resolution Video Analytics on Serverless Platform with SLO-aware Batching
针对云边高分辨率视频分析的SLO违规与资源低效问题，提出Tangram无服务器系统，通过RoI对齐拼接批处理与SLO感知在线调度算法，大幅降低带宽与计算成本，同时保障SLO与精度。
2024-04-14 cs.DC
ServerMix: Tradeoffs and Challenges of Serverless Data Analytics
无服务器计算今天已经变得非常流行，因为它在很大程度上简化了云编程。开发人员不再需要担心配置或操作服务器，他们只需为代码运行时使用的计算资源付费。这种新的云模式非常适合许多应用程序，研究人员已经开始研究无服务器计算用于数据分析的可行性。不幸的是，今天的无服务器计算存在重要的限制，使得它很难支持各种分析工作负载。本文首先分析了当今无服务器计算模型的三个基本权衡及其与数据分析的关系。它研究了如何通过放松分解，隔离和简单的调度来提高整体计算性能，但代价是模型的基本方面，如弹性，安全性或亚秒级激活。这些权衡的结果是，分析应用程序最终可能会拥抱由无服务器和有服务器组件组成的混合系统，我们在本文中称之为Servermix。我们将回顾现有的相关工作，以表明大多数应用程序实际上可以归类为Servermix。最后，本文将介绍CloudButton研究项目管理这些权衡的主要挑战。
2019-07-26 cs.DC
Big Data Computing Using Cloud-Based Technologies, Challenges and Future Perspectives
设备和基于互联网的来源定期生成的大量数据构成了大数据。这些数据可以被处理和分析，为特定领域开发有用的应用程序。一些数学和数据分析技术在这一领域得到了应用。这导致了大数据计算的计算模型和工具的发展。然而，对于传统系统和技术来说，存储和处理要求是压倒性的。因此，需要能够根据变化的数据维度来调整存储和处理能力的基础设施。云计算是解决这一问题的一个潜在方案。然而，云中的大数据计算有其自身的一系列挑战和研究问题。本章概述了大数据的概念，讨论了可用于大数据的数学和数据分析技术，并对现有的工具、框架和平台进行了分类，这些工具、框架和平台可用于不同的大数据计算模型。此外，它还评估了基于云的大数据计算的可行性，研究了现有的挑战和机遇，并提供了该领域未来的研究方向。
2017-11-24 cs.DC
Accelerator Virtualization in Fog Computing: Moving From the Cloud to the Edge
云上的硬件加速器可用于增强分析。下一代云的目标是使用加速器将增强的分析功能更接近网络边缘的用户设备，通过最小化端到端延迟和响应时间来提高服务质量。在包括云、边缘和用户设备的多层层次结构中利用云边缘连续体处的资源的集体计算模型被称为雾计算。本文确定了使加速器在边缘可访问的挑战和机遇。雾架构的整体视图是在这一领域进行有意义的研究的关键。
2018-10-14 cs.DC cs.NI
Neural-based Modeling for Performance Tuning of Spark Data Analytics
Ecole Polytechnique（巴黎综合理工学院）；University of Massachussets at Amherst（马萨诸塞大学阿默斯特分校）
云数据分析已成为企业业务运营中不可或缺的一部分，用于数据驱动的洞察力发现。云数据分析的性能建模对于性能调优和云中的其他关键操作至关重要。传统的建模技术无法适应该领域中工作负载和系统行为的高度多样性。在本文中，我们将最新的深度学习技术用于云数据分析的自动化性能建模过程，重点关注Spark数据分析作为代表性工作负载。我们工作的核心是学习工作负载嵌入（具有一组所需属性）的概念，以表示不同作业的基本计算特性，当与控制资源分配和其他系统旋钮的作业配置一起使用时，可以进行性能预测。我们的工作提供了适合我们要求的不同建模选择的深入研究。广泛的实验结果揭示了不同建模方法的优势和局限性，以及我们最好的性能方法优于最先进的云分析建模工具的优越性能。
2021-01-20 cs.DB cs.DC cs.LG
Streaming Video Analytics On The Edge With Asynchronous Cloud Support
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）；Clutterbot
新兴的物联网（IoT）和移动计算应用预计将支持延迟敏感的深度神经网络（DNN）工作负载。为了实现这一愿景，互联网正在向边缘计算架构发展，其中计算基础设施位于更靠近终端设备的位置，以帮助实现低延迟。然而，与云环境相比，边缘计算可能具有有限的资源，因此无法运行通常具有高精度的大型DNN模型。在这项工作中，我们开发了REACT，这是一个利用云资源以更高精度执行大型DNN模型的框架，以提高在边缘设备上运行的模型的准确性。为此，我们提出了一种新的边缘云融合算法，融合边缘和云预测，实现低延迟和高精度。我们广泛地评估我们的方法，并表明，我们的方法可以显着提高精度相比，基线方法。我们特别关注视频中的目标检测（适用于许多视频分析场景），并表明融合的边缘云预测可以比仅边缘和仅云场景的准确性高出50%。我们还表明，REACT可以通过选择广泛的系统参数来满足特定于用例的约束（例如有限的网络带宽或GPU周期），从而在权衡点上实现良好的性能。
2022-10-04 cs.CV cs.DC cs.MM
Lambada: Interactive Data Analytics on Cold Data using Serverless Cloud Infrastructure
无服务器计算的最终弹性和操作简单性的承诺最近导致了这一领域的研究爆炸。在数据分析的背景下，这一概念听起来很有吸引力，但由于目前产品的局限性，这种方法在技术和经济上是否可行还没有达成共识。在本文中，我们将冷数据的交互式数据分析确定为无服务器计算的一个用例。我们设计并实现了Lambada，一个遵循纯无服务器架构的系统，以说明何时以及如何将无服务器计算用于数据分析。我们提出了几个系统组件，克服了以前已知的固有的限制，在无服务器的范例，以及额外的，我们在这项工作中确定。我们可以证明，由于精心设计，与商业查询即服务系统相比，无服务器查询处理系统可以同时快一个数量级，便宜两个数量级，这是唯一具有类似操作简单性的替代方案。
2019-12-02 cs.DB cs.DC
Boosting Cloud Data Analytics using Multi-Objective Optimization
云中的数据分析已成为企业业务不可或缺的一部分。然而，大数据分析系统仍然缺乏将用户性能目标和预算约束（统称为任务目标）用于任务并自动配置分析作业以实现这些目标的能力。本文提出了一种数据分析优化器，它可以自动确定具有合适数量的核心的集群配置以及最符合任务目标的其他系统参数。在我们的工作的核心是一个原则性的多目标优化（MOO）的方法，计算帕累托最优的一组作业配置，以揭示不同的用户目标之间的权衡，建议一个新的作业配置，最好的探索这种权衡，并采用新的优化，使这样的建议在几秒钟内。我们提出了有效的增量算法的基础上实现我们的MOO方法的进步前沿的概念，并将它们实现到一个基于火花的原型。使用基准工作负载的详细实验表明，我们的MOO技术提供了2- 50倍的加速比现有的MOO方法，同时提供良好的覆盖面的帕累托前沿。当与Ottertune，一个国家的最先进的性能调优系统相比，我们的方法建议的配置，产生26\%-49\%的运行时间减少的TPCx-BB基准，同时适应不同的应用程序偏好的多个目标。
2020-05-07 cs.DB cs.DC
Privacy-Preserving Data Processing in Cloud : From Homomorphic Encryption to Federated Analytics
本文综述了云计算中隐私保护的数据处理方法，包括同态加密、差分隐私以及联邦学习等技术，探讨了其在医疗、金融等领域的应用及隐私与效率的权衡。
2026-01-10 cs.CR cs.DC
Demonstration of a Cloud-based Software Framework for Video Analytics Application using Low-Cost IoT Devices
Redspark Technologies（红 spark 科技）；Pandit Deendayal Petroleum University（潘迪特·丁代亚尔石油大学）；Confirm SFI Research Centre for Smart Manufacturing, Data Science Institute, NUI Galway（爱尔兰国立高威大学数据科学研究所、爱尔兰科学基金会智能制造业确认研究中心）
产品和服务的设计，如智能门铃，展示视频分析软件/算法功能，预计将解决一种新的需求，如设计一个可扩展的解决方案，同时考虑成本和准确性之间的权衡;灵活的架构，以部署新的基于AI的模型或更新现有的模型，随着用户需求的发展;以及无缝地集成不同种类的用户界面和设备。为了应对这些挑战，我们提出了一种智能门铃，可以跨边缘和云资源协调视频分析。该提案使用AWS作为实施的基础平台，并利用商业可用的现成（COTS）负担得起的设备，如边缘设备形式的Raspberry Pi。
2020-09-29 cs.CV cs.CY cs.DC
Distributed intelligence on the Edge-to-Cloud Continuum: A systematic literature review
University of Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与随机系统研究所）；University of Montpellier（蒙彼利埃大学）；LIRMM（蒙彼利埃计算机科学、机器人与微电子实验室）
越来越多的应用程序产生的数据量爆炸式增长正在强烈影响数据分析和机器学习（ML）的分布式数字基础设施的发展。虽然数据分析过去主要在云基础设施上进行，但物联网基础设施的快速发展以及对低延迟、安全处理的需求推动了边缘分析的发展。如今，为了平衡各种权衡，基于ML的分析往往越来越多地利用互连的生态系统，该生态系统允许在混合基础设施上执行复杂的应用程序，其中物联网边缘设备与云/HPC系统互连，称为计算连续体（Computing Continuum）、数字连续体（Digital Continuum）或跨连续体（Transcontinuum）。跨边缘到云连续体的基于学习的工作流的大规模和优化部署需要对代表性测试平台上的应用程序执行进行广泛和可重复的实验分析。这是必要的，以帮助理解性能的权衡结果，结合各种学习范式和支持框架。全面的实验分析需要评估多个因素的影响，例如：模型精度、训练时间、网络开销、能耗、处理延迟等。本文旨在全面介绍当今机器学习和数据分析的主要最先进库和框架。它描述了在边缘到云连续体上实现基于学习的分析的主要学习范式。主要的模拟，仿真，部署系统，和实验研究的边缘云连续体今天可用的测试平台也进行了调查。此外，我们分析了所选系统如何为实验重现性提供支持。最后，我们详细讨论了相关的开放式研究挑战和未来的发展方向，在这一领域，如：性能的整体理解;应用程序的性能优化;人工智能（AI）工作流在高度…
2022-04-29 cs.DC cs.LG
RBioCloud: A Light-weight Framework for Bioconductor and R-based Jobs on the Cloud
基因组数据的大规模特设分析使用由Bioconductor提供的671个软件包支持的R-程序设计语言是流行的。最近，分析工作受益于按需计算和存储，其可扩展性和低维护成本，所有这些都是由云提供的。虽然生物学家和生物信息学家可以在他们的个人工作站上执行分析工作，但在没有云仪表板的广泛知识的情况下，在云基础设施上无缝执行工作仍然具有挑战性。本文探讨了如何在云上以最小的工作量执行分析作业，以及如何管理作业所需的资源和数据。设计和开发了一个使用Bioconductor软件包执行R脚本的开源轻量级框架，称为“RBioCloud”。RBioCloud提供了一套简单的命令行工具，用于管理云资源，数据和作业的执行。三个生物测试案例验证了RBioCloud的可行性。该框架可从http://www.rbiocloud.com公开获取。
2013-08-09 cs.CE cs.DC cs.PF
