Scout: An Experienced Guide to Find the Best Cloud Configuration
为工作负载找到正确的云配置是确保良好性能和控制运行成本的重要步骤。糟糕的云配置选择会降低应用程序性能并显着增加运行成本。虽然贝叶斯优化是有效的，适用于任何工作负载，但它是脆弱的，因为性能和工作负载很难建模（预测）。在本文中，我们提出了一种新的方法，SCOUT。SCOUT的核心观点是，使用先前的测量，即使是针对不同工作负载的测量，也可以提高搜索性能并降低搜索成本。在其核心，SCOUT提取搜索提示（资源需求的推断）从低级别的性能指标。这样的提示使SCOUT能够更有效地在搜索空间中导航-只搜索聚光灯区域。我们在Apache Hadoop和Spark上评估了107个工作负载的SCOUT。实验结果表明，我们的方法找到了更好的云配置，比最先进的方法具有更低的搜索成本。基于这项工作，我们得出结论：（i）低级别的性能信息对于以有效，高效和可靠的方式找到正确的云配置是必要的，以及（ii）搜索方法可以由历史数据指导，从而降低成本并提高性能。
2018-03-04 cs.DC
C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds
分布式并行处理系统使得能够在集群上对大型数据集进行数据并行处理。公共云提供商提供了大量可用于此类集群的资源。然而，为低成本工作（既不会导致瓶颈，也不会导致低资源利用率）选择合适的云资源通常具有挑战性，即使对于数据工程师等专家用户也是如此。我们提出了C3O，一个协作系统，用于优化公共云中的数据处理集群配置共享的历史运行时数据的基础上。该共享数据用于使用专门的回归模型来预测不同可能的集群配置上的数据处理作业的运行时间。这些模型考虑了不同用户的不同执行上下文，并在我们对930个独特的Spark作业的实验评估中显示出低于3%的平均绝对误差。
2021-12-01 cs.DC
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系，提出结合机器学习与优化的协同调优方法，在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置，显著降低执行时间与成本。
2023-12-07 cs.DC
Misconfiguration prevention and error cause detection for distributed-cloud applications
针对分布式云应用启动参数配置错误问题，提出基于 schema 的配置验证与支持版本差异检测的配置版本控制机制，以预防不合规配置并在故障发生时定位诱因。
2024-10-26 cs.DC
Edge Computing for User-Centric Secure Search on Cloud-Based Encrypted Big Data
云服务提供商为托管非结构化数据提供了一种低成本且方便的解决方案。但是，云服务作为第三方解决方案，不向用户提供数据控制。这引发了许多拥有敏感数据的组织（用户）对使用基于云的解决方案的安全和隐私问题的担忧。用户端加密可以通过建立以用户为中心的云服务并将数据控制权授予用户来解决这些问题。尽管如此，用户侧加密限制了处理（例如，搜索）云上的加密数据。因此，在这项研究中，我们提供了一个框架，使加密的多组织（即，多源）大数据，而不向云提供商透露数据。我们的框架利用边缘计算的局部性特征，以实时的方式提供以用户为中心的搜索能力。特别是，边缘系统智能预测用户的搜索模式，对多源大数据搜索空间进行剪枝，减少搜索时间。剪枝系统基于从云上的集群大数据集进行有效采样。对于每个聚类，修剪系统根据用户的搜索倾向动态地采样适当数量的术语，使得聚类被最优地表示。我们开发了一个以用户为中心的搜索系统的原型，并对多个数据集进行了评估。实验结果表明，在修剪质量和搜索精度的27%的提高。
2019-08-10 cs.CR cs.DC
A Context Aware and Self Adaptation Strategy for Cloud Service Selection and Configuration in Run Time
日复一日，由于智能手机功能的改进，部署在云计算上的移动应用程序的数量持续增加。云计算已经在基于Web的应用中取得了成功，因此，对由云计算提供的上下文感知服务的需求增加。为了定制一个能够满足用户需求的云服务，这些需求依赖于信息的变化，这给云计算带来了环境感知、位置感知、时间感知等方面的挑战。此外，云提供商必须管理个性化应用程序和移动设备在交互能力和通信限制方面的约束。本文提出了一种自动选择合适的云环境的策略，该策略可以满足所有需求，定义关联云环境的配置，并且能够轻松地适应用户或云端或两者的环境变化。该过程建立在动态软件产品线、面向Agent的软件工程和MAPE模型的基础上，根据用户需求和上下文变化来选择和配置云环境。
2021-04-01 cs.DC cs.SE
LENS: Layer Distribution Enabled Neural Architecture Search in Edge-Cloud Hierarchies
University of California, Irvine（加州大学欧文分校）
通过深度神经网络（DNN）采用智能的边缘云分层系统承受着内部工作负载分布的困境。以前的解决方案提出在运行时根据周围环境的状态（如无线条件）分配工作负载。然而，这些条件通常在设计时被忽略。本文通过提出一种新的方法LENS来解决DNN架构设计的这个问题，LENS管理两层系统的多目标神经架构搜索（NAS），其中性能目标被重新设计以考虑无线通信参数。从我们的实验搜索空间，我们表明，LENS提高了传统的解决方案的帕累托集的76.47%和75%的能量和延迟指标，分别。
2021-07-20 cs.DC cs.LG cs.NE
Efficient and Reuseable Cloud Configuration Search Using Discovery Spaces
提出 Discovery Space 抽象形式化云工作负载配置问题，支持跨大语言模型推理等场景的结构化搜索与优化器间数据共享，实现知识重用并使配置搜索速度提升超 90%。
2025-06-26 cs.DC
An optimised cuckoo-based discrete symbiotic organisms search strategy for tasks scheduling in cloud computing environment
本文提出结合Levy-Flight的C-DSOS策略用于云计算任务调度，以最小化不平衡度，实验证明其在大搜索空间下收敛率和统计显著性优于SASOS算法。
2023-11-26 cs.DC
Fast and Low-cost Search for Efficient Cloud Configurations for HPC Workloads
云计算资源的使用对于公司和研究人员访问按需和随时高性能资源变得越来越重要。然而，鉴于虚拟机类型、网络配置、实例数量等多种多样，即使对于专家来说，找到降低成本和资源浪费同时实现可接受性能的最佳配置也是一项艰巨的任务。因此，已经提出了许多方法来为给定的程序找到这些好的或最优的配置。在某些配置中观察应用程序的性能需要花费时间和金钱。因此，大多数方法的目标不仅是找到好的解决方案，但也减少搜索成本。一种方法是使用贝叶斯优化来观察尽可能少的配置，降低搜索成本，同时仍然找到好的解决方案。另一种方法是使用一种名为Paramount Iteration的技术来对HPC工作负载进行性能假设，而不完全执行它们（早期停止），从而降低进行一次观察的成本，并使其对网格搜索解决方案可行。在这项工作中，我们表明，这两种技术可以一起使用，做更少和低成本的观察。我们表明，这种方法可以推荐平均比随机搜索好1.68倍的帕累托最优解决方案，并且搜索成本低6倍。
2020-06-28 cs.DC
Towards Rigorous Selection and Configuration of Cloud Services: Research Methodology
云计算最近已经成为分布式计算的主要趋势。我们提出了一个平台，用于自动选择和配置一个合适的云环境，满足一组消费者和提供商的要求。它可以很容易地调整其行为，无论是在设计时还是运行时，以适应环境在位置，时间，活动，交互能力和通信限制方面的变化。该平台基于动态软件生产线（SPL）、面向Agent的软件工程和MAPE-k参考模型的原则。我们依据设计科学的研究方法论来进行这项工作。在这篇文章中，我们提出了我们的研究步骤遵循这种方法的指导方针。
2021-04-02 cs.DC cs.SE
CloudEval-YAML: A Practical Benchmark for Cloud Configuration Generation
Alibaba Cloud（阿里云）；University of Michigan（密歇根大学）；UCLA（加州大学洛杉矶分校）；UC Merced（加州大学默塞德分校）
本文提出首个面向云原生应用的人工编写基准 CloudEval-YAML，包含 1011 个 YAML 配置生成问题及单元测试，并通过可扩展评估平台对 12 个大语言模型进行深入评测，揭示提升性能与降低成本的方法。
2023-11-10 cs.AI cs.DC
Allocating Duplicate Copies for IoT Data in Cloud Computing Based on Harmony Search Algorithm
物联网（IoT）如今产生大量数据，并且已经引入云计算作为IoT数据管理的有效解决方案。云资源管理员通常采用复制策略来保证物联网数据的可靠性。该机制可以显著减少数据访问时间，但显然，更多的数据副本会增加数据存储成本。此外，选择迷你云的副本分配和排序的副本在迷你云的过程被认为是一个NP-难问题。为此，提出了一种基于和声搜索（HS）算法的云计算环境下物联网数据副本分配方法，以降低数据访问开销。在云计算环境下，采用HS算法确定数据复制的最佳位置。实验结果表明，该方法的性能优于其他方法，能够显著降低数据访问时间、延迟和能耗。
2022-02-09 cs.AI cs.DC
SAED: Edge-Based Intelligence for Privacy-Preserving Enterprise Search on the Cloud
基于云的企业搜索服务（例如，AWS Kendra）一直通过向大数据所有者提供方便和实时的搜索解决方案来吸引他们。然而，问题是，拥有机密大数据的个人和组织由于有效的数据隐私问题而对接受此类服务犹豫不决。此外，为了提供智能搜索，这些服务访问用户搜索历史，这进一步危及他/她的隐私。为了克服隐私问题，本研究的主要思想是将搜索的智能方面与其模式匹配方面分离。根据这个想法，搜索智能由本地边缘层提供，共享云层仅用作穷举模式匹配搜索实用程序。我们提出了边缘智能（SAED）机制，该机制在边缘层以语义和个性化搜索的形式提供智能，同时在云层保持搜索的隐私。在边缘层，SAED使用基于知识的词汇数据库来扩展查询并覆盖其语义。SAED通过可以学习用户兴趣的RNN模型来个性化搜索。一个词嵌入模型被用来检索文档的基础上，它们的语义相关的搜索查询。SAED是通用的，可以插入现有的企业搜索系统，使他们能够提供智能和隐私保护的搜索，而无需对它们进行任何更改。两个企业搜索系统在真实环境下的评估结果和人类用户的验证表明，SAED可以提高检索结果的相关性平均为24%的纯文本和75%的加密通用数据集。
2021-03-11 cs.DC cs.IR
Robots as-a-Service in Cloud Computing: Search and Rescue in Large-scale Disasters Case Study
物联网（IoT）有望通过互联网将传感器和机器人等物体互连起来，从而实现无数应用。物联网应用范围从医疗保健到自动驾驶汽车，包括灾难管理。在云环境中启用这些应用程序需要设计适当的物联网架构即服务（IoT IaaS），以简化将物联网对象作为云服务的配置。本文讨论了大规模灾难场景中搜索和救援物联网应用的案例研究。它提出了一个物联网IaaS架构，虚拟化机器人（机器人IaaS），并将它们作为服务提供给上游应用程序。支持节点级和网络级机器人虚拟化。所提出的架构满足一组确定的要求，如异构机器人的统一描述模型，发布/发现机制，并在需要时与其他IaaS的机器人联邦的需要。建立了一个有效的概念证明，并进行了实验，以评估其性能。经验教训和未来的研究方向进行了讨论。
2017-11-04 cs.DC
ConfigSpec: Profiling-Based Configuration Selection for Distributed Edge--Cloud Speculative LLM Serving
Queen's University Belfast（贝尔法斯特女王大学）
本文提出ConfigSpec框架，通过分析边缘设备和草案模型对齐，评估不同配置下的吞吐量、验证成本效率和能耗，揭示了在边缘-云LLM推理中配置优化的结构性冲突。
2026-04-08 cs.AI cs.DC
Flora: Efficient Cloud Resource Selection for Big Data Processing via Job Classification
针对大数据处理中云资源配置选择困难的问题，提出Flora方法，通过作业分类和测试执行推导配置，在Google Cloud上180次Spark作业中实现成本优化，平均偏差低于6%。
2025-02-28 cs.DC
ContainerStress: Autonomous Cloud-Node Scoping Framework for Big-Data ML Use Cases
Oracle Physical Sciences Research Center（甲骨文物理科学研究中心）；Oracle Corporation（甲骨文公司）；NVIDIA Corporation（英伟达公司）
在云环境中部署大数据机器学习（ML）服务对云供应商提出了针对任何给定客户用例的云容器配置大小调整方面的挑战。OracleLabs开发了一个自动化框架，该框架使用嵌套循环Monte Carlo模拟来自主扩展云CPU-GPU“配置”（云容器中可供最终客户使用的CPU和/或GPU配置）范围内的任何规模的客户机器学习用例。此外，OracleLabs和NVIDIA作者还合作进行了一项ML基准研究，该研究分析了任何ML预测算法的计算成本和GPU加速，并评估了由传统CPU和NVIDIA GPU组成的云容器中计算成本的降低。
2020-03-18 cs.DC cs.LG cs.PF
Lynceus: Cost-efficient Tuning and Provisioning of Data Analytic Jobs
现代数据分析和机器学习工作在云中找到了一个自然的部署平台，以满足其众所周知的大量资源需求。然而，为了实现成本效率，识别满足用户定义的QoS约束（例如，在执行时间上），同时避免不必要的过度供应。本文介绍了Lynceus，一种用于优化基于云的数据分析工作的新方法，该方法通过在最终推荐配置和用于推荐配置的优化过程方面实现显着的成本节约来改进最先进的方法。与现有解决方案不同，Lynceus以联合方式优化云相关和应用程序级参数。这使得推荐配置的成本在第90百分位数时比现有方法降低了3.7倍，现有方法将云相关参数和应用程序级参数的优化视为两个独立的问题。此外，Lynceus降低了优化过程的成本（即，测试配置所产生的云成本）高达11倍。i）超时方法，其允许中止被认为是次优的配置的探索，同时仍然提取有用的信息以指导未来的探索并改进其预测模型-与最近的工作不同，其要么招致测试次优配置的全部成本，要么不能从中止的运行中提取任何知识; ii）一种具有远见和洞察力的技术，通过预测每次探索的长期影响来确定要测试哪些配置-这与采用贪婪优化方法的最先进的云作业优化方法不同。
2020-01-20 cs.DC
Cloud Broker: A Systematic Mapping Study
Ferdowsi University of Mashhad（马什哈德费尔多西大学）
本文通过系统性研究，分析云代理领域内关键议题、研究趋势、技术方法及发表情况，识别核心问题与活跃研究者。
2023-01-01 cs.DC cs.DL cs.NI
ClustCrypt: Privacy-Preserving Clustering of Unstructured Big Data in the Cloud
存储在云中的大数据的安全性和机密性是许多组织采用云服务的重要考虑因素。解决这些问题的一种常见方法是客户端加密，其中数据在存储到云中之前在客户端机器上加密。然而，在云中加密数据限制了数据聚类的能力，这是许多数据分析应用程序（如搜索系统）的关键部分。为了克服这一局限性，本文提出了一种名为ClustCrypt的方法，用于在云中对加密的非结构化大数据进行基于主题的高效聚类。ClustCrypt根据加密数据的统计特征动态估计最佳簇数。它还提供了加密数据的聚类方法。我们在一个安全的基于云的语义搜索系统（S3BD）的上下文中部署ClustCrypt。在三个数据集上评估ClustCrypt的实验结果表明，集群的一致性平均提高了60%。ClustCrypt还将搜索时间开销减少了78%，并将搜索结果的准确性提高了35%。
2019-08-14 cs.CR cs.DC
ICPS: Real-Time Resource Configuration for Cloud Serverless Functions Considering Affinity
本文提出ICPS算法，利用LSTM预测函数并发并基于亲和性部署依赖函数，以解决无服务器工作流中冷启动和网络延迟问题，实验证明其性能优于现有方法。
2025-04-09 cs.DC
Improved Task Scheduling for Virtual Machines in the Cloud based on the Gravitational Search Algorithm
本文提出一种基于引力搜索算法的虚拟机任务调度方案，同时优化任务执行时间与系统资源利用率，仿真实验证明其优于现有方法。
2023-11-13 cs.DC
Performance Optimization in Stream Processing Systems: Experiment-Driven Configuration Tuning for Kafka Streams
Johannes Kepler University（约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace 研究部）；JKU/Dynatrace Co-Innovation Lab, Johannes Kepler University Linz（JKU/Dynatrace 联合创新实验室，约翰内斯·开普勒大学林茨分校）；LIT CPS Lab, Johannes Kepler University Linz（LIT CPS 实验室，约翰内斯·开普勒大学林茨分校）
本文提出了一种基于实验驱动的自动化配置优化方法，通过拉丁超立方采样、模拟退火和梯度爬升三种技术，提升Kafka Streams在云原生环境下的性能表现。
2026-03-04 cs.DC cs.PF
Optimal Configuration of API Resources in Cloud Native Computing
KU Leuven（荷语鲁汶大学）
本文提出通过前期筛选和贝叶斯优化，在云原生计算中优化微服务的资源配置，以提升性能并平衡采样成本与最优配置的差距。
2025-12-29 cs.DC cs.PF
Privacy-Preserving Clustering of Unstructured Big Data for Cloud-Based Enterprise Search Solutions
基于云的企业搜索服务（例如，Amazon Kendra）通过在企业大数据集上为他们提供方便的搜索解决方案来吸引大数据所有者。然而，由于对数据隐私的合理担忧，处理机密大数据（例如，凭证文件）的个人和企业不愿意完全接受此类服务。已经探索了基于客户端加密的解决方案，以减轻隐私问题。尽管如此，这种解决方案阻碍了数据处理，特别是聚类，这在处理不同形式的大数据时至关重要。例如，聚类对于限制搜索空间和在大数据集上执行实时搜索操作至关重要。为了克服加密大数据聚类中的障碍，我们提出了三种形式的非结构化加密大数据集，即静态，半动态和动态数据集的隐私保护聚类方案。为了保护数据隐私，所提出的聚类方案基于数据的统计特征来起作用，并确定（A）合适的聚类数量和（B）每个聚类的适当内容。从评估的聚类方案在三个不同的数据集上获得的实验结果表明，与其他加密数据的聚类方案相比，聚类的一致性提高了30%至60%。在隐私保护的企业搜索系统中使用聚类方案，搜索时间减少了78%，而搜索准确率提高了35%。
2022-06-09 cs.CR cs.DB cs.DC
Boosting Cloud Data Analytics using Multi-Objective Optimization
云中的数据分析已成为企业业务不可或缺的一部分。然而，大数据分析系统仍然缺乏将用户性能目标和预算约束（统称为任务目标）用于任务并自动配置分析作业以实现这些目标的能力。本文提出了一种数据分析优化器，它可以自动确定具有合适数量的核心的集群配置以及最符合任务目标的其他系统参数。在我们的工作的核心是一个原则性的多目标优化（MOO）的方法，计算帕累托最优的一组作业配置，以揭示不同的用户目标之间的权衡，建议一个新的作业配置，最好的探索这种权衡，并采用新的优化，使这样的建议在几秒钟内。我们提出了有效的增量算法的基础上实现我们的MOO方法的进步前沿的概念，并将它们实现到一个基于火花的原型。使用基准工作负载的详细实验表明，我们的MOO技术提供了2- 50倍的加速比现有的MOO方法，同时提供良好的覆盖面的帕累托前沿。当与Ottertune，一个国家的最先进的性能调优系统相比，我们的方法建议的配置，产生26\%-49\%的运行时间减少的TPCx-BB基准，同时适应不同的应用程序偏好的多个目标。
2020-05-07 cs.DB cs.DC
Enhancing Cloud-Based Large Language Model Processing with Elasticsearch and Transformer Models
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Southern California（南加利福尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文探讨语义向量搜索原理，并结合 Elasticsearch 与 Transformer 模型提升云端 LLM 处理的准确性、相关性及实际部署能力。
2024-02-24 cs.CL cs.DC cs.DL
Towards AutoQML: A Cloud-Based Automated Circuit Architecture Search Framework
经典机器学习算法的学习过程是由超参数调整的，这些超参数需要定制，以便从输入数据集进行最佳学习和推广。近年来，量子机器学习（QML）作为量子计算的一种可能的应用，在未来可能提供量子优势。然而，经典机器学习算法的量子版本引入了过多的额外参数和电路变化，这些参数和电路变化在调整时具有自己的复杂性。在这项工作中，我们向自动量子机器学习（AutoQML）迈出了第一步。我们提出了一个具体的问题描述，然后开发一个经典的量子混合云架构，允许并行化的超参数探索和模型训练。作为一个应用用例，我们训练一个量子生成对抗神经网络（qGAN）来生成遵循已知历史数据分布的能源价格。这种QML模型可以用于能源经济领域的各种应用。
2022-02-16 cs.DC cs.ET quant-ph
