Light Virtualization: a proof-of-concept for hardware-based virtualization
针对现有虚拟化依赖硬件支持多、性能损耗大且资源调整不灵活的问题，提出基于可编程硬件引导缓存一致性流量的LightV方法，可精准控制虚拟化资源，并在商用硬件上完成概念验证测试。
2025-02-06 cs.DC
Virtualization Implementation Model for Cost Effective & Efficient Data Centers
数据中心是基础设施的关键部分，各种信息技术服务都建立在此基础上。它们提供了集中储存库的能力，用于数据的储存、管理、联网和传播。随着数据中心容量和规模的快速增长，对能源消耗的需求不断增加。这些数据中心不仅消耗大量能源，而且IT效率低下。数据中心被数千台服务器作为主要组件所困扰。这些服务器消耗巨大的能量，而不执行有用的工作。在一个普通的服务器环境中，30%的服务器是“死”的，只消耗能源，而没有得到适当的利用。本文提出了一个五步模型，使用一种称为虚拟化的新兴技术来实现节能数据中心。建议的模型有助于数据中心管理人员在其数据中心中正确实施虚拟化技术，使其成为绿色和节能的，以确保IT基础设施尽可能少地排放温室气体，并有助于恢复电力和冷却能力，重新获得弹性，并大幅降低能源成本和总拥有成本。
2012-04-07 cs.DC
Efficient Resource Sharing Through GPU Virtualization on Accelerated High Performance Computing Systems
高性能计算（HPC）领域正在见证图形处理单元（GPU）作为传统同构集群的协处理器的广泛采用。基于GPU的并行处理采用流行的单程序多数据（SPMD）编程范式，带来了处理器/协处理器分布不对称、资源利用率低的挑战。换句话说，在SPMD下，需要均衡的CPU/GPU分布以确保充分的资源利用率。在本文中，我们提出了一种GPU资源虚拟化的方法，使未充分利用的微处理器，有效地共享GPU。我们提出了一个有效的GPU共享方案，通过GPU虚拟化实现，并通过执行模型分析性能潜力。我们进一步提出的虚拟化基础设施的实施细节，其次是实验分析。结果表明，GPU虚拟化带来了可观的性能提升。此外，所提出的解决方案能够充分利用非对称资源，通过有效的GPU共享之间的微处理器，同时由于增加的虚拟化层，导致低开销。
2015-11-24 cs.DC cs.PF
Batch-oriented software appliances
本文介绍了AppPot，一个用于创建Linux软件设备的系统。AppPot可以作为常规的批处理或网格作业运行，并在用户空间中执行，并且不需要基础设施中的特殊虚拟化支持。AppPot的主要设计目标是将基于虚拟化的IaaS云的好处带到现有的面向批处理的计算基础设施中。特别是，AppPot解决了大型异构计算基础设施上的应用程序部署和配置：用户能够准备自己的定制虚拟设备，为他们的应用程序提供安全的执行环境。然后，这些设备可以在私有或公共云中的几乎任何计算基础设施以及用户可以访问的任何批控制计算集群上执行。我们概述了AppPot及其功能，使其成为可能的技术，并报告了在瑞士国家电网基础设施SMSCG的生产使用中运行它的经验。
2012-03-07 cs.DC
Leveraging VMware vCloud Director Virtual Applications (vApps) for Operational Expense (OpEx) Efficiency
虚拟化技术为组织提供了许多好处，但它不能提供自动化。这导致运营支出（OpEx）效率低下，云计算（vCloud Director vApps）解决了这一问题。组织已采用虚拟化技术来降低IT成本并满足业务需求。除了提高资本支出效率外，虚拟化还使组织能够更快地响应业务需求。虽然虚拟化极大地优化了核心IT基础设施，但组织仍在努力降低运营成本。由于虚拟化仅解决服务器整合问题，因此管理员面临着管理数据中心其余部分的手动和资源密集型日常任务：网络、存储和用户管理。本文详细介绍了如何利用基于虚拟化平台的vApp来提高当今数据中心的资本支出效率。虚拟化和云计算的结合可以将数据中心转变为动态、可扩展且灵活的资源，从而能够显著节省资本支出和运营支出成本。
2014-04-08 cs.DC
Performance Evaluation of VDI Environment
虚拟化技术广泛用于通过在各种虚拟PC之间分配资源来共享计算机系统的能力。在传统的计算机系统中，硬件的利用率没有被最大化，资源没有被充分消耗。通过使用虚拟化技术，可以最大限度地利用计算机系统硬件。如今，许多组织，尤其是教育机构，都在采用虚拟化技术来最大限度地降低成本，提高灵活性、响应能力和效率。在本文中，我们建立了一个虚拟教育实验室，我们成功地实施了虚拟桌面基础设施（Virtual Desktop Infrastructure，简称VDI），并创建了30多个虚拟桌面。虚拟桌面使用Citrix XenDesktop在Citrix XenServer虚拟机管理程序上创建。最后，我们使用名为Login VSI的基准测试软件工具来测量虚拟桌面基础架构和XenServer虚拟机管理程序的性能。结果表明，该系统在30个虚拟桌面下运行良好，没有达到饱和点。
2019-11-01 cs.DC
High availability using virtualization
高可用性一直是数据中心的主要问题之一。到目前为止，高可用性是通过每台主机的冗余来实现的，这是一种在硬件和人力成本方面非常昂贵的方法。虚拟化可以为解决这一问题提供一种新的方法。使用虚拟化，可以为数据中心上运行的所有服务实现冗余系统。这种实现高可用性的新方法允许在启动和运行的服务器上共享正在运行的虚拟机，方法是利用虚拟化层的功能：在物理主机之间启动、停止和移动虚拟机。该系统（3RC）基于具有滞后的有限状态机，可以通过任何物理主机重新启动每个虚拟机，或从头开始重新安装它。已经开发了一个完整的基础设施，可以在几分钟内安装操作系统和中间件。为了虚拟化数据中心的主服务器，开发了一种新的过程来将物理主机迁移到虚拟主机。整个网格数据中心SNS-PISA目前运行在高可用系统下的虚拟环境中。作为3RC体系结构的扩展，已经测试了几种存储解决方案，以存储和集中所有虚拟磁盘，从NAS到SAN，以保证数据安全和从任何地方访问。利用虚拟化和自动重新安装主机的能力，我们提供了一种按需主机，只有在发生灾难时才执行虚拟机上的操作。
2009-10-09 cs.DC cs.PF
Compiler-Driven FPGA Virtualization with SYNERGY
FPGA在现代应用中越来越普遍，云提供商现在支持数据中心的按需FPGA加速。数据中心中的应用程序在虚拟基础架构上运行，其中整合、多租户和工作负载迁移实现了规模经济，这对提供商的业务至关重要。然而，虚拟化FPGA的一般策略尚未出现。虽然制造商的斗争与基于硬件的方法，我们提出了一个编译器/运行时为基础的解决方案，称为协同。我们展示了一个编译器转换的Verilog程序，产生的代码能够产生控制软件在子时钟滴答粒度根据原程序的语义。Synergy使用此属性在当前可用的硬件上有效地支持核心虚拟化原语：挂起和恢复、程序迁移和空间/时间多路复用。我们使用Synergy在Amazon F1上的Altera SoC和Xilinx FPGA集群中虚拟化FPGA工作负载。这些工作负载无需修改，运行性能是非虚拟化性能的3- 4倍，并且FPGA结构利用率略有增加。
2021-08-28 cs.AR cs.DC cs.PL
VM Image Repository and Distribution Models for Federated Clouds: State of the Art, Possible Directions and Open Issues
联合云模型的新兴趋势将虚拟化作为一个重要概念，为最终用户提供大规模分布式基础设施即服务协作范例。虚拟化利用从标记为VM映像（VMI）的用户特定模板实例化的虚拟机（VM）。从这个意义上说，快速调配具有不同用户请求的虚拟机，确保跨多个云提供商的服务质量（QoS）在很大程度上取决于映像存储库架构和分发策略。我们讨论了VMI存储库和分发机制中可能的最新技术，以在联合云中实现高效的VM配置。此外，我们还介绍和比较了这一领域的各种代表性系统。此外，我们定义了一个设计空间，确定当前的限制，挑战和开放趋势的VMI存储库和分布技术在联邦基础设施。
2019-06-21 cs.DC
Resource management on a VM based computer cluster for scientific computing
在过去的十年中，主机虚拟化带来了一场革命，几乎所有与信息技术相关的活动都被认为是和执行的。HPC和HTC计算的虚拟化使用，虽然迫切需要，但可能是这场革命的最后一步，由于硬件抽象层导致的性能损失是减慢其他领域更快的过程的原因。如今，虚拟化和新的虚拟化技术的广泛传播似乎有助于打破这最后一个障碍，并且在许多数据中心中都可以找到HPC和HTC的虚拟主机计算基础设施。在本文档中，描述了在INFN“Granatori Nazionali del Gran Sasso”处采用的用于经由基于虚拟主机的计算设施来提供计算资源的方法。特别是证据的存储布局，中间件体系结构和资源分配策略，因为这些都是个性化的解决方案被采纳的问题。其他方面可能在今后其他文件中涉及。
2012-12-19 cs.DC
V-BOINC: The Virtualization of BOINC
Berkeley Open Infrastructure for Network Computing（BOINC）是一个开源的客户端-服务器中间件系统，允许具有大型计算需求的项目（通常设置在科学领域）利用分布在大物理距离上的技术上无限数量的志愿者机器。然而，使用BOINC在这些异构机器上部署应用程序存在各种问题：应用程序必须被移植到每个机器架构类型，项目服务器必须被信任以提供真实的应用程序，不定期检查点的应用程序可能会在志愿者机器终止时丢失执行进度，并且具有依赖关系的应用程序可能会发现难以在BOINC下运行。为了解决这些问题，我们引入了虚拟BOINC，或V-BOINC，其中虚拟机用于在志愿机器上运行计算。然后，应用程序开发人员可以在单个架构上编译他们的应用程序，通过虚拟化API解决检查点问题，并通过虚拟机的沙箱环境解决许多安全问题。在本文中，我们重点概述了一种独特的方法，如何虚拟化可以引入BOINC，并证明V-BOINC提供可接受的计算性能相比，定期BOINC。最后，我们表明具有依赖关系的应用程序可以在V-BOINC下轻松运行，从而增加了志愿者计算为公众和项目开发人员提供的计算潜力。
2013-06-04 cs.DC cs.OS
Enabling and Optimizing Pilot Jobs using Xen based Virtual Machines for the HPC Grid Applications
采用虚拟化的主要动机是资源隔离、容量管理和资源定制：隔离和容量管理允许提供商将用户与站点隔离并控制其资源使用，而定制允许最终用户轻松地将所需环境投影到各种站点上。已经采取了各种方法来集成虚拟化和网格技术。在本文中，我们提出了一种方法，结合虚拟化现有的软件基础设施，如试点工作与资源提供商的一部分最小的变化。
2009-06-05 cs.DC cs.PF cs.SE
The Scalable Systems Laboratory: a Platform for Software Innovation for HEP
可扩展系统实验室（SSL）是IRIS-HEP软件研究所的一部分，为研究所参与者和HEP软件开发人员提供了一种将他们的研发从概念玩具过渡到测试平台再到生产规模原型的方法。SSL使工具，基础设施和服务支持创新的分析和数据架构，软件元素和工具链的开发，服务组件的可复制功能和可扩展性测试，以及研究所开发的加速服务的基础系统研发。SSL由一个核心团队组成，该团队拥有在广泛的网络基础设施中进行规模测试和部署服务的专业知识。核心团队嵌入并与研究所的其他领域合作，并与LHC和其他HEP开发和运营团队合作，以定义调查和所需的服务部署模式。我们描述了早期应用程序部署的方法和经验，包括分析平台和智能数据交付系统。
2020-05-13 cs.DC
Analysis of Scientific Cloud Computing requirements
虽然企业和Web应用程序的需求推动了云计算的发展，但它的一些关键特性，如定制环境和快速弹性，也可以使科学应用受益。然而，由于虚拟化技术引入的影响的负面看法，虚拟化技术和对资源的类似云的访问在科学计算中心中并不常见。在本文中，我们讨论了IaaS云模型的可行性，以满足一些计算科学的要求和主要的缺点，需要解决的云资源提供商，使最大的好处，可以从一个给定的云基础设施。
2015-06-22 cs.CE cs.DC
A Survey on Load Balancing Algorithms for VM Placement in Cloud Computing
基于虚拟化技术的云计算的出现为低成本托管虚拟资源而无需拥有任何基础设施带来了巨大的机会。虚拟化技术使用户能够获取、配置和按使用付费。然而，云数据中心主要包括托管多个虚拟机（VM）的异构商品服务器，这些虚拟机具有潜在的各种规范和波动的资源使用，这可能导致服务器内的不平衡的资源利用，这可能导致性能下降和违反服务水平协议（SLA）。为了实现高效的调度，这些挑战应该通过使用负载均衡策略来解决，这已被证明是NP-难问题。从多个角度，这项工作确定了挑战，并分析了现有的算法分配虚拟机到PM的基础设施云，特别是侧重于负载均衡。针对云数据中心中的虚拟机放置负载均衡算法进行了详细的分类研究，并根据分类结果对现有算法进行了分类。本文的目标是提供一个全面的和比较的了解现有的文献和援助研究人员提供了一个洞察力，为未来的潜在增强。
2017-02-08 cs.DC
ML-based Adaptive Prefetching and Data Placement for US HEP Systems
针对美国高能物理系统缓存策略缺乏自适应性的问题，本文提出基于LSTM和CatboostRegressor的小时级缓存使用量与文件级访问预测方法，实现智能预取与数据放置，并计划在WRENCH模拟器中验证。
2025-04-23 cs.DC
High Energy Physics Forum for Computational Excellence: Working Group Reports (I. Applications Software II. Software Libraries and Tools III. Systems)
计算在高能物理的各个方面都起着至关重要的作用。随着计算技术在新的方向上迅速发展，数据吞吐量和数据量继续沿着陡峭的趋势线发展，HEP社区必须对一系列预期的挑战做出有效的响应。为了帮助形成所需的响应，HEP计算卓越论坛（HEP-FCE）启动了一个路线图规划活动，其中有两个关键的重叠驱动因素- 1）软件有效性，以及2）基础设施和专业知识的进步。HEP-FCE成立了三个工作组，1）应用软件，2）软件库和工具，以及3）系统（包括系统软件），以概述HEP计算的现状，并为所需的HEP计算路线图提供发现和机会。报告的最后版本合并在本文件中，并与介绍性材料一起提交。
2015-10-29 cs.CE cs.DC hep-ex
The Ligo-Virgo-KAGRA Computing Infrastructure for Gravitational-wave Research
本文介绍了LIGO、VIRGO和KAGRA引力波观测站为应对O4观测期增长的计算需求，构建的基于HEP计算工具的分布式计算基础设施架构及未来O5升级计划。
2023-11-21 astro-ph.IM cs.DC
CloudSim: A Novel Framework for Modeling and Simulation of Cloud Computing Infrastructures and Services
云计算侧重于交付可靠、安全、容错、可持续和可扩展的基础架构，以托管基于Internet的应用程序服务。这些应用程序具有不同的组成、配置和部署要求。在不同的负载、能源性能（功耗、散热）和系统规模下，针对不同的应用和服务模型，量化云基础设施（硬件、软件、服务）上的调度和分配策略的性能是一个极具挑战性的问题。为了简化这一过程，在本文中，我们提出CloudSim：一个新的广义和可扩展的模拟框架，使无缝建模，模拟和实验的新兴云计算基础设施和管理服务。该仿真框架具有以下新特征：（i）支持大规模云计算基础设施的建模和实例化，包括单个物理计算节点和Java虚拟机上的数据中心;（ii）用于建模数据中心、服务代理、调度和分配策略的自包含平台;（iii）虚拟化引擎的可用性，其帮助在数据中心节点上创建和管理多个独立的和共同托管的虚拟化服务;以及（iv）在处理核心到虚拟化服务的空间共享和时间共享分配之间切换的灵活性。
2009-03-14 cs.DC cs.OS cs.SE
Optimisation of ATLAS computing resource usage through a modern HEP Benchmark Suite via HammerCloud and Big PanDA
本文利用HammerCloud和PanDA在136个站点部署增强型HEP Benchmark Suite，系统评估HEPScore23基准下ATLAS计算资源的实际性能与声明能力差异，识别配置问题并优化资源使用效率。
2025-02-07 cs.DC hep-ex
Any Data, Any Time, Anywhere: Global Data Access for Science
数据访问是分布式高吞吐量计算（DHTC）驱动的科学的关键，DHTC是许多重大研究项目（如高能物理（HEP）实验）的关键技术。然而，当涉及许多独立的存储站点时，实现有效的数据访问变得相当困难，因为用户需要学习访问每个系统的复杂性并仔细跟踪数据位置。我们提出了一种替代方法：任何数据，任何时间，任何地方的基础设施。结合几个现有的软件产品，AAA提供了一个全球性的，统一的存储系统视图-一个“数据联合”，一个用于软件交付的全球文件系统，以及一个工作流管理系统。我们介绍了如何一个HEP实验，紧凑μ子螺线管（CMS），是利用AAA的基础设施和一些简单的性能指标。
2015-08-06 cs.DC hep-ex physics.comp-ph
Leveraging Semantic Web Technologies for Managing Resources in a Multi-Domain Infrastructure-as-a-Service Environment
本文报告了使用语义支持的网络资源模型来构建一个可操作的多域网络基础设施即服务（NIaaS）测试平台ExoGENI的经验，该平台最近通过NSF的GENI项目获得资助。NIaaS的一个定义属性是网络配置功能与更常见的存储和计算配置功能的深度集成。资源提供商拓扑和用户请求可以使用网络资源模型来描述，该网络资源模型具有用于经由虚拟化和网络层之间的适配而专用于特定技术的基本网络资源（链路、节点、接口）的公共基类。这个问题空间产生了一些应用领域，语义Web技术变得非常有用-公共信息模型和资源类层次结构简化了多个提供者的资源描述，寻路和拓扑嵌入算法依赖于查询抽象作为构建块。本文介绍了如何语义资源描述模型使ExoGENI自主实例化的虚拟机的按需虚拟拓扑从云提供商提供，并通过按需虚拟连接从多个自治网络提供商获得的各种应用程序，从分布式系统实验高性能计算。
2014-03-04 cs.DC cs.NI
On the Fly Orchestration of Unikernels: Tuning and Performance Evaluation of Virtual Infrastructure Managers
网络运营商面临着巨大的挑战，既要满足对更多带宽、灵活基础设施、创新服务的需求，又要保持低成本。网络功能虚拟化（NFV）和云计算正在成为5G网络架构的主要趋势，提供灵活性，快速实例化时间，支持商用现成硬件并显著节省成本。NFV利用云计算原理将数据平面网络功能从昂贵的、封闭的和专有的硬件移动到所谓的虚拟网络功能（VNF）。在本文中，我们处理的虚拟计算资源（Unikernels）的执行VNF的管理。此功能由NFV管理和配置（MANO）参考架构中的虚拟基础设施管理器（VIM）执行。本文从分析OpenStack、Nomad和OpenVIM三种开源虚拟资源实例化模型入手，讨论了虚拟资源实例化的过程，并提出了一种通用的参考模型。我们改进了上述VIM，引入了对专用Unikernels的支持，旨在减少实例化过程的持续时间。我们评估VIM的一些性能方面，考虑股票和调优版本。VIM扩展和性能评估工具在自由开放源码许可下可用。
2018-09-17 cs.DC cs.NI cs.OS
Surrogate Modeling for Scalable Evaluation of Distributed Computing Systems for HEP Applications
本文评估了三种机器学习模型作为分布式计算系统仿真代理，以解决传统模拟器在准确性与可扩展性间的权衡问题，实现快速且准确的计算作业核心观测量预测。
2025-10-13 cs.DC cs.PF hep-ex
HEPchain: Novel Proof-of-Useful-Work blockchain consensus for High Energy Physics
本文提出HEPchain区块链与新型Proof-of-Useful-Work共识，将高能物理所需Monte Carlo模拟转化为有用工作量，在保障链安全的同时补充WLCG和BOINC计算资源。
2023-01-25 cs.DC cs.GT
Software-Defined Cloud Computing: Architectural Elements and Open Challenges
现有云服务的多样性对服务提供商实施合理的软件级别协议（SLA）提出了挑战，该协议规定了服务质量（QoS）以及在未实现QoS的情况下的惩罚。为了避免这种惩罚，同时使基础设施以最低的能源和资源浪费运行，需要对基础设施进行不断的监测和调整。我们将软件定义的云计算或简称为软件定义的云（SDC）称为通过将虚拟化概念扩展到数据中心中的所有资源来自动化最佳云配置过程的方法。SDC使得能够容易地重新配置和适配云基础设施中的物理资源，以通过可以描述和管理包括云环境的各个方面的软件来更好地适应对QoS的需求。在本文中，我们提出了一个体系结构的SDC的数据中心，重点是移动云应用程序。我们提出了一个评估，展示了潜力的SDC在两个用例-QoS感知的带宽分配和带宽感知，节能VM的位置，并讨论了在这个新兴领域的研究挑战和机遇。
2015-02-19 cs.DC
Stringer: Balancing Latency and Resource Usage in Service Function Chain Provisioning
网络功能虚拟化（NFV）使电信基础设施提供商能够用运行虚拟化网络功能（VNF）的商品服务器取代专用网络设备。利用NFV技术的服务提供商面临将VNF实例分配给物理基础设施（例如，数据中心）和路由服务功能链（客户所需的功能序列，也称为SFC）在物理网络中。在这样做时，提供者必须在性能和资源使用的各种竞争目标之间进行平衡。我们提出了一种方法，为证监会提供，包括三个要素。第一个要素是快速、可扩展的循环启发式。第二个要素是基于混合可编程（MIP）的方法。第三个要素是一个延迟理论模型，用于估计与任何SFC配置解决方案相关的平均延迟。结合这些元素，创建一种方法，生成一组SFC配置解决方案，反映资源使用和性能之间的不同权衡。
2016-06-09 cs.DC cs.NI
SuperSONIC: Cloud-Native Infrastructure for ML Inferencing
针对大规模科学实验中ML推理的计算需求，本文提出云原生基础设施SuperSONIC，通过Kubernetes集群与NVIDIA Triton解耦工作流并优化吞吐量，成功部署于多个大型科学实验，提升了跨领域加速器推理部署效率。
2025-06-25 cs.DC hep-ex physics.ins-det
A Serverless Engine for High Energy Physics Distributed Analysis
欧洲核子研究中心的大型强子对撞机（LHC）在过去十年中为高能物理（HEP）领域产生了前所未有的数据量。对分析这些数据感兴趣的科学合作通常需要超出单个机器的计算能力。这个问题已经解决了传统的分布式环境中运行的分析，使用有状态的，管理的批处理计算系统。虽然这种方法到目前为止是有效的，但目前对该领域未来计算需求的估计提出了大规模的挑战。这种管理方法可能不是解决这些问题的唯一可行方法，无服务器架构可以提供一种有趣的替代方案，以实现更大的扩展潜力。这项工作描述了一种通过分布式无服务器计算引擎运行真正的HEP科学应用程序的新方法。该引擎基于ROOT（一种成熟的HEP数据分析软件）构建，并将其计算分发到Amazon Web Services Lambda Serverless Platform上的大型并发执行池。由于开发的工具，物理学家能够访问存储在CERN的数据集（也包括那些受限制访问策略限制的数据集），并在其典型环境之外的远程基础设施上处理它。在运行时监控无服务器功能的分析，以收集数据和计算密集型工作负载的性能指标。
2022-06-02 cs.DC
On the Way to Future's High Energy Particle Physics Transport Code
高能物理（HEP）需要大量的计算资源。此外，数据采集、传输和分析也需要良好的基础设施。为了证明新的物理学科，需要提高加速器设备的亮度，从而在实验探测器中产生越来越多的数据。测试新理论和探测器研发都是基于复杂的模拟。今天已经达到了这个水平，蒙特卡罗探测器模拟需要比真实数据汇集多得多的时间。这就是为什么加速计算和模拟在HEP社区变得重要的原因。Geant Vector Prototype（GeantV）项目旨在优化应用并行计算的最常用粒子传输代码，并利用现代CPU和GPU架构的功能。由于在多个级别上实现了最大化的并发性，GeantV旨在成为Geant 4粒子传输代码的继任者，该代码已成功使用了二十年。在这里，我们提出了我们的最新结果的GeantV测试性能，比较基于CPU/GPU的矢量化GeantV几何代码的Geant 4版本。
2016-05-26 cs.DC physics.comp-ph
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
