EmuFog: Extensible and Scalable Emulation of Large-Scale Fog Computing Infrastructures
雾计算部署模型的多样性和缺乏公共可用的雾基础设施使得设计高效的应用程序或资源管理策略成为一项具有挑战性的任务。这种研究通常需要一个测试框架，以可重复和可控的方式促进对应用程序或协议设计的实验评估。在本文中，我们提出了EmuFog-一个为雾计算场景量身定制的可扩展仿真框架-它可以从头开始设计雾计算基础设施，并模拟真实的应用程序和工作负载。EmuFog使研究人员能够根据用例设计网络拓扑，在拓扑中嵌入雾计算节点，并在通过仿真网络连接的节点上运行基于Docker的应用程序。EmuFog的每个子模块都很容易扩展，尽管EmuFog为每个子模块提供了默认实现。EmuFog的可扩展性和有效性在合成和真实世界的网络拓扑结构上进行了评估。
2017-09-22 cs.DC
A Cloud Computing Survey: Developments and Future Trends in Infrastructure as a Service Computing
云计算是一种基于通过互联网上的服务模型交付资源的概念的最新范例。尽管云计算是一种新的计算范式，但它的起源要归功于许多以前的范式。云计算这个术语已经有了很好的定义，不再需要严格的分类来提供定义。相反，这份调查报告考虑了云计算的过去、现在和未来。作为先前范例的演进，我们考虑云计算的前身以及它们对云服务的意义。此外，我们还研究了构成云计算的技术，以及这些技术的挑战和未来发展将如何影响该领域。最后，我们研究了限制云计算的增长、应用和发展的挑战，并提出了克服这些挑战所需的方向，以进一步推动云计算的成功。
2013-06-06 cs.DC
EPIC: An Energy-Efficient, High-Performance GPGPU Computing Research Infrastructure
针对挪威国家基础设施中 GPGPU 资源稀缺的问题，论文介绍 NTNU 的 EPIC，以节能、高性能的 GPGPU 设施支撑并行科学计算、深度学习和大数据研究。
2024-07-05 cs.DC
The Workflow Trace Archive: Open-Access Data from Public and Private Computing Infrastructures -- Technical Report
现实的、相关的和可重复的实验通常需要从真实世界环境中收集的输入轨迹。我们在这项工作中专注于工作流的跟踪-常见于数据中心、云和HPC基础架构。我们表明，国家的最先进的使用工作流跟踪提出了重要的问题：（1）使用现实的痕迹是罕见的，（2）使用现实的，{ \it开放获取}的痕迹，甚至更多。为了缓解这些问题，我们引入了工作流跟踪存档（WTA），这是一个开放获取的工作流跟踪存档，来自不同的计算基础设施和工具，用于解析、验证和分析跟踪。WTA包括从${>}10$计算基础设施捕获的${>}48$百万个工作流，代表广泛多样的跟踪域和特征。为了强调痕量多样性的重要性，我们表征了WTA含量，并在模拟中分析了痕量多样性对实验结果的影响。我们的研究结果表明，工作负载源，域和字段之间的特征，属性和工作流结构的显着差异。
2019-07-11 cs.DC
Evolution of Cloud Storage as Cloud Computing Infrastructure Service
企业正朝着更低的成本、更高的可用性、敏捷性和可控风险的方向发展-所有这些都在加速向云计算发展。云不是一种特定的产品，而是一种交付IT服务的方式，这些服务可按需消费，可根据需要灵活扩展和缩小，并遵循按使用付费的模式。在三种常见类型的云计算服务模型中，基础设施即服务（IaaS）是一种服务模型，其向其订户提供服务器、计算能力、网络带宽和存储容量作为服务。云可以与许多东西相关，但如果没有基本的存储部分，即云存储作为服务提供，其他应用程序都不可能。本文介绍了云存储，包括云计算和云存储的关键技术，云计算的管理见解，云服务的不同类型，云计算和云存储的驱动力，云存储的优势和挑战，并指出了云存储提供商需要解决的几个挑战。
2013-08-05 cs.DC
Fog Computing based SDI Framework for Mineral Resources Information Infrastructure Management in India
空间数据基础设施（SDI）是一个重要的概念，用于在网络上共享空间数据。随着空间云计算和雾计算等技术的积累，空间数据基础设施具有更大的发展潜力，已经成为空间数据处理、分析和传输的工具。雾计算是一种范例，其中雾设备有助于增加吞吐量并减少客户端边缘相对于云计算环境的延迟。本文提出并开发了一个基于雾计算的SDI框架，用于从印度矿产资源管理的空间大数据中进行挖掘分析。我们使用嵌入式微处理器Raspberry Pi构建了一个原型。我们通过对印度矿产资源管理的案例研究进行了初步的分析，包括叠加分析。结果表明，雾计算在空间数据分析中具有广阔的应用前景。我们使用开源GIS，即QGIS和QIS插件，以减少从雾节点到云的传输。
2018-01-11 cs.DC
Interim Report on Adaptive Event Dispatching in Serverless Computing Infrastructures
无服务器计算是分布式计算系统中一种新兴的服务模型。该术语捕获基于云的事件驱动的分布式应用程序设计，并源于其完全资源透明的部署模型，即无服务器。本文认为自适应事件调度可以通过考虑局部性和依赖性来提高当前无服务器平台的资源效率。Hendrickson等人也制定了这些设计说明，它确定了“无服务器负载均衡器必须在考虑会话、代码和数据局部性的同时做出低延迟决策”的要求。这份中期报告调查了这一新兴趋势的经济重要性，并断言现有的无服务器平台仍然没有针对数据本地化进行优化，而分布式计算研究中的各种调度方法已被证明可以提高资源效率。
2019-01-09 cs.DC
A Mobile Ad hoc Cloud Computing and Networking Infrastructure for Automated Video Surveillance System
移动自动视频监控系统涉及到实时图像和视频处理算法的应用，需要大量的计算和存储资源。为了支持移动自动视频监控系统的执行，提出了一种移动ad hoc云计算和网络基础设施，其中通过移动ad hoc网络互连的多个移动设备被组合以创建虚拟超级计算节点。一种能量有效的资源分配方案也被提出用于实时自动视频监控任务的分配。为了实现移动设备之间的通信，已经开发了基于Wi-Fi直连的移动自组织云联网基础设施。更具体地，已经开发了路由层以支持组中的Wi-Fi直连设备之间的通信以及跨组的设备之间的多跳通信。该系统已在一组支持Wi-Fi Direct的三星移动设备上实现。
2018-10-16 cs.DC
Next Generation Cloud Computing: New Trends and Research Directions
云计算的格局在过去十年中发生了重大变化。不仅有更多的提供商和服务产品占据了这个空间，而且传统上仅限于单一提供商数据中心的云基础设施现在也在不断发展。在本文中，我们首先讨论了不断变化的云基础设施，并考虑了使用来自多个提供商的基础设施以及将计算从数据中心分散开来的好处。这些趋势导致了对未来云基础设施将提供的各种新计算架构的需求。这些架构预计将影响多个领域，例如连接人与设备、数据密集型计算、服务空间和自学系统。最后，我们列出了实现下一代云系统潜力所需解决的挑战路线图。
2017-09-08 cs.DC
(MC2)2: A Generic Decision-Making Framework and its Application to Cloud Computing
云计算是一种颠覆性技术，代表了信息技术（IT）解决方案工程和管理的新模式，有望带来显著的成本节约和其他好处。采用云计算需要对基础设施备选方案进行详细比较，并仔细考虑多个方面。然而，现有的评估方法将决策限制在云计算的相对成本上，但没有考虑到更广泛的标准。在本文中，我们介绍了一个通用的，基于多准则的决策框架和应用程序的云计算，多准则比较方法的云计算（（MC 2）2）。该框架和方法允许组织通过使用多个标准对基础设施备选方案进行评估和排名来确定什么基础设施最适合他们的需求。因此，（MC2）2提供了一种方法，不仅可以通过成本，而且还可以在收益，机会和风险方面区分基础设施。（MC2）2可根据为支持框架而选择的标准进行调整，以促进信息技术基础设施领域内的各种决策情景。
2011-12-16 cs.DC
HPC resources for CMS offline computing: An integration and scalability challenge for the Submission Infrastructure
针对CMS离线计算中HPC资源集成与规模扩展的挑战，本文总结了集成现状、潜在问题及SI可扩展性测试的最新结果。
2024-05-23 cs.DC
Poster: A Real-World Distributed Infrastructure for Processing Financial Data at Scale
金融市场在很大程度上受事件和数据驱动。为了做出决策和触发行动，利益相关者需要有关重大事件的通知和可靠的背景信息，以满足他们在及时性、准确性和完整性方面的个人要求。作为欧洲领先的金融数据和监管解决方案提供商之一，vwd平均每天处理来自500多个数据源的180亿个事件通知，3000万个符号。我们基于事件的大规模分布式系统可处理每秒超过100万个事件通知的每日峰值速率，以及具有全球影响的单个关键事件产生的额外负载。在这张海报中，我们给出了对我们IT系统的实际见解。我们概述了我们运营的基础设施和我们在vwd应用的事件驱动架构。特别是，我们展示了我们在不同地点和国家运营的（地理）分布式发布/订阅经纪人网络，以向具有不同信息质量（QoI）属性的客户提供市场数据。
2020-10-29 cs.DC
Distributed Application Provisioning over Ethereum based private and permissioned Blockchain: Availability modeling, capacity, and costs planning
本文针对基于以太坊的私有和许可区块链上的分布式应用部署问题，提出并评估可用性及面向容量的可用性模型，分析服务交付成本，所得结果也适用于其他区块链平台。
2025-02-14 cs.DC
Report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures
这是Snowmass 2013年计算前沿工作组关于分布式计算和设施结构的报告。
2013-11-09 cs.DC hep-ex hep-lat
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
本综述探讨了分布式基础设施上大型语言模型（LLMs）训练的最新进展，涵盖AI加速器、并行策略、计算通信内存优化及系统可靠性，并指出光计算等创新方案的需求。
2024-07-29 cs.DC
A distributed computing infrastructure for LOFAR Italian community
低频阵列是一种低频射电干涉仪，由分布在欧洲各地的观测站组成，就有效面积和生成数据速率而言，它是SKA的最大先驱。2018年，意大利社区正式加入LOFAR项目，并部署了专门用于LOFAR数据分析的分布式计算和存储基础设施。该基础设施基于分布在意大利不同地点的4个节点，它为管道执行，最终和中间结果的存储以及软件和基础设施的使用提供支持。由于低频阵列数据的分析需要一个非常复杂的计算过程，一个基于容器的方法已被采用来分配软件环境到不同的计算资源。一个科学平台的方法是用来促进交互式访问计算资源。在本文中，我们描述了基础设施的体系结构和主要功能。
2022-01-27 astro-ph.IM cs.DC
GENIO: Synergizing Edge Computing with Optical Network Infrastructures
提出GENIO平台，将边缘计算集成到现有PON基础设施中，通过增强中心局的计算和存储资源，使电信运营商能利用现有网络作为分布式边缘计算架构，仿真验证了其可行性与优于传统架构的性能。
2025-02-19 cs.DC cs.NI
Distributed Ride-Matching for Shared Ridehailing Service with Intelligent City Infrastructure
高计算时间是集中式动态共享乘车服务中最重要的运营问题之一。为了解决这个问题，我们提出了一个分布式的乘车匹配系统，是基于车辆到基础设施（V2I）和基础设施到基础设施（I2I）的通信。在多伦多市中心道路网络上的应用表明，该分布式系统的计算速度提高了125倍，并显示出良好的可扩展性。此外，与集中式系统相比，拟议系统的服务率提高了7%。然而，集中式系统在等待时间和绕行时间方面分别改善了29%和17%。
2022-08-24 cs.DC math.OC
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系，提出结合机器学习与优化的协同调优方法，在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置，显著降低执行时间与成本。
2023-12-07 cs.DC
A Cloud Continuum Research Infrastructure for Distributed CPS Experimentation
Università degli Studi di Messina（墨西拿大学）；CINI: National Interuniversity Consortium for Informatics（国家跨大学信息学联盟）；Università degli Studi di Bologna（博洛尼亚大学）；Institute of ICAR CNR（意大利国家研究委员会ICAR研究所）
本文提出基于 SLICES 云 continuum 蓝图的两级参考架构，用于支持分布式 CPS 实验，通过可再生能源社区管理和 AirWatch 两个用例验证，可在同一可编程基础设施上部署、定制和比较不同控制与监控策略。
2026-07-31 cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame（圣母大学）
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿（或数万亿）参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是，大多数组织，尤其是大学，都采用零敲碎打的方法来购买计算机系统，从而导致异构的基础设施，无法用于计算大型模型。目前的工作描述了HetSeq，一个软件包改编自流行的PyTorch包，提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明，HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型，如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
Batch-oriented software appliances
本文介绍了AppPot，一个用于创建Linux软件设备的系统。AppPot可以作为常规的批处理或网格作业运行，并在用户空间中执行，并且不需要基础设施中的特殊虚拟化支持。AppPot的主要设计目标是将基于虚拟化的IaaS云的好处带到现有的面向批处理的计算基础设施中。特别是，AppPot解决了大型异构计算基础设施上的应用程序部署和配置：用户能够准备自己的定制虚拟设备，为他们的应用程序提供安全的执行环境。然后，这些设备可以在私有或公共云中的几乎任何计算基础设施以及用户可以访问的任何批控制计算集群上执行。我们概述了AppPot及其功能，使其成为可能的技术，并报告了在瑞士国家电网基础设施SMSCG的生产使用中运行它的经验。
2012-03-07 cs.DC
GridBank: A Grid Accounting Services Architecture (GASA) for Distributed Systems Sharing and Integration
计算网格作为一种新的基于Internet的并行和分布式计算的基础设施正在兴起。它们支持跨多个管理域、组织和企业的资源共享、交换、发现和聚合。为了实现这一点，网格需要支持各种服务的基础设施：安全性，统一访问，资源管理，调度，应用程序组合，计算经济性和问责制。许多网格项目已经开发出了一些技术，这些技术提供了许多这些服务，但责任除外。为了克服这个限制，我们提出了一个新的基础设施，称为网格银行，提供服务的会计。本文提出了网格问责制的要求和不同的模型，它可以运行，并提出网格银行服务体系结构，以满足他们。本文重点介绍了实施问题，并详细讨论了GridBank需要维护的各种记录/数据库的格式。它还提出了网格计算环境中GridBank和各种组件之间的交互协议。
2002-10-01 cs.DC
NordIQuEst: the Nordic-Estonian Quantum Computing e-Infrastructure Quest
本文介绍北欧-爱沙尼亚合作的NordIQuEst项目，该项目依托现有及在建的经典HPC与QC系统，构建前瞻性混合HPC+QC软硬件架构，同时梳理项目进展、已建框架及面临的挑战与应对策略。
2024-06-04 cs.DC quant-ph
Distributed mining of large scale remote sensing image archives on public computing infrastructures
地球观测（EO）采矿旨在支持有效访问和探索PB级空间和航空遥感档案，这些档案目前正在以每天TB的速度扩展。一个重大的挑战是在合理的时间内进行设想的应用程序所需的分析，例如环境风险管理的过程绘图。在这项工作中，我们解决的问题，基于内容的图像检索，通过基于实例的查询EO数据档案。特别是，我们专注于极化SAR数据的分析，目标分解定理已被证明是基本的发现模式的数据和地面散射特性的特点。为此，我们提出了一个交互式的面向区域的基于内容的图像挖掘系统，其中1）无监督的摄取过程分布到弹性的按需计算基础设施中的虚拟机上2）归档规模的内容分层索引是根据“大数据”分析集群计算框架实现的3）查询处理相当于遍历生成的二叉树索引，计算对应于图像组和查询图像瓦片之间的基于相似性度量的距离。我们深入描述的摄入和索引组件的策略和实际实现，并验证了NASA/JPL UAVSAR全极化数据存档进行实验的方法。我们报告的结果进行测试的计算机集群，通过使用一个公共的集群结构作为一个服务，并评估集群配置对系统性能的影响。结果是有前途的数据映射和信息检索的应用。
2015-01-17 cs.DC
Literature Study on Operational Data Analytics Frameworks in Large-scale Computing Infrastructures
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
本文研究了大规模计算基础设施中操作数据分析框架的核心方法与贡献，提出更全面的框架以提升效率并促进相关研究。
2026-03-19 cs.DC
A distributed file system for a wide-area high performance computing infrastructure
我们描述了我们的工作在实现一个广域分布式文件系统的NSF TeraGrid。该系统被称为XUFS，允许创建私有分布式命名空间，以便在9000多个计算机节点上透明地访问个人文件。XUFS建立在以前分布式文件系统研究的许多原则之上，但扩展了关键的设计目标，以支持计算科学研究人员的工作流。具体地说，XUFS支持从桌面到广域网的无缝文件访问，健壮地经受住短暂的断开连接操作，并展示了与广域网上的某些当前高性能文件系统相当或更好的吞吐量。
2010-01-01 cs.DC cs.OS
An Approach to Ad hoc Cloud Computing
我们考虑如何利用企业内未充分利用的计算资源来提高利用率并创建弹性计算基础设施。当前大多数云供应都涉及数据中心模型，其中机器集群专用于运行云基础设施软件。我们提出了一个额外的模型，ad hoc云，其中基础设施软件分布在从企业内已经存在的机器中获取的资源上。与数据中心云模型相反，资源级别不是先验建立的，在使用时也不是专用于云的资源。参与的机器不是专用于云，而是具有其他一些主要用途，例如为特定用户运行交互式进程。我们概述了主要的执行挑战和解决这些挑战的一种方法。
2010-02-25 cs.DC
Conceptual Design Report for FAIR Computing
本文介绍了FAIR研究的计算基础设施概念设计报告，涵盖计算需求、政策、模型及架构，旨在构建联邦式集中编排基础设施以应对未来数据挑战。
2025-10-09 cs.DC
SAMI: Service-Based Arbitrated Multi-Tier Infrastructure for Mobile Cloud Computing
移动云计算（MCC）是旨在缓解移动设备资源匮乏的最新移动计算技术。最近，已经提出了若干方法和技术来通过利用云计算来增强移动设备。然而，长WAN延迟和信任仍然是MCC的两个主要问题，阻碍了其愿景。本文对MCC进行了分析，并对其存在的问题进行了讨论。我们利用面向服务的架构（SOA），提出了一个仲裁的多层基础设施模型命名为SAMI MCC。我们的体系结构由三个主要层组成，即SOA、仲裁器和基础设施。该架构的主要优势在于其多层基础设施层，该层利用来自云、移动网络运营商（MNO）和MNO授权经销商这三个主要来源的基础设施。在基础设施层之上，仲裁器层被设计为基于诸如资源需求、延迟和安全性等多个度量对服务进行分类并为其分配合适的资源。利用SAMI可以促进基于服务的平台中立移动应用程序的开发和部署。
2012-06-27 cs.DC cs.NI
ScaleAcross: Designing Multi-Data-Center Infrastructure for Geo-Distributed AI Training
Indian Institute of Technology Indore（印度印多尔理工学院）；Indian Institute of Technology Jodhpur（印度焦特布尔理工学院）
本文提出一个基于EVPN-VXLAN的可扩展仿真框架，用于研究地理分布式AI训练中的同步密集型通信和跨站点数据交换问题，通过ECMP、BFD和队列对感知流量分配机制提升性能。
2026-06-12 cs.DC cs.ET cs.NI
A Distributed Multi Agents Based Platform for High Performance Computing Infrastructures
这项工作介绍了一种新的，模块化的，分层的基于Web的平台，用于管理基于网格的高性能计算基础设施上的机器学习实验。通过数据同步实用程序，网格提供的通信服务与管理层和传统的Web服务器编程的耦合导致了基于Web的用户界面的直接开发，该用户界面允许监视和管理各种在线分布式计算应用。它还介绍了一个实验生成和监控工具，特别适合于调查机器学习在游戏中。该平台被证明与两个不同的游戏实验。
2016-10-11 cs.DC cs.MA
Evaluating Total Environmental Impact for a Computing Infrastructure
本文概述了评估数字研究基础设施在特定快照期总气候/碳影响的项目，提出了计算影响的碳模型，量化了特定资源集影响，并估算了硬件活跃碳与隐含碳的气候影响。
2023-09-08 cs.CY cs.DC
Emerging Security Challenges of Cloud Virtual Infrastructure
云计算模式正在迅速改变IT格局。云计算是一种新的计算模式，它将计算资源作为一组可靠且可扩展的基于互联网的服务来提供，允许客户远程运行和管理这些服务。云结构即服务（IaaS）是流行的云计算服务之一。IaaS允许客户在不投资新硬件的情况下动态增加计算资源。IaaS适应虚拟化，以实现对虚拟计算资源池的按需访问。虽然从云计算中可以获得很大的好处，但云计算也会引入新的威胁类别。这些威胁是由于采用虚拟化技术而造成的云虚拟基础架构复杂性的结果。破坏云虚拟基础设施中任何组件的安全性都会严重影响其他组件的安全性，从而影响整个系统的安全性。本文探讨了云平台虚拟基础设施的安全问题，确定了现有的安全威胁和这种虚拟基础设施的复杂性。本文还讨论了现有的安全方法来保护云虚拟基础设施及其缺陷。最后，我们提出并探讨了实施新的虚拟化感知安全解决方案的一些关键研究挑战，这些解决方案可以为复杂和不断动态的云虚拟基础设施提供先发制人的保护。
2016-12-29 cs.CR cs.DC cs.SE
FabSim: facilitating computational research through automation on large-scale and distributed e-infrastructures
我们提出了FabSim，开发的工具包，以简化一系列计算任务的研究人员在不同的学科。FabSim是灵活的，适应性强，并允许用户轻松执行各种任务。它还提供了一种系统化的方法来自动化资源的使用，包括HPC和分布式资源，并通过记录上下文信息使任务更容易重复。为了证明这一点，我们提出了三个用例，FabSim提高了我们的研究生产力。这些包括模拟脑血管血流，在多个尺度上模拟粘土-聚合物纳米复合材料，以及计算配体-蛋白质结合亲和力。
2015-12-07 cs.DC physics.comp-ph
Scalable Deep Learning on Distributed Infrastructures: Challenges, Techniques and Tools
Technical University of Munich（慕尼黑工业大学）
深度学习（DL）在最近取得了巨大的成功，在图像识别和自然语言处理等各个领域取得了最先进的成果。这种成功的原因之一是DL模型的规模不断增加，以及大量可用训练数据的激增。为了不断提高下行链路的性能，提高下行链路系统的可扩展性是必要的。在本调查中，我们对分布式基础设施上可扩展DL的挑战、技术和工具进行了广泛而彻底的调查。这包括DL的基础设施，并行DL训练的方法，多租户资源调度以及训练和模型数据的管理。此外，我们分析和比较了11个当前的开源DL框架和工具，并调查了哪些技术在实践中通常被实现。最后，我们强调未来的研究趋势，DL系统，值得进一步研究。
2019-09-25 cs.AI cs.DC
Building a Distributed Computing System for LDMX: Challenges of creating and operating a lightweight e-infrastructure for small-to-medium size accelerator experiments
粒子物理实验广泛依赖计算和数据服务，使电子基础设施成为研究合作的一个组成部分。然而，构建和操作分布式计算对于较小规模的协作来说可能具有挑战性。光暗物质实验（LDMX）是一个计划中的小规模加速器为基础的实验，以寻找暗物质在亚GeV质量区域。探测器设计的最终完成依赖于预期物理过程的蒙特卡罗模拟。提出了一个分布式计算试点项目，以更好地利用合作机构的可用资源，并提高可扩展性和可重复性。本文概述了所选择的轻量级分布式解决方案，提出的要求，组件集成的步骤，并使用大规模模拟试验系统进行测试的经验。该系统尽可能利用现有技术，最大限度地减少软件开发的需要，并在参与站点仅部署非侵入性组件。试点证明，整合现有组件可以大大减少构建和运营分布式电子基础设施所需的工作量，即使是较小的研究合作也可以实现。
2021-05-27 cs.DC hep-ex
Workflow-Driven Distributed Machine Learning in CHASE-CI: A Cognitive Hardware and Software Ecosystem Community Infrastructure
San Diego Supercomputer Center（圣地亚哥超级计算机中心）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Qualcomm Institute（高通研究所）
过去二十年来，数据、计算和网络方面的进步导致许多应用领域发生了转变，其中包括作为科学过程一部分的大数据机器学习，这需要集成和分布式硬件和软件基础设施的新功能。本文贡献了一种工作流驱动的方法，动态数据驱动的应用程序开发的顶部一种新的网络网络基础设施称为CHASE-CI。我们特别介绍：1）CHASE-CI的架构，CHASE-CI是一个分布式快速GPU设备网络，用于机器学习和通过Kubernetes在高速（10- 100 Gbps）太平洋研究平台（PRP）; 2）将这样的网络转变成用于大数据分析的分布式计算机所需的机器学习软件容器化方法和库; 3）大气科学案例研究，只能通过CHASE-CI这样的基础设施进行扩展; 4）虚拟集群管理的能力，用于动态扩展方式的数据通信和分析，以及近实时地在专用可视化设施中跨网络进行可视化;以及5）逐步的工作流和性能测量方法，其使得能够利用CHASE-CI网络和容器管理基础设施的动态体系结构。
2019-02-26 cs.DC cs.LG
HTC Scientific Computing in a Distributed Cloud Environment
本文介绍了使用分布式云计算系统的高吞吐量计算（HTC）的科学应用。分布式云计算系统由在统一基础设施中使用的多个单独的云结构即服务（IaaS）云组成。分布式云已经在生产质量运行了两年，完成了大约500，000个作业，其中典型的工作负载有500个同时并行的作业，运行时间大约为12小时。我们审查的设计和实施的系统是基于预先存在的组件和一些自定义组件。我们讨论了该系统的操作，并描述了我们的计划扩展到更多的网站和增加计算能力。
2013-02-08 cs.DC
Minimal Economic Distributed Computing
在理想的分布式计算基础设施中，用户将能够以简单的一致方式使用不同的分布式计算资源，并根据资源所有者的意愿保证安全性和有效使用共享资源。我们实现这一理想的策略是首先找到最简单的结构，在这个结构中可以实现这些目标。这种结构，我们发现，是由一个特定的递归分布格自由地构造从一个假定的偏序集的基础设施中的所有数据。对所得到的代数进行轻微的语法调整，产生了一种类似于UNIX shell的简单语言、一种执行概念和一种进程间协议。系统中的个人、组织和服务器通过分层货币明确表达他们的利益。该货币提供了一个共同的框架，将身份验证、访问控制和资源共享视为经济问题，同时还引入了一个新的维度，通过设计相互竞争以赚取货币的系统组件，随着时间的推移改善基础设施。我们解释了这些结果，讨论了一个名为鸡蛋的实现经验，并指出需要更多研究的领域。
2009-02-27 cs.DC
Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算（HPC）集群的主要工作负载之一。目前，在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中，我们开发了一个新的两级存储系统，集成Tachyon，一个内存中的文件系统和OrangeFS，一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量：HDFS，OrangeFS，Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为，并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明，两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础，这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
Infrastructure de Services Cloud FaaS sur noeuds IoT
在本文中，我们将介绍PyCloudIoT云基础设施。PyCloudIoT使用FaaS云计算模型，在具有资源受限节点而不是强大数据中心的集群上卸载数值计算。该基础设施旨在利用物联网节点的未使用资源-已经部署在网络边缘-以减少用户请求的延迟。这种额外的计算必须在没有显著能耗的情况下完成-物联网节点由电池供电。-- Dans cet article，nous décrivons l'infrastructure cloud PyCloudIoT. PyCloudIoT s'appuie sur un modèle de云计算FaaS pour du calcul numérique déporté vers une ferme de calcul composée de noeuds à capacités restreintes au lieu d'un punctre powissant. Cette infrastructure vise à tirer profit des resources inutilisées déployées sur næuds IoT sans augmenter significativement reductions d'ésommation d'énergie et，en même temps，à rapprocher ces resource…
2020-09-05 cs.DC
Smart systems, the fourth industrial revolution and new challenges in distributed computing
智能系统和智能世界概念在第四次工业革命的框架内得到解决。分布式自主机器人和计算的新挑战。给出了一种新型的智能可重构分布式模块化机器人系统的实例。还提出了一个原型以及相关的分布式算法。
2019-04-08 cs.DC
Survey of Distributed Decision
我们调查了最近的分布式计算文献检查是否一个给定的分布式系统配置满足一个给定的布尔谓词，即，无论配置是合法的还是非法的。这个谓词。我们考虑经典的分布式计算环境，包括大多数同步无故障网络计算（同步和CONGEST模型），但也有异步易崩溃的共享内存计算（WAIT-FREE模型），和移动计算（FSYNC模型）。
2017-09-20 cs.DC
Technical Report on Deploying a highly secured OpenStack Cloud Infrastructure using BradStack as a Case Study
云计算已经成为一种流行的范例，并且是一种用于提供可靠的分布式计算的有吸引力的模型。model.it云部署对于所有规模的机构和组织都至关重要。灵活、免费的开源云平台的可用性，以及与遗留系统和第三方应用程序集成的能力是至关重要的。Open stack是一个免费的开源软件，根据Apache许可证的条款发布，具有碎片化和分布式架构，使其高度灵活。该项目旨在设计一个名为BradStack的安全云基础设施，该基础设施在布拉德福德大学计算实验室的OpenStack上构建。在本报告中，我们介绍并讨论了部署安全的BradStack多节点云基础设施和在OpenStack服务上进行渗透测试以验证BradStack平台上安全控制的有效性所需的步骤。该报告作为一个实用的指南，侧重于安全和实际基础设施相关的问题。它还可以作为机构在考虑实施安全云解决方案的可能性时的参考。
2017-12-26 cs.DC
Modeling Distributed Computing Infrastructures for HEP Applications
本文提出基于 SimGrid 和 WRENCH 的现代仿真工具，用于建模运行 HEP 工作负载的分布式异构基础设施，并通过 HEP 案例验证其准确性、可扩展性及架构改进方向。
2024-05-13 cs.DC hep-ex
Commercial Cloud Computing for Connected Vehicle Applications in Transportation Cyber-Physical Systems
本研究的重点是在交通网络物理系统（TCPS）环境中为联网车辆（CV）应用提供商业云服务的可行性。TCPS意味着CV除了相互连接外，还与运输和计算基础设施进行通信以满足应用程序需求。本研究的动机是通过展示使用Amazon Web Services（AWS）实施CV移动应用程序所获得的经验教训，加速基于云的商业CV应用程序开发。基于云的CV应用程序的可行性在三个层面进行评估：（i）基于云的TCPS架构的开发，（ii）使用AWS部署基于云的CV应用程序，以及（iii）基于云的CV应用程序的评估。我们使用无服务器云架构实现了此CV移动应用程序，并发现这种基于云的TCPS环境可以满足CV移动应用程序的允许延迟限制。商业云服务作为TCPS的一个组成部分，可以降低与建立和维护用于支持CV应用程序的庞大计算基础设施相关的成本。随着未来几年地面运输系统的CV渗透水平显著增加，扩展后端基础设施以支持此类应用是一个关键问题。这项研究展示了商业云服务如何自动扩展后端基础设施，以满足现实世界CV应用程序快速变化的需求。通过真实世界的实验，我们展示了商业云服务以及无服务器云架构如何推动交通数字基础设施，以支持TCPS环境中的互联移动应用。
2020-08-17 cs.DC
A Primarily Survey on Energy Efficiency in Cloud and Distributed Computing Systems
降低硬件能耗的可行技术综述
2012-11-16 cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的，以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中，社会管理信息和信息服务。从历史上看，计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此，超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中，大规模的资源共享是计算的重点，其目标总是追求最佳性能。在本文中，我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
CloudSim: A Novel Framework for Modeling and Simulation of Cloud Computing Infrastructures and Services
云计算侧重于交付可靠、安全、容错、可持续和可扩展的基础架构，以托管基于Internet的应用程序服务。这些应用程序具有不同的组成、配置和部署要求。在不同的负载、能源性能（功耗、散热）和系统规模下，针对不同的应用和服务模型，量化云基础设施（硬件、软件、服务）上的调度和分配策略的性能是一个极具挑战性的问题。为了简化这一过程，在本文中，我们提出CloudSim：一个新的广义和可扩展的模拟框架，使无缝建模，模拟和实验的新兴云计算基础设施和管理服务。该仿真框架具有以下新特征：（i）支持大规模云计算基础设施的建模和实例化，包括单个物理计算节点和Java虚拟机上的数据中心;（ii）用于建模数据中心、服务代理、调度和分配策略的自包含平台;（iii）虚拟化引擎的可用性，其帮助在数据中心节点上创建和管理多个独立的和共同托管的虚拟化服务;以及（iv）在处理核心到虚拟化服务的空间共享和时间共享分配之间切换的灵活性。
2009-03-14 cs.DC cs.OS cs.SE
Simulating LLM training workloads for heterogeneous compute and network infrastructure
针对现有LLM训练模拟器假设同构基础设施的局限，本文提出异构感知的分布式模拟器，支持自定义设备组配置，以预测异构环境下的训练时间并评估其影响。
2025-08-07 cs.DC
Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法，并指出关键挑战与未来方向。
2025-01-26 cs.DC
GiViP: A Visual Profiler for Distributed Graph Processing Systems
分析大规模图可以在不同的应用场景中提供有价值的见解。虽然已经提出了许多在分布式基础设施上工作的图处理系统来处理大型图，但分析和调试其大量计算的任务仍然非常耗时且容易出错。本文介绍了GiViP，基于Pregel计算模型的分布式图形处理系统的可视化分析器。GiViP捕获了在整个计算过程中交换的大量消息，并提供了一个交互式用户界面，用于对收集的数据进行可视化分析。我们将展示如何利用GiViP来检测与计算和基础设施相关的异常，例如计算速度慢的单元和异常的消息模式。
2017-09-02 cs.DC
Adapting Workflow Management Systems to BFT Blockchains -- The YAWL Example
区块链技术为信息记录提供了一个可审计和防篡改的分布式存储基础设施。这可以用来支持分布式工作流管理。与比特币和以太坊推广的工作量证明共识相比，基于BFT（拜占庭容错）的区块链订购共识交易可扩展性，以实现共识的即时性和最终性。这使得它们更容易用作分发基础设施，因为应用程序不需要进行调整以处理工作量证明区块链的最终一致性和延迟共识。因此，工作流引擎等应用程序可以很容易地移植到这样的区块链基础设施，以利用其分散的完整性保证和信息分发模型。在本文中，我们描述了如何在基于BFT的区块链基础设施上使用YAWL工作流引擎，以实现跨不同组织的协作工作流。
2020-06-10 cs.DC
