Virtual Memory Streaming Technique for Virtual Machines (VMs) for Rapid Scaling and High Performance in Cloud Environment
本文讨论了虚拟内存流（VMS）技术在云环境中提供虚拟机（VM）的影响。VMS是一种可扩展的虚拟化技术，允许不同的虚拟机快速扩展，高性能，并提高硬件利用率。传统的虚拟机管理程序不支持真正的无停机实时迁移，并且其缺乏内存超额订阅可能会通过限制每个主机上的VM数量来损害私有云部署的经济性。VMS汇集了多种高级虚拟机管理程序存储管理技术，包括粒度页面共享、动态内存占用管理、实时迁移、读缓存和独特的虚拟机克隆功能。描述了一个架构模型，以及一个概念验证实现，即VMS通过真正的实时迁移和虚拟机克隆来动态扩展虚拟化基础架构。本文认为，VMS for Cloud允许显著减少服务器内存，并通过立即添加更多虚拟机来减少虚拟化资源扩展的时间。
2014-06-22 cs.DC
Dynamic Resource Management using Operating System-Level Virtualization
本文扩展了一个现有的系统称为Golondrina，执行自主的工作负载管理集群的硬件节点运行操作系统级虚拟化。Golondrina的工作原理是识别本地化的资源压力情况，并尝试通过重新分配系统资源来消除这些压力，必要时还可以迁移或复制虚拟机。据预测，使用Golondrina，类似的系统的效率可以进一步提高，实现更大的资源利用率的硬件节点，同时保持每个虚拟机的资源可用性。以下主题进行了讨论：虚拟化技术和相关的挑战，资源管理，Golondrina的架构和设计，智能资源重新分配的基础上预定义的政策，初步结果表明，内存资源管理策略的Web应用程序的性能托管在虚拟环境中的影响。这项研究作出了重大贡献的虚拟化数据中心的研究，因为目前没有其他系统认为虚拟机复制和动态内存重新分配作为一种方法来管理工作负载。
2013-10-11 cs.DC
Managing Clouds in Cloud Platforms
管理云服务是当今虚拟化环境中的一项根本挑战。云服务的提供商和消费者同样面临这些挑战。在支持移动云的虚拟化环境中，这个问题变得更具挑战性。云计算平台（如Amazon EC2）以低成本为客户提供灵活的按需资源。但是，它们无法提供许多客户可能需要的无缝基础设施管理和监控功能。例如，Amazon EC2并不完全支持云服务自动发现，它需要一组私有的身份验证凭据。另一方面，Salesforce.com不提供对其底层系统的监视访问。此外，这些系统无法提供对不支持代理的异构和遗留系统的基础设施监控。在这项工作中，我们探讨如何建立一个云管理系统，结合异构管理的虚拟资源和全面管理的物理设备。我们提出了一个自动化云管理和监控框架的初始原型。我们的最终目标是开发一个能够自动跟踪配置和关系的框架，同时提供完整的事件管理，测量性能和测试阈值，并一致地测量可用性。有了这样一个框架，运营商可以更快、更有效地做出更好的决策。
2010-08-29 cs.DC cs.NI
Analyzing GPU Performance in Virtualized Environments: A~Case Study
École Polytechnique de Montréal（蒙特利尔理工学院）
本文针对当前性能工具不支持虚拟GPU（vGPU）的问题，提出一款兼容Intel GVT-g的新型性能分析工具，通过软件追踪技术收集数据并生成指标，助力识别vGPU虚拟机的性能瓶颈。
2026-08-04 cs.DC cs.PF
Scalable HPC Job Scheduling and Resource Management in SST
本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。
2025-01-30 cs.DC
An improved tile-based scalable distributed management model of massive high-resolution satellite images
随着对地观测的快速发展和卫星遥感及传感器技术的发展，遥感数据量以前所未有的速度增长。传统的关系数据库在满足高分辨率、大规模遥感大数据数据管理的需求时，已经出现了自身的局限性。因此，海量遥感数据管理是当前最迫切的课题之一。为了解决这个问题，本文描述了一个分布式架构的大RS数据存储的基础上，统一的元数据文件，金字塔模型和希尔伯特曲线的数据组合和索引使用NoSQL数据库（即Apache Hbase）。本文在AzureInsight云平台上设计了一个基于Hadoop的框架，以并行和分布式的方式管理海量RS数据。实验结果表明，该方法有潜力克服传统方法的弱点。该模型适用于海量高分辨率影像数据管理。
2021-05-11 cs.DC
A heterogeneous many-core platform for experiments on scalable custom interconnects and management of fault and critical events, applied to many-process applications: Vol. II, 2012 technical report
这是计划收集的四个年度卷的第二个，描述了部署一个异构的众核平台的实验可扩展的自定义互连和管理故障和关键事件，适用于多进程应用程序。这卷包括几个主题，其中：1-一个系统的认识故障和关键事件（命名为LO |FA| MO）在实验性异构众核硬件平台上的集成与测试：2.基于APEnet+自定义互连的实验性异构众核硬件平台QUoNG的集成与测试：3.采用ASIP技术设计软件可编程分布式网络处理器架构（DNP）; 4-在28 nm FPGA上设计新一代DNP的初始阶段。这些开发是在EURETILE欧洲项目的框架内根据第247846号赠款协议进行的。
2013-07-04 cs.DC
CAMIG: Concurrency-Aware Live Migration Management of Multiple Virtual Machines in SDN-enabled Clouds
通过集成软件定义网络和云计算，可以通过虚拟机（VM）的实时迁移动态重新分配虚拟化网络和计算资源。当定期触发算法时，动态资源管理（如负载均衡和节能策略）可以请求多次迁移。在动态资源管理方面存在显著的研究成果，其减轻了单次迁移开销，例如在选择潜在的VM和迁移目的地时的单次迁移时间和共址干扰。然而，现有的动态资源管理方案忽略了迁移请求之间的资源依赖关系，导致迁移调度过程中服务质量（服务质量，QoS）下降和违反服务水平协议（SLA）。因此，必须将单个和多个迁移开销集成到VM重新分配规划中。在本文中，我们提出了一个并发意识的多迁移选择器，操作的基础上的最大集团和独立集的资源依赖图的多个迁移请求。我们提出的方法可以与现有的动态资源管理策略。实验结果表明，该方案在实现动态资源管理的同时，最大限度地提高了多次迁移的性能，有效地减少了迁移干扰，缩短了重新分配的收敛时间.
2021-11-17 cs.DC cs.NI
Designing a scalable framework for declarative automation on distributed systems
随着分布式系统在规模和复杂性上的增长，对系统管理功能的灵活自动化的需求也在增长。我们概述了一个框架，用于构建工具，为分布式系统提供分布式，可扩展，声明式，模块化和连续自动化。我们集中在四个设计点：1）状态管理方法，规定配置和发现的系统状态的真实来源; 2）一种技术，以解决声明的统一问题的一类自动化问题，提供状态收敛和模块化; 3）一个最终一致性的方法，以状态同步，提供自动化规模; 4）事件驱动架构，提供始终在线的状态实施。我们描述的方法，软件架构的框架，这些技术的限制，适用于自动化问题。我们概述了基于此框架构建的参考应用程序，该框架提供了状态感知系统配置和节点生命周期管理，突出了关键优势。最后，我们讨论了当前和未来的应用。
2021-04-27 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Argonne National Laboratory（阿贡国家实验室）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
提出SWARM+，一种通过分层多智能体共识实现去中心化工作负载管理的系统，在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Software Defined Edge Computing for Distributed Management and Scalable Control in IoT Multinetworks
最近，边缘计算已经成为支持物联网多网络中移动访问的一个有前途的范例。然而，异构无线通信方案的共存给此类网络中的移动性管理和接入控制带来了新的挑战。为了保持其计算连续性，软件定义网络（SDN）架构可以应用于分布式边缘网络，其为移动性管理提供一致的框架并为访问控制创建安全机制。在本文中，我们首先回顾了最先进的SDN技术及其在边缘计算中的应用。特别是，我们强调了与边缘计算环境中SDN的移动性管理和访问控制相关的突出问题。我们还介绍了一些有效的解决方案，这些问题，通过提出现实世界的测试床实验，原型和数值分析采用基于SDN的边缘计算范例的物联网多网络。
2021-04-06 cs.DC cs.NI
A Scalable Multi-Layered Blockchain Architecture for Enhanced EHR Sharing and Drug Supply Chain Management
针对医疗数字化中的数据安全、隐私与可扩展性问题，提出含五层结构的可扩展多层区块链架构，用于EHR共享与药品供应链管理，经Caliper基准测试验证提升了交易吞吐量、降低了通信开销，兼具安全互操作与供应链监控能力。
2024-12-09 cs.CR cs.DC
ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters
大规模存储集群系统需要管理大量的数据位置。简单的数据位置管理维护成对的数据ID和将数据存储在表中的节点。然而，当对的数量太大时，这是不实际的。为了解决这个问题，在最近的研究中，已经提出了使用数据分布算法的管理，而不是使用表的管理。这种数据分发算法要求能够处理节点的添加或删除、计算时间短以及在每个节点的容量上均匀地分发数据。本文提出了一种数据分布算法ASURA（Advanced Scalable and Uniform Storage by随机数Algorithm）来满足这些要求。它实现了以下四个特点：1）最小的数据移动，以维持数据分布根据节点的能力时，增加或删除节点，即使数据被复制，2）大约亚微秒的计算时间，3）远低于1%的最大可变性节点之间的数据分布，和4）数据分布根据每个节点的能力。评估结果表明，ASURA是定性和定量的竞争力，主要的数据分布算法，如一致性散列，加权Renminbi散列和随机切片。比较结果显示了每种算法的优点，表明ASURA在大型横向扩展存储集群中具有优势。
2017-07-04 cs.DC
Self-Evolving Distributed Memory Architecture for Scalable AI Systems
Pacific Coast University（太平洋海岸大学）；Tongji University（同济大学）；Institute for Intelligent Systems, Northern Research Laboratory（北方研究实验室智能系统研究所）
本文提出一种三层架构，通过动态内存管理提升AI系统在计算、通信和部署层的效率，实现内存利用率提升和通信延迟降低。
2026-05-16 cs.DC
GeoRocket: A scalable and cloud-based data store for big geospatial files
我们介绍GeoRocket，一个用于在云中管理非常大的地理空间数据集的软件。GeoRocket采用了一种新的方法来处理任意大的数据集，将它们分成单独处理的块。该软件具有现代反应式架构，并利用现有的服务，包括Elasticsearch和存储后端，如MongoDB或Amazon S3。GeoRocket与模式无关，支持各种异构地理空间文件格式。它也是格式保留的，不会以任何方式更改导入的数据。GeoRocket的主要优点是其性能、可扩展性和可用性，这使其适用于处理非常高的数据量、复杂的数据集和高速度（大数据）的许多科学和商业用例。GeoRocket还为地理空间数据管理领域的进一步研究提供了许多机会。
2020-01-25 cs.DC
An Intelligent Mobile-Agent Based Scalable Network Management Architecture for Large-Scale Enterprise System
为了解决集中式网络管理模型（SNMP或CMIP管理模型）的可扩展性和灵活性问题，近年来提出了几种基于移动Agent的分布式网络管理模型。虽然使用移动代理来分配和委托管理任务来方便地处理前面提到的问题，许多基于代理的管理框架，如初始平台模型和静态中层管理人员采用移动代理模型不能有效地满足当前网络的需求，这是在规模和复杂性不断增长。此外，各种技术，如SONET、ATM、以太网、DWDM等，存在于网络的接入、城域网和核心（长途）部分的不同层，在它们自己的成帧和协议结构方面增加了复杂性。因此，控制和管理这些网络中的流量是一项具有挑战性的任务。针对上述问题，提出了一种基于智能可扩展层次代理的大规模复杂网络管理模型。提出了成本估算，以期计算管理数据开销方面的总体管理成本。此后获得的结果建立所提出的架构相比，集中式和平床代理模型的有用性。
2012-02-09 cs.DC cs.MA cs.NI
Spinner: Scalable Graph Partitioning in the Cloud
一些组织，如社交网络，存储和例行分析大型图表作为其日常运营的一部分。这样的图通常分布在多个服务器上，并且图分区对于高效的图管理是至关重要的。现有的分区算法专注于寻找具有良好局部性的图分区，但忽略了将分区集成到部署在云上的大规模图管理系统中的实际挑战，例如处理图和计算环境的规模和动态性。在本文中，我们提出了Spinner，一个可扩展的和自适应的图划分算法的基础上设计的Pregel模型的顶部上的标签传播。Spinner可扩展到大规模的图形，产生具有局部性和平衡性的分区，可与最先进的分区相媲美，并有效地适应分区的变化。我们描述了我们的算法和它的实现在Pregel编程模型，使它有可能分区十亿顶点图。我们评估Spinner与各种合成和真实的图形，并表明它可以计算分区的质量与国家的最先进的。事实上，通过使用Spinner与Gifford图处理引擎，我们加快了不同的应用程序的一个因素2相对于标准散列分区。
2015-02-02 cs.DC
Scalable AI-assisted Workflow Management for Detector Design Optimization Using Distributed Computing
Brookhaven National Laboratory（布鲁克海文国家实验室）；The Catholic University of America（美国天主教大学）；Duke University（杜克大学）；Stony Brook University（石溪大学）
提出一种结合多目标贝叶斯优化与PanDA-iDDS工作流引擎的AI辅助框架，用于协调异构资源上的迭代仿真，实现高维参数空间的高效探索，并在ePIC和dRICH探测器设计中验证了自动化、可扩展性和效率提升。
2026-06-26 cs.AI cs.DC
A Scalable Digital Twin Framework for Energy Optimization in Data Centers
Federal University of São João del-Rei（圣约翰德尔雷伊联邦大学）；Federal Institute of Education Science and Technology of São Paulo（圣保罗教育科技联邦 institute）
本文提出一种可扩展的数字孪生框架，通过物联网数据采集、云计算和机器学习技术实现实时监控与能耗管理，实验结果表明在提升能效和降低能耗方面有显著改进。
2026-05-07 cs.DC cs.LG
MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging
Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
MergePipe通过预算感知的参数管理实现高效的大语言模型融合，减少I/O并提升整体性能。
2026-02-05 cs.AI cs.DB cs.DC
Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
本文提出Guard系统，通过在线性能监控和离线节点扫描机制，有效检测训练中的延迟节点并确保节点健康，从而提升大规模训练的效率和稳定性。
2026-05-18 cs.AI cs.DC cs.LG
BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services
Vanderbilt University（范德堡大学）
预训练的深度学习模型越来越多地用于提供各种计算密集型预测分析服务，如健身跟踪、语音和图像识别。深度学习模型的无状态和高度并行化的性质使其非常适合无服务器计算范式。然而，由于动态工作负载和具有部署和管理成本的各种可用资源配置，为这些服务做出有效的资源管理决策是一个难题。为了应对这些挑战，我们提出了一个分布式的、可扩展的深度学习预测服务系统Barista，并做出了以下贡献。首先，我们提出了一种快速有效的方法，通过识别各种趋势来预测工作负载。其次，我们制定了一个优化问题，以最大限度地减少总成本，同时确保有限的预测延迟与合理的准确性。第三，我们提出了一个有效的启发式，以确定合适的计算资源配置。第四，我们提出了一个智能代理分配和管理计算资源的水平和垂直缩放，以保持所需的预测延迟。最后，使用具有代表性的现实世界的城市交通服务的工作负载，我们展示和验证的Barista的能力。
2019-04-11 cs.DC cs.LG
Harnessing Scalable Transactional Stream Processing for Managing Large Language Models [Vision]
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 TStreamLLM 框架，将事务流处理与 LLM 管理结合，以支持高并发、低延迟的持续更新与调用，并通过医疗和交通场景阐明研究路线。
2023-07-17 cs.AI cs.DB cs.DC
