Enabling and Optimizing Pilot Jobs using Xen based Virtual Machines for the HPC Grid Applications
采用虚拟化的主要动机是资源隔离、容量管理和资源定制：隔离和容量管理允许提供商将用户与站点隔离并控制其资源使用，而定制允许最终用户轻松地将所需环境投影到各种站点上。已经采取了各种方法来集成虚拟化和网格技术。在本文中，我们提出了一种方法，结合虚拟化现有的软件基础设施，如试点工作与资源提供商的一部分最小的变化。
2009-06-05 cs.DC cs.PF cs.SE
Energy-aware Allocation of Graph Jobs in Vehicular Cloud Computing-enabled Software-defined IoV
软件定义的车联网（SDIoV）已经成为下一代汽车运输系统实现灵活和全面的资源管理的一个有前途的范例。本文研究了一种基于车载云计算的SDIoV框架，将传输功率和图作业的联合分配问题转化为一个非线性整数规划问题。为了有效地解决这个问题，提出了一种基于结构保持的两阶段分配方案，将模板搜索与功率分配相结合。具体而言，一个层次树为基础的随机子图同构机制，在第一阶段中应用，通过识别潜在的映射（模板）之间的组件的图形作业和服务提供商。第二阶段采用基于结构保持模拟退火的功率分配算法，以实现作业完成时间和能量消耗之间的折衷。大量的仿真进行了验证所提出的算法的性能。
2020-04-07 cs.DC
MultiCloud Resource Management using Apache Mesos for Planned Integration with Apache Airavata
我们讨论了初步的结果和我们计划的方法，将Apache Mesos的资源管理，这将使设计和开发的调度策略的Apache Airavata的工作，使他们可以在多个云，其中几个虚拟机没有公共IP地址启动。我们目前的初步工作和下一步的设计使用Apache Mesos的元调度程序。Apache Mesos提供了跨多个云和集群的可用资源的统一视图。我们的元调度器可以潜在地检查和识别多个小作业由同一科学家提交的情况，然后将作业从同一社区帐户或用户重定向到不同的集群。我们的方法使用NAT防火墙使节点/虚拟机，没有公共IP，可见的Mesos的统一视图。
2020-10-05 cs.DC cs.PF
A new job migration algorithm to improve data center efficiency
计算中心的主要问题之一是资源利用不足。不断增长的计算能力的需求必然需要更复杂的方法在管理的计算资源，特别是注意批处理队列系统调度。在可用于串行单核进程和并行多核作业的异构批处理队列系统中，可能发生的是，组成集群的一个或多个计算节点未被完全占用，运行低于其实际能力的作业数量。一个典型的情况是，多个单核作业在不同的多核服务器上运行，而更多的并行作业（需要主机的所有可用内核）排队。在运行时执行的作业重排能够释放额外的资源，以便托管新进程。提出了一种有效的方法来提高计算资源的利用率。
2012-04-30 cs.DC
DMRlib: Easy-coding and Efficient Resource Management for Job Malleability
Universitat Jaume I（豪梅一世大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
DMRlib通过提供简洁的MPI-like语法和预定义通信模式，简化了可变性应用的开发，并通过实验验证了其在资源利用率和全局吞吐量上的显著提升。
2026-04-29 cs.DC
Data Version Management and Machine-Actionable Reproducibility for HPC
针对HPC与SLURM环境，提出扩展DataLad以解决其与批处理不兼容的问题，实现数据版本控制与机器可执行可复现性，支持并发作业并避免并行文件系统低效。
2025-09-26 cs.DC
Complexity and Scale in AI-Assisted Workflow Management: A Federated Learning Case Study
RENCI, University of North Carolina at Chapel Hill, NC, USA（RENCI，北卡罗来纳大学教堂山分校）；Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA（信息科学研究所，南加州大学马里纳德尔雷耶斯分校）
提出一种AI辅助方法，通过规范驱动的工作流生成、自动化调试和分布式执行，结合Pegasus与MCP层，实现从自然语言到大规模科学工作流的端到端管理。
2026-09-09 cs.AI cs.DC cs.SE
Evaluating Malleable Job Scheduling in HPC Clusters using Real-World Workloads
University of Kassel（卡塞尔大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文通过真实工作负载评估HPC集群中可变作业调度的效率提升，发现可变作业能显著降低作业周转时间、makespan和等待时间，提高节点利用率。
2026-02-19 cs.DC
Analysis and Clustering of Workload in Google Cluster Trace based on Resource Usage
在过去的几年里，云计算已经引起了商业组织、研究团体、开发人员和其他个人的兴趣。为了推进数据管理领域的研究和这些数据的处理，我们需要基准数据集和可公开访问的免费数据。Google在2011年5月发布了一个11 k机器集群的跟踪，称为Google Cluster Trace。这个跟踪包含了大约29天的单元格信息。本文提供了这个跟踪中的资源使用和需求分析，并试图深入了解这种类似于云环境中的生产跟踪。本文的主要贡献包括基于资源使用情况、工作流模式的聚类以及基于k-means聚类的工件分类等，虽然已有较早的工作对这一轨迹进行了分析，但我们的分析提供了几个新的发现，如生产轨迹中的工件是三峰的，长工件类型中的任务存在对称性
2015-01-07 cs.DC
Advanced Scheduling Strategies for Distributed Quantum Computing Jobs
Tyndall National Institute（廷德尔国家研究所）；University of Parma（帕尔马大学）
本文提出并评估了多种调度策略，以优化分布式量子计算任务的资源利用和执行效率，针对不同任务类型和网络条件进行比较。
2026-08-03 cs.DC cs.PF quant-ph
Job Management and Task Bundling
高性能计算通常在稀缺和共享的计算资源上执行。为了确保计算机能够充分利用其容量，管理员通常会激励大型工作负载，而这些工作负载在较小的系统上是不可能的。在格点量子色动力学中的测量经常不能按机器大小的工作量进行缩放。通过将任务捆绑在一起，我们可以创建适合巨大分区的大型作业。我们讨论了METAQ和mpi_jm，这是一款用于动态分组计算任务的软件，可以智能地回填以消耗空闲时间，而无需对用户当前的工作流或可执行文件进行实质性更改。
2017-10-05 cs.DC hep-lat physics.comp-ph
Deadline-aware Power Management in Data Centers
研究了数据中心的动态功耗优化问题。我们制定和解决以下离线问题：在哪个插槽中的服务器必须分配给哪个工作;在哪个插槽中的服务器必须打开或关闭，以便总功率是最佳的一些时间范围。我们表明，离线问题是一个新的版本的广义指派问题，包括新的约束发出的截止日期特性的工作和服务器的激活能的差异。我们提出了一个在线算法，解决了这个问题，并比较它的随机路由。
2015-07-13 cs.DC cs.DS cs.PF
Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks
UCL（伦敦大学学院）
从自然语言处理到基因组测序，大规模机器学习模型正在为广泛的领域带来进步。其中许多模型太大，无法在单台机器上训练，而是必须分布在多个设备上。这激发了能够处理这些任务的新的计算和网络系统的研究。特别是，最近的工作集中在开发管理计划，决定如何分配分布式资源，使一些整体目标，如最小化的作业完成时间（JCT），是最优化的。然而，这样的研究忽略了明确考虑多少工作应该分配，通常假设最大分配是可取的。在这项工作中，我们表明，最大的并行化是次优的用户关键指标，如吞吐量和阻塞率。为了解决这个问题，我们提出了PAC-ML（分区异步计算与机器学习）。PAC-ML利用图神经网络和强化学习来学习划分计算图的程度，以使满足任意用户定义的JCT要求的作业数量最大化。在最近提出的光学架构上的五个真实深度学习计算图的实验中，在四个用户定义的JCT需求分布中，我们证明了PAC-ML在动态作业到达设置中的阻塞率比大多数先前作品使用的规范最大并行化策略低56.2%。
2023-01-31 cs.DC cs.LG
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中，我们将讨论为什么现有的元调度层次结构有时是不够的网格系统，由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载，这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型，并使用案例研究和数学建模进行评估。我们详细介绍了DIANA（数据密集型和网络意识）调度算法和队列管理系统，以应付负载分布和支持批量作业调度。我们证明，这样的系统是有益的动态，分布式和自组织的资源管理，并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
现代GPU开发中心对于在研究社区和行业中提供深度学习（DL）模型和服务至关重要。在运营数据中心时，资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先，我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度，我们发现了一些有趣的结论，这些结论可以促进集群系统的设计。其次，我们引入了一个通用框架，它基于历史数据管理资源。作为案例研究，我们设计：一个准最短的服务优先调度服务，它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务，提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
Energy-Efficient Real-Time Job Mapping and Resource Management in Mobile-Edge Computing
针对MEC中受截止期限约束且存在通信与计算争用的作业卸载问题，联合调度、资源分配与设备移动性，提出离线近似算法LHJS和在线启发式算法LBS以最大化节能。
2025-06-15 cs.DC
Data Management System Analysis for Distributed Computing Workloads
本研究针对ATLAS项目中PanDA工作流系统与Rucio数据管理系统协同运行的低效问题，开发文件级元数据匹配算法关联二者，识别异常传输模式并提出缓解策略，为系统协同优化提供路径。
2025-10-01 cs.DC
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天，大多数现代网格软件都满足了这一责任，并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的，用户几乎无法控制整个过程。为了解决这个问题，需要一个更具交互性的服务和中间件集，为用户提供更多的信息，网格天气，并给他们更多的控制决策过程。本文介绍了一组服务，已开发的网格分析环境（GAE）正在合作开发的加州理工学院，NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务，它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务，以表明他们确实导致了一个更加互动和强大的系统，以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Tenplex: Dynamic Parallelism for Deep Learning using Parallelizable Tensor Collections
Imperial College London（伦敦帝国学院）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
本文提出Scalai状态管理库，通过可并行化张量集合（PTC）抽象外部化作业状态，实现深度学习作业在运行时GPU分配变化后动态更改多维并行配置，且具有低开销。
2024-09-26 cs.AI cs.DC cs.LG
LERC: Coordinated Cache Management for Data-Parallel Systems
内存缓存在当今的数据并行框架（如Spark、Tez和Storm）中得到了积极的应用。通过在内存中缓存输入和中间数据，计算任务可以见证数量级的加速。为了最大限度地提高内存中数据访问的机会，现有的缓存算法，无论是基于新近度还是基于频率，都将缓存命中率作为优化目标。然而，与传统的信念，我们在本文中表明，简单地追求更高的缓存命中率的个别数据块并不一定转化为更快的任务完成在数据并行环境中。数据并行任务通常依赖于多个输入数据块。除非所有这些块都缓存在内存中，否则不会产生加速。为了捕捉这种全有或全无的属性，我们提出了一个更相关的指标，称为有效缓存命中率。具体地说，如果数据块的缓存命中可以加速计算任务，则该数据块的缓存命中被称为有效的。为了优化有效的缓存命中率，我们提出了最低有效引用计数（LERC）的政策，持久的依赖块的计算任务作为一个整体在内存中。我们在Spark中实现了LERC策略作为内存管理器，并通过Amazon EC2部署评估了其性能。评估结果表明，LERC有助于加快高达37%的数据并行作业相比，广泛采用的最近最少使用（LRU）的政策。
2017-08-26 cs.DC
Online Job Failure Prediction in an HPC System
CINECA（奇内卡国家计算中心）
本研究针对HPC系统中的作业失败预测问题，提出结合经典机器学习与NLP的在线预测方法，在提交时识别高风险作业，以减少资源浪费并提升系统性能与能效，实验验证了其有效性。
2023-06-30 cs.AI cs.DC cs.LG
Optimizing egalitarian performance in the side-effects model of colocation for data center resource management
在数据中心中，多达数十个任务托管在单个物理机器上。机器的使用效率提高了，但任务的性能却下降了，因为托管的任务会争夺共享资源。由于任务是异构的，因此产生的性能依赖关系是复杂的。在我们以前的工作[18]中，我们提出了一个新的组合优化模型，该模型使用任务的两个参数-其大小和类型-来表征任务如何影响分配给同一台机器的其他任务的性能。本文研究了平等主义优化目标：最大化最坏性能。该问题推广了经典的多处理机最大完工时间最小化问题（P|| Cmax）。我们证明了多项式可解的多处理器调度的变种是NP难的，难以近似时，类型的数量是不恒定的。对于一个常数的类型，我们提出了一个PTAS，一个快速近似算法，和一系列的算法。我们模拟算法的实例来自跟踪谷歌集群之一。与求解P问题的算法相比，具有作业类型意识的算法具有更好的性能||Cmax。类型的概念使我们能够对使用标准组合优化方法所导致的性能退化进行建模。类型增加了一层额外的复杂性。然而，我们的结果-近似算法和良好的平均情况下的性能-表明类型可以有效地处理。
2017-08-28 cs.DC
Container-based Cluster Orchestration Systems: A Taxonomy and Future Directions
容器能够实现轻量级的环境和性能隔离，快速灵活的部署以及细粒度的资源共享，除了硬件虚拟化之外，还在更好的应用程序管理和部署方面获得了普及。它们正被组织广泛用于在专有集群或私有云和公共云数据中心中部署来自现代应用程序（如Web服务、大数据和物联网）的日益多样化的工作负载。这导致了容器编排平台的出现，这些平台旨在管理大规模集群中容器化应用程序的部署。这些系统能够在数千台机器上运行数十万个作业。为了有效地做到这一点，他们必须解决几个重要的挑战，包括可伸缩性，容错和可用性，有效的资源利用率，以及请求吞吐量最大化等。本文研究了这些管理系统，并提出了一个分类，确定不同的机制，可用于满足上述挑战。建议的分类，然后应用到各种国家的最先进的系统，导致识别开放的研究挑战和差距，在文献中打算作为未来的研究方向。
2018-11-02 cs.DC
Adaptive Client Clustering and Coordination for Federated Learning Workflow Management in Edge Networks
University of Oxford（牛津大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；The First Affiliated Hospital, Sun Yat-Sen University（中山大学附属第一医院）；Zhejiang University of Technology（浙江工业大学）
针对边缘网络中依赖型联邦学习工作流，提出A-CoDa框架，通过LDD聚类、FedMIX参与机制和DAG调度器，在保证精度的同时降低端到端完成时间。
2026-09-29 cs.DC
Redundancy Management for Fast Service (Rates) in Edge Computing Systems
本文研究边缘计算中冗余资源分配问题，以平均系统计算时间和阻塞概率为指标，提出两种优化算法，并通过仿真证明其在不同服务时间分布下显著优于基准方法。
2024-11-25 cs.DC cs.IT math.IT
Stratum: A Serverless Framework for Lifecycle Management of Machine Learning based Data Analytics Tasks
Vanderbilt University（范德堡大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
随着机器学习（ML）库和框架以及它们使用的程序设计语言的激增，以及数据加载、转换、准备和挖掘等操作，ML模型开发正在成为一项艰巨的任务。此外，由于基于云的ML模型开发平台过多，硬件异构，越来越多地关注利用边缘计算资源进行低延迟预测服务，并且通常缺乏对有效执行ML工作流所需资源的完整了解，ML模型部署需要专业知识来有效管理ML工作流的生命周期，并以最小的成本。为了应对这些挑战，我们提出了一个端到端的数据分析，一个名为Stratum的无服务器平台。Stratum可以跨云-雾-边缘频谱部署、调度和动态管理数据摄取工具、实时流应用、批处理分析工具、ML即服务（用于推理作业）和可视化工具。本文描述了Stratum架构，强调它解决的问题。
2019-04-03 cs.DC cs.LG cs.SE
A Novel Approach to Translate Structural Aggregation Queries to MapReduce Code
提出将SciDB中AQL表达的数组结构化聚合查询翻译为MapReduce作业的系统，生成代码性能比手写高10.84倍。
2025-02-01 cs.DB cs.DC
Adaptive job and resource management for the growing quantum cloud
随着量子计算的普及程度不断提高，通过云进行高效的量子机器访问对于全球的学术和行业研究人员都至关重要。随着云量子计算需求呈指数级增长，对资源消耗和执行特性的分析是供应商端和客户端有效管理作业和资源的关键。虽然作业/资源消耗和管理的分析和优化在经典HPC领域很流行，但对于像量子计算这样的新兴技术来说，这是严重缺乏的。本文提出了量子云的优化自适应作业调度，注意到主要特征，如排队时间和机器间的保真度趋势，以及其他特征，如服务质量保证和机器校准约束。该提案的关键组成部分包括a）预测模型，该模型基于编译的电路特征（如电路深度和不同形式的错误）预测机器的保真度趋势，以及b）基于执行时间估计的每台机器的排队时间预测。总的来说，该提案在模拟的IBM机器上进行了评估，涵盖了各种量子应用程序和系统加载场景，与传统的作业调度器相比，它能够将等待时间减少3倍以上，并在特定用例中将保真度提高40%以上。
2022-03-24 cs.DC quant-ph
Disk storage management for LHCb based on Data Popularity estimator
Yandex School of Data Analysis（Yandex数据分析学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CERN - European Organization for Nuclear Research（欧洲核子研究组织）；National Research University Higher School of Economics (HSE)（国立研究型大学高等经济学院）
本文提出了一种算法，提供优化LHCb数据存储的建议。LHCb数据存储系统是一个混合系统。所有数据集都以档案形式保存在磁带上。最流行的数据集保存在磁盘上。该算法将数据集使用历史和元数据（大小、类型、配置等）生成推荐报告。本文介绍了我们如何使用机器学习算法来预测未来的数据流行度。使用这些预测，可以估计哪些数据集应该从磁盘中删除。我们使用回归算法和时间序列分析来找到保存在磁盘上的数据集的最佳副本数量。该算法基于数据流行度和副本数量优化，通过最小化一个损失函数来寻找最优的数据分布。损失函数表示数据存储系统中数据分布的所有要求。我们演示了我们的算法如何帮助节省磁盘空间，并减少等待时间的工作，使用这些数据。
2015-10-01 cs.DC cs.LG physics.data-an
MPCDF HPC Performance Monitoring System: Enabling Insight via Job-Specific Analysis
本文报告的HPC性能监测系统的设计和实施部署，以持续监测性能指标的所有作业的HPC系统在马克斯普朗克计算和数据设施（MPCDF）。因此，它向各种利益相关者，特别是用户，应用程序支持，系统管理员和管理人员揭示了重要信息。在每个计算节点上，硬件和软件性能监控数据由我们新开发的轻量级开源hpcmd中间件收集，该中间件构建在标准Linux工具上。数据通过rsyslog传输，并由Splunk系统进行聚合和处理，从而在Web浏览器中实现详细的每个集群和每个作业的交互式分析。此外，业绩报告以PDF文件形式提供给用户。最后，我们报告了在MPCDF HPC系统上大规模部署的实践经验和优势，展示了我们的解决方案如何适用于任何HPC中心。
2019-09-25 cs.DC
Prototyping Virtual Data Technologies in ATLAS Data Challenge 1 Production
为了提高分布在世界各地的大型生产任务的效率，提供由可集成和可互操作的服务组成的共享生产管理工具至关重要。为了增强ATLAS DC 1生产工具包，我们引入并测试了一个虚拟数据服务组件。对于ATLAS数据处理管道中确定的每个主要数据转换步骤（事件生成、探测器模拟、背景堆积和数字化等），虚拟数据手册（VDC）目录封装了特定的数据转换知识和必须在数据转换调用之前提供的经验证的参数设置。为了在DC 1生产期间提供本地-远程透明性，VDC数据库服务器以受控的方式为全球数千个事件生成和探测器模拟作业提供了经验证的生产参数和模板化生产配方，从而简化了生产管理解决方案。
2003-06-16 cs.DB cs.DC
ATLAS and CMS applications on the WorldGrid testbed
WorldGrid是一个横跨欧洲和美国的洲际测试平台，它基于Globus工具包集成了架构上不同的网格实现。它是在DataTAG和iVDGL项目的背景下开发的，并在IST 2002（哥本哈根）和SC 2002（巴尔的摩）的WorldGrid演示中成功演示。两个HEP实验，ATLAS和CMS，成功地利用WorldGrid测试平台执行工作，模拟他们的探测器对物理事件的响应，这些事件是从2007年开始在LHC加速器上预期的真实碰撞产生的。多年来，这种数据密集型活动一直在由数百个节点和TB磁盘和磁带存储组成的本地专用计算场上运行。在WorldGrid测试平台中，HEP模拟作业首次在美国和欧洲的资源上提交并无差别地运行，尽管它们的底层网格实现不同，并产生可以在提交机器上检索和进一步分析的数据，或者简单地存储在远程资源上并注册在可供网格进一步处理的目录上。在这篇文章中，我们描述了来自欧洲的ATLAS和CMS应用程序的作业提交，通过在EDG用户界面上运行的GENIUS门户网站提交给EDG资源代理，指出所选择的互操作性解决方案，从应用程序的角度来看，在WorldGrid环境中的数据管理，以及CMS特定的生产工具，这些工具与GENIUS门户网站相连。
2003-10-14 cs.DC
Virtual Laboratory: Enabling On-Demand Drug Design with the World Wide Grid
计算网格是解决科学、工程和商业中大规模计算和数据密集型问题的一种流行模式。然而，在这些环境中的应用程序组合、资源管理和调度是一项复杂的任务。在本文中，我们说明了利用现有的网格技术，使分布式资源上的药物设计的分子建模的虚拟实验室环境的创建。它涉及针对蛋白质靶标、化学数据库（CDB）筛选数百万个化合物分子，以识别那些具有药物设计潜在用途的化合物。我们已经使网格的分子对接过程中组成的参数扫描应用程序使用Nimrod-G工具。然后，我们开发了新的工具，用于远程访问CDB小分子数据库中的分子。Nimrod-G资源代理与分子CDB数据代理一起用于分布式网格资源上作业的调度和按需处理。结果证明了Nimrod-G和虚拟实验室工具的易用性和适用性。
2001-11-17 cs.DC
Libra: An Economy driven Job Scheduling System for Clusters
计算机集群已经成为高性能、高吞吐量和高可用性计算的主流并行和分布式平台。为了实现对集群的有效资源管理，已经设计了许多集群管理系统和集群管理器。然而，他们的重点基本上是最大限度地提高CPU性能，而不是提高交付给用户的实用程序的价值和服务的服务质量。本文提出了一种新的计算经济驱动的调度系统称为天秤座，它已被设计为支持基于用户的资源分配？服务质量（QoS）要求。它旨在作为现有排队和资源管理系统的附加组件。第一个版本已经实现为PBS（便携式批处理系统）系统的插件调度程序。调度器提供基于市场的经济驱动的服务，用于管理集群上的批处理作业，根据用户的预算和最后期限，而不是系统性能考虑确定的效用调度CPU时间。Libra调度器确保在O（n）运行时间内满足这两个约束。Libra调度器已经使用GridSim工具包进行了模拟，以进行详细的性能分析。结果表明，基于截止日期和预算的比例资源分配策略相比，以系统为中心的调度策略，提高了系统的效用和用户满意度。
2002-07-22 cs.DC cs.DS
The Anatomy of a Grid portal
在本文中，我们介绍了一种新的方法来处理网格门户网站参考我们的实现。L-GRID是一个通过Web访问EGEE/EGI网格基础设施的轻型门户，允许用户在几分钟内从一个普通的Web浏览器提交他们的作业，而无需任何关于网格基础设施的知识。它提供了对网格作业整个生命周期的控制，从提交和状态监控到输出检索。该系统以Globus网格中间件为基础，采用客户机-服务器结构。客户端应用程序基于java applet;服务器依赖于Globus用户界面。服务器端不需要用户注册，用户只需要自己的X.509个人证书。该系统是用户友好的，安全的（它使用SSL协议，在公钥基础设施中的动态委托和身份创建机制），高度可定制，开放源代码，易于安装。X.509个人证书无法从本地计算机中获取。它允许减少作业提交所花费的时间，同时在代理委托和管理中授予更高的效率和更好的安全级别。
2012-04-30 cs.DC
