首页/论文/0708.0605

arXiv 0708.06052007-08-04cs.DCcs.CY

为公众开放和免费的集群

Open and Free Cluster for Public

Z. Akbar, Slamet, B. I. Ajinagoro, G. I. Ohara, I. Firmansyah, B. Hermanto, L. T. Handoko

备注：: 4 pages, Proceeding of the International Conference on Rural Information and Communication Technology 2007

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们推出LIPI公共集群，这是印度尼西亚和周边国家第一个完全免费向公众开放的并行机设施。本文重点阐述了开放式集群的概念，以及如何实现和管理开放式集群以满足用户的需求。经过2年的试运行和多次调试，公共集群运行良好，能够满足预期的各项要求。

英文摘要：

We introduce the LIPI Public Cluster, the first parallel machine facility fully open for public and for free in Indonesia and surrounding countries. In this paper, we focus on explaining our globally new concept on open cluster, and how to realize and manage it to meet the users needs. We show that after 2 years trial running and several upgradings, the Public Cluster performs well and is able to fulfil all requirements as expected.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于Web的公共集群接口

Web-based Interface in Public Cluster

介绍了一个基于Web的集群计算机专用接口，该接口可免费向公众开放。该接口在确保安全的公共访问方面发挥着重要作用，同时为最终用户提供了用户友好的计算环境，并为管理员提供了方便的信息。简要说明了整个系统的硬件和软件两个方面的集成架构。有人认为，公共集群是全球唯一的方法，并可能是一种新的电子学习系统，特别是并行编程社区。

2007-11-04cs.CYcs.DC

公共集群：多块并行机

Public Cluster : parallel machine with multi-block approach

我们介绍了一种新的方法，使一个开放的和公共的并行机，这是可访问的多个用户与多个作业属于不同的块在同一时间运行。这一概念特别适用于在LIPI公共集群中实现的专用于公共使用的并行机。我们已经部署了最简单的技术，通过运行多个守护进程的并行处理引擎与不同的配置文件指定为每个用户分配到访问系统，并开发了一个集成的系统，以充分控制和监控整个系统通过Web。最后对消息解析接口引擎进行了简要的性能分析。结果表明，该方法是相当可靠的，对整体性能的影响很小。

2007-08-04cs.CYcs.DC

基于扩展优化算法的公共集群资源分配

Resource Allocation in Public Cluster with Extended Optimization Algorithm

我们介绍了一种优化算法的资源分配在LIPI公共集群，以优化其使用情况，根据传入的用户请求。该工具是一个扩展和修改的遗传算法开发，以配合特定性质的公共集群。本文对优化问题进行了详细的分析，并与精确计算结果进行了比较.我们表明，这将是非常有用的，可以实现一个自动决策系统的公共集群。

2007-08-09cs.DC

基于单片机的公用集群分布式网络化控制系统

Microcontroller based distributed and networked control system for public cluster

本文介绍了一种开放式并行机--公用机群系统的分布式控制结构及其应用。遵循公共集群的性质，集成分布式控制系统完全可以通过网络使用用户友好的Web界面访问。该系统主要用于控制提供给某些用户的并行计算机块中每个节点的功率。这对于延长相关硬件的使用寿命，降低整体运行和维护成本尤为重要。该系统由主控制器和节点控制器两部分组成，两者通过RS-485接口相连。每个节点控制器被分配一个唯一的地址来区分它们中的每一个。我们还简要讨论了该系统在LIPI公共联网的实施。

2009-06-01cs.DC

公共集群中的多独立块方法

Multi and Independent Block Approach in Public Cluster

我们提出了扩展的多块方法在LIPI公共集群。多块方法使一个集群能够被划分为多个独立的块，这些块同时运行不同用户拥有的作业。以前，由于效率和资源限制，我们使用单个主节点为所有块维护块。随着最近的进步和节点数量的扩大，我们修改了多块方法，其中有多个主节点，每个主节点负责一个块。我们认为，这种方法显着提高了整体性能，特别是数据密集型的计算工作。

2007-09-14cs.DC

C3O：面向公有云分布式数据处理的协同集群配置优化

C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds

分布式并行处理系统使得能够在集群上对大型数据集进行数据并行处理。公共云提供商提供了大量可用于此类集群的资源。然而，为低成本工作（既不会导致瓶颈，也不会导致低资源利用率）选择合适的云资源通常具有挑战性，即使对于数据工程师等专家用户也是如此。我们提出了C3O，一个协作系统，用于优化公共云中的数据处理集群配置共享的历史运行时数据的基础上。该共享数据用于使用专门的回归模型来预测不同可能的集群配置上的数据处理作业的运行时间。这些模型考虑了不同用户的不同执行上下文，并在我们对930个独特的Spark作业的实验评估中显示出低于3%的平均绝对误差。

2021-12-01cs.DC

更多相关论文收起更多论文

通过公共群集的GRID体系结构

GRID Architecture through a Public Cluster

介绍了一种允许由公共集群中的多个节点组成的块连接到不同网格协作的体系结构。它通过在标准Globus Toolkit之外插入Web服务来实现。新的Web服务执行两个主要任务：验证传入请求中包含的数字证书，并将其转发到指定的块。相应的区块与数字证书中包含的区块所有者的用户名映射。有人认为，该算法打开了一个机会，在一个公共集群中的任何块加入各种全球网格。

2009-01-01cs.DCcs.NI

openPC：完全所有权的公共集群工具包

openPC : a toolkit for public cluster with full ownership

openPC是一组开源工具，它实现了一个并行机和分布式计算环境，可分为几个独立的节点块，每个节点都可以远程访问，但用户可以通过任何方式完全访问。openPC组件解决了与安全性、资源访问、资源分配、与异构中间件的兼容性、用户友好和集成的基于Web的界面、硬件控制和监控系统有关的基本问题。这些组件已成功部署到开放供公众使用的LIPI公共集群。本文介绍了OpenPC由于其独特的需求而具有的独特性，讨论了它的组成部分，并进行了简要的性能分析。

2010-12-12cs.DC

LIPI公用集群实时的监控系统

Real-time control and monitoring system for LIPI's Public Cluster

Indonesian Institute of Sciences（印度尼西亚科学研究所）

我们为LIPI的公共集群开发了一个监控系统。该系统由微控制器和用于日常操作的完全基于Web的用户界面组成。由于集群的特殊性，需要完全专用的、自主开发的监控系统。我们讨论了使用并行端口和专用微控制器实现这一目的。我们还表明，集成这样的系统，使自主控制系统的基础上的实时的监测，例如自主电源控制的基础上的实际温度等。

2007-08-04cs.DCcs.RO

CASH：一种面向公有云平台的信用感知调度算法

CASH: A Credit Aware Scheduling for Public Cloud Platforms

公共云提供了无数的服务，使其租户能够以灵活，简单和经济高效的方式处理大规模的大数据。租户通常使用大规模数据处理框架，如MapReduce，Tez，Spark等来处理他们的数据。租户可以配置他们的框架来运行框架本身的单个任务，或者使用YARN或Mesos等中间件集群管理器来仲裁公共云集群中的资源调度。集群管理器需要了解工作负载需求以及集群中CPU和磁盘等单个资源的状态。云提供商使用令牌桶机制来表示其硬件资源的服务质量。在本文中，通过我们在YARN，Hadoop和Tez中的变化，我们展示了如何使中间件集群管理器认识到集群中单个硬件资源的预期服务质量。我们优化的集群管理器与粗粒度的知识的任务要求和细粒度的知识的预期服务质量的集群中的硬件资源执行高度优化的任务布局。我们的优化实验表明，基于CPU信用的实例（如Amazon T3实例）是运行大数据工作负载的可行的成本效益选项。我们还表明，Hive仓库上的流式SQL查询可以加速高达31%，从而节省高达22%的公共云成本。

2020-09-11cs.DC

面向公有云集群的可扩展分布式深度学习训练

Towards Scalable Distributed Training of Deep Learning on Public Cloud Clusters

The Hong Kong University of Science and Technology（香港科技大学）；Tencent Ltd.（腾讯有限公司）；University of Michigan（密歇根大学）；Hong Kong Baptist University（香港浸会大学）

分布式训练技术已被广泛部署在密集GPU集群上的大规模深度神经网络（DNN）训练中。然而，在公有云集群上，由于实例之间的互连带宽适中，传统的最先进的分布式训练系统在训练大规模模型时无法很好地扩展。在本文中，我们提出了一个新的计算和通信高效的top-k稀疏通信库的分布式训练。为了进一步提高系统的可扩展性，我们提出了一个简单而有效的多级数据缓存机制优化I/O和优化更新操作，通过引入一种新的并行张量操作。在16节点的腾讯云集群（每个节点8颗Nvidia Tesla V100 GPU）上的实验结果表明，我们的系统在CNN和Transformer上的速度比现有最先进的系统快25%-40%。我们终于打破了DAWNBench在训练ResNet上的记录-ImageNet上的前5名准确率达到50%至93%。

2020-10-20cs.AIcs.DC

公共科学数据中心在COVID-19期间和以后的运行特性

Operational Characterization of a Public Scientific Datacenter During and Beyond the COVID-19 Period

数据中心是数字社会的必需品。它们提供计算、电信、媒体和娱乐等服务。然而，数据中心会消耗大量电力。因此，改善数据中心运营非常重要，可能会带来更好的服务，降低能耗和成本。要想提高企业家的素质，我们必须了解他们的内心世界。因此，我们使用荷兰科学集群的运行轨迹来调查和了解该集群的运行方式。由于在家工作的情况，新冠肺炎疫情可能改变了我们对在线应用程序（如zoom和google meet）的日常使用。在这项研究中，我们专注于一个科学集群（LISA）内的SURF数据中心的操作。全球大流行可能已经改变了LISA集群的运作方式。为了理解这种变化，我们收集、组合和分析来自LISA集群的操作日志。收集属于非新冠病毒时期的数据的工具是在以前的研究中完成的。然而，无论是工具和仪器来组合和分析的痕迹是缺乏的。本研究的重点是设计一种仪器，可以结合和分析冠状病毒期间和之前的痕迹。该仪器还可以为通常选择的机架、节点和周期生成图形。此外，我们使用科学仪器和其他工具来表征属于冠状病毒时期的痕迹。这项研究的结果有助于我们了解荷兰科学集群（LISA）的运作在全球大流行后发生了怎样的变化。

2021-10-23cs.DC

无标度网络分簇算法及其在云资源管理中的应用

Clustering Algorithms for Scale-free Networks and Applications to Cloud Resource Management

在本文中，我们介绍了算法的无标度网络的建设和聚类周围的神经中心，节点具有高连通性的无标度网络。我们认为，这样的覆盖网络可以支持自组织在一个复杂的系统，如云计算基础设施，并允许实施最佳的资源管理策略。

2013-05-14cs.DC