The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的,以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中,社会管理信息和信息服务。从历史上看,计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此,超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中,大规模的资源共享是计算的重点,其目标总是追求最佳性能。在本文中,我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
Design of Distributed Reconfigurable Robotics Systems with ReconROS
Paderborn University(帕德博恩大学)
机器人应用程序实时处理大量数据,需要提供高性能和高能效的计算平台。FPGA非常适合这些应用中的许多应用,但由于设计复杂性增加以及缺乏跨软件/硬件边界的一致编程模型,机器人社区不愿意使用硬件加速。在本文中,我们提出了ReconROS,一个框架,集成了广泛使用的机器人操作系统(ROS)与ReconOS,其特点是多线程编程的硬件和软件线程的可重构计算机。这种独特的组合使ROS 2开发人员能够灵活地在硬件中透明地加速其机器人应用程序的部分。我们详细阐述了ReconROS的架构和设计流程,并报告了一组实验,强调了我们的方法的可行性和灵活性。
2021-10-28 cs.DC cs.RO
Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法,并指出关键挑战与未来方向。
2025-01-26 cs.DC
Analytical Study of Object Components for Distributed and Ubiquitous Computing Environment
分布式对象计算是一种范例,它允许对象分布在异构网络上,并允许每个组件作为一个统一的整体进行互操作。新一代的分布式应用,如远程医疗和电子商务应用,正在部署在异构和无处不在的计算环境。本文的目的是探讨一种基于构件的服务在普适计算环境中的适用性。虽然各种分布式对象组件的基本结构是相似的,但存在差异,这些差异可能会深刻影响应用程序开发人员或分布式仿真练习的管理员,并在普适计算环境中实现。
2011-02-17 cs.DC
Stone Age Distributed Computing
传统的分布式计算模型主要集中在类似计算机的设备网络上,这些设备可以与它们的邻居交换大量消息并执行任意的本地计算。近来,存在将分布式计算方法应用于子微处理器设备的网络的趋势,例如,生物细胞网络或纳米器件网络。然而,传统的分布式计算模型对这些类型的网络的适用性是值得怀疑的:微小的生物/纳米节点“计算”和/或“通信”本质上与计算机相同吗?在本文中,我们介绍了一个新的模型,描述了一个网络的随机有限状态机在异步环境中运行。虽然在新的模型中的每个单独的设备的计算和通信能力,通过设计,比计算机弱得多,我们表明,一些最重要的和广泛研究的分布式计算问题仍然可以有效地解决。
2012-04-05 cs.DC
Agreement Functions for Distributed Computing Models
本文提出了一个令人惊讶的简单表征的一大类模型的分布式计算,通过一个协议功能:对于每一组的进程,功能确定的最佳水平的设置共识,这些进程可以达到。我们表明,任务的可计算性的一大类公平的对手,其中包括,特别是超集封闭和对称的,是精确捕获的协议功能。
2017-03-10 cs.DC
HTC Scientific Computing in a Distributed Cloud Environment
本文介绍了使用分布式云计算系统的高吞吐量计算(HTC)的科学应用。分布式云计算系统由在统一基础设施中使用的多个单独的云结构即服务(IaaS)云组成。分布式云已经在生产质量运行了两年,完成了大约500,000个作业,其中典型的工作负载有500个同时并行的作业,运行时间大约为12小时。我们审查的设计和实施的系统是基于预先存在的组件和一些自定义组件。我们讨论了该系统的操作,并描述了我们的计划扩展到更多的网站和增加计算能力。
2013-02-08 cs.DC
On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems
近年来,编码分布式计算(CDC)由于能够有效地解决分布式计算系统中的延迟敏感计算问题而受到广泛关注。尽管有这样一个突出的特点,许多设计的挑战和机遇仍然存在。本文针对具有异构计算资源的实际计算系统,设计了一种新的基于批处理的编码计算(BPCC)方法。为此,我们首先描述了BPCC框架的主要思想,然后制定一个优化问题BPCC,以最大限度地减少任务完成时间,通过配置计算负载。通过正式的理论分析,广泛的仿真研究,并在亚马逊EC2计算集群上进行全面的真实实验,我们证明了所提出的BPCC方案在高计算效率和对不确定干扰的鲁棒性方面具有良好的性能。
2021-07-09 cs.DC
Distributed-Something: scripts to leverage AWS storage and computing for distributed workflows at scale
Distributed-Something 是一套开源脚本,利用 AWS 按需计算与存储协调任意 Docker 化工作流,突破本地资源限制实现大规模运行,并提供多个生物成像工具实现。
2023-01-24 cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年,互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后,它开始了并行计算之旅。在目前的情况下,它创造了一个新的世界,被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案,如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍,并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障,并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作,并涵盖(分析),在一定程度上,一些创新的想法,可以实施。
2013-08-08 cs.DC
Combinatorial BLAS 2.0: Scaling combinatorial algorithms on distributed-memory systems
组合算法,如那些出现在图分析,离散系统建模,生物信息学和化学,往往很难并行化。组合BLAS库实现了关键的计算原语,用于在分布式内存系统中快速开发组合算法。自首次引入以来的十年中,组合BLAS库已经发展并显着扩展。本文详细介绍了Combinatorial BLAS 2.0版本的许多关键技术特性,如通信避免、通过节点内多线程实现的层次并行、通过GPU内核实现的加速器支持、广义半环支持、关键数据结构和函数的实现以及用于人类可读文件的可扩展分布式I/O操作。本文还介绍了在各种常见的应用场景下,在组合BLAS 2.0中选择正确的数据结构和函数的几条经验法则。
2021-06-28 cs.DC cs.DM cs.PF
A Survey of Coded Distributed Computing
分布式计算由于具有高可靠性、可扩展性、计算速度和成本效益等优点,已经成为大规模任务计算的常用方法。然而,分布式计算面临着与通信负载和离散效应相关的关键问题。特别地,计算节点需要彼此交换中间结果以便计算最终结果,并且这显著增加了通信开销。此外,分布式计算网络可以包括间歇性地运行得更慢的离散节点。这导致执行计算任务所需的总时间更长,从而限制了分布式计算的性能。为了解决这些问题,编码的分布式计算(CDC),即,编码理论技术和分布式计算的组合最近已被提出作为有希望的解决方案。编码理论技术已经证明在WiFi和蜂窝系统中有效地处理信道噪声。因此,CDC可以显著降低通信负载,减轻掉队者的影响,提供容错性、隐私性和安全性。在本调查中,我们首先介绍CDC的基本原理,然后是基本的CDC方案。然后,我们回顾和分析了一些CDC的方法,提出了减少通信成本,减轻掉队的影响,并保证隐私和安全。此外,我们提出并讨论了CDC在现代计算机网络中的应用。最后,我们强调了与疾病预防控制相关的重要挑战和有前途的研究方向
2020-08-20 cs.DC
Occupy the Cloud: Distributed Computing for the 99%
尽管有许多开放源代码平台和广泛的商业产品,但分布式计算仍然无法为大量用户所用。虽然分布式计算框架已经超越了简单的映射-缩减模型,但许多用户仍然需要使用复杂的集群管理和配置工具,即使是运行简单的并行作业。我们认为,无状态功能为这些用户提供了一个可行的平台,消除了集群管理开销,实现了弹性的承诺。此外,使用我们的原型实现,PyWren,我们表明,该模型是通用的,足以实现一些分布式计算模型,如BSP,有效。从最近的网络带宽和分散存储的出现趋势推断,我们认为,无状态函数是一个自然适合在未来的计算环境中的数据处理。
2017-06-07 cs.DC
A Distributed Economics-based Infrastructure for Utility Computing
效用计算的现有尝试围绕两种方法。第一种是专有解决方案,涉及在专用实用计算机器上租用时间。第二种需要使用庞大的、难以部署、维护和使用的单一应用程序。我们提出了一个分布式的,面向社区的效用计算方法。我们的方法提供了一个基于Web服务的基础设施,其中模块化组件相结合,创建一个看似简单,但功能强大的系统。面向社区的性质产生了一个经济环境,导致消费者和计算周期提供者之间的公平交易,同时鼓励计算网格本身的基础设施的改进。
2004-12-31 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题,提出结合高性能计算、大数据与共享存储的架构,并通过实验验证其适用性。
2023-12-29 cs.DC
A Dynamic Distributed Scheduler for Computing on the Edge
本文提出一种持续感知边缘计算环境状态的动态分布式调度器,通过实时调度异构任务以满足延迟、隐私等应用约束,并在真实AI应用评估中优于现有方法。
2023-08-13 cs.DC
Optimal Resource Scheduling and Allocation in Distributed Computing Systems
分布式计算系统的本质是如何调度传入的请求以及如何分配所有计算节点以最小化时间和计算成本。在本文中,我们提出了一个成本意识的最优调度和分配策略的分布式计算系统,同时最小化的成本函数,包括响应时间和服务成本。首先,基于所提出的代价函数,我们同时推导出最优请求调度策略和最优资源分配策略。其次,考虑到请求到达对调度策略的影响,采用加性增乘性减(AIMD)机制对请求到达与调度之间的关系进行建模。特别是,AIMD参数可以设计为使得导出的最佳策略仍然有效。最后,给出了一个数值例子来说明推导的结果。
2021-10-15 cs.DC
Privacy-Preserving Coding Schemes for Multi-Access Distributed Computing Models
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出了一种多接入分布式计算模型中的隐私保护编码方案,通过构建新的扩展放置交付数组家族,保障每个reducer分配函数的隐私。
2026-02-08 cs.DC
A Novel Distributed Database Architectural Model for Mobile Cloud Computing
云计算是我们连接到服务器的方式,大型系统以分布式安全的方式,而无需担心本地内存限制。提出了一种面向移动云计算的新型分布式数据库体系结构模型(NDDAMMCC)。由于遵循尼尔森互联网带宽定律的无线技术和互联网的指数级增长,我们正处于云计算的新时代。在最近的技术时代,智能移动设备在各种日常人类需求中发挥着重要作用。适用性是如此巨大,移动系统上安装的应用程序的数量成为一个危险,由于本地内存限制的手机用户,并要求一种替代方法来解决这个本地内存问题。移动云计算(MCC)是解决这一问题的最终方案,我们的模型为这种新型的云计算技术提供了一条有前途的道路。
2022-02-21 cs.DC
Triangular Dynamic Architecture for Distributed Computing in a LAN Environment
一个计算密集型的大型作业,粒度并发件和在动态环境中运行,应该减少总的处理时间。然而,在网络环境中分配作业是一项繁琐而困难的任务。基于三角动态体系结构的局域网作业分配是一种建立动态环境的机制,它以最少的用户交互为作业分配、负载均衡和分布式处理提供一个动态环境。本文介绍了TDA,讨论了它的体系结构,并显示了在分布式计算环境中利用这种体系结构所获得的好处。
2011-03-29 cs.DC
When Cars Meet Distributed Computing: Data Storage as an Example
由于汽车无处不在,它们可以在下一代通信和计算框架中发挥重要作用。在过去的几年中,车辆到车辆通信和车辆到基础设施通信的发展向前迈出了巨大的步伐,因此为我们提供了在配备计算能力的汽车上构建“移动计算服务”的工具。最近,几组研究人员独立提出了实现这一概念的“车辆云”的设计。在本文中,我们介绍了一个新的范例的车辆云,其次是一个案例研究的数据存储在建议的云。最后,我们提出了几个挑战和机遇,在交通工具云和分布式计算的交集。
2017-11-06 cs.DC
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University(暨南大学网络空间安全学院);Department of Electrical and Computer Engineering, Western University(韦仕敦大学电气与计算机工程系);School of Computer Science, Guangzhou University(广州大学计算机科学与工程学院)
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法,用于优化分布式边缘网络中的协作计算任务,提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
Distributed Load Orchestration for Vision Computing in Multi-Access Edge Computing
针对5G-MEC校园视频监控在高峰期的节点过载问题,提出基于负载均衡队列组织与截止期限感知优先级的分布式编排策略,并通过仿真验证其可减少转介并改善期限满足率。
2022-12-07 cs.DC
Handoff-Aware Distributed Computing in High Altitude Platform Station (HAPS)-Assisted Vehicular Networks
针对车联网中边缘切换导致计算中断及资源短缺问题,提出含HAPS的分布式计算自适应方案,通过任务拆分同步计算与切换前完成约束,结合优化算法实现时延降低与稳定。
2023-05-07 cs.DC
An Explorative Study on Distributed Computing Techniques in Training and Inference of Large Language Models
本文探索了分布式计算技术在大型语言模型训练与推理中的应用,研究了在消费级计算机上运行大模型的技术并提出基于元启发式的系统改进,同时对三种最先进的LLM服务技术进行了比较研究。
2025-10-13 cs.DC
A Workflow-Forecast Approach To The Task Scheduling Problem In Distributed Computing Systems
本文的目的是为学术目的的高性能计算系统提供基于深度学习的调度方法的描述。在TOP500超级计算机站点中,学术用途的分布式计算系统(DCS)的份额达到17.4个百分点(性能指标为15.6个百分点),使其成为一个有价值的研究对象。该方法的核心是利用深度学习算法,根据先前提交的任务预测系统未来的工作流程。资源管理系统(RMS)使用预测任务的信息来执行有效的调度。
2013-10-06 cs.DC
HEP@Home - A distributed computing system based on BOINC
在过去的几年里,SETI@HOME项目被证明是分布式计算最大的成功之一。SETI通过一种非常简单的方法,利用大量分布式计算机处理大量数据。为了扩展这种分布式计算工具的通用性,BOINC正在开发中。在本文中,我们提出了HEP@HOME,一个BOINC版本的高能物理(HEP)社区的特定要求量身定制。HEP@HOME将能够使用几乎无限的计算能力处理大量数据,就像BOINC一样,它应该能够根据HEP规范工作。在HEP中,要分析或重建的数据量是至关重要的。因此,该工具的设计原则之一是避免数据传输。这将使科学家能够运行他们的分析应用程序,并利用大量的CPU。该工具还满足了HEP中的其他重要要求,即安全性、容错性和监控。
2004-10-07 cs.DC
Distributed-memory Algorithms for Sparse Matrix Permutation, Extraction, and Assignment
本文提出基于识别-交换-构建策略的分布式内存算法,用于稀疏矩阵置换、提取和分配,通过减少通信和采用无同步多线程计算,在性能上优于CombBLAS和PETSc等现有库。
2025-09-25 cs.DC cs.MS
Jointly Optimize Coding and Node Selection for Distributed Computing over Wireless Edge Networks
本文的研究目标是联合优化编码和节点选择,以最小化无线边缘网络上分布式计算任务的处理时间。由于联合优化问题的制定是NP难和非线性的,我们利用其决策变量的离散特性转换成一个等价的线性制定的问题。这种线性化可以保证找到最优解,并大大降低了问题的复杂性。基于真实世界数据集的仿真结果表明,该方法可以减少总的处理时间高达2.3倍,与国家的最先进的方法相比。
2021-06-10 cs.DC
Data Grid Concepts for Data Security in Distributed Computing
数据网格是一种将大量数据和计算资源集成到单个虚拟数据管理系统中的分布式计算体系结构。它能够共享和协调使用来自各种资源的数据,并提供各种服务,以满足高性能分布式和数据密集型计算的需求。本文研究了数据网格中的数据划分和动态复制问题。其中系统的安全性和访问性能是有效的。数据网格有几个重要的需求,包括信息的可生存性、安全性和访问性能。更具体地说,调查的问题是敏感数据对象的最优分配,使用秘密共享方案或擦除编码方案划分和复制。数据分区(DATA PARTITIONING)是指可以将单个数据划分为多个对象。复制被称为共享信息的过程。在多个系统中存储相同的数据。复制技术经常用于提高数据可用性。单点故障不会影响该系统。在那里数据将得到保护。
2013-08-28 cs.DC
GRAPLEr: A Distributed Collaborative Environment for Lake Ecosystem Modeling that Integrates Overlay Networks, High-throughput Computing, and Web Services
GLEON研究和PRAGMA湖探险- GRAPLE -是计算机科学和湖泊生态学研究人员之间的合作努力。它旨在提高我们对淡水资源水质威胁的理解和预测能力,包括气候变化。本文介绍了GRAPLEr,一个分布式计算系统,用于解决GRAPLE研究人员的建模需求。GRAPLEr以一种新颖的方式集成和应用了覆盖虚拟网络、高吞吐量计算和Web服务技术。首先,其用户级IP-over-P2P(IPOP)覆盖网络允许将分布在独立管理的机构(包括私有云和公共云)中的计算和存储资源聚合到一个公共虚拟网络中,尽管存在防火墙和网络地址转换器。第二,由IPOP虚拟网络聚合的资源运行未经修改的高吞吐量计算中间件(HTCondor),以使大量模型仿真能够跨分布式计算资源并发执行。第三,Web服务接口允许最终用户使用与R统计计算环境集成的客户端库向系统提交作业请求。本文介绍了GRAPLEr架构,描述了它的实现,并报告了它在三个云基础设施(佛罗里达大学,CloudLab和Microsoft Azure)上批量进行通用湖模型(GLM)模拟的性能。
2015-09-29 cs.DC
From Distributed Quantum Computing to Quantum Internet Computing: an Overview
量子计算的可能性在几十年前就被提出了,至少可以追溯到20世纪80年代,分布式量子计算在大约20年前就被研究过。最近,量子计算机硬件和量子网络在实验上取得了成功和进步,导致了量子互联网。本文概述了二十多年前分布式量子计算的概念和思想,以及最近在该领域的努力,并考虑随着量子互联网的发展,分布式量子计算如何演变为量子互联网计算。
2022-08-24 cs.DC cs.ET
Parallel Breadth-First Search on Distributed Memory Systems
数据密集型的、基于图的计算在一些科学应用中是普遍存在的,并且已知在分布式存储系统上实现是相当具有挑战性的。在这项工作中,我们探讨了设计空间的并行算法的宽度优先搜索(BFS),在几个图形算法的关键子程序。我们提出了两个高度调整的BFS在大型并行系统上的并行方法:一个水平同步策略,依赖于一个简单的基于顶点的分区的图形,和一个二维稀疏矩阵分区为基础的方法,减轻并行通信开销。对于这两种方法,我们还提出了与节点内多线程的混合版本。我们的新的混合二维算法减少了通信时间的3.5倍,相对于一个共同的顶点为基础的方法。我们的实验研究确定执行制度,这些方法将是有竞争力的,我们表现出极高的性能领先的分布式内存并行系统。例如,对于基于AMD Magny-Cours的系统Hopper上的40,000个核心并行执行,我们在具有43亿个顶点和687亿条边的无向图上实现了每秒178亿次边访问的BFS性能速率,其中边具有偏斜度分布。
2011-10-14 cs.DC cs.MS cs.PF
SoK: Distributed Computing in ICN
本文系统综述了ICN中分布式计算的设计原则、框架、协议、使能技术与应用,分析传统分布式计算的痛点及ICN优势,并展望未来研究方向。
2023-09-16 cs.DC cs.NI
The Rise of Quantum Internet Computing
本文强调量子互联网计算是指量子互联网上的分布式量子计算,类似于(经典)互联网计算,涉及(经典)互联网上的(经典)分布式计算。与量子互联网计算相关的研究领域包括使用量子信息进行计算的分布式节点的量子协议、量子云计算、委托可验证的盲计算或私有计算、非本地门以及互联网规模距离上的分布式量子应用。
2022-08-01 cs.DC cs.ET
The Distributed Computing Model Based on The Capabilities of The Internet
论文从理论和实践两个方面介绍了所提出的利用分布式计算进行全球网络互联网通信的模型。分布式计算被广泛应用于现代解决方案中,如研究,其中要求非常高的处理能力,这不能放在一个集中的点。提出的解决方案是基于开放的技术和计算机来执行主要由互联网用户谁是志愿者提供的计算。
2012-10-04 cs.DC cs.NI
Distributed Computing Economics
计算机经济正在发生变化。今天,(1)一次数据库访问,(2)10字节的网络流量,(3)100,000条指令,(4)10字节的磁盘存储,(5)一兆字节的磁盘带宽之间的价格大致相当。这对如何构建互联网规模的分布式计算有影响:为了避免昂贵的网络流量,计算尽可能接近数据。
2004-03-12 cs.DC cs.NI
On Distributed Quantum Computing with Distributed Fan-Out Operations
School of Information Technology, Deakin University(迪肯大学信息技术学院)
本文提出通过分布式扇出操作实现分布式量子计算,以减少电路深度和纠缠资源消耗。
2026-01-21 cs.DC quant-ph
A Multi-Layered Distributed Computing Framework for Enhanced Edge Computing
本文提出一种基于分层网络结构的多层分布式计算框架,将资源共享扩展到一跳邻域之外,并通过精确方法与启发式策略优化任务分配和调度,显著提升边缘计算性能。
2024-10-08 cs.DC cs.NI
Descriptive complexity for distributed computing with circuits
我们认为分布式算法在现实的情况下,分布式消息传递是通过电路操作。我们表明,在这种情况下,模态替换演算MSC捕获电路的表达能力。电路和MSC程序之间的转换在两个方向上都是线性的。此外,我们表明,基于Cole-Vishkin的着色算法可以指定通过对数大小的程序。
2023-03-08 cs.DC cs.LO
Atomicity in Distributed Quantum Computing
本文发起对分布式量子计算中原子性的研究,建立非原子分布式量子系统形式化模型,基于Dijkstra-Lamport条件定义系统与可观测动力学,并证明局部动作在可观测动力学层面可视为原子。
2024-04-29 cs.DC quant-ph
A Periodic Space of Distributed Computing: Vision & Framework
University of North Texas(北德克萨斯大学);The University of Melbourne(墨尔本大学);Argonne National Laboratory(阿贡国家实验室);Cardiff University(卡迪夫大学);University at Buffalo(布法罗大学);Tor Vergata University of Rome(罗马第二大学)
本文提出周期框架以系统描述分布式计算特性,探讨未来智能系统需求下的演进方向,总结关键系统属性模式及未来趋势预测。
2026-04-14 cs.DC cs.OS
Constant Space and Non-Constant Time in Distributed Computing
虽然时间和空间的关系在传统的集中式复杂性理论中是一个既定的主题,但在分布式计算中并非如此。我们的目标是通过研究分布式计算的弱消息传递模型中算法的时间和空间复杂度来弥补这一点。虽然恒定数量的通信轮意味着在执行期间访问的状态数量恒定,但另一个方向根本不清楚。我们考虑几个图形的家庭,并表明,确实存在非平凡的图形问题,是可解决的恒定空间的算法,但需要一个非恒定的运行时间。这为分布式计算提供了一个新的复杂性类,并提出了关于时间和空间复杂度进一步组合的有趣问题。
2017-05-10 cs.CC cs.DC
Distributed Computing for Localized and Multilayer Visualizations
本文的目的是开发一种从分布式计算中受益的可视化方法。三种方案的进程分布被认为是:并行,管道和扩展管道计算。扩展流水线结构综合了并行计算和流水线计算的优点和特点。在扩展流水线计算中,本文提出了一种新的方法,多个进程在并行和打结的处理器流水线中并行开发。将流水线计算扩展为计算过程的理论基础是交替图灵机、分子计算和E机。扩展流水线计算构成了传统流水线体系结构的发展,旨在利用算法中存在的隐式并行结构。这样的结构出现在各种可视化中。图像导出和处理是为利用分布式计算的优点提供各种机会的领域。与分布式体系结构最相关的是分层可视化,其两种情况是基于数据本地化和层分离。可视化在这里被视为模拟的一个特殊情况。本文提出的分布式计算的概念方法已应用于计算机支持系统的可视化,该系统用于放射学,即用于脑动脉瘤的无创治疗。
2001-11-09 cs.DC cs.DS
A Multi-Agent System Approach to Load-Balancing and Resource Allocation for Distributed Computing
在这项研究中,我们使用一个分散的计算方法来分配和调度任务的大规模分布式网格。该算法利用多智能体系统的涌现特性,动态地创建和分离集群,以满足全局任务队列不断变化的资源需求。该算法相比,一个标准的先进先出(FIFO)调度算法。仿真实验表明,分布式资源分配协议(dRAP)算法在队列清空时间、平均等待时间和CPU利用率等方面优于FIFO调度算法。这种分散式计算方法有望用于大规模分布式处理场景,如SETI@home和Google MapReduce。
2015-09-21 cs.DC cs.NE
Introduction to Distributed Systems
自从第一台计算机诞生以来,计算已经经历了许多转变。技术的发展导致了快速和廉价的处理器的可用性,并且通信技术的进步导致了利润丰厚和高度熟练的计算机网络的可用性。其中,集中式网络有一个组件一直由用户共享。所有的资源都是可访问的,但是有一个控制点和一个故障点。20世纪70年代末,计算机技术和网络技术的结合产生了一种新的计算模式,称为分布式计算。分布式计算改变了计算的面貌,为不同领域的各种复杂问题提供了快速而精确的解决方案。如今,我们完全被信息时代所吸引,并且花费更多的时间通过互联网进行交流和收集信息。互联网不断地沿着几个量级发展,越来越多的终端系统以越来越多的不同方式进行通信。多年来,已经发展了几种方法来实现这些发展,从简单的数据共享到支持多种服务的高级系统。本文概述了分布式计算系统。本文首先讨论了分布式系统的定义、体系结构、特点以及各种分布式计算谬误。最后,讨论了客户机/服务器计算,万维网和分布式系统的类型。
2009-11-23 cs.DC cs.NI
New Lower Bounds for van der Waerden Numbers Using Distributed Computing
本文利用Rabung方法给出了vanderWaerden数的新的下界,该方法基于模某个素数的离散对数着色.通过一个分布式计算项目,500名志愿者在一年多的时间里,我们检查了多达9.5亿个素数,而之前的工作是2700万个。我们指出,$r$颜色和级数长度$k$的范德瓦尔登数大约是$r^k$的证据。
2022-11-20 cs.DC math.CO
Report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures
这是Snowmass 2013年计算前沿工作组关于分布式计算和设施结构的报告。
2013-11-09 cs.DC hep-ex hep-lat
HAlign-II: efficient ultra-large multiple sequence alignment and phylogenetic tree reconstruction with distributed and parallel computing
多序列比对(MSA)在生物序列分析,特别是系统发育树的构建中起着关键作用。下一代测序的急剧增加导致缺乏有效的超大型生物序列比对方法来应对不同的序列类型。分布式和并行计算是加速超大型序列分析的关键技术。基于HAlign和Spark分布式计算系统,我们实现了一个高性价比和高时效的HAAlign-II工具,用于解决超大规模多生物序列比对和系统发育树构建问题。实验结果表明:1)HAlign-II能够高效地进行MSA,构建超大生物序列的系统发生树; 2)HAlign-II具有极高的内存效率,并能随着计算资源的增加而扩展; 3)HAlign-II提供了一个基于我们的分布式计算架构的用户友好的Web服务器。在http://lab.malab.cn/soft/halign上建立了具有开放源代码和数据集的HAlign-II。
2017-04-04 cs.DC q-bio.QM
A Trust-Based Approach for Volunteer-Based Distributed Computing in the Context of Biological Simulation
随着模拟复杂的生物过程对现代医学变得越来越重要,需要新的方法来计算这些日益具有挑战性的数据。本文分析了目前应用最广泛的基于志愿者的分布式计算系统folding@home,并在此基础上提出了一种基于信任的分布式计算方法,分析了其优缺点。这种方法使用受信任的社区,这些社区是所有可用客户端的子集,它们相互信任。使用这样的TC,系统变得更加有机,并更好地响应恶意或故障客户端。
2021-01-31 cs.DC q-bio.QM
Delay-Optimal Distributed Edge Computing in Wireless Edge Networks
分布式边缘计算(DEC)通过将边缘计算与并行计算相结合,利用边缘网络中的分布式设备并行执行计算,可以大幅降低服务延迟。在本文中,我们探讨DEC,利用分布式边缘设备连接的无线网络来执行计算任务卸载从终端设备。特别是,我们研究的基本问题,最大限度地减少执行分布式算法的计算任务的延迟。首先,我们建立了一些最优通信调度策略的结构特性。然后,给出了这些属性,我们的最优计算分配策略,它可以找到一个有效的算法。其次,基于最优计算分配,我们描述了一些特殊情况下的通信的最优调度顺序,并开发了一个有效的算法与有限的逼近比,以找到它的一般情况。最后,基于最优的计算分配和通信调度,我们进一步证明了在某些特殊情况下,可以有效地找到最优的设备选择。我们的研究结果提供了一些有用的见解,最佳的计算通信协同设计。我们使用模拟的理论研究结果的性能进行评估。
2020-02-07 cs.DC cs.NI
Towards Distributed Petascale Computing
在本章中,我们将论证,研究这样的多尺度多科学系统会产生固有的混合模型,其中包含许多不同的算法,这些算法最好由不同类型的计算环境(从大规模并行计算机,通过大型专用机器到PC集群)提供服务,其总集成计算能力可以很容易地达到PFlop/s规模。这样的混合模型,结合到目前为止模型“馈送”的数据的固有分布式性质,建议分布式计算模型,其中多尺度多科学模型的部分在最合适的计算环境中执行,和/或其中计算在接近所需数据的地方进行(即,将计算带到数据而不是相反)。我们提出了一个估计的计算要求,模拟银河系作为一个典型的例子,多尺度多物理场应用程序,需要分布式Petaflop/s的计算能力。
2007-03-19 astro-ph cs.DC
Distributed Computing From First Principles
本书从第一原理出发,为不同背景的读者提供了分布式计算的基础算法实现和教育指南。
2025-11-25 cs.DC cs.DS cs.SE
PPF - A Parallel Particle Filtering Library
提出了一种并行粒子滤波(PPF)软件库,该软件库结合消息传递接口(MPI)和多线程技术,实现了粒子滤波(PF)算法的共享/分布式并行化。该库是用Java实现的,并依赖于OpenMPI的Java绑定进行进程间通信。它包括动态负载均衡,多线程平衡,以及PF的几个算法改进,如输入空间域分解。PPF库隐藏了PF算法高效并行编程的困难,并为应用程序开发人员提供了并行实现PF方法所需的工具。我们证明了PPF库的能力,使用两种分布式PF算法在两种情况下,不同数量的粒子。PPF库在192个核心上运行3800万个粒子问题,对应超过1.86 GB的粒子数据,并行效率为67%。据我们所知,PPF库是第一个为PF应用程序提供并行框架的开源软件。
2014-04-04 cs.DC stat.CO