Methods and Experiences for Developing Abstractions for Data-intensive, Scientific Applications
为需要集成各种类型的计算、仪器和数据的科学应用开发软件提出了与商业软件不同的挑战。这些应用程序需要规模,并需要将各种编程和计算模型与不断发展的异构基础设施集成在一起。因此,分布式基础设施的普遍和有效的抽象是至关重要的,然而,科学应用和基础设施的抽象开发过程并没有得到很好的理解。虽然基于理论的系统开发方法适用于定义良好的封闭环境,但它们在为科学系统和应用程序设计抽象方面有严重的局限性。设计科学研究(DSR)方法为设计能够在各个层面处理现实世界复杂性的实用系统提供了基础。与以理论为中心的方法相比,DSR通过构建和严格评估所有工件来强调实践相关性和知识创造。我们展示了DSR如何提供一个定义良好的框架,为分布式系统开发抽象和中间件系统。具体来说,我们解决的关键问题,分布式资源管理异构基础设施的动态范围内的规模,目前限制了许多科学应用的挑战。我们使用的试点抽象,广泛使用的资源管理抽象的高性能,高吞吐量,大数据和流应用程序,作为一个案例研究评估DSR活动。为此,我们分析了研究过程中产生的文物的设计和评估的试点抽象。我们发现DSR为迭代设计和评估系统提供了一个简洁的框架。最后,我们总结经验,总结不同的教训。
2020-03-25 cs.DC cs.SE
Admire framework: Distributed data mining on data grid platforms
在本文中,我们提出了ADMIRE架构,一个新的框架,开发新的和创新的数据采掘技术,以处理非常大的和分布式的异构数据集在商业和学术应用。主要的ADMIRE组件的详细说明,以及它的接口,使用户能够有效地开发和实现他们的数据采掘应用程序的网格平台上的技术,如Globus ToolKit,DGET等。
2017-03-28 cs.DC
Developing Distributed High-performance Computing Capabilities of an Open Science Platform for Robust Epidemic Analysis
针对疫情分析中计算能力差距,提出开放科学平台OSPREY,实现集成算法驱动的HPC工作流架构,支持可扩展容错任务执行、异步API和多语言方法,以提升流行病分析的稳健性。
2023-05-10 cs.DC
Visual Environment for Rapid Composition of Parameter-Sweep Applications for Distributed Processing on Global Grids
计算网格作为下一代并行和分布式计算的平台正在兴起。大规模的参数研究和参数扫描应用程序在网格中找到一个自然的位置?的分布模式。工作之间很少或根本没有沟通。并行化和分发现有应用程序的任务在概念上是微不足道的。参数研究的这些特性使其成为开始为快速支持网格的应用程序开发集成开发环境(IDE)的理想场所。然而,IDE的可用性,科学家网格使他们的应用程序,而不需要开发它们作为并行应用程序明确,仍然缺乏。本文介绍了一个基于Java的IDE称为可视化参数工具(VPT),开发的Gridbus项目的一部分,快速创建参数扫描(数据并行/SPMD)的应用程序。它支持参数脚本的自动创建和输入数据文件的参数化,这与Nimrod-G参数规约语言兼容。VPT的有用性证明了一个案例研究组成的分子对接应用程序作为一个参数扫描应用。这样的应用程序可以使用Nimrod/enFuzion系统部署在集群上,也可以使用Nimrod-G网格资源代理部署在全局网格上。
2003-02-06 cs.DC
Transparent hardware synthesis of Java for predictable large-scale distributed systems
JUNIPER项目正在开发一个用于构建大规模分布式系统的框架,在该框架中可以保证执行时间界限。这项工作的一部分涉及在FPGA上自动实现输入Java代码,以提高速度和可预测性。这项工作的一个重要重点是通过运行时协同设计和部分重新配置,使FPGA的使用透明。初步结果表明,使用Java不会妨碍硬件生成,并提供了严格的执行时间估计。本文介绍了一个概述所采取的方法,并提出了一些初步的结果,证明了承诺的技术。
2015-08-28 cs.DC
Enabling Interactive Mobile Simulations Through Distributed Reduced Models
目前,各种硬件和软件公司都在开发增强现实设备,最突出的是微软的Hololens。除了游戏之外,这些设备还可以用于严肃的普及应用,比如交互式移动模拟,以支持现场的工程师。交互式仿真对资源有很高的要求,单靠移动终端是无法满足的。因此,我们提出了一个框架来支持移动仿真之间的移动终端和一个远程服务器的基础上减少的基础方法分布的计算。评估表明,我们可以加快超过131倍的数值计算,而使用的能量少73倍。
2018-02-14 cs.DC cs.ET
Distributed Simulation Platform for Autonomous Driving
South China University of Technology(华南理工大学);PerceptIn;Baidu USA(百度美国)
自动驾驶汽车的安全性和可靠性是开发自动驾驶汽车的首要要求。这些要求通过大量的功能和性能测试来保证。在真实车辆上进行这些测试是非常昂贵和耗时的,因此必须开发一个仿真平台来执行这些任务。对于模拟,我们可以利用机器人操作系统(ROS)进行数据回放,以测试新开发的算法。然而,由于大量的仿真数据,在单机上执行仿真是不实际的。因此,一个高性能的分布式仿真平台是自动驾驶开发的关键。在本文中,我们提出了我们的经验,建立一个生产分布式自动驾驶仿真平台。该平台基于Spark分布式框架构建,用于分布式计算管理,基于ROS构建,用于数据回放仿真。
2017-05-31 cs.DC cs.RO
Simplified Distributed Programming with Micro Objects
开发大规模分布式应用程序可能是一项艰巨的任务。基于对象的环境试图通过提供看起来像本地对象的分布式对象来缓解问题。我们主张这种方法实际上只会使事情变得更糟,因为开发人员需要了解许多复杂的内部细节,以便充分处理部分故障。其结果是增加了应用程序的复杂性。我们提出了一种替代方案,其中分布的透明度减少有利于更清晰的语义。特别是,我们认为,开发人员应该始终提供本地对象的明确语义,并分发来自复制这些对象到需要的地方。我们声称,通常只提供小的、不可变的对象,以及将对象分组到集群中的设施就足够了。
2010-07-29 cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连,以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时,可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是,需要一个复杂的控制系统来协调各种组件。在这项工作中,我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么,然后提出了各种符合定义的量子算法。我们讨论了潜在的好处,并提出了一个高层次的计划控制系统。有了这个,我们提出了我们的软件框架称为Interlin-q,一个模拟平台,旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q,并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
Uncertainty Estimation in Multi-Agent Distributed Learning
Silicon Austria Labs(奥地利硅实验室)
本研究在KDT NEUROKIT2E项目框架下,针对6G网络中边缘智能体分布式协作学习场景,重点解决考虑数据时空局部性时对学习结果置信度的确定问题。
2023-11-22 cs.AI cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的,以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中,社会管理信息和信息服务。从历史上看,计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此,超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中,大规模的资源共享是计算的重点,其目标总是追求最佳性能。在本文中,我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks
UCL(伦敦大学学院)
从自然语言处理到基因组测序,大规模机器学习模型正在为广泛的领域带来进步。其中许多模型太大,无法在单台机器上训练,而是必须分布在多个设备上。这激发了能够处理这些任务的新的计算和网络系统的研究。特别是,最近的工作集中在开发管理计划,决定如何分配分布式资源,使一些整体目标,如最小化的作业完成时间(JCT),是最优化的。然而,这样的研究忽略了明确考虑多少工作应该分配,通常假设最大分配是可取的。在这项工作中,我们表明,最大的并行化是次优的用户关键指标,如吞吐量和阻塞率。为了解决这个问题,我们提出了PAC-ML(分区异步计算与机器学习)。PAC-ML利用图神经网络和强化学习来学习划分计算图的程度,以使满足任意用户定义的JCT要求的作业数量最大化。在最近提出的光学架构上的五个真实深度学习计算图的实验中,在四个用户定义的JCT需求分布中,我们证明了PAC-ML在动态作业到达设置中的阻塞率比大多数先前作品使用的规范最大并行化策略低56.2%。
2023-01-31 cs.DC cs.LG
Gossip Algorithms for Distributed Signal Processing
Gossip算法对于传感器网络中的网内处理是有吸引力的,因为它们不需要任何专门的路由,没有瓶颈或单点故障,并且它们对不可靠的无线网络条件具有鲁棒性。最近,在计算机科学、控制、信号处理和信息论社区中出现了一股热潮,开发更快、更鲁棒的流言算法,并获得理论性能保证。本文概述了该领域的最新工作。我们描述的收敛速度的结果,这是有关的传输消息的数量,从而在网络中消耗的能量八卦。我们讨论的问题,包括量化和噪声的影响,在无线链路上的流言,我们说明了使用规范的信号处理任务,包括分布式估计,源定位和压缩的流言算法。
2010-03-27 cs.DC cs.IT cs.NI
Robust-to-Noise Algorithms for Distributed Resource Allocation and Scheduling
本文针对噪声与扰动环境下的分布式资源分配和调度问题,提出基于符号动力学的抗噪声多智能体算法,并结合凸优化、控制理论与网络科学保证资源-需求平衡和约束可行性。
2023-11-30 cs.DC cs.SY eess.SP
Ensuring domain consistency in an adaptive framework with distributed topology for fluid flow simulations
顶级并行计算集群继续积累越来越多的计算能力,拥有更多更好的CPU和网络。这允许,特别是对于环境模拟,具有更大的域大小和更好的分辨率的计算。日益重要的挑战之一是分解和分配总体工作量。最先进的并行代码通常使用涉及域拓扑的完整知识的解决方案,这将导致在计算非常大的域时的通信和存储器瓶颈。为了迎接这一挑战,作者提出了一个新的策略,分散域管理,一个行之有效的分层数据结构的基础上。在开发一个框架的方式,其中个别子域只有当地的知识,他们的周围环境,这种贡献描述了用于确保一个一致的域的通信模式,而不需要昂贵的全球广播消息。此外,必要的例程,以处理自适应变化的域拓扑结构,由于细化,粗化和迁移的子域到不同的计算资源,进行了详细讨论。
2018-07-01 cs.DC
Distributed Computation of Sparse Cuts
寻找稀疏割是分析大规模分布式网络(如Internet和Peer-to-Peer网络)以及大规模图(如Web图、在线社交社区和VLSI电路)的重要工具。在分布式通信网络中,它们对于拓扑维护和设计更好的搜索和路由算法是有用的。在本文中,我们专注于开发快速分布式算法计算稀疏削减网络。给定一个电导为$ϕ$的无向$n$ -节点网络$G$,目标是找到电导接近$ϕ$的割集。我们提出了两个分布式算法,找到一个稀疏的割集$\tilde O(\sqrtϕ)$($\tilde{O}$隐藏$\polylog{n}$因素)。我们的两个算法都工作在CONGEST分布式计算模型中,并且在$\tilde O(\sqrtϕ)$轮中以最高概率输出电导的切割,其中$b$是给定电导的切割的平衡。特别是,要找到一个稀疏的削减恒定的平衡,我们的算法采取$\tilde O(\frac{1}ϕ + n)$轮。我们的算法还可以用于输出{ \em本地}集群,即,给定源节点附近的顶点子集,其电导在指定节点周围的最佳可能群集的二次因子内。我们的分布式算法都可以在不知道最佳$ϕ$值的情况下工作,因此可以用于找到全局和相对于给定源节点的近似电导值。我们还给出了一个下界的时间为任何分布式算法计算任何非平凡稀疏割-任何分布式近似算法(对于任何非平凡的近似比)计算稀疏割将采取$\tilde Ω(\sqrt{n} + D)$轮,其中$D$是直径的图…
2013-10-21 cs.DC cs.DS
Distributed Cross-Layer Optimization in Wireless Networks: A Second-Order Approach
针对无线网络中分布式跨层优化收敛慢的问题,提出基于牛顿法的二阶算法,通过推导闭式Hessian逆和分布式迭代矩阵分裂方案,实现二次收敛速率。
2013-02-16 cs.DC cs.IT cs.NI