A Survey on Parallel Genetic Algorithms for Shop Scheduling Problems
已有大量的工作处理遗传算法(GAs)寻求车间调度问题的最优解。由于NP硬度,时间成本总是很重。近几十年来,随着高性能计算技术的发展,并行遗传算法在车间调度问题中的应用越来越受到人们的关注。在本文中,我们提出了国家的艺术与最近的工作解决车间调度问题,使用并行遗传算法。通过对并行遗传算法的分类,展示了该领域最具代表性的出版物,并分析了它们基于框架的设计。
2019-04-08 cs.DC
RLX: A Unified Multi-Backend Tensor Compiler and Distributed Runtime in Rust
Massachusetts Institute of Technology(麻省理工学院)
RLX用单一Rust代码库统一编译与运行时,通过三级IR和透明分派支持14种设备及多种格式,在基准测试中实现最快推理与最高训练吞吐,并保持精度一致。
2026-09-30 cs.AI cs.DC
A Survey of Fault-Tolerance and Fault-Recovery Techniques in Parallel Systems
今天的超级计算系统通常以大量商品系统的形式连接在一起成为计算集群。这些系统,像任何分布式系统一样,可以有大量的独立硬件组件在计算上进行协作或合作。不幸的是,这些数量庞大的组件中的任何一个都可能在任何时候发生故障,从而导致潜在的错误输出。为了提高超级计算应用程序在故障情况下的鲁棒性,已经开发了许多技术来提供对这些类型的系统故障的弹性。本调查提供了这些不同的容错技术的概述。
2005-01-01 cs.DC
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近,极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现,旨在不仅提供一个全面的介绍该领域的发展,但也提供了未来的研究方向,突出的问题,需要进一步发展。
2014-09-09 cs.DC cs.IR
Parallelism, Concurrency and Distribution in Constraint Handling Rules: A Survey
约束处理规则是一种有效的并发声明式程序设计语言,也是一种通用的计算逻辑形式。可编程逻辑程序由转换多组约束的保护反应规则组成。XML的主要特性之一是其固有的并发性。直观地说,规则可以并行地应用于多重集的各个部分。在这个全面的调查中,我们给出了并发和并行以及分布式语义的概述,标准的和更奇特的,多年来已经提出了在不同层次的细化。这些语义的范围从抽象到具体。它们是由正式的健全性结果。它们的正确性建立在并行计算和顺序计算之间的对应关系上。我们提出了共同的简洁的示例编程,已被广泛用于实验和基准测试。我们审查并行可编程逻辑器件在软件和硬件中的实现。实验结果表明,一致的并行加速比。大多数实现都可以在线获得。并行形式主义也可以用来实现和推理并发模型。为此,软件事务模型,Actor模型,有色Petri网和Join-Calculus已经忠实地编码在CHR中。在逻辑编程理论与实践(TPLP)中考虑。
2018-04-06 cs.DC cs.PL
Parallel Programming Models for Heterogeneous Many-Cores : A Survey
异构多核现在是从嵌入式系统到超级计算机的现代计算系统的组成部分。虽然异构众核设计提供了高能效高性能的潜力,但只有当应用程序适当并行并且可以匹配底层异构平台时,这种潜力才能被释放。在这篇文章中,我们提供了一个全面的调查异构众核架构的并行编程模型,并审查编译技术,提高可编程性和可移植性。我们研究了各种软件优化技术,以最大限度地减少异构计算设备之间的通信开销。我们为各种不同的研究领域提供了路线图。最后,我们对该领域的开放问题和潜在的研究方向进行了讨论。这篇文章既提供了对快速发展的异构编程领域的一个容易理解的介绍,也提供了其主要成就的详细参考书目。
2020-05-05 cs.DC cs.PL
Parallel I/O Characterization and Optimization on Large-Scale HPC Systems: A 360-Degree Survey
本文调研了131篇论文,以分类法形式系统综述了大规模HPC系统并行I/O表征、分析与优化方法,旨在为提升HPC应用I/O性能提供参考资源。
2024-12-31 cs.DC cs.PF
A Survey and Empirical Evaluation of Parallel Deep Learning Frameworks
University of Maryland(马里兰大学)
深度学习领域已经见证了向计算和内存密集型神经网络的显著转变。这些更新的更大的模型使研究人员能够在各个领域推进最先进的工具。这种现象已经刺激了用于在大量硬件加速器上分布式训练神经网络的算法的发展。在本文中,我们讨论并比较了当前最先进的大规模分布式深度学习框架。首先,我们调查了分布式学习的当前实践,并确定了使用的不同类型的并行。然后,我们提出了实证结果比较他们的表现在大图像和语言训练任务。此外,我们解决他们的统计效率和内存消耗行为。根据我们的研究结果,我们讨论了算法和实现部分的每个框架,阻碍性能。
2022-07-01 cs.AI cs.DC cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models
Peking University(北京大学);University of Illinois Chicago(伊利诺伊大学香槟分校);Tsinghua University(清华大学);XPENG;Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文综述了并行文本生成技术,分析了基于AR和非AR的方法,评估了其在速度、质量和效率上的权衡,并指出了未来研究方向。
2026-02-10 cs.AI cs.CL cs.DC
Data-Parallel Hashing Techniques for GPU Architectures
哈希表是用于有效地存储和访问稀疏数据的最基本的数据结构之一,在从计算机图形到机器学习的领域中广泛使用。本研究调查的国家的最先进的研究数据并行哈希技术,新兴的并行,众核GPU架构。发现影响不同哈希方案性能的关键因素,并用于建议最佳实践和确定进一步研究的领域。
2018-07-11 cs.DC cs.DS
A Survey on Distributed Evolutionary Computation
本文系统综述了分布式进化计算,提出新的分类法,明确其提升集中式优化效率和实现分布式优化两大目的,并对分布式优化问题进行形式化定义与分类,同时展望了挑战与未来方向。
2023-04-12 cs.DC cs.NE
Spatiotemporal Data Mining: A Survey
University of Minnesota, Twin Cities(明尼苏达大学双城分校);University of Florida(佛罗里达大学)
时空数据采掘的目的是在大量的空间和时空数据中发现有趣的、有用的但非平凡的模式。它们被用于各种应用领域,如公共安全,生态,流行病学,地球科学等,这个问题是具有挑战性的,因为虚假的模式和过高的计算成本的高社会成本。由于时空数据采掘的快速发展,最近的调查需要更新。此外,他们没有充分调查时空数据采掘的并行技术。本文对时空数据采掘方法进行了综述。此外,它有一个详细的调查时空数据采掘的并行公式。
2022-06-26 cs.CV cs.DB cs.DC
Parallel Logic Programming: A Sequel
Università di Udine(乌迪内大学);GNCS-INdAM(意大利国家高等数学研究院-国家科学计算小组);University of Texas at Dallas(德克萨斯大学达拉斯分校);IMDEA Software Institute(IMDEA 软件研究所);Universidad Politécnica de Madrid(马德里理工大学);New Mexico State University(新墨西哥州立大学);CRACS/INESC TEC(CRACS/INESC TEC 研究所);University of Porto(波尔图大学)
多核和高度连接的架构已经变得无处不在,这带来了新的兴趣,基于语言的方法来开发并行性。逻辑程序设计自诞生以来就被认为是一种具有巨大潜力的并行性自动开发的编程范式。2001年出版的对并行逻辑编程前二十年研究的全面调查,一直是研究人员和开发人员的基本参考。这些内容在今天是相当有效的,但与此同时,该领域在随后的几年中继续快速发展。这些成就和正在进行的研究中有许多是由技术创新的快速步伐推动的,这导致了诸如超大型集群、多核处理器的广泛普及、通用图形处理单元的游戏规则改变作用以及云计算的普遍采用等进步。这已经被逻辑编程中的重大进步所证实,例如制表、更强大的静态分析和验证、应答集编程的快速增长,以及一般来说,更成熟的实现和系统。本次调查提供了自2001年以来的并行逻辑编程研究的回顾,从而提供了前一次调查的自然延续。该调查的目标是不仅作为逻辑编程系统的研究人员和开发人员的参考,而且作为对逻辑感兴趣的任何人的引人入胜的阅读,并作为逻辑编程之外的并行系统研究人员的有用资源。逻辑程序设计理论与实践(TPLP)
2022-01-24 cs.AI cs.DC cs.LO
A Survey on Agent-based Simulation using Hardware Accelerators
由于单核CPU性能的降低,在高度并行的硬件平台上越来越多地执行计算昂贵的模拟。基于代理的模拟,其中模拟实体的行为具有一定程度的自主性,经常为并行化提供充足的机会。因此,文献中提出的各种方法使用硬件平台(例如众核CPU和GPU、合并的CPU-GPU芯片以及FPGA)表现出相当大的性能增益。通常情况下,一个给定的仿真模型,需要一个技术的组合,以实现高性能,把大量的负担建模。据我们所知,没有系统的概述,基于代理的硬件加速器上的模拟技术已在文献中。为了缩小这一差距,我们提供了一个概述和分类的文献,根据所应用的技术。由于在目前的研究状态,挑战,如异构硬件上执行的模型的分区仍然是一个很大程度上手动的过程中,我们勾画了未来的研究方向自动化的硬件映射和执行。本次调查的目标是为特定仿真模型寻求合适的硬件平台和执行技术概述的建模人员,以及对需要进一步探索的潜在研究差距感兴趣的方法研究人员。
2018-07-03 cs.DC cs.MA cs.PF
From the NYU Ultracomputer to Modern Exascale: A Historical and Architectural Survey of In-Network Computing and Scalable Synchronization
Catskills Research Company(卡茨基尔研究公司)
本文综述了四十年间大规模并行系统的硬件架构、互连网络和同步原语,重点分析了NYU Ultracomputer和IBM RP3中的Fetch-and-Add硬件实现,并与现代分布式内存架构及网络内计算模型(如NVIDIA SHARP和HPE Slingshot)进行对比。
2026-06-16 cs.AR cs.DC cs.GL