Achieving Efficient Strong Scaling with PETSc using Hybrid MPI/OpenMP Optimisation
在现代高性能平台中，处理元件数量的增加和存储器与核心比率的降低使得高效的强缩放成为数值算法的关键要求。为了在大规模并行系统上实现有效的可扩展性，科学软件必须在整个堆栈上发展，以利用现代体系结构中暴露的多级并行性。在本文中，我们演示了使用混合MPI/OpenMP并行优化并行稀疏矩阵向量乘法在PETSc，广泛使用的科学图书馆的可扩展的偏微分方程的解决方案。使用Fluidity生成的大矩阵，一个开源的CFD应用程序代码，使用PETSc作为其线性求解器引擎，我们使用基于任务的并行性显式通信重叠的效果进行评估，并展示如何进一步提高性能显式负载均衡线程在MPI进程。我们展示了显着的加速比纯MPI模式和有效的强大的缩放稀疏矩阵向量乘法富士通PRIMEHPC FX 10和Cray XE 6系统。
2013-03-21 cs.DC
Supporting OpenMP 5.0 Tasks in hpxMP -- A study of an OpenMP implementation within Task Based Runtime Systems
十多年来，OpenMP一直是单节点并行性的事实标准。近年来，异步多任务运行时（AMT）系统作为一种新的高性能计算应用程序的编程范例越来越受欢迎。这种新模式的主要挑战之一是OpenMP线程模型和其他AMT的不兼容性。高度优化的基于OpenMP的库在与AMT结合使用时性能不佳，因为两个库的线程将竞争资源。本文是关于hpxMP基本实现的后续论文，hpxMP是OpenMP标准的实现，它利用C++并行和并发（HPX）标准库来调度和管理任务。在本文中，我们提出的任务功能，如任务组，任务依赖，任务_减少，的OpenMP 5.0标准和优化的#pragma omp并行pragma的实现。我们使用daxpy基准测试、Barcelona OpenMP Tasks Suite、并行研究内核和OpenBLAS基准测试来比较不同的OpenMp实现：hpxMP、llvm-OpenMP和GOMP。
2020-02-19 cs.DC cs.PL
Pragma driven shared memory parallelism in Zig by supporting OpenMP loop directives
本文通过为 Zig 编译器添加 OpenMP 循环指令支持，弥补其在 HPC 领域缺少共享内存并行的不足，并利用 NAS 并行基准测试验证其扩展性与 Fortran/C 相当且性能最高提升 1.25 倍。
2024-09-30 cs.DC cs.PL
LB4OMP: A Dynamic Load Balancing Library for Multithreaded Applications
本文提出开源动态负载均衡库 LB4OMP，集成文献中的循环调度算法，实验证明其优于 OpenMP 调度并能提升 MPI+OpenMP 百亿亿次应用性能。
2021-06-09 cs.DC
Optimizing ccNUMA locality for task-parallel execution under OpenMP and TBB on multicore-based systems
OpenMP任务构造或某些英特尔线程构建块（TBB）组件所采用的任务并行性虽然非常适合处理不规则问题或典型的生产者/消费者方案，但如果数据访问的局部性很重要（ccNUMA系统上的内存受限代码通常就是这种情况），则可能会出现性能瓶颈。我们提出了一个薄的软件层，改善了动态任务分配的不利影响，通过将任务排序到本地队列中，每个队列最好由属于同一本地域的线程处理。动态调度是完全保留在每个域，并优于可能的负载不平衡，即使需要非本地访问，使这种策略非常适合典型的多核多插槽系统。该方法的有效性是通过使用一个阻塞的六点模板求解器作为一个玩具模型。
2010-12-30 cs.DC
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
An Introduction to hpxMP: A Modern OpenMP Implementation Leveraging HPX, An Asynchronous Many-Task System
异步多任务（AMT）运行时系统由于细粒度任务运行时系统提供的性能改进而在HPC社区中获得越来越多的接受。与此同时，C++标准化工作的重点是创建更高级别的接口，以取代现代C++代码中的OpenMP或OpenACC。这些更高级别的函数已经在符合标准的运行时系统（如HPX）中采用，使用户能够在自己的代码中简单地利用fork-join并行性。尽管在运行时系统和标准化工作方面有创新，但用户在移植遗留应用程序时仍面临巨大挑战。用户不仅必须移植自己的代码，而且通常依赖于高度优化的库，如BLAS和LAPACK，它们使用OpenMP进行并行化。当前创建平滑迁移路径的努力一直在努力应对这些挑战，特别是AMT库的线程系统经常与OpenMP的线程系统竞争。为了克服这些问题，我们的团队开发了hpxMP，这是一种OpenMP标准的实现，它利用底层AMT系统来调度和管理任务。这种方法利用了HPX公开的C++接口，并允许用户在AMT系统上执行他们的应用程序，而无需更改他们的代码。在这项工作中，我们比较hpxMP与Clang的OpenMP库与Blaze C++库的四个线性代数基准。虽然hpxMP往往无法达到相同的性能，我们证明了可行性，为应用程序提供一个顺利的迁移，但必须扩展到受益于更一般的基于任务的编程模型。
2019-07-05 cs.DC
Dynamic Loop Parallelisation
嵌套循环的区域是高性能计算（HPC）代码的常见特征。在共享内存编程模型中，如OpenMP，这些结构是最常见的并行性来源。并行化这些结构需要程序员对如何应用并行性做出静态决定。然而，取决于问题的参数和代码的性质，关于哪个循环并行化的静态决策可能不是最优的，特别是因为它们不允许利用执行的任何运行时特性，包括对要并行化的循环的迭代的改变。我们已经开发了一个系统，允许代码在运行时动态选择，什么并行应用于嵌套循环。我们的方法提供动态决策的循环并行显着优于标准的方法来实现这一点，通过OpenMP（使用if子句）。
2012-05-10 cs.DC cs.PL
Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
Western New England University（韦斯滕新英格兰大学）；Rice University（Rice大学）
针对神经网络训练加速问题，本工作在MNIST数据集上用OpenMP实现推测反向传播，通过多线程重叠前向与反向传播步骤，CPU实验获24%整体加速比及35%单步最大加速比，计划在FPGA上综合以验证硬件加速潜力。
2025-11-09 cs.AR cs.DC cs.LG
Accelerating Fortran Codes: A Method for Integrating Coarray Fortran with CUDA Fortran and OpenMP
本研究提出融合Intel Coarray Fortran、Nvidia CUDA Fortran与OpenMP的并行编程方法，优化内存管理、CPU-GPU亲和性等，经并行泊松求解器验证，其性能与MPI相近且更易实现，可助力新老代码高效迁移至并行计算。
2024-09-03 astro-ph.IM astro-ph.SR cs.DC
Evaluating OpenMP Offloading for Intra-node Multi-GPU Programming across NVIDIA, AMD, and Intel Architectures: A 3D Heat Transfer Case Study
Rudolfovo-Science and Technology Centre Novo mesto（鲁多尔沃夫诺沃梅斯托科学与技术中心）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Department of Computer Science, FSTM, University of Luxembourg（卢森堡大学科学技术学院计算机科学系）
本研究以3D热传导为例，对比分析OpenMP Offloading在三类GPU上的性能，发现其多GPU实现较单GPU可获2倍、4倍左右性能提升。
2026-09-16 cs.DC
A Proof of Concept for Optimizing Task Parallelism by Locality Queues
由OpenMP任务构造所采用的任务并行性虽然对于处理不规则问题或典型的生产者/消费者方案是理想的，但是如果数据访问的局部性是重要的，则具有一些潜在的性能瓶颈，这通常是ccNUMA系统上的内存绑定代码的情况。我们提出了一种编程技术，它改善了不利影响的动态任务分配的排序任务到本地队列，其中每个线程最好是属于同一个局部域处理。动态调度完全保留在每个域内，并且即使需要非本地访问，也优于可能的负载不平衡。该方法的有效性证明使用阻塞六点模板求解器作为玩具模型。
2009-02-11 cs.DC cs.PF
DSL-based Design Space Exploration for Temporal and Spatial Parallelism of Custom Stream Computing
流计算是一种适合于基于FPGA的定制计算的方法，由于其高吞吐量的能力带来的流水线与定期的存储器访问。为了提高迭代流计算的性能，我们可以分别通过加深和复制管道来利用时间和空间并行性。然而，性能受到几个因素的限制，包括FPGA上的可用硬件资源，外部内存带宽和流水线阶段的利用率，因此我们需要找到不同并行性的最佳组合，以实现最高的性能单位功率。在本文中，我们提出了一个领域特定语言（DSL）的设计空间探索的时间和/或空间并行流计算与FPGA。我们定义了一个DSL，我们可以很容易地设计一个层次结构的并行流计算的抽象描述的计算。针对流体动力学模拟中的迭代流计算，我们设计了具有不同时空并行性混合的硬件结构。通过性能和功耗的测量，我们找到了其中最好的。
2015-08-27 cs.AR cs.CE cs.DC
A Comparative Study of OpenMP Scheduling Algorithm Selection Strategies
Department of Mathematics and Computer Science University of Basel（数学与计算机科学系 巴塞尔大学）
本研究针对OpenMP调度算法选择问题，对比评估基于专家知识与强化学习的方法，结合二者实现更优性能与适应性，证明动态调度选择可行且有益，还可扩展至MPI程序。
2025-07-27 cs.AI cs.DC cs.LG
Unlocking Real-Time Fluorescence Lifetime Imaging: Multi-Pixel Parallelism for FPGA-Accelerated Processing
Center for Modeling, Simulation, & Imaging in Medicine（医学建模、仿真与成像中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
本文提出一种基于FPGA硬件加速器的实时荧光寿命成像方法，通过部署GRU序列到序列模型及其知识蒸馏压缩版Seq2SeqLite，并利用STOMP模拟器优化任务调度与内存管理，实现多像素并行处理，在性能与资源间取得最优平衡，相比手动调度分别实现17.7倍和52.0倍加速。
2024-11-15 cs.AI cs.DC cs.LG
MPI Collectives for Multi-core Clusters: Optimized Performance of the Hybrid MPI+MPI Parallel Codes
集群中多核/众核处理器的出现倡导混合并行编程，其将用于节点间并行的消息传递接口（MPI）与用于节点上并行的共享存储器模型相结合。与传统的MPI + OpenMP混合方法相比，一种新的、但很有前途的MPI + MPI-3共享内存扩展（MPI+MPI）混合方法正受到越来越多的关注。我们描述了一种算法的集体操作（与allgather和广播作为具体的例子）的混合MPI+MPI的上下文中，以尽量减少内存消耗和内存副本。使用这种方法，只有一个内存副本由节点上的进程维护和共享。这允许删除在纯MPI上下文中调用集合时MPI进程之间所需的复制数据的不必要的节点上副本。我们比较了混合MPI+MPI和传统MPI的集体方法，并讨论了保证数据完整性所需的同步。我们的方法的性能已在Cray XC 40系统（Cray MPI）和NEC集群（OpenMPI）上进行了验证，表明它实现了可比或更好的性能allgather操作。我们进一步验证了我们的方法与标准的计算内核，即分布式矩阵乘法，和贝叶斯概率矩阵分解代码。
2020-07-14 cs.DC
LLM-HPC++: Evaluating LLM-Generated Modern C++ and MPI+OpenMP Codes for Scalable Mandelbrot Set Computation
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Louisiana State University（路易斯安那州立大学）；Texas A&M University-Central Texas（德克萨斯农工大学中央得克萨斯分校）
本文评估了LLM生成的C++和MPI+OpenMP代码在曼德勃罗集计算中的性能，发现ChatGPT-4和5在语法精度和可扩展性方面表现突出。
2026-03-13 cs.DC cs.SE
Achieving Super-Linear Speedup across Multi-FPGA for Real-Time DNN Inference
具有低延迟要求的实时的【形】深度神经网络（DNN）推理对于云计算（例如，苹果的Siri）和边缘计算（例如，Google/Waymo的无人驾驶汽车）。基于FPGA的DNN加速器已经证明了卓越的灵活性和性能;此外，对于低批量的实时的【形】推理，FPGA有望实现进一步的性能提升。然而，从单FPGA设计的性能增益是由有限的片上资源的阻碍。在本文中，我们采用多个FPGA协同运行DNN的目标是实现超线性加速对单FPGA设计。在实现这样的系统时，我们发现了两个阻碍我们实现设计目标的障碍：（1）每个DNN层缺乏明确的分区方案以充分利用并行性，以及（2）由于DNN的大小不断增长，片外存储器和加速器之间的带宽不足。为了解决这些问题，我们提出了一个通用的框架，“超级LIP”，它可以支持不同类型的DNN。本文以卷积神经网络（CNN）为载体，对Super-LIP进行了研究。我们首先制定一个准确的系统级模型，以支持最佳分区方案的探索。然后，我们开发了一种新的设计方法，以有效地减轻沉重的负担，内存带宽的流量从内存总线到FPGA间的链接。我们在ZCU 102 FPGA板上实现了Super-LIP。结果表明，与最先进的单FPGA设计相比，使用2个FPGA的Super-LIP可以实现3.48倍的加速比。更重要的是，随着FPGA数量的增加，系统延迟可以进一步减少，同时保持高能效。
2020-02-08 cs.DC
HPCAgentTester: A Multi-Agent LLM Approach for Enhanced HPC Unit Test Generation
University Of Houston（德克萨斯大学休斯顿分校）；Kent State University（肯特州立大学）
针对HPC单元测试面临的并行性等挑战，提出多智能体LLM框架HPCAgentTester，通过Recipe Agent和Test Agent协作迭代生成测试用例，相比独立LLM显著提升测试编译率和正确性，增强HPC软件测试能力。
2025-11-13 cs.AI cs.DC cs.SE
A Scalable Pipelined Dataflow Accelerator for Object Region Proposals on FPGA Platform
区域建议是目标检测的关键，但它通常是传统控制流架构中提高计算效率的瓶颈。我们已经观察到区域建议任务可能适合通过利用并行驱动加速来执行流水线并行。本文提出了一种可扩展的流水线并行加速器，用于FPGA平台上的高效区域建议。该加速器采用流式方式处理图像数据，分为三个连续的阶段：并行计算、内核计算和排序。首先，在调整大小模块中采用乒乓缓存策略进行旋转加载，保证输出流的连续性;然后，在内核计算模块中，采用分层存储的多流水线结构来完成主要的计算任务。最后，在排序模块中使用了一种冒泡堆排序方法，有效地找到前k个最大的候选。在FPGA平台上进行了高层次综合，在VOC 2007数据集上的实验结果表明，与传统的桌面CPU平台相比，该设计可实现约3.67倍的加速比，与嵌入式ARM平台相比，该设计可实现超过250倍的能效提升。
2018-10-26 cs.DC eess.IV
FLOWER: A comprehensive dataflow compiler for high-level synthesis
FPGA已经作为加速卡进入数据中心，使可重构计算更容易用于高性能应用。与此同时，新的高级合成编译器（如Xilinx Vitis）和运行时库（如XRT）吸引了软件程序员进入可重构领域。虽然软件程序员熟悉任务级和数据并行编程，但FPGA通常需要不同类型的并行性。例如，数据驱动的并行性是强制性的，以获得令人满意的硬件设计的流水线并行架构。然而，软件程序员通常不熟悉Linux架构，导致硬件设计不佳。在这项工作中，我们提出了FLOWER，一个全面的编译器基础设施，提供自动规范转换的高层次合成从特定领域的库。这使得程序员可以专注于算法实现，而不是底层的优化。我们表明，FLOWER允许合成高性能的流媒体应用程序的目标系统芯片和FPGA加速卡，在图像处理和计算机视觉的背景下，有效的实现。
2021-12-14 cs.AR cs.DC cs.PL
Mixed-mode implementation of PETSc for scalable linear algebra on multi-core processors
随着多核处理器成为现代超级计算机中无处不在的构建块，现在是时候让应用程序在处理器设计中接受这些发展了。为了实现亿级性能，应用程序将需要利用现代高性能计算机中暴露的新并行级别的方法。一种典型的方法是使用共享内存编程技术来最好地利用多核节点以及节点间消息传递。在本文中，我们描述了在PETSc库中添加OpenMP线程功能。我们强调了一些问题，阻碍了线程应用程序在现代处理器上的良好性能，并描述了如何否定它们。PETSc的OpenMP分支使用从Fluidity中提取的矩阵进行基准测试，Fluidity是一种CFD应用程序代码，使用该库作为其线性求解器引擎。混合模式实现的整体性能优于纯MPI版本。
2012-08-10 cs.DC cs.PF
ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels
Iowa State University（爱荷华州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出ParaGraph，一种扩展AST并引入边权重的加权图程序表示方法，通过训练GNN预测OpenMP代码在CPU和GPU上的运行时来优化HPC内核性能，归一化RMSE低至0.004。
2023-04-07 cs.DC cs.LG cs.PF
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
FTRANS: Energy-Efficient Acceleration of Transformers using FPGA
University of Connecticut（康涅狄格大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；Syracuse University（雪城大学）；Microsoft Corporation（微软公司）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在自然语言处理（NLP）中，“Transformer”架构被提出作为第一个完全基于自我注意力机制而不使用序列对齐递归神经网络（RNN）或卷积的转换模型，并且它在序列到序列任务中实现了显着的改进。这些预先训练的语言表示所引入的密集计算和存储阻碍了它们在计算和内存受限的设备中的普及。现场可编程门阵列（FPGA）以其高并行性和低延迟的特点被广泛用于加速深度学习算法。然而，经过训练的模型仍然太大，无法适应FPGA结构。在本文中，我们提出了一个有效的加速框架，Ftranss，基于transformer的大规模语言表示。我们的框架包括增强的块循环矩阵（CCN）为基础的权重表示，使模型压缩的大规模语言表示在算法级的精度下降，并在架构级的加速设计。实验结果表明，我们提出的框架显着减少了NLP模型的模型大小高达16倍。与CPU相比，我们的FPGA设计实现了27.07倍和81倍的性能和能效提升，与GPU相比，能效提升高达8.80倍。
2020-07-16 cs.DC cs.LG
DEEPFAKE CLI: Accelerated Deepfake Detection using FPGAs
由于更大数据集的可用性和生成模型的最新改进，每天都在制作更逼真的Deepfake视频。人们每天在社交媒体平台上消费大约10亿小时的视频，这就是为什么阻止虚假视频的传播非常重要，因为它们可能具有破坏性，危险性和恶意性。在deepfake分类领域已经有了显着的改进，但deepfake检测和推理仍然是一项艰巨的任务。为了解决这一问题，本文提出了一种新的DEEPFAKE C-L-I（分类-定位-推理），其中我们探索了使用FPGA加速量化Deepfake检测模型的想法，因为与通用GPU相比，它们具有最大的并行性和能效。在本文中，我们使用了轻量级的MesoNet与X-YNet结构，并在VCK 5000 FPGA上加速它，由最先进的VC 1902 Versal架构提供支持，该架构使用AI，DSP和Adaptable Engines进行加速。我们已经将我们的推理速度与其他最先进的推理节点进行了基准测试，在VCK 5000上获得了316.8 FPS，同时保持了93%的准确率。
2022-10-26 cs.AR cs.DC
SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling
University of Tehran（德黑兰大学）
受超标量架构启发，提出硬件-软件协同设计框架SupraSNN，通过物理解耦突触和神经元计算实现突触级并行，结合分区与启发式调度优化映射，在FPGA上实现低延迟和高能效。
2026-06-12 cs.AR cs.DC cs.NE
Performance Analysis of an Astrophysical Simulation Code on the Intel Xeon Phi Architecture
我们已经开发了天体物理模拟程序XFLAT来研究超新星中的中微子振荡。XFLAT旨在通过MPI、OpenMP和SIMD指令（矢量化）利用多级并行性。它可以在基于英特尔多集成核心架构（MIC）的CPU和至强融核协处理器上运行。我们分析了XFLAT在仅使用CPU、仅使用Xeon Phi以及同时使用CPU和Xeon Phi的配置上的性能。我们还研究了I/O和XFLAT的多节点性能对德克萨斯州高级计算中心（TACC）配备Xeon Phi的Stampede超级计算机的影响。
2015-10-07 cs.CE cs.DC
Integrating High Performance In-Memory Data Streaming and In-Situ Visualization in Hybrid MPI+OpenMP PIC MC Simulations Towards Exascale
KTH Royal Institute of Technology（皇家理工学院）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Max Planck Institute for Plasma Physics（马普等离子体物理研究所）；Institute of Plasma Physics of the CAS（捷克科学院等离子体物理研究所）；University of Oregon（俄勒冈大学）；Max Planck Computing and Data Facility（马普计算与数据中心）
本研究通过改进BIT1代码，整合内存数据流和实时可视化技术，提升exascale级PIC MC模拟的I/O性能和计算效率。
2025-12-04 cs.DC cs.PF physics.plasm-ph
FPGA based Parallelized Architecture of Efficient Graph based Image Segmentation Algorithm
Robotics Research Center, IIIT-Hyderabad（海得拉巴国际信息技术学院机器人研究中心）
彩色图像的实时的分割在计算机视觉的许多领域如图像压缩、医学成像、地图绘制和自主导航中具有重要意义。作为计算量最大的操作之一，它通常是通过使用高性能处理器的软件实现来完成的。然而，在机器人系统中，由于受限的平台尺寸以及对便携性、低功耗的需求，同时需要实时的图像分割，我们设想硬件并行性作为实现更高加速的前进方向。现场可编程门阵列（FPGA）是最适合此任务的，因为它们在小的物理区域内提供高计算能力。它们通过打破顺序执行的范例并通过在架构级别实现硬件级别并行化来完成更多的每个时钟周期操作，从而超过了基于软件的实现的计算速度。在本文中，我们提出了三个新的架构，一个著名的高效的基于图的图像分割算法。与软件实现相比，这些提出的实现优化了时间和功耗。所提出的混合设计具有显著的加速能力，与其他实现相比提供至少2倍的速度增益，这使得可以在移动机器人系统上部署的实时的图像分割成为可能。
2017-10-06 cs.CV cs.DC
A Parallel Task-based Approach to Linear Algebra
具有大量核的处理器正变得司空见惯。为了利用这些系统中的可用资源，编程范式必须朝着增加并行性的方向发展。但是，增加程序中的并发级别并不一定会带来更好的性能。并行编程模型必须提供灵活的方法来定义并行任务，同时有效地管理创建的任务。OpenMP是一种被广泛接受的共享内存架构编程模型。在本文中，我们强调了一些在OpenMP任务处理方法的缺点，并提出了一种替代模型的基础上，格拉斯哥并行还原机（GPRM）的编程框架。作为这项研究的主要重点，我们部署我们的模型来解决一个基本的线性代数问题，稀疏矩阵的LU分解。我们使用了来自BOTS基准测试套件的SparseLU基准测试，并将从我们的模型中获得的结果与OpenMP任务处理方法的结果进行了比较。TILEPro64系统已被用于运行实验。结果是非常有前途的，不仅因为这个特定的问题的性能改善，而且因为他们验证了我们的模型，可以应用于解决问题的任务管理效率，稳定性和灵活性，在未来的众核系统。
2014-10-06 cs.DC cs.PF cs.PL
Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa（莫拉图瓦大学）
卷积神经网络（CNN）广泛用于深度学习应用，例如视觉系统、机器人等。然而，现有的软件解决方案效率不高。因此，已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中，基于现场可编程门阵列（FPGA）的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中，我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加（MAC）单元与高速缓存技术和互连网络，以利用最大的数据并行。与现有的解决方案相比，我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此，我们的架构实现了显著降低资源利用率与竞争力的准确性。此外，我们开发了一个汇编类型的微指令来访问协处理结构，以管理逐层并行，从而使有限的资源重用。最后，我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构，在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
