COSMOS: Coordination of High-Level Synthesis and Memory Optimization for Hardware Accelerators
硬件加速器是片上系统（SoC）架构效率和性能的关键。通过高级综合（HLS），设计人员可以很容易地为复杂硬件加速器的每个组件获得多个性能-成本权衡实现。然而，在系统级搜索帕累托最优实现的设计空间导航是一个困难的优化任务。我们提出了COSMOS，设计空间探索（DSE）的复杂的加速器，协调HLS和内存优化工具的合成方式的自动方法。首先，由于数据路径和内存的共同设计，COSMOS为加速器的每个组件生成了大量的帕累托最优实现。然后，COSMOS利用组合设计技术快速收敛到系统级成本和性能之间的理想权衡点。当应用于广域运动图像加速器（WAMI）的系统级设计（SLD）时，COSMOS可以像穷举搜索一样完全探索设计空间，但它将HLS工具的调用次数减少了14.6倍。
2019-12-18 cs.DC
HALO 1.0: A Hardware-agnostic Accelerator Orchestration Framework for Enabling Hardware-agnostic Programming with True Performance Portability for Heterogeneous HPC
Arizona State University（亚利桑那州立大学）
本文介绍了HALO 1.0，一个开放式的可扩展的多代理软件框架，实现了一组建议的硬件无关的加速器编排（HALO）的原则。HALO实现了一种新颖的以计算为中心的消息传递接口（C^2MPI）规范，用于实现跨异构加速器的硬件无关主机应用程序的性能可移植执行。对基于Intel Xeon E5-2620 CPU、Intel Arria 10 GX FPGA和NVIDIA GeForce RTX 2080 Ti GPU的八个广泛使用的HPC子程序进行评估的实验结果表明，HALO 1.0允许主机程序的统一控制流在所有计算设备上运行，并具有一致的最高性能可移植性得分，这比基于OpenCL的解决方案高出五个数量级。
2022-07-06 cs.CL cs.DC cs.PF
Extracting the Potential of Emerging Hardware Accelerators for Symmetric Eigenvalue Decomposition
针对新兴硬件加速器上对称特征值分解因内存带宽受限而计算利用率极低的问题，本文提出多种算法优化以缓解内存瓶颈并提升并行利用，使三对角化在H100等GPU上相比cuSOLVER最高加速10.1倍，端到端EVD最高加速4.1倍。
2024-10-03 cs.DC
HGum: Messaging Framework for Hardware Accelerators
软件消息传递框架通过以下方式帮助避免错误并减少构建分布式系统中的工程工作：（1）提供接口定义语言（IDL）以精确地指定消息的结构（即，消息模式），以及（2）自动生成串行化和非串行化函数，该函数将用户数据结构转换成二进制数据，以便通过网络发送，反之亦然。类似地，由主机软件和多个FPGA组成的硬件加速系统也可以受益于消息传递框架，以处理软件和FPGA之间以及不同FPGA之间的消息。硬件消息传递框架的关键挑战是，它必须能够支持具有复杂模式的大型消息，同时满足时钟频率、面积和吞吐量等关键约束。在本文中，我们提出了HGum，一个消息传递框架的硬件加速器，满足所有上述要求。HGum能够通过采用一种新颖的设计来生成高性能和低成本的硬件逻辑，该设计在算法上解析消息模式以执行串行化和并行化。我们对HGum的评估表明，它不仅大大减少了工程工作，而且生成的硬件质量与手动实现相当。
2018-01-19 cs.DC
DEAP: Design Space Exploration for DNN Accelerator Parallelism
University of California, Berkeley（加州大学伯克利分校）
本文提出DEAP仿真工作流，结合模型并行与多加速器仿真框架，通过设计空间探索为特定LLM推理负载定制硬件，并报告功耗、周期和延迟指标。
2023-12-24 cs.AR cs.DC cs.LG
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命，以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算（MAC/W）的数量，其中，最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器（TMA），具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器，无需任何乘法即可工作，这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后，我们比较了我们的加速器的吞吐量和功耗，以前的作品。所提出的加速器在能量和面积方面优于现有技术，实现2.3 TMACS/W@1.0 V，65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中，对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围，这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂，特别是对于训练。我们提出TRIM，这是一种基础设施，可以帮助硬件架构师探索深度神经网络加速器的设计空间，以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估，同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标，TRIM可以快速探索不同的硬件设计选项，选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间，通过几个案例研究。TRIM是一个强大的工具，可以帮助架构师评估不同的硬件选择，以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
PhD Thesis Summary: Methods for Reliability Assessment and Enhancement of Deep Neural Network Hardware Accelerators
Mahdi Taheri（马赫迪·塔海里）
本文提出新颖的可靠性评估与增强方法，通过AdAM技术在降低硬件成本的同时提升深度神经网络硬件加速器的容错能力。
2026-02-17 cs.AI cs.AR cs.DC
Software-defined Design Space Exploration for an Efficient DNN Accelerator Architecture
Princeton University（普林斯顿大学）；Alibaba Group（阿里巴巴集团）
深度神经网络（DNN）已被证明在广泛的应用中优于传统的机器学习算法，例如，图像识别、物体检测、机器人技术和自然语言处理。然而，DNN的高计算复杂性通常需要非常快速和高效的硬件。随着神经网络的规模呈指数级增长，问题变得更糟。因此，已经开发了定制的硬件加速器来加速DNN处理而不牺牲模型精度。然而，以前的加速器设计研究没有充分考虑目标应用程序的特性，这可能会导致次优的架构设计。另一方面，新的DNN模型已经开发出来以提高准确性，但它们与底层硬件加速器的兼容性往往被忽视。在这篇文章中，我们提出了一个应用驱动的框架，用于DNN加速器的建筑设计空间探索。该框架基于单个DNN操作的硬件分析模型。它将加速器设计任务建模为多维优化问题。我们证明，它可以有效地用于应用驱动的加速器架构设计。给定目标DNN，该框架可以生成具有优化性能和面积的高效加速器设计解决方案。此外，我们探索的机会，使用加速器配置优化的框架下，同时不同的DNN应用程序。该框架还能够改进神经网络模型，以最好地适应底层硬件资源。
2020-01-16 cs.AI cs.DC
Interstellar: Using Halide's Scheduling Language to Analyze DNN Accelerators
我们表明，DNN加速器微架构及其程序映射代表了循环顺序和硬件并行性的特定选择，用于计算DNN的七个嵌套循环，这使我们能够创建所有现有密集DNN加速器的正式分类。令人惊讶的是，创建这些硬件变体所需的循环转换可以用Halide的调度语言精确而简洁地表示。通过修改Halide编译器来生成硬件，我们创建了一个可以公平比较这些先前加速器的系统。只要使用适当的循环阻塞方案，并且硬件可以支持映射复制循环，许多不同的硬件固件就可以产生类似的能量效率和良好的性能。这是因为循环阻塞可以确保大多数数据引用以良好的局部性留在片上，并且处理单元具有高资源利用率。如何分配资源，特别是在内存系统中，对能源和性能有很大的影响。通过优化硬件资源分配，同时保持吞吐量不变，我们实现了高达4.2倍的能量提高卷积神经网络（CNN），1.6倍和1.8倍的提高长短期记忆（LSTM）和多层感知器（MLP），分别。
2020-04-26 cs.DC
Securing Accelerators with Dynamic Information Flow Tracking
片上系统（SoC）正在变得异构：它们将通用处理器内核与特定于应用的硬件组件（也称为加速器）相结合，以提高性能和能效。然而，异质性的优势是以威胁安全为代价的。处理器和加速器的架构差异需要重新审视当前的安全技术。通过这个硬件演示，我们展示了加速器如何打破动态信息流跟踪（DIFT），这是一种众所周知的安全技术，可以保护系统免受基于软件的攻击。我们还描述了如何DIFT的安全保证，可以重新建立一个硬件解决方案，具有低性能和面积的处罚。
2019-02-19 cs.CR cs.DC
Blockchain Machine: A Network-Attached Hardware Accelerator for Hyperledger Fabric
在本文中，我们展示了最受欢迎的许可区块链之一Hyperledger Fabric如何从网络附加加速中受益。Fabric的可扩展性和峰值性能主要受到其块验证/提交阶段中存在的瓶颈的限制。我们提出了区块链机器，一个硬件加速器加上一个硬件友好的通信协议，作为验证器对等体。它可以适应应用程序及其智能合约，并针对具有网络连接的FPGA加速卡的服务器。区块链机器直接从网络接口检索硬件中的块及其交易，然后通过可配置且高效的块级和交易级管道进行验证。然后将验证结果传输到主机CPU，在那里执行非瓶颈操作。从我们与Fabric v1.4 LTS集成的实现中，我们观察到与纯软件验证器对等体相比，块验证的速度提高了12倍，提交吞吐量高达68，900 tps。我们的工作提供了一个加速平台，将促进对许可区块链硬件加速的进一步研究。
2021-09-20 cs.AR cs.DC
A Survey on Agent-based Simulation using Hardware Accelerators
由于单核CPU性能的降低，在高度并行的硬件平台上越来越多地执行计算昂贵的模拟。基于代理的模拟，其中模拟实体的行为具有一定程度的自主性，经常为并行化提供充足的机会。因此，文献中提出的各种方法使用硬件平台（例如众核CPU和GPU、合并的CPU-GPU芯片以及FPGA）表现出相当大的性能增益。通常情况下，一个给定的仿真模型，需要一个技术的组合，以实现高性能，把大量的负担建模。据我们所知，没有系统的概述，基于代理的硬件加速器上的模拟技术已在文献中。为了缩小这一差距，我们提供了一个概述和分类的文献，根据所应用的技术。由于在目前的研究状态，挑战，如异构硬件上执行的模型的分区仍然是一个很大程度上手动的过程中，我们勾画了未来的研究方向自动化的硬件映射和执行。本次调查的目标是为特定仿真模型寻求合适的硬件平台和执行技术概述的建模人员，以及对需要进一步探索的潜在研究差距感兴趣的方法研究人员。
2018-07-03 cs.DC cs.MA cs.PF
Accelerator-level Parallelism
未来的应用需要更高的性能，但技术进步一直停滞不前。在能量约束下进一步提高计算机系统性能的一种有前途的方法是采用硬件加速器。今天，移动系统已经同时使用多个加速器，我们称之为加速器级并行（ALP）。为了更广泛地传播ALP的好处，我们要求计算机科学家开发所需的科学，以最好地实现ALP硬件和软件的性能和成本目标。
2021-11-24 cs.DC cs.OS cs.PF
Efficient Multiway Hash Join on Reconfigurable Hardware
本文提出了一种新的粗粒度可重构硬件加速器--"Plasticine“--实现多路连接的算法。与其它加速器相比，该加速器具有高计算能力和高片上通信带宽的特点。当任何两个关系的连接产生太大的中间关系时，在单步的中连接三个或更多个关系，即多路连接，是有效的。我们展示了在Plasticine上通过CPU执行一系列二进制哈希连接的至少200倍加速。我们进一步表明，在一些现实的情况下，一个类似橡皮泥的加速器可以使3路连接比相同硬件上的级联二进制哈希连接更有效，高达45倍。
2019-05-31 cs.DB cs.DC
Workload-Aware Hardware Accelerator Mining for Distributed Deep Learning Training
提出一种基于启发式和关键路径的硬件加速器架构搜索技术，首次解决分布式张量与流水线并行场景，相比Spotlight搜索快31倍且吞吐量提升12倍，并比TPU架构提升12%。
2024-04-23 cs.AR cs.DC
Efficient Algorithms for Monte Carlo Particle Transport on AI Accelerator Hardware
本研究将蒙特卡罗粒子输运核心内核移植到Cerebras WSE-2的CSL编程模型，开发了降通信与负载均衡新算法，实现了比A100 GPU优化版快130倍的性能，验证了该AI加速器用于HPC模拟的潜力。
2023-11-07 cs.DC cs.PF
Efficient Hardware Accelerator Based on Medium Granularity Dataflow for SpTRSV
本文针对SpTRSV中粗、细粒度数据流难以兼顾局部性与并行性的问题，通过软硬件协同设计中等粒度数据流，并结合部分和缓存与边计算重排序，显著提升性能和能效。
2025-03-18 cs.AR cs.DC cs.NA
