Edge GPU Aware Multiple AI Model Pipeline for Accelerated MRI Reconstruction and Analysis
Department of Computer and Information Engineering, Khalifa University(计算机与信息工程系,哈利法大学)
本文针对边缘设备多模型硬件加速研究不足的问题,提出面向边缘GPU的多AI模型流水线,通过引擎调度、层分配与GAN模型微调,在Jetson设备上实现MRI重建诊断近150帧/秒、精度提升5%、性能翻倍的效果。
2026-09-28 cs.AR
Hardware-Accelerated Algorithm for Complex Function Roots Density Graph Plotting
Tsinghua University(清华大学)
本研究提出一种硬件加速算法,利用多项式近似和QR迭代法高效绘制复函数根密度图,实现比CPU高65倍的能量效率。
2025-11-19 cs.AR cs.MS
Manticore: Hardware-Accelerated RTL Simulation with Static Bulk-Synchronous Parallelism
Manticore是一种利用静态批量同步并行模型加速RTL仿真的并行计算机,通过编译器调度消除同步开销,其225核FPGA实现优于最先进的RTL仿真器。
2023-10-20 cs.AR
FireFly-P: FPGA-Accelerated Spiking Neural Network Plasticity for Robust Adaptive Control
Center for Long-term Artificial Intelligence(长期人工智能中心);Beijing Institute of AI Safety and Governance(北京人工智能安全与治理研究院);School of Future Technology(未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences(中国科学院脑认知与脑启智技术重点实验室);Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所脑启智认知智能实验室)
FireFly-P是一种基于FPGA的脉冲神经网络可塑性加速器,通过高效硬件设计实现低功耗、低延迟的自适应控制
2026-01-29 cs.AR
LaKe: An Energy Efficient, Low Latency, Accelerated Key-Value Store
键值存储是一种流行的云计算应用类型。键值存储应用程序的性能已被证明对数据中心内的负载非常敏感,特别是对延迟非常敏感。随着数据中心内的负载增加,在不超过主机的处理能力和机架的功率预算的情况下维持键值存储应用的性能变得越来越困难。在本文中,我们提出了Lake:一个低延迟,高能效的键值存储设计的云应用程序。LaKe是一个模块化设计,结合了多核和缓存分层,无论是在硬件和软件。LaKe实现了全线速吞吐量,同时保持了1.1us的延迟和比现有基于硬件的memcached设计更好的能效。使用我们的设计的模块化,我们研究权衡使用片上存储器,SRAM和DRAM的加速设计,并为未来的架构提供见解。
2018-05-29 cs.AR
HASI: Hardware-Accelerated Stochastic Inference, A Defense Against Adversarial Machine Learning Attacks
The Ohio State University(俄亥俄州立大学)
深度神经网络(DNN)被用于越来越多的应用中,其中一些是安全关键的。不幸的是,已知DNN容易受到所谓的对抗攻击的攻击,这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。已经提出了多种防御来增加DNN的鲁棒性。一般来说,这些防御具有很高的开销,有些需要对模型进行特定于攻击的重新训练或仔细调整以适应不同的攻击。本文介绍了HASI,一种硬件加速的防御,它使用我们称为随机推理的过程来检测对抗性输入。我们表明,通过在推理时仔细地将噪声注入模型,我们可以区分敌对输入和良性输入。HASI使用与非噪声参考相比的噪声推断的输出分布特征来检测对抗性输入。当应用于VGG 16时,我们显示出86%的对抗检测率,当应用于ResNet 50时,我们显示出93%的对抗检测率,这超过了最先进方法的检测率,并且开销要低得多。我们展示了两个软件/硬件加速的协同设计,相对于未受保护的基线,它将随机推理的性能影响降低到1.58X-2X,而纯软件GPU实现的开销为15 X-20 X。
2021-08-06 cs.AR cs.CR cs.LG
ASAP: Accelerated Short-Read Alignment on Programmable Hardware
高通量测序仪的激增确保了在短时间内快速生成高达数十亿个短核苷酸片段。如此大量的序列数据可能会迅速淹没当今的存储和计算基础设施。本文探讨了使用硬件加速来显着提高短读比对的运行时间,这是预处理测序基因组的关键步骤。我们专注于Levenshtein距离(编辑距离)计算内核,并提出了ASAP加速器,它利用电路的固有延迟编辑距离计算元素作为计算的代理。我们的设计是在IBM POWER8系统中的Xilinx Virtex 7 FPGA上实现的,该系统使用CAPI接口实现CPU和FPGA之间的缓存一致性。我们的设计是$200\times$比主机处理器上运行的内核的等效C实现更快,并且对于120-150个碱基对短读段序列的端到端比对工具,$2.2\times$更快。此外,该设计在性能/瓦特方面比CPU有$3760\times$改进。
2018-05-23 cs.AR cs.DC
SMASH: Co-designing Software Compression and Hardware-Accelerated Indexing for Efficient Sparse Matrix Operations
重要的工作负载,如机器学习和图形分析应用程序,大量涉及稀疏线性代数运算。这些操作使用稀疏矩阵压缩作为避免存储零和对零元素执行不必要计算的有效手段。然而,如今广泛使用的压缩技术(如压缩稀疏行(CSR))引入了显著的指令开销和昂贵的指针追踪操作来发现非零元素的位置。在本文中,我们确定了位置的发现(即,索引)作为基于稀疏矩阵的工作负载中的关键瓶颈,这大大降低了压缩的好处。我们提出了SMASH,一个硬件-软件的合作机制,使高效的索引和稀疏矩阵的存储。SMASH的关键思想是显式地使硬件能够识别和利用数据中的稀疏性。为此,我们设计了一种新的软件编码的基础上的层次结构的位图。这种编码可以用于有效地压缩任何稀疏矩阵,而不管稀疏的程度和结构。同时,位图编码可以直接由硬件解释。我们设计了一个轻量级的硬件单元,位图管理单元(BMU),缓冲和扫描位图层次结构,以执行高效的稀疏矩阵索引。SMASH公开了一个富有表现力和丰富的ISA来与BMU通信,这使得它能够用于加速任何稀疏矩阵计算。我们在四个用例中展示了SMASH的优势,包括稀疏矩阵内核和图形分析应用程序。
2019-10-23 cs.AR cs.DC
Hardware-accelerated Simulation-based Inference of Stochastic Epidemiology Models for COVID-19
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Graphcore(Graphcore公司);Graphcore Research(Graphcore研究院)
流行病学模型是理解和控制大规模流行病的核心。一些流行病学模型需要基于模拟的推理,如近似贝叶斯计算(ABC),以适应其参数的观察。ABC推理非常适合高效的硬件加速。在这项工作中,我们开发了COVID-19随机流行病学模型的并行ABC推理。统计推理框架在Intel Xeon CPU、NVIDIA Tesla V100 GPU和Graphcore Mk 1 IPU上实现并进行了比较,并在其计算架构的背景下讨论了结果。结果显示,GPU是Xeon CPU的4倍,IPU是Xeon CPU的30倍。广泛的性能分析表明,IPU和GPU之间的差异可以归因于更高的通信带宽,内存与计算的紧密性,以及IPU中更高的计算能力。所提出的框架可扩展到16个IPU,进行的实验的扩展开销不超过8%。我们提出了我们的框架在实践中的一个例子,在三个国家的流行病学模型上进行推理,并简要概述了结果。
2020-12-23 cs.AI cs.AR cs.DC
MoE-Hub: Taming Software Complexity for Seamless MoE Overlap with Hardware-Accelerated Communication on Multi-GPU Systems
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学);Shanghai Qi Zhi Institute(上海人工智能实验室)
本文提出MoE-Hub,通过硬件软件协同设计解决多GPU系统中MoE动态令牌到专家映射与GPU静态地址通信模型的不匹配问题,实现通信与计算的无缝重叠,提升性能和灵活性。
2026-05-07 cs.AR cs.DC
Energy-Efficient Hardware-Accelerated Synchronization for Shared-L1-Memory Multiprocessor Clusters
对高度功率和能量受限的处理系统(例如物联网(IoT)的端节点)的性能需求急剧增长,导致并行近阈值计算(NTC),将低电压操作的能效优势与并行系统的典型性能结合起来。共享L1内存多处理器集群是一种很有前途的架构,提供GOPS量级的性能和超过100 GOPS/W的能效。然而,这种计算效率水平只能通过最大化集群中可用的处理元件(PE)的有效利用来达到。与此同时,PE到PE同步和通信的优化是性能的关键因素。在这项工作中,我们描述了一个轻量级的硬件加速的同步和通信单元(SCU)的紧耦合集群的处理器。我们详细介绍了该架构,它可以实现细粒度的每PE电源管理,并将其集成到八核RISC-V处理器集群中。为了验证所提出的解决方案的有效性,我们采用先进的22 nm FDX技术实现了八核集群,并使用可调微基准测试和一组实际应用程序和内核评估了性能和能效。所提出的解决方案允许小到42个周期的无同步区域,当将微基准测试限制为10%同步开销时,比基于快速测试和设置访问L1内存的基线实现小41倍以上。在实际DSP应用中进行评估时,建议的SCU平均性能提高了92%和23%,平均能效提高了98%和39%。
2020-04-14 cs.AR eess.SP
CCSS: Hardware-Accelerated RTL Simulation with Fast Combinational Logic Computing and Sequential Logic Synchronization
针对多核CPU在RTL功能调试仿真中速度不足的瓶颈,提出兼具快速编译与高吞吐量的可扩展多核RTL仿真平台CCSS,通过专用架构与编译策略加速组合逻辑计算和时序同步,最高比现有最优多核仿真器快12.9倍。
2025-09-03 cs.AR cs.DC
Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers
Kaze Technologies(凯兹技术);Kaze Consulting(凯兹咨询);Electrical and Computer Engineering(电气与计算机工程);Lebanese American University(黎巴嫩美国大学);Carnegie Mellon University(卡内基梅隆大学);University of Exeter(埃克塞特大学)
本文提出一种多维评估方法,评估四种物联网适用的边缘平台配置,测试最新硬件加速器的单板计算机,揭示硬件加速器在隐私敏感和连接受限环境中的优势。
2026-08-04 cs.AI cs.AR cs.DC
FPGA-Accelerated RISC-V ISA Extensions for Efficient Neural Network Inference on Edge Devices
PES University(PES大学)
本文提出四种FPGA加速的RISC-V ISA扩展及集成神经网络加速器,在PYNQ-Z2上实现,相比ARM Cortex-A9基线平均延迟加速2.14倍、能耗降低49.1%,建立了可复现的ISA引导FPGA加速框架。
2025-11-10 cs.AR
ESL-former: Event Sparse Linear Transformer for FPGA-Accelerated Malware Detection
School of Computer Science and Engineering, Changsha University(长沙大学计算机科学与工程学院);Electronics and Electrical Engineering, Trinity College Dublin(都柏林三一学院电子与电气工程系)
本文提出ESL-former框架,通过事件稀疏线性Transformer减少FPGA上恶意软件检测的硬件开销,同时保持分类准确率。
2026-10-14 cs.AR
DarKnight: An Accelerated Framework for Privacy and Integrity Preserving Deep Learning Using Trusted Hardware
University of Southern California(南加州大学)
随着机器学习进入不同的应用领域,隐私和安全相关的问题越来越多。数据持有者希望利用私有数据进行训练或推断,同时利用托管在云中的加速器(如GPU)。云系统容易受到攻击者的攻击,这些攻击者会损害数据的隐私性和计算的完整性。要应对这样的挑战,需要将理论上的隐私算法与硬件安全功能统一起来。DarKnight是一个大型DNN训练框架,同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境(TEE)和加速器之间的协作执行,其中TEE提供隐私和完整性验证,而加速器执行大部分线性代数计算以优化性能。特别是,DarKnight使用基于矩阵掩码的自定义数据编码策略在TEE中创建输入混淆。然后将混淆的数据卸载到GPU以进行快速线性代数计算。DarKnight的数据混淆策略在云服务器中提供可证明的数据隐私和计算完整性。虽然以前的作品解决了推理隐私,不能用于训练,但DarKnight的编码方案旨在支持训练和推理。
2022-06-30 cs.AR cs.CR cs.LG
Current Opinions on Memristor-Accelerated Machine Learning Hardware
The University of Hong Kong(香港大学);Huazhong University of Science and Technology(华中科技大学)
本文综述忆阻器加速机器学习硬件的现状与挑战,提出通过跨学科协同设计优化器件变异性、外围电路等关键问题,以推动边缘AI硬件发展。
2025-01-22 cs.AR cs.ET cs.LG
Enabling Physical AI at the Edge: Hardware-Accelerated Recovery of System Dynamics
School of Electrical Engineering Arizona State University Tempe, USA(电气工程学院亚利桑那州立大学Tempe分校);School of Computing Science Arizona State University Tempe, USA(计算科学学院亚利桑那州立大学Tempe分校)
MERINDA通过FPGA加速实现高效边缘端物理AI,显著降低能耗和内存占用,提升训练速度,实现准确的模型恢复。
2025-12-29 cs.AI cs.AR cs.LG
AMAZE: Accelerated MiMC Hardware Architecture for Zero-Knowledge Applications on the Edge
本工作提出AMAZE,一个高度硬件优化的开源框架,用于在资源受限的边缘设备上高效实现ZK友好的MiMC哈希函数,比标准CPU实现快超过13倍,并支持自定义ZKP应用。
2024-11-10 cs.AR cs.CR
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University(斯坦福大学);Tata Consultancy Services(塔塔咨询服务公司)
现代实时业务分析由异构工作负载(例如,数据库查询、图形处理和机器学习)组成。这些分析应用程序需要能够捕获组成工作负载的所有方面(包括它们所使用的数据模型以及跨处理引擎的数据移动)的编程环境。Polystore系统适合此类应用;然而,这些系统目前在CPU上执行,摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++,一种使用硬件加速器(例如FPGA,CGRA和GPU)加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能,这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性,并引入了新的研究问题,这些问题是由硬件加速器的使用引起的(例如,优化和映射跨异构计算单元的查询计划,以及利用硬件流水线和并行性来提高性能)。在本文中,我们详细讨论了这些挑战,并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
Ising Model Optimization Problems on a FPGA Accelerated Restricted Boltzmann Machine
优化问题,特别是NP难的组合优化问题,是目前还没有已知的多项式时间算法的最难计算问题。最近有兴趣使用专用的硬件来加速解决这些问题,物理退火和量子绝热计算机是一些国家的art. In这项工作中,我们证明了使用限制玻尔兹曼机(RBM)作为一个随机神经网络能够有效地解决这些问题。我们表明,通过映射到一个可重构的现场可编程门阵列(FPGA)的RBM,我们可以有效地硬件加速RBM的随机采样算法。我们基准的RBM对DWave 2000 Q量子绝热计算机和光学相干伊辛机上的两个这样的优化问题:最大切割问题,并找到一个谢灵顿-柯克帕特里克(SK)自旋玻璃的基态。在这些问题上,与这些其他加速器相比,硬件加速的RBM显示出同类中最好的性能,与CIM的类似经验$\mathcal{O}(e^{-N})$(RBM显示出超过CIM的恒定改进因子)和DWave退火器的经验$\mathcal{O}(e^{-N^2})$相比,$\mathcal{O}(e^{-N})$对于到达基态的概率的经验缩放性能。结果显示,与DWave 2000 Q相比,MAX-CUT和SK问题的求解时间分别提高了$10^7$ x和$10^5$ x,与相干伊辛机退火机相比,$150$ x和$1000$ x性能提高了。通过使用在室温下运行的商用硬件进行加速,RBM还具有更大的即时和可扩展使用潜力。
2020-10-14 cs.AR physics.comp-ph
Non-Volatile Memory Accelerated Posterior Estimation
Boston University(波士顿大学);IBM Research(IBM研究院);Hasso Plattner Institute(哈索·普拉特纳研究所)
贝叶斯推理允许机器学习模型表达不确定性。当前的机器学习模型在进行预测时只使用单个可学习的参数组合,因此当它们的预测错误时,它们会非常自信。为了有效地使用更多可学习的参数组合,这些样本必须从后验分布中提取。不幸的是,直接计算后验是不可行的,所以研究人员经常用一个众所周知的分布(如高斯分布)来近似它。在本文中,我们表明,通过使用高容量持久存储,后验分布太大而无法近似的模型现在是可行的,从而改善了下游任务的预测。
2022-02-21 cs.AR cs.LG
FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
NVIDIA(NVIDIA公司);University of California, Berkeley(加州大学伯克利分校)
提出FGMP,一种软硬件协同的细粒度混合精度量化方法,通过Fisher信息加权扰动选择高精度块并配合敏感性裁剪,在Llama-2-7B上实现<1%困惑度退化、14%能耗和30%权重内存节省。
2025-04-19 cs.AR cs.LG
CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs
深度神经网络(DNN)在认知应用方面取得了巨大的成功。DNN中的核心操作是量化输入和权重之间的点积。先前的工作利用由于量化而产生的权重/输入重复来避免卷积神经网络(CNN)中的冗余计算。然而,在本文中,我们表明,当应用于最先进的DNN中常用的全连接(FC)层时,它们的有效性受到严重限制,就像现代递归神经网络(RNN)和Transformer模型一样。为了提高FC计算的能量效率,我们提出了CREW,一个硬件加速器,实现计算重用和有效的权重存储机制,以利用FC层中大量的重复权重。CREW首先将唯一权重乘以其各自的输入,并将结果存储在片内缓冲器中。存储要求是适度的,因为与卷积层相比,唯一权重的数量很少,输入的大小相对较小。接下来,CREW通过获取和添加所需的产品来计算每个输出。为此,每个权重都由唯一产品缓冲区中的索引离线替换。索引通常小于量化权重,因为每个输入的唯一权重的数量往往远低于量化权重的范围,这降低了存储和内存带宽要求。总的来说,CREW大大减少了乘法的数量,并在模型内存占用和内存带宽使用方面提供了显著的节省。我们在一组不同的现代DNN上评估CREW。平均而言,CREW提供了2.61倍的加速比和2.42倍的节能比。与最先进的计算重用技术UCNN相比,CREW平均实现了2.10倍的加速和2.08倍的节能。
2022-03-11 cs.AR cs.LG
Performance Analysis of Hardware-Accelerated 10-Bit 4:2:2 Encoding with Split-Frame Encoding for High-Fidelity V-PCC Streaming
School of Fundamental Science and Engineering, Waseda University(早稻田大学基础科学与工程学院)
针对高保真V-PCC流媒体对10位4:2:2编码的实时需求,本文利用Blackwell GPU的四个硬件编码器实现分帧编码,达到122 fps吞吐量,验证了通用GPU的可行性。
2026-06-28 cs.AR cs.MM eess.IV
Hardware-Accelerated Instance Segmentation for Resource-Constrained Space Robotics with Criticality Analysis
German Research Center for Artificial Intelligence GmbH (DFKI)(德国人工智能研究中心);University of Bremen(不来梅大学)
针对月球机器人的弱光、算力有限及辐射故障问题,提出带AVIS校准与DPU部署的YOLO实例分割框架,结合临界性分析缓解故障,恢复69.8%精度损失并降31.7%全局临界性。
2026-09-03 cs.AR cs.CV cs.LG
FPGA-Accelerated Lock Management and Transaction Processing: Architecture, Optimization, and Design Space Exploration
ETH Zurich(苏黎世联邦理工学院)
本文提出基于FPGA的锁管理和事务处理架构,通过低延迟锁代理和可扩展事务代理提升事务吞吐量,实验显示在TPC-C基准上比CPU基线高51倍。
2026-05-13 cs.AR cs.DB cs.DC
CARMEN: CORDIC-Accelerated Resource-Efficient Multi-Precision Inference Engine for Deep Learning
EnICS Labs(EnICS实验室);Bar-Ilan University(巴伊兰大学)
CARMEN通过CORDIC迭代深度动态切换近似与精确执行模式,实现低资源多精度深度学习推理,提升计算效率和能效。
2026-05-07 cs.AR cs.CC cs.RO
TrainDeeploy: Hardware-Accelerated Parameter-Efficient Fine-Tuning of Small Transformer Models at the Extreme Edge
TrainDeeploy是一种在极端边缘端实现小规模Transformer模型参数高效微调的框架,通过硬件加速和多种训练策略提升训练效率。
2026-03-10 cs.AR cs.LG
FPGA Hardware Acceleration for Feature-Based Relative Navigation Applications
Texas A&M University(得克萨斯农工大学)
在基于视觉的相对导航中,两点云之间的刚体变换估计是一个计算上具有挑战性的问题。针对一个实时导航解决方案,利用点云和图像配准算法,本文开发了高性能的航空电子设备的电源和资源约束的位姿估计框架。一个现场可编程门阵列(FPGA)的嵌入式架构的开发,以加速点云之间的相对姿态估计,辅助图像特征,对应于各个点集。在算法层面,姿态估计方法是用于相对姿态和平移估计的最优线性姿态和平移估计(OLTAE)的适应。在架构级别,所提出的嵌入式解决方案是一种硬件/软件协同设计,其评估用于高速状态估计的裸金属硬件上的OLTAE计算。OLTAE算法的有限精度FPGA评估与MATLAB上的双精度评估进行了比较,以进行性能分析和误差量化。所提出的有限精度OLTAE加速器的实现结果表明,基于FPGA的姿态估计的高性能计算能力,同时提供低于7%的相对数值误差。
2022-10-18 cs.AR cs.CV cs.RO