Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会,以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi,这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架,并给出了早期结果,表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
ShEF: Shielded Enclaves for Cloud FPGAs
FPGA现在用于公共云,以加速各种应用程序,包括许多处理敏感数据的应用程序,如财务和医疗记录。我们提出了ShEF,一个可信的执行环境(TEE)基于云的可重构加速器。ShEF独立于基于CPU的TEE,并允许在威胁模型下安全执行,其中对手可以控制连接到FPGA的CPU上运行的所有软件,可以物理访问FPGA,并可以危及云提供商的FPGA接口逻辑。ShEF提供了一个安全的引导和远程证明过程,仅依赖于现有的FPGA机制作为信任根。它还包括一个Shield组件,在使用加速器时提供对数据的安全访问。Shield具有高度可定制性和可扩展性,允许用户以最低的性能和面积开销定制适合其加速器内存访问模式、带宽和安全要求的安全解决方案。我们描述了现有云FPGA的ShEF原型实现,将ShEF映射到高性能和安全的存储应用程序,并使用五个额外的加速器测量可定制安全性的性能优势。
2022-01-28 cs.AR cs.CR
FuseFPS: Accelerating Farthest Point Sampling with Fusing KD-tree Construction for Point Clouds
提出FuseFPS架构与算法协同设计,通过融合KD树构建与点采样阶段并设计高效加速器,显著减少内存访问,在速度和能效上大幅超越现有QuickFPS加速器。
2023-09-10 cs.AR
Accelerator-as-a-Service in Public Clouds: An Intra-Host Traffic Management View for Performance Isolation in the Wild
本研究针对公有云硬件加速器无法普惠使用的问题,指出性能隔离不足是核心难点,提出将流量建模为网络流并主动整形以避免竞争的方案,为未来I/O管理栈与设备接口设计提供参考。
2024-07-14 cs.AR cs.DC cs.NI
An Efficient FPGA Accelerator for Point Cloud
基于深度学习的点云处理在自动驾驶、虚拟现实(VR)和增强现实(AR)等各种视觉任务中发挥着重要作用。子流形稀疏卷积网络(Submanifold Sparse Convolutional Network,SSCN)由于其在可视化效果方面的独特优势,在点云数据处理中得到了广泛的应用。然而,现有的卷积神经网络加速器在用于加速SSCN时,由于极端和非结构化的稀疏性以及中心激活的稀疏性与邻域激活的稀疏性之间的复杂计算依赖性而遭受非平凡的性能降级。在本文中,我们提出了一种高性能的基于FPGA的SSCN加速器。首先,我们开发了一个零去除策略,以消除粗粒度的冗余区域,从而显着提高计算效率。其次,我们提出了一个简洁的编码方案,以获得有效的逐点乘法的匹配信息。第三,我们开发了一个稀疏数据匹配单元和一个计算核心的基础上提出的编码方案,它可以将不规则的稀疏运算转换为规则的乘-累加运算。最后,以3D子流形稀疏U-Net为基准,在Xilinx ZCU 102现场可编程门阵列板上开发并实现了一种高效的子流形稀疏卷积层硬件架构.实验结果表明,我们的设计大大提高了计算效率,并可以显着提高功率效率相比,GPU的51倍。
2022-10-14 cs.AR eess.IV eess.SP
IOTLB-SC: An Accelerator-Independent Leakage Source in Modern Cloud Systems
GPU和FPGA等硬件外设通常用于服务器级计算,以加速特定的计算任务,从数据库查询到机器学习。CSP已经将这些加速器集成到其基础设施中,并允许租户根据自己的需求灵活地组合和配置这些组件。保护I/O接口对于确保这些高度复杂、异构但共享的服务器系统中的租户之间的适当隔离至关重要,特别是在云中,其中一些外围设备可能处于恶意租户的控制之下。在这项工作中,我们调查的接口,连接外围硬件组件彼此和其余的system.We显示,I/O存储管理单元(IOMMU)-旨在确保适当的隔离外设-是一个新的攻击面的来源:I/O转换后备缓冲区(IOTLB)。我们表明,通过使用FPGA加速卡,可以获得精确的信息IOTLB活动。这些信息可以用于外围设备之间的隐蔽通信,而不会干扰CPU,或者直接从邻近的加速计算作业(如GPU加速的数据库)中提取泄漏。在细粒度通道随着CXL和PCIe 5.0的引入而变得广泛可行之前,我们首次对这种新发现的攻击面进行了定性和定量分析。此外,我们提出了可能的对策,软件开发人员,硬件设计人员和系统管理员可以用来抑制所观察到的侧通道泄漏,并分析其隐含的成本。
2023-03-09 cs.AR cs.CR
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University(亚利桑那州立大学)
本文介绍了Systolic-CNN,这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构,经过优化,可加速多租户云/边缘计算中各种卷积神经网络(CNN)的推理。由于在运行时间支持多个CNN模型的灵活性有限,以及可扩展性差,导致FPGA资源利用不足和计算并行性有限,因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构,有效地探索了空间和时间并行性,以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的,用户可以很容易地对其进行调整,以实现粗粒度计算资源的高达100%的利用率(即,DSP块)。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性,可以在运行时间分时加速各种CNN模型,而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明,对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet,Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟,分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
StreamGrid: Streaming Point Cloud Analytics via Compulsory Splitting and Deterministic Termination
针对加速器处理点云时片外存储流量导致的流水线停顿与高能耗问题,提出强制分割与确定性终止技术及 StreamGrid 框架,实现完全流式处理并优化片上缓冲,在精度损失极小下显著降低内存与能耗并大幅提升速度与能效。
2025-06-30 cs.AR
Architecture Support for FPGA Multi-tenancy in the Cloud
云部署现在越来越多地将FPGA加速器作为虚拟实例的一部分。虽然FPGA本质上仍然是单租户的,但对硬件加速的需求不断增长将不可避免地导致对支持FPGA多租户的方法和架构的需求。在本文中,我们提出了一个架构,支持空间共享的FPGA设备之间的多个租户在云中。该架构实现了一个片上网络(NoC)设计的快速数据移动和低硬件占用。在Xilinx Virtex Ultrascale+上对所提出的架构进行原型设计,证明了片上数据移动的最大频率接近规格,虚拟实例访问硬件加速器的吞吐量也很高。与单租户部署相比,我们展示了类似的性能,同时提高了FPGA利用率(我们的案例研究实现了6倍的FPGA利用率),这是虚拟化的主要目标之一。总体而言,我们的NoC互连实现了比最先进技术高出约2倍的最大频率和25.6 Gbps的带宽。
2020-06-14 cs.AR
Dynamic Resource Partitioning for Multi-Tenant Systolic Array Based DNN Accelerator
深度神经网络(DNN)已成为云服务器和边缘设备中的重要应用。与此同时,这些平台上越来越多的DNN增加了在同一设备上执行多个DNN的需求。本文提出了一种动态分区算法,在基于系统数组的加速器上执行多个DNN的并发处理。跨多个DNN共享加速器的存储和处理资源可以提高资源利用率,并减少计算时间和能耗。为此,我们提出了一个分区的重量固定的处理元素的逻辑中的一个小的修改的卷积。我们评估的能量消耗和计算时间与重和轻的工作负载。模拟结果显示,与单租户相比,在重负载和轻负载下,能耗分别提高了35%和62%,计算时间分别提高了56%和44%。
2023-02-21 cs.AR
RPCAcc: A High-Performance and Reconfigurable PCIe-attached RPC Accelerator
本文提出软硬件协同设计的RPC网卡上加速器RPCAcc,通过PCIe互连实现可重构RPC内核卸载,引入三项技术应对PCIe挑战,相比基线序列化时间降低3.2倍,端到端吞吐量提升2.6倍。
2024-11-18 cs.AR
SpOctA: A 3D Sparse Convolution Accelerator with Octree-Encoding-Based Map Search and Inherent Sparsity-Aware Processing
针对3D稀疏卷积在通用平台上的映射搜索慢、计算与内存开销大问题,提出SpOctA加速器,通过八叉树编码协同优化、固有稀疏利用和非均匀缓存实现显著加速与能效提升。
2023-08-18 cs.AR
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania(卡塔尼亚大学)
针对多租户多加速器云环境中差异化 QoS 需求,提出基于深度强化学习的 DNN 在线实时调度算法,以截止时间命中率为 SLI,保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
Privacy and Integrity Preserving Training Using Trusted Hardware
University of Southern California(南加州大学)
随着机器学习进入不同的应用领域,隐私和安全相关的问题越来越多。数据持有者希望使用私有数据进行训练,同时利用托管在云中的GPU等加速器。然而,云系统容易受到攻击者的攻击,这些攻击者会损害数据的隐私性和计算的完整性。这项工作介绍了DarKnight,这是一个大型DNN训练框架,同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境(TEE)和加速器之间的合作执行,其中TEE提供隐私和完整性验证,而加速器执行计算繁重的线性代数运算。
2021-05-01 cs.AR cs.CR cs.LG
A Near Sensor Edge Computing System for Point Cloud Semantic Segmentation
Worcester Polytechnic Institute(伍斯特理工学院)
点云语义分割因其对光照条件的鲁棒性而受到关注。这使其成为自动驾驶的理想语义解决方案。然而,考虑到神经网络的大计算负担和带宽需求,将所有的计算都放在车辆电子控制单元(ECU)中是不有效的和不切实际的。提出了一种基于范围视图的轻量化点云语义分割网络。由于其简单的预处理和标准卷积,它在DPU等深度学习加速器上运行时非常高效。此外,近传感器计算系统是建立自动驾驶汽车。在该系统中,基于FPGA的深度学习加速器核心(DPU)被放置在LiDAR传感器旁边,以执行点云预处理和分割神经网络。通过将后处理步骤留给ECU,该解决方案大大减轻了ECU的计算负担,从而缩短了决策和车辆反应延迟。我们的语义分割网络在Xilinx DPU上实现了每秒10帧(fps)的计算效率为42.5 GOP/W。
2022-07-12 cs.AR cs.CV
PointODE: Lightweight Point Cloud Learning with Neural Ordinary Differential Equations on Edge
University of Tsukuba(茨口大学);Keio University(庆应大学)
本文提出PointODE,一种基于Neural ODE和残差MLP块的参数高效点云特征提取架构,并设计了FPGA专用加速器PointODE-Elite,在保持竞争性准确率的同时实现了显著的推理加速与能效提升。
2025-05-31 cs.AR cs.LG
Crescent: Taming Memory Irregularities for Accelerating Deep Point Cloud Analytics
点云中的3D感知正在改变未来智能机器的感知能力。然而,点云算法受到不规则的内存访问的困扰,导致内存子系统中的大量低效,这瓶颈了整体效率。本文提出了Crescent,这是一种算法-硬件协同设计系统,可以在实现高精度的同时驯服深度点云分析中的不规则性。为此,我们介绍了两个近似技术,近似邻居搜索和选择性银行冲突省略,“正规化”的DRAM和SRAM存储器访问。然而,这样做必然会引入准确性损失,我们通过将近似集成到网络训练过程中的新网络训练过程来减轻这种损失。本质上,我们的训练过程训练以特定近似设置为条件的模型,从而保持高准确性。实验表明,与优化的基线加速器相比,Crescent的性能提高了一倍,能耗降低了一半,精度损失< 1%。我们论文的代码可以在https://github.com/horizon-research/crescent上找到。
2022-04-22 cs.AR
Lightator: An Optical Near-Sensor Accelerator with Compressive Acquisition Enabling Versatile Image Processing
本研究提出光学近传感器加速器Lightator,通过创新压缩采集与细粒度卷积实现边缘低功耗图像处理,仿真显示其能效达84.4千帧每秒每瓦,功耗较现有光子加速器和GPU分别低约24倍、73倍。
2024-03-08 cs.AR eess.SP
Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers
Kaze Technologies(凯兹技术);Kaze Consulting(凯兹咨询);Electrical and Computer Engineering(电气与计算机工程);Lebanese American University(黎巴嫩美国大学);Carnegie Mellon University(卡内基梅隆大学);University of Exeter(埃克塞特大学)
本文提出一种多维评估方法,评估四种物联网适用的边缘平台配置,测试最新硬件加速器的单板计算机,揭示硬件加速器在隐私敏感和连接受限环境中的优势。
2026-08-04 cs.AI cs.AR cs.DC
FractalCloud: A Fractal-Inspired Architecture for Efficient Large-Scale Point Cloud Processing
FractalCloud通过分形启发的架构实现高效大规模点云处理,显著提升速度与能效。
2025-12-15 cs.AI cs.AR
DarKnight: An Accelerated Framework for Privacy and Integrity Preserving Deep Learning Using Trusted Hardware
University of Southern California(南加州大学)
随着机器学习进入不同的应用领域,隐私和安全相关的问题越来越多。数据持有者希望利用私有数据进行训练或推断,同时利用托管在云中的加速器(如GPU)。云系统容易受到攻击者的攻击,这些攻击者会损害数据的隐私性和计算的完整性。要应对这样的挑战,需要将理论上的隐私算法与硬件安全功能统一起来。DarKnight是一个大型DNN训练框架,同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境(TEE)和加速器之间的协作执行,其中TEE提供隐私和完整性验证,而加速器执行大部分线性代数计算以优化性能。特别是,DarKnight使用基于矩阵掩码的自定义数据编码策略在TEE中创建输入混淆。然后将混淆的数据卸载到GPU以进行快速线性代数计算。DarKnight的数据混淆策略在云服务器中提供可证明的数据隐私和计算完整性。虽然以前的作品解决了推理隐私,不能用于训练,但DarKnight的编码方案旨在支持训练和推理。
2022-06-30 cs.AR cs.CR cs.LG
Understanding the Design-Space of Sparse/Dense Multiphase GNN dataflows on Spatial Accelerators
图神经网络(GNN)最近引起了人们的广泛兴趣,因为它们成功地从云和HPC中的几个关键应用程序的图结构数据中学习表示。由于其独特的计算和存储器特性来自计算的密集和稀疏阶段之间的相互作用,可重新配置的空间流(又名空间)加速器的出现通过映射优化的空间流(即,计算顺序和并行性)。这项工作的目标是描述和理解在空间加速器上运行GNN的设计空间,以便映射器或设计空间探索工具根据工作负载优化设计空间。具体来说,我们提出了一种分类法来描述所有可能的选择,用于在空间加速器上在空间和时间上映射GNN推理的密集和稀疏阶段,捕获阶段内的最低和阶段间的最低(流水线)。使用这种分类法,我们做深入的成本和效益的几个并行执行和执行的硬件参数的并行执行的影响和价值的灵活性,以支持流水线执行的案例研究。
2022-03-07 cs.AR cs.DC
SPADE: Sparse Pillar-based 3D Object Detection Accelerator for Autonomous Driving
Hanyang University(汉阳大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
SPADE通过算法-硬件协同设计最大化柱体编码的向量稀疏性,并加速向量稀疏卷积,在3D目标检测中显著减少计算量并提升能效。
2024-01-13 cs.AI cs.AR
Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
University of Catania(卡塔尼亚大学)
针对云环境下多租户DNN调度的SLA满足与硬件利用问题,提出考虑加速器异构性和带宽争用的低开销深度强化学习调度算法RELMAS,相比现有技术SLA满足率最高提升173%,能量开销低于1.5%。
2024-04-13 cs.AR cs.DC cs.LG
Enabling Efficient and Flexible FPGA Virtualization for Deep Learning in the Cloud
Tsinghua University(清华大学)
FPGA在为深度神经网络(DNN)推理应用提供低延迟和高能效解决方案方面显示出巨大的潜力。目前,大多数基于FPGA的DNN加速器在云中以时分复用的方式运行,用于多个用户共享单个FPGA,并且需要重新编译$\sim$ 100 s开销。这种设计导致多用户隔离性差,性能损失严重,无法为公有云和私有云场景提供高效灵活的FPGA虚拟化。为了解决这些问题,我们介绍了一种新的虚拟化框架的指令架构集(ISA)的基础上DNN加速器共享一个FPGA。我们通过引入两级指令调度模块和基于多核的硬件资源池来实现隔离。这样的设计提供了隔离的和运行时可编程的硬件资源,进一步导致多个用户的性能隔离。另一方面,为了克服重编译的开销,我们提出了一种基于分片的指令框架包设计和两阶段的静态-动态编译。仅对轻量级的运行时信息进行重新编译,开销为$\sim$ 1 ms,保证了私有云的性能。我们广泛的实验结果表明,所提出的虚拟化设计实现了1.07- 1.69倍和1.88- 3.12倍的吞吐量提高比以前的静态设计使用单核和多核架构,分别。
2020-03-26 cs.AR cs.DC cs.LG
Neighbors From Hell: Voltage Attacks Against Deep Learning Accelerators on Multi-Tenant FPGAs
University of Toronto(多伦多大学);Vector Institute(向量研究所)
现场可编程门阵列(FPGA)由于其灵活性和能源效率而成为无数数据中心应用的广泛使用的加速器。在这些应用中,FPGA在加速低延迟实时深度学习(DL)推理方面表现出了良好的效果,这正在成为许多最终用户应用不可或缺的组件。随着可由多个用户共享的虚拟化云FPGA的新兴研究方向,基于FPGA的DL加速器的安全性方面需要仔细考虑。在这项工作中,我们评估了DL加速器在多租户FPGA场景中对基于电压的完整性攻击的安全性。我们首先证明了这种攻击的可行性,在一个国家的最先进的Stratix 10卡使用不同的攻击者电路,在逻辑上和物理上隔离在一个单独的攻击者的角色,并且不能被标记为恶意电路由传统的比特流检查器。我们表明,积极的时钟门控,一种有效的节能技术,也可以是一个潜在的安全威胁,在现代FPGA。然后,我们对以受害者角色运行ImageNet分类的DL加速器进行攻击,以评估DL模型对对手引起的时序故障的固有弹性。我们发现,即使使用最强的攻击者电路,DL加速器的预测精度不会受到影响时,在其安全的工作频率运行。此外,我们可以通过对DL加速器进行超频来实现1.18- 1.31倍的推理性能,而不会影响其预测精度。
2022-07-08 cs.AR cs.CR cs.LG
An Integrated FPGA Accelerator for Deep Learning-based 2D/3D Path Planning
Keio University(庆应义塾大学)
提出P3Net和P3NetCore,一种基于PointNet的轻量级2D/3D路径规划深度学习方法和FPGA加速器,在移动机器人有限资源下实现实时高性能路径规划,显著提升速度和功率效率。
2023-06-30 cs.AR cs.RO
Mesorasi: Architecture Support for Point Cloud Analytics via Delayed-Aggregation
University of Rochester(罗切斯特大学);Arm Research(Arm研究院)
点云分析有望成为电池供电的嵌入式和移动平台上的关键工作负载,广泛应用于自动驾驶、机器人和增强现实等新兴应用领域,这些领域的效率至关重要。本文提出了Mesorasi,这是一种算法架构协同设计的系统,可以同时提高点云分析的性能和能源效率,同时保持其准确性。我们对最先进的点云算法的广泛表征表明,虽然在结构上让人联想到卷积神经网络(CNN),但由于点云数据的独特特性,点云算法表现出固有的计算和内存效率低下。我们提出了延迟聚合,一个新的算法原语建立高效的点云算法。延迟聚集算法利用点云算法中关键操作的近似分布特性,隐藏了点云算法的性能瓶颈,减少了计算和存储冗余。延迟聚合让点云算法在移动GPU上实现了1.6倍的加速和51.1%的能耗降低,同时保持了准确性(-0.9%损失到1.2%增益)。为了最大限度地提高算法的优势,我们提出了对当代CNN加速器的微小扩展,这些加速器可以集成到移动片上系统(SoC)中,而无需修改其他SoC组件。通过额外的硬件支持,Mesorasi实现了高达3.6倍的加速。
2020-08-16 cs.AR cs.CV
FPT: a Fixed-Point Accelerator for Torus Fully Homomorphic Encryption
FPT是一种定点FPGA加速器,利用噪声修剪的定点运算实现TFHE自举,达到1 BS/35微秒的吞吐量,比CPU实现快两到三个数量级,比ASIC仿真快2.5倍。
2023-10-18 cs.AR cs.CR
Efficient Edge AI: Deploying Convolutional Neural Networks on FPGA with the Gemmini Accelerator
FZI Research Center for Information Technology(FZI信息技术研究中心);University of Tübingen(蒂宾根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对边缘AI部署的能耗隐私需求与非现成设备部署难题,提出经修改的Gemmini加速器结合开源软件的FPGA端到端CNN部署工作流,在Xilinx ZCU102上部署YOLOv7达36.5 GOP/s/W能效,优于同类方案,并验证了交通监控场景集成可行性。
2024-08-14 cs.AI cs.AR cs.DC
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当今的计算系统需要在计算资源之间来回移动数据(例如,CPU、GPU、加速器)和片外主存储器,以便可以对数据进行计算。不幸的是,这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中,一个有前途的执行范例是内存中处理(PIM),其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能,因为PIM基板施加了许多设计约束。因此,许多最近的作品共同设计专门的PIM加速器和算法,以提高性能并降低(i)来自各种应用领域的应用程序的能耗;以及(ii)各种计算环境,包括云系统,移动系统和边缘设备。我们展示了共同设计算法和硬件的好处,这种方式有效地利用了PIM范式用于两个现代数据密集型应用:(1)边缘设备的机器学习推理模型和(2)云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中,我们广泛分析每个应用程序的计算和内存访问模式,以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中,我们利用第一步的见解来共同设计算法和硬件加速器,为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB