SQUASH: Simple QoS-Aware High-Performance Memory Scheduler for Heterogeneous Systems with Hardware Accelerators
现代SoC集成了多个CPU内核和硬件加速器(HWA),它们共享同一个主内存系统,导致来自不同代理的内存请求之间的干扰。这种干扰的结果,如果没有得到很好的控制,就会错过HWA的最后期限和CPU性能低下。为CPU-GPU系统设计的现有技术的机制通过在GPU必须完成帧的时间附近优先化GPU来努力满足GPU的目标帧速率。我们观察到两个主要问题时,这种方法是适应异构CPU-HWA系统。首先,HWA错过了最后期限,因为它们的优先级只接近最后期限。其次,这种方法没有考虑在CPU和HWA上运行的不同应用程序的不同存储器访问特性,导致延迟敏感的CPU应用程序的低性能和包括GPU在内的一些HWA的最后期限错过。在本文中,我们提出了一个简单的服务质量服务质量意识的内存异构系统(SQUASH),克服了这些问题,使用三个关键的想法,满足HWA的最后期限,同时提供高的CPU性能的目标。首先,当HWA在截止日期期间的任何时间都没有按计划满足其截止日期时,SQUASH优先考虑HWA。其次,SQUASH根据内存密集型应用程序的性能对内存延迟不敏感的观察结果,将HWA优先于内存密集型CPU应用程序。第三,SQUASH以不同的方式对待短期限的HWA,因为它们更有可能错过其期限,并基于最坏情况的内存访问时间估计来调度其请求。对各种不同工作负载和系统的广泛评估表明,SQUASH实现了比以前最好的调度器更好的CPU性能,同时…
2015-05-27 cs.AR
Cohet: A CXL-Driven Coherent Heterogeneous Computing Framework with Hardware-Calibrated Full-System Simulation
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机学院)
Cohet是首个基于CXL驱动的相干异构计算框架,通过解耦计算和内存资源,提升CPU与XPU协同计算效率,并利用SimCXL模拟器验证其在远程原子操作和远程过程调用中的性能优势。
2026-01-11 cs.AR
Hardware-based Heterogeneous Memory Management for Large Language Model Inference
针对LLM推理中内存容量与带宽冲突,提出异构内存系统H2M2,采用非对称架构与动态映射算法,在多个大模型上实现最高2.94倍加速。
2025-04-21 cs.AR
The MosaicSim Simulator (Full Technical Report)
随着摩尔定律的放缓和Dennard Scaling的结束,架构师越来越多地转向异构并行和特定领域的软硬件协同设计。这些趋势为基于模拟的性能评估提出了新的挑战,而这些评估是早期架构探索的核心。模拟器必须是轻量级的,以支持通用核心和专用处理单元的丰富异构组合。它们还必须支持软硬件协同设计的敏捷探索,即编程模型、编译器、ISA和专用硬件的更改。为了应对这些挑战,我们引入了MosaicSim,一个轻量级的,模块化的异构系统模拟器,提供专门为硬件-软件协同设计探索设计的准确性和敏捷性。通过集成LLVM工具链,MosaicSim可以有效地对指令依赖关系进行建模,并在堆栈中灵活添加。它的模块化还允许不同硬件组件的组合和集成。我们首先展示了MosaicSim捕获应用程序中的架构瓶颈,并准确地模拟了多核环境中的扩展趋势和加速器行为。然后,我们提出了两个案例研究,MosaicSim使直接的设计空间探索新兴系统,即数据科学应用加速和异构并行架构。
2020-04-16 cs.AR
HSCO-Bench: An Agent-Driven End-to-End Hardware-Software Co-design Benchmark for Systems-on-Chip
Columbia University(哥伦比亚大学);IBM Research(IBM研究院)
本文提出HSCO-Bench,一个用于评估大型语言模型在端到端硬件软件协同设计能力的基准,通过评估LLM在资源约束下生成高效SoC原型的能力,揭示了当前模型在硬件加速方面的不足。
2026-05-19 cs.AR
Beyond Prefill-Decode Disaggregation: Dissecting LLM Inference for Heterogeneous Platforms via Dynamic Operator Scheduling
Peking University(北京大学)
研究针对异构平台上LLM推理,提出硬件感知的DOPS框架,通过构建阶段感知DAG,集成双焦点调度器和权重布局仲裁器,实现算子调度与权重布局联合优化,在异构系统中取得加速效果并支持相关分析。
2026-07-29 cs.AR
Reconfigurable Hardware Accelerators: Opportunities, Trends, and Challenges
随着近年来机器学习、语音识别、人工智能、DNA测序等大数据应用的兴起,计算机体系结构研究界正面临着各种数据爆炸的爆发规模。为实现数据密集型计算的高效性,面向最新应用的异构加速器研究已成为计算机体系结构领域的热点问题。目前,异构加速器的实现主要依赖于专用集成电路(ASIC)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等异构计算单元。在上述典型的异构架构中,基于FPGA的可重构加速器具有以下两个优点:第一,FPGA架构包含大量的可重构电路,满足特定应用运行时的高性能和低功耗要求。其次,采用FPGA的可重构结构快速实现原型系统,具有良好的可定制性和可重构性。目前,在计算机体系结构的顶级会议上,涌现出一批基于FPGA或其他可重构体系结构的加速工作。为了更好地回顾近年来可重构计算加速器的相关工作,本综述保留了可重构加速器架构和算法应用的最新高水平研究成果作为基础。本文对可重构加速器的研究热点和关注领域进行了比较,并对可重构加速器的优势、劣势和挑战进行了分析和说明。最后对加速器体系结构的未来发展趋势进行了展望,希望能为计算机体系结构研究者提供参考。
2017-12-13 cs.AR
A Heterogeneous Neural Network Accelerator for End-to-End Multitask RF Signal Recognition
Sorbonne University, CNRS, LIP6(索邦大学,法国国家科学研究中心,LIP6)
本文提出用于多任务射频信号识别的异构神经网络加速器,结合紧凑注意力增强CNN与LSDec,通过新型硬件架构及调度优化资源。在三个数据集上有高准确率,端到端推理延迟低,对嵌入式和边缘设备的多任务频谱智能应用有效。
2026-07-28 cs.AR
Realizing Hardware-Optimized General Tree-Based Data Structures for Heterogeneous System Classes
本文针对异构系统内存特性,提出了树形数据结构节点内存重排策略及触发机制,通过离线和在线优化分别实现高达95%和75%的性能提升。
2025-01-29 cs.AR
Power Saving Evaluation with Automatic Offloading
除了小核CPU(例如GPU、FPGA或众核CPU)之外的异构硬件越来越多地被使用。然而,异构硬件的使用带来了很高的技术技能障碍,例如熟悉CUDA。为了克服这一挑战,我以前提出了环境自适应软件,使自动转换,自动配置,以及高性能和低功耗操作一次编写的代码,根据硬件放置。我之前还验证了自动GPU和FPGA卸载的性能改进。在本文中,我验证了低功耗操作与环境适应评估自动卸载后的电力利用率。我比较了现有应用程序在自动卸载后的瓦特 * 秒与仅CPU处理的情况。
2021-10-21 cs.AR
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
本文提出异构结构化剪枝(HSP)框架,针对NVIDIA Jetson Orin Nano Super边缘设备,在资源约束下为OPT和LLaMA模型选择各子层的最优剪枝结构,提升了质量-资源前沿。
2026-10-14 cs.AR cs.CL cs.LG
DFIT: A Framework for Building Instrumentation Tools Across Heterogeneous Dataflow Accelerators
The University of Toledo(托莱多大学)
DFIT是专为数据流架构设计的检测框架,可在不修改工具逻辑的情况下实现异构数据流加速器的跨平台检测,在Cerebras等三类硬件上开销为3.53%-13.62%,为AI加速器性能分析工具奠定基础。
2026-10-14 cs.AR
A3D-MoE: Acceleration of Large Language Models with Mixture of Experts via 3D Heterogeneous Integration
本文提出A3D-MoE 3D异构集成系统,通过自适应脉动阵列、统一3D数据流、操作融合调度和专家放置优化,提升MoE LLM推理性能。
2025-07-25 cs.AR
HPIPE: Heterogeneous Layer-Pipelined and Sparse-Aware CNN Inference for FPGAs
我们提出了一种新的卷积神经网络(CNN)加速器架构和FPGA的网络编译器,优于所有以前的工作。我们的网络编译器不是一次处理一层的通用处理元件,而是静态地划分可用的设备资源,并为CNN的每一层构建定制的硬件。通过为每一层构建硬件,我们可以将控制器打包到更少的查找表中,并使用专用路由。这些效率使我们的加速器能够利用2倍的DSP,并以2倍以上的频率在FPGA上进行稀疏CNN加速。我们评估我们的架构上的稀疏Resnet-50和密集的MobileNet Imagenet分类器的Stratix 10 2800 FPGA的性能。我们发现,稀疏Resnet-50模型的批量大小为1/4550图像/秒,这几乎是NVIDIA最快的机器学习目标GPU V100吞吐量的4倍,并且优于FPGA上的所有先前工作。
2020-07-20 cs.AR
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University(斯坦福大学);Tata Consultancy Services(塔塔咨询服务公司)
现代实时业务分析由异构工作负载(例如,数据库查询、图形处理和机器学习)组成。这些分析应用程序需要能够捕获组成工作负载的所有方面(包括它们所使用的数据模型以及跨处理引擎的数据移动)的编程环境。Polystore系统适合此类应用;然而,这些系统目前在CPU上执行,摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++,一种使用硬件加速器(例如FPGA,CGRA和GPU)加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能,这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性,并引入了新的研究问题,这些问题是由硬件加速器的使用引起的(例如,优化和映射跨异构计算单元的查询计划,以及利用硬件流水线和并行性来提高性能)。在本文中,我们详细讨论了这些挑战,并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
The Multi-Dataflow Composer Tool: an open-source tool suite for Optimized Coarse-Grain Reconfigurable Hardware Accelerators and Platform Design
现代嵌入式和网络物理系统每天都需要更高的性能、能效和灵活性,以执行多个配置文件和功能,满足不断增长的自适应需求并保持执行效率。这些要求促使设计师采用异构和可重新配置的基板,而这些基板的开发和管理并不那么简单。尽管在许多领域中需要加速和灵活性,但硬件部署和操作的障碍仍然存在,因为需要特定的高级专业知识和技能。相关的挑战有效地解决了利用自动化战略,在某些情况下,如在拟议的工作,利用基于模型的方法。本文重点介绍了多数据流合成器(MDC)工具,旨在解决与粗粒度可重构硬件加速器的设计,优化和操作及其在现代异构衬底中的易于采用相关的问题。详细介绍了MDC的最新功能和改进,并对迄今为止尚未开发的机器人应用领域进行了评估。在Xilinx FPGA板上实现了一个用于机械臂的多轮廓轨迹生成器,以显示在哪些情况下可以应用粗粒度重新配置,哪些可以是MDC允许用户使用的参数和权衡。
2021-03-05 cs.AR
Invited Paper: FEMU: An Open-Source and Configurable Emulation Framework for Prototyping TinyAI Heterogeneous Systems
本文提出开源可配置仿真框架FEMU,利用SoC型FPGA结合可重构硬件区域的异构系统与控制软件区域的软件环境,构建X-HEEP-FEMU平台用于TinyAI异构系统的原型设计与评估。
2025-08-23 cs.AR
RunSoC 2.0: Scheduling and Allocating Automotive Software Tasks to Hardware Partitions in Heterogeneous MPSoCs
Daimler Truck AG(戴姆勒卡车股份公司);Technical University of Munich(慕尼黑工业大学)
RunSoC 2.0是异构MPSoC中汽车软件任务调度与分配的可定制框架,支持多种求解后端,可生成最优调度、暴露架构瓶颈,CP-SAT在硬实时调度中表现更优
2026-09-03 cs.AR cs.NE
Gen-TAS: A Generative AI-Aided Hardware-Software Task Allocation Framework for FPGA-GPP Heterogeneous Systems
Gen-TAS是一种知识增强LLM框架,结合任务图分析与RAG技术,为FPGA-GPP异构系统生成用户特定的可解释任务分配策略,在CNN、SDR工作负载实验中实现稳定的需求驱动分配,延迟导向场景下获显著加速。
2026-08-31 cs.AI cs.AR cs.HC
Hemlet: A Heterogeneous Compute-in-Memory Chiplet Architecture for Vision Transformers with Group-Level Parallelism
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
Hemlet通过组级并行性策略和异构CIM芯片组设计,提升视觉变换器工作负载的吞吐量和能效
2026-02-09 cs.AR
ZK-Tracer: A High-Performance Heterogeneous Accelerator for Zero-Knowledge VM Trace Generation
Southeast University(东南大学);National Center of Technology Innovation for EDA(EDA国家技术创新中心);City University of Hong Kong(香港城市大学)
针对零知识虚拟机前端执行和迹生成成为新系统瓶颈的问题,提出首个专用硬件加速器架构ZK-Tracer,采用主迹单元和并行置换迹单元的异构设计,通过轻量级指令集扩展实现高效任务卸载,在ASIC实现中相比高性能多核CPU实现高达1829倍加速,与后端证明加速器集成后实现963倍端到端性能提升。
2026-05-26 cs.AR
FpgaHub: Fpga-centric Hyper-heterogeneous Computing Platform for Big Data Analytics
FpgaHub提出以FPGA为中心的超异构计算平台,利用可重构计算和丰富IO接口作为数据与控制枢纽,协同CPU、GPU、DPU等处理器,以突破专用硬件IO限制并提升大数据分析性能。
2025-03-12 cs.AR cs.DC
A Centralized Performance Monitoring Architecture for Heterogeneous Multicore SoCs
University of Waterloo(滑铁卢大学)
针对异构多核SoC分布式HPC模块导致性能数据处理复杂的问题,提出含EVU与APMU的集中式架构,在RISC-V SoC平台实现并通过案例验证其有效性。
2026-08-06 cs.AR
KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta
Meta Platforms(Meta平台)
研究针对深度学习推荐模型训练和推理面临的异构性挑战,提出KernelEvolve框架,通过多编程抽象自动生成和优化内核,经实验验证其正确性,大幅提升性能并降低新AI硬件可编程性障碍。
2026-07-08 cs.AI cs.AR cs.LG
Hardware-Software Co-Design of BIKE with HLS-Generated Accelerators
为了减轻量子计算机的安全威胁,NIST正在进行一项标准化后量子密码系统的过程,旨在评估其安全性并加快其在生产场景中的采用。已经为每个候选者提出了几种硬件和软件实现,而只有少数目标是具有CPU和FPGA的异构平台。本文提出了一种适用于嵌入式平台的BIKE硬件/软件协同设计方案,该方案同时采用了CPU和小型FPGA,并采用了高级综合(HLS)来及时提供硬件加速器。与针对性能优化的HLS加速器的最先进的解决方案相比,所提出的解决方案针对在嵌入式系统的异构平台中实现的小型FPGA。与BIKE的纯软件执行相比,在整个Xilinx Zynq-7000系列的片上系统上收集的实验结果突出了Z-7010上的1.37倍到Z-7020上的2.78倍的性能加速。
2023-01-06 cs.AR cs.CR
SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive Thresholding
提出SLIM算法-硬件协同设计,通过自适应阈值化算法利用LLM稀疏性并结合NSP与PIM异构架构,大幅减少数据移动与能耗,在边缘设备上实现了显著的吞吐量和能效提升。
2025-07-12 cs.AR cs.DC
Agentic Design Space Exploration for Joint Hardware Configuration Selection and Mapping of AI Inference Workloads on Heterogeneous Edge SoCs
Purdue University(普渡大学);University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
TraceDSE提出智能体设计空间探索流程,利用执行轨迹反馈联合优化异构边缘SoC上AI推理的映射与配置,相比黑盒优化提升Pareto前沿超体积达68%并减少6-9倍硬件评估。
2026-10-07 cs.AI cs.AR
SimPhony: A Device-Circuit-Architecture Cross-Layer Modeling and Simulation Framework for Heterogeneous Electronic-Photonic AI System
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
SimPhony提出面向异构电子-光子AI系统的跨层建模与仿真框架,统一支持硬件拓扑表示、光学数据流建模、数据感知能量建模及软硬件协同仿真,以填补EPIC AI系统仿真工具空白。
2024-11-20 cs.AI cs.AR cs.ET
Energy Efficient Video Fusion with Heterogeneous CPU-FPGA Devices
本文提出了一个完整的视频融合系统与硬件加速,并探讨了在CPU或FPGA设备之间的计算能量权衡。视频融合应用是基于双树复小波变换(DT-CWT)。在这项工作中,变换映射到硬件加速器使用高层次的FPGA合成工具,也矢量化的单指令多数据(SIMD)引擎在CPU中可用的代码。加速系统将计算时间和能量减少了2倍。此外,结果显示了一个关键发现,即FPGA并不总是加速的最佳选择,当小波分解将帧大小降低到某个阈值以下时,应选择SIMD引擎。这种对工作负载大小的依赖性意味着,在SIMD引擎和FPGA之间进行智能选择的自适应系统可以实现最大的能源和性能效率点。
2016-02-08 cs.AR cs.PF
A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学);Università degli Studi di Ferrara(费拉拉大学);Università degli Studi di Catania(卡塔尼亚大学);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);Politecnico di Torino(都灵理工大学);Università di Roma “Tor Vergata”(罗马二大(托尔韦尔加塔大学));Università degli Studi di Torino(都灵大学)
本文综述了面向异构HPC平台的深度学习硬件加速器,系统梳理GPU、TPU、FPGA、ASIC、RISC-V、存内计算、神经形态、量子与光子等加速技术,并分类总结近年代表性架构,为该领域提供全面参考。
2025-04-07 cs.AR cs.ET cs.LG
Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures
Tufts University(塔夫茨大学)
本文提出 adapter-ALBERT 模型优化方法,通过最大化跨任务数据复用并结合异构片上内存架构映射,在边缘设备上实现高效节能的多任务 NLP 推理。
2023-04-12 cs.AR cs.LG
A Survey on Design Methodologies for Accelerating Deep Learning on Heterogeneous Architectures
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学);Università degli Studi di Ferrara(费拉拉大学);INFN(意大利国家核物理研究所);Università degli Studi di Catania(卡塔尼亚大学);Università degli Studi di Roma Tor Vergata(罗马-托尔维加塔大学);Università degli Studi della Calabria(卡拉布里亚大学)
本文针对异构架构上深度学习加速的设计方法学进行综述,涵盖软硬件协同设计等多方面内容,补充了架构与加速器相关综述,指明技术挑战与开放研究方向。
2026-08-05 cs.AI cs.AR
Map-and-Conquer: Energy-Efficient Mapping of Dynamic Neural Nets onto Heterogeneous MPSoCs
LAMIH/UMR CNRS, Université Polytechnique Hauts-de-France(法国上法兰西理工大学LAMIH/法国国家科学研究中心联合研究单位);University of California, Irvine(加州大学欧文分校)
异构MPSoC包括不同计算能力的不同处理单元。迄今为止,神经网络(NN)到这样的系统的映射策略尚未开发的处理并行性的全部潜力,通过内在NN的结构和底层硬件组成。在本文中,我们提出了一种新的框架,有效地映射到异构MPSoC的方式,使他们能够利用底层的处理并发神经网络。具体来说,我们的方法确定了最佳的分割方案的NN沿其“宽度”的维度,这有利于并发NN块部署到不同的硬件计算单元。此外,我们的方法有助于一个新的计划,部署分区NN到MPSoC作为动态多出口网络的额外的性能增益。我们在标准MPSoC平台上的实验已经产生了比仅GPU映射高2.1倍的能效的动态映射配置,同时比仅DLA映射少1.7倍的延迟。
2023-02-24 cs.AR cs.DC cs.LG
HeTraX: Energy Efficient 3D Heterogeneous Manycore Architecture for Transformer Acceleration
Washington State University(华盛顿州立大学)
本文提出三维异构众核架构 HeTraX,通过硬件资源与 Transformer 计算内核对齐,在保证热可行性的同时实现最高 5.6 倍加速和 14.5 倍 EDP 改善。
2024-08-06 cs.AR cs.LG
MIST: A Co-Design Framework for Heterogeneous, Multi-Stage LLM Inference
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌);Intel(英特尔);Intel Labs(英特尔实验室);Google DeepMind(谷歌DeepMind);Harvard University(哈佛大学);Infravana
MIST是一种用于异构、多阶段LLM推理的联合设计框架,通过模拟不同请求阶段和复杂硬件层次,优化硬件-软件协同设计,解决LLM推理中的配置空间导航和跨厂商PD配置问题。
2026-04-20 cs.AI cs.AR cs.DC
A Survey of Real-time Scheduling on Accelerator-based Heterogeneous Architecture for Time Critical Applications
本文综述了近十年面向时间关键型应用的加速器异构架构实时调度技术,按软硬截止期限分类梳理方法,探讨应用场景驱动的调度方案及领域待解决问题。
2025-05-17 cs.AR cs.DC
Characterizing and Understanding HGNNs on GPUs
异构图神经网络(HGNNs)在异构图表示学习方面具有强大的能力。HGNN的执行通常由GPU加速。因此,表征和理解GPU上HGNN的执行模式对于软件和硬件优化都很重要。不幸的是,GPU上的HGNN工作负载没有详细的表征工作。在本文中,我们描述HGNN的工作负载在推理阶段,并探讨HGNN在GPU上的执行,揭示HGNN的执行语义和执行模式。鉴于特征和探索,我们提出了几个有用的指导方针,用于软件和硬件优化,以便在GPU上高效执行HGNN。
2022-08-09 cs.AR cs.DC
A PGAS Communication Library for Heterogeneous Clusters
这项工作提出了一个异构通信库的集群处理器和FPGA。这个库Shoal支持应用程序的分区全局地址空间(PGAS)内存模型。PGAS是一种用于集群的共享内存模型,它区分了本地和远程内存访问。通过Shoal及其用于硬件和软件的通用应用程序编程接口,应用程序可以更自由地迁移到最佳平台并部署到动态集群拓扑中。该库使用一套完整的微基准测试来建立延迟和吞吐量性能。我们还展示了Jacobi迭代法的实现,该方法演示了应用程序可以轻松地在平台之间移动,以获得更快的运行时间。通过这项工作,我们已经证明了使用PGAS编程模型的多节点异构平台的可行性。
2021-04-26 cs.AR cs.DC
Synergy: A HW/SW Framework for High Throughput CNNs on Embedded Heterogeneous SoC
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
卷积神经网络(CNN)已被广泛应用于不同的应用领域。在使用高性能GPU、FPGA和定制ASIC加速其训练和推理方面取得了重大进展。最近移动和物联网设备的激增需要在嵌入式类、资源受限的平台上进行实时、节能的深度神经网络推理。在这种情况下,我们提出了{ \em Synergy},这是一种基于嵌入式异构片上系统(SoC)架构(Xilinx Zynq)的自动化、软硬件协同设计、流水线、高吞吐量CNN推理框架。{ \em Synergy}通过多线程技术利用所有可用的片上资源,包括双核ARM处理器以及作为加速器的FPGA和NEON SIMD引擎。此外,{ \em Synergy}提供异构加速器(FPGA和NEON)的统一抽象,并通过工作窃取平衡加速器之间的工作负载,在运行时适应不同的网络配置,而无需更改底层硬件加速器架构。{ \em Synergy}在7个CNN模型上实现了7.3倍的平均加速,优于经过良好优化的纯软件解决方案。与相同SoC架构上的当代CNN实现相比,{ \em Synergy}表现出更高的吞吐量和能效。
2018-03-28 cs.AR cs.DC cs.LG
AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall
Shiv Nadar Institution of Eminence(Shiv Nadar卓越学院)
本综述梳理了各类面向大语言模型的AI硬件加速器架构,基于Transformer与Roofline分析指出内存是加速核心约束,对比各平台特性并展望了未来以内存为中心的异构系统发展方向。
2026-08-31 cs.AR cs.DC
Machine Learning on Heterogeneous, Edge, and Quantum Hardware for Particle Physics (ML-HEQUPP)
本文提出利用异构、边缘和量子硬件进行机器学习,以应对粒子物理实验中前所未有的数据挑战。
2026-10-19 cs.AR eess.SP hep-ex
Open-Source Heterogeneous SoCs for AI: The PULP Platform Experience
本文总结了PULP平台自2013年以来在开源异构AI加速SoC设计中的经验,覆盖从架构定义、IP开发验证、VLSI设计到测试与AI部署软件的全流程。
2024-12-29 cs.AR cs.NE eess.SP