LPU：一种面向大语言模型推理的延迟优化高可扩展处理器

CVA6-RT：面向混合关键系统的开源时间可预测RV64处理器

CVA6-RT: an Open-Source Time-Predictable RV64 Processor for Mixed-Criticality Systems

Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Department of Electrical, Electronic, and Information Engineering, University of Bologna（博洛尼亚大学电气、电子和信息工程系）；Tenstorrent

提出CVA6-RT实时微架构扩展，通过TLB分区锁定、L1缓存可重构便签模式及增强中断控制器，将中断延迟降至12周期，比基线CVA6低10倍。

2026-06-26cs.AR

虚拟线程：高级通用处理器架构

Virtual-Threading: Advanced General Purpose Processors Architecture

本文描述了新的计算机体系结构，其主要特征已在俄罗斯联邦专利2312388和美国专利申请11/991331中要求保护。该体系结构旨在有效支持通用并行计算（GPPC），其本质是非常频繁的线程之间的活动状态和状态之间的切换，在本文中的算法延迟。为了强调体系结构延迟和算法延迟对GPPC的相同影响，引入了广义延迟的概念，并定义了广义延迟容限（GLT）作为广义延迟容限的定量度量。它表明，一个很好的适合GPPC的实现架构应该有高水平的GLT，并描述了这样的架构，这是所谓的虚拟线程机。该架构在活动虚拟化的方向上发起处理器虚拟化，其与众所周知的存储器虚拟化的方向正交。该体系结构的关键元素是1）体系结构寄存器文件的分布式细粒度表示，这些元素是通过微体系结构存储器的级别进行硬件交换的，2）优先化细粒度直接硬件多道程序设计，3）访问控制虚拟寻址和4）硬件驱动信号量。这些功能的组成可以引入新风格的操作系统（OS）编程，这是免费的中断，并与一个非常罕见的使用OS服务的应用程序编程。

2009-10-21cs.ARcs.OS

ETHEREAL：一款用于边缘高分辨率视觉的25.6μs/推理低延迟事件驱动图神经网络处理器

ETHEREAL: A 25.6-$μ$s/inf. Low-latency Event-driven Graph-neural-network Processor for High-resolution Vision at the Edge

Delft University of Technology（代尔夫特理工大学）；KU Leuven（鲁汶大学）；University of Zurich（苏黎世大学）；University of Pennsylvania（宾夕法尼亚大学）

针对边缘高分辨率视觉的低延迟需求，研究人员推出首款EV-GNN处理器ETHEREAL，通过邻域并行样条卷积引擎等实现25.6μs推理延迟，在DAGr-GNN工作负载等上完成验证。

2026-08-19cs.ARcs.CV

一种具有时空缓存和样条卷积的25-$\mu$s/inf事件驱动图神经网络处理器，用于边缘超低延迟AI

A 25-$μ$s/inf Event-driven Graph Neural Network Processor with Spatiotemporal Caching and Spline Convolution for Ultra-low-latency AI at the Edge

Delft University of Technology (TU Delft)（代尔夫特理工大学）；KU Leuven（鲁汶大学）；University of Zürich (UZH)（苏黎世大学）；University of Pennsylvania（宾夕法尼亚大学）

针对DVS事件流超低延迟边缘AI，提出首个可扩展至640×480分辨率的EV-GNN加速器ETHEREAL，采用样条卷积与时空缓存，实现25.6μs延迟和1.7μJ/事件能耗。

2026-09-15cs.ARcs.CV

具有不透明分布式目录的众核处理器中的一致性业务

Coherence Traffic in Manycore Processors with Opaque Distributed Directories

众核处理器具有大量的通用内核，旨在以多线程方式工作。最近的众核处理器使用可扩展的分布式目录保持一致性。一个重要的例子是Intel Mesh互连，它由片上网络互连“瓦片”组成，每个瓦片都包含计算核心、本地缓存和一致性主机。分布式一致性子系统必须针对每个片外访问进行查询，从而对存储器延迟施加开销。本文研究了Intel Knights Landing处理器的物理布局，特别关注一致性子系统，并揭示了分布式目录中物理内存块的伪随机映射功能。利用这些知识，候选优化，以改善内存延迟，通过最小化的一致性流量进行了研究。尽管这些优化确实提高了存储器吞吐量，但由于映射函数的计算复杂性所导致的固有开销，这最终不会转化为性能增益。

2020-11-10cs.ARcs.DC

Goldschmidt算法的硬件实现

Implementation of Goldschmidt's Algorithm with hardware reduction

已经开发了除法算法来减少延迟并提高处理器的效率。浮点除法被认为是高延迟操作。本文探讨了一个这样的划分算法，检查硬件框图，并提出了一种替代路径，可能是成本效益。

2019-09-23cs.AR

通过硬件扩展实现确定性用户级中断

Enabling Deterministic User-Level Interrupts in Real-Time Processors via Hardware Extension

Shandong University（山东大学）

本文提出一种硬件扩展，实现用户级中断到达时确定性切换至正确保护域，无需内核干预，显著降低最坏情况延迟，满足关键实时应用需求。

2026-04-05cs.ARcs.CR

Duet：在处理器与嵌入式FPGA之间创造和谐

Duet: Creating Harmony between Processors and Embedded FPGAs

Princeton University（普林斯顿大学）

Duet通过非侵入式双向缓存一致集成，使嵌入式FPGA与处理器成为平等伙伴，通过细粒度加速和硬件增强提升性能，实验表明通信延迟降低82%，带宽提升9.5倍。

2023-01-07cs.AR

ZnG：使用新闪存构建GPU多处理器，实现可扩展数据分析

ZnG: Architecting GPU Multi-Processors with New Flash for Scalable Data Analysis

我们提出了ZnG，一种新的GPU-SSD集成架构，它可以最大限度地提高GPU中的内存容量，并解决SSD带来的性能损失。具体来说，ZnG将所有GPU内部DRAM替换为超低延迟SSD，以最大限度地提高GPU内存容量。ZnG进一步消除了SSD的性能瓶颈，将其闪存通道替换为高吞吐量闪存网络，并将SSD固件集成到GPU的MMU中，以获得硬件加速的好处。虽然SSD内的闪存阵列可以提供高累积带宽，但由于其访问粒度的不匹配，GPU的存储器请求只能利用这些带宽的一小部分。为了解决这个问题，ZnG采用了一个大型L2缓存和闪存寄存器来缓冲内存请求。我们的评估结果表明，ZnG可以实现比以前的工作高7.5倍的性能。

2020-06-16cs.AR

RevaMp3D：为具有单体集成逻辑和内存的系统设计处理器核心和缓存层次结构

RevaMp3D: Architecting the Processor Core and Cache Hierarchy for Systems with Monolithically-Integrated Logic and Memory

ETH Zurich（苏黎世联邦理工学院）；MangoBoost；University of Toronto（多伦多大学）；POSTECH（浦项科技大学）

RevaMp3D通过移除共享缓存、优化流水结构、利用M3D内存等方法，提升处理器性能并降低能耗。

2026-08-18cs.ARcs.DC

TMA：采用无乘法器大规模并行处理器的Tera-MACs/W神经硬件推理加速器

TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor

深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命，以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算（MAC/W）的数量，其中，最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器（TMA），具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器，无需任何乘法即可工作，这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后，我们比较了我们的加速器的吞吐量和功耗，以前的作品。所提出的加速器在能量和面积方面优于现有技术，实现2.3 TMACS/W@1.0 V，65 nm CMOS技术。

2019-09-08cs.ARcs.DCeess.SP

面向神经网络推理和利用高级综合的固定函数组合逻辑到数字信号处理器的高效编译和映射

Efficient Compilation and Mapping of Fixed Function Combinational Logic onto Digital Signal Processors Targeting Neural Network Inference and Utilizing High-level Synthesis

University of Southern California（南加州大学）

最近的努力，以提高性能的神经网络（NN）的加速器，以满足今天的应用需求已经引起了一个新的趋势，基于逻辑的NN推理依赖于固定功能的组合逻辑。将具有许多输入变量和乘积项的大型布尔函数映射到现场可编程门阵列（FPGA）上的数字信号处理器（DSP）需要考虑DSP块的结构和可重构性的新框架。本文提出的方法将固定功能组合逻辑块映射到一组布尔函数，其中与每个函数对应的布尔运算映射到DSP设备而不是FPGA上的查找表（LUT），以利用DSP块的高性能、低延迟和并行性。本文还提出了一种创新的设计和优化方法的编译和映射的神经网络，利用固定功能的组合逻辑DSP的FPGA上采用高级综合流程。我们在几个\REVone{datasets}和选定NN上的实验评估证明了我们的框架在推理延迟和输出准确性方面与采用DSP的现有技术基于FPGA的NN加速器相比的相当性能。

2022-07-30cs.ARcs.LG

边缘和传感器AI处理器性能分析：一项比较综述

Performance Analysis of Edge and In-Sensor AI Processors: A Comparative Review

本文比较了边缘和在传感器AI处理器的性能，评估了不同架构在低功耗和延迟敏感任务中的表现，突显了在传感器计算的优势和挑战。

2026-02-18cs.ARcs.CVcs.LG

NPE：一种基于FPGA的自然语言处理覆盖处理器

NPE: An FPGA-based Overlay Processor for Natural Language Processing

近年来，基于transformer的模型在自然语言处理（NLP）中显示出了最先进的结果。特别是BERT语言模型的引入，为问答和自然语言推理等任务带来了突破，推动了允许人类与嵌入式设备自然交互的应用。基于FPGA的叠加处理器已被证明是边缘图像和视频处理应用的有效解决方案，这些应用主要依赖于低精度线性矩阵运算。相比之下，基于变换器的NLP技术采用各种具有显著更高频率的更高精度的非线性运算。我们提出了NPE，一个基于FPGA的覆盖处理器，可以有效地执行各种NLP模型。NPE为最终用户提供类似软件的可编程性，并且与为每个非线性函数实现专用加速器的FPGA设计不同，NPE可以升级为未来的NLP模型，而无需重新配置。我们证明了NPE可以满足BERT语言模型的实时会话AI延迟目标，其中$4\times$的功耗低于CPU，$6\times$的功耗低于GPU。我们还表明，NPE使用$3\times$较少的FPGA资源，相对于文献中可比的BERT网络特定的加速器。NPE为边缘的自然语言处理提供了一种基于FPGA的经济高效的解决方案。

2021-04-13cs.AR

能量-延迟攻击：通过海绵投毒攻击设备端神经网络

Energy-Latency Attacks to On-Device Neural Networks via Sponge Poisoning

Monash University（莫纳什大学）；Northwestern Polytechnical University（西北工业大学）

本研究将海绵投毒攻击扩展至设备端场景，提出攻击流水线模拟流式推理，实验证明其能有效污染带内置加速器的移动处理器，并强调需改进防御机制。

2023-05-11cs.AIcs.ARcs.CR

一种高性能且高效的FrodoKEM后量子密码处理器

A High Performance and Efficient Post-Quantum Crypto-Processor for FrodoKEM

本文提出了一种高性能高效的FrodoKEM密码处理器，通过多指令重叠执行和可重构并行乘法器阵列，显著提升了硬件效率和执行速度。

2026-01-23cs.ARcs.CR

无测量辅助的古灵回收 via 盲目重置：对超导和捕获离子处理器的跨平台研究

Measurement-Free Ancilla Recycling via Blind Reset: A Cross-Platform Study on Superconducting and Trapped-Ion Processors

该研究通过盲目的重置技术在超导和离子处理器上减少循环延迟，同时保持高清洁度，为量子计算的部署提供了新的策略选择。

2026-02-24cs.AIcs.ARquant-ph

DNN不是您所需要的全部：在超低功耗IoT处理器上实现非神经ML算法

DNN is not all you need: Parallelizing Non-Neural ML Algorithms on Ultra-Low-Power IoT Processors

机器学习（ML）功能在对延迟和隐私敏感的物联网应用中变得无处不在，促使在极端边缘向近传感器处理转变，从而越来越多地采用并行超低功耗（PULP）物联网处理器。这些计算和内存受限的并行架构需要有效地运行各种算法，包括关键的非神经ML内核，这些内核在严重的资源限制下在准确性方面与深度神经网络（DNN）竞争。在本文中，我们专注于在两个基于RISC的PULP平台上实现非神经ML算法的高效并行执行，即GAP 8（一种商业芯片）和PULP-OPEN（一种在FPGA仿真器上运行的研究平台）。我们通过细粒度分析和密集优化来优化并行算法，以最大限度地提高加速比，考虑到GAP 8上的两个可选浮点（FP）仿真库和PULP-OPEN上的本地FPU支持。实验结果表明，与标准仿真库相比，目标优化仿真库的运行时间平均提高了1.61倍，能耗降低了37%，而原生FPU支持率分别达到了32.09倍和99%.在并行加速方面，我们的设计将目标八核平台上的顺序执行平均提高了7.04倍，从而使能量和延迟降低高达87%。最后，我们与ARM Cortex-M4微控制器（MCU）进行了比较，ARM Cortex-M4微控制器是一种广泛采用的边缘部署商业解决方案，比PULP-OPEN慢12.87倍，能效低98%。

2022-11-12cs.AReess.IV

NoX：一种用于多处理器片上系统的紧凑型开源 RISC-V 处理器

NoX: a Compact Open-Source RISC-V Processor for Multi-Processor Systems-on-Chip

针对边缘计算 MPSoCs 集成需求，本文提出紧凑型开源即插即用 32 位 RISC-V 核心 NoX，采用 4 级单发射顺序流水线与全旁路技术，在资源受限下实现了更优的资源使用与性能折中。

2024-06-25cs.ARcs.CE

Inference-to-complete：面向神经网络驱动的流量分析的高性能可编程数据面协处理器

Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis

National University of Defense Technology（国防科技大学）；Peking University（北京大学）

针对现有神经网络驱动智能数据面无法兼顾灵活性、低延迟高吞吐与数据面无感知性的问题，本文提出位于数据面旁路的协处理器Kaleidoscope，通过三项关键技术实现设计目标，实验验证其性能与准确率均达先进水平。

2024-11-01cs.ARcs.LGcs.NI

CV32RT：为RISC-V微控制器实现快速中断与上下文切换

CV32RT: Enabling Fast Interrupt and Context Switching for RISC-V Microcontrollers

针对RISC-V微控制器中断处理不足，提出CV32RT核心，通过实现CLIC并扩展fastirq，将中断延迟降至6周期，实现快速上下文切换，媲美专有架构。

2023-11-14cs.AR

可扩展的分层指令缓存用于超低功耗处理器集群

Scalable Hierarchical Instruction Cache for Ultra-Low-Power Processors Clusters

针对超低功耗处理器集群，提出可扩展分层指令缓存（L1.5共享缓存加预取器），提升频率达20%，性能最高提升17%，且保持能量效率。

2023-09-04cs.AR

平滑异步CPU-GPU耦合以实现频率感知的延迟估计

Taming Asynchronous CPU-GPU Coupling for Frequency-aware Latency Estimation on Mobile Edge

Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；INTR Thrust, System Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）系统枢纽INTR团队）

本文提出FLAME方法，通过分层建模量化并行性重叠，解决异步耦合导致的延迟波动问题，提升移动边缘应用的延迟估计精度和效率。

2026-04-11cs.AIcs.ARcs.DC

CXL 内存扩展器中低开销通用近数据处理

Low-overhead General-purpose Near-Data Processing in CXL Memory Expanders

本文提出面向 CXL 内存的低开销通用近数据处理架构 M²NDP，通过内存映射函数和微线程机制实现高性能细粒度 NDP 卸载，相比被动式 CXL 内存的 CPU/GPU 主机实现最高 128 倍加速和 87.9% 能耗降低。

2024-09-23cs.AR

评估生成式AI的推理计算：面向企业工作负载的框架

Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads

Citigroup Inc.（花旗集团）；Ernst & Young LLP（安永会计师事务所）；NVIDIA Corporation（英伟达公司）

针对智能体轨迹推理，提出四层评估框架，以有效吞吐量和每次成功回合成本为核心指标，并论证确定性、尾延迟及每步可靠性对长时域任务性能的关键影响。

2026-10-07cs.ARcs.DCcs.LG

在ARM处理器上进行高性能和高能效的深度学习推理

High performance and energy efficient inference for deep learning on ARM processors

我们将PyDTNN（深度神经网络（DNN）的分布式并行训练框架）进化为卷积神经网络的有效推理工具。我们在多核ARM处理器上的优化过程涉及到原始框架的几个高级转换，例如开发和集成Cython例程以利用线程级并行性;设计和开发用于矩阵乘法的微内核，用ARMs NEON内部函数进行向量化，可以适应层融合;以及适合于目标ARM处理器的存储层次结构的若干高速缓存配置参数的适当选择。我们的实验评估了推理吞吐量（以处理的图像/s测量）和推理延迟（即，响应时间）以及当改变线程并行性的级别和处理器功率模式时每个图像的能耗。报告了使用新推理引擎的实验，用于MLPerf套件中ImageNet数据集上的ResNet 50 v1.5模型，使用NVIDIA Jetson AGX Xavier板中的ARM v8.2内核。这些结果显示，与来自Google的广泛传播的TFLite相比，性能优越，与来自ARM的DNN推理本地库ArmNN相比，结果略差。

2021-05-19cs.ARcs.DCcs.PF

面向移动边缘设备上小语言模型推理的DVFS

DVFS for Small Language Model Inference on Mobile Edge Devices

City University of Hong Kong（香港城市大学）

本文提出DVFSLM，一种针对移动边缘设备上小语言模型推理的DVFS设计，通过工作负载感知估计器和运行时调控器，在满足延迟截止时间的同时降低每令牌能耗，实验显示能效和QoS显著提升。

2026-09-15cs.ARcs.DC

一种用于动态神经形态异步处理器（DYNAP）的具有异构存储器结构的可扩展多核架构

A scalable multi-core architecture with heterogeneous memory structures for Dynamic Neuromorphic Asynchronous Processors (DYNAPs)

Computer Systems Lab, School of Engineering & Applied Sciences, Yale University（耶鲁大学工程与应用科学学院计算机系统实验室）；Center of Theoretical Neuroscience, Columbia University（哥伦比亚大学理论神经科学中心）；Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）

类脑计算系统包括使用异步事件进行计算和通信的神经元网络。这种类型的表示在神经形态电子系统的带宽和功耗方面提供了几个优点。然而，在大规模系统中管理异步事件的流量在电路复杂性和存储器要求方面都是一项艰巨的任务。在这里，我们提出了一种新的路由方法，采用分层和网状路由策略，并结合异构内存结构，最大限度地减少内存需求和延迟，同时最大限度地提高编程的灵活性，以支持广泛的基于事件的神经网络架构，通过参数配置。我们验证了所提出的方案，在原型多核神经形态处理器芯片，采用混合模拟/数字电路，用于仿真突触和神经元动力学与异步数字电路管理的地址事件流量。我们提出了一个理论分析建议的连接方案，描述的方法和电路来实现这样的计划，并表征原型芯片。最后，我们展示了使用的神经形态处理器与卷积神经网络的实时分类的视觉符号被闪烁到动态视觉传感器（DVS）在高速。

2017-08-16cs.AIcs.AR

PSCNN：一种基于885.86 TOPS/W可编程SRAM的关键字识别内存计算处理器

PSCNN: A 885.86 TOPS/W Programmable SRAM-based Computing-In-Memory Processor for Keyword Spotting

National Yang Ming Chiao Tung University（阳明交通大学）

内存计算（Computing-in-Memory，CIM）由于其大规模并行性和低功耗的特点，近年来受到了广泛关注。然而，目前的CIM设计受到小CIM宏的大面积开销和模型执行的可编程性差的影响。本文提出了一种可编程CIM处理器，它具有单个大尺寸CIM宏而不是多个较小的CIM宏，用于功率有效的计算和灵活的指令集，以简单的方式支持各种二进制1-D卷积神经网络（CNN）模型。此外，该架构采用池化回写方法来支持融合或独立的卷积/池化操作，以减少35.9%的延迟，采用TSMC 28 nm工艺制造的设计实现了150.8 GOPS的吞吐量和885.86 TOPS/在执行我们的二进制关键字定位模型时，10 MHz时的功耗效率为10 W，与以前的设计相比，它具有更高的功耗效率和灵活性。

2022-05-02cs.ARcs.LGeess.AS

Puppeteer：一种基于随机森林的存储层次结构硬件预取器管理器。

Puppeteer: A Random Forest-based Manager for Hardware Prefetchers across the Memory Hierarchy

Boston University（波士顿大学）；UCAM（剑桥大学）

多年来，处理器吞吐量稳步增长。然而，内存吞吐量并没有以相同的速度增加，这导致了内存墙问题，进而增加了有效和理论峰值处理器性能之间的差距。为了解决这个问题，在数据/指令预取器设计领域已经有了大量的工作。广义地说，预取器预测未来的数据/指令地址访问，并主动地在存储层次结构中获取数据/指令，目的是降低数据/指令访问延迟。为此，在存储层次结构的每个级别部署一个或多个预取器，但是通常，每个预取器被隔离地设计，而不全面考虑系统中的其他预取器。因此，各个预取器并不总是相互补充，这导致较低的平均性能增益和/或许多负异常值。在这项工作中，我们提出Puppeteer，这是一个硬件预取器管理器，使用一套随机森林回归器，以确定在运行时的预取器应在存储层次结构中的每个级别上，这样的预取器相互补充，我们减少了数据/指令访问延迟。与没有预取器的设计相比，使用Puppeteer，我们在1个核心（1C）中将IPC提高了46.0%，在4个核心（4C）中提高了25.8%，在8个核心（8 C）处理器中提高了11.9%，这些跟踪来自SPEC 2017，SPEC 2006和云套件，开销约为10 KB。此外，我们还将负离群值的数量减少了89%以上，并且与最先进的技术相比，最坏情况下的负离群值的性能损失从25%减少到仅5%。

2022-01-28cs.ARcs.LGcs.PF