SoC-FPGA设备的I/O Cache一致性策略分析与优化

LiteX：基于Migen Python的开源SoC构建器和库DSL

LiteX: an open-source SoC builder and library based on Migen Python DSL

LiteX是GitHub托管的SoC构建器/ IP库和实用程序，可用于创建SoC和完整的FPGA设计。除了开源和BSD许可外，它的独创性还在于它的IP组件完全使用Migen Python内部DSL描述，这简化了它的设计。LiteX已经支持各种软核CPU和基本外设，不依赖于专有IP块或生成器。本文概述了LiteX：给出了两个基于FPGA的真实SoC设计。它们都在设计入口、库和集成功能方面利用了LiteX方法。第一个基于RISC-V内核，第二个基于LM 32内核。在第二个用例中，我们进一步展示了与LiteX相结合的完全开源工具链的使用。

基于FPGA的集成SoC架构，配备RISC-V控制器，用于高效的时间编码脉冲神经网络

An FPGA-Based SoC Architecture with a RISC-V Controller for Energy-Efficient Temporal-Coding Spiking Neural Networks

本文提出一种紧凑的SoC架构，用于时间编码SNN，整合RISC-V控制器与事件驱动SNN核心，通过二值化权重替换乘法运算，减少计算量并提升能效，实现在FPGA上实现高精度神经网络推理。

最新突破性成果：基于FPGA的CNN推理加速器仿真与故障注入

Late Breaking Result: FPGA-Based Emulation and Fault Injection for CNN Inference Accelerators

本文提出基于FPGA的仿真平台，结合Tengine框架生成CNN加速器实现并注入故障，以NVDLA执行ResNet-18为案例，证明其在Zynq UltraScale+ SoC上的容错分析速度比软件仿真快一个数量级。

从电路到SoC处理器：面向DSP加速的算术近似技术与嵌入式计算方法

From Circuits to SoC Processors: Arithmetic Approximation Techniques & Embedded Computing Methodologies for DSP Acceleration

本文提出基于近似计算、硬件加速和异构计算的算术近似技术与映射方法论，在ASIC、FPGA和VPU上实现高能效DSP与AI加速。

Cohmeleon: Learning-Based Orchestration of Accelerator Coherence in Heterogeneous SoCs

One of the most critical aspects of integrating loosely-coupled accelerators in heterogeneous SoC architectures is orchestrating their interactions with the memory hierarchy, especially in terms of navigating the various cache-coherence options: from accelerators accessing off-chip memory directly, bypassing the cache hierarchy, to accelerators having their own private cache. By running real-size applications on FPGA-based prototypes of many-accelerator multi-core SoCs, we show that the best cache-coherence mode for a given accelerator varies at runtime, depending on the accelerator's characte…

用于自主系统中检测、分类与跟踪的基于FPGA的实时CNNs：最新设计与优化进展

Real Time FPGA Based CNNs for Detection, Classification, and Tracking in Autonomous Systems: State of the Art Designs and Optimizations

本文全面综述了FPGA上部署CNN实现视觉任务的最新进展，涵盖算法优化、硬件平台、开发工具、混合加速架构及软硬件协同设计，为边缘嵌入式低功耗高性能视觉系统开发提供参考。

Swift：一种用于扩展加速图分析的多FPGA框架

Swift: A Multi-FPGA Framework for Scaling Up Accelerated Graph Analytics

本文提出多FPGA图加速框架Swift，采用基于GAS的解耦异步区间处理模型，最多支持8个FPGA并优化HBM、PCIe和片上资源利用，性能比ForeGraph高12.8倍，能效比GPU系统高2.6倍。

在FPGA上使用多线程DNN加速器的面部表情识别系统

Facial Expression Recognition System Using DNN Accelerator with Multi-threading on FPGA

本文在SoC FPGA上利用通用DPU加速器结合多线程技术实现独立的面部表情识别系统，通过在同一DPU上运行DenseBox和CNN推理，在保持较小电路规模下实现25 FPS吞吐量且每功耗吞吐量提升2.4倍。

结合容错技术与 COTS SoC 加速器用于空间载荷处理

Combining Fault Tolerance Techniques and COTS SoC Accelerators for Payload Processing in Space

面向空间载荷处理，本文研究 Zynq FPGA 与 Myriad VPU 两类 COTS 加速器的容错方案，并设计基于 CIF/LCD 与自定义 CRC 的可靠协同接口。

异构SoC集成开源循环SNN加速器用于FPGA上的类脑边缘计算

Heterogeneous SoC Integrating an Open-Source Recurrent SNN Accelerator for Neuromorphic Edge Computing on FPGA

本文提出一种异构SoC，集成开源循环SNN加速器与传统处理器，通过FPGA实现验证，评估其在类脑边缘计算中的性能与学习能力。

仿真完整性副本：通过分层孪生实现FPGA SoC的自修复

Emulated Integrity Replica: Enabling Self-Healing on FPGA SoCs via Hierarchical Twins

研究在FPGA SoC上实现容错的难题，提出分层数字孪生框架EIR，利用处理系统空闲周期承载互补孪生实现自主故障检测和恢复，实验表明其在故障覆盖率、能量和面积方面优于DMR基线，为弹性边缘AI部署提供实用途径。

特邀论文：FEMU：面向TinyAI异构系统原型设计的开源可配置仿真框架

Invited Paper: FEMU: An Open-Source and Configurable Emulation Framework for Prototyping TinyAI Heterogeneous Systems

本文提出开源可配置仿真框架FEMU，利用SoC型FPGA结合可重构硬件区域的异构系统与控制软件区域的软件环境，构建X-HEEP-FEMU平台用于TinyAI异构系统的原型设计与评估。

Real-time HOG+SVM based object detection using SoC FPGA for a UHD video stream

Object detection is an essential component of many vision systems. For example, pedestrian detection is used in advanced driver assistance systems (ADAS) and advanced video surveillance systems (AVSS). Currently, most detectors use deep convolutional neural networks (e.g., the YOLO -- You Only Look Once -- family), which, however, due to their high computational complexity, are not able to process a very high-resolution video stream in real-time, especially within a limited energy budget. In this paper we present a hardware implementation of the well-known pedestrian detector with HOG (Histogr…

FADEC: FPGA-based Acceleration of Video Depth Estimation by HW/SW Co-design

3D reconstruction from videos has become increasingly popular for various applications, including navigation for autonomous driving of robots and drones, augmented reality (AR), and 3D modeling. This task often combines traditional image/video processing algorithms and deep neural networks (DNNs). Although recent developments in deep learning have improved the accuracy of the task, the large number of calculations involved results in low computation speed and high power consumption. Although there are various domain-specific hardware accelerators for DNNs, it is not easy to accelerate the enti…

A Comparative Study between HLS and HDL on SoC for Image Processing Applications

The increasing complexity in today's systems and the limited market times demand new development tools for FPGA. Currently, in addition to traditional hardware description languages (HDLs), there are high-level synthesis (HLS) tools that increase the abstraction level in system development. Despite the greater simplicity of design and testing, HLS has some drawbacks in describing harware. This paper presents a comparative study between HLS and HDL for FPGA, using a Sobel filter as a case study in the image processing field. The results show that the HDL implementation is slightly better than t…

嵌入式图卷积网络用于SoC FPGA上的实时事件数据处理

Embedded Graph Convolutional Networks for Real-Time Event Data Processing on SoC FPGAs

提出一种针对事件相机的硬件感知图卷积网络EFGCN，在SoC FPGA上实现实时处理，模型大小相比AEGNN降低100倍，精度仅下降2.9%。

FPGA上的高带宽存储器：数据分析视角

High Bandwidth Memory on FPGAs: A Data Analytics Perspective

由于现代工作负载的需求和随之而来的硬件专业化的必要性，基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下，供应商正在快速调整可重新配置的设备，以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器（HBM）是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中，我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载，并在FPGA上实现它们，以显示它们在哪些情况下受益于HBM：范围选择，哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库（MonetDB），并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下，基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能，高达1.8倍（选择），12.9倍（加入）和3.2倍（SGD）。

Synergy：一个基于嵌入式异构SoC的高吞吐量CNN的HW/SW框架

Synergy: A HW/SW Framework for High Throughput CNNs on Embedded Heterogeneous SoC

卷积神经网络（CNN）已被广泛应用于不同的应用领域。在使用高性能GPU、FPGA和定制ASIC加速其训练和推理方面取得了重大进展。最近移动和物联网设备的激增需要在嵌入式类、资源受限的平台上进行实时、节能的深度神经网络推理。在这种情况下，我们提出了{ \em Synergy}，这是一种基于嵌入式异构片上系统（SoC）架构（Xilinx Zynq）的自动化、软硬件协同设计、流水线、高吞吐量CNN推理框架。{ \em Synergy}通过多线程技术利用所有可用的片上资源，包括双核ARM处理器以及作为加速器的FPGA和NEON SIMD引擎。此外，{ \em Synergy}提供异构加速器（FPGA和NEON）的统一抽象，并通过工作窃取平衡加速器之间的工作负载，在运行时适应不同的网络配置，而无需更改底层硬件加速器架构。{ \em Synergy}在7个CNN模型上实现了7.3倍的平均加速，优于经过良好优化的纯软件解决方案。与相同SoC架构上的当代CNN实现相比，{ \em Synergy}表现出更高的吞吐量和能效。

Agile SoC Development with Open ESP

ESP is an open-source research platform for heterogeneous SoC design. The platform combines a modular tile-based architecture with a variety of application-oriented flows for the design and optimization of accelerators. The ESP architecture is highly scalable and strikes a balance between regularity and specialization. The companion methodology raises the level of abstraction to system-level design and enables an automated flow from software and hardware development to full-system prototyping on FPGA. For application developers, ESP offers domain-specific automated solutions to synthesize new …

基于FPGA的CNN卷积加速器

A CNN Accelerator on FPGA Using Depthwise Separable Convolution

卷积神经网络（CNN）由于其高精度，在计算机视觉和模式识别领域得到了广泛的应用。然而，大型卷积运算是计算密集型的，通常需要强大的计算平台，例如图形处理单元（GPU）。这使得将CNN应用于便携式设备变得困难。最先进的CNN，如MobileNetV 2和Xception，采用深度可分离卷积来取代嵌入式平台的标准卷积。这大大减少了操作和参数，而精度损失有限。这种高度结构化的模型非常适合现场可编程门阵列（FPGA）实现。本文提出了一种可扩展的高性能深度可分离卷积优化的CNN加速器。该加速器可以安装在不同尺寸的FPGA中，在硬件资源和处理速度之间提供平衡。以MobileNetV 2为例，在Arria 10 SoC FPGA上实现，结果表明该加速器可以在3.75ms内对ImageNet中的每幅图片进行分类，约为266.6帧/秒。与CPU相比，这实现了20倍的加速。

NEURAghe：利用CPU-FPGA协同效应，在Zynq SoCs上实现高效灵活的CNN推理加速

NEURAghe: Exploiting CPU-FPGA Synergies for Efficient and Flexible CNN Inference Acceleration on Zynq SoCs

深度卷积神经网络（CNN）在需要人类水平理解数据的任务中获得了出色的结果，如图像或语音识别。然而，它们的计算负荷是显著的，这激发了CNN专用加速器的发展。这项工作提出了NEURAghe，这是一种灵活高效的硬件/软件解决方案，用于在Zynq SoC上加速CNN。NEURAghe利用Zynq ARM内核和部署在可重构逻辑上的强大灵活的卷积特定处理器的协同使用。卷积专用处理器嵌入了卷积引擎和可编程软核，将ARM处理器从大部分监督职责中解放出来，并允许加速器以超精细的粒度由软件控制。这种方法为协作异构计算开辟了道路：虽然加速器负责CNN的大部分工作负载，但ARM内核可以无缝执行计算图中难以加速的部分，利用NEON矢量引擎进一步加速计算。通过配套的NeuDNN SW堆栈，NEURAghe支持端到端基于CNN的分类，峰值性能为169 Gops/s，能效为17 Gops/W。由于我们的异构计算模型，我们的平台在最先进的基础上进行了改进，在端到端执行VGG-16时实现了5.5 fps的帧速率，在ResNet-18上实现了6.6 fps。

基于FPGA的深度神经网络推理的吞吐量优化

Throughput Optimizations for FPGA-based Deep Neural Network Inference

深度神经网络是一种非常成功且广泛用于各种模式识别和机器学习任务的技术。由于功率和资源的限制，这些计算密集型网络很难在嵌入式系统中实现。然而，可以从上述可能性中受益的应用程序数量正在迅速增加。在本文中，我们提出了一种新的架构，用于在基于FPGA的SoC上推理先前学习的任意深度神经网络，这些SoC能够克服这些限制。我们的主要贡献包括在多个输入样本之间重用先前传输的权重矩阵，我们称之为批处理，以及使用压缩的权重矩阵，也称为修剪。这些优化的广泛评价。这两种技术都可以显著减轻数据传输，并将网络推理速度提高一个数量级。与此同时，我们的数据吞吐量超过了功能齐全的基于x86的系统，而能耗仅为它们的一小部分。

面向ADS的基于DNN的高光谱图像分割FPGA SoC优化：一种实用方法

Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach

本文针对自动驾驶系统中基于DNN的高光谱图像分割在FPGA SoC上的实时部署问题，提出软硬件协同优化方案，通过任务分配、硬件感知预处理、模型压缩和流水线部署，将运算量降至24.34%、参数量降至1.02%，实现2.86倍推理加速且精度无明显下降。

Gen-TAS：面向FPGA-GPP异构系统的生成式AI辅助软硬件任务分配框架

Gen-TAS: A Generative AI-Aided Hardware-Software Task Allocation Framework for FPGA-GPP Heterogeneous Systems

Gen-TAS是一种知识增强LLM框架，结合任务图分析与RAG技术，为FPGA-GPP异构系统生成用户特定的可解释任务分配策略，在CNN、SDR工作负载实验中实现稳定的需求驱动分配，延迟导向场景下获显著加速。

Synetgy：基于嵌入式FPGA的ConvNet加速器软硬件协同设计

Synetgy: Algorithm-hardware Co-design for ConvNet Accelerators on Embedded FPGAs

近年来，使用FPGA加速ConvNets引起了人们的极大关注。然而，FPGA加速器设计并没有利用ConvNets的最新进展。因此，每秒帧数（FPS）等关键应用程序特性被忽略，而只支持简单地计算GOP，并且对应用程序成功至关重要的准确性结果通常甚至没有报告。在这项工作中，我们采用了算法硬件协同设计的方法来开发一个ConvNet加速器称为Synetgy和一个新的ConvNet模型称为DiracDeltaNet $^{\dagger}$。加速器和ConvNet都是根据FPGA要求定制的。DiracDeltaNet，顾名思义，是一个只有$1\times 1$卷积的ConvNet，而空间卷积被更有效的移位操作所取代。DiracDeltaNet在ImageNet上实现了具有竞争力的准确性（前5名为88.7\%），但比VGG 16少了42个$\times$参数和48个$\times$ OP。我们进一步将DiracDeltaNet的权重转换为4位，将激活转换为4位，精度损失小于1\%。这些量化很好地利用了FPGA硬件的性质。简而言之，DiracDeltaNet的小模型尺寸，低运算OP计数，低精度和简化的运算符使我们能够为FPGA共同设计高度定制的计算单元。我们通过高级综合在Ultra96 SoC系统上实现了DiracDeltaNet的计算单元。我们的加速器在ImageNet上的最终前5名准确率为8…

ARAPrototyper：为加速器丰富的架构实现快速原型和评估

ARAPrototyper: Enabling Rapid Prototyping and Evaluation for Accelerator-Rich Architectures

与传统的通用处理器相比，加速器丰富架构（ARA）可以提供数量级的性能和能量增益，并正在成为暗硅时代最有前途的解决方案之一。然而，与通用核、加速器、定制的片上互连和存储器系统之间的复杂交互相关的许多设计问题仍然不清楚并且难以评估。在本文中，我们设计和实现的ARAPrototyper，使快速的设计空间探索真正的硅ARA和减少繁琐的原型工作远远下降到可管理的努力。首先，ARAPrototyper提供了一个可重用的基线原型，具有高度可定制的内存系统，包括加速器和缓冲器之间的互连，缓冲器和末级缓存（LLC）或DRAM之间的互连，LLC或DRAM的一致性选择，以及地址转换支持。其次，ARAPrototyper提供了一个干净的界面，可以快速集成用户自己用高级合成（HLS）代码编写的加速器。整个设计流程高度自动化，以在FPGA片上系统（SoC）上生成ARA原型。第三，为了快速开发在ARA原型上无缝运行的应用程序，ARAPrototyper提供了一个系统软件栈，将加速器抽象为软件库，并为软件开发人员提供API。我们的实验结果表明，ARAPrototyper能够以可管理的原型工作为ARA进行广泛的设计空间探索，其评估时间比全系统模拟快4，000倍至10，000倍。我们相信ARAPrototyper可以成为ARA设计和评估的一个有吸引力的选择。

LPYOLO: Low Precision YOLO for Face Detection on FPGA

In recent years, number of edge computing devices and artificial intelligence applications on them have advanced excessively. In edge computing, decision making processes and computations are moved from servers to edge devices. Hence, cheap and low power devices are required. FPGAs are very low power, inclined to do parallel operations and deeply suitable devices for running Convolutional Neural Networks (CNN) which are the fundamental unit of an artificial intelligence application. Face detection on surveillance systems is the most expected application on the security market. In this work, Ti…

脑类神经网络的内嵌FPGA加速：从在线学习到可扩展推理

Embedded FPGA Acceleration of Brain-Like Neural Networks: Online Learning to Scalable Inference

本研究首次在嵌入式FPGA上实现BCPNN脑类神经网络加速器，支持在线学习与推理，相比ARM基线实现17.5倍延迟降低和94%能耗节省，推动边缘神经形态计算实用化。

基于FPGA的多线程C语言综合的CNN推理加速器

FPGA-Based CNN Inference Accelerator Synthesized from Multi-Threaded C Software

深度学习推理加速器是从用Pthreads并行化的C语言软件程序合成的。软件实现使用众所周知的生产者/消费者模型，并行线程通过FIFO队列互连。LegUp高级综合（HLS）工具将线程综合到并行FPGA硬件中，将软件并行性转换为空间并行性。生成一个完整的系统，其中卷积，池化和填充在合成加速器中实现，其余任务在嵌入式ARM处理器上执行。该加速器采用了降低的精度和一种新的方法，用于卷积中的零权重跳过。在中型Intel Arria 10 SoC FPGA上，VGG-16的峰值性能为138有效GOPS。

ESP4ML: Platform-Based Design of Systems-on-Chip for Embedded Machine Learning

We present ESP4ML, an open-source system-level design flow to build and program SoC architectures for embedded applications that require the hardware acceleration of machine learning and signal processing algorithms. We realized ESP4ML by combining two established open-source projects (ESP and HLS4ML) into a new, fully-automated design flow. For the SoC integration of accelerators generated by HLS4ML, we designed a set of new parameterized interface circuits synthesizable with high-level synthesis. For accelerator configuration and management, we developed an embedded software runtime system o…

Exploring Memory Access Patterns for Graph Processing Accelerators

Recent trends in business and technology (e.g., machine learning, social network analysis) benefit from storing and processing growing amounts of graph-structured data in databases and data science platforms. FPGAs as accelerators for graph processing with a customizable memory hierarchy promise solving performance problems caused by inherent irregular memory access patterns on traditional hardware (e.g., CPU). However, developing such hardware accelerators is yet time-consuming and difficult and benchmarking is non-standardized, hindering comprehension of the impact of memory access pattern c…

基于深度学习的2D/3D路径规划集成FPGA加速器

An Integrated FPGA Accelerator for Deep Learning-based 2D/3D Path Planning

提出P3Net和P3NetCore，一种基于PointNet的轻量级2D/3D路径规划深度学习方法和FPGA加速器，在移动机器人有限资源下实现实时高性能路径规划，显著提升速度和功率效率。

在分布式 FPGA 节点上实现时间感知的优先流量管理

Enabling Time-Aware Priority Traffic Management over Distributed FPGA Nodes

本文扩展开源 Corundum 网卡，在 FPGA 硬件中实现基于时间窗口的优先级队列带宽控制，并通过 Linux QDISC 关联流量类别，实验验证其可有效管理各传输流预留带宽。

MATADOR：面向边缘应用的自动化片上系统Tsetlin机器设计生成

MATADOR: Automated System-on-Chip Tsetlin Machine Design Generation for Edge Applications

MATADOR是一种自动化工具，可将Tsetlin机器模型高效部署到SoC-FPGA上，通过逻辑共享和稀疏性利用，实现比量化/二值深度神经网络快13.4倍、资源节省7倍、功耗降低2倍的边缘推理加速器设计。