贯穿校验和：面向边缘 CNN 推理的轻量级故障检测
Carry-Through Checksum: A Lightweight Fault-Detection for CNN Inference at the Edge
- Tallinn University of Technology（塔林理工大学）
- University of Manchester（曼彻斯特大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
针对边缘 CNN 推理中的软错误，提出贯穿校验和方法，通过卷积层内嵌滤波器计算校验和并贯穿推理，实现单次验证的端到端检测，在 Jetson Orin NX 上以几乎零额外开销检测出 FP32/FP16 下 95.86%/86.56% 关键故障，重执行仅增 2.27% 开销。
AI中文摘要：
卷积神经网络（CNN）越来越多地部署在安全关键的边缘应用中，在这些应用中，软错误可能悄无声息地破坏推理输出并导致不安全的决策。此类应用通常依赖资源受限的嵌入式 GPU，因此需要故障检测与缓解技术，这些技术应增加极少的计算、内存和延迟开销，同时与标准 GPU 推理流水线无缝集成。现有的基于算法的容错技术依赖于矩阵增广和逐操作校验和验证，这带来了巨大的开销，对于嵌入式 GPU 上的 CNN 推理而言是难以承受的。在这项工作中，我们提出了贯穿校验和（carry-through checksum），这是一种用于嵌入式 GPU 上 CNN 推理中软错误检测的全新方案。该方法将专用的贯穿滤波器嵌入卷积层，这些滤波器从 CNN 自身的操作中计算校验和，并将其贯穿整个推理过程，从而通过单次输出验证实现端到端的错误检测。在多种 CNN 架构上的实验结果表明，所提出的方法在 FP32 和 FP16 下分别检测出 95.86% 和 86.56% 的关键故障，且几乎不增加每张图像的额外开销。检测到的故障通过重新执行来缓解，在 NVIDIA Jetson Orin NX GPU 上，整个测试集仅产生 2.27% 的运行时间开销。
英文摘要：
Convolutional Neural Networks (CNNs) are increasingly deployed in safety-critical edge applications, where soft errors can silently corrupt inference outputs and lead to unsafe decisions. Such applications typically rely on resource-constrained embedded GPUs, requiring fault detection and mitigation techniques that add minimal compute, memory, and latency overhead while integrating seamlessly with the standard GPU inference pipeline. Existing algorithm-based fault tolerance techniques rely on matrix augmentation and per-operation checksum verification, imposing substantial overhead that is prohibitive for CNN inference on embedded GPUs. In this work, we propose carry-through checksum, a fundamentally new scheme for soft-error detection in CNN inference on embedded GPUs. The method embeds dedicated carry-through filters into the convolutional layers, which compute a checksum from the CNN's own operations and propagate it through inference, enabling end-to-end error detection with a single output verification. Experimental results on multiple CNN architectures show that the proposed method detects 95.86% and 86.56% of critical faults for FP32 and FP16, respectively, at almost no additional per-image overhead. Detected faults are mitigated through re-execution, incurring only 2.27% run-time overhead across the entire test set on an NVIDIA Jetson Orin NX GPU.
