Target Detection and Segmentation in Circular-Scan Synthetic-Aperture-Sonar Images using Semi-Supervised Convolutional Encoder-Decoders
Naval Surface Warfare Center（海军水面作战中心）；Naval Sea Systems Command（海军海上系统司令部）；University of Florida（佛罗里达大学）
我们提出了一个框架，基于显着性，多目标检测和分割的圆扫描，合成孔径声纳（CSAS）图像。我们的框架依赖于多分支卷积编码器-解码器网络（MB-CEDN）。MB-CEDN的编码器部分从CSAS图像中提取视觉对比度特征。这些特征被送入双解码器，执行像素级分割以掩盖目标。每个解码器提供不同的视角，以构成一个显着的目标。这些意见被聚合并级联到一个深度解析网络中，以细化分割。我们使用由五个广泛目标类别组成的真实世界CSAS图像来评估我们的框架。我们比较现有的方法，从计算机视觉文献。我们表明，我们的框架优于为自然图像设计的有监督的深度显着性网络。它大大优于为自然图像开发的无监督显着性方法。这说明，可能需要改变基于自然图像的模型，以有效地用于这种成像声纳模态。
2022-02-17 cs.AI cs.CV
Best Practices in Convolutional Networks for Forward-Looking Sonar Image Recognition
Heriot-Watt University（赫瑞瓦特大学）
卷积神经网络（CNN）为彩色图像的感知带来了革命性的变化，将其应用于声纳图像也取得了良好的效果。但一般来说，CNN很难在没有大数据集的情况下进行训练，需要手动调整相当数量的超参数，并且需要设计者做出许多谨慎的决定。在这项工作中，我们评估了CNN设计者需要做出的三个常见决策，即迁移学习的性能，对象/图像大小的影响以及训练集大小之间的关系。我们评估了三个CNN模型，即一个基于LeNet，两个基于SqueezeNet的Fire模块。我们的发现是：即使当训练和传递集没有共同的类时，使用SVM的迁移学习也工作得很好，并且即使当目标数据集很小时也可以获得高分类性能。ADAM优化器与批量归一化相结合，即使图像尺寸很小（16像素），也可以生成高精度的CNN分类器。每个类至少需要50个样本才能获得$90\%$测试准确度，对小数据集使用Dropout有助于提高性能，但在大数据集可用时，批量归一化更好。
2017-09-08 cs.CV
Improving Sonar Image Patch Matching via Deep Learning
Heriot-Watt University（赫瑞瓦特大学）
高精度匹配声纳图像长期以来一直是一个问题，因为声纳图像由于反射、噪声和视点依赖性而固有地难以建模。自主水下航行器需要良好的声纳图像匹配能力，用于诸如跟踪、同时定位与地图构建（SLAM）和某些情况下的目标检测/识别的任务。我们建议使用卷积神经网络（CNN）来学习一个匹配函数，该函数可以从标记的声纳数据中进行训练，经过预处理以生成匹配和非匹配对。在39 K训练对的数据集中，我们获得了输出二进制分类匹配决策的CNN的ROC曲线下面积（AUC）为0.91，以及输出匹配分数的另一个CNN的AUC为0.89。相比之下，经典的关键点匹配方法如SIFT、SURF、ORB和AKAZE获得AUC 0.61至0.68。替代的学习方法获得类似的结果，随机森林分类器获得AUC 0.79，而支持向量机得到AUC 0.66。
2017-09-07 cs.CV cs.RO
Additional Representations for Improving Synthetic Aperture Sonar Classification Using Convolutional Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Centre for Maritime Research & Experimentation（海事研究与实验中心）
合成孔径声纳（SAS）图像中的目标分类通常是一个数据匮乏和类别不平衡的问题。在许多温和的海底中，几乎没有感兴趣的物体。尽管存在这些问题，目前的分类技术丢弃了大部分收集的SAS信息。特别是，波束形成的SAS图像，我们称之为单视复数（SLC）图像，包含由实部和虚部组成的复数像素。对于人类消费，SLC被转换为幅度-相位表示，并且相位信息被丢弃。甚至更有问题的是，幅度信息通常表现出大的动态范围（> 80 dB），并且必须被动态范围压缩以供人类显示。通常，这种动态范围压缩表示最初是为人类消费而设计的，它被馈送到分类器中。因此，分类过程完全没有相位信息。在这项工作中，我们使用SLC的相位信息以及来自另一个来源的信息：照片的分类性能的改善。我们进行统计测试，以证明我们的结果的有效性。
2018-10-15 cs.CV
Improving Generalization of Synthetically Trained Sonar Image Descriptors for Underwater Place Recognition
University of Padova（帕多瓦大学）
本文提出一种仅用合成数据训练的紧凑型深度声纳描述符流水线，基于ResNet18和随机高斯投影层，结合归一化预滤波与定制合成数据生成，在水下场所识别中优于现有方法。
2023-09-24 cs.CV cs.RO
Using Frame Theoretic Convolutional Gridding for Robust Synthetic Aperture Sonar Imaging
Department of Electrical Engineering, Pennsylvania State University, State College, PA（电气工程系，宾夕法尼亚州立大学，州立学院，PA）；Department of Mathematics, Dartmouth College, Hanover, NH（数学系，达特茅斯学院，汉诺威，NH）；U.S. Naval Research Laboratory, Washington, DC（美国海军研究实验室，华盛顿，DC）
本文提出使用框架理论卷积栅格算法改进合成孔径声呐成像，以提高鲁棒性和精度，减少因多普勒效应和声速估计误差导致的不准确性。
2017-06-26 cs.CV cs.NA math.NA
EmotionNet Nano: An Efficient Deep Convolutional Neural Network Design for Real-time Facial Expression Recognition
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
虽然深度学习的最新进展已经导致面部表情分类（FEC）的显著改进，但仍然是此类系统广泛部署的瓶颈的主要挑战是其高架构和计算复杂性。考虑到各种FEC应用的操作要求，例如安全、营销、学习和辅助生活，这是特别具有挑战性的，其中期望对低成本嵌入式设备的实时的【形】要求。出于对能够在低成本嵌入式设备上执行实时的【形】FEC的紧凑、低延迟、但准确的系统的需求，本研究提出了一种通过人机协作设计策略创建的高效深度卷积神经网络，其中将人类经验与机器的敏捷性和速度相结合，以制作一种适合实时的【形】嵌入式使用的深度神经网络设计。提出了两种不同的变体的网络纳米，每一个都有一个不同的架构和计算复杂性和准确性之间的权衡。使用CK+面部表情基准数据集的实验结果表明，所提出的ApritionNet Nano网络表现出与FEC网络中的最新技术相当的准确性，同时需要显著更少的参数（例如，在更高的精度下少了$\times$ 23个）。此外，我们还证明了所提出的AprictionNet Nano网络在ARM嵌入式处理器上实现了实时的【形】推理速度（例如，分别为15 W和30 W的$>25$ FPS和$>70$ FPS）和高能效（例如，15 W时的$>1.7$图像/秒/瓦），从而进一步说明了AprictionNet Nano在嵌入式设备上部署的有效性。
2020-06-29 cs.CV
Forward-Looking Sonar Patch Matching: Modern CNNs, Ensembling, and Uncertainty
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
水下机器人的应用正在兴起，其中大多数都依赖于声纳进行水下视觉，但缺乏强大的感知能力限制了它们在这方面的任务。声纳感知中的一个重要问题是匹配图像块，这可以实现定位，变化检测和映射等其他技术。对于彩色图像中的这个问题有丰富的文献，但是对于声学图像，由于产生这些图像的物理原因，它是缺乏的。在本文中，我们改进了我们以前针对这个问题的结果（Valdenegro-Toro等人，2017），而不是手动建模特征，卷积神经网络（CNN）学习相似性函数并预测两个输入声纳图像是否相似。为了进一步改善声纳图像匹配问题，在海洋碎片数据集上评估了三种最先进的CNN架构，即DenseNet和VGG，具有连体或双通道架构和对比损失。为了确保每个网络的公平评估，执行彻底的超参数优化。我们发现，表现最好的模型是DenseNet双通道网络，AUC为0.955，VGG-Siamese的对比损失为0.949 AUC，DenseNet Siamese的AUC为0.921。通过集成表现最好的DenseNet双通道和DenseNet-Siamese模型，获得的总体最高预测准确度为0.978 AUC，比现有技术中的0.91 AUC有很大改善。
2021-08-02 cs.CV cs.RO
A Convolutional Vision Transformer for Semantic Segmentation of Side-Scan Sonar Data
Computer Vision and Robotics Research Institute (VICOROB), University of Girona（赫罗纳大学计算机视觉与机器人研究所（VICOROB））
针对侧扫声纳海底数据分类，提出基于ViT的编码器-解码器架构，引入新模块替换MLP并提取多尺度特征，结合轻量级解码器，在低数据量下实现最先进结果并满足实时计算要求。
2023-02-24 cs.CV cs.LG
Underwater object classification using scattering transform of sonar signals
UC Davis（加州大学戴维斯分校）
在本文中，我们应用散射变换（ST），一个基于卷积神经网络（CNN）的非线性映射，使用声纳信号对水下目标进行分类。ST形式化了由CNN学习的滤波器具有小波样结构的观察。我们实现了有效的二进制分类在一个真实的数据集的未爆炸的条例（UXO），以及合成生成的例子。我们还探索了对象域中的变化对波形的影响（例如，平移、旋转和声阻抗等），并检查来自散射变换的理论结果的结果。我们表明，散射变换是能够很好的分类的合成和真实的问题，由于具有更多的准不变性的属性，非常适合于平移和旋转的对象。
2017-09-03 cs.CV
Nonlinear Intensity Sonar Image Matching based on Deep Convolution Features
School of Ocean Engineering, Harbin Institute of Technology（哈尔滨工业大学（威海）海洋工程学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学（威海）计算机科学与技术学院）
随着水下视觉技术的不断发展，可以获取的遥感图像越来越多。在水下场景中，声纳传感器是目前最有效的远程感知设备，其捕获的声纳图像可以提供丰富的环境信息。为了对某一场景进行分析，常常需要对不同时期、不同频率、不同视角的声纳图像进行融合。然而，上述场景会给声纳图像带来非线性的强度差异，这将使传统的匹配方法几乎无效。提出了一种结合局部特征点和深度卷积特征的非线性强度声纳图像匹配方法。该方法具有两个主要优点：（i）基于自学习思想生成与局部特征点相关的数据样本;（ii）使用卷积神经网络（CNN）和Siamese网络结构来度量声纳图像对中局部位置的相似性。该方法将特征提取和特征匹配阶段封装在一个模型中，直接学习图像块对到匹配标签的映射函数，以近端到端的方式完成匹配任务。对水下环境中自主水下航行器（AUV）采集的声纳图像进行了特征匹配实验。实验结果表明，该方法具有较好的匹配效果和较强的鲁棒性。
2021-12-15 cs.CV
Learning Objectness from Sonar Images for Class-Independent Object Detection
German Research Center for Artificial Intelligence（德国人工智能研究中心）
检测没有类别信息的新对象并不简单，因为很难从一个小的训练集进行概括。这对于水下机器人来说是一个有趣的问题，因为在声纳图像中建模海洋物体本质上更加困难，并且训练数据可能先验地不可用。检测建议算法可用于此目的，但通常需要大量的输出边界框。在本文中，我们提出了一个完全卷积神经网络，直接从前视声纳图像回归的对象值的使用。通过对对象进行排序，我们可以产生高召回率（96%），而每张图像只有100个建议。相比之下，EdgeBoxes需要5000个建议才能达到97%的召回率，而Selective Search需要2000个建议才能达到95%的召回率。我们还表明，我们的方法优于模板匹配基线相当大的利润，并能够推广到全新的对象。我们希望这种技术可以用于现场寻找海底丢失的物体。
2019-07-01 cs.CV cs.LG cs.RO
Time and Cost-Efficient Bathymetric Mapping System using Sparse Point Cloud Generation and Automatic Object Detection
University of Florida（佛罗里达大学）
从噪声声纳测量生成3D点云（PC）数据是一个问题，具有潜在的应用水深测绘，人工目标检查，水生植物和动物的测绘以及水下导航和定位的车辆，如潜艇。侧扫声纳传感器成本低廉，特别是在探鱼仪中，传感器通常安装在船底，可以接近比无人水下航行器（UUV）更浅的深度。然而，从侧扫声纳图像中提取三维信息是一个困难的任务，因为它的低信噪比和丢失的角度和深度信息的图像。由于大多数从侧扫声纳图像生成3D点云的算法都使用阴影恢复形状（SFS）技术，因此当海底平滑、深度缓慢变化或没有可识别的物体产生声学阴影时，提取3D信息尤其困难。本文介绍了一种有效的算法，从侧扫声纳图像生成稀疏的三维点云。该计算通过利用第一声纳回波的几何形状与由GPS提供的已知位置和每个数据点处的下扫描声纳深度测量相结合，以计算高效的方式完成。此外，本文实现了另一种算法，该算法使用卷积神经网络（CNN），使用迁移学习对在现实生活中收集的侧扫声纳图像进行目标检测，并通过模拟生成。该算法在真实图像和合成图像上进行了测试，以显示合理准确的异常检测和分类。
2022-10-19 cs.CV cs.RO eess.IV
Quantum-Gated LiteSSD: A Parameter-Efficient Lightweight Hybrid Quantum-Classical Framework for Forward-Looking Sonar Object Detection
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Khulna University of Engineering & Technology（库尔纳工程技术大学）
本文提出Quantum-Gated LiteSSD，一种参数高效的混合量子-经典前视声呐检测框架，通过量子启发的通道门控机制在极低参数下实现高精度目标检测。
2026-09-15 cs.CV
Iterative, Deep, and Unsupervised Synthetic Aperture Sonar Image Segmentation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习还没有被常规地用于合成孔径声纳（SAS）图像的海底环境的语义分割，这是由于这种方法所必需的大量训练数据的隐含需要。丰富的训练数据，特别是所有图像的像素级标签，由于复杂的物流（例如，潜水员测量、追踪船、精确位置信息）。已经提出了许多手工制作的基于特征的算法来以无监督的方式分割SAS。然而，由于这些方法的特征提取步骤是固定的，因此仍有改进的空间。在这项工作中，我们提出了一种新的迭代无监督算法，用于学习SAS图像分割的深度特征。我们提出的算法在聚类超像素和更新卷积神经网络（CNN）的参数之间交替，以便可以优化用于图像分割的特征提取。我们证明了我们的方法在一个现实的基准数据集的有效性。我们的研究结果表明，我们提出的方法的性能是大大优于目前国家的最先进的方法在SAS图像分割。
2021-07-30 cs.CV
Visual Tree Convolutional Neural Network in Image Classification
National University of Defense Technology（国防科技大学）
在图像分类中，随着深度学习的快速发展，卷积神经网络（CNN）模型已经取得了很高的性能。然而，图像数据集中的某些类别比其他类别更难区分。提高对这些混淆类别的分类精度有利于提高分类器的整体性能。在本文中，我们建立一个混淆视觉树（CVT）的基础上的混淆语义层信息来识别混淆类别。通过CVT提供的信息，我们可以引导CNN训练过程更多地关注这些混淆的类别。因此，我们提出了视觉树卷积神经网络（VT-CNN）的基础上，原来的深度CNN嵌入我们的CVT。我们在基准数据集CIFAR-10和CIFAR-100上评估了我们的VT-CNN模型。在我们的实验中，我们建立了3个不同的VT-CNN模型，他们获得了1.36%，0.89%和0.64%的改善，分别为基础的CNN模型。
2019-06-04 cs.CV
Improved Automatic Target Recognition in Synthetic Aperture Sonar Imagery Using Large Deep Neural Networks
该研究对比CNN与Transformer等DNN架构的性能，探究网络规模、预训练等因素对合成孔径声呐自动目标识别的影响，旨在生成高性能模型并提供训练路线图。
2026-11-04 cs.CV
VeloxNet: Efficient Spatial Gating for Lightweight Embedded Image Classification
Canizaro Livingston Gulf States Center for Environmental Informatics, the University of New Orleans（Canizaro Livingston Gulf States环境信息中心，新奥尔良大学）；Center for Geospatial Sciences, Naval Research Laboratory, Stennis Space Center（地理科学中心，海军研究实验室，斯蒂尼斯太空中心）；US Army Corps of Engineers, Engineer Research and Development Center（美国陆军工程兵团，工程研究与发展中心）
本文提出VeloxNet，一种轻量级CNN架构，通过替换SqueezeNet的fire模块为gMLP块，提升嵌入式图像分类的准确率与参数效率，实验显示其在多个数据集上表现优异。
2026-03-19 cs.CV
External-Memory Networks for Low-Shot Learning of Targets in Forward-Looking-Sonar Imagery
Naval Surface Warfare Center（海军水面作战中心）；Naval Sea Systems Command（海军海上系统司令部）；Naval Undersea Warfare Center（海军水下作战中心）；University of Florida（佛罗里达大学）
我们提出了一个基于内存的框架，用于前视声纳（FLS）图像中的实时，数据高效的目标分析。我们的框架依赖于首先使用小规模DenseNet启发的网络从图像中删除非歧视性细节。这样做简化了随后的分析，并允许从几个标记的例子进行概括。然后，我们将过滤后的图像级联到一个新的基于NeuralRAM的卷积匹配网络NRMN中，用于低拍摄目标识别。我们采用了小规模的FlowNet，LFN对齐和注册FLS图像在当地的时间尺度。LFN支持跨图像的目标标签一致性投票，并通常提高目标检测和识别率。我们使用真实世界的FLS图像与多个广泛的目标类，具有高的类内变异性和丰富的子类结构来评估我们的框架。我们证明了少样本学习，具有10到30个特定类别的样本，其表现与在每个类别数百个样本上训练的监督深度网络相似。有效的零样本学习也是可能的。高性能是实现从NRMN的感应传输特性时，分心元素被删除。
2021-07-22 cs.CV cs.LG
Video-based Person Re-identification with Two-stream Convolutional Network and Co-attentive Snippet Embedding
Xiamen University（厦门大学）
近年来，在视觉监控和人机交互中，人的重新识别的应用急剧增加，这表明了这个问题的关键作用。在本文中，我们提出了一个双流卷积网络（ConvNet）的基础上的竞争相似性聚合方案和共同关注的嵌入策略，基于视频的人的重新识别。通过将长视频序列划分为多个短视频片段，我们设法利用每个片段的RGB帧、光流图和姿态图来促进残差网络，例如，ResNet，用于双流ConvNet中的特征提取。提取的特征嵌入的共同关注的嵌入方法，它允许减少噪声帧的影响。最后，我们融合两个流的输出作为一个片段的嵌入，并应用竞争片段相似性聚合来衡量两个序列之间的相似性。我们的实验表明，所提出的方法显着优于当前国家的最先进的方法在多个数据集。
2019-05-28 cs.CV cs.IR cs.LG
Self-Supervised Compression and Artifact Correction for Streaming Underwater Imaging Sonar
Simon Fraser University（西蒙弗雷泽大学）；Douglas College（道格拉斯学院）；McGill University（麦吉尔大学）；Wild Salmon Center（野生鲑鱼中心）
SCOPE通过自监督方法实现低比特率水下声纳流式传输，有效压缩并校正声纳伪影，提升实时检测性能。
2025-12-02 cs.CV cs.LG cs.MM
Spiking Neural Networks for Energy-Efficient Object Detection in Forward-Looking Sonar Imagery
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本研究针对前视声呐图像目标检测，提出全脉冲网络SpikeYOLO，在三类FLS数据集上对比基准模型，实现更低能耗、相当或更优精度及抗噪性，适配AUV节能需求。
2026-08-25 cs.CV eess.SP
On Vision Transformers for Classification Tasks in Side-Scan Sonar Imagery
NIWC（海军信息作战中心）
本文比较ViT与CNN（ResNet、ConvNext）在侧扫声呐图像二分类中的性能，ViT在各项指标上更优但计算成本高，CNN更高效，适合资源受限环境，未来探索自监督与多模态融合。
2024-09-18 cs.CV cs.LG
LCDet: Low-Complexity Fully-Convolutional Neural Networks for Object Detection in Embedded Systems
UC San Diego（加州大学圣迭戈分校）；Qualcomm Inc.（高通公司）
深度卷积神经网络（CNN）是目标检测任务的最先进执行者。众所周知，目标检测比图像分类需要更多的计算和存储。因此，基于CNN的目标检测在嵌入式系统中的整合更具挑战性。在这项工作中，我们提出了LCDet，一个全卷积神经网络的通用目标检测，旨在嵌入式系统中工作。我们设计并开发了一个端到端的基于TensorFlow（TF）的模型。此外，我们对学习的权重采用8位量化。我们使用人脸检测作为用例。我们基于TF-Slim的网络可以在一次向前传递中预测不同形状和大小的不同面孔。我们的实验结果表明，与最先进的基于CNN的人脸检测方法相比，该方法实现了相当的准确性，同时与最好的基于CNN的实时对象检测器之一（如YOLO）相比，模型大小减少了3倍，内存带宽减少了约4倍。TF 8位量化模型提供额外的4倍内存减少，同时保持精度与浮点模型一样好。因此，所提出的模型变得适合嵌入式实现。
2017-05-16 cs.CV
Towards In-Air Ultrasonic QR Codes: Deep Learning for Classification of Passive Reflector Constellations
FTI Cosys-Lab, University of Antwerp（FTI Cosys-Lab，安特卫普大学）；Flanders Make Strategic Research Centre（弗拉芒战略研究中心）
该研究面向视觉失效环境下的自主系统应用，提出用多标签CNN从单次3D声呐测量中识别反射器星座以构建空中超声QR码，验证了方法可行性，还探索了自适应波束形成方案，为高信息熵声学地标系统研发提供了方向。
2025-09-08 cs.CV eess.SP
Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI
The Procter and Gamble Co.（宝洁公司）
最近，理解深度学习模型的中间层和发现刺激的驱动特征引起了人们的极大兴趣。可解释的人工智能（XAI）提供了一种打开AI黑盒并做出透明和可解释的决策的新方法。本文提出了一种新的可解释的卷积神经网络（XCNN），它在端到端模型架构中表示刺激的重要和驱动视觉特征。该网络采用CNN架构中的编码器-解码器神经网络，以基于其类别来表示图像中的感兴趣区域。该模型在没有本地化标签的情况下进行训练，并生成热图作为网络架构的一部分，而无需额外的后处理步骤。在CIFAR-10、Tiny ImageNet和MNIST数据集上的实验结果表明，我们的算法（XCNN）成功地使CNN变得可解释。基于视觉评估，该模型在特定于类的特征表示和可解释的热图生成方面优于当前算法，同时提供了一个简单灵活的网络架构。这种方法的初步成功保证了进一步的研究，以加强弱监督本地化和语义分割在可解释的框架。
2020-06-19 cs.CV
Tiny SSD: A Tiny Single-shot Detection Deep Convolutional Neural Network for Real-time Embedded Object Detection
University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能）
目标检测是计算机视觉中的主要挑战，涉及场景内的目标分类和目标定位。虽然近年来深度神经网络已被证明可以产生非常强大的技术来应对目标检测的挑战，但使这种目标检测网络能够在嵌入式设备上广泛部署的最大挑战之一是高计算和内存要求。最近，人们越来越关注探索更适合嵌入式设备（例如Tiny YOLO和SqueezeDet）的用于目标检测的小型深度神经网络架构。受SqueezeNet中引入的Fire微架构的效率和SSD中引入的单次检测宏架构的目标检测性能的启发，本文介绍了Tiny SSD，这是一种用于实时的【形】嵌入式目标检测的单次检测深度卷积神经网络，非均匀Fire子网络堆栈和高度优化的基于SSD的辅助卷积特征层的非均匀子网络堆栈，专门设计用于最小化模型大小，同时保持目标检测性能。由此产生的Tiny SSD拥有2.3MB的模型大小（比Tiny YOLO小约26倍），同时仍然在VOC 2007上实现了61.3%的mAP（比Tiny YOLO高约4.2%）。这些实验结果表明，非常小的深度神经网络架构可以设计用于非常适合嵌入式场景的实时的【形】目标检测。
2018-02-19 cs.AI cs.CV cs.NE
Deep Learning based Segmentation of Fish in Noisy Forward Looking MBES Images
Technical University of Denmark（丹麦技术大学）；ATLAS MARIDAN（阿特拉斯马里丹公司）
在这项工作中，我们研究了一种深度学习（DL）方法，用于在由前视多波束回声测深仪（MBES）生成的噪声低分辨率图像的小数据集中进行鱼类分割。我们建立在DL和卷积神经网络（CNN）的语义分割的最新进展，并展示了一个端到端的方法，鱼/非鱼的概率预测的所有距离方位角位置投影的成像声纳。我们使用自收集的数据集，从丹麦的声音和法罗群岛训练和测试我们的模型和本技术，以获得令人满意的性能和泛化，即使是低容量的数据集。我们表明，我们的模型证明了所需的性能，并学会了利用语义上下文的重要性，并考虑到这一点，从真正的目标分离噪声和非目标。此外，我们提出了在低成本嵌入式平台上部署模型的技术，以获得适合边缘环境的更高性能-其中计算和功率受到尺寸/成本的限制-用于测试和原型设计。
2020-06-16 cs.CV cs.RO
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich（苏黎世联邦理工学院）
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案，这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络（CNN）目前在所有图像理解基准中都达到了破纪录的精度，但具有非常高的计算复杂性。因此，嵌入式CNN需要小而高效，但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力，并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计，由ZynqNet CNN（一种优化和定制的CNN拓扑）和ZynqNet FPGA加速器（一种用于评估的基于FPGA的架构）组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化，使CNN具有84.5%的前5名准确度，计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则，仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络，最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合，并达到200 MHz的时钟频率，器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
Foveated image processing for faster object detection and recognition in embedded systems using deep convolutional neural networks
University of Sheffield（谢菲尔德大学）
使用深度卷积神经网络（CNN）的目标检测和识别算法往往是计算密集型的。这对嵌入式系统（如移动机器人）提出了一个特殊的挑战，其中的计算资源往往远远少于工作站。作为标准的均匀采样图像的替代方案，我们建议在这里使用中心凹图像采样来减小图像的大小，由于卷积运算的数量减少，在CNN中处理图像的速度更快。我们在Microsoft COCO数据库上评估了目标检测和识别，使用不同图像大小的中央凹图像采样，范围从416 x416到96 x96像素，在嵌入式GPU上-具有256个CUDA内核的NVIDIA Jetson TX 2。结果表明，分别使用416 x416和128 x128像素图像，可以实现帧速率的4倍加速，从3.59 FPS到15.24 FPS。对于中心凹采样，这种图像尺寸的减小仅导致中心凹区域的召回性能小幅下降，降至全尺寸图像基线性能的92.0%，而均匀采样图像的基线召回性能则显着下降至50.1%，这证明了中心凹采样的优势。
2019-08-15 cs.CV eess.IV
fpgaConvNet: A Toolflow for Mapping Diverse Convolutional Neural Networks on Embedded FPGAs
Imperial College London（帝国理工学院）
近年来，卷积神经网络（ConvNets）已经成为广泛的新型嵌入式人工智能系统的使能技术。在各种应用中，性能需求差异很大，从高吞吐量视频监控到自动驾驶汽车的极低延迟要求。在这种情况下，FPGA可以提供一个潜在的平台，可以根据不同的性能需求进行优化配置。然而，ConvNet模型的复杂性不断增加，使其映射到FPGA设备成为一项具有挑战性的任务。这项工作提出了fpgaConvNet，这是一个用于在FPGA上映射ConvNet的端到端框架。该框架采用了一种基于同步数据流（SDF）范式的自动化设计方法，并定义了一组SDF转换，以有效地探索建筑设计空间。通过选择性地优化吞吐量，延迟或多目标标准，所提出的工具能够有效地探索设计空间，并从高级ConvNet规范中生成硬件设计，并针对感兴趣的性能指标进行明确优化。总体而言，我们的框架产生的设计，提高了高达6.65倍的性能超过高度优化的嵌入式GPU设计，在嵌入式环境中相同的功率限制。
2017-11-23 cs.AR cs.CV cs.LG
Watermark Retrieval from 3D Printed Objects via Convolutional Neural Networks
Durham University（杜伦大学）
我们提出了一种用于读取嵌入在平面3D打印表面中的数字数据的方法。数据以二进制数组的形式组织，并以QR码的方式嵌入表面纹理。该检索方法的核心是一个卷积神经网络，输出表面纹理编码值1位位置的置信度图。随后，通过一系列简单的图像处理和应用于置信图的统计操作来检索位阵列。广泛的实验，从各种相机的意见，在各种照明条件下，并从各种材料的颜色打印的对象捕获的图像，表明所提出的方法推广良好，并达到在实际应用中所需的精度水平。
2018-11-19 cs.CV
MicronNet: A Highly Compact Deep Convolutional Neural Network Architecture for Real-time Embedded Traffic Sign Classification
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）
交通标志识别是一项非常重要的计算机视觉任务，在智能交通监控和分析等实际应用中具有重要意义。虽然近年来已经证明深度神经网络可以提供最先进的性能交通标志识别，但是使深度神经网络能够广泛部署用于嵌入式交通标志识别的关键挑战是这种网络的高计算和存储器要求。因此，在研究更适合嵌入式设备的紧凑型深度神经网络架构以用于交通标志识别方面有显著的好处。在本文中，我们介绍了基于宏架构设计原则（例如，光谱宏观结构增强、参数精度优化等）以及数值微体系结构优化策略。因此，所产生的CNONet的整体架构设计具有尽可能少的参数和计算，同时保持识别性能，从而优化所提出的网络的信息密度。由此产生的MicronNet模型大小仅为~ 1 MB，参数约为510，000个（参数比最新技术少~ 27倍），同时在德国交通标志识别基准中仍达到98.9%的人类性能水平顶级准确度。此外，ARMNet仅需要约1000万次乘法累加运算来执行推理，并且在Cortex-A53高效处理器上的计算时间仅为32.19 ms。这些实验结果表明，高度紧凑，优化的深度神经网络架构可以设计用于实时的【形】交通标志识别，非常适合嵌入式场景。
2018-10-03 cs.CV cs.NE
A Resource-Efficient Embedded Iris Recognition System Using Fully Convolutional Networks
Brown University（布朗大学）
全卷积网络在虹膜分割中的应用已经取得了很大的进展。对于移动和嵌入式系统，一个重大的挑战是，提出的FCN架构是非常计算要求。在这篇文章中，我们提出了一个资源有效的，端到端的虹膜识别流程，其中包括基于FCN的分割，轮廓拟合，其次是Daugman规范化和编码。为了获得准确和高效的FCN模型，我们提出了一个三步的软件/硬件协同设计方法，包括FCN架构探索，精度量化和硬件加速。在我们的探索中，我们提出了多个FCN模型，与以前的工作相比，我们的最佳性能模型每次推理所需的FLOPs减少了50倍，同时实现了新的最先进的分割精度。接下来，我们选择最有效的模型集，并通过使用8位动态定点（DFP）格式的权重和激活量化来进一步降低其计算复杂性。然后将每个模型合并到端到端流程中，以进行真正的识别性能评估。我们的一些端到端管道在评估的两个数据集上的表现优于以前的最先进的技术。最后，我们提出了一种新的DFP加速器，并充分展示了我们的流程在嵌入式FPGA平台上的软硬件协同设计实现。与嵌入式CPU相比，我们的硬件加速在使用不到15%的可用FPGA资源的同时，实现了高达8.3倍的加速比。我们还提供了FPGA系统和嵌入式GPU之间的比较，显示两个平台的不同优点和缺点。
2019-09-08 cs.CV cs.NE eess.IV
W2WNet: a two-module probabilistic Convolutional Neural Network with embedded data cleansing functionality
Politecnico di Torino（都灵理工大学）
针对图像退化与错误标注损害 CNN 性能的问题，提出双模块概率网络 W2WNet，利用贝叶斯推理清洗训练数据并在推理时输出置信度，提升多基准与组织学分类准确率。
2021-03-24 cs.AI cs.CV
Towards Efficient Convolutional Neural Network for Embedded Hardware via Multi-Dimensional Pruning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；HP-NTU Digital Manufacturing Corporate Lab, Nanyang Technological University（惠普-南洋理工大学数字制造联合实验室）；Department of Computer Science, Norwegian University of Science and Technology（挪威科技大学计算机科学系）
研究针对嵌入式硬件的高效卷积神经网络，提出TECO多维剪枝框架，通过两阶段重要性评估框架全面评估剪枝单元，用启发式算法逐步修剪网络的深度、宽度和分辨率，实验验证其优于现有方法。
2026-07-14 cs.CV cs.LG
SqueezeJet: High-level Synthesis Accelerator Design for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度卷积神经网络通过在诸如对象识别和目标检测之类的计算机视觉问题中提供准确得多的解决方案，已经主导了模式识别场景。这些解决方案中的大多数都需要巨大的计算成本，需要数十亿次乘法累加运算，因此，在嵌入式移动（资源-功率受限）硬件上运行的实时应用中使用它们非常具有挑战性。这项工作提出了架构，高层次的综合设计，并实现SqueezeJet，一个FPGA加速器的推理阶段的SqueezeNet DCNN架构，这是专门设计用于嵌入式系统。结果表明，与运行在嵌入式移动处理器上的SqueezeNet软件实现相比，SqueezeJet可以实现15.16倍的速度提升，而前5名的精度下降不到1%。
2018-05-06 cs.AR cs.CV
Dataset and Benchmarking of Real-Time Embedded Object Detection for RoboCup SSL
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
当在特定的上下文中产生目标检测的模型时，第一个障碍是具有标记所需类别的数据集。在RoboCup中，一些联盟已经有多个数据集来训练和评估模型。然而，在小型联赛（SSL）中，还没有这样的数据集。本文介绍了一个开源数据集，可用作SSL中实时的【形】目标检测的基准。这项工作还提出了一个管道，训练，部署和评估卷积神经网络（CNN）模型在低功耗嵌入式系统。该管道用于使用最先进的优化模型评估所提出的数据集。在这个数据集中，MobileNet SSD v1在SSL机器人上运行时以94帧每秒（FPS）的速度实现了44.88%的AP（68.81%的AP50）。
2021-06-28 cs.CV cs.RO
Iterative Low-Rank Approximation for CNN Compression
Innopolis University（Innopolis大学）
深度卷积神经网络包含数千万个参数，使其无法在嵌入式设备上高效工作。提出了一种利用低秩近似压缩深度卷积神经网络的迭代方法。由于分类和目标检测是嵌入式设备最受欢迎的任务，我们通过压缩AlexNet，VGG-16，YOLOv 2和Tiny YOLO网络来证明我们方法的有效性。我们的研究结果表明，所提出的方法相比，非重复的优越性。我们证明了更高的压缩比提供更少的精度损失。
2019-11-15 cs.CV
Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms
Eindhoven University of Technology（埃因霍温理工大学）；Philips Innovation Services（飞利浦创新服务）
卷积神经网络（CNN）已被证明是用于图像分类任务的强大的最先进的方法。然而，一个缺点是CNN的高计算复杂性和高存储器消耗，这使得它们在嵌入式平台上执行是不可行的，嵌入式平台被限制在支持CNN所需的物理资源上。量化经常被用来有效地优化CNN的内存和计算复杂性，代价是损失预测精度。因此，我们提出了一种方法来优化预训练的CNN的每一层的权重、偏差和激活，同时控制推理准确性的损失以实现量化推理。我们将32位浮点精度参数转换为低位宽定点表示，从而为给定CNN的每一层的参数找到最佳位宽和分数偏移。我们对CNN后训练的参数进行训练而不重新训练它。我们的方法被设计为考虑其他参数如何量化来对CNN的参数进行训练，因为忽略由于其他量化参数引起的量化误差会导致低精度CNN，其精度损失高达50%，这远远超出了可接受的范围。因此，我们的最终方法给出了一个低精度的CNN，准确性损失小于1%。与商业工具使用的将所有参数转换为8位的方法相比，我们的方法提供了量化的CNN，对于在我们测试的四个数据集上训练的两个CNN，平均降低了53%的内存消耗和77.5%的乘法执行成本。我们发现，参数的逐层量化在这个过程中有很大的帮助。
2021-02-03 cs.CV cs.LG
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia（南澳大学）；University of California, San Diego（加州大学圣地亚哥分校）；Western Sydney University（西悉尼大学）
批量归一化（BN）层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型，用于计算机视觉任务，例如分类和检测。然而，BN层引入了复杂性和计算开销，这对于实时嵌入式视觉系统（例如UAV、机器人和物联网（IoT）设备）的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时，它们也是有问题的，并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中，我们的目标是量化的好处BN层提供的图像分类网络，在与其他选择相比。特别是，我们研究了使用移位ReLU层而不是BN层的网络。我们发现，在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后，BN层并不总是提供显著的优势。我们发现，BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是，在BN层由于速度，内存或复杂性成本而不受欢迎的情况下，应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势，并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems
Purdue School of Engineering and Technology（普渡大学工程与技术学院）
由于现代嵌入式系统和资源受限的移动设备的出现，对用于机器学习目的的高效深度神经网络的需求非常大。当他们的数据被处理并存储在外部服务器中时，公众内部的用户数据的隐私和机密性也越来越受到关注，这进一步推动了对开发这种用于在本地嵌入式系统上进行实时推理的高效神经网络的需求。本文提出的工作范围仅限于使用卷积神经网络的图像分类。卷积神经网络（CNN）是一类广泛用于分析由图像传感器捕获的视觉图像的深度神经网络（DNN），其被设计为提取信息并将其转换为有意义的表示以用于输入数据的实时推断。在本文中，我们提出了一种新的深度卷积神经网络架构变体，以改善现有CNN架构在嵌入式系统上进行实时推理的性能。我们表明，这种架构，被称为CondenseNeXt，是非常有效的相比，基线神经网络架构，CondenseNet，通过减少可训练的参数和FLOP所需的训练网络，同时保持之间的平衡，训练模型的大小小于3.0 MB和准确性的权衡，导致前所未有的计算效率。
2021-12-01 cs.CV cs.LG eess.IV
A robust single-pixel particle image velocimetry based on fully convolutional networks with cross-correlation embedded
Zhejiang University（浙江大学）；MicroVec., Inc（微视公司）；China Ship Scientific Research Center（中国船舶科学研究中心）
粒子图像测速技术（PIV）是实验流体动力学的重要手段。在当前的工作中，我们提出了一种新的速度场估计范式，它实现了深度学习方法和传统互相关方法的协同组合。具体地，深度学习方法用于优化和校正粗略的速度猜测以实现超分辨率计算。互相关法通过粗相关得到初始速度场，具有较大的询问窗口。作为参考，粗略的速度猜测有助于提高所提出的算法的鲁棒性。这种具有嵌入式互相关的全卷积网络被命名为CC-FCN。CC-FCN有两种类型的输入层，一种是用于粒子图像，另一种是用于使用具有粗分辨率的互相关计算的初始速度场。首先，两个金字塔模块分别提取粒子图像和初始速度场的特征。然后，融合模块适当地融合这些特征。最后，CC-FCN通过一系列反褶积层实现超分辨率计算，得到单像素速度场。作为监督学习策略被认为是，合成数据集，包括地面实况流体运动生成训练网络参数。合成和真实的实验PIV数据集被用来测试训练的神经网络的准确性，精度，空间分辨率和鲁棒性。测试结果表明，CC-FCN的这些属性与其他测试的PIV算法相比，进一步提高。因此，该模型可以提供有竞争力的和强大的估计PIV实验。
2021-10-31 cs.AI cs.CV physics.flu-dyn
Reduced Memory Region Based Deep Convolutional Neural Network Detection
Politecnico di Milano（米兰理工大学）；STMicroelectronics（意法半导体）
准确的行人检测在汽车安全中发挥着重要作用：例如，通过向驾驶员发出警告或主动对汽车刹车采取行动，它有助于降低受伤和人员死亡的概率。为了实现非常高的精度，最近的行人检测器已经基于卷积神经网络（CNN）。不幸的是，这样的方法需要大量的计算能力和存储器，从而阻碍了在嵌入式系统上的有效实现。这项工作提出了一种基于CNN的检测器，使通用卷积网络适应手头的任务。通过深入分析和优化检测流水线的每一步，我们开发了一种架构，该架构优于基于传统图像特征的方法，并在具有低计算复杂性的同时实现了接近最新技术水平的准确性。此外，该模型被压缩，以适应低功耗设备与有限数量的嵌入式存储器的严格约束。本文做出了两个主要贡献：（1）证明了基于区域的深度神经网络可以进行微调，以达到足够的行人检测精度;（2）在不降低加州理工学院行人数据集检测精度的情况下，实现了非常低的内存使用。
2016-09-08 cs.CV
Embedded Graph Convolutional Networks for Real-Time Event Data Processing on SoC FPGAs
University of Warsaw（华沙大学）；Politechnika Warszawska（华沙理工大学）
提出一种针对事件相机的硬件感知图卷积网络EFGCN，在SoC FPGA上实现实时处理，模型大小相比AEGNN降低100倍，精度仅下降2.9%。
2026-06-08 cs.AR cs.CV eess.IV
Deep embedded clustering algorithm for clustering PACS repositories
University of Rijeka（里耶卡大学）；University of Ljubljana（卢布尔雅那大学）；Jozef Stefan Institute（约泽夫·斯蒂芬研究所）
由于采集和存储标准的差异，从多个来源创建大型医学放射学图像数据集可能具有挑战性。控制和/或评估图像选择过程的一种可能方式是通过医学图像聚类。然而，这需要用于学习潜像表示的有效方法。在本文中，我们解决的问题，完全无监督聚类的医学图像仅使用像素数据。我们测试了几种当代方法的性能，这些方法建立在卷积自动编码器（CAE）之上-卷积深度嵌入式聚类（CDEC）和卷积改进的深度嵌入式聚类（CIDEC）-以及三种基于预设特征提取的方法-方向梯度直方图（HOG），局部二进制模式（LBP）和主成分分析（PCA）。CDEC和CIDEC是端到端聚类解决方案，涉及潜在表示和聚类分配的同时学习，而其余方法依赖于固定嵌入的k均值聚类。我们在30，000张图像上训练模型，并使用由8，000张图像组成的单独测试集对其进行测试。我们从里耶卡临床医院中心的PACS存储库档案中采集数据。为了进行评估，我们使用了两个目标参数的轮廓分数、均匀性分数和归一化互信息（NMI），这些参数与常见的DICOM标签密切相关-模态和解剖区域（调整后的BodyPartExamined标签）。CIDEC在解剖区域方面的NMI得分为0.473，CDEC在标签模态方面的NMI得分为0.645-均优于其他常用的特征描述符。
2022-06-24 cs.CV eess.IV
YOLO Nano: a Highly Compact You Only Look Once Convolutional Neural Network for Object Detection
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）
目标检测仍然是计算机视觉领域中的一个活跃的研究领域，并且通过设计用于解决目标检测的深度卷积神经网络，在该领域中已经取得了相当大的进步和成功。尽管取得了这些成功，但在边缘和移动场景中广泛部署此类目标检测网络的最大挑战之一是高计算和内存要求。因此，人们对设计满足边缘和移动使用的高效深度神经网络架构的研究兴趣越来越大。在这项研究中，我们介绍了YOLO Nano，这是一种高度紧凑的深度卷积神经网络，用于目标检测任务。利用人机协作设计策略创建YOLO Nano，其中基于YOLO系列单发目标检测网络架构的设计原理的原则性网络设计原型与机器驱动的设计探索相结合，以创建具有高度定制的模块级宏架构和微架构设计的紧凑型网络，该设计专为嵌入式目标检测任务量身定制。拟议的YOLO Nano拥有约4.0MB的模型大小（分别比Tiny YOLOv 2和Tiny YOLOv 3小> 15.1倍和> 8.3倍），需要4.57 B运算进行推理（比Tiny YOLOv 2和Tiny YOLOv 3低>34%和~17%，同时在VOC 2007数据集上仍然实现了~69.1%的mAP（分别比Tiny YOLOv 2和Tiny YOLOv 3高~12%和~10.7%）。在Jetson AGX Xavier嵌入式模块上进行的不同功耗预算下的推理速度和功耗效率实验进一步证明了YOLO Nano在嵌入式场景中的有效性。
2019-10-03 cs.CV cs.NE
Hybrid Cosine Based Convolutional Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
卷积神经网络（CNN）已经在大量的应用中证明了它们解决不同类型问题的能力。然而，CNN因其计算和存储要求而受到限制。这些限制使得难以在诸如移动电话、智能相机或高级驾驶辅助系统的嵌入式设备上实现这些类型的神经网络。在本文中，我们提出了一种名为混合余弦卷积的新层，它使用余弦基来代替标准卷积层来生成滤波器权重。所提出的层提供了几个优点：在训练中更快的收敛，可以在没有成本的情况下增加感受野，并大大减少参数的数量。我们在三个有竞争力的分类任务上评估了我们提出的层，其中我们提出的层可以实现与VGG和ResNet架构相似（在某些情况下更好）的性能。
2019-04-03 cs.CV
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong（香港大学）
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好，因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而，使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里，我们引入了一个3D形态操作残差块，用于在端到端深度学习模型中提取形态特征，以进行语义分割。提出了一种新的网络块结构，将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中，构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明，与传统方法相比，该网络在分割任务中取得了相对较高的性能。总之，新的网络块可以很容易地嵌入到传统网络中，并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks
Renault（雷诺）；LEAT / CNRS UMR 7248（LEAT / 法国国家科学研究中心 UMR 7248）；University Côte d’Azur（蔚蓝海岸大学）
卷积神经网络（CNN）现在是计算机视觉问题的事实上的解决方案，这要归功于它们令人印象深刻的结果和易于学习。这些网络由称为人工神经元的连接单元层组成，松散地模拟生物大脑中的神经元。然而，它们在传统硬件（CPU/GPU）上的实现导致高功耗，使得它们难以在嵌入式系统上集成。例如，在汽车中，嵌入式算法在能量、延迟和准确性方面具有非常高的约束。为了设计更有效的计算机视觉算法，我们建议使用事件相机和脉冲神经网络（SNN）遵循端到端的生物启发方法。事件摄像机输出异步和稀疏事件，提供了一个非常有效的数据源，但是使用同步和密集的算法（如CNN）处理这些事件并没有产生任何显著的好处。为了解决这个限制，我们使用脉冲神经网络（SNN），这是一种生物学上更现实的神经网络，其中单元使用离散的脉冲进行通信。由于其操作的性质，它们是硬件友好和节能的，但培训它们仍然是一个挑战。我们的方法使用流行的深度学习框架PyTorch直接在事件数据上训练稀疏尖峰卷积神经网络。在流行的DVS 128手势数据集上的准确性，稀疏性和训练时间方面的性能使得有可能使用这种生物启发的方法，用于未来在低功耗神经形态硬件上嵌入实时应用。
2021-04-26 cs.CV
Optimization of XNOR Convolution for Binary Convolutional Neural Networks on GPU
Middle East Technical University（中东技术大学）
与全精度网络相比，二进制卷积网络具有更低的计算负载和更低的内存占用。因此，它们是在有限容量的嵌入式设备上部署计算机视觉应用的可行替代方案。一旦在资源受限较少的计算环境中进行训练，它们就可以部署在这些设备上进行实时推理。在这项研究中，我们提出了一种在GPU上实现二进制卷积网络推理的方法，重点是优化XNOR卷积。实验结果表明，在核大小为$3\times3$的情况下，使用GPU可以提供高达$42.61\times$的加速。该实现可在https://github.com/metcan/Binary-Convolutional-Neural-Network-Inference-on-GPU上公开获取
2020-07-28 cs.CV cs.DC
EffNet: An Efficient Structure for Convolutional Neural Networks
Aptiv；University of Wuppertal（伍珀塔尔大学）
随着卷积神经网络在客户产品中的应用不断增加，出现了在嵌入式移动硬件上高效运行模型的需求。因此，苗条的模型已经成为一个热门的研究课题，从二进制网络到修改的卷积层的各种方法。我们为后者做出了贡献，并提出了一种新的卷积块，它大大降低了计算负担，同时超越了当前最先进的技术水平。我们的模型被称为EffNet，它是针对一开始就很苗条的模型进行优化的，并且是为了解决现有模型中的问题而创建的，如MobileNet和ShuffleNet。
2018-06-05 cs.CV cs.NE
ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks
BMW Group（宝马集团）；Technical University of Munich（慕尼黑工业大学）
缩小最先进的卷积神经网络的硬件要求与限制嵌入式应用的有限资源之间的差距是深度学习研究的下一个重大挑战。这种神经网络的计算复杂性和存储器占用对于在资源受限环境中的部署来说通常是令人生畏的。模型压缩技术，如修剪，强调在其他优化方法来解决这个问题。大多数现有技术需要领域专业知识或导致不规则的稀疏表示，这增加了在嵌入式硬件加速器上部署深度学习应用程序的负担。在本文中，我们提出了基于自动编码器的低秩滤波器共享技术（ALF）。当应用于各种网络，ALF相比，国家的最先进的修剪方法，证明其有效的压缩能力的理论指标，以及一个准确的，确定性的硬件模型。在我们的实验中，ALF显示减少了70%的网络参数，61%的操作和41%的执行时间，在准确性的损失最小。
2020-07-27 cs.CV cs.LG stat.ML
Prune the Convolutional Neural Networks with Sparse Shrink
State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Tsinghua University（清华大学）
如今，仍然难以使基于卷积神经网络（CNN）的模型适应于在嵌入式设备上的部署。CNN模型计算量大、内存占用大成为实际应用中的主要负担。在本文中，我们提出了一种“稀疏收缩”算法来修剪现有的CNN模型。该算法通过稀疏重构分析每个通道的重要性，从而能够相应地修剪冗余特征图。由此产生的修剪模型，从而直接节省计算资源。我们已经评估了我们的算法CIFAR-100。实验结果表明，在精度略有下降的情况下，我们可以减少56.77%的参数和73.84%的乘法。这些结果证明了我们的“稀疏收缩”算法的有效性。
2017-08-08 cs.CV
