DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas Instruments Inc（德州仪器公司）
深度神经网络已经在各种计算机视觉任务上实现了最先进的性能。然而，它们在资源受限设备上的部署由于其高计算和存储复杂性而受到阻碍。虽然各种复杂性降低技术，如轻量级网络架构设计和参数量化，已经成功地降低了实现这些网络的成本，但这些方法通常被认为是正交的。实际上，现有的量化技术无法在轻量级架构（如MobileNet）上复制其成功。为此，我们提出了一种新的完全可微的非均匀量化器，可以无缝地映射到有效的基于三进制的点积引擎。我们在CIFAR-10，ImageNet和Visual Wake Words数据集上进行了全面的实验。建议的量化器（DBQ）成功地解决了艰巨的任务，积极量化轻量级网络，如MobileNetV 1，MobileNetV 2和ShuffleNetV 2。DBQ以最小的训练开销实现了最先进的结果，并提供了最佳（帕累托最优）的准确性-复杂性权衡。
2020-07-19 cs.CV cs.LG stat.ML
Deep Learning Approach Combining Lightweight CNN Architecture with Transfer Learning: An Automatic Approach for the Detection and Recognition of Bangladeshi Banknotes
Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）
纸币的自动检测和识别对于视力有障碍的人来说是非常有用的技术，并且通过提供处理不同纸币的有效管理而对银行本身也是非常有用的技术。轻量级模型可以轻松集成到任何方便的基于物联网的小工具/设备中。本文介绍了我们对几种基于轻量级卷积神经网络架构结合迁移学习的最先进深度学习方法的实验。ResNet 152 v2、MobileNet和NASNetMobile被用作基础模型，两个不同的数据集包含孟加拉国钞票图像。Bangla Currency数据集有8000张孟加拉国钞票图像，其中Bangla Money数据集由1970张图像组成。使用数据集和两个数据集的组合来测量模型的性能。为了实现最大效率，我们使用了各种增强、超参数调整和优化技术。我们已经实现了最大的测试准确率为98.88%的8000图像数据集使用MobileNet，100%的1970图像数据集使用NASNetMobile，和97.77%的组合数据集（9970图像）使用MobileNet。
2020-12-10 cs.AI cs.CV
Mobile-Friendly Deep Learning for Plant Disease Detection: A Lightweight CNN Benchmark Across 101 Classes of 33 Crops
Indian Institute of Technology Patna（印度理工学院帕特纳校区）；Columbia University（哥伦比亚大学）；The George Washington University（乔治华盛顿大学）；Amity University（安米提大学）
针对植物病害威胁粮食安全的问题，提出一种移动端友好的轻量级CNN解决方案，通过整合多源数据集构建综合基准，并验证EfficientNet-B1在移动设备上实现了94.7%的最优分类准确率。
2025-08-14 cs.CV cs.LG
Towards Lightweight Hyperspectral Image Super-Resolution with Depthwise Separable Dilated Convolutional Network
Department of Computer Science, Aalto University, Finland（艾尔沃斯大学计算机科学系）；School of Electrical and Electronic Engineering, University of Sheffield, United Kingdom（谢菲尔德大学电子与电气工程学院）
针对高光谱图像超分辨率中模型参数多、训练样本少的问题，提出轻量级深度可分离膨胀卷积网络DSDCN，结合定制损失函数，在两个公开数据集上取得极具竞争力的性能。
2025-05-01 cs.CV eess.IV
Pelee: A Real-Time Object Detection System on Mobile Devices
University of Western Ontario（西安大略大学）
在计算能力和存储资源有限的移动设备上运行卷积神经网络（CNN）模型的需求日益增长，这鼓励了对高效模型设计的研究。近年来，已经提出了许多有效的架构，例如MobileNet，ShuffleNet和MobileNet V2。然而，所有这些模型都严重依赖于深度可分离卷积，这在大多数深度学习框架中缺乏有效的实现。在这项研究中，我们提出了一种名为PeleeNet的高效架构，该架构是用传统卷积构建的。在ImageNet ILSVRC 2012数据集上，我们提出的PeleeNet实现了更高的准确性，速度比NVIDIA TX2上的MobileNet和MobileNetV2快1.8倍以上。与此同时，PeleeNet的模型大小仅为MobileNet的66%。然后，我们提出了一个实时的【形】目标检测系统相结合的PeleeNet与Single Shot MultiBox检测器（SSD）的方法和优化的架构，快速的速度。我们提出的检测系统2名为Pelee，在PASCAL VOC 2007上实现了76.4% mAP（平均精度），在MS COCO数据集上实现了22.4 mAP，在iPhone 8上的速度为23.6 FPS，在NVIDIA TX 2上为125 FPS。COCO的结果优于YOLOv2，考虑到更高的精度，13.6倍的计算成本和11.3倍的模型大小。
2019-01-18 cs.CV
Rethinking Vision Transformers for MobileNet Size and Speed
Snap Inc.（Snap公司）；Northeastern University（东北大学）；UC Berkeley（加州大学伯克利分校）
本研究重新审视ViT设计，提出低延迟高参数效率的超网络及细粒度联合搜索策略，所提EfficientFormerV2在ImageNet-1K上以MobileNet级别尺寸和速度实现比MobileNetV2高3.5%的top-1准确率。
2023-09-04 cs.AI cs.CV cs.LG
Deep-learning models in medical image analysis: Detection of esophagitis from the Kvasir Dataset
Doshisha University（同志社大学）
食管炎的早期发现是很重要的，因为这种情况可以进展为癌症，如果不及时治疗。然而，不同深度学习模型在检测食管炎方面的准确性还有待比较。因此，本研究旨在比较卷积神经网络模型（GoogLeNet，ResNet-50，MobileNet V2和MobileNet V3）在从内窥镜图像的开放Kvasir数据集中检测食管炎方面的准确性。结果显示，在这些模型中，GoogLeNet获得了最高的F1分数。基于真阳性率的平均值，MobileNet V3预测食管炎比其他模型更有信心。使用模型得到的结果也进行了比较，使用SHapley加法解释和加权类激活映射。
2023-01-06 cs.CV eess.IV
Binarizing MobileNet via Evolution-based Searching
Carnegie Mellon University（卡内基梅隆大学）；Hong Kong University of Science and Technology（香港科技大学）；Axon Enterprise（Axon企业公司）
二进制神经网络（Binary Neural Networks，BNN）是一种高效的紧凑网络结构，在视觉任务中取得了很好的效果。由于网络的二进制性质，设计有效的二进制架构并不简单。在本文中，我们提出了一种使用进化搜索，以促进建设和训练计划时，二进制MobileNet，一个紧凑的网络与可分离的深度卷积。受一次性架构搜索框架的启发，我们利用组卷积的思想来设计高效的1位卷积神经网络（CNN），假设计算成本和模型精度之间的近似最佳权衡。我们的目标是通过探索组卷积的最佳候选者，同时在复杂性和延迟方面优化模型性能，从而提出一种微小而有效的二进制神经架构。这一办法有三个方面。首先，我们训练强基线二进制网络，在每个卷积层上使用各种随机组组合。这种设置使二进制神经网络具有通过层保存基本信息的能力。其次，为了找到一组好的群卷积超参数，我们使用进化搜索，它利用了有效的1位模型的探索。最后，这些二进制模型以通常的方式从头开始训练，以实现最终的二进制模型。在ImageNet上进行的各种实验表明，按照我们的构建指南，最终模型达到了60.09%的Top-1准确率，并且在相同的计算成本下优于最先进的CI-BCNN。
2020-05-15 cs.CV cs.LG cs.NE
Lightweight Weighted Average Ensemble Model for Pneumonia Detection in Chest X-Ray Images
Virginia Tech（弗吉尼亚理工大学）；BML Munjal University（BML 蒙贾尔大学）；University of Indiana Tech（印第安纳理工大学）；Nanjing Medical University（南京医科大学）
本研究提出一种结合MobileNetV2和NASNetMobile的轻量级加权平均集成模型用于儿童胸部X射线肺炎检测，在保持计算效率的同时实现了98.63%的准确率，优于多个单一模型和先进架构，适合资源受限环境部署。
2025-02-01 cs.AI cs.CV eess.IV
Lightweight Fish Classification Model for Sustainable Marine Management: Indonesian Case
Telkom University（特尔孔大学）；Canadian University Dubai（迪拜加拿大大学）
本研究提出轻量级 M-MobileNet 模型，基于 37,462 张图像的数据集进行鱼类分类与可食用性判定，在有限硬件上实现 97% 准确率，为渔船现场鱼类分类提供实用方案。
2024-01-04 cs.CV cs.LG
FALCON: Lightweight and Accurate Convolution
Seoul National University（首尔国立大学）；CCB Fintech（CCB金融科技）；Columbia University（哥伦比亚大学）
我们如何有效地压缩卷积神经网络（CNN），同时保持其分类任务的准确性？依赖可分离卷积（DSConv），它用依赖卷积和逐点卷积取代标准卷积，已用于构建轻量级架构。然而，以前的基于依赖可分离卷积的工作在压缩训练的CNN模型时受到限制，因为1）它们大多是启发式方法，没有精确理解它们与标准卷积的关系，2）它们的准确性与标准卷积的准确性不匹配。在本文中，我们提出了一种精确而轻量级的压缩CNN的方法- ESTCON使用GEP，我们提出的数学公式来近似标准卷积核，来解释现有的卷积方法的基础上dependently可分离卷积。通过利用训练的标准模型的知识，并通过GEP仔细确定深度可分离卷积的阶数，ESTCON实现了接近训练的标准模型的足够精度。此外，这种解释导致开发一个广义版本的rank-k RankCON，它执行k个独立的RankCON操作并总结结果。实验表明，RISKCON 1）提供了比现有的基于深度可分离卷积和张量分解的方法更高的精度，2）在确保相似精度的同时，将标准卷积的参数和FLOP的数量减少了多达8倍。我们还证明了rank-k RankCON进一步提高了精度，同时牺牲了一点压缩和计算减少率。
2020-12-29 cs.CV eess.IV
ASMNet: a Lightweight Deep Neural Network for Face Alignment and Pose Estimation
University of Denver（丹佛大学）
主动形状模型（ASM）是表示目标结构的对象形状的统计模型。ASM可以引导机器学习算法来拟合表示对象的一组点（例如，脸）到图像上。本文提出了一种轻量级的卷积神经网络（CNN）架构，损失函数辅助ASM的人脸对齐和估计头部姿态在野外。我们使用ASM首先引导网络学习面部标志点的更平滑分布。受迁移学习的启发，在训练过程中，我们逐渐强化回归问题，并引导网络学习原始标志点分布。我们在损失函数中定义了多个任务，这些任务负责检测面部标志点以及估计面部姿势。同时学习多个相关的任务可以建立协同效应，提高单个任务的性能。我们比较了我们提出的模型ASMNet与MobileNetV2（大约是ASMNet的2倍）在人脸对齐和姿态估计任务中的性能。在挑战性数据集上的实验结果表明，通过使用所提出的ASM辅助损失函数，ASMNet的性能与MobileNetV2在人脸对齐任务。此外，对于人脸姿态估计，ASMNet的性能远远优于MobileNetV2。ASMNet在面部标志点检测和姿态估计方面实现了可接受的性能，同时与许多基于CNN的模型相比，参数和浮点运算的数量明显较少。
2021-05-07 cs.CV cs.LG
EfficientFormer: Vision Transformers at MobileNet Speed
Snap Inc.（Snap公司）；Northeastern University（东北大学）
视觉Transformer（ViT）在计算机视觉任务中取得了快速进展，在各种基准测试中取得了令人鼓舞的结果。然而，由于大量的参数和模型设计，\textit{e.g.}，注意力机制，基于ViT的模型通常比轻量级卷积网络慢几倍。因此，为实时应用部署ViT特别具有挑战性，特别是在资源受限的硬件（如移动设备）上。最近的努力试图通过网络结构搜索或与MobileNet块的混合设计来降低ViT的计算复杂度，但推理速度仍然不能令人满意。这就引出了一个重要的问题：Transformers能否在获得高性能的同时运行得像MobileNet一样快？为了回答这个问题，我们首先重新审视基于ViT的模型中使用的网络架构和运营商，并确定低效的设计。然后，我们介绍了一个尺寸一致的纯Transformer（没有MobileNet块）作为设计范例。最后，我们执行延迟驱动的瘦身，以获得一系列称为EfficientFormer的最终模型。大量的实验表明了EfficientFormer在移动设备上的性能和速度上的优越性。我们最快的模型EfficientFormer-L1在ImageNet-1 K上实现了$79.2\%$ top-1的准确性，而iPhone 12（使用CoreML编译）上的$1.6$ ms推理延迟仅为100 ms，其运行速度与MobileNetV 2 $\times 1.4$一样快（$1.6$ ms，$74.7…
2022-10-11 cs.CV
XCAT -- Lightweight Quantized Single Image Super-Resolution using Heterogeneous Group Convolutions and Cross Concatenation
Aselsan Research（阿瑟尔桑研究中心）
我们提出了一个轻量级的，单一的图像超分辨率网络的移动设备，命名为XCAT。XCAT引入了具有交叉级联的异构组卷积块（HXBlock）。输入通道到组卷积块的异构拆分减少了操作的数量，并且交叉级联允许级联HX块的中间输入张量之间的信息流。HXBlocks内部的交叉连接也可以避免使用更昂贵的操作，如1x 1卷积。为了进一步防止昂贵的张量复制操作，XCAT利用不可训练的卷积核来应用上采样操作。XCAT在设计时考虑到了整数量化，它还利用了几种训练技术，比如基于强度的数据增强。XCAT在Mali-G71 MP2 GPU上的实时量化时间为320 ms，在Synaptics Dolphin NPU上的实时量化时间为30 ms（NCHW）和8.8 ms（NHWC），适用于实时应用。
2022-08-31 cs.CV eess.IV
ANTNets: Mobile Convolutional Neural Networks for Resource Efficient Image Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon Lab126（亚马逊Lab126）；Korea University（高丽大学）；Amazon Inc（亚马逊公司）
深度卷积神经网络在计算机视觉中取得了显著的成功。然而，深度神经网络需要大量的计算资源来实现高性能。虽然深度可分卷积可以是一个有效的模块来近似一个标准的卷积，它往往会导致降低网络的代表性的权力。在本文中，预算约束下，如计算成本（MAds）和参数计数，我们提出了一种新的基本架构块，ANTBlock。它通过在高维空间中对ANTBlocks中的dependency卷积层和投影层之间的通道的相互依赖性进行建模来增强表示能力。我们的实验表明，由一系列ANTBlocks构建的ANTNet在多个数据集上的性能始终优于最先进的低成本移动卷积神经网络。在CIFAR 100上，我们的模型达到了75.7%的top-1准确率，比MobileNetV 2高1.5%，参数少8.3%，计算成本少19.6%。在ImageNet上，我们的模型达到了72.8%的top-1准确率，比MobileNetV 2提高了0.8%，在iPhone 5s上达到了157.7ms（快20%）。
2019-09-04 cs.CV
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来，生成对抗网络（GANs）的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果，但在计算上，它们是高度复杂的。在我们的工作中，我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分，并提出了对生成器网络的更改，以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构，它的参数比StyleGAN 2少3.5倍，计算复杂度比StyleGAN 2低9.5倍，同时提供相当的质量。
2021-09-09 cs.CV eess.IV
DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks
South China University of Technology（华南理工大学）；The University of Western Australia（西澳大学）
CNN架构通常对存储器和计算要求很高，这使得它们对于具有有限硬件资源的嵌入式系统是不可行的。我们提出了用于构建轻量级深度神经网络的双卷积核（DualConv）。DualConv结合了3个$\times$ 3和1个$\times$ 1卷积内核，以同时处理相同的输入特征映射通道，并利用组卷积技术有效地排列卷积滤波器。DualConv可用于任何CNN模型，例如用于图像分类的VGG-16和ResNet-50，用于目标检测的YOLO和R-CNN，或用于语义分割的FCN。在本文中，我们广泛测试了DualConv的分类，因为这些网络架构构成了许多其他任务的骨干。我们还在YOLO-V3上测试了DualConv的图像检测。实验结果表明，结合我们的结构创新，DualConv显著降低了深度神经网络的计算成本和参数数量，同时在某些情况下令人惊讶地实现了比原始模型略高的准确性。我们使用DualConv将轻量级MobileNetV 2的参数数量进一步减少了54%，在CIFAR-100数据集上的准确性仅下降了0.68%。当参数的数量不是问题时，DualConv将MobileNetV 1在同一数据集上的准确性提高了4.11%。此外，DualConv显著提高了YOLO-V3目标检测速度，并将其在PASCAL VOC数据集上的准确性提高了4.4%。
2022-02-15 cs.CV cs.LG
DMC-Net: Lightweight Dynamic Multi-Scale and Multi-Resolution Convolution Network for Pancreas Segmentation in CT Images
Mallinckrodt Institute of Radiology（马林克罗特放射学研究所）；Institute for Informatics, Data Science and Biostatistics（信息学、数据科学与生物统计学研究所）；Washington University School of Medicine（华盛顿大学医学院）
本文提出DMC-Net，通过设计轻量级动态多分辨率卷积（DMRC）和动态多尺度卷积（DMSC）模块增强单一卷积的表示能力，并将其集成到U-Net中，以提升CT图像胰腺分割精度。
2024-10-03 cs.CV eess.IV
Multi-class Skin Cancer Classification Architecture Based on Deep Convolutional Neural Network
Kennesaw State University（肯尼索州立大学）；University of Calabria（卡拉布里亚大学）
皮肤癌检测具有挑战性，因为不同类型的皮肤病变具有高度相似性。本文提出了一种基于计算机的深度学习方法，可以准确识别不同类型的皮肤病变。深度学习方法可以非常准确地检测皮肤癌，因为模型可以学习图像的每个像素。有时人类会被皮肤病变的相似性所迷惑，我们可以通过机器来最大限度地减少这种相似性。然而，并非所有的深度学习方法都能给出更好的预测。一些深度学习模型存在局限性，导致模型产生假阳性结果。我们引入了几种深度学习模型来对皮肤病变进行分类，以区分皮肤癌和不同类型的皮肤病变。在皮肤病变分类之前，使用数据预处理和数据增强方法。最后，将卷积神经网络（CNN）模型和六个迁移学习模型（如Resnet-50，VGG-16，Densenet，Mobilenet，Inceptionv 3和Xception）应用于可公开获得的基准HAM 10000数据集，对七类皮肤病变进行分类并进行比较分析。这些模型将通过区分癌细胞和非癌细胞来检测皮肤癌。模型的性能是使用性能指标来衡量的，如精确度，召回率，f1得分和准确度。对于inceptionv 3、Xception、Densenet、Mobilenet、Resnet、CNN和VGG 16，我们分别获得了90%、88%、88%、87%、82%和77%的准确率。此外，我们开发了五种不同的堆叠模型，如inceptionv 3-inceptionv 3，Densenet-mobil…
2023-03-13 cs.CV
Establishing a stronger baseline for lightweight contrastive models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）
本文针对轻量网络自监督对比学习性能下降问题，提出适配高效模型的训练方案和平滑 InfoNCE 损失，在无预训练教师条件下显著提升 ImageNet 线性评估性能。
2023-07-17 cs.CV cs.LG
Explainable Deep Learning for Cataract Detection in Retinal Images: A Dual-Eye and Knowledge Distillation Approach
Department of Computer Engineering, University College of Nabi Akram（计算机工程系，纳比阿克拉姆大学学院）
本文提出基于双眼信息与知识蒸馏的白内障视网膜图像分类流程，验证轻量模型可在保持高准确率与可解释性的同时降低计算成本。
2025-09-20 cs.CV eess.IV
Dynamic Mobile-Former: Strengthening Dynamic Convolution with Attention and Residual Connection in Kernel Space
University of Seoul（首尔大学）
本文提出 Dynamic Mobile-Former，通过轻量级注意力与输入相关/无关核拆分增强动态卷积，在 ImageNet-1K 和 COCO 上以更低计算量超越 PVT-Tiny 和 Mobile-Former。
2023-04-13 cs.CV
Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural Networks
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
卷积一直是现代深度神经网络的核心运算。众所周知，卷积可以在傅里叶变换域中实现。在本文中，我们建议使用二进制块沃尔什-哈达玛变换（WHT），而不是傅立叶变换。我们使用基于WHT的二进制层来取代深度神经网络中的一些常规卷积层。我们利用一维（1-D）和二维（2-D）的二进制WHTs在本文中。在1-D和2-D层中，我们计算输入特征图的二进制WHT，并使用软阈值与双曲正切函数相结合获得的非线性对WHT域系数进行去噪。在去噪之后，我们计算逆WHT。我们使用1D-WHT来代替$1\times 1$卷积层，2D-WHT层可以代替3个$\times$ 3卷积层和Squeeze-and-Excite层。具有可训练权重的2D-WHT层也可以在全局平均池（GAP）层之前插入，以帮助密集层。通过这种方式，我们可以显著减少可训练参数的数量，同时略微减少可训练参数。在本文中，我们将WHT层实现到MobileNet-V2、MobileNet-V3-Large和ResNet中，以显着减少参数数量，而准确性损失可以忽略不计。此外，根据我们的速度测试，在NVIDIA Jetson Nano实验中，2D-FWHT层的运行速度是常规$3\times 3$卷积的24倍，RAM使用量减少了19.51%。
2022-01-28 cs.CV cs.LG eess.IV
ProvRain: Rain-Adaptive Denoising and Vehicle Detection via MobileNet-UNet and Faster R-CNN
School of Computer Science Engineering Vellore Institute of Technology Chennai, India（计算机科学工程学院 维洛雷技术学院 印度钦奈）；School Of Electronics Engineering Vellore Institute of Technology Chennai, India（电子工程学院 维洛雷技术学院 印度钦奈）
ProvRain通过MobileNet-UNet和Faster R-CNN结合去噪技术，在雨天条件下提升车辆检测的准确率和召回率，同时减少感知误差。
2025-11-24 cs.CV
Optimized Culprit Identification Using Mobilenet and Attention Mechanisms
Department of Computer Science and Engineering, University Visvesvaraya College of Engineering (UVCE), Bangalore University, CMR Institute of Technology, Bengaluru, India（计算机科学与工程系，Visvesvaraya工程学院（UVCE），班加罗尔大学，CMR技术学院，班加罗尔，印度）；Department of Computer Science and Engineering, University Visvesvaraya College of Engineering (UVCE), Bangalore University, Bengaluru, India（计算机科学与工程系，Visvesvaraya工程学院（UVCE），班加罗尔大学，班加罗尔，印度）
本文提出一种轻量MobileNet架构结合通道和空间注意力机制的深度学习框架，通过聚焦关键区域提升识别性能，在LFW、CASIA-WebFace等数据集上实现97.8%的高准确率。
2026-05-04 cs.AI cs.CV
Advancing Green AI: Efficient and Accurate Lightweight CNNs for Rice Leaf Disease Identification
Universitas Syiah Kuala（Syiah Kuala大学）；University of Malaya（马来亚大学）
针对水稻叶片病害识别，本文比较ShuffleNet、MobileNetV2和EfficientNet-B0三种轻量级CNN，并通过新增全连接层、dropout与早停优化，使EfficientNet-B0达到99.8%准确率。
2024-08-03 cs.AI cs.CV
CSL-YOLO: A New Lightweight Object Detection System for Edge Computing
National Central University（中央大学）；National Chiao Tung University（交通大学）
由于计算资源有限，轻量级目标检测器的开发是必不可少的。为了减少计算量，如何生成冗余特征起着至关重要的作用。本文提出了一种新的轻量级卷积方法跨阶段轻量级（CSL）模块，从廉价的操作产生冗余的功能。在中间扩展阶段，我们用Dependence卷积代替逐点卷积来产生候选特征。建议的CSL模块可以显着降低计算成本。在MS-COCO上进行的实验表明，所提出的CSL模块可以近似卷积-3x3的拟合能力。最后，我们使用该模块构建了一个轻量级的检测器CSL-YOLO，与Tiny-YOLOv 4相比，只有43%的FLOP和52%的参数，实现了更好的检测性能。
2021-07-10 cs.CV
Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）
近年来，大卷积核的使用在设计卷积神经网络中变得流行，因为它们能够捕获长程依赖性并提供大的感受野。然而，核大小的增加也导致参数数量的二次增长，从而导致繁重的计算和内存需求。为了解决这一挑战，我们提出了一个邻域注意（NA）模块，升级标准卷积与自我注意力机制。NA模块有效地提取滑动窗口模式中的长程依赖关系，从而实现与大型卷积核相似的性能，但参数更少。基于NA模块，我们提出了一个轻量级的单图像超分辨率（SISR）网络TCSR。此外，我们在TCSR中引入了一个增强的前馈网络来提高SISR的性能。该算法采用无参数的空间移位操作来实现有效的特征聚合。我们广泛的实验和消融研究表明，TCSR优于现有的轻量级SISR方法，并实现了最先进的性能。我们的代码可在\url{https://github.com/Aitical/TCSR}上获得。
2023-03-25 cs.CV
Analysis of Hyperparameter Optimization Effects on Lightweight Deep Models for Real-Time Image Classification
Homi Bhabha National Institute（霍米·巴巴国家研究所）；Variable Energy Cyclotron Centre（可变能量回旋加速器中心）；Gargi Memorial Institute of Technology（加尔吉纪念技术学院）；Jadavpur University（贾达普大学）
本文研究了七种轻量级模型在超参数优化下的准确率和部署可行性，发现超参数调整可提升1.5-3.5%的准确率，并展示部分模型在边缘计算中的高效性能。
2025-10-16 cs.AI cs.CV cs.LG
FDDWNet: A Lightweight Convolutional Neural Network for Real-time Sementic Segmentation
1 National Engineering Research Center of Communications；Networking, Nanjing University of Posts \& Telecommunications, P.R. China. 2 School of Internet of Things, Nanjing University of Posts \& Telecommunications, P.R. China.
本文介绍了一个轻量级的卷积神经网络，称为FDDWNet，用于实时的【形】准确的语义分割。与最新的轻量级网络相比，FDDWNet更倾向于利用浅层结构，努力设计更深的网络架构，同时保持更快的推理速度和更高的分割精度。我们的网络使用因子分解的扩展深度可分离卷积（FDDWC）来学习不同尺度感受野的特征表示，具有更少的模型参数。此外，FDDWNet具有多个跳过连接的分支，以从中间卷积层收集上下文线索。实验表明，FDDWNet模型大小仅为0.8M，在单个RTX 2080Ti GPU上运行速度达到60 FPS，输入图像为1024x512。综合实验表明，我们的模型在CityScapes和CamVid数据集上的可用速度和精度权衡方面达到了最先进的结果。
2019-11-08 cs.CV
Lite-HRNet: A Lightweight High-Resolution Network
Huazhong University of Science and Technology（华中科技大学）；Microsoft（微软）
我们提出了一个高效的高分辨率网络，Lite-HRNet，用于人体姿态估计。我们首先简单地将ShuffleNet中的高效shuffle块应用于HRNet（高分辨率网络），从而获得比流行的轻量级网络（如MobileNet，ShuffleNet和Small HRNet）更强的性能。我们发现，大量使用的逐点（1x 1）卷积在洗牌块成为计算瓶颈。我们引入了一个轻量级的单元，条件通道加权，以取代昂贵的逐点（1x 1）卷积洗牌块。通道加权的复杂度与通道数成线性关系，并且低于逐点卷积的二次时间复杂度。我们的解决方案从所有通道和多个分辨率中学习权重，这些权重在HRNet的并行分支中很容易获得。它使用权重作为跨通道和分辨率交换信息的桥梁，补偿逐点（1x 1）卷积所扮演的角色。Lite-HRNet在人体姿态估计方面表现出优于流行的轻量级网络的结果。此外，Lite-HRNet可以很容易地应用于语义分割任务，在相同的轻量级方式。代码和模型已在https://github.com/HRNet/Lite-HRNet上公开提供。
2021-04-13 cs.CV
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行，主要是由于GPU等强大的计算设备。然而，将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本，我们提出了一种新的轻量级深度学习模块，称为LPRNet。本质上，LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小，同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时，这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验，包括流行的基准测试的图像分类和人脸对齐表明，我们的LPRNet实现了有竞争力的性能，但与专注于模型压缩的最先进的深度模型相比，浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
Learning Under Extreme Data Scarcity: Subject-Level Evaluation of Lightweight CNNs for fMRI-Based Prodromal Parkinsons Detection
Bath Spa University（巴斯斯巴大学）
本研究通过受体级评估发现，在极端数据稀缺条件下，轻量级MobileNet模型在帕金森病前驱期检测中表现更优，凸显评估策略和模型容量对性能的关键影响。
2026-02-10 cs.CV cs.LG
LENet: Lightweight And Efficient LiDAR Semantic Segmentation Using Multi-Scale Convolution Attention
提出轻量高效投影式LiDAR语义分割网络LENet，采用多尺度卷积注意力编码器和插值卷积解码器，在多个公开数据集上实现更优性能。
2023-06-19 cs.CV
Lightweight Unsupervised Domain Adaptation by Convolutional Filter Reconstruction
KU Leuven（鲁汶大学）；iMinds（iMinds研究院）
端到端学习方法在计算机视觉的许多领域都取得了令人印象深刻的成果。与此同时，这些方法在测试来自不同分布的新数据集时仍然会受到性能下降的影响。这就是所谓的畴移效应。最近提出的自适应方法集中在重新训练网络参数。然而，这需要访问所有（标记的）源数据、大量（未标记的）目标数据和大量计算资源。在这项工作中，我们提出了一种轻量级的替代方案，允许在几分钟内而不是几小时，几天甚至几周内根据有限数量的目标样本适应目标域。为此，我们首先从领域自适应的角度分析每个卷积层的输出。令人惊讶的是，我们发现，在第一层，领域转移效应已经出现。然后，我们提出了一种新的领域自适应方法，其中第一层卷积滤波器是严重影响的域移位的基础上重建受影响较小的。这提高了深度网络在各种基准数据集上的性能。
2016-03-23 cs.CV
DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）；School of Information Science and Technology, Fudan University（复旦大学信息科学与技术学院）
本文提出轻量级并行双流 Mamba-卷积网络 DualMamba，通过交叉注意力 Mamba、残差卷积及自适应全局-局部融合，在三个公开 HSI 数据集上提升分类精度并显著降低参数量与 FLOPs。
2024-06-11 cs.CV
Detection and Classification of Acute Lymphoblastic Leukemia Utilizing Deep Transfer Learning
Varendra University（瓦伦德拉大学）
本研究利用深度迁移学习（MobileNetV2和自定义CNN）对急性淋巴细胞白血病进行四阶段分类，在公开数据集上分别达到99.69%和98.6%的准确率，展现出良好的实际应用前景。
2025-01-24 cs.AI cs.CV
IGCV3: Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks
Microsoft Research Asia（微软亚洲研究院）
在本文中，我们感兴趣的是构建轻量级和高效的卷积神经网络。受两种设计模式的成功启发，结构化稀疏内核的组成，例如，交织群卷积（IGC），以及低秩核的合成，例如，瓶颈模块，我们研究了这两种设计模式的组合，使用结构化稀疏低秩内核的组成，以形成卷积内核。我们不是在通道上引入互补条件，而是引入一个松散的互补条件，它是通过在超级通道上施加互补条件来制定的，以指导生成密集卷积核的设计。由此产生的网络被称为IGCV3。我们的经验表明，低秩和稀疏内核的组合提高了性能和我们提出的方法的最先进的，IGCV 2和MobileNetV2在CIFAR和ImageNet上的图像分类和COCO上的目标检测的优越性。
2018-07-20 cs.CV
GlimmerNet: A Lightweight Grouped Dilated Depthwise Convolutions for UAV-Based Emergency Monitoring
Independent Researcher（独立研究者）
GlimmerNet通过轻量级分组稀疏深度卷积实现高效多尺度特征提取，以提升无人机应急监控的准确率与效率。
2025-12-08 cs.CV
YOLO-Ant: A Lightweight Detector via Depthwise Separable Convolutional and Large Kernel Design for Antenna Interference Source Detection
South China Normal University（华南师范大学）；Hong Kong University of Science and Technology（香港科技大学）；Tongji University（同济大学）
本文提出轻量级CNN与Transformer混合检测器YOLO-Ant，通过DSLK-Block和DSLKVit-Block模块增强特征提取能力，用于天线干扰源检测，在自建天线数据集上取得最优性能。
2024-02-20 cs.CV
Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning
Sorbonne University（索邦大学）；UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）
图卷积网络（GCN）目前是不规则数据学习的主流。这些模型依赖于消息传递和注意力机制，这些机制捕获上下文和节点到节点的关系。有了多头注意力，GCN变得高度准确，但尺寸过大，在廉价设备上部署需要修剪。然而，修剪在高政权通常会导致拓扑不一致的网络与弱泛化。在本文中，我们提出了一种新的方法，轻量级GCN的设计。我们提出的方法解析并选择具有最高幅度的子网络，同时保证其拓扑一致性。后者是通过只选择实际上有助于所选子网的评估的可访问和可共同访问的连接来获得的。在具有挑战性的FPHA数据集上进行的实验表明，我们的拓扑一致的修剪方法，特别是在非常高的修剪制度的实质性收益。
2022-03-25 cs.CV cs.LG
MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google（谷歌）
反向瓶颈层建立在依赖卷积的基础上，是移动设备上最先进的目标检测模型中的主要构建块。在这项工作中，我们通过重新审视常规卷积的有用性，研究了这种设计模式在广泛的移动加速器上的最优性。我们发现，规则卷积是一个有效的组成部分，以提高延迟-准确性的权衡加速器上的目标检测，只要他们被放置在网络中的战略通过神经架构搜索。通过在搜索空间中加入常规卷积并直接优化目标检测的网络架构，我们获得了一系列目标检测模型MobileDets，这些模型在移动加速器中获得了最先进的结果。在COCO目标检测任务中，MobileDets在可比的移动CPU推理时间上比MobileNetV 3 +SSDLite高出1.7 mAP。MobileDets在移动CPU上的性能也优于MobileNetV 2 +SSDLite，在移动CPU上为1.9 mAP，在Google EdgeTPU上为3.7 mAP，在Qualcomm Hexagon DSP上为3.4 mAP，在Nvidia Jetson GPU上为2.7 mAP，而不会增加延迟。此外，MobileDets在移动CPU上与最先进的MnasFPN相当，即使不使用功能金字塔，也能在EdgeTPU和DSP上获得更好的mAP分数，加速高达2倍。代码和模型可在TensorFlow目标检测API中找到：https://github.com/tensorflow/models/tree/…
2021-03-31 cs.CV
BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs
Google Research（谷歌研究院）
我们提出了BlazeFace，这是一个轻量级且性能良好的人脸检测器，专为移动GPU推理量身定制。它在旗舰设备上以200-1000+ FPS的速度运行。这种超实时性能使其能够应用于任何增强现实管道，这些管道需要准确的面部感兴趣区域作为特定任务模型的输入，例如2D/3D面部关键点或几何估计，面部特征或表情分类以及面部区域分割。我们的贡献包括一个轻量级的特征提取网络的灵感，但不同于MobileNetV 1/V2，一个GPU友好的锚计划修改Single Shot MultiBox Detector（SSD），和改进的领带分辨率策略替代非最大抑制。
2019-07-14 cs.CV
MobileStereoNet: Towards Lightweight Deep Networks for Stereo Matching
University of Tuebingen（图宾根大学）；WSI Institute for Computer Science（WSI计算机科学研究所）
最近的立体匹配方法使用深度模型不断提高精度。然而，这种增益是在计算成本大幅增加的情况下获得的，使得网络甚至可能不适合中等GPU。当模型需要部署在资源有限的设备上时，此问题会引起问题。为此，我们提出了两个立体视觉的光模型，降低了复杂性，而不牺牲精度。根据成本体积的维度，我们设计了一个2D和一个3D模型，分别从2D和3D卷积构建编码器-解码器。为此，我们利用2D MobileNet块，并将其扩展到3D立体视觉应用。此外，还提出了一个新的成本体积，以提高2D模型的准确性，使其性能接近3D网络。实验表明，所提出的2D/3D网络有效地减少了计算开销（2D和3D模型中的参数/操作分别减少了27%/95%和72%/38%），同时保持了准确性。我们的代码可在https://github.com/cogsys-tuebingen/mobilestereonet上获得。
2021-08-22 cs.CV
UCAN: Unified Convolutional Attention Network for Expansive Receptive Fields in Lightweight Super-Resolution
Ho Chi Minh City Open University（胡志明市开放大学）；AI Tech Lab, Ho Chi Minh City University of Technology（胡志明市科技大学人工智能技术实验室）；Code Mely AI Research Team（Code Mely 人工智能研究团队）；Global College, Shanghai Jiao Tong University（上海交通大学全球学院）；Ha Noi University of Science and Technology（河内科技大学）；University of Manitoba（曼尼托巴大学）
UCAN通过融合卷积与注意力机制，有效扩展感受野，采用Hedgehog注意力和蒸馏模块实现高效轻量化，适用于资源受限设备的超分辨率恢复。
2026-04-07 cs.CV
EResFD: Rediscovery of the Effectiveness of Standard Convolution for Lightweight Face Detection
NAVER Cloud, ImageVision（NAVER云，图像视觉）；KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
本文提出轻量级人脸检测器 EResFD，采用大幅缩减通道的标准卷积 ResNet 骨干并结合新的特征聚合方法，在 WIDER FACE Hard 上以更低 CPU 推理耗时达到 80.4% mAP。
2023-11-02 cs.CV
LO-Det: Lightweight Oriented Object Detection in Remote Sensing Images
Beijing Institute of Technology（北京理工大学）；University of Delaware（特拉华大学）；The Aviation Industry Corporation of China, Ltd.（中国航空工业集团有限公司）；Luoyang Institute of Electro-Optical Equipment（洛阳电光设备研究所）
近年来，一些轻量级卷积神经网络（CNN）模型被设计用于遥感目标检测（RSOD）。然而，他们中的大多数只是用堆叠的可分离卷积代替香草卷积，由于大量的精度损失，这可能不是有效的，并且可能无法检测定向边界框（OBB）。此外，现有的OBB检测方法难以准确地约束CNN预测的对象的形状。在本文中，我们提出了一个有效的轻量级面向对象检测器（LO-Det）。具体而言，通道分离聚合（CSA）结构的设计，以简化堆叠的可分离卷积的复杂性，和动态的感受野（DRF）机制的开发，以保持高精度通过定制的卷积核和其感知范围动态降低网络的复杂性。CSA-DRF组件在保持高精度的同时优化了效率。然后，对角支撑约束头（DSC-Head）组件的设计，以检测OBB和约束它们的形状更准确和稳定。在公共数据集上的大量实验表明，所提出的LO-Det即使在嵌入式设备上也可以运行得非常快，具有竞争力的定向对象检测精度。
2022-09-16 cs.CV
Learning Mobile CNN Feature Extraction Toward Fast Computation of Visual Object Tracking
Nagoya University（名古屋大学）
在本文中，我们使用训练好的CNN构建了一个轻量级、高精度和高速的目标跟踪。传统的训练CNN的方法使用VGG16网络，这需要强大的计算资源。因此，存在难以在低计算资源环境中应用的问题。为了解决这个问题，本文采用了MobileNetV3，这是一个面向移动终端的CNN，基于特征图选择跟踪，提出了一种新的架构，提取MobileNet的有效特征进行目标跟踪。该体系结构不需要在线学习，而只需要离线学习。此外，通过使用跟踪目标以外的对象的特征，更有效地提取跟踪目标的特征。我们用Visual Tracker Benchmark测试了跟踪精度，证实了该方法即使在低计算资源环境下也能进行高精度和高速的计算。
2021-04-03 cs.CV cs.GR cs.LG
Use Of Convolutional Neural Networks In Detection Of Branch Dieback Disease In Pequi Trees
Federal University of Rio de Janeiro – UFRJ（里约热内卢联邦大学）；Federal Center for Technological Education Celso Suckow da Fonseca- CEFET-RJ（塞尔索·苏克武·达丰塞卡联邦技术教育学院）；Federal University of Lavras – UFLA（拉夫拉斯联邦大学）；Fluminense Federal University – UFF（弗鲁米嫩塞联邦大学）
本研究评估对比AlexNet等5种CNN架构，利用Python相关库分析Pequi树的叶片、枝条等图像以检测枝枯病，确定了区分健康与患病植株的最优CNN架构。
2026-10-15 cs.CE cs.CV cs.DB
Towards lightweight convolutional neural networks for object detection
Intel（英特尔）
我们提出了具有更大空间尺寸的特征图的模型，并在目标检测任务上对其进行了评估。为了为我们的模型选择最好的特征提取网络，我们比较了几种流行的轻量级网络。在此之后，我们进行了一系列的实验与通道减少算法，以加速执行。我们的车辆检测模型准确、快速，因此适合嵌入式视觉应用。只有1.5 GFLOP，我们的最佳模型在具有挑战性的DETRAC数据集的验证子集上给出了93.39 AP。我们最小的模型是第一个在CPU上实现实时推理速度的模型，其准确度下降到91.43 AP。
2017-10-05 cs.CV cs.NE
A Lightweight and Accurate Face Detection Algorithm Based on Retinaface
本文提出基于Retinaface的轻量级人脸检测算法LAFD，通过改进MobileNetV3主干、引入DCN和focal loss，在WIDERFACE上显著提升精度，模型仅10.2MB。
2023-08-08 cs.AI cs.CV
PHNNs: Lightweight Neural Networks via Parameterized Hypercomplex Convolutions
Sapienza University of Rome（罗马大学）；Amazon Web Services AI（亚马逊云服务人工智能部门）
超复杂神经网络已被证明可以减少参数的总数，同时通过利用Clifford代数的性质来确保有价值的性能。最近，超复杂线性层已经通过涉及有效的参数化Kronecker产品得到进一步改进。在本文中，我们定义了超复杂卷积层的参数化，并介绍了参数化超复杂神经网络（PHNN）的家庭，是轻量级和高效的大规模模型。我们的方法直接从数据中掌握卷积规则和滤波器组织，而不需要严格预定义的域结构。PHNN可以灵活地在任何用户定义或调优的域中操作，从1D到$n$ D，无论代数规则是否预设。这种延展性允许在其自然域中处理多维输入，而不需要附加更多维度，相反，在四元数神经网络中用于彩色图像等3D输入。因此，所提出的PHNN族在实域中以关于其模拟的$1/n$自由参数进行操作。我们通过在各种图像数据集和音频数据集上进行实验，证明了这种方法在多个应用领域的多功能性，在这些数据集上，我们的方法优于实数和四元数值的方法。完整代码可在以下网址获得：https://github.com/eleGAN23/HyperNets。
2022-09-19 cs.AI cs.CV cs.LG
NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution
Polytechnic University of Bucharest（布加勒斯特理工大学）
提出了一种新的卷积神经网络模型，简称NL-CNN，其中非线性卷积在卷积+非线性层的级联中仿真。其实施代码和一些经过训练的模型已公开提供。提供了几个广为人知的数据集的性能评估，显示了几个相关的特征：i）对于小/中等输入图像尺寸，所提出的网络给出了非常好的测试精度，给出了低的实现复杂度和模型尺寸; ii）与其他广为人知的资源约束模型相比，例如，与MobileNetv 2相比，它提供了更好的准确性，训练时间减少了几倍，参数减少了多达十倍（模型占用的内存）; iii）具有一组相关的超参数，由于其特定的快速训练，可以轻松快速地进行调整。所有这些特征使得NL-CNN适用于物联网，智能传感，生物医学便携式仪器和其他必须在能量受限环境中部署人工智能的应用。
2021-01-30 cs.CV cs.LG cs.NE
