Polarimetric Thermal to Visible Face Verification via Self-Attention Guided Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army CCDC Army Research Laboratory（美国陆军CCDC陆军研究实验室）
偏振热到可见人脸验证需要匹配包含显著域差异的两个图像。最近的几种方法试图从热图像中合成可见的人脸，用于交叉模式匹配。在本文中，我们采取了一种不同的方法，而不是只集中在合成可见的热面孔，我们还建议从可见的面孔合成热面孔。我们的直觉是基于这样一个事实，即热图像也包含一些关于人的鉴别信息，以进行验证。从原始图像和合成图像中提取来自预训练卷积神经网络（CNN）的深度特征。然后将这些特征融合以生成用于验证的模板。所提出的合成网络是基于自注意生成对抗网络（SAGAN），它基本上允许有效的注意力引导的图像合成。在ARL极化热人脸数据集上的大量实验表明，该方法达到了最先进的性能。
2019-04-15 cs.CV
Classification of Polarimetric SAR Images Using Compact Convolutional Neural Networks
Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）；Izmir University of Economics（伊兹密尔经济大学）
针对传统ML特征工程困难与深度CNN计算复杂、标注需求大的问题，提出基于滑动窗口的紧凑型自适应CNN框架，在四个PolSAR基准上以小窗口实现92.33%–99.39%的总体精度。
2020-11-10 cs.CV cs.LG
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所雷恩分院）；CNRS（法国国家科学研究中心）
在这项工作中，我们利用卷积神经网络（CNN）的甚高分辨率（VHR）极化SAR（PolSAR）数据的分类。由于这些数据中的异质纹理的显着外观，不仅极化特征，而且结构张量被利用来馈送CNN模型。对于深度网络，我们使用SegNet模型进行语义分割，这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明，对于VHR PolSAR图像，SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息，以显着提高分类性能。
2020-04-09 cs.CV cs.LG
Shape Constrained CNN for Cardiac MR Segmentation with Simultaneous Prediction of Shape and Pose Parameters
KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）
使用卷积神经网络（CNN）的语义分割是许多医学分割任务的最新技术，包括心脏MR图像中的左心室（LV）分割。然而，缺点是这些CNN缺乏明确的形状约束，偶尔会导致不切实际的分割。在本文中，我们执行LV和心肌分割的姿态和形状参数的回归来自统计形状模型。集成的形状模型使预测的分割规则化并保证真实的形状。此外，与语义分割相比，它允许直接计算区域测量，如心肌厚度。我们通过在训练过程中同时构建分割距离图来增强形状和姿态预测的鲁棒性。我们评估了所提出的方法在一个内部的临床数据集，共包含1539个划定的短轴切片覆盖LV从心尖到基底，并实现了99%的相关性为LV面积，94%的心肌面积，98%的LV尺寸和88%的区域壁厚的五重交叉验证。该方法还在LVQuan 18和LVQuan 19公共数据集上进行了验证，并获得了最先进的结果。
2020-10-18 cs.CV eess.IV
A Novel Riemannian Sparse Representation Learning Network for Polarimetric SAR Image Classification
Nanyang Technological University（南洋理工大学）；Jiangnan University（江南大学）
针对PolSAR图像分类中现有深度学习模型缺乏数学原理、欧氏空间特征学习扭曲矩阵结构的问题，提出基于黎曼度量的SRSR CNN，通过展开稀疏表示模型结合CNN增强模块，在三个真实数据集上实现了优于现有方法的分类性能。
2025-02-21 cs.CV
ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation
Huazhong University of Science and Technology（华中科技大学）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属协和医院）
本文提出即插即用的CNN风格Transformer（ConvFormer），通过引入池化、CSA和CFFN替代传统分词与注意力机制，有效解决医学图像分割中transformer的注意力坍塌问题并提升性能。
2023-09-09 cs.CV eess.IV
Scalable Uncertainty for Computer Vision with Functional Variational Inference
Imperial College London（帝国理工学院）
随着深度学习在计算机视觉中的成功应用，量化所有形式的不确定性的能力是其在现实世界中安全可靠部署的首要要求。在这项工作中，我们利用函数空间中变分推理的公式，将高斯过程（GP）与贝叶斯CNN先验和变分族相关联。由于GP完全由其均值和协方差函数确定，因此我们能够以通过任何选择的CNN架构和任何监督学习任务的单次前向传递为代价获得预测不确定性估计。通过利用诱导协方差矩阵的结构，我们提出了数值上有效的算法，使快速训练的背景下，如深度估计和语义分割的高维任务。此外，我们提供了充分的条件，为构造回归损失函数的概率对应物是兼容的任意不确定性量化。
2020-03-06 cs.CV cs.LG
MPViT: Multi-Path Vision Transformer for Dense Prediction
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
密集的计算机视觉任务，如目标检测和分割需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNN）一直是此类任务的主导架构，但最近推出的视觉Transformer（ViTs）旨在取代它们作为骨干。与CNN类似，ViT构建了一个简单的多级结构（即，从细到粗）用于具有单尺度片的多尺度表示。在这项工作中，与现有的Transformers不同的角度，我们探索多尺度补丁嵌入和多路径结构，构建多路径视觉Transformer（MPViT）。MPViT嵌入相同大小的特征~（即，序列长度）同时具有不同尺度的补丁。然后，不同尺度的令牌通过多个路径独立地馈送到Transformer编码器中，并且聚合所得到的特征，从而在相同的特征级别上实现精细和粗略的特征表示。得益于多样化的多尺度特征表示，我们的MPViT从微小的~（5 M）扩展到基本的~（73 M），在ImageNet分类、目标检测、实例分割和语义分割方面始终实现优于最先进的视觉Transformer的性能。这些广泛的结果表明，MPViT可以作为各种视觉任务的通用骨干网络。代码将在\url{https://git.io/MPViT}上公开。
2021-12-27 cs.CV
DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks
South China University of Technology（华南理工大学）；The University of Western Australia（西澳大学）
CNN架构通常对存储器和计算要求很高，这使得它们对于具有有限硬件资源的嵌入式系统是不可行的。我们提出了用于构建轻量级深度神经网络的双卷积核（DualConv）。DualConv结合了3个$\times$ 3和1个$\times$ 1卷积内核，以同时处理相同的输入特征映射通道，并利用组卷积技术有效地排列卷积滤波器。DualConv可用于任何CNN模型，例如用于图像分类的VGG-16和ResNet-50，用于目标检测的YOLO和R-CNN，或用于语义分割的FCN。在本文中，我们广泛测试了DualConv的分类，因为这些网络架构构成了许多其他任务的骨干。我们还在YOLO-V3上测试了DualConv的图像检测。实验结果表明，结合我们的结构创新，DualConv显著降低了深度神经网络的计算成本和参数数量，同时在某些情况下令人惊讶地实现了比原始模型略高的准确性。我们使用DualConv将轻量级MobileNetV 2的参数数量进一步减少了54%，在CIFAR-100数据集上的准确性仅下降了0.68%。当参数的数量不是问题时，DualConv将MobileNetV 1在同一数据集上的准确性提高了4.11%。此外，DualConv显著提高了YOLO-V3目标检测速度，并将其在PASCAL VOC数据集上的准确性提高了4.4%。
2022-02-15 cs.CV cs.LG
Riemannian Nearest-Regularized Subspace Classification for Polarimetric SAR images
作为一种表示学习方法，最近正则化子空间（NRS）算法是一种有效的工具，以获得准确性和速度的极化SAR图像分类。然而，现有的NRS方法使用极化特征向量，但PolSAR原始协方差矩阵（称为Hermitian正定（HPD）矩阵）作为输入。现有的基于NRS的方法在不考虑矩阵结构的情况下，无法学习信道间的相关性。如何将原始协方差矩阵应用于NRS方法是一个关键问题。为了克服这一限制，提出了一种黎曼NRS方法，该方法考虑了HPD矩阵赋予黎曼空间的性质。首先，为了充分利用PolSAR原始数据，通过构造HPD字典和HPD距离度量，提出了一种黎曼NRS方法（RNRS）。其次，设计了一个新的Tikhonov正则化项，以减少同一类内的差异。最后给出了优化方法并推导了一阶导数。在实验测试中，该方法只使用了T矩阵，而对比方法使用了多个特征。实验结果表明，即使使用更少的特征，该方法也能优于现有算法。
2022-01-02 cs.CV eess.IV
Lightweight Method for Interactive 3D Medical Image Segmentation with Multi-Round Result Fusion
Aerospace Center Hospital（航天中心医院）；Yizhun Medical AI Co., Ltd（医准智能医疗科技有限公司）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Southern University of Science and Technology（南方科技大学）；Beijing Institute of Technology（北京理工大学）
针对3D医学图像标注繁琐、现有SAM类方法的问题，提出基于2D CNN的轻量交互式分割网络LIM-Net，通过记忆模块传播掩码、多轮融合优化结果，泛化性、交互效率和部署表现更优，可作为新基线。
2024-12-11 cs.CV
Factorizer: A Scalable Interpretable Approach to Context Modeling for Medical Image Segmentation
KU Leuven（鲁汶大学）；Université Claude-Bernard Lyon 1（里昂第一大学）；icometrix；KU Leuven Kulak（鲁汶大学库拉克校区）
具有U形架构的卷积神经网络（CNN）主导了医学图像分割，这对于各种临床目的至关重要。然而，卷积的固有局部性使得CNN无法充分利用全局上下文，这对于更好地识别某些结构至关重要，例如，脑损伤Transformers最近在视觉任务（包括语义分割）上证明了有前途的性能，这主要是因为它们能够对长距离依赖关系进行建模。然而，注意力的二次复杂性使得现有的基于transformer的模型仅在以某种方式降低图像分辨率之后才使用自注意力层，这限制了以更高分辨率捕获全局上下文的能力。因此，这项工作引入了一系列模型，称为Factorizer，它利用低秩矩阵分解的功能来构建端到端的分割模型。具体来说，我们提出了一个线性可扩展的方法来上下文建模，制定非负矩阵分解（NMF）作为一个可微层集成到一个U形架构。移位窗口技术还与NMF结合使用，以有效地聚合局部信息。因子分解器在准确性、可扩展性和可解释性方面与CNN和Transformers竞争，在BraTS数据集的脑肿瘤分割和ISLES 22数据集的中风病变分割上实现了最先进的结果。相对于CNN和Transformers，高度有意义的NMF分量为因子分解器提供了额外的可解释性优势。此外，我们的消融研究揭示了因式分解器的一个独特特征，即在不需要任何额外步骤的情况下，在不牺牲太多准确性的情况下，可以显著加快经过训练的因式分解器的推理速度。代码和模型可在https://g…
2022-12-13 cs.CV cs.LG eess.IV
Prompt-Guided Dual-Path UNet with Mamba for Medical Image Segmentation
Qiyuan Laboratory（启元实验室）
提出提示引导的CNN-Mamba双路径UNet（PGM-UNet），通过动态视觉提示引导Mamba捕获全局信息，并融合局部与全局特征，在多个医学图像分割数据集上优于现有方法。
2025-03-25 cs.CV eess.IV
SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation
ZongMu Tech（纵目科技）；TU/e（埃因霍温理工大学）
估计物体的3D方向和平移对于无基础设施的自主导航和驾驶至关重要。在单目视觉的情况下，成功的方法主要基于两个成分：（i）生成2D区域建议的网络，（ii）通过利用所获取的感兴趣区域预测3D对象姿态的R-CNN结构。我们认为，2D检测网络是冗余的，并为3D检测引入了不可忽略的噪声。因此，我们提出了一种新的三维目标检测方法，命名为烟雾，在本文中，预测一个三维限界框为每个检测到的对象相结合的一个单一的关键点估计与回归的三维变量。作为第二个贡献，我们提出了一个多步骤的解缠方法来构建三维限界框，这显着提高了训练收敛和检测精度。与以前的3D检测技术相比，我们的方法不需要复杂的前/后处理，额外的数据和细化阶段。尽管其结构简单，我们提出的SMOKE网络优于所有现有的单目3D检测方法的KITTI数据集上，给最好的国家的最先进的结果在3D目标检测和鸟瞰图评估。该代码将公开发布。
2020-02-24 cs.CV
Change Detection from SAR Images Based on Deformable Residual Convolutional Neural Networks
Ocean University of China（中国海洋大学）
卷积神经网络（CNN）在合成孔径雷达（SAR）图像变化检测方面取得了很大的进展。然而，传统卷积核的采样位置是固定的，不能根据SAR图像的实际结构而改变。此外，自然场景中的物体可能以不同的尺寸出现，这就要求网络具有更强的多尺度表示能力。本文设计了一种新的\underline{D}改进的\underline{R}剩余卷积神经\underline{N}网络（DRNet），用于SAR图像变化检测。首先，DRNet引入了可变形的卷积采样位置，卷积核的形状可以根据地物的实际结构自适应调整。为了创建可变形采样位置，根据输入图像的空间信息计算每个像素的2-D偏移。然后，像素的采样位置可以自适应地反映输入图像的空间结构。此外，我们提出了一种新的池化模块取代香草池化，有效地利用多尺度信息，通过构建层次残差连接在一个池化层，提高了多尺度表示能力在粒度级别。在三个真实SAR数据集上的实验结果证明了所提出的DRNet的有效性。
2021-04-06 cs.CV
An ENAS Based Approach for Constructing Deep Learning Models for Breast Cancer Recognition from Ultrasound Images
School of Computing, University of Buckingham（白金汉大学计算学院）
深度卷积神经网络（CNN）为图像模式识别提供了“端到端”解决方案，在包括医学成像在内的许多应用领域都具有令人印象深刻的性能。大多数高性能的CNN模型使用手工制作的网络架构，需要CNN的专业知识来发挥其潜力。在本文中，我们采用了高效神经结构搜索（ENAS）方法，以找到最佳的CNN架构分类乳腺病变的超声（US）图像。我们对524张美国图像数据集的实证研究表明，使用ENAS生成的最佳模型的平均准确率为89.3%，超过了其他手工制作的替代品。此外，模型在复杂性上更简单，更有效。我们的研究表明，ENAS方法的CNN模型设计是一个很有前途的方向分类超声图像的乳腺病变。
2020-05-27 cs.CV cs.LG eess.IV
Towards Interpretable PolSAR Image Classification: Polarimetric Scattering Mechanism Informed Concept Bottleneck and Kolmogorov-Arnold Network
Department of Information Engineering, Harbin Institute of Technology（信息工程系，哈尔滨工业大学）；National Key Laboratory of Scattering and Radiation（散射与辐射国家重点实验室）
本文针对深度学习PolSAR图像分类的黑箱问题，提出结合极化目标分解概念标签、并行概念瓶颈网络与Kolmogorov-Arnold网络的可解释分类框架，在保持精度的同时实现特征概念化和决策过程解析化。
2025-07-04 cs.CV eess.IV
Object Detection with Deep Learning: A Review
Hefei University of Technology（合肥工业大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
由于目标检测与视频分析和图像理解的密切关系，近年来受到了广泛的研究关注。传统的目标检测方法是建立在手工制作的功能和浅可训练的架构。它们的性能很容易通过构建复杂的集合而停滞，该集合将多个低级图像特征与来自对象检测器和场景分类器的高级上下文相结合。随着深度学习的快速发展，越来越多的能够学习语义、高层、深层特征的强大工具被引入，以解决传统体系结构中存在的问题。这些模型在网络结构、训练策略和优化函数等方面表现不同。本文对基于深度学习的目标检测框架进行了综述。我们的回顾首先简要介绍了深度学习的历史及其代表工具，即卷积神经网络（CNN）。然后，我们专注于典型的通用目标检测架构，以及一些修改和有用的技巧，以进一步提高检测性能。由于不同的具体检测任务具有不同的特点，我们还简要介绍了几个具体的任务，包括显著目标检测，人脸检测和行人检测。实验分析也提供了各种方法进行比较，并得出一些有意义的结论。最后，几个有前途的方向和任务，提供了未来的工作在目标检测和相关的神经网络为基础的学习系统作为指导方针。
2019-04-16 cs.CV
Exploring CNN-based models for image's aesthetic score prediction with using ensemble
Iwate Prefectural University（岩手县立大学）
本文构建了基于不同CNN架构的图像美学评估模型框架，通过集成方法提升评分预测性能，分析模型关注区域与图像主体的一致性，实验验证了方法有效性，发现模型学习到潜在摄影原则。
2022-10-11 cs.CV
PolSAR Image Classification using a Hybrid Complex-Valued Network (HybridCVNet)
IEEE
提出一种混合复数网络HybridCVNet，结合CV-CNN和CV-ViT，通过提取互补信息并利用数据内部依赖关系，提升PolSAR图像分类性能，在Flevoland和San Francisco数据集上分别达到97.39%总体精度和0.972 Kappa值。
2026-05-29 cs.CV
PolSAR Image Classification Based on Dilated Convolution and Pixel-Refining Parallel Mapping network in the Complex Domain
在先验标记数量有限的情况下，有效而准确的极化合成孔径雷达（PolSAR）图像分类一直充满挑战。对于一般的监督式深度学习分类算法，逐像素算法使用少量的标记像素实现精确但低效的分类，而像素映射算法使用更多的先验标记实现高效但边缘粗糙的分类。为了兼顾分类效率、分类精度和先验标记，提出了一种新的复域像素细化并行映射网络CRPM-Net，并给出了相应的训练算法用于PolSAR图像分类。CRPM-Net由两个并行的子网络组成：a）复域中的转移扩张卷积映射网络（C-Dilated CNN）由复交叉卷积神经网络（Cs-CNN）激活，旨在精确定位、高效和充分利用相位信息; b）复域编码-解码器网络与C-Dilated CNN连接，旨在提取更多的上下文语义特征。最后，我们设计了一个两步算法来训练Cs-CNN和CRPM-Net，通过细化错误分类的标记像素，用少量的标记像素来提高准确度。在AIRSAR和E-SAR数据集上验证了该方法的有效性。实验结果表明，CRPM-Net取得了最好的分类结果，大大优于一些最新的国家的最先进的方法在效率和准确性的PolSAR图像分类。CRPM-Net的源代码和训练模型可在https://github.com/PROoshio/CRPM-Net上获得。
2020-01-20 cs.CV
Integrating global spatial features in CNN based Hyperspectral/SAR imagery classification
Beijing University of Chemical Technology（北京化工大学）；Sugon Information Industry Co., Ltd（曙光信息产业有限公司）
土地覆被分类在遥感中发挥着重要的作用，因为它可以智能地识别一个巨大的遥感图像中的东西，以减少人类的工作。然而，许多分类方法都是基于遥感图像的像元特征或有限的空间特征设计的，这限制了其分类精度和通用性。提出了一种新的遥感图像信息提取方法，地理经纬度信息。此外，结合全局信息设计了双分支卷积神经网络（CNN）分类方法，挖掘图像的像素特征。然后将两个神经网络的特征融合到另一个完全神经网络中，实现遥感图像的分类。最后，两个遥感图像，包括高光谱成像（HSI）和极化合成孔径雷达（PolSAR）图像来验证我们的方法的有效性。与传统的单通道卷积神经网络相比，该方法具有更好的识别效果。
2020-06-15 cs.CV cs.LG eess.IV
Image Segmentation: Inducing graph-based learning
University of Limerick（利默里克大学）
本研究提出基于图神经网络的UNet-GNN模型，在三个数据集上验证其能有效处理鱼眼图像畸变和医学图像边界，提升语义分割精度。
2025-01-19 cs.CV eess.IV
Learning Affinity via Spatial Propagation Networks
UC Merced（加州大学默塞德分校）；Nvidia（英伟达）；Dalian University of Technology（大连理工大学）
在本文中，我们提出了空间传播网络学习的亲和矩阵的视觉任务。我们表明，通过构建一个行/列线性传播模型，空间变化的变换矩阵正好构成了一个亲和矩阵，模型密集，全球成对关系的图像。具体来说，我们为线性传播模型开发了一个三向连接，它（a）制定了一个稀疏变换矩阵，其中所有元素都可以是深度CNN的输出，但（b）产生了一个密集的亲和矩阵，可以有效地模拟任何特定于任务的成对相似性矩阵。我们不需要根据两个点的图像特征来设计相似性核，而是可以直接以纯数据驱动的方式输出所有的相似性。空间传播网络是一种通用框架，可以应用于许多与亲和力相关的任务，包括但不限于图像抠图、分割和着色等。本质上，由于深度神经网络分类器的强大学习能力，该模型可以学习高级视觉任务的语义感知的亲和度值。我们验证了细化图像分割边界的任务的框架。在HELEN人脸解析和PASCAL VOC-2012语义分割任务上的实验表明，空间传播网络为生成高质量的分割结果提供了一种通用、有效和高效的解决方案。
2017-10-03 cs.CV cs.LG
Self-Constructing Graph Convolutional Networks for Semantic Labeling
Norwegian Computing Center（挪威计算中心）；UiT the Arctic University of Norway（挪威北极大学）
图神经网络（GNNs）在许多领域受到越来越多的关注。然而，由于缺乏先验图，它们用于语义标记的使用受到限制。在这里，我们提出了一种新的架构，称为自构造图（SCG），它利用可学习的潜在变量来生成嵌入，并直接从输入特征中自构造底层图，而不依赖于手动构建的先验知识图谱。SCG可以从航空图像中的复杂形状的对象自动获得优化的非局部上下文图。我们优化SCG通过自适应对角增强方法和变分下界，由一个定制的图重建项和Kullback-Leibler发散正则化项。我们在公开可用的ISPRS Vaihingen数据集上证明了所提出的SCG的有效性和灵活性，并且我们的模型SCG-Net在F1得分方面取得了有竞争力的结果，与相关的基于纯CNN的工作相比，参数少得多，计算成本低。我们的代码将很快公布。
2020-04-23 cs.CV
Convolutional Nonlinear Dictionary with Cascaded Structure Filter Banks
Niigata Univ.（新潟大学）
本研究提出一种卷积非线性字典（CNLD）的图像复原使用级联滤波器组。通常，卷积神经网络（CNN）在图像复原应用中展示了它们的实用性;然而，现有的CNN在构造时没有考虑原子图像（卷积核）之间的关系。因此，仍然有讨论设计空间的作用的空间。为了提供一个构建有效的结构化卷积网络的框架，本研究提出了CNLD。通过一定的图像复原实验，推导出了反向传播学习过程，从而验证了CNLD的重要性。它表明，参数的数量减少，同时保持恢复性能。
2020-09-02 cs.CV
Genetic CNN
The Johns Hopkins University（约翰斯·霍普金斯大学）
深度卷积神经网络（CNN）是大规模视觉识别的最先进解决方案。遵循增加深度和建设公路连接等基本原则，研究人员人工设计了大量固定的网络结构，并验证了其有效性。在本文中，我们讨论了自动学习深度网络结构的可能性。注意，可能的网络结构的数量随着网络中的层数呈指数级增加，这启发我们采用遗传算法来有效地遍历这个大的搜索空间。我们首先提出了一种编码方法来表示每个网络结构中的一个固定长度的二进制字符串，并初始化的遗传算法生成一组随机个体。在每一代中，我们定义标准的遗传操作，例如，选择，变异和交叉，以消除弱个体，然后产生更具竞争力的。每个个体的竞争力被定义为其识别准确性，这是通过从头开始训练网络并在验证集上对其进行评估而获得的。我们在两个小数据集上运行遗传过程，即，MNIST和CIFAR10，证明了它的能力，发展和寻找高质量的结构，这是很少研究过。这些结构也可转移到大规模ILSVRC 2012数据集。
2017-03-04 cs.CV
Layer-wise training convolutional neural networks with smaller filters for human activity recognition using wearable sensors
Nanjing Normal University（南京师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
最近，卷积神经网络（CNN）已经在各种人类活动识别（HAR）数据集上设置了最新的最新技术水平。然而，深度CNN通常需要更多的计算资源，这限制了其在嵌入式HAR中的应用。虽然已经提出了许多成功的方法来减少CNN的内存和FLOPs，但它们通常涉及为视觉任务设计的特殊网络架构，由于显着的差异，这些网络架构不适用于具有时间序列传感器信号的深度HAR任务。因此，有必要开发轻量级的深度模型来执行HAR。由于滤波器是构建CNN的基本单元，因此重新设计较小的滤波器是否适用于深度HAR值得进一步研究。在本文中，受此想法的启发，我们提出了一个轻量级的CNN使用乐高过滤器的HAR。一组低维滤波器被用作乐高积木来堆叠常规滤波器，它不依赖于任何特殊的网络结构。采用局部损失函数对模型进行训练。据我们所知，这是第一篇论文，提出了轻量级的CNN的HAR在无处不在和可穿戴计算领域。在五个公共HAR数据集，UCI-HAR数据集，OPPORTUNITY数据集，UNIMIB-SHAR数据集，PAMAP 2数据集和WISDM数据集上的实验结果表明，我们的新型Lego CNN具有局部损失，可以大大降低存储和计算成本比CNN，同时实现更高的精度。也就是说，所提出的模型更小，更快，更准确。最后，我们评估了Android智能手机上的实际性能。
2021-08-05 cs.CV
Demystifying CNNs for Images by Matched Filters
Beihang University（北京航空航天大学）；Imperial College London（帝国理工学院）；University of Montenegro（黑山大学）
卷积神经网络（CNN）的成功彻底改变了我们在大数据时代接近和使用智能机器的方式。尽管取得了成功，CNN一直受到审查，由于其\textit{black-box}性质，\textit{ad hoc}的建设方式，以及缺乏理论支持和物理意义的运作。这对CNN的定量和定性理解以及它们在更敏感领域（如AI健康）的应用都是禁止的。我们着手解决这些问题，并以这种方式通过采用匹配滤波的观点来揭开CNN操作的神秘面纱。我们首先说明卷积运算，CNN的核心，代表一个匹配滤波器，其目的是识别输入数据中特征的存在。然后，在匹配滤波的理论保护伞下，这可以作为解释CNN中卷积-激活-池化链的工具，这是信号处理中的一种常见操作。我们还提供了大量的示例和实验来说明这种联系，由此显示CNN中的学习也可以执行匹配滤波，这进一步揭示了学习参数和层的物理意义。我们希望这些材料将为CNN的理解，构建和分析提供新的见解，并为开发CNN的新方法和架构铺平道路。
2022-10-16 cs.CV eess.SP
A persistent homology-based topological loss function for multi-class CNN segmentation of cardiac MRI
University of Warwick（华威大学）
关于空间重叠，基于CNN的短轴心血管磁共振（CMR）图像的分割已经实现了与观察者间变化一致的性能水平。然而，传统的训练过程经常依赖于像素损失函数，限制了扩展或全局特征的优化。因此，推断的分割可能缺乏空间相干性，包括虚假的连接组件或孔。这样的结果是难以置信的，违反了预期的拓扑结构的图像片段，这是经常已知的先验。为了应对这一挑战，已发表的工作采用了持久的同源性，构建拓扑损失函数的图像片段的评估对一个明确的先验。通过考虑所有可能的标签和标签对来构建更丰富的分割拓扑描述，我们将这些损失扩展到多类分割任务。这些拓扑先验使我们能够解决ACDC短轴CMR训练数据集的150个示例的子集中的所有拓扑错误，而不会牺牲重叠性能。
2020-08-21 cs.CV eess.IV
Pre-Trained CNN Architecture for Transformer-Based Image Caption Generation Model
Xi’an Jiaotong University（西安交通大学）
本文提出利用Transformer架构结合EfficientNetB0 CNN进行图像描述生成，通过自注意力机制实现高效并行训练与推理，并在Flickr30k数据集上验证了方法的有效性。
2025-09-22 cs.AI cs.CV
Optimizing Convolutional Neural Network Architecture
University of Granada（格拉纳达大学）
本文提出基于剪枝与知识蒸馏的CNN优化构建方法OCNNA，通过确定卷积层重要性，在多个主流数据集和架构上以准确率下降和剩余参数比率为指标验证其优于20余种现有简化算法，有助于在资源受限设备上部署神经网络。
2023-12-17 cs.CV cs.LG
SDF2Net: Shallow to Deep Feature Fusion Network for PolSAR Image Classification
提出一种新颖的三分支复值CNN融合网络SDF2Net，通过浅层到深层特征融合提升PolSAR图像分类精度，在三个数据集上取得优于现有方法的性能。
2026-05-29 cs.CV eess.IV
Deep FisherNet for Object Classification
Huazhong University of Science and Technology（华中科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
尽管卷积神经网络（CNN）在Cifar和ImageNet等数据集上的图像分类任务中取得了巨大成功，但CNN的表示能力在处理大小和杂乱变化较大的对象图像时仍然受到一定限制，其中Fisher Vector（FV）已被证明是一种有效的编码策略。FV通过用通用生成高斯混合模型（GMM）聚集局部描述符来编码图像。然而，FV具有有限的学习能力，并且其参数在构造码本之后大多是固定的。为了将这两个世界中最好的结合在一起，我们在本文中提出了一种神经网络结构，其中FV层是端到端可训练系统的一部分，该系统是可区分的;我们将我们的网络命名为FisherNet，该网络可以使用反向传播进行学习。我们提出的FisherNet将卷积神经网络训练和Fisher向量编码结合在一个端到端结构中。在具有挑战性的PASCAL VOC对象分类任务中，我们观察到FisherNet在分类精度和计算效率方面优于普通的CNN和标准FV。
2016-07-31 cs.CV cs.LG
CNN-powered micro- to macro-scale flow modeling in deformable porous media
Institute of Mechanics and Computational Mechanics (IBNM), Leibniz University Hannover（莱布尼茨汉诺威大学力学与计算力学研究所（IBNM））；Institute of Applied Mechanics, University of Stuttgart（斯图加特大学应用力学研究所）；Institute of General Mechanics, RWTH Aachen University（亚琛工业大学普通力学研究所）
本研究针对可变形多孔介质渗透率传统估算效率低的问题，提出以二值化显微CT图像为输入、基于CNN预测对称二阶渗透率张量的方法，经Bentheim砂岩数据集和LBM模拟数据训练验证有效，可服务于多学科领域。
2025-01-11 cs.CV cs.LG physics.flu-dyn
Riemannian Complex Matrix Convolution Network for PolSAR Image Classification
Shaanxi Key Laboratory for Network Computing and Security Technology（陕西省网络计算与安全技术重点实验室）；Department of Computer Science and Technology（计算机科学与技术学院）
针对 PolSAR 协方差复矩阵结构难以直接建模的问题，提出黎曼复矩阵卷积网络，定义黎曼卷积等运算并结合 CNN 与快速核学习，在三组真实数据上取得优于现有方法的分类效果。
2023-12-06 cs.CV
Single-Image Super-Resolution Reconstruction based on the Differences of Neighboring Pixels
Hiroshima University（广岛大学）
深度学习技术用于提高单图像超分辨率（SISR）的性能。然而，大多数现有的基于CNN的SISR方法主要集中在建立更深或更大的网络来提取更重要的高级特征。通常利用目标高分辨率图像和估计图像之间的像素级损失，而很少利用图像中像素之间的相邻关系。另一方面，根据观察，像素的相邻关系包含关于空间结构、局部上下文和结构知识的丰富信息。基于这一事实，在本文中，我们利用像素的邻居关系在不同的角度，我们提出了相邻像素的差异，通过构建一个图从估计图像和地面实况图像正则化的CNN。该方法在基准数据集的定量和定性评价方面优于最先进的方法。关键词：超分辨率，卷积神经网络，深度学习
2022-12-28 cs.CV cs.LG eess.IV
Scattering Networks for Hybrid Representation Learning
CentraleSupelec（中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；KU Leuven（鲁汶大学）；Ecole des Points；MILA（蒙特利尔学习算法研究所）
散射网络是一类设计好的具有固定权值的卷积神经网络。我们认为它们可以作为建模图像的通用表示。特别是，通过在散射空间中工作，我们在监督和无监督学习任务中都取得了有竞争力的结果，同时在构建更可解释的CNN方面取得了进展。对于监督学习，我们证明了CNN的早期层不一定需要学习，并且可以用散射网络代替。事实上，使用混合架构，我们实现了迄今为止预定义表示的最佳结果，同时与端到端学习CNN竞争。具体而言，即使应用小窗口散射系数的浅级联，然后是1个$\times$ 1卷积，也会导致ILSVRC 2012分类任务的AlexNet准确性。此外，通过将散射网络与深度残差网络相结合，我们在ILSVRC 2012上实现了11.4%的单作物前5名误差。此外，我们表明，他们可以在CIFAR-10和STL-10数据集的小样本制度，通过他们的能力，结合几何先验，超过他们的端到端的同行产生出色的性能。对于无监督学习，散射系数可以是允许图像恢复的竞争性表示。我们利用这个事实来训练混合GANs来生成图像。最后，我们实证分析了几个属性相关的稳定性和重建的散射系数的图像。
2018-09-17 cs.CV cs.LG stat.ML
Implementation of Convolutional Neural Network Architecture on 3D Multiparametric Magnetic Resonance Imaging for Prostate Cancer Diagnosis
Research Computing Center at the University of Chicago（芝加哥大学研究计算中心）
前列腺癌是男性癌症死亡的最常见原因之一。在临床实践中，对促进当前标准前列腺癌风险评估的非侵入性和准确诊断方法的需求不断增长。尽管如此，在多参数磁共振图像的前列腺癌诊断中开发计算机辅助分类工具仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，通过构建一个基于两阶段多模态多流卷积神经网络（CNN）的架构框架，对相应的磁共振图像中的前列腺病变进行自动分类。在没有实施复杂的图像预处理步骤或第三方软件的情况下，我们的框架实现了分类性能，受试者工作特征（ROC）曲线下面积为0.87。结果优于大多数提交的方法，并分享了PROSTATEx挑战组织者报告的最高值。我们提出的基于CNN的框架反映了在前列腺癌中辅助医学图像解释和减少不必要的活检的潜力。
2021-12-29 cs.CV cs.LG eess.IV
Empowering Vision Transformers with Multi-Scale Causal Intervention for Long-Tailed Image Classification
School of Software, Shandong University, Jinan, China（软件学院，山东大学，济南，中国）；Inspur, Jinan, China（Inspur，济南，中国）
针对 ViT 在长尾分类中难以建模细粒度因果关联的问题，本文提出两阶段 TSCNet，通过多尺度后门干预和反事实 logits 校准消除偏差，并在多个基准上优于现有方法。
2025-05-13 cs.CV
GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network
Rovira i Virgili University（罗维拉·依维尔基里大学）
深度估计是提高环境感知精度的三维重建的一项具有挑战性的任务。这项工作带来了一系列改进的新解决方案，与现有方法相比，增加了对深度图的定量和定性理解。最近，卷积神经网络（CNN）已经展示了其在从单眼视频估计深度图方面的非凡能力。然而，传统的CNN不支持拓扑结构，它们只能工作在具有确定大小和权重的规则图像区域上。另一方面，图卷积网络（GCN）可以处理非欧数据的卷积，并且可以应用于拓扑结构内的不规则图像区域。因此，在这项工作中，为了保持对象的几何外观和分布，我们的目标是利用GCN的自我监督的深度估计模型。我们的模型由两个并行的自动编码器网络组成：第一个是自动编码器，它将依赖于ResNet-50并从输入图像中提取特征，并依赖于多尺度GCN来估计深度图。进而，第二网络将用于估计自我运动矢量（即，基于ResNet-18的两个连续帧之间的3D姿态）。所估计的3D姿态和深度图两者将用于构造目标图像。使用与光度、投影和平滑度相关的损失函数的组合来处理差的深度预测并保持对象的不连续性。特别是，我们的方法在公开的KITTI和Make 3D数据集上提供了相当的和有前途的结果，预测准确率高达89%，与最先进的解决方案相比，可训练参数的数量减少了40%。源代码可在https://github.com/ArminMasoumian/GCNDepth.git上公开获取
2021-12-13 cs.CV
Spectral-spatial classification of hyperspectral images: three tricks and a new supervised learning setting
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；Corbion（科碧恩）；Open University of the Netherlands（荷兰开放大学）
近年来，高光谱图像的光谱-空间分类一直是许多研究的主题。在只有很少的标记像素的存在下，这项任务变得具有挑战性。在本文中，我们解决了以下两个研究问题：1）可以一个简单的神经网络只有一个单一的隐藏层实现国家的最先进的性能在存在的标记像素很少？2)当使用不相交的训练集和测试集时，高光谱图像分类方法的性能如何受到影响？我们通过在一个非常基本的浅层卷积神经网络（CNN）架构中使用三个技巧来对第一个问题给出肯定的答案：一个定制的损失函数，以及基于平滑和标签的数据增强。定制的损失函数强制邻域波长对训练期间生成的特征具有类似的贡献。这里提出的一种新的基于标签的技术有利于在较小的类中选择像素，这在存在很少的标记像素和倾斜的类分布时是有益的。为了解决第二个问题，我们引入了一个新的抽样过程来产生不相交的训练和测试集。然后，使用训练集来获得CNN模型，然后将其应用于测试集中的像素以估计它们的标签。我们评估了简单的神经网络方法对五个公开的高光谱图像的有效性。在这些图像上，我们的方法显着优于考虑的基线。值得注意的是，每个类别只有1%的标记像素，在这些数据集上，我们的方法实现了从86.42%（具有挑战性的数据集）到99.52%（简单数据集）的准确率。此外，我们表明，简单的神经网络方法在新的具有挑战性的监督设置，提高了其他基线。我们的分析证实了使用整个图像（因此训练和测试数据）构建模型的高度有益效果。
2018-07-23 cs.CV
Bottom-Up Scattering Information Perception Network for SAR target recognition
National University of Defense Technology（国防科技大学）
本文提出自底向上散射信息感知网络，通过局部化散射感知器、无监督散射部件特征提取和部件知识聚合，提升SAR目标识别的可解释性与判别能力，并在两个数据集上验证性能。
2025-04-07 cs.CV
Enhancing Remote Sensing Image Retrieval with Triplet Deep Metric Learning Network
University of Nottingham Ningbo China（宁波诺丁汉大学）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
随着遥感影像数据的快速增长，对有效的影像检索工具提出了更高的要求。本文提出了一种基于三元组深度度量学习卷积神经网络（CNN）的遥感图像检索方法。通过构造一个具有度量学习目标函数的Triplet网络，在同一类图像距离较近而不同类图像距离较远的语义空间中提取图像的代表性特征。在这样一个语义空间中，可以直接使用简单的度量指标如欧氏距离来比较图像的相似性，有效地检索同类图像。我们还研究了一个监督和一个无监督学习的方法来减少学习的语义特征的维数。我们提出了两个公开的遥感图像检索数据集的综合实验结果，并表明我们的方法显着优于国家的最先进的。
2019-02-15 cs.CV
DeepSSM: A Deep Learning Framework for Statistical Shape Modeling from Raw Images
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；School of Computing, University of Utah（犹他大学计算学院）；Comprehensive Arrhythmia Research and Management Center, University of Utah（犹他大学综合心律失常研究与管理中心）
统计形状建模是表征解剖形态学变化的重要工具。使用3D成像和随后的配准、分割和形状特征的一些提取或到一些低维形状空间上的投影的流水线来测量感兴趣的典型形状，这有助于随后的统计分析。已经提出了许多用于构建紧凑形状表示的方法，但是由于图像预处理操作的顺序而通常是不切实际的，所述图像预处理操作涉及显著的参数调整、手动描绘和/或用户的质量控制。我们建议DeepSSM：一种直接从3D图像中提取低维形状表示的深度学习方法，几乎不需要参数调整或用户帮助。DeepSSM使用卷积神经网络（CNN），同时定位感兴趣的生物结构，建立对应关系，并将这些点投影到点分布模型中PCA加载形式的低维形状表示上。为了克服训练图像的有限可用性的挑战，我们提出了一种新的数据增强程序，使用现有的对应关系的一个相对较小的一组处理图像的形状统计，以创建合理的训练样本与已知的形状参数。因此，我们将有限的CT/MRI扫描（40-50）转化为训练CNN所需的数千张图像。训练完成后，CNN会自动为看不见的图像生成准确的低维形状表示。我们验证了DeepSSM在三种不同应用中的应用，这些应用涉及建模儿科头颅CT以表征颅缝早闭，股骨CT扫描识别股骨髋臼撞击引起的髋关节形态畸形，以及左心房MRI扫描用于房颤复发预测。
2018-09-28 cs.CV cs.LG
HetSSNet: Spatial-Spectral Heterogeneous Graph Learning Network for Panchromatic and Multispectral Images Fusion
the School of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；the School of Software Technology, Zhejiang University（浙江大学软件学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；the Innovation Center of Yangtze River Delta, Zhejiang University（浙江大学长三角创新中心）
HetSSNet通过构建空间-光谱异构图结构、提取多种关系模式并聚合学习统一表示，解决了CNN和Transformer难以处理不规则地物的问题，显著提升了全色锐化性能。
2025-02-07 cs.CV
RDRN: Recursively Defined Residual Network for Image Super-Resolution
Huawei（华为）
深度卷积神经网络（CNN）在单图像超分辨率（SISR）方面取得了显着的性能。然而，非常深的网络可能会遇到训练困难，并且很难实现进一步的性能提升。有两个主要的趋势来解决这个问题：改进网络架构，通过大量的层，更好地传播功能和设计一个注意力机制，选择最丰富的功能。最近的SISR解决方案提出了高级注意和自我注意机制。然而，构建一个网络以最有效的方式使用注意力块是一个具有挑战性的问题。为了解决这个问题，我们提出了一个通用的递归定义的残差块（RDRB）更好的特征提取和传播通过网络层。在RDRB的基础上，我们设计了递归定义的残差网络（RDRN），一种新的网络结构，有效地利用注意力块。大量的实验表明，该模型在几个流行的超分辨率基准测试中取得了最先进的结果，并优于以前的方法高达0.43 dB。
2022-11-17 cs.CV cs.LG eess.IV
GraphMamba: An Efficient Graph Structure Learning Vision Mamba for Hyperspectral Image Classification
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；Peng Cheng Laboratory（鹏城实验室）；School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Emergency Management Research Center, Zhongnan University of Economics and Law（中南财经政法大学应急管理研究中心）
针对高光谱图像分类中光谱特征捕获效率低、CNN空间上下文感知不灵活的问题，提出融合HyperMamba与SpectralGCN的GraphMamba框架，在三个真实数据集上取得了最优分类性能。
2024-07-11 cs.CV cs.LG
High Accurate and Explainable Multi-Pill Detection Framework with Graph Neural Network-Assisted Multimodal Data Fusion
VinUni-Illinois Smart Health Center（文大-伊利诺伊智能健康中心）；VinUniversity（文大）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Griffith University（格里菲斯大学）；Hanoi University of Science and Technology（河内理工大学）
由于视觉外观的显著相似性，药丸滥用是普遍的，并已成为一个关键问题，造成全球三分之一的死亡。因此，药丸鉴定是一个需要彻底调查的关键问题。最近，已经进行了几次尝试来利用深度学习来解决药丸识别问题。然而，大多数已发表的著作只考虑单丸识别，并未能区分具有相同外观的硬样品。此外，大多数现有的药丸图像数据集仅具有在理想的照明条件和干净的背景下在仔细控制的环境中捕获的单个药丸图像。在这项工作中，我们是第一个在现实世界中解决多药丸检测问题的人，旨在定位和识别用户在药丸摄入量中捕获的药丸。此外，我们还介绍了在无约束条件下拍摄的多药丸图像数据集。为了处理硬样本，我们提出了一种新的方法来构建异构的先验图，将三种形式的丸间关系，包括同现可能性，相对大小，和视觉语义相关性。然后，我们提供了一个框架，将先验与药丸的视觉特征相结合，以提高检测精度。我们的实验结果证明了所提出的框架的鲁棒性，可靠性和可解释性。实验上，它在所有评估指标方面都优于所有检测基准。具体来说，我们提出的框架比Faster R-CNN提高了9.4%，比Vanilla YOLOv 5提高了12.0%。我们的研究为使用基于AI的药丸识别解决方案保护患者免受用药错误提供了新的机会。
2023-03-17 cs.CV
Lightweight Image Super-Resolution with Information Multi-distillation Network
Xidian University（西安电子科技大学）
近年来，基于深度卷积神经网络（CNN）的单图像超分辨率（SISR）方法取得了令人瞩目的成果。由于深度网络强大的表示能力，许多以前的方法可以学习低分辨率（LR）图像块与其高分辨率（HR）版本之间的复杂非线性映射。然而，过多的卷积将限制超分辨率技术在低计算能力设备中的应用。此外，任意尺度因子的超分辨率是实际应用中的一个关键问题，在以前的方法中没有很好地解决。为了解决这些问题，我们提出了一个轻量级的信息多蒸馏网络（IMDN），通过构建级联的信息多蒸馏块（IMDB），其中包含蒸馏和选择性融合部分。具体而言，提取模块提取层次特征，融合模块根据候选特征的重要性进行聚合，并通过提出的对比度感知通道注意机制进行评估。为了处理任何尺寸的真实图像，我们开发了一种自适应裁剪策略（ACS），使用相同的训练良好的模型来超分辨率块图像补丁。大量的实验表明，所提出的方法对国家的最先进的SR算法的视觉质量，内存占用量和推理时间方面表现良好。代码可在\url{https://github.com/Zheng222/IMDN}上获得。
2019-09-26 cs.CV cs.MM eess.IV
