On Classification of Distorted Images with Deep Convolutional Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
图像模糊和图像噪声是图像采集过程中常见的失真。本文系统地研究了图像失真对深度神经网络（DNN）图像分类器的影响。首先，我们研究了DNN分类器在四种类型的失真下的性能。其次，我们提出了两种方法来减轻图像失真的影响：重新训练和微调与嘈杂的图像。我们的研究结果表明，在一定条件下，与噪声图像微调可以减轻由于失真的输入的影响，是更实际的比重新训练。
2017-01-08 cs.CV
Semantically Selective Augmentation for Deep Compact Person Re-Identification
University of Bristol（布里斯托大学）
我们提出了一种深度人员重新识别方法，该方法将语义选择性的深度数据增强与基于聚类的网络压缩相结合，以生成高性能，轻型和快速的推理网络。特别是，我们建议通过从深度卷积生成对抗网络（DCGAN）中采样来增强有限的训练数据，DCGAN的训练受到语义分类器的约束，以显式控制生成过程的域特异性。因此，我们在分类器网络中编码信息，这些信息可用于指导对抗合成，并为我们的CondenseNet ID网络训练提供动力。我们提供了一个定量和定性分析的方法及其变体的一些数据集，获得的结果，优于国家的最先进的LIMA数据集的长期监测在室内生活空间。
2018-06-18 cs.CV
Distortion Robust Image Classification using Deep Convolutional Neural Network with Discrete Cosine Transform
Federation University（联邦大学）
卷积神经网络在图像分类方面有很好的应用。然而，它被发现是容易受到图像质量下降。即使是少量的失真，如噪声或模糊，也会严重影响这些CNN架构的性能。文献中的大多数工作都试图通过对相互排斥或联合的扭曲训练数据集微调预训练的CNN来缓解这个问题。这种对所有已知类型失真的迭代微调过程是详尽的，网络很难处理看不见的失真。在这项工作中，我们提出了失真鲁棒的DCT-Net，这是一个基于离散余弦变换的模块，集成到建立在VGG 16之上的深度网络中。与文献中的其他作品不同，DCT-Net在训练和测试过程中对图像中的失真类型和水平都是“盲”的。作为训练过程的一部分，所提出的DCT模块丢弃主要代表高频贡献的输入信息。DCT-Net只进行一次“盲目”训练，并在通用情况下应用，无需进一步的再训练。我们还扩展了传统dropout的思想，并提出了一个训练自适应版本。我们评估了我们提出的方法对高斯模糊，运动模糊，盐和胡椒噪声，高斯噪声和斑点噪声添加到CIFAR-10/100和ImageNet测试集。实验结果表明，一旦训练，DCT网络不仅可以很好地推广到各种看不见的图像失真，而且优于文献中的其他方法。
2020-08-06 cs.CV
FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；School of Electrical and Information Engineering, University of the Witwatersrand（金山大学电气与信息工程学院）
针对传统FER流程复杂、CNN长程依赖建模不足及Transformer二次复杂度问题，提出融合Mamba与YOLO的FER-YOLO-Mamba及双分支FER-YOLO-VSS模块，在RAF-DB和SFEW上取得更优检测分类性能。
2024-05-10 cs.CV
Low-resolution Face Recognition in the Wild via Selective Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）
通常，在野外部署人脸识别模型需要以极低的计算成本识别低分辨率人脸。为了解决这个问题，一个可行的解决方案是压缩一个复杂的人脸模型，以达到更高的速度和更低的内存，以最小的性能下降的代价。受此启发，本文提出了一种基于选择性知识蒸馏的低分辨率人脸识别方法。在该方法中，首先初始化双流卷积神经网络（CNN）以分别利用教师流和学生流来识别高分辨率人脸和分辨率降级人脸。教师流由复杂的CNN表示，用于高精度识别，而学生流由简单得多的CNN表示，用于低复杂度识别。为了避免学生流的显著性能下降，我们然后通过解决稀疏图优化问题来选择性地从教师流中提取信息量最大的面部特征，然后将其用于正则化学生流的微调过程。通过这种方式，学生流实际上是通过同时处理两个具有有限计算资源的任务来训练的：通过特征回归来近似最具信息量的面部线索，以及通过低分辨率面部分类来恢复丢失的面部线索。实验结果表明，学生流在识别低分辨率人脸方面表现出色，仅占用0.15MB内存，在CPU上每秒运行418张人脸，在GPU上每秒运行9，433张人脸。
2019-03-13 cs.CV
Deep Convolutional Decision Jungle for Image Classification
Imperial College London（帝国理工学院）；University of Bath（巴斯大学）
提出了一种新的用于图像分类的深度卷积决策丛林（CDJ）方法及其学习算法。CDJ保持标准卷积神经网络（CNN）的结构，即完全连接的多个响应映射的多个层。卷积层和全连接层中的每个响应映射或节点都选择性地响应类别标签s.t.每个数据样本经由那些激活的节点的特定软路由传播。所提出的方法CDJ自动学习特征，而决策森林和丛林需要预定义的特征集。与CNN相比，该方法嵌入了使用数据相关判别函数的好处，可以更好地处理多模态/异构数据;此外，该方法提供了更多样化的稀疏网络响应，从而可以用于具有成本效益的学习/分类。该网络通过结合传统的softmax和每层的熵损失来学习。在决策树生长中，熵损失根据类标签分布来度量数据激活的纯度。建议的损失函数的反向传播规则来自CNN的随机梯度下降（SGD）优化。我们表明，我们提出的方法优于国家的最先进的方法在三个公共图像分类基准和一个人脸验证数据集。我们还演示了辅助数据标签的使用，当可用时，这有助于我们的方法学习更多的判别路由和表示，并导致改进的分类。
2018-05-18 cs.CV
Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification
Nanyang Technological University（南洋理工大学）
在多个摄像机视图中匹配行人，称为人类重新识别，是一个具有挑战性的研究问题，在视觉监控中有许多应用。随着卷积神经网络（CNN）的复兴，已经提出了几种端到端深度连体CNN架构用于人类重新识别，其目的是将相似对（即相同身份）的图像投影为彼此更接近，而将不相似对的图像投影为彼此远离。然而，当前的网络为每个图像提取固定的表示，而不管与它配对的其他图像，并且仅在最终级别进行与其他图像的比较。在这种情况下，网络有可能无法提取更精细的局部模式，而这些模式对于区分正对和硬负对是必不可少的。在本文中，我们提出了一个门控功能，选择性地强调这种精细的共同的局部模式，通过比较跨图像对的中级功能。这根据它们所配对的图像为同一图像产生灵活的表示。我们在CUHK 03，Market-1501和VIPeR数据集上进行了实验，并证明了与基线Siamese CNN架构相比，性能有所改善。
2016-09-26 cs.CV
STNet: Selective Tuning of Convolutional Networks for Object Localization
York University（约克大学）
视觉注意力建模最近在开发由卷积神经网络提供的视觉层次中获得了动力。尽管最近成功的前馈处理从原始图像的概念的抽象，反馈处理的固有性质仍然存在计算上的争议。受内隐视觉注意的计算模型的启发，我们提出了选择性调整卷积网络（STNet）。它由自底向上和自顶向下的信息处理流组成，以选择性地调整卷积网络的视觉表示。我们通过实验评估了STNet在ImageNet基准数据集上弱监督定位任务的性能。我们证明了STNet不仅成功地超越了最先进的结果，而且还生成了注意力驱动的类假设图。
2017-08-21 cs.CV
Dewarping Document Image By Displacement Flow Estimation with Fully Convolutional Network
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence of Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
随着基于相机的文档的使用越来越多，畸变文档图像的校正成为提高识别性能的需要。在本文中，我们提出了一种新的框架，纠正失真的文档图像和消除背景精细，估计像素位移使用全卷积网络（FCN）。根据像素的位移，通过变换来校正文档图像。FCN通过对合成的失真文档的位移进行回归来训练，为了控制位移的平滑性，我们提出了正则化中的局部平滑约束（LSC）。我们的方法是易于实现和消耗适度的计算资源。实验证明，该方法能有效地对各种几何失真下的文档图像进行去扭曲，在局部细节和整体效果方面都达到了最先进的性能。
2021-04-14 cs.CV
Fingerprint Distortion Rectification using Deep Convolutional Neural Networks
West Virginia University（西弗吉尼亚大学）
指纹的弹性变形对指纹识别系统的性能有负面影响。这种负面影响给认证应用中的用户带来了不便。然而，在用户可能故意扭曲其指纹的负面识别场景中，这可能是一个严重的问题，因为扭曲将阻止识别系统识别恶意用户。目前旨在解决这一问题的方法仍有局限性。它们通常是不准确的，因为它们基于输入样本的脊频率图和方向图来估计失真参数，由于失真，这是不可靠的。其次，它们效率不高，需要大量的计算时间来校正样本。在本文中，我们开发了一种基于深度卷积神经网络（DCNN）的校正模型，以准确地估计输入图像的失真参数。使用综合失真样本的综合数据库，DCNN学习准确估计失真基础的速度比以前方法中使用的字典搜索方法快十倍。在公开的失真样本数据库上的实验结果表明，该方法能够显著提高失真样本的匹配性能。
2018-01-03 cs.CV
Early Detection of Combustion Instabilities using Deep Convolutional Selective Autoencoders on Hi-speed Flame Video
Iowa State University（爱荷华州立大学）；United Technologies Research Center（联合技术研究中心）
本文提出了一种端到端的卷积选择性自动编码器的方法，燃烧不稳定性的早期检测使用快速到达的火焰图像帧。在燃烧过程中出现的不稳定性在各种人类工程系统（诸如基于陆地和空气的燃气涡轮发动机）中引起显著的劣化和安全问题。这些特性被描述为自持的，大振幅的压力振荡，并显示出不同的空间尺度周期性相干涡结构脱落。然而，这种不稳定性是非常难以检测之前，燃烧过程变得完全不稳定，由于其突然（分叉型）的性质。在这种情况下，训练自动编码器以选择性地掩蔽稳定火焰并允许不稳定火焰图像帧。在这个过程中，模型学习识别和提取丰富的描述性和解释性火焰形状特征。有了这样的训练方案，选择性的自动编码器被证明能够检测到微妙的不稳定的燃烧过程中，使过渡从稳定到不稳定的区域的功能。因此，深度学习工具链可以作为燃烧不稳定性的早期检测框架，这将对现代发动机的安全性和性能产生变革性影响。
2016-03-25 cs.CV cs.LG cs.NE
Deep Networks with Internal Selective Attention through Feedback Connections
IDSIA（瑞士人工智能研究所）
传统的卷积神经网络（CNN）是固定的和前馈的。它们在评估过程中既不改变参数，也不使用从高层到低层的反馈。然而，真正的大脑却可以。我们的深度注意力选择网络（DasNet）架构也是如此。DasNets的反馈结构可以在分类过程中动态地改变其卷积滤波器的灵敏度。它利用顺序处理的能力来提高分类性能，允许网络迭代地将其内部注意力集中在一些卷积滤波器上。通过可扩展的自然演化策略（SNES），在巨大的百万维参数空间中通过直接策略搜索来训练反馈。在CIFAR-10和CIFAR-100数据集上，dasNet的性能优于以前的最先进模型。
2014-07-28 cs.CV cs.LG cs.NE
A deep convolutional neural network for salt-and-pepper noise removal using selective convolutional blocks
Shiraz University（设拉子大学）
针对现有卷积神经网络在椒盐噪声去除领域研究不足的问题，本文提出含新型选择性卷积块的SeConvNet模型，经多数据集实验验证，其在量化指标和视觉效果上均优于现有最优方法，高噪声密度下优势更显著。
2023-02-10 cs.CV eess.IV
Selective Convolutional Network: An Efficient Object Detector with Ignoring Background
Huazhong University of Science and Technology（华中科技大学）
众所周知，注意力机制可以有效地提高包括对象检测器在内的许多CNN的性能。而不是精炼特征图preferably，我们减少了令人望而却步的计算复杂性的一种新颖的尝试注意。因此，我们引入了一种高效的对象检测器，称为选择性卷积网络（SCN），它只选择性地计算包含有意义和有益信息的位置。该算法的基本思想是将不重要的背景区域排除在外，从而有效地降低了特征提取的计算量。为了解决这个问题，我们设计了一个精心设计的结构，可以忽略不计的开销来指导网络下一步去哪里。它是端到端可训练的，易于嵌入。在没有额外分割数据集的情况下，我们探索了两种不同的训练策略，包括直接监督和间接监督。大量的实验评估PASCAL VOC 2007和MS COCO检测数据集的性能。结果表明，SSD和Pelee与我们的方法相结合，平均减少了1/5和1/3的范围内的计算精度略有损失，证明SCN的可行性。
2020-02-04 cs.CV
Selective Unsupervised Feature Learning with Convolutional Neural Network (S-CNN)
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
卷积神经网络（CNN）的监督学习可能需要非常大量的标记数据。标记数千或数百万个训练样本可能非常耗时且成本高昂。解决这个问题的一个方向是从未标记的数据中创建特征。在本文中，我们提出了一种训练CNN的新方法，不需要标记的实例。这种无监督的特征学习方法，然后成功地应用到一个具有挑战性的对象识别任务。所提出的算法是相对简单的，但达到的准确度相比，更复杂的方法。与现有的CNN方法相比，所提出的方法明显更容易训练，对手动标记的训练数据的要求更少。它也被证明是抵抗过拟合。我们提供了一些著名的数据集，即STL-10，CIFAR-10和CIFAR-100的结果。结果表明，我们的方法提供了有竞争力的性能与现有的替代方法相比。选择性卷积神经网络（S-CNN）是一种简单、快速的算法，它引入了一种新的无监督特征学习方法，提供了具有良好泛化能力的判别特征。
2016-06-07 cs.CV
Cascaded Neural Networks with Selective Classifiers and its evaluation using Lung X-ray CT Images
IBM Tokyo Laboratory（IBM东京实验室）
肺结节检测是一个类不平衡的问题，因为结节被发现的频率比非结节低得多。在类别不平衡问题中，传统的分类器往往被多数类别压倒而忽略少数类别。因此，我们提出了级联卷积神经网络，以应付类不平衡的问题。在所提出的方法中，级联的卷积神经网络作为选择性分类器过滤掉明显的非结节。随后，用平衡数据集训练的卷积神经网络计算结节概率。在FROC曲线上，该方法在每次扫描1个和4个假阳性时的检测灵敏度分别为85.3%和90.7%。
2016-11-22 cs.CV
SHAP-Integrated Convolutional Diagnostic Networks for Feature-Selective Medical Analysis
Guilin University of Electronic Technology（桂林电子科技大学）；École de Technologie Supérieure（高等技术学院）
本文提出SHAP集成的卷积诊断网络SICDN，通过可解释特征选择和历史加权移动平均技术，在有限医学数据集上实现超过97%的分类准确率，超越四种流行CNN模型。
2025-03-10 cs.AI cs.CV cs.LG
An end-to-end convolutional selective autoencoder approach to Soybean Cyst Nematode eggs detection
本文在深度卷积网络的框架内提出了一种新的选择性自动编码器方法。这个想法的关键是训练深度卷积自动编码器，以抑制图像帧中不需要的部分，同时允许所需的部分，从而实现有效的目标检测。该框架的有效性证明了一个关键的植物科学问题。在美国，由于大豆植物上的线虫感染，每年损失约10亿美元。目前，植物病理学家依靠人工显微镜对土壤样品中的大豆胞囊线虫（SCN）卵进行劳动密集型和耗时的鉴定。所提出的框架试图通过使用一系列手动标记的显微图像进行训练，然后进行自动化高通量鸡蛋检测来显着加快这一过程。由于图像帧中存在大量非鸡蛋颗粒（干扰），这些颗粒在形状、姿态和照明方面与SCN鸡蛋非常相似，因此这个问题特别困难。因此，选择性自动编码器被训练以学习与SCN蛋的不变形状和大小相关的独特特征，而无需手工制作。之后，在后处理阶段应用复合非最大值抑制和差分。
2016-03-25 cs.CV cs.LG stat.ML
A combined full-reference image quality assessment approach based on convolutional activation maps
全参考图像质量评估（FR-IQA）的目标是使用原始的参考图像来预测人类观察者所感知的图像质量。在这项研究中，我们探索了一种新的组合方法，该方法通过从卷积激活图中编译特征向量来预测失真图像的感知质量。更具体地，通过预训练的卷积神经网络运行参考失真图像对，并且将激活图与传统图像相似性度量进行比较。随后，得到的特征向量映射到感知质量分数的帮助下，训练的支持向量回归。一个详细的参数研究，其中所提出的方法的设计选择的理由。此外，我们研究了训练图像的数量和预测性能之间的关系。具体而言，它表明，所提出的方法可以用少量的数据进行训练，以达到高的预测性能。我们最好的建议- ActMapFeat -比较国家的最先进的六个公开可用的基准IQA数据库，如KADID-10 k，TID 2013，TID 2008，MDID，CSIQ，和VCL-FER。具体来说，我们的方法能够显着优于这些基准数据库的最先进的。
2020-12-03 cs.CV eess.IV
H-OWAN: Multi-distorted Image Restoration with Tensor 1x1 Convolution
College of Artificial intelligence, Nankai University（南开大学人工智能学院）；Riken Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
从具有组合失真的图像变体中恢复图像是一项具有挑战性的任务。在现有的作品中，一个有前途的策略是应用并行的“操作”来处理不同类型的失真。然而，在特征融合阶段，少量的操作将主导恢复结果，由于不同的操作的特征的异质性。为此，我们通过施加高阶张量（外）积来引入张量1x1卷积层，通过这种方法，我们不仅协调了异构特征，还考虑了额外的非线性。为了避免张量积导致的不可接受的核大小，我们使用张量网络分解来构造核，它能够将维度的指数增长转换为线性增长。在此基础上，我们提出了一种高阶OWAN算法，用于多畸变图像复原。在数值实验中，所提出的网络优于以前的国家的最先进的，即使在更困难的任务表现出良好的性能。
2020-01-29 cs.CV
Setting an attention region for convolutional neural networks using region selective features, for recognition of materials within glass vessels
Vayavision
卷积神经网络已经成为图像分类和分割的主要方法。在某些情况下，希望将网络的注意力集中在图像中的特定区域上;一种这样的情况是识别透明血管的内容物，其中图像中的血管区域是已知的。这项工作提出了一种阀过滤器方法，用于将网络的注意力集中在感兴趣区域（ROI）上。在这种方法中，ROI作为二进制映射插入到网络中。该网络对ROI和背景图像区域使用不同的卷积滤波器集，从而从每个区域提取不同的特征集。更准确地说，对于图像上使用的每个滤波器，存在对应的阀滤波器，其作用于ROI图并确定将使用对应图像滤波器的区域。该阀滤波器有效地充当根据ROI图抑制不同图像区域中的特定特征的阀。此外，一个新的数据集的玻璃器皿中的材料的图像在化学实验室设置。该数据集包含一千个图像，根据类别从填充和空到容器内材料的确切相位进行像素级注释。基于该数据集比较了阀滤波器方法和没有ROI输入的全卷积神经网络（FCN）的结果。
2017-09-09 cs.CV
Blind Quality Assessment for Image Superresolution Using Deep Two-Stream Convolutional Networks
许多图像超分辨率（SR）算法已经被提出用于从具有较低空间分辨率的输入图像重建高分辨率（HR）图像。然而，有效地评估SR图像的感知质量仍然是一个具有挑战性的研究问题。在本文中，我们提出了一种基于无参考/盲深度神经网络的SR图像质量评估器（DeepSRQ）。为了学习各种失真SR图像的更多区别性特征表示，所提出的DeepSRQ是一个双流卷积网络，包括用于失真结构和纹理SR图像的两个子组件。与传统的图像失真不同，超分辨率图像的伪影会导致图像结构和纹理质量的下降。因此，我们选择了双流方案，它捕获SR输入的不同属性，而不是直接从一个图像流中学习特征。考虑到人类视觉系统（HVS）的特性，结构流侧重于提取结构退化中的特征，而纹理流则侧重于纹理分布的变化。此外，为了增加训练数据并确保类别平衡，我们提出了一种基于步幅的自适应裁剪方法，以进一步改进。在三个公开的SR图像质量数据库上的实验结果表明，与最先进的图像质量评估算法相比，我们提出的DeepSRQ方法的有效性和泛化能力。
2020-04-13 cs.CV cs.MM eess.IV
Training CNNs with Selective Allocation of Channels
KAIST（韩国科学技术院）；AITRICS
深度卷积神经网络（CNN）的最新进展已经实现了架构设计的简单范例：较大的模型通常可以实现更好的准确性。因此，在现代CNN架构中，设计在某些资源约束（例如参数数量）下很好地泛化的模型变得更加重要。在本文中，我们提出了一种简单的方法来提高任何具有大规模特征的CNN模型的容量，而无需添加更多的参数。特别是，我们修改了一个标准的卷积层，使其具有通道选择性的新功能，以便训练该层选择重要的通道来重新分配其参数。我们在各种CNN架构和数据集下的实验结果表明，与基线相比，所提出的新卷积层允许通过有效的资源利用更好地推广新的最优值。
2019-05-11 cs.CV cs.LG stat.ML
Keypoint Density-based Region Proposal for Fine-Grained Object Detection and Classification using Regions with Convolutional Neural Network Features
Knexus Research Corporation（Knexus研究公司）；University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；Naval Research Laboratory（海军研究实验室）
虽然区域卷积神经网络（CNN）的最新进展使它们在标准目标检测和分类任务上优于传统技术，但它们的响应时间对于实时性能来说仍然很慢。为了解决这个问题，我们提出了一种方法，区域建议作为选择性搜索，这是用于当前国家的最先进的目标检测算法的替代。我们评估我们的关键点密度为基础的区域建议（KDRP）的方法，并表明它加快了100%的细粒度任务的检测和分类与现有的选择性搜索区域建议技术，而不影响分类精度。KDRP使CNN在实时检测和分类中的应用变得可行。
2016-03-01 cs.CV
Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks
Google Inc.（谷歌公司）
在无约束的自然照片中识别任意多字符文本是一个困难的问题。在本文中，我们解决了一个同样困难的子问题，在这一领域，即。识别任意多位数字从街景图像。解决这个问题的传统方法通常将定位、分割和识别步骤分开。在本文中，我们提出了一种统一的方法，通过使用直接对图像像素进行操作的深度卷积神经网络来集成这三个步骤。我们采用深度神经网络的DistBelief实现，以便在高质量图像上训练大型分布式神经网络。我们发现这种方法的性能随着卷积网络的深度而增加，最好的性能出现在我们训练的最深架构中，具有11个隐藏层。我们评估这种方法上公开可用的SVHN数据集，并实现了超过$96\%$的准确性，在识别完整的街道号码。我们表明，在每一个数字识别任务，我们提高了国家的最先进的，实现$97.84\%$的准确性。我们还评估了这种方法上的一个更具挑战性的数据集生成的街景图像包含数千万的街道编号注释，并实现了超过$90\%$的准确性。为了进一步探索所提出的系统对更广泛的文本识别任务的适用性，我们将其应用于reCAPTCHA的合成失真文本。reCAPTCHA是最安全的反向图灵测试之一，它使用扭曲的文本来区分人类和机器人。我们报告了一个$99.8\%$的reCAPTCHA最难的类别的准确性。我们对这两项任务的评估表明，在特定的操作阈值，所提出的系统的性能是可比的，在某些情况下，超过了人类操作员。
2014-04-14 cs.CV
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）在计算机视觉中的各种任务中实现了最先进的性能。然而，解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里，我们研究了压缩，特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案，该方案在经过训练的CNN中修剪过滤器。在我们的压缩中，过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低（CAR）。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说，我们展示了形状选择性过滤器对对象识别的重要性，而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中，第一层中的17个和第二层中的14个是颜色选择过滤器。最后，我们引入了CAR重要性指数的一个变体，它量化了每个图像类对每个CNN过滤器的重要性。我们发现，最重要和最不重要的类标签提出了一个有意义的解释，每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML
OneDConv: Generalized Convolution For Transform-Invariant Representation
South China University of Technology（华南理工大学）
卷积神经网络（CNN）在各种视觉任务中表现出了强大的功能。然而，缺乏变换不变性限制了它们在复杂的现实世界中的进一步应用。在这项工作中，我们提出了一种新的广义一维卷积算子（OneDConv），它以计算和参数有效的方式基于输入特征动态地变换卷积核。该算子能自然地提取变换不变特征。它提高了卷积的鲁棒性和通用性，而不牺牲普通图像的性能。所提出的OneDConv算子可以替代普通卷积，因此它可以被纳入当前流行的卷积架构中，并很容易进行端到端的训练。在几个流行的基准测试中，OneDConv在规范和失真图像中的性能都优于原始卷积运算和其他提出的模型。
2022-01-15 cs.CV
Implicit Filter Sparsification In Convolutional Neural Networks
Max Planck Institute For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
我们展示了卷积神经网络（CNN）中的隐式滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。通过广泛的实证研究（Mehta等人，2019）我们假设了稀疏化过程背后的机制，并发现了与文献中提出的某些滤波器稀疏化算法的惊人联系。出现，并随后修剪的选择性功能被观察到的贡献机制之一，导致功能稀疏在平价或优于某些明确的稀疏/修剪方法。在这篇研讨会文章中，我们总结了我们的发现，并指出了选择性特征惩罚的推论，这些推论也可以用作过滤器修剪的算法
2019-05-13 cs.CV cs.LG stat.ML
Selective De-noising of Sparse-Coloured Images
自古以来，噪音一直是人类已知的各种实体的干扰源。多年来，不同种类的噪声模型已经被开发出来，以更详细的方式研究噪声。特别地，图像处理已经广泛地实现了几种算法来减少照片和图片文档中的噪声以减轻噪声的影响。稀疏颜色的图像（较少数量的不同颜色）在当今很常见，特别是在天文学和天体物理学中，黑色和白色构成了主要成分。高斯型加性噪声是大多数通信信道中最常被研究和分析的噪声形式，如卫星链路、移动基站到本地蜂窝塔通信信道等。大多数时候，我们遇到的图像从天文来源被扭曲的噪音最大，因为他们旅行长距离从望远镜在外层空间到地球。考虑到加性高斯白噪声（AWGN）是这些长距离信道中的常见噪声，本文提供了一种见解和算法的方法，以像素特定的去噪的稀疏彩色图像受AWGN影响。本文的结论与一些必要的未来的途径和应用，这种去噪方法在工业界和学术界。
2016-10-29 cs.CV
Blind Predicting Similar Quality Map for Image Quality Assessment
Communication University of China（中国传媒大学）
图像盲质量评估的关键问题是如何以数据驱动的方式有效地对人类视觉系统的特性进行建模。在本文中，我们提出了一个简单而有效的BIQA模型的基础上，一个新的框架，其中包括一个完全卷积神经网络（FCNN）和池网络来解决这个问题。原则上，FCNN能够通过使用从传统的全参考图像质量评估方法导出的中间相似性图，仅从失真图像预测逐像素的相似质量图。预测的逐像素质量图与参考图像和失真图像之间的失真相关性具有良好的一致性。最后，深度池化网络将质量图回归为分数。实验表明，我们的预测优于许多国家的最先进的BIQA方法。
2019-03-10 cs.CV
Selective Output Smoothing Regularization: Regularize Neural Networks by Softening Output Distributions
在本文中，我们提出了选择性输出平滑正则化，一种新的正则化方法训练的卷积神经网络（CNN）。受不同样本对训练的不同影响的启发，选择性输出平滑正则化通过鼓励模型在处理模型正确分类和过度自信的样本时在不正确的类上产生相等的logits来提高性能。这种即插即用的正则化方法可以方便地集成到几乎任何基于CNN的项目中，而不会带来额外的麻烦。大量的实验表明，选择性输出平滑正则化在图像分类基准测试中始终实现了显着的改进，例如CIFAR-100，Tiny ImageNet，ImageNet和CUB-200-2011。特别是，我们的方法在使用ResNet-50的ImageNet上获得了77.30%的准确率，比基线（76.2%）提高了1.1%。我们还实证证明了我们的方法与其他广泛使用的正则化技术相结合时，进一步改进的能力。在Pascal检测中，使用SOSR训练的ImageNet分类器作为预训练模型可以获得更好的检测性能。
2022-03-29 cs.CV
Image Denoising Using Convolutional Autoencoder
Vellore Institute of Technology（韦洛尔理工学院）
随着现代世界不可阻挡的数字化，技术领域的每个子集都在不断取得重大进步。一个这样的子集是曾经如此流行的数字图像。图像并不总是像您希望的那样在视觉上令人愉悦或清晰，并且经常被噪声扭曲或模糊。随着时间的推移，许多增强图像的技术已经出现，所有这些技术都有各自的优点和缺点。在本文中，我们将研究一种特殊的技术，该技术借助通常称为自动编码器的神经网络模型来完成这项任务。我们为模型构建不同的架构，并比较结果，以确定最适合任务的架构。简要讨论了该模型的特点和工作原理，为今后的研究奠定了基础。
2022-07-24 cs.CV cs.LG eess.IV
Selective Attention-Based Network for Robust Infrared Small Target Detection
School of Software and Internet of Things Engineering（软件与物联网工程学院）；School of Computer Science and Technology（计算机科学与技术学院）
本文提出SANet网络，通过双路径语义感知模块和选择性注意力融合模块，提升红外小目标在复杂背景下的检测性能。
2026-04-27 cs.CV
TSGB: Target-Selective Gradient Backprop for Probing CNN Visual Saliency
Xiamen University（厦门大学）；Australian National University（澳大利亚国立大学）；Peng Cheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）
对深度神经网络的解释在过去几年中引起了深度学习社区的广泛关注。在这项工作中，我们研究的视觉显着性，又名。直观的解释，来解释卷积神经网络。与基于迭代的显著性方法相比，基于单次向后通过的显著性方法具有更快的速度，并且它们被广泛用于下游视觉任务。因此，我们专注于基于单次反向传递的方法。然而，现有的方法在这一类的斗争，uccably完全产生细粒度的显着性地图集中在特定的目标类。也就是说，使用单个向后传递产生同时满足目标选择性和细粒度的忠实显著性图是该领域中的一个具有挑战性的问题。为了缓解这个问题，我们重新审视了网络内部的梯度流，发现纠缠的语义和原始权重可能会干扰目标相关显着性的传播。受这些观察结果的启发，我们提出了一种新的视觉显着性方法，称为目标选择性梯度反向传播（TSGB），它利用整流操作来有效地强调目标类，并进一步有效地将显着性传播到图像空间，从而生成目标选择性和细粒度显着性图。所提出的TSGB由两个组件组成，即TSGB-Conv和TSGB-FC，它们分别校正卷积层和全连接层的梯度。在ImageNet和Pascal VOC数据集上进行的大量定性和定量实验表明，该方法比其他竞争方法获得了更准确和可靠的结果。代码可在https://github.com/123fxdx/CNNvisualizationTSGB上获得。
2022-03-06 cs.CV cs.LG
Motion Selective Prediction for Video Frame Synthesis
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
现有的条件视频预测方法从大型数据库训练网络，并推广到以前看不见的数据。我们采取相反的立场，并引入一个模型，从给定视频的第一帧学习，并扩展其内容和运动，例如，将其长度增加一倍。为此，我们提出了一种双网络，可以灵活地使用动态和静态卷积运动内核来预测未来的帧。我们模型的构造为我们提供了有效分析其功能并解释其输出的方法。我们通过实验证明了我们的方法在野外具有挑战性的视频上的鲁棒性，并表明它具有竞争力的wrt相关基线。
2018-12-25 cs.CV cs.LG
Adaptive Hypergraph Convolutional Network for No-Reference 360-degree Image Quality Assessment
University of Science and Technology of China（中国科学技术大学）
在无参考360度图像质量评估（NR 360IQA）中，通过图形对视口之间的交互进行建模的图形卷积网络（GCN）取得了令人印象深刻的性能。然而，流行的基于GCN的NR 360IQA方法受到三个主要限制。首先，它们只使用失真图像的高级特征来回归质量分数，而人类视觉系统（HVS）基于层次特征对图像进行评分。其次，它们通过图形以成对的方式简化了视口之间复杂的高阶交互。第三，在图的构建中，他们只考虑了视口的空间位置，忽略了其内容特征。因此，为了解决这些问题，我们提出了一种用于NR 360 IQA的自适应超图卷积网络，表示为AHGCN。具体来说，我们首先设计了一个多层次的视口描述符，用于从视口中提取层次表示。然后，我们通过超图对视口之间的交互进行建模，其中每个超边连接两个或多个视口。在超图的构造中，我们为每个视区建立了一个基于位置的超边和一个基于内容的超边。两个公共360 IQA数据库上的实验结果表明，我们提出的方法具有明显的优势，比国家的最先进的全参考和无参考IQA模型。
2021-05-19 cs.CV eess.IV
SAFER: Sharpness Aware layer-selective Finetuning for Enhanced Robustness in vision transformers
Duke University（杜克大学）；University of California, Berkeley（加州大学伯克利分校）
SAFER提出一种分层选择性微调方法，仅对ViT中最易过拟合的少数层应用锐度感知最小化并冻结其余层，从而在多种架构和数据集上同时提升干净与对抗准确率，最高增益达20%。
2025-01-02 cs.CV
Selective Depthwise Separable Convolution for Lightweight Joint Source-Channel Coding in Wireless Image Transmission
Singapore University of Technology and Design（新加坡科技设计大学）；National Mobile Communications Research Laboratory（国家移动通信研究中心）；Southeast University（东南大学）；School of Electronic and Optical Engineering（电子与光学工程学院）
本文提出一种可配置轻量级联合源-信道编码框架，通过选择性替换标准卷积层为深度可分离卷积层，实现不同压缩水平和重建性能的平衡。
2026-10-12 cs.CV eess.IV
Selective Structured State Space for Multispectral-fused Small Target Detection
Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）；National Space Science Center, Chinese Academy of Sciences（中国科学院国家空间科学中心）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；School of Astronomy and Space Science, University of Chinese Academy of Sciences（中国科学院大学天文与空间科学学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对高分辨率遥感小目标检测精度低和计算成本高的问题，提出基于Mamba的ESTD、CARG和MEPF模块，实现高效且精准的多光谱融合小目标检测。
2025-05-23 cs.CV
Modeling Generalized Specialist Approach To Train Quality Resilient Snapshot Ensemble
卷积神经网络（CNN）由于具有学习区分性视觉特征的能力，因此很好地应用于食品图像识别。然而，识别失真图像对于现有的CNN来说是一个挑战。因此，本研究模拟了一种广义的专家方法来训练一个高质量的弹性合奏。该方法有助于集成框架中的模型保留识别干净图像的一般技能和对噪声图像进行分类的浅层技能，其中一个深度专业领域是特定的失真。随后，一种新的数据增强随机质量混合（RQMixUp）与快照集成相结合，训练G-Specialist。在G-Specialist的每个训练周期中，一个模型在RQMixup生成的合成图像上进行微调，在随机选择的水平上混合特定失真的干净和失真图像。结果，整体中的每张快照都获得了多个失真级别的专业知识，并在其他质量失真方面获得了肤浅的技能。接下来，来自不同专家的滤波器输出被融合以获得更高的精度。由于单个训练过程用于训练专家，学习过程没有额外的成本，与用于迁移学习的各种监督CNN兼容。最后，对三种真实食物和马来西亚食物数据库的实验分析表明，扭曲图像的分类性能有显着改善，对原始食物图像的分类性能具有竞争力。
2022-06-12 cs.AI cs.CV
SkipNet: Learning Dynamic Routing in Convolutional Networks
University of California, Berkeley（加州大学伯克利分校）；Nanjing University（南京大学）
虽然需要更深的卷积网络来实现视觉感知任务的最大准确性，但对于许多输入，更浅的网络就足够了。我们通过学习在每个输入的基础上跳过卷积层来利用这种观察。我们介绍了SkipNet，一种改进的残差网络，它使用门控网络来选择性地跳过基于前一层激活的卷积块。我们制定的动态跳跃问题的顺序决策的背景下，提出了一种混合学习算法，结合监督学习和强化学习，以解决不可微的跳跃决策的挑战。我们发现，SkipNet将计算量减少了30-90%，同时在四个基准数据集上保持了原始模型的准确性，并且优于最先进的动态网络和静态压缩方法。我们还定性地评估了门控策略，以揭示图像尺度和显着性以及跳过的层数之间的关系。
2018-07-25 cs.CV
Boosting Convolutional Features for Robust Object Proposals
University of California, Los Angeles（加州大学洛杉矶分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
深度卷积神经网络（CNN）在图像分类方面表现出了出色的性能，但在许多类别的对象检测任务中仍有改进的空间，特别是对于混乱的场景和遮挡。现代检测算法，如具有CNN的区域（Girshick等人，2014）依赖于选择性搜索（Uijlings等人，2013年）提出了具有高概率表示对象的区域，其中又部署了CNN用于分类。选择性搜索代表了一系列复杂的算法，这些算法设计有多个分割，外观和显着性提示，通常会带来显着的运行时开销。此外，（Hosang等人，2014）已经表明，由于不稳定的超像素，即使对于轻微的图像扰动，大多数方法也具有低再现性。尽管CNN随后被用于性能最好的对象检测管道中的分类，但目前的建议方法对这些模型如何解析对象及其丰富的学习表示是不可知的。因此，他们可能会提出可能不像高级对象或完全错过其中一些的区域。为了克服这些缺点，我们提出了一种提升方法，该方法直接利用分层CNN特征来快速检测感兴趣区域。我们在ImageNet 2013检测基准上展示了它的性能，并将其与最先进的方法进行了比较。
2015-03-21 cs.AI cs.CV cs.LG
On the Selective and Invariant Representation of DCNN for High-Resolution Remote Sensing Image Recognition
School of Geosciences and Info Physics, Central South University（中南大学地球科学与信息物理学院）
人类视觉在图像识别中具有很强的不变性。深度卷积神经网络（DCNN）直接从原始图像进行分层编码，使其认知能力接近人类视觉水平。由于其在特征表示方面的优势，DCNN在高分辨率遥感图像的场景识别和高光谱遥感图像的分类中表现出了显著的性能。深入的研究对于理解为什么DCNN可以通过其有效的特征表示准确地识别不同的地面物体仍然是必不可少的。因此，我们训练深神经网络称为AlexNet在我们的大规模遥感图像识别基准。在每个卷积层的神经元层次上，采用视觉刺激-特征响应结合特征编码-分类解码的框架，分析了DCNN在HRRS图像识别中的一般特性。具体来说，我们使用直方图统计，代表性相异度矩阵和类激活映射观察HRRS图像识别中的DCNN的选择性和不变性表示。我们认为，选择性和不变性表示在遥感图像的任务，如分类，检测和分割中起着重要的作用。选择性和不变性表示对于设计新的DCNN模型分析和理解遥感图像具有重要意义。
2017-08-04 cs.CV
Deep Convolutional Neural Network for Plant Seedlings Classification
农业对人类生存至关重要，仍然是世界各地几个经济体的主要驱动力;在欠发达和发展中经济体中更是如此。由于全球人口不断增长和气候变化带来的挑战，对粮食和经济作物的需求不断增加，迫切需要在增加农业产出的同时将成本降到最低。以前为选择性除草开发的机器视觉技术面临着可靠和准确的杂草检测的挑战。我们提出了植物幼苗分类的方法，该数据集包含约960个独特的植物属于12个物种在几个生长阶段的4,275个图像。我们比较了两种传统算法和卷积神经网络（CNN）的性能，卷积神经网络是一种广泛应用于图像识别的深度学习技术。我们的研究结果表明，当用于农业自动化时，CNN驱动的幼苗分类应用程序有可能优化作物产量，并在适当设计时提高生产力和效率。
2018-11-20 cs.CV
FusionNet and AugmentedFlowNet: Selective Proxy Ground Truth for Training on Unlabeled Images
University of Freiburg（弗莱堡大学）
最近的工作表明，卷积神经网络（CNN）可以用来估计光流具有高质量和快速的运行时间。这使得它们更适合现实世界的应用。然而，这样的网络需要非常大的训练数据集。工程化训练数据是困难和/或费力的。本文展示了如何使用大量额外的未标记数据来增强在现有合成数据集上训练的网络。特别是，我们引入了一个选择机制，从多个估计组装一个联合光流场，它优于所有的输入方法。后者可以用作代理地面实况，以在真实世界数据上训练网络，并使其适应特定的感兴趣领域。我们的实验结果表明，网络的性能大大提高，无论是在跨域和特定领域的情况下。因此，我们在KITTI基准测试中获得了最先进的结果。
2018-08-20 cs.CV
TGSR: Text-Grounded Diffusion for Faithful Image Super-Resolution
AIC-Toronto, Samsung Electronics（AIC-多伦多，三星电子）；AMD（超威半导体公司）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；York University（约克大学）
针对扩散模型图像超分辨率的文本幻觉问题，提出TGSR框架，通过选择性控制抑制文本区域幻觉，提升文本识别精度且不降低感知质量。
2026-10-14 cs.CV
Checkerboard-Artifact-Free Image-Enhancement Network Considering Local and Global Features
Tokyo Metropolitan University（东京都立大学）
在本文中，我们提出了一种新的卷积神经网络（CNN），永远不会导致棋盘文物，图像增强。在图像到图像转换问题的研究领域中，众所周知，由通常的CNN生成的图像被棋盘伪影所扭曲，棋盘伪影主要是在上采样层的前向传播中引起的。然而，在图像增强中的棋盘形伪影从未被讨论过。在本文中，我们指出，将基于U-Net的CNN应用于图像增强会导致棋盘状伪影。相比之下，包含固定卷积层的拟议网络可以完美地防止伪影。此外，建议的网络架构，它可以处理本地和全球的功能，使我们能够提高图像增强的性能。实验结果表明，使用固定的卷积层可以防止棋盘状伪影，并且所提出的网络在各种客观质量指标（PSNR，SSIM和NIQE）方面优于最先进的基于CNN的图像增强方法。
2020-10-13 cs.CV eess.IV
Optimization of Layer Skipping and Frequency Scaling for Convolutional Neural Networks under Latency Constraint
Tsinghua University（清华大学）
本文提出比例层跳过与频率缩放方法，在延迟约束下优化CNN能耗，实验表明其在CIFAR-10数据集的ResNet-152上显著降低计算需求与能耗且精度损失极小。
2025-03-31 cs.CV
Local-Selective Feature Distillation for Single Image Super-Resolution
Seoul National University（首尔大学）
基于卷积神经网络（CNN）的单图像超分辨率（SISR）方法的最新改进严重依赖于制造网络架构，而不是找到合适的训练算法，而不是简单地最小化回归损失。采用知识蒸馏（KD）可以为SISR的进一步改进开辟一条道路，并且在模型效率方面也是有益的。KD是一种模型压缩方法，可以提高深度神经网络（DNN）的性能，而无需使用额外的参数进行测试。它最近因其提供更好的容量-性能权衡的能力而备受关注。本文提出了一种新的适用于SISR的特征提取方法。我们展示了现有的基于FitNet的FD方法的局限性，它在SISR任务中遭受，并建议修改现有的FD算法专注于本地特征信息。此外，我们提出了一种基于师生差异的软特征注意方法，选择性地集中在特定的像素位置提取特征信息。我们称我们的方法局部选择性特征蒸馏（LSFD），并验证我们的方法优于传统的FD方法在SISR问题。
2021-11-22 cs.CV eess.IV
Joint Image Filtering with Deep Convolutional Networks
University of California, Merced（加州大学默塞德分校）；Virginia Tech（弗吉尼亚理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联合图像滤波器利用引导图像作为先验，将引导图像的结构细节转移到目标图像，以抑制噪声或提高空间分辨率。现有的方法要么依赖于各种显式滤波器构造，要么依赖于手工设计的目标函数，从而使得难以在连贯的框架中理解、改进和加速这些滤波器。本文提出了一种基于卷积神经网络的联合滤波器的学习构造方法。与只考虑制导图像的现有方法相比，该算法可以选择性地转移与制导图像和目标图像一致的显著结构。我们证明了模型是在某种类型的数据上训练的，例如，RGB和深度图像，很好地推广到其他模态，例如，闪光/非闪光和RGB/NIR图像。我们验证了所提出的联合滤波器的有效性，通过广泛的实验评估与国家的最先进的方法。
2019-01-02 cs.CV
An Attention-based Recurrent Convolutional Network for Vehicle Taillight Recognition
Toyota Research Institute（丰田研究院）
汽车尾灯识别是自动驾驶的一个重要应用，特别是对汽车的意图预测和自我车辆的轨迹规划。在这项工作中，我们提出了一个端到端的深度学习框架，以识别尾灯，即后方转向和刹车信号，从图像序列。所提出的方法从卷积神经网络（CNN）开始提取空间特征，然后应用长短期记忆网络（LSTM）来学习时间依赖性。此外，我们在空间和时间域中集成了注意力模型，其中注意力模型学习选择性地关注空间和时间特征。我们的方法在UC Merced车辆后方信号数据集的准确性方面能够超越最先进的技术水平，证明了注意力模型对车辆尾灯识别的有效性。
2019-06-09 cs.CV cs.LG
Learning from Videos with Deep Convolutional LSTM Networks
University of Illinois（伊利诺伊大学）
本文探讨了使用卷积LSTM来同时学习视频中的空间和时间信息。卷积LSTM的深度网络允许模型在数据的所有空间尺度上访问整个时间信息范围。我们描述了我们的实验，涉及卷积LSTM唇读，证明该模型能够选择性地选择哪些时空尺度是最相关的特定数据集。所提出的深度架构在时空特征发挥重要作用的其他应用中也有希望，而不必专门针对问题中存在的特定时空特征来设计网络。对于Lip Reading in the Wild（LRW）数据集，我们的模型略优于以前的最新技术水平（83.4% vs. 83.0%），并且当模型在Lip Reading Sentences（LRS2）数据集上进行预训练时，将新的最新技术水平设置为85.2%。
2019-04-09 cs.CV cs.LG
Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
三维卷积神经网络（3D CNN）是一种能够同时从空间和时间两个维度学习特征的有力工具，适合应用于基于视频的动作识别。在这项工作中，我们建议不直接使用3D CNN的全连接层的激活作为视频特征，而是使用选择性卷积层激活来形成视频的区分描述符。它在身体关节位置的指导下将卷积层上的特征池化。讨论了将身体关节映射到卷积特征映射以用于池化的两种方案。身体关节位置可以从任何现成的骨架估计算法获得。系统地评估了具有不准确骨架估计的身体关节引导特征池的有用性。为了使其端到端并且不依赖于任何复杂的身体关节检测算法，我们进一步提出了一种双流双线性模型，该模型可以同时从身体关节学习指导并捕获时空特征。在该模型中，身体关节引导的特征池被方便地公式化为双线性乘积运算。在三个真实世界数据集上的实验结果证明了身体关节引导池的有效性，取得了良好的性能。
2017-04-25 cs.CV
Selective Residual M-Net for Real Image Denoising
National Chung Hsing University（国立中兴大学）；National Taichung University of Science and Technology（国立台中科技大学）
图像恢复是一个低层次的视觉任务，它是将退化的图像恢复为无噪声的图像。随着深度神经网络的成功，卷积神经网络超越了传统的恢复方法，成为计算机视觉领域的主流。为了提高去噪算法的性能，本文提出了一种基于U-Net改进的分层结构的盲实图像去噪网络（SRMNet）。具体来说，我们使用一个选择性核与残留块的层次结构称为M-Net丰富的多尺度语义信息。此外，我们的SRMNet在定量指标和视觉质量方面对两个合成数据集和两个真实噪声数据集具有竞争力的性能结果。源代码和预训练模型可在https://github.com/TentativeGitHub/SRMNet上获得。
2022-03-03 cs.AI cs.CV cs.LG
