Patch-wise Contrastive Style Learning for Instagram Filter Removal
Özyeğin University（奥兹耶金大学）
图像级的损坏和扰动会降低CNN在不同下游视觉任务中的性能。社交媒体过滤器是现实世界视觉分析应用程序中各种腐败和干扰的最常见资源之一。这些干扰因素的负面影响可以通过恢复原始图像的纯粹风格来减轻，以用于下游视觉任务的推理。假设这些过滤器实质上向社交媒体图像注入了一条额外的样式信息，我们可以将恢复原始版本的问题公式化为反向样式传输问题。我们介绍了对比Instagram过滤器删除网络（CIFR），它通过采用一种新的多层分片对比风格学习机制来增强Instagram过滤器删除的想法。实验表明，我们提出的策略产生更好的定性和定量的结果比以前的研究。此外，我们提出了我们的额外的实验结果，建议在不同的设置架构。最后，我们提出了推理输出和定量比较过滤和恢复图像的定位和分割任务，以鼓励这个问题的主要动机。
2022-04-15 cs.CV
EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining
Nanyang Technological University（南洋理工大学）；Kyushu University（九州大学）；Alibaba Group（阿里巴巴集团）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
由于降雨模型的未知性，单图像去噪具有相当大的挑战性。现有的方法通常对降雨模型进行特定的假设，这很难涵盖现实世界中的许多不同情况，使得它们不得不采用复杂的优化或逐步改进。然而，这显著影响了这些方法对于许多效率关键应用的效率和有效性。为了填补这一空白，本文将单幅图像的去噪视为一般的图像增强问题，独创性地提出了一种无模型去噪方法，即，EfficientDeRain，其能够在10~ms内处理雨天图像（即，平均约6毫秒），比现有技术方法快80倍以上（即，RCDNet），同时实现类似的降水效果。我们首先提出了新的逐像素膨胀滤波。特别地，用从核预测网络估计的逐像素核对雨天图像进行滤波，通过该核预测网络可以有效地预测每个像素的合适的多尺度核。然后，为了消除合成数据和真实数据之间的差距，我们进一步提出了一种有效的数据增强方法（即，RainMix），帮助训练网络处理真实的降雨图像。我们对合成和真实世界的降雨数据集进行了综合评估，以证明我们的方法的有效性和效率。我们在https://github.com/tsingqguo/efficientderain.git上发布模型和代码。
2020-09-19 cs.CV
Semi-Supervised Object Detection with Object-wise Contrastive Learning and Regression Uncertainty
KAIST（韩国科学技术院）；The University of Sheffield（谢菲尔德大学）；Imperial College London（帝国理工学院）
半监督目标检测（SSOD）旨在通过利用额外的未标记数据来提高检测性能。教师-学生框架已被证明对SSOD很有前途，其中教师网络为未标记的数据生成伪标签，以帮助训练学生网络。由于伪标签是嘈杂的，过滤伪标签是至关重要的，以利用这种框架的潜力。与现有的次优方法不同，我们提出了一个两步的伪标签过滤的分类和回归头在教师和学生的框架。对于分类头，OCL（Object-wise对比学习）通过提高分类分数的区分度来正则化利用未标记数据的对象表示学习以改进伪标记过滤。这被设计为将同一个类中的对象拉到一起，并将不同类中的对象推开。对于回归头，我们进一步提出了RUPL（回归不确定性引导的伪标签）来学习标签过滤对象定位的任意不确定性。通过联合过滤分类头和回归头的伪标签，学生网络从教师网络获得更好的指导，以执行目标检测任务。在Pascal VOC和MS-COCO数据集上的实验结果表明，与现有方法相比，该方法具有很好的性能。
2022-12-06 cs.CV
Decoupled Dynamic Filter Networks
South China University of Technology（华南理工大学）；University of California at Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Huazhong University of Science and Technology（华中科技大学）；Yonsei University（延世大学）
卷积是CNN架构的基本构建块之一。尽管标准卷积的使用很普遍，但它有两个主要缺点：内容不可知和计算量大。动态过滤器是内容自适应的，同时进一步增加了计算开销。深度卷积是一种轻量级变体，但它通常会导致CNN性能下降或需要更多的通道。在这项工作中，我们提出了解耦动态滤波器（DDF），可以同时解决这两个缺点。受注意力最新进展的启发，DDF将深度方向的动态滤波器扩展为空间和通道动态滤波器。这种分解大大减少了参数的数量，并将计算成本限制在与深度卷积相同的水平。与此同时，我们观察到在分类网络中用DDF取代标准卷积时，性能有显著提高。ResNet 50/ 101在前1精度上提高了1.9%和1.3%，而计算成本降低了近一半。在检测和联合上采样网络上的实验也证明了DDF上采样变体（DDF-Up）与标准卷积和专门的内容自适应层相比的优越性能。
2021-04-29 cs.CV
Retinal Vessel Segmentation with Pixel-wise Adaptive Filters
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
由于视网膜血管纹理复杂，成像对比度低，因此精确的视网膜血管分割具有挑战性。以前的方法通常通过级联多个深度网络来细化分割结果，这是耗时且低效的。在本文中，我们提出了两种新的方法来解决这些挑战。首先，我们设计了一个轻量级的模块，命名为多尺度残差相似性收集（MRSG），以产生逐像素的自适应滤波器（PA过滤器）。与级联多个深度网络不同，只有一个PA-Filter层可以改善分割结果。其次，我们引入了响应线索擦除（RCE）策略，以提高分割精度。在DRIVE，CHASE_DB1和STARE数据集上的实验结果表明，我们提出的方法在保持紧凑结构的同时优于最先进的方法。代码可在https://github.com/Limingxing00/Retinal-Vessel-Segmentation-ISBI20222上获得。
2022-02-03 cs.CV eess.IV
MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments
Institute for Robotics and Anthropomatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院机器人与人体工程学研究所）；University of Oxford（牛津大学）；Hangzhou SurImage Technology Company Ltd.（杭州 SurImage 科技有限公司）
本研究面向视障人士构建可穿戴机器人系统MateRobot，提出轻量模型MateViT实现像素级语义分割以提前识别物体与材料，在两个数据集上性能优于现有方法，实地测试显示认知负荷低且易用。
2024-03-06 cs.CV cs.RO
A Semi-Supervised Framework for Automatic Pixel-Wise Breast Cancer Grading of Histological Images
在全世界，乳腺癌是女性死亡的主要原因之一。最近，深度学习方法被开发用于对组织学载玻片的乳腺癌进行自动分级。然而，由于缺乏大型注释生物医学数据集，现有深度学习模型的性能受到限制。减轻注释负担的一种有希望的方法是利用未注释的数据集来增强训练的模型。本文首次将主动学习方法应用于乳腺癌分级，提出了一种基于期望最大化（EM）模型的半监督框架。建议EM方法是基于注释和未注释的数据集之间的协同过滤。协同过滤方法有效地从未标注的图像中提取有用和可信的数据集。全切片图像（WSI）的逐像素预测结果表明，该方法不仅优于最先进的方法，而且还显着降低了70%以上的注释成本。
2022-03-08 cs.CV
Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed
Tsinghua University（清华大学）；Nuctech AI R&D Center（Nuctech人工智能研发中心）
由于资源受限的平台需要更紧凑的模型来部署，过滤器修剪引起了更多的关注。然而，目前的剪枝方法要么受到一次性方法的性能较差，要么受到迭代训练方法的昂贵时间成本的影响。在本文中，我们提出了一个平衡的过滤器修剪方法的性能和修剪速度。基于过滤器的重要性标准，我们的方法是能够修剪一个层近似逐层的最佳修剪率在预设的损失变化。该网络采用分层修剪的方式进行修剪，避免了耗时的修剪-再训练迭代。如果给定整个网络的一个预定义的修剪率，我们还介绍了一种方法来找到相应的损失变化阈值，收敛速度快。此外，我们提出了层组修剪和信道选择机制，在网络中的信道对齐短连接。所提出的修剪方法广泛适用于常见的架构，除了最后的微调，不涉及任何额外的训练。综合实验表明，我们的方法优于许多国家的最先进的方法。
2020-10-14 cs.CV
2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy
University of Pittsburgh（匹兹堡大学）；SUNY at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Midea Corporate Research Center（美的集团研究院）
深度卷积神经网络~（CNN）在许多高维问题中具有出色的分类和回归性能，已被广泛应用于现实世界的认知应用。然而，CNN的高计算成本极大地阻碍了其在资源受限的应用，实时系统和边缘计算平台中的部署。为了克服这一挑战，我们提出了一种新的过滤器修剪框架，基于条件熵的两阶段过滤器修剪，即\textit{2PFPCE}，以压缩CNN模型，减少推理时间，边际性能下降。在我们提出的方法中，我们制定过滤器修剪过程作为一个优化问题，并提出了一种新的过滤器选择标准的条件熵。基于神经元的表示应均匀分布的假设，我们还开发了一种最大熵滤波器冻结技术，可以减少过拟合。两个过滤器修剪策略-全局和逐层策略，进行了比较。实验结果表明，在相同的精度下降阈值下，将这两种策略相结合，可以获得比只使用其中一种更高的神经网络压缩比。两阶段剪枝，即结合全局和分层策略，在VGG-16上实现了10倍的FLOPs减少和46%的推理时间减少，精度下降2%。
2018-09-06 cs.CV
Deep Concept-wise Temporal Convolutional Networks for Action Localization
Baidu Inc（百度公司）；MIT-Watson AI Lab（麻省理工学院-沃森人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
现有的动作定位方法在从视频帧提取的1D特征图上采用浅时间卷积网络（\ie，TCN）。在本文中，我们经验性地发现，堆叠更多常规的时间卷积层实际上会降低动作分类性能，这可能是由于1D特征图的所有通道（通常是高度抽象的，可以被视为潜在概念）在时间卷积中过度重组。为了解决这个问题，我们引入了一个新的概念时间卷积（CTC）层作为传统时间卷积层的替代，用于训练更深层次的动作定位网络。CTC层不是重组潜在概念，而是为每个概念单独部署一些时间过滤器，并在概念之间共享过滤器参数。从而可以捕捉不同概念的共同时间模式，并显着丰富的表征能力。通过堆叠CTC层，我们提出了一种深度概念时间卷积网络（C-TCN），它将THUMOS'14上最先进的动作定位性能从42.8提升到52.1，在mAP（\%）方面，实现了21.7\%的相对提高。在ActivityNet上也取得了良好的效果。
2019-08-26 cs.CV
JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video
Korea Advanced Institute of Science and Technology（韩国科学技术院）
最近已经探索了超分辨率（SR）和逆色调映射（ITM）的联合学习，以将传统的低分辨率（LR）标准动态范围（SDR）视频转换为高分辨率（HR）高动态范围（HDR）视频，以满足UHD HDR TV/广播应用的不断增长的需求。然而，先前的基于CNN的方法直接从LR SDR帧重建HR HDR帧，并且仅用简单的L2损失进行训练。在本文中，我们采取分而治之的方法设计了一种新的基于GAN的联合SR-ITM网络，称为JSI-GAN，它由三个特定任务的子网组成：图像重建子网，细节恢复（DR）子网和局部对比度增强（LCE）子网。我们精心设计了这些滤波器，以便它们针对预期目的进行适当的训练，通过DR子网学习一对像素级1D可分离滤波器用于细节恢复，通过LCE子网学习一个像素级2D局部滤波器用于对比度增强。此外，为了有效地训练JSI-GAN，我们提出了一种新的细节GAN损失与传统的GAN损失，这有助于增强局部细节和对比度，以重建高质量的HR HDR结果。当所有的SNR都被联合训练好时，获得了更高质量的预测HR HDR结果，其中PSNR比由先前方法生成的PSNR至少增加0.41 dB。
2019-12-16 cs.CV eess.IV
WISE: Whitebox Image Stylization by Example-based Learning
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Digital Masterpieces GmbH（数字杰作有限责任公司）
基于图像的艺术渲染可以使用算法图像过滤来合成各种表现风格。与基于深度学习的方法相比，这些基于几何学的滤波技术可以对高分辨率图像进行操作，是可解释的，并且可以根据各种设计方面进行参数化。然而，调整或扩展这些技术以产生新的样式通常是一项乏味且容易出错的任务，需要专业知识。我们提出了一个新的范例来缓解这个问题：实现算法图像过滤技术的微分操作，可以学习参数化对齐某些参考风格。为此，我们提出了WISE，一个基于实例的图像处理系统，可以处理多种风格化技术，如水彩，油或卡通风格化，在一个共同的框架内。通过训练全局和局部滤波器参数化的参数预测网络，我们可以同时使效果适应参考样式和图像内容，例如，来增强面部特征我们的方法可以在风格转换框架中进行优化，也可以在生成对抗设置中进行学习，以进行图像到图像的翻译。我们证明，联合训练XDoG滤波器和CNN进行后处理可以实现与最先进的基于GAN的方法相当的结果。
2022-07-29 cs.CV cs.GR
Fast End-to-End Trainable Guided Filter
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；eBay Research（eBay研究）；University of Oxford（牛津大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
通过利用全卷积网络（FCN）的能力，密集像素图像预测已经得到了改进。FCN的一个核心问题是处理联合上采样的能力有限。为了解决这个问题，我们提出了一种新的构建块的FCNs，即引导过滤层，它的目的是有效地生成一个高分辨率的输出，给出相应的低分辨率和高分辨率的指导地图。这样的层包含可学习的参数，这些参数可以与FCN集成，并通过端到端训练进行联合优化。为了进一步利用端到端训练，我们插件中插入了一个可训练的转换函数，用于生成特定于任务的指导图。基于所提出的层，我们提出了一个一般的框架，逐像素图像预测，命名为深度引导过滤网络（DGF）。建议的网络进行评估的五个图像处理任务。在MIT-Adobe FiveK数据集上的实验表明，DGF的运行速度提高了10-100倍，达到了最先进的性能。我们还表明，DGF有助于提高多个计算机视觉任务的性能。
2019-09-25 cs.CV
Accurate Lung Segmentation via Network-Wise Training of Convolutional Networks
Lunit Inc.（Lunit 公司）
本文介绍了一种基于深度卷积神经网络的胸部X光片肺部精确分割模型。我们的模型是基于atrous卷积层，以有效地增加过滤器的视野。为了进一步提高分割性能，我们还提出了一个多阶段的训练策略，网络明智的训练，当前阶段的网络是由输入图像和前阶段网络的输出。结果表明，这种策略有能力减少错误的预测标签，并产生光滑的边界的肺野。我们评估了一个共同的基准数据集，JSRT，并实现了国家的最先进的分割性能与更少的模型参数。
2017-08-02 cs.CV
Comprehensive Online Network Pruning via Learnable Scaling Factors
Lahore University of Management Sciences（拉合尔管理科学大学）
部署深度神经网络架构的主要挑战之一是它们的大小，这对它们的推理时间和内存需求有不利影响。深度CNN可以通过根据其重要性删除过滤器来进行宽度修剪，也可以通过删除层和块来进行深度修剪。宽度修剪（过滤器修剪）通常通过可学习的门或开关和稀疏正则化器来执行，而层的修剪迄今为止通过手动设计通常称为学生网络的较小网络来任意执行。我们提出了一个全面的修剪策略，可以执行宽度以及深度明智的修剪。这是通过引入不同粒度的门（神经元，滤波器，层，块）来实现的，然后通过目标函数来控制这些门，该目标函数在每个前向传递期间以不同粒度同时执行修剪。我们的方法适用于各种各样的架构，没有任何限制的空间维度或连接类型（顺序，残留，并行或inception）。我们的方法在基准数据集上进行评估时，压缩率为70%至90%，而准确性没有明显损失。
2020-10-06 cs.CV cs.LG
Directed-Weighting Group Lasso for Eltwise Blocked CNN Pruning
Alibaba, Inc.（阿里巴巴集团）；JD.com, Inc.（京东集团）
Elwise层是多分支深度学习网络中常用的结构。在滤波器修剪过程中，由于elwise层的特定操作，所有先前的卷积层都应该投票决定哪些滤波器应该被修剪。由于只有投票过滤器的交集被修剪，压缩率是有限的。这项工作提出了一种称为定向加权组套索（DWGL）的方法，该方法在过滤器级别组套索项上强制执行索引增量（定向）系数，以便获得高激活的低索引过滤器倾向于被保留，而高索引过滤器倾向于被修剪。当使用DWGL时，在投票过程中保留的过滤器要少得多，压缩率可以提高。本文在ResNet串联网络上对所提方法进行了测试。在CIFAR-10上，它在ResNet-56上实现了75.34%的压缩率，误差增量为0.94%，在ResNet-20上实现了52.06%的压缩率，误差增量为0.72%。在ImageNet上，它使用ResNet-50实现了53%的压缩率，误差增量为0.6%，使网络速度提高了2.23倍。此外，它在ResNet-50上实现了75%的压缩率，误差增量为1.2%，网络速度提高了4倍。
2019-10-21 cs.CV
Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在本文中，我们分析了两个流行的网络压缩技术，即过滤器修剪和低秩分解，在一个统一的意义上。通过简单地改变稀疏正则化的实施方式，可以相应地导出滤波器修剪和低秩分解。这为网络压缩提供了另一种灵活的选择，因为这两种技术可以相互补充。例如，在具有快捷连接的流行网络架构（例如ResNet）中，过滤器修剪无法处理ResBlock中的最后一个卷积层，而低秩分解方法可以。此外，我们建议联合压缩整个网络，而不是以逐层的方式。我们的方法证明了它的潜力，因为它在几个基准上与最先进的方法相比是有利的。
2020-03-19 cs.CV
Cross-filter compression for CNN inference acceleration
卷积神经网络具有很强的多任务处理能力，如图像分类等。然而，需要大量资源来训练网络。因此，已经做出了很多努力来通过降低权重、激活和梯度的精度来加速神经网络。然而，这些滤波量化方法存在由核的大小引起的自然上限。同时，随着小内核的普及，自然限制进一步降低。为了解决这个问题，我们提出了一种新的交叉滤波器压缩方法，可以提供$\sim32\times$节省内存和$122\times$加速卷积运算。在我们的方法中，所有的卷积滤波器被量化到给定的比特，空间相邻的滤波器共享相同的缩放因子。我们的压缩方法分别基于Binary-Weight和XNOR-Net，在CIFAR-10和ImageNet数据集上进行了评估，这些数据集具有广泛使用的网络结构，如ResNet和VGG，与最先进的量化方法相比，可以看到可容忍的准确性损失。
2020-05-18 cs.CV
FALLNEST: Dual-Domain Dataset Condensation of Imbalanced IMU Data for Wearable Fall Detection
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Indian Institute of Technology Guwahati（印度古瓦哈蒂理工学院）
FALLNEST是一种以数据为中心的双域IMU数据集浓缩方法，可将大型不平衡IMU数据集提炼为微小类别平衡合成训练集，在跌倒检测任务中用少量合成数据训练的TinyCNN取得了优异性能。
2026-10-14 cs.AI cs.CV eess.SP
DCTNet : A Simple Learning-free Approach for Face Recognition
Yonsei University（延世大学）
PCANet是一种轻量级的深度学习网络，主要利用主成分分析（PCA）来学习多级滤波器组，然后进行二值化和分块直方图。PCANet在各种图像分类任务中表现出令人惊讶的良好效果。然而，PCANet是数据依赖的，因此不灵活。在本文中，我们提出了一个数据独立的网络，被称为DCTNet的人脸识别中，我们采用离散余弦变换（DCT）作为滤波器组的PCA。这是由于2D DCT基确实是PCA的高排名特征向量的良好近似。二维DCT和PCA都类似于一种调制的正弦波模式，可以被视为带通滤波器组。DCTNet无需学习，因为可以预先计算2D DCT基。此外，我们还提出了一种有效的方法来调整DCTNet的分块直方图特征向量的鲁棒性。它示出提供令人惊讶的性能提升时，探头图像是从画廊图像的外观有很大的不同。我们评估了DCTNet的性能广泛的基准人脸数据库，并能够实现与PCANet相比或更好的准确性性能。
2015-09-29 cs.CV
Efficient CNNs via Passive Filter Pruning
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
针对现有被动滤波器剪枝方法在高剪枝率下性能下降的问题，提出基于算子范数的被动剪枝方法，在VGGish等多种CNN架构上泛化性更优，计算速度比主动方法快至少4.5倍且性能相当。
2023-04-05 cs.AI cs.CV cs.LG
Beam-Wise Statistical Background Subtraction for Static Roadside LiDAR: A Cross-Sensor Benchmark Study
University of Applied Sciences Esslingen（埃斯林根应用科学大学）；Faculty of Computer Science and Engineering（计算机科学与工程学院）；Institute for Intelligent Systems（智能系统研究所）
本文针对静态路侧激光雷达缺失系统性跨传感器评估的问题，构建波束级统计背景减除基准，引入新数据集并结合空间滤波，实现了鲁棒可迁移的背景减除方案，提升了精度并保持高召回率与实时性，相关资源已公开。
2026-08-18 cs.CV cs.RO
Cross-modal Knowledge Distillation for Vision-to-Sensor Action Recognition
Texas State University（德克萨斯州立大学）；University of Houston（休斯顿大学）；Sun-Yat-Sen University（中山大学）；Illinois Institute of Technology（伊利诺伊理工学院）
基于多模态方法的人体活动识别（HAR）最近被证明可以提高HAR的准确性。然而，与可穿戴设备相关联的有限计算资源，即，智能手表，未能直接支持这种先进的方法。为了解决这个问题，本研究介绍了一个端到端的视觉传感器知识蒸馏（VSKD）框架。在这个VSKD框架中，只有时间序列数据，即，在测试阶段，需要来自可穿戴设备的加速计数据。因此，该框架不仅可以降低对边缘设备的计算需求，还可以生成一个与计算昂贵的多模态方法的性能密切匹配的学习模型。为了保留局部时间关系并促进视觉深度学习模型，我们首先通过应用基于Gramian角场（GAF）的编码方法将时间序列数据转换为二维图像。我们分别采用ResNet18和多尺度TRN与BN-Inception作为本研究的教师和学生网络。提出了一种新的损失函数--距离和角度语义知识损失（DASK）函数，用于消除视觉和传感器域之间的模态变化。在UTD-MHAD、MMAct和Berkeley-MHAD数据集上的大量实验结果证明了所提出的VSKD模型的有效性和竞争力，该模型可以部署在可穿戴传感器上。
2021-10-08 cs.CV cs.LG cs.MM
Enhanced Structured Lasso Pruning with Class-wise Information
本文提出基于信息瓶颈理论的改进结构化Lasso剪枝方法，通过类级信息保留统计信息，实现模型轻量化与高精度。
2026-03-23 cs.AI cs.CV
Iterative Filter Adaptive Network for Single Image Defocus Deblurring
POSTECH（浦项科技大学）
我们提出了一种新的端到端的学习为基础的单图像散焦去模糊的方法。所提出的方法配备了一种新的迭代滤波器自适应网络（IFAN），是专门设计用于处理空间变化和大散焦模糊。为了自适应地处理空间变化的模糊，IFAN预测逐像素的去模糊滤波器，其被应用于输入图像的散焦特征以生成去模糊特征。为了有效地管理大模糊，IFAN将去模糊滤波器建模为小尺寸可分离滤波器的堆叠。预测可分离的去模糊滤波器应用于散焦功能，使用一种新的迭代自适应卷积（IAC）层。我们还提出了一种基于散焦视差估计和重新模糊的训练方案，该方案显着提高了去模糊质量。我们证明，我们的方法实现了最先进的性能，定量和定性的真实世界的图像。
2022-03-28 cs.CV eess.IV
Learning Instance-wise Sparsity for Accelerating Deep Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）
探索高效率和低内存使用的深度卷积神经网络对于各种各样的机器学习任务非常重要。大多数现有的方法用于通过操纵参数或过滤器来加速深度模型，而无需数据，例如，修剪和分解。相比之下，我们从不同的角度研究这个问题，尊重数据之间的差异。通过识别不同实例的信息特征，开发了一种实例特征修剪。具体来说，通过研究特征衰减正则化，我们期望深度神经网络中每个实例的中间特征图是稀疏的，同时保持整体网络性能。在在线推理过程中，可以消除由经过良好训练的神经网络的中间层提取的输入图像的细微特征，以加速后续计算。我们进一步采取变异系数作为一种措施，以选择适合加速的层。在基准数据集和网络上进行的大量实验证明了该方法的有效性。
2019-07-27 cs.CV cs.LG
DiCENet: Dimension-wise Convolutions for Efficient Networks
University of Washington（华盛顿大学）
我们介绍了一种新的通用卷积单元DiCE单元，它是使用维度卷积和维度融合构建的。逐维卷积在输入张量的每个维度上应用轻量级卷积滤波，而逐维融合有效地组合了这些逐维表示;允许DiCE单元有效地编码输入张量中包含的空间和通道信息。DiCE单元非常简单，可以与任何架构无缝集成，以提高其效率和性能。与深度可分离卷积相比，DiCE单元在不同的架构中显示出显着的改进。当DiCE单元堆叠以构建DiCENet模型时，我们观察到在各种计算机视觉任务（包括图像分类，目标检测和语义分割）中，与最先进的模型相比有显着改进。在ImageNet数据集上，DiCENet的准确率比最先进的手动设计模型高出2-4%（例如，MobileNetv 2和ShuffleNetv 2）。此外，DiCENet更好地概括了任务（例如，目标检测），其与现有技术的基于可分离卷积的高效网络相比经常用于资源受限的设备中，包括基于神经搜索的方法（例如，MobileNetv 3和MixNet。我们在PyTorch中的源代码是开源的，可以在https://github.com/sacmehta/EdgeNets/上获得
2020-11-30 cs.CV cs.LG eess.IV
CPWC: Contextual Point Wise Convolution for Object Recognition
IIT Kanpur（印度理工学院坎普尔分校）
卷积层是深度学习成功背后的主要驱动力。逐点卷积（PWC）是一种1x1卷积滤波器，主要用于参数减少。然而，PWC忽略了它正在处理的点周围的空间信息。该设计是选择性的，以便减少总体参数和计算。然而，我们假设PWC的这个缺点对网络性能有重大影响。我们提出了一种逐点卷积的替代设计，它有效地利用了输入的空间信息。我们的设计显着提高了网络的性能，而不会大幅增加参数和计算的数量。我们的实验表明，我们的设计结果在分类以及检测网络的性能显着改善。
2020-02-06 cs.CV cs.LG eess.IV
MRI Reconstruction via Cascaded Channel-wise Attention Network
Rutgers University（罗格斯大学）
我们考虑一个MRI重建问题，输入的k空间数据在一个非常低的欠采样率。由于减少了MRI扫描的时间，这实际上可以使患者受益，但由于重建的质量可能会受到影响，因此也具有挑战性。目前，基于深度学习的方法在MRI重建中占主导地位，而不是传统的方法，如压缩感知，但它们很少在低欠采样k空间数据的情况下表现出令人满意的性能。一种解释是这些方法平等地对待通道特征，这导致神经网络的表示能力下降。为了解决这个问题，我们提出了一个新的模型，称为MRI级联逐行注意网络（MICCAN），由三个组件突出：（i）具有逐行注意（UCA）模块的U-网的变体，（ii）长跳跃连接和（iii）组合损失。我们的模型能够通过过滤不相关的特征来关注显着信息，并通过强制将低频信息旁路到最终输出来集中于高频信息。我们进行定量评估和定性分析，我们的方法对心脏数据集。实验表明，我们的方法取得了非常有前途的结果，在三个常见的指标对低欠采样k空间数据的MRI重建。
2019-04-09 cs.CV cs.LG
