Revisiting Deformable Convolution for Depth Completion
Stanford University（斯坦福大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；New York University（纽约大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出利用可变形核卷积作为单次细化模块，解决深度补全中迭代传播方法受固定感受野限制的问题，并在KITTI数据集上实现了准确率和推理速度的SOTA表现。
2023-08-03 cs.AI cs.CV cs.LG
Revisiting Sliced Wasserstein on Images: From Vectorization to Convolution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的切片Wasserstein定义在两个概率测度之间，这两个概率测度具有作为向量的实现。当比较图像上的两个概率度量时，从业者首先需要将图像矢量化，然后通过使用样本矩阵和投影矩阵之间的矩阵乘法将它们投影到一维空间。之后，通过平均两个相应的一维投影概率测度来评估切片Wasserstein。然而，这种方法有两个局限性。第一个限制是矢量化步骤不能有效地捕获图像的空间结构;因此，后期切片过程变得难以收集差异信息。第二个限制是内存效率低下，因为每个切片方向是一个向量，具有相同的尺寸的图像。为了解决这些限制，我们提出了新的切片方法切片Wasserstein之间的概率测量图像的卷积运算符的基础上。通过在卷积算子中引入步长、伸缩和非线性激活函数，推导出卷积切片Wasserstein（CSW）及其变体。我们调查CSW的度量以及它的样本复杂性，它的计算复杂性，和它的连接到传统的切片Wasserstein距离。最后，我们证明了CSW在比较图像上的概率度量和训练图像上的深度生成建模方面优于传统的切片Wasserstein。
2022-09-23 cs.CV cs.LG stat.ML
MaskConver: Revisiting Pure Convolution Model for Panoptic Segmentation
Google（谷歌）；ByteDance（字节跳动）
该研究提出全景分割纯卷积架构MaskConver，通过中心预测统一表示、轻量类别嵌入模块及ConvNeXt-UNet解码器，在COCO数据集上性能超越多种卷积与transformer模型，移动端版本可实时运行。
2023-12-11 cs.AI cs.CV
Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）
针对深度可分离卷积加速但损失准确率的问题，提出基于SVD/GSVD的深度分解，将常规卷积分解为可分离卷积，并在ShuffleNet V2上验证其优于通道分解且Top-1提升约2%。
2023-09-23 cs.CV
Unified Depth Prediction and Intrinsic Image Decomposition from a Single Image via Joint Convolutional Neural Fields
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种从单个图像输入联合预测深度图和内在图像的方法。这两个任务通过联合条件随机场（CRF）以协同方式进行制定，该联合条件随机场（CRF）使用称为联合卷积神经场（JCNF）模型的新型卷积神经网络（CNN）架构进行求解。针对我们的联合估计问题，JCNF与以前的CNN不同之处在于，它在每个任务的网络之间共享卷积激活和层，它在梯度域中的推理，其中深度和内在图像之间存在更大的相关性，以及引入梯度尺度网络，学习估计梯度的置信度，以便在解决方案中有效地平衡它们。这种方法被证明是超越国家的最先进的方法，无论是对单图像的深度估计和内在的图像分解。
2016-03-21 cs.CV
Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；The Czech Academy of Sciences, Institute of Information Theory and Automation（捷克科学院信息理论与自动化研究所）
大多数现有技术的深度神经网络是过度参数化的，并且表现出高计算成本。解决这个问题的一个简单方法是用低秩张量近似代替卷积核，而正则多矢张量分解是最合适的模型之一。然而，通过数值优化算法拟合卷积张量经常遇到发散分量，即，非常大的一阶张量，但相互抵消。这种退化往往会导致神经网络微调的结果不可解释和数值不稳定。本文是第一次对卷积核张量分解中的简并性进行研究。我们提出了一种新的方法，它可以稳定的低秩近似的卷积核，并确保有效的压缩，同时保持高质量的性能的神经网络。我们在流行的CNN架构上评估了我们的方法用于图像分类，并表明我们的方法的准确性降低得多，并提供了一致的性能。
2020-08-12 cs.CV
Revisiting Temporal Modeling for Video-based Person ReID
University of Southern California（南加州大学）
基于视频的人reID是一项重要的任务，近年来由于监控和摄像机网络的需求不断增加而备受关注。一个典型的基于视频的人reID系统包括三个部分：一个图像级特征提取器（例如CNN），一个时间建模方法来聚合时间特征和损失函数。虽然已经提出了许多时间建模的方法，但很难直接比较这些方法，因为特征提取器和损失函数的选择也对最终性能有很大的影响。我们全面研究和比较四种不同的时间建模方法（时间池，时间注意力，RNN和3D convnets）的视频为基础的人reID。我们还提出了一个新的注意力生成网络，采用时间卷积提取帧之间的时间信息。评估是在MARS数据集上进行的，我们的方法远远优于最先进的方法。我们的源代码在https://github.com/jiyanggao/Video-Person-ReID上发布。
2018-05-08 cs.CV
Pyramid Point: A Multi-Level Focusing Network for Revisiting Feature Layers
University of Dayton（代顿大学）
我们提出了一种方法来学习一组不同的对象类别从无序点集。我们提出了我们的金字塔点网络，它使用了密集的金字塔结构，而不是传统的“U”形，通常在语义分割网络中看到。这种金字塔结构提供了第二种外观，允许网络同时重新访问不同的层，通过创建具有更少噪声的额外层来增加上下文信息。我们引入了一种聚焦核点卷积（FKP Conv），它通过向内核输出添加注意力机制来扩展传统的点卷积。这个FKP Conv提高了我们的特征质量，并允许我们动态地权衡内核输出。这些FKP转换是我们的递归FKP瓶颈块的核心部分，它构成了我们编码器的支柱。有了这个独特的网络，我们在三个基准数据集上展示了具有竞争力的性能。我们还进行了消融研究，以显示我们的FKP Conv中每个元素的积极影响。
2020-11-23 cs.AI cs.CV cs.LG
Revisiting Multi-Scale Feature Fusion for Semantic Segmentation
Google Research（谷歌研究院）；Waymo Inc.（Waymo公司）
通常认为，高内部分辨率与昂贵的操作（例如，无环卷积）相结合对于准确的语义分割是必要的，这导致速度慢和大量的存储器使用。在本文中，我们质疑这种信念，并证明，既不需要高的内部分辨率，也不需要atrous卷积。我们的直觉是，虽然分割是一个密集的每像素预测任务，每个像素的语义往往取决于附近的邻居和遥远的上下文;因此，一个更强大的多尺度特征融合网络起着至关重要的作用。根据这种直觉，我们重新审视了传统的多尺度特征空间（通常以P5为上限），并将其扩展到更丰富的空间，直到P9，其中最小的特征仅为输入大小的1/512，因此具有非常大的感受野。为了处理如此丰富的特征空间，我们利用最近的BiFPN来融合多尺度特征。基于这些见解，我们开发了一个简化的分割模型，命名为ESeg，它既没有高的内部分辨率，也没有昂贵的atrous卷积。也许令人惊讶的是，我们的简单方法可以在多个数据集上以比现有技术更快的速度实现更好的准确性。在实时设置中，ESeg-Lite-S在CityScapes上以189 FPS实现了76.0%的mIoU [12]，优于FasterSeg [9]（170 FPS时为73.1% mIoU）。我们的ESeg-Lite-L运行速度为79 FPS，实现了80.1%的mIoU，大大缩小了实时和高性能分割模型之间的差距。
2022-06-14 cs.AI cs.CV
Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
我们重新审视现代卷积神经网络（CNN）中的大核设计。受视觉Transformer（ViTs）最新进展的启发，在本文中，我们证明了使用几个大卷积核而不是一堆小核可能是一个更强大的范例。我们提出了五项准则，例如，应用重新参数化的大深度卷积，设计高效的高性能大核CNN。根据指导方针，我们提出了RepLKNet，这是一种纯CNN架构，其内核大小为31 x31，而不是常用的3x 3。RepLKNet极大地缩小了CNN和ViT之间的性能差距，例如，在ImageNet和一些典型的下游任务上实现与Swin Transformer相当或更好的结果，具有更低的延迟。RepLKNet还显示出对大数据和大型模型的良好可扩展性，在ImageNet上获得了87.8%的top-1准确率，在ADE 20 K上获得了56.0%的mIoU，这在具有类似模型大小的最先进技术中非常具有竞争力。我们的研究进一步表明，与小核CNN相比，大核CNN具有更大的有效感受野和更高的形状偏差，而不是纹理偏差。代码和模型在https://github.com/megvii-research/RepLKNet。
2022-04-02 cs.AI cs.CV cs.LG
Holistic Decomposition Convolution for Effective Semantic Segmentation of 3D MR Images
University of Bern（伯尔尼大学）；Shanghai Jiao Tong University（上海交通大学）
卷积神经网络（CNN）在许多不同的2D医学图像分析任务中已经实现了最先进的性能。然而，在临床实践中，大部分可用的医学成像数据是3D的。这激发了用于体积图像分割的3D CNN的开发，以便从更多的空间背景中受益。由于移动到全3D导致的GPU内存限制，最先进的方法依赖于子体积/补丁处理，并且输入补丁的大小通常很小，限制了更大上下文信息的合并以获得更好的性能。在本文中，我们提出了一种新的整体分解卷积（HDC），一个有效的和高效的体积图像的语义分割。HDC由一个周期性的向下洗牌操作，然后是一个传统的3D卷积组成。HDC的优点在于，在使用输入中可用的所有信息的同时，显著地减小了用于子顺序处理的数据的大小，而与下混洗因子无关。对髋关节T1 MR图像和椎间盘T2 MR图像进行的综合实验获得的结果证明了本方法的有效性。
2018-12-24 cs.CV
Compressing 3DCNNs Based on Tensor Train Decomposition
Tsinghua University（清华大学）；University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
三维卷积神经网络（3DCNN）已经应用于许多任务，例如，视频和3D点云识别。然而，由于卷积核的更高维度，3DCNN的空间复杂度通常大于传统的二维的卷积神经网络（2DCNN）。为了使3DCNN在诸如嵌入式设备的受限环境中部署，神经网络压缩是一种有前途的方法。在这项工作中，我们采用张量训练（TT）分解，一个直接和简单的原位训练压缩方法，缩小3DCNN模型。通过提出TT格式的张量化3D卷积核，我们研究了如何选择合适的TT秩以实现更高的压缩比。我们还讨论了用于压缩的3D卷积核的冗余，这项工作的核心意义和未来方向，以及TT中卷积的理论计算复杂度与实际执行时间。根据基于VIVA挑战，UCF11和UCF101数据集的多重对比实验，我们得出结论，TT分解可以将3DCNN压缩约100倍，而不会造成显著的准确性损失，这将使其能够在广泛的现实世界场景中应用。
2020-08-11 cs.CV
Revisiting the Integration of Convolution and Attention for Vision Backbone
City University of Hong Kong（香港城市大学）；Sensetime Research（商汤科技研究院）
本文提出GLMix方案，在不同粒度层次上并行使用卷积和多头自注意力，通过软聚类与分发模块实现局部-全局特征融合，以轻量级方式匹配最先进骨干网络性能并提升效率。
2024-11-21 cs.AI cs.CV
Revisiting Direct Encoding: Learnable Temporal Dynamics for Static Image Spiking Neural Networks
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；Henan Key Laboratory of Big Data Analysis and Processing, Henan University（河南大学大数据分析与处理重点实验室）
本文提出了一种可学习的时间编码方法，通过自适应相位移从静态图像中诱导时间动态，解决直接编码与速率编码之间的性能差距问题。
2025-12-01 cs.CV cs.NE
Revisiting Min-Max Optimization Problem in Adversarial Training
University of Waterloo（滑铁卢大学）
本文通过重新表述鞍点优化问题，提出一种构建鲁棒深度神经网络的新方法，以抵御多种对抗攻击，并提供具体安全保障，旨在推动完全鲁棒深度学习模型的发展。
2024-08-20 cs.CV cs.LG
Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））；Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
我们提出了一种简单的两步方法，用于加速基于张量分解和判别微调的大型卷积神经网络中的卷积层。给定一个层，我们使用非线性最小二乘法将4D卷积核张量的低秩CP分解计算为少量秩1张量的总和。在第二步中，这种分解用于用具有小内核的四个卷积层的序列替换原始卷积层。在这样的替换之后，使用标准反向传播过程在训练数据上对整个网络进行微调。我们在两个CNN上评估了这种方法，并表明它与以前的方法相比具有竞争力，从而以两个网络中较小的网络的较低精度下降为代价获得更高的CPU加速。因此，对于36类字符分类CNN，我们的方法获得了整个网络的8.5倍CPU加速，只有轻微的准确率下降（从91%到90%下降1%）。对于标准ImageNet架构（AlexNet），该方法将第二个卷积层的速度提高了4倍，但代价是$1\%$增加了总体前5个分类错误。
2015-04-24 cs.CV cs.LG
SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection
University of Bucharest（布加勒斯特大学）；SecurifAI（SecurifAI公司）；MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Aalborg University（奥尔堡大学）；Milestone Systems（Milestone Systems公司）；Geopipe Inc（Geopipe公司）；Linköping University（林雪平大学）
一个自监督多任务学习（SSMTL）框架的视频异常检测最近在文献中介绍。由于其高精度的结果，该方法吸引了许多研究人员的注意。在这项工作中，我们重新审视了自监督多任务学习框架，对原始方法提出了几项更新。首先，我们研究了各种检测方法，例如基于使用光流或背景减除检测高运动区域，因为我们认为当前使用的预训练YOLOv3是次优的，例如运动中的对象或来自未知类别的对象从未被检测到。其次，我们通过引入多头自注意力模块来实现3D卷积骨干的现代化，这是受到视觉Transformer最近成功的启发。因此，我们交替地引入2D和3D卷积视觉Transformer（CvT）块。第三，为了进一步改进模型，我们研究了额外的自监督学习任务，例如通过知识蒸馏预测分割图，解决拼图游戏，通过知识蒸馏估计身体姿势，预测掩蔽区域（修复），以及使用伪异常的对抗学习。我们进行实验，以评估所引入的变化的性能影响。在找到更有前途的框架配置（称为SSMTL++v1和SSMTL++v2）后，我们将初步实验扩展到更多的数据集，证明我们的性能增益在所有数据集上都是一致的。在大多数情况下，我们在Avenue、ShanghaiTech和UBnormal的成果将最先进的性能标准提升到了一个新的水平。
2023-02-12 cs.CV cs.LG
Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression
Shenzhen University（深圳大学）
具有大量参数的深度卷积神经网络（CNN）需要密集的计算资源，因此难以部署在资源受限的平台中。因此，近年来，基于分解的方法已被用于压缩CNN。然而，由于压缩因子和性能是负相关的，所以现有技术的作品要么遭受严重的性能下降，要么具有相对较低的压缩因子。为了克服这个问题，我们提出通过联合矩阵分解来压缩CNN并减轻性能下降，这与单独压缩层的现有工作不同。这个想法的灵感来自CNN中有很多重复的模块。通过将具有相同结构的权重投影到相同的子空间中，可以以更大的秩联合压缩网络。特别地，提出了三种联合矩阵分解方案，并提出了相应的基于奇异值分解的优化方法。针对不同的基准数据集，在三个具有挑战性的紧凑CNN上进行了大量的实验，以证明我们所提出的算法的优越性能。因此，我们的方法可以将ResNet-34的大小压缩22倍，与几种最先进的方法相比，精度下降更小。
2022-10-26 cs.AI cs.CV
SUMD: Super U-shaped Matrix Decomposition Convolutional neural network for Image denoising
在本文中，我们提出了一种新的和有效的基于CNN的框架，利用局部和全局上下文信息的图像去噪。由于卷积本身的局限性，基于CNN的方法通常无法构造有效的结构化全局特征表示，通常称为基于Transformer的方法中的长距离依赖。为了解决这个问题，我们在网络中引入矩阵分解模块（MD）来建立全局上下文特征，与基于Transformer的方法性能相当。受U型结构多阶段渐进恢复设计的启发，我们进一步将MD模块集成到多个分支中，以获得当前阶段斑块范围的相对全局特征表示。然后，阶段输入逐渐上升到整体范围，不断完善最终特征。在各种图像去噪数据集（SIDD，DND和合成高斯噪声数据集）上的实验结果表明，我们的模型（SUMD）可以产生与基于transformer的方法相当的视觉质量和准确性结果。
2022-04-11 cs.AI cs.CV
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Convolution-Free Holistic Multivariance Decomposition Layer for Efficient Hyperspectral Image Classification Tensor Networks
Istanbul Esenyurt University（伊斯坦布尔埃森耶尔特大学）；Istanbul Technical University（伊斯坦布尔技术大学）
本研究提出HMD框架作为无卷积神经网络层，经实验验证其在高光谱图像分类中兼具高参数效率、精度与稳定性，可替代传统卷积。
2026-08-18 cs.CV cs.LG math.OC
DISK: Differentiable Sparse Kernel Complex for Efficient Spatially-Variant Convolution
State Key Lab of CAD&CG, Zhejiang University, China（浙江大学CAD与CG国家重点实验室）
本文提出了一种可微稀疏核复数分解框架，用于高效处理空间变体卷积，通过稀疏核样本表示目标空间变体密集复数核，实现了高效且可微的优化方法，适用于移动成像和实时渲染。
2026-05-19 cs.CV cs.GR
Tensor network compressibility of convolutional models
Multiverse Computing（多元宇宙计算公司）；Donostia International Physics Center（多诺斯蒂亚国际物理中心）；Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）；Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会）
该研究通过截断稠密CNN卷积核的实验，探究张量化不影响准确率的原因，发现卷积核关联压缩是CNN的固有特征，且截断后模型易恢复准确率，可用于更高效的CNN张量化压缩。
2024-08-19 cs.CV cs.LG quant-ph
