Task-wise Sampling Convolutions for Arbitrary-Oriented Object Detection in Aerial Images
Fuzhou University（福州大学）；Beijing Institute of Technology（北京理工大学）；University of Delaware（特拉华大学）
针对任意方向目标检测中定位与分类任务特征不一致导致预测模糊的问题，提出任务级采样卷积（TS-Conv）方法，通过自适应采样任务级特征并指导动态标签分配，在多个公开数据集上验证了其有效性和优越性能。
2024-03-27 cs.CV
Depth-Wise Convolutions in Vision Transformers for Efficient Training on Small Datasets
University of Kansas（堪萨斯大学）；Amazon（亚马逊公司）；Toronto Metropolitan University（多伦多都会大学）
针对视觉Transformer缺乏局部归纳偏置、小数据集训练效率低的问题，提出引入深度可分离卷积模块的两种架构变体，以极小开销增强局部信息捕获，显著提升多视觉任务性能，小数据集提升更明显。
2024-11-23 cs.CV
Malleable 2.5D Convolution: Learning Receptive Fields along the Depth-axis for RGB-D Scene Parsing
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
深度数据提供几何信息，可以在RGB-D场景解析任务中带来进展。最近的几项工作提出了RGB-D卷积算子，沿着深度轴构建感受野，以处理像素之间的3D邻域关系。然而，这些方法通过超参数预先定义深度感受野，使得它们依赖于参数选择。在本文中，我们提出了一种新的算子，称为可延展的2.5D卷积学习沿深度轴的感受野。可延展的2.5D卷积具有一个或多个2D卷积内核。我们的方法分配每个像素的内核之一，或没有他们根据其相对的深度差异，和分配过程被制定为一个可微的形式，使它可以通过梯度下降学习。所提出的算子在标准的2D特征图上运行，可以无缝地集成到预先训练的CNN中。我们对两个具有挑战性的RGB-D语义分割数据集NYUDv 2和Cityscapes进行了大量的实验，以验证我们的方法的有效性和泛化能力。
2020-07-18 cs.CV
DiCENet: Dimension-wise Convolutions for Efficient Networks
University of Washington（华盛顿大学）
我们介绍了一种新的通用卷积单元DiCE单元，它是使用维度卷积和维度融合构建的。逐维卷积在输入张量的每个维度上应用轻量级卷积滤波，而逐维融合有效地组合了这些逐维表示;允许DiCE单元有效地编码输入张量中包含的空间和通道信息。DiCE单元非常简单，可以与任何架构无缝集成，以提高其效率和性能。与深度可分离卷积相比，DiCE单元在不同的架构中显示出显着的改进。当DiCE单元堆叠以构建DiCENet模型时，我们观察到在各种计算机视觉任务（包括图像分类，目标检测和语义分割）中，与最先进的模型相比有显着改进。在ImageNet数据集上，DiCENet的准确率比最先进的手动设计模型高出2-4%（例如，MobileNetv 2和ShuffleNetv 2）。此外，DiCENet更好地概括了任务（例如，目标检测），其与现有技术的基于可分离卷积的高效网络相比经常用于资源受限的设备中，包括基于神经搜索的方法（例如，MobileNetv 3和MixNet。我们在PyTorch中的源代码是开源的，可以在https://github.com/sacmehta/EdgeNets/上获得
2020-11-30 cs.CV cs.LG eess.IV
PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for Piece-Wise Plane Detection and Reconstruction from a Single RGB Image
分段三维平面重建提供了对人造环境的整体场景理解，特别是对于室内场景。最近的方法主要集中在通过引入先进的网络架构来改善分割和重建结果，但忽略了分段平面作为对象和几何模型的双重特性。与其他现有方法不同，我们从多任务卷积神经网络PlaneRecNet的跨任务一致性开始，PlaneRecNet集成了一个用于分段平面分割的单级实例分割网络和一个深度解码器，用于从单个RGB图像重建场景。为了实现这一目标，我们引入了几个新的损失函数（几何约束），共同提高分段平面分割和深度估计的准确性。同时，提出了一种新的平面先验注意模型，通过对平面实例的感知来指导深度估计。在这项工作中进行了详尽的实验，以验证我们的方法的有效性和效率。
2022-01-30 cs.CV
Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution
University of Oulu（奥卢大学）；National University of Defense Technology（国防科技大学）
本文提出中谱分组卷积（MSGC）模块，在通道剪枝与分组卷积之间探索中谱区域，通过可学习分组拓扑降低骨干网络计算量并提升图像分类与目标检测精度。
2023-04-13 cs.CV
OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object Detection
DFKI GmbH（德国人工智能研究中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Technische Universität München（慕尼黑工业大学）；Google（谷歌）
尽管单眼3D目标检测最近由于使用预训练的深度估计器进行伪LiDAR恢复而取得了显著的飞跃，但是这样的两阶段方法通常遭受过拟合并且不能明确地封装深度和对象限界框之间的几何关系。为了克服这一限制，我们提出了OPA-3D，这是一种单阶段，端到端，遮挡感知的像素聚合网络，可以联合估计密集场景深度与深度限界框残差和对象边界框，允许3D对象的双流检测，从而实现更强大的检测。因此，表示为几何流的几何流组合可见深度和深度限界框残差，以经由显式遮挡感知优化来恢复对象限界框。此外，一个限界框为基础的几何投影方案，在努力提高距离感知。第二个流称为上下文流，直接回归3D对象位置和大小。这种新颖的双流表示进一步使我们能够执行跨流一致性条款，使两个流的输出保持一致，从而提高整体性能。在公共基准上进行的大量实验表明，OPA-3D在主要汽车类别上的性能优于最先进的方法，同时保持实时推理速度。我们计划很快发布所有代码和训练模型。
2022-11-02 cs.CV
Learning Depth-Guided Convolutions for Monocular 3D Object Detection
The University of Hong Kong（香港大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；SenseTime Research（商汤科技研究院）
由于缺乏准确的深度信息，在没有LiDAR的情况下从单个图像进行3D目标检测是一项具有挑战性的任务。传统的2D卷积不适用于此任务，因为它们无法捕获局部对象及其尺度信息，这对于3D目标检测至关重要。为了更好地表示3D结构，现有技术通常将从2D图像估计的深度图变换成伪LiDAR表示，然后应用现有的基于3D点云的对象检测器。然而，它们的结果在很大程度上取决于估计深度图的准确性，从而导致次优性能。在这项工作中，我们没有使用伪LiDAR表示，而是通过提出一种新的局部卷积网络（LCN）来改进基本的2D全卷积，称为深度引导动态依赖扩张LCN（D $^4$ LCN），其中滤波器及其感受野可以从基于图像的深度图中自动学习，使不同图像的不同像素具有不同的滤波器。D $^4$ LCN克服了传统二维卷积的局限性，缩小了图像表示和三维点云表示之间的差距。大量的实验表明，D $^4$ LCN大大优于现有的作品。例如，在中度环境下，D $^4$ LCN相对于KITTI最新技术水平的相对改善为9.1\%。该代码可在https://github.com/dingmyu/D4LCN上获得。
2019-12-13 cs.CV
Depthwise Separable Convolutions with Deep Residual Convolutions
University of New Brunswick（新不伦瑞克大学）
针对Xception架构计算成本高难以部署于边缘设备的问题，提出结合深度可分离卷积与深度残差卷积的优化架构，在CIFAR 10数据集上以更小参数量和更短训练时间实现了优于原模型的性能。
2024-11-12 cs.CV
Instance-wise Depth and Motion Learning from Monocular Videos
KAIST（韩国科学技术院）；DGIST（大邱庆北科学技术院）；Microsoft Research（微软研究院）
我们提出了一个端到端的联合训练框架，该框架明确地对多个动态对象的6-DoF运动、自我运动和单目相机设置中的深度进行建模，而无需监督。我们的技术贡献是三方面的。首先，我们提出了一个可微的前向刚性投影模块，它在我们的实例深度和运动学习中起着关键作用。其次，我们设计了一个实例的光度和几何一致性损失，有效地分解背景和移动对象区域。最后，我们引入了一个新的自动注释方案来生成视频实例分割图，这些图将用作我们训练管道的输入。在详细的消融研究中，这些建议的元素得到了验证。通过在KITTI数据集上进行的大量实验，我们的框架表现出优于最先进的深度和运动估计方法。我们的代码和数据集将在https://github.com/SeokjuLee/Insta-DM上提供。
2020-04-08 cs.CV cs.LG cs.RO
OneNet: A Channel-Wise 1D Convolutional U-Net
University of Southern California（南加州大学）；LG Electronics（LG电子）
提出 OneNet，一种基于通道维度 1D 卷积与 PixelShuffle 的 U-Net 替代架构，在保持分割精度的同时显著降低参数量与计算负载，适用于边缘设备部署。
2024-11-14 cs.CV eess.IV
Network Decoupling: From Regular to Depthwise Separable Convolutions
Shanghai Jiaotong University（上海交通大学）；Intel Labs China（英特尔中国研究院）
相关可分卷积在网络设计中表现出了很高的效率，但需要耗时的训练过程和完整的训练集可用。本文首先分析了正则卷积与依序可分卷积之间的数学关系，证明了前者可以用后者以封闭形式逼近。证明了依赖可分卷积是正则卷积的主成分。然后，我们提出了网络解耦（ND），这是一种无需训练的方法，通过将预训练的CNN模型转换为类似于MobileNet的可分离卷积结构来加速卷积神经网络（CNN），具有很好的加速效果，但精度损失可以忽略不计。通过实验进一步验证了该方法与其他无需训练的方法如通道分解、空间分解等是正交的。将该方法与它们相结合将带来更大的CNN加速比。例如，ND本身对于广泛使用的VGG16实现了约2倍的加速比，并且与其他方法相结合，它达到了3.7倍的加速比，并且精度降低。我们证明了ND广泛适用于ResNet等分类网络和SSD 300等目标检测网络。
2018-08-16 cs.CV cs.LG
MixConv: Mixed Depthwise Convolutional Kernels
Google Brain（谷歌大脑）
依赖卷积在现代高效的ConvNets中越来越受欢迎，但它的内核大小经常被忽视。在本文中，我们系统地研究了不同内核大小的影响，并观察到结合多种内核大小的好处可以带来更好的准确性和效率。基于这一观察，我们提出了一种新的混合去卷积（MixConv），它在单个卷积中自然地混合了多个内核大小。作为香草去卷积的简单替代品，我们的MixConv提高了现有MobileNets在ImageNet分类和COCO目标检测方面的准确性和效率。为了证明MixConv的有效性，我们将其集成到AutoML搜索空间中，并开发了一系列新的模型，称为MixNets，其性能优于以前的移动模型，包括MobileNetV 2 [20]。（ImageNet top-1准确率+4.2%），ShuffleNetV 2 [16]（+3.5%），MnasNet [26]（+1.3%），ProxylessNAS [2]（+2.2%）和FBNet [27]（+2.0%）。特别是，我们的MixNet-L在典型的移动设置（<600 M FLOPS）下实现了最先进的78.9% ImageNet top-1准确度。代码位于https://github.com/ tensorflow/tpu/tree/master/models/official/mnasnet/mixnet
2019-12-01 cs.CV cs.LG
FreDSNet: Joint Monocular Depth and Semantic Segmentation with Fast Fourier Convolutions
FreDSNet利用快速傅里叶卷积从单张全景图像联合实现单目深度估计与语义分割，性能媲美最先进方法。
2024-02-05 cs.AI cs.CV cs.RO
ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions
Texas A&M University（得克萨斯农工大学）
卷积神经网络（CNN）已经显示出解决各种人工智能任务的强大能力。然而，不断增加的模型大小提出了在资源有限的应用程序中使用它们的挑战。在这项工作中，我们提出通过使用通道卷积来压缩深度模型，该卷积在CNN中用稀疏的特征映射替换特征映射之间的密集连接。基于这种新颖的操作，我们构建了轻量级的CNN，称为CNN Nets。通道-网络使用三个通道卷积的实例;即组通道卷积、深度可分离通道卷积和卷积分类层。与之前为移动设备设计的CNN相比，MSNelNets在参数数量和计算成本方面实现了显着减少，而不会损失准确性。值得注意的是，我们的工作代表了压缩全连接分类层的第一次尝试，它通常占紧凑CNN总参数的25%左右。在ImageNet数据集上的实验结果表明，与现有方法相比，ImageNet实现了更好的性能。
2018-09-05 cs.CV
Scale-wise Convolution for Image Restoration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Bytedance Inc.（字节跳动公司）
虽然尺度不变建模大大提高了视觉识别任务的性能，但在基于深度网络的图像复原中，它仍然在很大程度上未得到充分开发。简单地将尺度不变技术（如多尺度测试、随机尺度数据增强）应用于图像复原任务通常会导致性能低下。在本文中，我们表明，适当的建模尺度不变性到神经网络可以带来显着的好处，图像复原性能。受平移不变性的空间卷积的启发，提出了“尺度卷积”来跨多个尺度卷积以实现尺度不变性。在我们的尺度卷积网络（SCN）中，我们首先将输入图像映射到特征空间，然后通过双线性降尺度逐步构建特征金字塔表示。然后将特征金字塔传递到具有尺度卷积的残差网络。所提出的尺度卷积学习动态激活和聚合每个残差构建块中不同输入尺度的特征，以便利用多个尺度上的上下文信息。在实验中，我们比较了我们的模型和许多不同变体的多尺度神经网络的恢复精度和参数效率。该网络具有尺度卷积，在多个图像复原任务，包括图像超分辨率，图像去噪和图像压缩伪影去除实现了优异的性能。代码和模型可在https://github.com/ychfan/scn_sr上获得
2019-12-19 cs.CV
Learning Pixel-wise Continuous Depth Representation via Clustering for Depth Completion
Dalian University of Technology（大连理工大学）；College of Computer Science and Engineering, Shandong University of Science and Technology（山东科技大学计算机科学与工程学院）；Shanghai Artificial Intelligence Laboratory / Shanghai AI Lab（上海人工智能实验室）
本文提出基于聚类的深度补全框架 CluDe，通过迭代更新深度中心并估计偏移量，学习逐像素连续深度表示，有效减少边界深度拖影，在 VOID 和 KITTI 数据集上取得领先性能。
2024-02-21 cs.CV
Rotated Ring, Radial and Depth Wise Separable Radial Convolutions
University of Tübingen（蒂宾根大学）
简单的图像旋转会显著降低深度神经网络的准确性。此外，使用所有可能的旋转进行训练增加了数据集，这也增加了训练持续时间。在这项工作中，我们解决了可训练的旋转不变卷积以及网络的构建，因为完全连接的层只能在一维输入的情况下是旋转不变的。一方面，我们证明了我们的方法对于不同的模型和不同的公共数据集是旋转不变的。我们还讨论了纯旋转不变特征对精度的影响。在这项工作中提出的旋转自适应卷积模型比正常的卷积模型计算量更大。因此，我们还提出了一个深度可分离的方法与径向卷积。链接到CUDA代码https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/
2021-01-17 cs.CV
Fast ConvNets Using Group-wise Brain Damage
我们重新审视了脑损伤的概念，即神经网络系数的修剪，并建议如何修改脑损伤并用于加速卷积层。该方法使用的事实，许多有效的实现减少广义卷积矩阵乘法。建议的脑损伤过程通过将组稀疏正则化添加到标准训练过程中，以组方式修剪卷积核张量。经过这种逐组修剪后，卷积可以简化为稀疏稠密矩阵的乘法，从而提高速度。在AlexNet上的比较中，该方法取得了非常有竞争力的性能。
2015-12-07 cs.CV
Deep Concept-wise Temporal Convolutional Networks for Action Localization
Baidu Inc（百度公司）；MIT-Watson AI Lab（麻省理工学院-沃森人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
现有的动作定位方法在从视频帧提取的1D特征图上采用浅时间卷积网络（\ie，TCN）。在本文中，我们经验性地发现，堆叠更多常规的时间卷积层实际上会降低动作分类性能，这可能是由于1D特征图的所有通道（通常是高度抽象的，可以被视为潜在概念）在时间卷积中过度重组。为了解决这个问题，我们引入了一个新的概念时间卷积（CTC）层作为传统时间卷积层的替代，用于训练更深层次的动作定位网络。CTC层不是重组潜在概念，而是为每个概念单独部署一些时间过滤器，并在概念之间共享过滤器参数。从而可以捕捉不同概念的共同时间模式，并显着丰富的表征能力。通过堆叠CTC层，我们提出了一种深度概念时间卷积网络（C-TCN），它将THUMOS'14上最先进的动作定位性能从42.8提升到52.1，在mAP（\%）方面，实现了21.7\%的相对提高。在ActivityNet上也取得了良好的效果。
2019-08-26 cs.CV
Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）
针对深度可分离卷积加速但损失准确率的问题，提出基于SVD/GSVD的深度分解，将常规卷积分解为可分离卷积，并在ShuffleNet V2上验证其优于通道分解且Top-1提升约2%。
2023-09-23 cs.CV
Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanchang Hangkong University（南昌航空大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）在基于卷积的动作识别中得到了广泛的应用并取得了显著的效果。在GCN中，图的拓扑结构支配着特征聚合，因此是提取代表性特征的关键。在这项工作中，我们提出了一种新的逐层拓扑细化图卷积（CTR-GC），动态学习不同的拓扑结构，并有效地聚合联合功能在不同的通道，基于卷积的动作识别。所提出的CTR-GC通过学习共享拓扑作为所有通道的通用先验并使用每个通道的通道特定相关性对其进行细化来对通道拓扑进行建模。我们的改进方法引入了一些额外的参数，并显着降低了建模通道的拓扑结构的难度。此外，通过将图卷积转化为统一的形式，我们发现CTR-GC放松了图卷积的严格约束，从而具有更强的表示能力。结合CTR-GC与时间建模模块，我们开发了一个强大的图卷积网络命名为CTR-GCN，显着优于国家的最先进的方法在NTU RGB+D，NTU RGB+D 120，和NW-UCLA数据集。
2021-08-23 cs.CV
An Efficient 3D Convolutional Neural Network with Channel-wise, Spatial-grouped, and Temporal Convolutions
Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科研局））
提出一种高效3D卷积神经网络，通过通道级、空间分组和时间卷积构建模块，无需预训练即可在多个视频动作识别数据集上超越大模型，并在FineGym上以仅RGB输入超越双流方法5%以上。
2025-03-04 cs.CV
3D Depthwise Convolution: Reducing Model Parameters in 3D Vision Tasks
Beijing Normal University（北京师范大学）；University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
标准3D卷积运算需要比2D卷积运算大得多的内存和计算成本。这一事实阻碍了深度神经网络在许多3D视觉任务中的发展。在本文中，我们研究了在3D场景中应用深度可分离卷积的可能性，并介绍了3D深度卷积的使用。3D去卷积将单个标准3D卷积分成两个单独的步骤，这将大大减少3D卷积中的参数数量，数量级超过一个。我们在流行的CNN架构上实验了3D去卷积，并将其与称为伪3D卷积的类似结构进行了比较。结果表明，通过3D深度卷积，分类和重建等3D视觉任务可以使用更轻的神经网络来执行，同时仍然提供相当的性能。
2018-08-05 cs.CV
BD-Net: Has Depth-Wise Convolution Ever Been Applied in Binary Neural Networks?
Sungkyunkwan University（成均馆大学）
BD-Net通过1.58位卷积和预BN残差连接，首次实现了二进制神经网络中深度卷积的二值化，在多个数据集上取得显著准确率提升。
2025-11-19 cs.CV
Using Depth for Pixel-Wise Detection of Adversarial Attacks in Crowd Counting
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在拥挤场景中计算人数的最先进方法依赖于深度网络来估计人群密度。虽然有效，但深度学习方法容易受到对抗攻击的攻击，这在人群计数环境中可能导致严重的安全问题。然而，攻击和防御机制在回归任务中几乎没有被探索过，更不用说人群密度估计了。在本文中，我们研究了现有的攻击策略对人群计数网络的有效性，并介绍了一个简单而有效的像素检测机制。它建立在这样的直觉上：当攻击一个多任务网络时，在我们的情况下估计人群密度和场景深度，两个输出都会受到干扰，因此第二个输出可以用于检测目的。我们将证明，这显着优于启发式和基于不确定性的策略。
2020-03-18 cs.CV
A Lexicon and Depth-wise Separable Convolution Based Handwritten Text Recognition System
Panjab University（旁遮普大学）；D.M. College（D.M.学院）；Physical Research Laboratory（物理研究实验室）
手写体文本识别是模式识别领域中一个具有挑战性的研究课题。当前最先进的方法包括基于卷积递归神经网络和多维长短期记忆递归神经网络技术的模型。这些方法的计算量很大，而且模型在设计层次上很复杂。在最近的研究中，与基于卷积递归神经网络的模型相比，基于卷积神经网络和门控卷积神经网络的模型的组合展示了更少数量的参数。在减少待训练参数总数的方向上，在这项工作中，我们使用深度卷积代替标准卷积，结合门控卷积神经网络和双向门控递归单元来减少待训练参数的总数。此外，我们还包括一个基于词典的词束搜索解码器在测试步骤。它还有助于提高模型的整体准确性。我们在IAM数据集上获得了3.84%的字符出错率和9.40%的单词出错率，在George Washington数据集上获得了4.88%的字符出错率和14.56%的单词出错率。
2022-07-11 cs.CV
DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation
Baidu Inc.（百度公司）
针对自动驾驶深度估计中几何与尺度的冲突，提出DrivingDepth方法，利用稀疏LiDAR作为几何提示，通过残差像素级尺度校正校准冻结的深度基础模型，在保持密集视觉几何的同时实现度量精度与几何一致性。
2026-07-01 cs.CV
DepthAgent: Towards Better Universal Depth Estimation via Sample-wise Expert Selection
Michigan State University（密歇根州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出DepthAgent，一种视觉语言智能体，通过多轮工具调用和强化学习微调，自适应地为不同相机设置（透视、鱼眼、全景）选择或融合多个深度估计专家模型，显著提升通用深度估计性能。
2026-05-22 cs.CV
OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion
Bosch Research North America（博世北美研究院）；University of Missouri（密苏里大学）
将深度学习方法应用于全向图像的一个众所周知的挑战是球面失真。在需要结构细节的密集回归任务（如深度估计）中，在失真的360度图像上使用普通CNN层会导致不希望的信息丢失。在本文中，我们提出了一个360单眼深度估计管道，OmniFusion，以解决球面失真问题。我们的流水线将360度图像转换为失真较小的透视图块（即切线图像），以通过CNN获得逐块预测，然后合并逐块结果以进行最终输出。为了处理补丁明智的预测，这是一个影响合并质量的主要问题之间的差异，我们提出了一个新的框架与以下关键组件。首先，我们提出了一个几何感知的特征融合机制，结合3D几何特征与2D图像特征，以补偿补丁的差异。其次，我们采用基于自注意力的Transformer架构进行全局聚合的补丁式信息，这进一步提高了一致性。最后，我们引入了一个迭代深度细化机制，进一步细化估计深度的基础上更准确的几何特征。实验表明，我们的方法大大减轻了失真的问题，并实现了最先进的性能在几个360单眼深度估计基准数据集。
2022-03-29 cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Shandong University（山东大学）；Tencent AI Lab（腾讯AI实验室）；National University of Singapore（新加坡国立大学）
视觉注意已经成功地应用于结构预测任务，如视觉字幕和问答。现有的视觉注意力模型通常是空间的，即，注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而，我们认为，这种空间注意力并不一定符合注意力机制-一个动态特征提取器，随着时间的推移结合上下文固定，因为CNN特征自然是空间的，通道的和多层的。在本文中，我们介绍了一种新的卷积神经网络，称为SCA-CNN，它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中，SCA-CNN动态地调制多层特征图中的句子生成上下文，编码其中（即，在多个层上的关注的空间位置）和什么（即，注意的渠道）的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构：Flickr 8 K，Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Fractal Autoregressive Depth Estimation with Continuous Token Diffusion
本文提出一种分形视觉自回归扩散框架，通过粗到细的自回归生成过程改进单目深度估计，采用多尺度特征融合和连续空间去噪扩散损失提升跨模态条件化效果，同时通过分形递归架构和不确定性感知共识聚合方案提高计算效率与预测稳定性。
2026-03-16 cs.CV
Mask-adaptive Gated Convolution and Bi-directional Progressive Fusion Network for Depth Completion
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Foshan Graduate School of Innovation, Northeastern University（东北大学佛山创新研究生院）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Northeastern University（东北大学工业智能与系统优化国家前沿科学中心）
本文针对深度图中缺失像素的补全问题，提出基于编码器-解码器结构的新模型，通过掩码自适应门控卷积和双向渐进融合模块提升深度补全的准确性与可靠性，并在多个基准数据集上验证了其优越性。
2024-12-27 cs.CV
C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning
National Taiwan University（国立台湾大学）
现有的大多数研究通过压缩传输的特征来提高分裂学习的效率。然而，大多数作品都集中在将高维特征转换为低维空间的维度压缩上。在本文中，我们提出了基于循环卷积的批量压缩SL（C3-SL）压缩多个功能成一个单一的功能。为了避免合并多个特征时的信息丢失，我们利用高维空间中特征的准正交性，采用循环卷积和叠加。据我们所知，我们是第一个探索SL场景下批量压缩潜力的人。基于CIFAR-10和CIFAR-100的仿真结果，与vanilla SL相比，我们的方法实现了16倍的压缩比，精度下降可以忽略不计。此外，与最先进的维度压缩方法相比，C3-SL显着减少了1152倍的内存和2.25倍的计算开销。
2022-07-25 cs.CV cs.LG
PQTNet: Pixel-wise Quantitative Thermography Neural Network for Estimating Defect Depth in Polylactic Acid Parts by Additive Manufacturing
Shenzhen University（深圳大学）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）
PQTNet通过像素级定量热成像神经网络，实现了对增材制造聚乳酸部件缺陷深度的高精度估计，具有高精度和鲁棒性的定量缺陷表征能力。
2026-02-03 cs.CV
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture
New York University（纽约大学）；Courant Institute（库朗研究所）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们解决三个不同的计算机视觉任务使用一个基本架构：深度预测，表面法线估计，语义标记。我们使用一个多尺度卷积网络，它能够很容易地适应每个任务，只需要很小的修改，从输入图像直接回归到输出映射。我们的方法使用一系列尺度逐步细化预测，并在没有任何超像素或低级别分割的情况下捕获许多图像细节。我们在所有三项任务的基准测试中均实现了最先进的性能。
2015-12-17 cs.CV
Adaptive Depth-converted-Scale Convolution for Self-supervised Monocular Depth Estimation
School of Software, Shandong University（山东大学软件学院）；Shandong University-WeiHai Research Institute of Industrial Technology（山东大学威海工业技术研究院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Key Laboratory of Machine Intelligence and System Control, Ministry of Education（教育部机器智能与系统控制重点实验室）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；Research Institute of Interdisciplinary Innovation, Zhejiang Lab（之江实验室跨学科创新研究院）
本文提出自适应深度转换尺度卷积（DcSConv）框架，通过结合物体深度与尺度的先验关系，提取合适尺度的卷积感受野特征，解决单目视频中物体尺寸和深度的模糊问题，实验表明在KITTI基准上取得最佳效果。
2026-04-09 cs.CV
Depth-Wise Representation Development Under Blockwise Self-Supervised Learning for Video Vision Transformers
Heinrich Heine University, Düsseldorf, Germany（海因里希-海涅大学）；Institute for Computational Visualistics, University of Koblenz, Germany（计算视觉学研究所）；Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich, Germany（神经科学与医学研究所）；Helmholtz AI, Research Centre Jülich, Germany（海德堡人工智能研究所）
本文探讨了块级自监督学习在视频视觉变换器中的应用，通过划分编码器块优化局部重建损失，发现后期块饱和和界面形成对深度表示发展有影响。
2026-01-14 cs.CV
Spatiotemporal Pyramidal CNN with Depth-Wise Separable Convolution for Eye Blinking Detection in the Wild
School of Engineering Pedagogy, Hanoi University of Science and Technology（河内科学技术大学工程教育学院）；Graduate School of Engineering and Science, Shibaura Institute of Technology（芝浦工业大学工程与科学研究生院）
针对野外眨眼检测中图像分辨率变化和模型推理时间高的问题，提出使用统一分辨率插值方法和深度可分离卷积的时空金字塔CNN，实现高效且轻量的检测。
2023-06-20 cs.CV
Beyond saliency: understanding convolutional neural networks from saliency prediction on layer-wise relevance propagation
Stony Brook University（石溪大学）；Midea Emerging Technology Center（美的新兴技术中心）
尽管深度卷积神经网络（CNN）在许多计算机视觉任务中取得了巨大成就，但了解它们的实际工作方式仍然是一个重大挑战。在本文中，我们提出了一种新的两步理解方法，即显著相关（SR）图，旨在揭示深度CNN如何识别图像并从其中的区域（称为注意区域）中学习特征。我们所提出的方法开始了逐层相关传播（LRP）的步骤，估计一个像素级的相关性映射的输入图像。接下来，我们从LRP生成的地图中构建了一个上下文感知的显着性地图，SR地图，该地图预测靠近注意力焦点的区域，而不是LRP揭示的孤立像素。在人类视觉系统中，区域信息比像素信息更重要。因此，我们提出的方法密切模拟人类识别。使用ILSVRC 2012验证数据集结合两个成熟的深度CNN模型AlexNet和VGG-16的实验结果清楚地表明，我们提出的方法不仅可以简洁地识别关键像素，还可以识别有助于底层神经网络理解给定图像的注意区域。因此，我们提出的SR映射构成了一个方便的视觉界面，它揭示了网络的视觉注意力，并揭示了模型在训练后学会识别的对象类型。源代码可在https://github.com/Hey1Li/Salient-Relevance-Propagation上获得。
2019-03-30 cs.CV
CompletionFormer: Depth Completion with Convolutions and Vision Transformers
University of Bologna（博洛尼亚大学）；PhiGent Robotics（视比特机器人）
本文提出CompletionFormer，以深度耦合卷积注意力与Vision Transformer的JCAT块构建金字塔模型，兼顾局部细节与全局上下文，在KITTI和NYUv2上超越CNN方法且FLOPs约为纯Transformer的1/3。
2023-04-25 cs.CV
Anisotropic Convolutional Networks for 3D Semantic Scene Completion
Nanjing University of Science and Technology（南京理工大学）；University of Oxford（牛津大学）；University of Wollongong（伍伦贡大学）；The University of Adelaide（阿德莱德大学）
语义场景补全（SSC）是一种基于体素的标记任务，它试图从单个深度和/或RGB图像中同时推断场景的占用和语义标签。SSC面临的主要挑战是如何有效地利用3D上下文来建模各种形状，布局和可见性严重变化的物体或东西。为了处理这种变化，我们提出了一种称为各向异性卷积的新模块，其灵活性和功能对于标准3D卷积及其一些变体等竞争方法来说是不可能的。与仅限于固定3D感受野的标准3D卷积相比，我们的模块能够对维度各向异性体素进行建模。基本思想是通过将3D卷积分解为三个连续的1D卷积来实现各向异性3D感受野，并且每个这样的1D卷积的核大小在运行中自适应地确定。通过堆叠多个这样的各向异性卷积模块，可以进一步增强逐体素建模能力，同时保持可控量的模型参数。在NYU-Depth-v2和NYUCAD两个SSC基准测试上进行的广泛实验表明，所提出的方法具有优越的性能。我们的代码可在https://waterljwant.github.io/SSC/上获得
2020-04-05 cs.CV
Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Southern California（南加州大学）
卷积神经网络（CNN）深层的特征空间通常是非常高维的，难以解释。然而，卷积层由多个通道组成，这些通道由不同类型的输入激活，这表明通过研究通道以及它们之间的关系可以获得更多的见解。在本文中，我们首先从理论上分析通道非负核（CW-NNK）回归图，这使我们能够量化通道之间的重叠，并间接地量化数据表示流形的内在维度。我们发现，通道之间的冗余是显着的，并在训练过程中随层深度和正则化水平而变化。此外，我们观察到最后一个卷积层中的信道重叠与泛化性能之间存在相关性。我们的实验结果表明，这些技术可以导致更好地理解深度表示。
2021-10-18 cs.CV cs.LG
CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth
University of Zaragoza（萨拉戈萨大学）；University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）；Bitbrain（Bitbrain（公司））；cs.uni-freiburg.de（（注：原文本中该部分为邮箱域名，不应作为机构提取，实际有效机构为上述列出的））
单视图深度估计存在这样的问题，即在来自一个相机的图像上训练的网络不能推广到用不同相机模型拍摄的图像。因此，改变相机模型需要收集全新的训练数据集。在这项工作中，我们提出了一种新型的卷积，可以考虑相机参数，从而允许神经网络学习校准感知模式。实验证实，这大大提高了深度预测网络的泛化能力，并且当用不同的相机获取训练和测试图像时，明显优于现有技术。
2019-04-03 cs.CV
Learnable Differencing Center for Nighttime Depth Perception
Nanjing University of Science and Technology（南京理工大学）；Chinese Academy of Sciences（中国科学院）；Nankai University（南开大学）
针对夜间深度补全与估计任务，提出LDCNet框架，利用循环卷积间差分和光照亲和卷积内差分增强图像并抑制光照变化，达到最先进性能。
2023-09-04 cs.CV
Depth Pooling Based Large-scale 3D Action Recognition with Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；China University of Geosciences（中国地质大学）
本文提出了三种简单，紧凑而有效的深度序列表示，分别称为动态深度图像（DDI），动态深度正常图像（DDNI）和动态深度运动正常图像（DDMNI），用于孤立和连续动作识别。这些动态图像是使用分层双向秩池从深度图的分段序列构造的，以有效地捕获时空信息。具体来说，DDI利用姿势随时间的动态变化，DDNI和DDMNI利用深度图捕获的3D结构信息。在此基础上，提出了一种基于ConvNet的动作识别方法。基于图像的表示使我们能够微调现有的卷积神经网络（ConvNet）模型，而无需从头开始训练大量参数。所提出的方法在三个大数据集上取得了最先进的结果，即大规模连续手势识别数据集（平均Jaccard指数0.4109），大规模孤立手势识别数据集（59.21%）和NTU RGB+D数据集（87.08%跨学科和84.22%跨视图），即使只使用深度模态。
2018-04-17 cs.CV
ACDNet: Adaptively Combined Dilated Convolution for Monocular Panorama Depth Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Chongqing University（重庆大学）；KAUST（阿卜杜拉国王科技大学）
深度估计是近年来全景图像三维重建的关键步骤。全景图像保持完整的空间信息，但引入失真的等矩形投影。在本文中，我们提出了一个ACDNet的基础上自适应组合扩张卷积预测的密集深度图的单目全景图像。具体来说，我们结合卷积核与不同的扩张，以扩大在等距矩形投影的感受野。同时，我们引入了一个自适应的通道级融合模块来总结特征图，并得到沿通道的感受野中的不同注意区域。由于在构建自适应通道级融合模块时利用了通道级注意力，网络可以有效地捕获和利用跨通道上下文信息。最后，我们进行了深度估计实验上的三个数据集（虚拟和现实世界）和实验结果表明，我们提出的ACDNet大大优于当前国家的最先进的（SOTA）的方法。我们的代码和模型参数可在https://github.com/zcq15/ACDNet中访问。
2022-04-01 cs.CV
Joint Graph-based Depth Refinement and Normal Estimation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Sony Europe B.V（索尼欧洲有限公司）
深度估计是理解场景的3D几何形状的重要组成部分，在城市和室内环境中具有许多应用。这些场景的特点是普遍存在的人为结构，在大多数情况下，要么是固有的分段平面，或可以近似为这样。在这些设置中，我们设计了一个新的深度细化框架，旨在恢复底层的逐段平面性的逆深度图。我们制定这个任务作为一个优化问题，涉及数据保真度项，最大限度地减少输入逆深度图的距离，以及执行分段平面解决方案的正则化。至于正则化项，我们将逆深度图建模为像素之间的加权图。所提出的正则化被设计为在每个像素处自动地估计平面，而不需要对场景平面的先验估计，并且同时它鼓励将类似的像素分配给同一平面。用ADAM算法有效地解决了优化问题。实验表明，我们的方法导致了显着的改善，在深度细化，视觉和数值，相对于国家的最先进的算法在Middlebury，KITTI和ETH3D多视图立体视觉数据集。
2020-09-02 cs.CV
Transformer-Based Attention Networks for Continuous Pixel-Wise Prediction
Harbin Institute of Technology（哈尔滨工业大学）；University of Trento（特伦托大学）；ETH Zurich（苏黎世联邦理工学院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然卷积神经网络已经显示出对各种计算机视觉任务的巨大影响，但由于卷积运算的固有局部性，它们通常在显式建模远程依赖性方面表现出局限性。最初是为自然语言处理任务设计的，Transformers已经成为替代架构，具有先天的全局自我注意力机制来捕获长距离依赖关系。在本文中，我们提出了TransDepth，这是一种既受益于卷积神经网络又受益于Transformers的架构。为了避免网络失去其能力，以捕捉局部层次的细节，由于采用Transformers，我们提出了一种新的解码器，采用基于门的注意力机制。值得注意的是，这是第一篇将Transformers应用于涉及连续标签的逐像素预测问题的论文（即，单目深度预测和表面法线估计）。大量的实验表明，所提出的TransDepth实现了最先进的性能在三个具有挑战性的数据集。我们的代码可在https://github.com/ygjwd12345/TransDepth上获得。
2021-08-05 cs.CV
AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion
Northeastern University（东北大学）
提出AGG-Net，通过注意力引导门控卷积和跳跃连接融合深度与颜色特征，完成深度图像补全，在多个基准数据集上超越现有方法。
2023-09-04 cs.CV
Large-scale Isolated Gesture Recognition Using Convolutional Neural Networks
University of Wollongong（卧龙岗大学）；Wuhan University of Science and Technology（武汉科技大学）
本文提出了三种简单、紧凑而有效的深度序列表示方法，分别称为动态深度图像（DDI）、动态深度法线图像（DDNI）和动态深度运动法线图像（DDMNI）。这些动态图像是使用双向秩池化从深度图序列构建的，以有效地捕获时空信息。这种基于图像的表示使我们能够微调在图像数据上训练的现有ConvNets模型，用于深度序列的分类，而无需引入大参数进行学习。基于所提出的表示，开发了一种基于卷积神经网络（ConvNets）的方法用于手势识别，并在2016年ChaLearn Looking at People（观察人）挑战赛的大规模孤立手势识别上进行了评估。该方法实现了55.57\%的分类精度和排名$2^{nd}$在这个挑战的地方，但非常接近最好的性能，即使我们只使用深度数据。
2017-01-07 cs.CV
Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative Convolution Network
University of Macau（澳门大学）；Beijing Institute of Technology（北京理工大学）
本文针对自监督单目深度估计中的方向敏感性和环境依赖性问题，提出方向感知累积卷积网络DaCCN，通过方向感知模块和新累积卷积改进特征表示，在KITTI、Cityscapes和Make3D上取得最先进性能。
2023-08-10 cs.CV
PydMobileNet: Improved Version of MobileNets with Pyramid Depthwise Separable Convolution
University of Ulsan（蔚山大学）
近年来，卷积神经网络（CNN）在各种计算机视觉任务中表现出了卓越的性能。然而，不断增加的模型大小在实时应用以及移动和嵌入式视觉应用中采用它们方面提出了挑战。许多工程试图建立尽可能小的网络，同时仍然具有可接受的性能。最先进的架构是MobileNets。他们使用依赖可分离卷积（DWConvolution）代替标准卷积来减小网络的大小。本文介绍了一种改进版的MobileNet，称为金字塔移动网络。与MobileNet中的DWConvolution不同，该网络使用金字塔内核大小来捕获更多的空间信息，而不是仅使用$3\times 3$内核大小。在两个高度竞争的对象识别基准数据集（CIFAR-10，CIFAR-100）上对所提出的架构进行了评估。实验结果表明，该网络实现了更好的性能相比，MobileNet以及其他国家的最先进的网络。此外，它在精确度、延迟和模型大小之间的权衡方面比MobileNets更灵活。
2018-11-17 cs.CV
