Learning Depth-Guided Convolutions for Monocular 3D Object Detection
The University of Hong Kong（香港大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；SenseTime Research（商汤科技研究院）
由于缺乏准确的深度信息，在没有LiDAR的情况下从单个图像进行3D目标检测是一项具有挑战性的任务。传统的2D卷积不适用于此任务，因为它们无法捕获局部对象及其尺度信息，这对于3D目标检测至关重要。为了更好地表示3D结构，现有技术通常将从2D图像估计的深度图变换成伪LiDAR表示，然后应用现有的基于3D点云的对象检测器。然而，它们的结果在很大程度上取决于估计深度图的准确性，从而导致次优性能。在这项工作中，我们没有使用伪LiDAR表示，而是通过提出一种新的局部卷积网络（LCN）来改进基本的2D全卷积，称为深度引导动态依赖扩张LCN（D $^4$ LCN），其中滤波器及其感受野可以从基于图像的深度图中自动学习，使不同图像的不同像素具有不同的滤波器。D $^4$ LCN克服了传统二维卷积的局限性，缩小了图像表示和三维点云表示之间的差距。大量的实验表明，D $^4$ LCN大大优于现有的作品。例如，在中度环境下，D $^4$ LCN相对于KITTI最新技术水平的相对改善为9.1\%。该代码可在https://github.com/dingmyu/D4LCN上获得。
2019-12-13 cs.CV
Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion
Northwestern Polytechnical University（西北工业大学）
本文提出将引导动态滤波器分解为空间共享分量与内容自适应适配器，以高效实现RGB引导深度补全，在KITTI基准上排名前列，并可推广至其他多模态融合任务。
2023-09-05 cs.CV
SGDM: Static-Guided Dynamic Module Make Stronger Visual Models
School of Cyber Security（网络与网络安全学院）；Hebei University（河北大学）；Hebei Machine Vision Engineering Research Center（河北省机器视觉工程研究中心）
本文提出静态引导动态模块 SGDM，通过 Razor 动态卷积和静态卷积共享权重引导，在几乎不增加参数的情况下显著提升多种目标检测骨干网络的性能。
2024-03-27 cs.CV
Object Boundary Guided Semantic Segmentation
语义分割是图像内容理解和目标定位的关键。全卷积神经网络（FCN）的最新发展使得能够进行精确的像素级标记。在以前的作品中的一个问题是，基于FCN的方法不利用对象边界信息来描绘分割细节，因为对象边界标签在网络训练中被忽略。为了解决这个问题，我们引入了一个双分支全卷积神经网络，它将学习所需的语义类标签与重新标记边界指导的掩码级对象建议分开。这个网络被称为对象边界引导的FCN（OBG-FCN），能够以完全卷积的方式将对象形状和类特征的不同属性与设计的掩蔽架构优雅地集成在一起。我们在PASCAL VOC分割基准上进行了实验，并表明端到端可训练的OBG-FCN系统在优化目标语义分割质量方面提供了很大的改进。
2016-07-06 cs.CV
A Spatially Constrained Deep Convolutional Neural Network for Nerve Fiber Segmentation in Corneal Confocal Microscopic Images using Inaccurate Annotations
University of British Columbia（不列颠哥伦比亚大学）；University of Nottingham（诺丁汉大学）；Weill Cornell Medicine-Qatar（威尔康奈尔医学院卡塔尔分院）
语义图像分割是医学图像分析中的重要任务之一。大多数最先进的深度学习方法都需要大量精确注释的示例来进行模型训练。然而，准确的注释是难以获得的，特别是在医学应用中。在本文中，我们提出了一个空间约束的深度卷积神经网络（DCNN），以实现平滑和鲁棒的图像分割使用不准确的注释标签进行训练。在我们提出的方法中，图像分割被公式化为一个图优化问题，由DCNN模型学习过程解决。待优化的成本函数由通过交叉熵测量计算的一元项和基于强制局部标签一致性的成对项组成。所提出的方法已被评估的基础上，角膜共焦显微镜（CCM）图像神经纤维分割，准确的注释是非常困难的。基于合成数据集的定量结果和真实数据集的定性评估，所提出的方法在产生高质量的分割结果方面取得了优异的性能，即使训练标签不准确。
2020-04-20 cs.CV
Spatially-Adaptive Filter Units for Compact and Efficient Deep Neural Networks
University of Ljubljana（卢布尔雅那大学）；University of Birmingham（伯明翰大学）
卷积神经网络在许多计算机视觉任务中表现出色。它们最关键的架构元素之一是有效的感受野大小，必须手动设置以适应特定的任务。标准解决方案涉及大内核，下/上采样和扩张卷积。这些需要测试各种膨胀和下/上采样因子，并导致非紧凑表示和过多的参数。我们解决这个问题，提出了一个新的卷积滤波器组成的位移聚合单元（DAU）。DAU学习空间位移，并根据给定的问题调整各个卷积滤波器的感受野大小，从而消除了手工修改的需要。DAU在现有的最先进的架构中提供了卷积滤波器的无缝替代，我们在AlexNet，ResNet 50，ResNet 101，DeepLab和SRN-DeburNet上进行了演示。这种设计的好处在各种计算机视觉任务和数据集上得到了证明，例如图像分类（ILSVRC 2012），语义分割（PASCAL VOC 2011，Cityscape）和盲图像去模糊（GOPRO）。结果表明，DAU有效地分配参数，从而在类似或更好的性能下，使网络更紧凑，达到四倍。
2020-02-06 cs.CV
Boundary-guided Feature Aggregation Network for Salient Object Detection
全卷积网络（FCN）显著提高了许多像素标记任务的性能，例如语义分割和深度估计。然而，充分利用多级卷积特征图和边界信息用于显著目标检测仍然是重要的。在本文中，我们提出了一种新的FCN框架，结合对象边界信息的指导下，递归地集成多层卷积特征。首先，使用深度卷积网络来提取多级特征图，并将其分别聚合为多个分辨率，这些分辨率可用于生成粗糙的显著性图。同时，提出了另一个边界信息抽取分支，用于生成边界特征。最后，设计了一个基于注意力的特征融合模块，将边界信息融合到显著区域中，实现精确的边界推断和语义增强。最后的显着图是预测的边界图和集成显着图的组合，更接近地面真相。在四个大规模的基准测试上的实验和分析表明，我们的框架取得了新的最先进的结果。
2018-09-28 cs.CV
3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）
卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然很密集（例如，照片），许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了新的稀疏卷积运算，旨在更有效地处理空间稀疏数据，并使用它们来开发空间稀疏卷积网络。我们展示了强大的性能所产生的模型，称为子流形稀疏卷积网络（SSCN），在两个任务，涉及语义分割的三维点云。特别是，我们的模型在最近的语义分割竞赛的测试集上优于所有现有的最先进的模型。
2017-11-28 cs.CV
OralBBNet: Spatially Guided Dental Segmentation of Panoramic X-Rays with Bounding Box Priors
Department of Computer Science and Engineering（计算机科学与工程系）；School of IT and Engineering（信息与工程学院）；Indian Institute of Technology Kharagpur（印度理工学院Kharagpur分校）；Kazakh-British Technical University（哈萨克-英国技术大学）；Intelligent Devices Institute（智能设备研究所）；St. Petersburg Electrotechnical University "LETI"（圣彼得堡电力大学"LETI"）；Department of Automation and Control Processes（自动化与控制过程系）
本文提出OralBBNet架构，结合U-Net分割与YOLOv8检测优势，并引入UFBA-425数据集，在牙齿检测mAP和分割Dice分数上均取得显著提升。
2025-07-02 cs.AI cs.CV cs.LG
EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室）；Shenzhen Key Lab of Computer Vision and Pattern Recognition, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院计算机视觉与模式识别深圳市重点实验室）；SenseTime Research（商汤科技研究院）
性能和效率是语义分割的两个重要方面。现有的语义分割算法大多是基于扩张的全卷积网络（dilatedFCN），它在骨干网络中采用扩张卷积来提取高分辨率的特征图，以实现高性能的分割性能。然而，由于许多卷积运算是在高分辨率的特征图上进行的，因此这种基于扩展的FCN的方法导致大的计算复杂性和存储器消耗。为了平衡性能和效率，还存在通过组合来自编码器的多级特征图来逐渐恢复空间信息的编码器-解码器结构。然而，现有的编码器-解码器方法的性能远不能与基于dilatedFCN的方法相比。在本文中，我们提出了EfficientFCN，其骨干是一个普通的ImageNet预训练网络，没有任何扩张卷积。引入了一个整体引导的解码器，通过编码器的多尺度特征获得高分辨率的语义丰富的特征图。解码任务被转换为新的码书生成和码字组装任务，它利用了来自编码器的高级和低级特征。这样的框架实现了与最先进的方法相当甚至更好的性能，而计算成本仅为1/3。在PASCAL Context、PASCAL VOC、ADE 20 K上的实验验证了所提方法的有效性。
2020-08-27 cs.CV
Putting 3D Spatially Sparse Networks on a Diet
POSTECH（浦项科技大学）；NVIDIA（英伟达）；Caltech（加州理工学院）
3D神经网络已经普遍用于许多3D视觉任务，包括3D输入的目标检测、分割、配准和各种感知任务。然而，由于3D数据的稀疏性和不规则性，自定义3D算子或网络设计一直是研究的主要焦点，而网络的大小或参数的有效性却被忽视了。在这项工作中，我们对空间稀疏3D卷积网络的权重稀疏性进行了第一次全面的研究，并提出了一个紧凑的权重稀疏和空间稀疏3D卷积网络（WS^3-Convnet），用于在真实世界的室内和室外数据集上进行语义和实例分割。我们采用各种网络修剪策略来寻找紧凑的网络，并显示我们的WS^3-Convnet实现了最小的性能损失（2.15%下降），参数数量级更少（99%压缩率）和计算成本（95%减少）。最后，我们系统地分析了WS^3-Convnet的压缩模式，并展示了压缩网络中常见的有趣的新兴稀疏模式，以进一步加快推理速度（快45%）。\keywords{Efficient network architecture, Network pruning, 3D scene segmentation, Spatially sparse convolution}
2022-04-08 cs.CV
SGDC: Structurally-Guided Dynamic Convolution for Medical Image Segmentation
Department of Electrical and Computer Engineering, Concordia University（电气与计算机工程系，康科迪亚大学）
SGDC通过结构引导动态卷积提升医学图像分割的边界保真度，减少Hausdorff距离并提高IoU，适用于细粒度结构敏感任务。
2026-02-26 cs.CV eess.IV
X-HRNet: Towards Lightweight Human Pose Estimation with Spatially Unidimensional Self-Attention
University of Electronic Science and Technology of China（电子科技大学）
提出基于空间一维自注意力（SUSA）的轻量级姿态估计网络X-HRNet，通过降低逐点卷积96%计算量且不损失精度，在COCO基准上验证了其高效性。
2023-10-12 cs.CV
Attention Guided Network for Retinal Image Segmentation
South China University of Technology（华南理工大学）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）；CVTE Research（视源股份研究院）；Cixi Institute of Biomedical Engineering, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所）
在视网膜图像分割中，结构信息的学习是获得理想结果的关键。最近，卷积神经网络已经显示出提取有效表示的强大能力。然而，卷积和池化操作会过滤掉一些有用的结构信息。在本文中，我们提出了一个注意力引导网络（AG-Net），以保持结构信息和指导扩展操作。在我们的AG-Net中，引导滤波器被利用作为结构敏感的扩展路径，从以前的特征图中传递结构信息，并引入注意力块来排除噪声，进一步减少背景的负面影响。对两个视网膜图像分割任务（即，血管分割、视盘和视杯分割）证明了我们所提出的方法的有效性。
2019-10-23 cs.CV eess.IV
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute（伊迪亚普研究所）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们提出了一种半盲，空间变化的反卷积技术，旨在光学显微镜，结合了局部估计步骤的点扩散函数（PSF）和反卷积使用空间变化，正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图，我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据，并实现了平均1.00 dB的图像信噪比的改善，相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
Spatially-Adaptive Image Restoration using Distortion-Guided Networks
Michigan State University（密歇根州立大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们提出了一个通用的基于学习的解决方案，用于恢复遭受空间变化退化的图像。现有的方法通常是特定于退化的，并且在不同的图像和不同的像素内采用相同的处理。然而，我们假设，这种空间刚性处理是次优的同时恢复退化的像素，以及重建图像的干净区域。为了克服这一限制，我们提出了SPAIR，一个网络设计，利用失真定位信息和动态调整计算图像中的困难区域。SPAIR包括两个组件，（1）识别退化像素的定位网络，以及（2）利用来自滤波器和特征域中的定位网络的知识来选择性地和自适应地恢复退化像素的恢复网络。我们的主要思想是利用空间域中严重退化的不均匀性，并将此知识适当地嵌入到执行稀疏归一化、特征提取和注意力的失真引导模块中。我们的架构是不可知的物理形成模型，并概括了几种类型的空间变化的退化。我们证明了四个恢复任务的效果SPAIR单独去除雨条纹，雨滴，阴影和运动模糊。在11个基准数据集上与现有技术进行了广泛的定性和定量比较，结果表明，我们的降级不可知网络设计与最先进的降级特定架构相比，具有显著的性能提升。代码可在https://github.com/human-analysis/spatially-adaptive-image-restoration获得。
2021-08-19 cs.CV cs.LG
CoordGate: Efficiently Computing Spatially-Varying Convolutions in Convolutional Neural Networks
University of Oxford（牛津大学）；John Adams Institute for Accelerator Science（约翰·亚当斯加速器科学研究所）
提出轻量级模块CoordGate，通过乘法门控与坐标编码网络实现CNN中空间变化卷积的高效计算，在图像去模糊任务中优于传统方法，提升了空间感知能力。
2024-01-09 cs.CV eess.IV
Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
三维卷积神经网络（3D CNN）是一种能够同时从空间和时间两个维度学习特征的有力工具，适合应用于基于视频的动作识别。在这项工作中，我们建议不直接使用3D CNN的全连接层的激活作为视频特征，而是使用选择性卷积层激活来形成视频的区分描述符。它在身体关节位置的指导下将卷积层上的特征池化。讨论了将身体关节映射到卷积特征映射以用于池化的两种方案。身体关节位置可以从任何现成的骨架估计算法获得。系统地评估了具有不准确骨架估计的身体关节引导特征池的有用性。为了使其端到端并且不依赖于任何复杂的身体关节检测算法，我们进一步提出了一种双流双线性模型，该模型可以同时从身体关节学习指导并捕获时空特征。在该模型中，身体关节引导的特征池被方便地公式化为双线性乘积运算。在三个真实世界数据集上的实验结果证明了身体关节引导池的有效性，取得了良好的性能。
2017-04-25 cs.CV
Learning Spatially-Adaptive Squeeze-Excitation Networks for Image Synthesis and Image Recognition
North Carolina State University（北卡罗来纳州立大学）
在图像合成和图像识别中学习轻量级但富有表现力的深度网络仍然是一个具有挑战性的问题。受最近观察到的数据特异性使得Transformer模型中的多头自注意（MHSA）如此强大的启发，本文提出将广泛采用的轻量级挤压激励（SE）模块扩展为空间自适应的，以增强其数据特异性，作为MHSA的卷积替代方案，同时保留SE的效率和卷积的归纳基础。提出了两种空间自适应挤压激励（SASE）模块的设计，分别用于图像合成和图像识别。对于图像合成任务，所提出的SASE进行了测试，在低拍摄和单次学习任务。它显示出比现有技术更好的性能。对于图像识别任务，所提出的SASE被用作ResNets中卷积层的直接替代品，并且比普通ResNets实现了更好的准确性，并且比MHSA的同类产品（如ImageNet-1000数据集中的Swin-Transformer和Pyramid-Transformer）略好，模型明显更小。
2022-10-03 cs.CV cs.LG
SAIGFormer: A Spatially-Adaptive Illumination-Guided Network for Low-Light Image Enhancement
Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；College of Oceanography and Space Informatics, China University of Petroleum (East China)（海洋科学与空间信息学院，中国石油大学（华东））；School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast（电子、电气与计算机科学学院，女王大学 Belfast）；Department of Automation, Tsinghua University（自动化系，清华大学）；College of Computer Science and Software Engineering, Shenzhen University（计算机科学与软件工程学院，深圳大学）
针对现有Transformer低光照增强方法在非均匀光照场景下效果不佳的问题，提出SAIGFormer框架，通过动态积分图像表示、SAI²E估计器和IG-MSA机制实现精准光照恢复，在多个数据集上性能优于现有方法且泛化性强。
2025-07-21 cs.CV
Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels
Adobe Research（奥多比研究院）；Facebook Reality Labs（脸书现实实验室）；University of Southern California（南加利福尼亚大学）；Pinscreen（品屏）
学习注册网格的潜在表示对于许多3D任务是有用的。技术最近已经转移到神经网格自动编码器。虽然它们比传统方法具有更高的精度，但它们仍然无法捕获细粒度的变形。此外，这些方法只能应用于模板特定的表面网格，而不适用于更一般的网格，如四面体和非流形网格。虽然可以采用更一般的图形卷积方法，但它们在重建精度方面缺乏性能，并且需要更高的存储器使用。在本文中，我们提出了一个非模板特定的全卷积网格自动编码器的任意注册的网格数据。它是通过我们的新卷积和（非）池化算子来实现的，这些算子使用全局共享权重和局部变化系数来学习，可以有效地捕获由不规则网格连接呈现的空间变化内容。我们的模型在重建精度上优于最先进的方法。此外，由于完全卷积结构，我们网络的潜在代码完全本地化，因此具有比许多传统3D网格生成模型更高的插值能力。
2020-10-21 cs.CV
A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing University（重庆大学）
现有的基于深度学习的单幅图像动态场景盲去模糊（SIDSBD）方法通常设计深度网络直接从一幅输入的运动模糊图像中去除空间变化的运动模糊，而不进行模糊核估计。受投影运动路径模糊（PMPB）模型和可变形卷积的启发，提出了一种新的约束可变形卷积网络（CDCN），用于有效的单幅图像动态场景盲去模糊，同时实现了精确的空变运动模糊核估计和高质量的运动模糊图像复原。在我们提出的CDCN中，我们首先构建了一个新的多尺度多级多输入多输出（MSML-MIMO）编码器-解码器架构，以获得更强大的特征提取能力。其次，与DLVBD方法使用多帧连续图像不同，提出了一种新的约束可变形卷积再模糊（CDCR）策略，该策略首先对输入的单幅运动模糊图像的模糊特征进行可变形卷积，以学习每个像素的运动模糊核的采样点，其类似于PMPB模型中相机抖动的运动密度函数的估计，然后提出一种新的基于PMPB的再模糊损失函数来约束学习的采样点收敛，可以使学习的采样点与各像素的相对运动轨迹更好地匹配，提高空变运动模糊核估计的准确性。
2022-08-23 cs.CV
Efficient Spatially Adaptive Convolution and Correlation
卷积和相关的快速方法是计算机视觉和图形学中各种应用的基础，包括有效的滤波、分析和模拟。然而，标准的卷积和相关本质上局限于固定的滤波器：空间自适应是不可能的，而不牺牲有效的计算。在早期的工作中，Freeman和Adelson已经展示了可操纵滤波器如何解决这个限制，提供了一种在信号通过时旋转滤波器的方法。在这项工作中，我们提供了一个一般的，代表性理论，框架，允许空间变化的线性变换被应用到过滤器。该框架允许有效地实现扩展卷积和相关的变换组，如旋转（在2D和3D）和规模，并提供了一个新的解释以前的方法，包括可控滤波器和广义霍夫变换。我们目前的应用模式匹配，图像特征描述，矢量场可视化，自适应图像滤波。
2020-07-28 cs.CV cs.GR
Comprehensible Convolutional Neural Networks via Guided Concept Learning
National University of Singapore（新加坡国立大学）
学习与人类感知一致的概念对于深度神经网络赢得最终用户的信任非常重要。事后解释方法在模型学习的特征表示中缺乏透明度。这项工作提出了一种指导学习方法，在基于CNN的架构中增加了一个概念层，以学习视觉特征和单词短语之间的关联。我们设计了一个目标函数，优化了学习的特征表示的预测精度和语义。实验结果表明，该模型可以学习的概念，是符合人类的感知和相应的模型决策的贡献，而不影响准确性。此外，这些学习的概念可以转移到具有类似概念的新对象类。
2021-05-24 cs.CV
Joint Multi-scale Gated Transformer and Prior-guided Convolutional Network for Learned Image Compression
College of Electronics and Information Engineering, Sichuan University（电子信息工程学院，四川大学）
本文提出了一种联合多尺度门控变换器和先验引导卷积网络，用于提升学习图像压缩的性能与效率。
2025-11-30 cs.CV
SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation
University of California, Berkeley（加州大学伯克利分校）；Facebook Inc（Facebook公司）
LiDAR点云分割是许多应用中的重要问题。对于大规模点云的分割，\textit{de facto}方法是将三维点云投影成二维LiDAR图像，并对其进行卷积处理。使用标准卷积来处理这样的LiDAR图像是有问题的，因为卷积滤波器只会拾取图像中特定区域的局部特征。结果，网络的容量未被充分利用，并且分段性能降低。为了解决这个问题，我们提出了空间自适应卷积（SAC），根据输入图像的不同位置采用不同的滤波器。SAC可以有效地计算，因为它可以实现为一系列逐元素乘法，im2col和标准卷积。它是一个通用的框架，因此之前的几种方法可以被视为SAC的特殊情况。使用SAC，我们构建了用于LiDAR点云分割的SqueezeSegV3，并且在SemanticKITTI基准测试中以可比的推理速度超过了所有以前发表的方法至少3.7%的mIoU。
2021-04-13 cs.CV
3D-Convolution Guided Spectral-Spatial Transformer for Hyperspectral Image Classification
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德印度信息技术学院）
针对ViTs无法提取光谱-空间信息及class token交互弱的问题，提出3D-ConvSST模型，利用CGRM模块融合局部信息并采用全局平均池化，在三个HSI数据集上优于现有模型。
2024-04-20 cs.CV cs.LG eess.IV
Positional Segmentor-Guided Counterfactual Fine-Tuning for Spatially Localized Image Synthesis
Department of Computing, Imperial College London, UK（帝国理工学院 computing 部，英国）；HeartFlow, Inc., Mountain View, CA, USA（HeartFlow 公司，美国加州山景城）
本文提出Positional Seg-CFT，通过将每个结构细分为区域并独立测量每个区域，实现空间局部化的反事实生成，提升冠状动脉CT血管造影中疾病建模的精细空间控制。
2026-03-22 cs.AI cs.CV
Perspective-Guided Convolution Networks for Crowd Counting
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）；Peng Cheng Laboratory（鹏城实验室）
在本文中，我们提出了一种新的视角引导卷积（PGC）的卷积神经网络（CNN）基于人群计数（即PGCNet），其目的是克服戏剧性的场景内规模变化的人由于透视效果。虽然大多数现有技术采用多尺度或多列架构来解决这样的问题，但它们通常无法对连续尺度变化进行建模，因为仅考虑离散的代表性尺度。另一方面，PGCNet利用透视信息来指导特征图的空间变化平滑，然后将其馈送到连续卷积。一个有效的视角估计分支也被引入到PGCNet中，当分支已经被预先训练时，它可以在监督设置或弱监督设置中被训练。我们的PGCNet是单列的，计算量适度增加，在四个基准数据集上的广泛实验结果表明，我们的方法对最先进的改进。此外，我们还介绍了人群监控，这是一个用于人群计数的大规模数据集，包含13，000多张具有挑战性场景的高分辨率图像。
2019-09-16 cs.CV
Towards Language-guided Visual Recognition via Dynamic Convolutions
Xiamen University（厦门大学）；Tencent（腾讯）；Tsinghua University（清华大学）
本文提出语言依赖卷积模块LaConv和完全语言驱动的卷积网络LaConvNet，通过自然语言动态生成卷积核，在单一前向结构中统一视觉识别与多模态推理，在VQA和REC任务上表现优异。
2023-09-14 cs.CV
Orientation-guided Graph Convolutional Network for Bone Surface Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of British Columbia（不列颠哥伦比亚大学）
由于超声图像中的成像伪影和低信噪比，自动骨表面分割网络通常会产生碎片化的预测，这可能会阻碍超声引导的计算机辅助外科手术的成功。现有的逐像素预测通常由于缺乏监督以强制连接而无法捕获骨组织的准确拓扑结构。在这项工作中，我们提出了一个方向引导图卷积网络，以提高连接性，同时分割骨表面。我们还提出了一个额外的监督骨表面的方向，以进一步施加连接。我们在1042例股骨、膝关节、脊柱和桡骨远端的体内超声扫描中验证了我们的方法。我们的方法在连接度量方面比最先进的方法提高了5.01%。
2022-06-16 cs.CV eess.IV
Question-Guided Hybrid Convolution for Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的用于视觉问答（VQA）的基于神经网络的混合卷积（QGHC）网络。现有的VQA方法大多融合了神经网络的高层文本和视觉特征，在学习多模态特征时忽略了视觉空间信息，针对这些问题，设计了基于输入问题的问题引导核函数与视觉特征进行卷积，以在早期捕捉文本和视觉之间的关系。问题引导卷积可以紧密耦合文本和视觉信息，但在学习内核时也引入了更多参数。我们应用组卷积，它由问题无关的内核和问题相关的内核，以减少参数的大小和减轻过拟合。混合卷积可以用更少的参数生成有鉴别力的多模态特征。所提出的方法也是现有的双线性池融合和基于注意力的VQA方法的补充。通过与它们集成，我们的方法可以进一步提高性能。在公共VQA数据集上的大量实验验证了QGHC的有效性。
2018-08-08 cs.AI cs.CL cs.CV
CDAN: Convolutional dense attention-guided network for low-light image enhancement
Bu-Ali Sina University（布阿里·锡纳大学）
本文提出用于低光照图像增强的卷积密集注意力引导网络（CDAN），结合自编码器、卷积密集块与注意力机制，并辅以后期处理优化色彩与对比度，在基准数据集上表现优异，有效恢复纹理与色彩，提升了低光照条件下的目标检测与识别能力。
2024-10-11 cs.AI cs.CV cs.LG
DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention
Zhejiang University（浙江大学）
单图像去雾是一个具有挑战性的不适定问题，估计潜在的无雾图像从观察到的模糊图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型性能。卷积神经网络（CNN）结构的学习能力仍处于探索阶段。本文提出了一种由细节增强卷积（DEConv）和内容引导注意（CGA）组成的细节增强注意块（DEAB）来增强特征学习以提高去雾性能。具体来说，DEConv将先验信息集成到正常卷积层中，以增强表示和泛化能力。然后，通过使用重新参数化技术，DEConv被等效地转换成香草卷积，没有额外的参数和计算成本。通过为每个通道分配唯一的空间重要性图（SIM），CGA可以关注编码在特征中的更多有用信息。此外，提出了一种基于CGA的混合融合方案，有效地融合了特征，并辅助梯度流。通过结合上述组件，我们提出了我们的细节增强注意力网络（DEA-Net），用于恢复高质量的无雾图像。大量的实验结果表明，我们的DEA网络的有效性，优于国家的最先进的（SOTA）的方法，通过提高PSNR指数超过41 dB，只有3.653 M参数。DEA-Net的源代码将在https://github.com/cecret3350/DEA-Net上提供。
2023-01-12 cs.CV
Depth Edge Guided CNNs for Sparse Depth Upsampling
Chongqing University（重庆大学）；College of Computer Science（计算机学院）
引导稀疏深度上采样旨在当对齐的高分辨率彩色图像作为指导时，对不规则采样的稀疏深度图进行上采样。许多神经网络已被设计用于这一任务。然而，他们往往忽略了深度和彩色图像之间的结构差异，导致明显的伪影，如纹理复制和上采样深度处的深度模糊。受归一化卷积运算的启发，我们提出了一种引导卷积层，以深度边缘图像为指导，从稀疏和不规则的深度图像中恢复密集深度。我们的新型引导网络可以防止深度值穿过深度边缘，以促进上采样。我们进一步设计了一个卷积网络的基础上提出的卷积层，结合不同算法的优点，并取得更好的性能。我们进行了全面的实验，以验证我们的方法在真实世界的室内和合成室外数据集。我们的方法产生了强有力的结果。它在Virtual KITTI数据集和Middlebury数据集上的性能优于最先进的方法。它还在不同的3D点密度，各种照明和天气条件下具有强大的泛化能力。
2020-03-23 cs.CV
GeoConv: Geodesic Guided Convolution for Facial Action Unit Recognition
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；Monash University（莫纳什大学）
提出测地线引导卷积GeoConv，将3D流形信息嵌入2D卷积以捕捉面部肌肉细微变化，并构建GeoCNN框架，在BP4D和DISFA基准上显著优于现有AU识别方法。
2020-03-06 cs.CV
SGRNet: Spatially Guided Radiology Network for Structured Radiological Reporting of Head and Neck Cancer
University of Strasbourg（斯特拉斯堡大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Indian Institute of Technology (IIT) Madras（印度马德拉斯理工学院）；All India Institute of Medical Sciences（全印度医学科学院）
SGRNet是用于头颈部癌症结构化放射学报告的网络，通过整合自动器官分割等空间先验，在184例多中心数据上较基线提升8.8个百分点，实现0.60的mAP。
2026-09-01 cs.CV
View Blind-spot as Inpainting: Self-Supervised Denoising with Mask Guided Residual Convolution
McGill University（麦吉尔大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
近年来，自监督去噪方法表现出了令人瞩目的性能，它避免了监督去噪方法中噪声-干净图像对的艰苦收集过程，提高了去噪在现实世界中的适用性。其中一个著名的自监督去噪策略是盲点训练方案。然而，目前还没有研究从网络结构上对基于盲点的自去噪算法进行改进。在本文中，我们直观地看待盲点策略，并将其使用邻近像素来预测操作像素的过程视为修复过程。因此，我们提出了一种新的掩模引导残差卷积（MGRConv）到常见的卷积神经网络中，例如U-Net，以促进基于盲点的去噪。我们的MGRConv可以被视为软部分卷积，并在部分卷积，可学习的注意力地图和门控卷积之间找到折衷。它可以通过适当的掩码约束实现动态掩码学习。与偏卷积和门卷积不同，它为网络学习提供了适度的自由度。与可学习的注意力地图不同，它还避免了利用外部可学习参数来激活掩码。实验结果表明，我们提出的即插即用MGRConv可以帮助基于盲点的去噪网络，以达到现有的基于单图像和基于小波包的方法有前途的结果。
2021-09-10 cs.CV eess.IV
Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation
Department of Automation, University of Science and Technology of China（自动化系，中国科学技术大学）；Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学）；Department of Mechanical Engineering, City University of Hong Kong（机械工程系，香港城市大学）；College of Computer Science, Beijing University of Technology（计算机科学学院，北京理工大学）
本文提出用空间密集的帧信息引导时间密集的事件信息聚合，通过事件增强帧表示、transformer补全模块和混合融合编码器实现跨模态光流估计，在DSEC-Flow上准确率提升10%且推理时间减少45%。
2025-08-19 cs.CV cs.LG
AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion
Northeastern University（东北大学）
提出AGG-Net，通过注意力引导门控卷积和跳跃连接融合深度与颜色特征，完成深度图像补全，在多个基准数据集上超越现有方法。
2023-09-04 cs.CV
Mask Guided Gated Convolution for Amodal Content Completion
Doctoral School of Applied Informatics and Applied Mathematics, Óbuda University（奥布达大学应用信息学与应用数学博士学院）；John von Neumann Faculty of Informatics, Óbuda University（奥布达大学约翰·冯·诺依曼信息学院）
针对部分可见物体重建问题，提出基于加权掩码引导门控卷积的模型，通过关注可见区域提升不可见区域预测效果，在COCOA数据集上自监督训练后，输出质量和纹理丰富度优于基线模型。
2024-07-21 cs.CV
Lesion Detection in CT with Frozen Self-Distilled Features: SALT, a Spatially Adaptive Label-Guided Temperature
University of Kentucky（肯塔基大学）；University of Louisville（路易斯维尔大学）
该研究提出SALT方法，通过空间自适应标签引导温度优化自监督预训练，冻结编码器后训练轻量级CenterNet头部，在四个CT队列中实现病灶检测，效果优于无目标条件化的对照模型。
2026-08-06 cs.CV
MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
Department of AI Semiconductor Engineering, Hanyang University, Seoul, Korea（汉阳大学人工智能半导体工程系）；Department of Electronic Engineering, Hanyang University, Seoul, Korea（汉阳大学电子工程系）
MAGIC通过引入提示扰动、空间自适应引导和上下文意识，解决少样本异常生成中的样本多样性问题，提升下游任务的鲁棒性。
2026-04-29 cs.AI cs.CV
InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy
Intern Robotics Shanghai AI Laboratory（Intern Robotics上海AI实验室）
InternVLA-M1通过空间引导的两阶段训练，将空间定位作为指令与动作的桥梁，在多个基准上显著提升性能，实现可扩展的通用机器人策略。
2025-10-15 cs.AI cs.CV cs.RO
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
PG-ControlNet: A Physics-Guided ControlNet for Generative Spatially Varying Image Deblurring
1 Computer Science Department, University of Rochester；2 Goergen Institute for Data Science \& AIS, University of Rochester；Computer Engineering Department, University of Rochester
PG-ControlNet通过结合物理约束与生成模型，提升空间变化图像去模糊的物理准确性和感知真实感。
2025-11-26 cs.CV
DISK: Differentiable Sparse Kernel Complex for Efficient Spatially-Variant Convolution
State Key Lab of CAD&CG, Zhejiang University, China（浙江大学CAD与CG国家重点实验室）
本文提出了一种可微稀疏核复数分解框架，用于高效处理空间变体卷积，通过稀疏核样本表示目标空间变体密集复数核，实现了高效且可微的优化方法，适用于移动成像和实时渲染。
2026-05-19 cs.CV cs.GR
Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition
Renmin University of China（中国人民大学）
针对微表情短暂复杂及现有方法忽视时间依赖或存在冗余的问题，提出ATM-GCN框架，通过自适应时间运动层聚合全局与局部运动特征，在Composite和CAS(ME)^3数据集上取得领先性能。
2024-06-13 cs.CV
Solar multi-object multi-frame blind deconvolution with a spatially variant convolution neural emulator
Instituto de Astrofísica de Canarias (IAC)（加那利群岛天体物理研究所）；Universidad de La Laguna（拉古纳大学）
针对地基太阳观测受大气湍流畸变影响、传统反卷积方法效率低易生伪影的问题，提出基于深度神经网络的空间变卷积仿真器框架，用作多目标多帧盲反卷积前向模型，无需斑块拼接，大幅提升反卷积效率与准确性。
2024-05-16 astro-ph.IM cs.CV
Semantics-STGCNN: A Semantics-guided Spatial-Temporal Graph Convolutional Network for Multi-class Trajectory Prediction
Durham University（杜伦大学）；City University of Hong Kong（香港城市大学）
由于道路使用者的运动轨迹具有多样性，因此预测现实场景中多类道路使用者的运动轨迹是一项具有挑战性的任务。虽然最近的行人轨迹预测工作成功地模拟了周围邻居的相对距离的基础上的影响，他们是无效的多类轨迹预测。这是因为它们忽略了不同类型的道路使用者之间的隐含相关性对预测轨迹的影响-例如，附近的行人与附近的汽车具有不同程度的影响。在本文中，我们提出将类信息引入到图卷积神经网络中，以更好地预测个体的轨迹。我们将周围对象的类标签嵌入到标签邻接矩阵（LAM）中，并将其与由对象速度组成的基于速度的邻接矩阵（VAM）相结合，从而生成语义引导的图邻接（SAM）。SAM利用可训练参数有效地对语义信息进行建模，以自动学习嵌入的标签特征，这些特征将有助于基于固定速度的轨迹。这种空间和时间依赖性的信息被传递到图卷积和时间卷积网络，以估计预测的轨迹分布。我们进一步提出了新的指标，称为平均2位移误差（aADE）和平均最终位移误差（aFDE），更准确地评估网络的准确性。我们称我们的框架语义STGCNN。它一贯表现出优越的性能，以国家的最先进的现有和新提出的指标。
2021-08-10 cs.CV
Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution
University of Birmingham（伯明翰大学）；UNIST（蔚山国立科学技术院）
在交互下估计手和对象的姿势和形状发现了许多应用，包括增强现实和虚拟现实。现有的手和物体重建方法需要明确定义的物理约束和已知的对象，这限制了其应用领域。我们的算法是不可知的对象模型，它学习的物理规则，手对象的相互作用。这需要自动推断手和（可能未知的）物体的形状和物理交互。我们试图通过提出一种协作学习策略来解决这个具有挑战性的问题，在这种策略中，深度网络的两个分支相互学习。具体来说，我们将手网格信息转移到对象分支，反之亦然的手分支。由此产生的优化（训练）问题可能是不稳定的，我们通过两种策略来解决这个问题：（i）注意力引导的图卷积，它有助于识别和关注相互遮挡;（ii）无监督的关联损失，它有助于分支之间的信息传输。使用四个广泛使用的基准测试的实验表明，我们的框架在3D姿态估计方面实现了超越最先进的精度，并恢复了密集的3D手部和物体形状。上述每个技术组件都对消融研究做出了有意义的贡献。
2022-04-27 cs.CV
Crowd Counting via Perspective-Guided Fractional-Dilation Convolution
Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；City University of Hong Kong（香港城市大学）；Shenzhen Research Institute, City University of Hong Kong（香港城市大学深圳研究院）
人群计数对于许多视频监控场景至关重要。本课题的主要问题之一是如何处理由视角效应引起的行人比例变化。为了解决这个问题，本文提出了一种新的卷积神经网络为基础的人群计数方法，称为透视引导分数膨胀网络（PFDNet）。通过对连续尺度变化进行建模，所提出的PFDNet能够选择适当的分数膨胀核以适应不同的空间位置。它显着提高了灵活性的国家的最先进的，只考虑离散的代表性尺度。此外，通过避免在其他方法中使用的多尺度或多列架构，它在计算上更有效。在实践中，所提出的PFDNet是通过在VGG 16-BN骨干上堆叠多个透视引导分数膨胀卷积（PFC）来构建的。通过引入一种新的广义伸缩卷积运算，PFC可以在透视标注的指导下处理空间域的分数伸缩率，实现行人的连续尺度建模。为了解决在某些情况下无法获得透视信息的问题，我们进一步向所提出的PFDNet引入了一个有效的透视估计分支，一旦分支经过预训练，它可以在监督或弱监督设置中进行训练。大量的实验表明，提出的PFDNet优于国家的最先进的方法在上海科技A，上海科技B，世博会'10，UCF-QNRF，UCF_CC_50和TRANCOS数据集，实现MAE 53.8，6.5，6.8，84.3，205.8，和3.06分别。
2021-07-08 cs.CV
Location Dependency in Video Prediction
Bonn University（波恩大学）
深度卷积神经网络用于解决许多计算机视觉问题，包括视频预测。视频预测的任务需要在时间和空间上分析视频帧，并构建环境如何演变的模型。然而，卷积神经网络是空间不变的，这使得它们无法对位置相关模式进行建模。在这项工作中，作者提出了位置偏置卷积层来克服这一限制。位置偏差的有效性进行了评估的两种架构：视频梯形网络（VLN）和卷积预测门金字塔（Conv-PGP）。结果表明，编码的位置相关的功能是至关重要的视频预测任务。我们提出的方法显着优于空间不变模型。
2018-10-16 cs.CV
Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization
Southeast University（东南大学）
地对空地理定位是指通过将地面查询图像与地理标记的航空图像的参考数据库进行匹配来定位地面查询图像。这是非常具有挑战性的，因为这两个视图之间的视觉外观和几何配置存在巨大的透视差异。在这项工作中，我们提出了一种新的Transformer-guided卷积神经网络（transGCNN）架构，它将基于CNN的局部特征与基于transformer的全局表示相结合，以增强表示学习。具体来说，我们的transG CNN由一个CNN骨干提取特征图从输入图像和一个Transformer头建模全局上下文从CNN地图。特别是，我们的Transformer头充当空间感知重要性生成器，以选择突出的CNN特征作为最终特征表示。这样的耦合过程使我们能够利用一个轻量级的Transformer网络，大大提高了嵌入式功能的判别能力。此外，我们还设计了一个双分支Transformer头网络来组合来自多尺度窗口的图像特征，以改善全局特征表示的细节。在流行的基准数据集上进行的大量实验表明，我们的模型在CVUSA和CVACT_val上分别达到了94.12%和84.92%的top-1准确率，这优于第二个执行基准，参数不到50%，帧速率提高了近2倍，因此实现了更好的准确率-效率权衡。
2022-04-21 cs.CV
