Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文将稀疏门控MoE层引入视觉CNN，提出软、硬约束训练方法以稳定训练并揭示专家按语义类别或目标尺寸自发专业化，从而增强模型可解释性。
2023-04-27 cs.CV cs.LG
Focal Sparse Convolutional Networks for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）；SmartMore（思谋科技）
非均匀3D稀疏数据，例如，不同空间位置的点云或体素以不同的方式对3D目标检测的任务做出贡献。稀疏卷积网络（Sparse CNN）中的现有基本组件处理所有稀疏数据，无论是常规卷积还是子流形稀疏卷积。在本文中，我们引入了两个新模块来增强稀疏CNN的能力，这两个模块都是基于通过位置重要性预测使特征稀疏性可学习。它们是焦点稀疏卷积（Focals Conv）及其融合焦点稀疏卷积的多模态变体，或简称为Focals Conv-F。新模块可以很容易地替换现有稀疏CNN中的普通对应模块，并以端到端的方式进行联合训练。这是第一次，我们表明，在稀疏卷积空间可学习的稀疏性是必不可少的复杂的三维目标检测。在KITTI，nuScenes和Waymo基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的结果在论文提交时优于nuScenes测试基准上所有现有的单一模型条目。代码和模型在https://github.com/dvlab-research/FocalsConv上。
2022-04-26 cs.CV cs.LG
Interpolation-Aware Padding for 3D Sparse Convolutional Neural Networks
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
基于稀疏体素的3D卷积神经网络（CNN）被广泛用于各种3D视觉任务。基于稀疏体素的3D CNN从3D输入创建稀疏的非空体素，并仅对它们执行3D卷积操作。我们提出了一个简单而有效的填充方案-插值感知填充填充一些空的体素相邻的非空体素，并涉及他们在3D CNN计算，使所有相邻的体素存在时，通过三线性插值计算逐点特征。对于细粒度的3D视觉任务，逐点特征是必不可少的，如语义分割和3D检测，我们的网络实现了更高的预测精度比现有的网络使用最近邻插值或归一化三线性插值与零填充或八叉树填充方案。通过对各种3D分割和检测任务的广泛比较，我们证明了3D稀疏CNN与我们的填充方案结合特征插值的优越性。
2021-08-16 cs.CV
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University（斯坦福大学）
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪（MOT）是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而，大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道，不相交的检测器的输出作为输入到跟踪器。在这项工作中，我们提出了Minkowski Tracker，这是一个稀疏的时空R-CNN，它联合解决了目标检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决，该对象检测器预测跟踪的分配概率。首先，Minkowski Tracker将4D点云作为输入，通过4D稀疏卷积编码器网络生成时空鸟瞰图（BEV）特征图。然后，我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域（ROI）特征。最后，Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明，我们的方法的整体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此，Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能，而无需手动设计运动模型。
2022-08-26 cs.CV
Make $\ell_1$ Regularization Effective in Training Sparse CNN
Pennsylvania State University（宾夕法尼亚州立大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
使用$\ell_1$正则化的压缩感知是许多应用中最强大和最流行的稀疏化技术之一，但为什么它没有被用于获得稀疏深度学习模型，如卷积神经网络（CNN）？本文旨在回答这个问题，并展示如何使其工作。我们首先证明了常用的随机梯度下降（SGD）和变体训练算法与$\ell_1$正则化不匹配，然后将其替换为基于正则化双平均（RDA）方法的不同训练算法。RDA最初是专门为凸问题设计的，但是通过新的理论见解和算法修改（使用适当的初始化和自适应性），我们已经使其与$\ell_1$正则化有效匹配，以实现CNN与其他权重修剪方法相比最先进的稀疏性，而不会影响准确性（例如，在CIFAR-10上实现ResNet 18的95%稀疏性）。
2020-06-03 cs.LG stat.ML
SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking
Tsinghua University（清华大学）
本文提出SRCN3D，一种结合稀疏查询、稀疏注意力和稀疏预测的两阶段全稀疏3D目标检测器，通过级联结构和局部RoI特征采样实现高效且易于部署的多视图3D检测与跟踪。
2023-07-02 cs.CV
Spatial Pruned Sparse Convolution for Efficient 3D Object Detection
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Baidu（百度）
3D场景由大量的背景点主导，这对于主要需要关注前景物体的检测任务来说是冗余的。在本文中，我们分析了现有稀疏3D CNN的主要组成部分，发现3D CNN忽略了数据的冗余性，并在下采样过程中进一步放大了它，这带来了大量额外和不必要的计算开销。受此启发，我们提出了一种新的卷积算子空间修剪稀疏卷积（SPS-Conv），它包括两个变体，空间修剪子流形稀疏卷积（SPSS-Conv）和空间修剪规则稀疏卷积（SPRS-Conv），这两个都是基于动态确定冗余减少的关键区域的思想。我们验证了幅度可以作为重要的线索，以确定摆脱基于学习的方法的额外计算的关键领域。所提出的模块可以很容易地合并到现有的稀疏3D CNN中，而无需额外的架构修改。在KITTI、Waymo和nuScenes数据集上进行的大量实验表明，我们的方法可以在不影响性能的情况下实现超过50%的GFLOPs减少。
2022-09-28 cs.CV
SBNet: Sparse Blocks Network for Fast Inference
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
传统的深度卷积神经网络（CNN）在数百层的所有特征映射中均匀地应用卷积运算符-这为实时应用带来了很高的计算成本。对于许多问题，如目标检测和语义分割，我们能够获得一个低成本的计算掩模，无论是从先验问题的知识，或从低分辨率分割网络。我们表明，这样的计算掩码可以用来减少高分辨率的主网络中的计算。稀疏激活CNN的变体之前已经在小规模任务上进行了探索，并且在对象分类准确性方面没有表现出任何退化，但是与高度优化的密集卷积实现相比，通常在理论FLOP方面测量增益，而没有实现实际的加速。在这项工作中，我们利用计算掩码的稀疏结构，提出了一种新的基于平铺的稀疏卷积算法。我们验证了稀疏CNN在基于LiDAR的3D目标检测上的有效性，并且与密集卷积相比，我们报告了显着的挂钟速度提升，而没有明显的准确性损失。
2018-06-07 cs.CV
MobileViG: Graph-Based Sparse Attention for Mobile Vision Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对移动设备上图神经网络计算成本高的问题，提出基于图的稀疏注意力机制SVGA及首个移动端混合CNN-GNN架构MobileViG，在多项视觉任务上实现了更优的精度与速度。
2023-07-01 cs.CV cs.LG
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
Department of Mathematics, Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨-马克斯大学数学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Mathematics, The University of Sydney（悉尼大学数学系）
本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。
2025-12-04 cs.DS cs.IT cs.LG
DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling
CSIRO (Data61)（澳大利亚联邦科学与工业研究组织（Data61））
我们将图像中的目标检测问题定义为估计一个非常大但非常稀疏的限界框相关概率分布。随后，我们确定了一个稀疏分布估计方案，定向稀疏采样，并采用它在一个单一的端到端的CNN为基础的检测模型。这种方法扩展和形式化以前的国家的最先进的检测模型，额外强调高评价率和减少人工工程。我们介绍了两个新的，一个角落的兴趣区域估计和反卷积的CNN模型。所得到的模型是场景自适应的，不需要手动定义的参考边界框，并产生具有实时的【形】评估率在MSCOCO，Pascal VOC 2007和Pascal VOC 2012上具有高度竞争力的结果。进一步的分析表明，我们的模型表现得特别好，当细粒度的对象定位是可取的。我们认为，这种优势源于相对于其他方法的可用区域的显着更大的集合。源代码可从https://github.com/lachlants/denet获得
2017-07-21 cs.CV
Scalable Deep Convolutional Neural Networks for Sparse, Locally Dense Liquid Argon Time Projection Chamber Data
Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
深度卷积神经网络（CNN）在许多领域的科学数据分析中显示出强大的前景，包括粒子成像探测器，如液氩时间投影室（LArTPC）。然而，LArTPC数据的高稀疏性挑战了传统的CNN，这些CNN是为照片等密集数据而设计的。CNN在LArTPC数据上的幼稚应用导致计算效率低下，并且对于大型LArTPC探测器（如短基线中微子计划和深地下中微子实验）的可扩展性较差。最近提出了子流形稀疏卷积网络（SSCN）来解决这一挑战。我们报告他们的性能在模拟LArTPC样本的3D语义分割任务。与标准CNN相比，我们观察到推理的计算内存和壁时间成本分别减少了364和33倍，而不损失准确性。二维样品的相同因子分别为93和3.1。使用SSCN，我们提出了第一个基于机器学习的方法，使用公共3D LArTPC样本重建Michel电子。Michel电子鉴别效率为93.9%，真阳性率为96.7%。重建的Michel电子团簇的平均像素聚类效率为95.4%，纯度为95.5%。结果令人信服地显示了使用深度神经网络进行大规模LArTPC检测器的可扩展数据重建技术的强大前景。
2019-12-21 cs.CV hep-ex
Sparse Data Tree Canopy Segmentation: Fine-Tuning Leading Pretrained Models on Only 150 Images
University of Waterloo（滑铁卢大学）；University of Calgary（卡尔加里大学）
本文评估了五种模型在低数据下的树冠分割表现，发现卷积模型在小数据情况下表现更优，而Transformer模型因数据需求高和任务差异表现欠佳。
2026-01-16 cs.AI cs.CV
Pyramid R-CNN: Towards Better Performance and Adaptability for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；HKUST（香港科技大学）；Sun Yat-Sen University（中山大学）
我们提出了一个灵活和高性能的框架，名为金字塔R-CNN，两阶段的3D目标检测从点云。目前的方法通常依赖于感兴趣的点或体素进行第二阶段的RoI特征提取，但不能有效地处理这些点的稀疏性和非均匀分布，这可能导致在检测远处的对象时失败。为了解决这些问题，我们提出了一种新的第二阶段模块，名为金字塔ROI头，自适应地学习稀疏感兴趣点的特征。金字塔RoI头由三个关键组件组成。首先，我们提出了ROI网格金字塔，它通过以金字塔的方式广泛收集每个ROI的兴趣点来缓解稀疏性问题。其次，我们提出了ROI网格注意力，一个新的操作，可以编码更丰富的信息，从稀疏点，将传统的注意力为基础的和基于图形的点运算符到一个统一的配方。第三，我们提出了密度感知半径预测（DARP）模块，它可以通过动态调整ROI的聚焦范围来适应不同的点密度水平。结合这三个组件，我们的金字塔RoI头对稀疏和不平衡的情况具有鲁棒性，并且可以应用于各种3D骨干，以持续提高检测性能。大量实验表明，Pyramid R-CNN在KITTI数据集和Waymo Open数据集上的性能均大幅优于最先进的3D检测模型。
2021-09-06 cs.CV
Learning Shape Representation on Sparse Point Clouds for Volumetric Image Segmentation
Insel Data Science Center（因塞尔数据科学中心）；Inselspital, Bern University Hospital（伯尔尼大学医院因塞尔医院）；University of Bern（伯尔尼大学）；Support Center for Advanced Neuroimaging (SCAN)（高级神经成像支持中心（SCAN））；Institute for Diagnostic and Interventional Neuroradiology（诊断与介入神经放射学研究所）
使用卷积神经网络（CNN）的体积图像分割遇到了几个挑战，这是医学图像特有的。这些挑战包括大量的兴趣，高等级的不平衡，以及学习形状表示的困难。为了解决这些挑战，我们建议通过点云的逐点分类来改进传统的基于CNN的体积图像分割。点云的稀疏性允许处理整个图像体积，平衡高度不平衡的分割问题，并明确学习解剖形状。我们建立在PointCNN，一个神经网络提出处理点云，并建议在这里联合编码点云内的形状和体积信息在一个紧凑和计算有效的方式。我们演示了如何使用这种方法来改进基于CNN的分割，这在我们的实验中产生了显着改善的结果，从磁共振神经成像图像的外周神经分割的困难任务。通过合成实验，我们进一步展示了我们的方法在学习一个明确的解剖形状表示的能力。
2019-06-05 cs.CV eess.IV
Featurized Query R-CNN
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）
DETR方法中引入的查询机制正在改变目标检测的范式，目前有许多基于查询的方法已经获得了很强的目标检测性能。然而，当前基于查询的检测流水线存在以下两个问题。首先，需要多级解码器来优化随机初始化的对象查询，从而产生较大的计算负担。其次，训练后的查询是固定的，导致泛化能力不令人满意。为了解决上述问题，我们在成熟的Faster R-CNN框架中提出了由查询生成网络预测的特征化对象查询，并开发了特征化查询R-CNN。在COCO数据集上进行的大量实验表明，我们的特征化查询R-CNN在所有R-CNN检测器中获得了最佳的速度-准确性权衡，包括最近最先进的稀疏R-CNN检测器。代码可在{https：github.com/hustvl/Featurized-QueryRCNN.
2022-06-20 cs.CV
Boosting Mask R-CNN Performance for Long, Thin Forensic Traces with Pre-Segmentation and IoU Region Merging
AIUI GmbH（AIUI有限公司）
Mask R-CNN最近在实例分割领域取得了巨大的成功。然而，该算法的弱点也被反复指出，特别是在分割方向不完全是水平或垂直的长而稀疏的对象时。在这里，我们提出了一种方法，显着提高了算法的性能，首先预分割的图像与PSPNet算法。为了进一步提高其预测能力，我们以训练策略的形式开发了自己的成本函数和算法，可以防止所谓的（早期）过拟合，实现更有针对性的收敛。此外，由于图像的高方差，特别是对于PSPNet，我们的目标是开发高鲁棒性和泛化的策略，这也在这里提出。
2022-03-08 cs.AI cs.CV cs.RO
Graph R-CNN: Towards Accurate 3D Object Detection with Semantic-Decorated Local Graph
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
两级检测器在3D目标检测中得到了广泛的应用。大多数两阶段3D检测器在第二阶段中利用网格点、体素网格或采样关键点进行RoI特征提取。然而，这样的方法在处理不均匀分布和稀疏的室外点时是低效的。本文从三个方面解决了这个问题。1)动态点聚合。我们提出了补丁搜索快速搜索点在一个局部区域的每个3D建议。然后应用动态最远体素采样来均匀地采样点。特别地，体素尺寸沿着距离变化以适应点的不均匀分布。2)RoI图池化。我们在采样点上构建局部图，以更好地建模上下文信息，并通过迭代消息传递挖掘点关系。3)视觉功能增强。我们引入了一个简单而有效的融合策略，以补偿稀疏的激光雷达点有限的语义线索。基于这些模块，我们构建了我们的Graph R-CNN作为第二阶段，它可以应用于现有的一阶段检测器，以不断提高检测性能。大量的实验表明，Graph R-CNN在KITTI和Waymo Open Dataset上的性能都大大优于最先进的3D检测模型。我们在KITTI BEV汽车检测排行榜上排名第一。代码将在\url{https://github.com/Nightmare-n/GraphRCNN}上提供。
2022-08-07 cs.CV
Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种新的思想，通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件，如NMS，并在低质量帧上产生不可靠的建议。为了解决这些限制，我们提出了SparseVOD，这是一种新颖的视频目标检测流水线，它采用稀疏R-CNN来利用时间信息。特别地，我们在Sparse R-CNN的动态头中引入了两个模块。首先，在时域RoI对齐操作的基础上增加时域特征提取模块，提取RoI提案特征。其次，出于序列级语义聚合的动机，我们将注意力引导的语义建议特征聚合模块，以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销，并使整个管道端到端可训练。大量的实验表明，我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外，除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外，我们的SparseVOD在增加IoU阈值（IoU > 0.5）方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
4D CNN for semantic segmentation of cardiac volumetric sequences
NVIDIA（英伟达）；MGH and BWH Center for Clinical Data Science（麻省总医院与布列根和妇女医院临床数据科学中心）
我们提出了一个4D卷积神经网络（CNN）的分割回顾性心电门控心脏CT，一系列的单通道体积数据随时间的推移。虽然时间序列中只有一小部分体积被注释，但我们在可用标签上定义了一个稀疏损失函数，以允许网络在训练期间利用未标记的图像并生成完全分割的序列。我们研究了所提出的4D网络预测时间一致的分割的准确性，并与传统的3D分割方法进行比较。我们证明了4D CNN的可行性，并建立其性能的心脏4D CCTA。
2019-10-10 cs.CV eess.IV
Real-Time Monocular Object-Model Aware Sparse SLAM
Australian Center for Robotic Vision（澳大利亚机器人视觉中心）；University of Adelaide（阿德莱德大学）
同时定位与地图构建（SLAM）是移动机器人领域的一个基本问题。虽然基于稀疏点的SLAM方法提供准确的相机定位，但所生成的地图缺乏语义信息。另一方面，现有技术的目标检测方法从单个图像提供关于存在于场景中的实体的丰富信息。这项工作将实时的【形】深度学习的对象检测器结合到单目SLAM框架中，用于将通用对象表示为二次曲面，允许检测无缝集成，同时允许实时的【形】性能。通过CNN网络学习的对象的更精细的重建也被合并，并且为二次曲面提供形状先验，从而进一步细化。为了捕获场景的主要结构，通过基于CNN的平面检测器检测额外的平面地标，并将其建模为地图中的独立地标。大量的实验支持我们提出的包括语义对象和平面结构直接在SLAM -语义SLAM -，丰富了重建的地图语义调整，同时显着提高相机定位。我们的SLAM系统的性能在https://youtu.be/UMWXd4sHONw和https://youtu.be/QPQqVrvP0dE中展示。
2019-03-06 cs.CV cs.RO
Point-Voxel CNN for Efficient 3D Deep Learning
MIT（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们提出了点体素CNN（PVCNN），用于高效、快速的3D深度学习。以前的工作使用基于体素或基于点的NN模型处理3D数据。然而，这两种方法在计算上都是低效的。基于体素的模型的计算成本和存储器占用随着输入分辨率成立方地增长，使得按比例增加分辨率是内存限制的。对于基于点的网络，高达80%的时间被浪费在构造具有相当差的存储局部性的稀疏数据上，而不是在实际的特征提取上。在本文中，我们提出了PVCNN，它以点表示3D输入数据以减少内存消耗，同时在体素中执行卷积以减少不规则、稀疏的数据访问并提高局部性。我们的PVCNN模型具有内存和计算效率。在语义和部分分割数据集上进行评估，它比基于体素的基线实现了更高的准确性，GPU内存减少了10倍;它还优于最先进的基于点的模型，平均加速了7倍。值得注意的是，较窄版本的PVCNN在部分和场景分割基准上实现了比PointNet（一种非常高效的模型）快2倍的速度，并且精度更高。我们验证了PVCNN在3D目标检测上的一般有效性：通过用PVConv替换Frustrum PointNet中的图元，它比Frustrum PointNet++平均高出2.4% mAP，测量到的加速比为1.5倍，GPU内存减少。
2019-12-09 cs.CV
Sparse R-CNN OBB: Ship Target Detection in SAR Images Based on Oriented Sparse Proposals
Visual Information Laboratory, University of Bristol（布里斯托大学视觉信息实验室）
本文提出Sparse R-CNN OBB框架，通过重新设计基线模型的检测头以捕捉目标方向，首次利用300个稀疏可学习提议实现SAR图像中的定向船舶目标检测，在近海和远海场景中均超越多数先进模型。
2025-05-27 cs.CV
DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
本文提出DeltaCNN框架，通过稀疏帧差分更新和端到端稀疏传播，在不重训练的情况下实现视频CNN推理高达7倍加速，精度损失极小。
2023-09-02 cs.CV cs.LG
Applying convolutional neural networks to extremely sparse image datasets using an image subdivision approach
University of Copenhagen（哥本哈根大学）
目的：这项工作的目的是证明卷积神经网络（CNN）可以通过对原始图像数据集进行细分来应用于极其稀疏的图像库。研究方法：从传统的数码相机的图像数据集创建和扫描电子显微镜（SEM）测量，从文献中获得。对图像数据集进行细分，并在细分数据集的部分上训练CNN模型。结果：利用所提出的图像细分方法，CNN模型能够分析极其稀疏的图像数据集。此外，还可以直接评估特定API或外观占主导地位的各个地区。
2020-10-25 cs.AI cs.CV
R-Sparse R-CNN: SAR Ship Detection Based on Background-Aware Sparse Learnable Proposals
Visual Information Laboratory, University of Bristol（视觉信息实验室，布里斯托尔大学）
本文提出R-Sparse R-CNN框架，通过引入背景感知提案和双上下文池化及交互模块学习船舶与背景的上下文关系，在SAR图像定向船舶检测中显著提升了准确性与效率。
2025-04-26 cs.CV
MotionDeltaCNN: Sparse CNN Inference of Frame Differences in Moving Camera Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
针对 DeltaCNN 仅适用于静态相机的问题，本文提出 MotionDeltaCNN，利用球面缓冲区和填充卷积高效融合新显露区域，在不增加内存占用的情况下将运动相机视频推理性能最高提升 90%。
2023-08-14 cs.CV cs.LG
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Sparse arrays of signatures for online character recognition
University of Warwick（华威大学）
在数学中，路径的签名是迭代积分的集合，通常用于求解微分方程。我们表明，路径签名，作为一组消费的卷积神经网络（CNN）的功能，提高了在线字符识别的准确性-这是读取字符表示为路径的集合的任务。使用字母，数字，阿萨姆语和汉字的数据集，我们表明，第一，第二，甚至第三迭代积分包含有用的信息消费的CNN。在CASIA-OLHWDB 1.1 3755中文字符数据集上，我们的方法给出了3.58%的测试误差，而传统的CNN [Ciresan et al.]的测试误差为5.61%。在CASIA-OLHWDB 1.0- 1. 2数据集上训练的CNN赢得了ICDAR 2013在线孤立汉字识别比赛。在计算上，我们已经开发了一个稀疏的CNN实现，使其实际训练CNN与许多层的最大池。通过翻译扩展MNIST数据集，我们的稀疏CNN的测试误差为0.31%。
2013-12-01 cs.CV cs.NE
Improving Interpretability and Accuracy in Neuro-Symbolic Rule Extraction Using Class-Specific Sparse Filters
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种新颖的稀疏损失函数，通过在CNN训练期间实现类特定滤波器二值化以最小化信息损失，从而改进神经符号规则提取的可解释性与准确性，并在准确率和规则集大小上超越SOTA。
2025-01-28 cs.AI cs.CV
A Pre-defined Sparse Kernel Based Convolution for Deep CNNs
University of Southern California（南加州大学）
对计算和存储资源的高需求严重阻碍了深度卷积神经网络（CNN）在有限资源设备中的部署。最近的CNN架构已经提出了降低复杂度的版本（例如SuffleNet和MobileNet），但代价是适度降低不准确性。本文提出了pSConv，这是一种预定义的稀疏2D基于内核的卷积，它有望在CNN训练和推理的复杂性和准确性之间取得显着改善。为了探索这种方法的潜力，我们在ResNet 18和VGG 16架构的稀疏变体中对两个广泛接受的数据集CIFAR-10和Tiny ImageNet进行了实验。我们的方法显示，与标准CNN相比，参数计数减少了4.24倍，分类准确性略有下降。我们的方法优于ShuffleNet的流行变体，该变体使用ResNet 18的变体，其中pSConv具有3x 3内核，九个元素中只有四个不固定为零。特别是，CIFAR-10的参数计数减少了1.7倍，Tiny ImageNet减少了2.29倍，准确度提高了约4%。
2019-10-16 cs.CC cs.CV
Faster CNNs with Direct Sparse Convolutions and Guided Pruning
Intel Labs（英特尔实验室）；University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
卷积神经网络（CNN）在实际推理问题中取得了惊人的成功，被广泛部署在移动设备、数据中心甚至超级计算机中。然而，CNN中所需的参数数量通常很大并且不受欢迎。因此，已经开发了各种方法来在CNN被训练后对其进行修剪。然而，由此产生的CNN提供的好处有限。虽然修剪完全连接的层大大减少了CNN的大小，但它并没有显著提高推理速度，因为计算繁重的部分在于卷积。以提高推理速度的方式修剪CNN通常会强加特定的稀疏结构，从而限制可实现的稀疏水平。我们提出了一种方法，同时实现规模经济和速度的提高，同时修剪CNN。我们成功的最重要的是一个有效的一般稀疏与密集矩阵乘法实现，适用于卷积的特征映射与内核的任意稀疏模式。作为补充，我们开发了一个性能模型，该模型可以预测不同层和不同计算机体系结构上稀疏水平的最佳点。这两者结合在一起，使我们能够在AlexNet中，在英特尔Atom，Xeon和Xeon Phi处理器上，展示3.1- 7.3 $\times$卷积加速，涵盖从移动设备到超级计算机的范围。我们还在https://github.com/IntelLabs/SkimCaffe上开源了我们的项目。
2017-07-28 cs.CV
X-CNN: Cross-modal Convolutional Neural Networks for Sparse Datasets
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）；Nokia Bell Labs（诺基亚贝尔实验室）
在本文中，我们提出了交叉模态卷积神经网络（X-CNN），这是一种新的生物启发类型的CNN架构，将梯度下降专用CNN视为大规模网络拓扑中的单个处理单元，同时允许在网络的类似隐藏层之间进行无约束的信息流和/或权重共享-从而概括了已经建立的神经网络集成的概念（其中信息通常仅在各个网络的输出层之间流动）。组成网络被单独设计为在它们自己的输入数据子集上学习输出函数，之后在每次池化操作之后引入它们之间的交叉连接，以定期允许它们之间的信息交换。这种将知识注入模型（通过领域知识或无监督方法对输入数据进行先验划分）预计将在稀疏数据环境中产生最大的回报，而稀疏数据环境通常不太适合训练CNN。出于评估目的，我们将标准的四层CNN以及复杂的FitNet 4架构与CIFAR-10和CIFAR-100数据集上的跨模态变体进行了比较，其中删除了不同百分比的训练数据，并发现在较低的数据可用性水平下，X-CNN显著优于其基线（通常提供2- 6%的收益，取决于数据集大小和是否使用数据增强），同时仍然保持所有完整数据集测试的优势。
2016-10-17 cs.AI cs.CV stat.ML
Structured Sparse R-CNN for Direct Scene Graph Generation
Nanjing University（南京大学）
场景图生成是在图像中检测目标对及其相互关系。现有的SGG方法通常使用多级流水线将此任务分解为目标检测、关系图构建和密集或密集到稀疏关系预测。相反，从SGG作为直接集预测的角度来看，本文提出了一个简单，稀疏和统一的框架，称为结构化稀疏R-CNN。我们的方法的关键是一组可学习的三元组查询和一个结构化的三元组检测器，它们可以以端到端的方式从训练集联合优化。具体而言，三元组查询编码的对象对与它们的关系的一般先验，并提供一个初始的猜测场景图为后续的细化。三元组检测器呈现级联架构，以利用定制的动态头逐步细化检测到的场景图。此外，为了减轻我们的方法的训练难度，我们提出了一个放松和增强的训练策略的基础上知识蒸馏从暹罗稀疏R-CNN。我们在Visual Genome和Open Images V4/V6数据集上进行了实验，结果表明我们的方法达到了最先进的性能。此外，我们还进行了深入的消融研究，以提供关于我们在三重检测器设计和训练策略中的结构化建模的见解。代码和模型可在https://github.com/MCG-NJU/Structured-Sparse-RCNN上获得。
2022-03-28 cs.CV
Prune the Convolutional Neural Networks with Sparse Shrink
State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Tsinghua University（清华大学）
如今，仍然难以使基于卷积神经网络（CNN）的模型适应于在嵌入式设备上的部署。CNN模型计算量大、内存占用大成为实际应用中的主要负担。在本文中，我们提出了一种“稀疏收缩”算法来修剪现有的CNN模型。该算法通过稀疏重构分析每个通道的重要性，从而能够相应地修剪冗余特征图。由此产生的修剪模型，从而直接节省计算资源。我们已经评估了我们的算法CIFAR-100。实验结果表明，在精度略有下降的情况下，我们可以减少56.77%的参数和73.84%的乘法。这些结果证明了我们的“稀疏收缩”算法的有效性。
2017-08-08 cs.CV
Knowledge Distillation By Sparse Representation Matching
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
知识蒸馏是指将知识从教师网络转移到学生网络的一类方法。在本文中，我们提出了稀疏表示匹配（SRM），一种通过利用稀疏表示学习将从一个卷积神经网络（CNN）获得的中间知识转移到另一个的方法。SRM首先提取教师CNN的隐藏特征的稀疏表示，然后将其用于生成像素级和图像级标签，用于训练学生网络的中间特征图。我们将SRM制定为神经处理块，可以使用随机梯度下降进行有效优化，并以即插即用的方式集成到任何CNN中。我们的实验表明，SRM对教师和学生网络之间的架构差异具有鲁棒性，并且在多个数据集上优于其他KD技术。
2021-03-31 cs.CV
Penetrating the Fog: the Path to Efficient CNN Models
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着移动平台上对卷积神经网络（CNN）部署需求的增加，提出了稀疏核方法，该方法在保证精度的前提下比标准卷积方法节省更多参数。然而，尽管有很大的潜力，但没有先前的研究指出如何制作具有这种潜力的稀疏内核设计（即，有效的设计），并且所有现有的工作都只是采用现有稀疏核的简单组合，例如组卷积。同时，由于大的设计空间，也不可能尝试现有稀疏核的所有组合。在本文中，我们是该领域第一个考虑如何通过消除大的设计空间来制作有效的稀疏内核设计的人。具体来说，我们提出了一个稀疏核计划来说明如何减少空间从三个方面。首先，在构图方面，我们删除了由重复层组成的设计。其次，为了去除精度下降较大的设计，我们在各种稀疏核设计背后找到了一个统一的属性，称为信息场，它可以直接指示最终的精度。最后，我们删除了可以实现更好参数效率的两种情况下的设计。此外，我们提供了详细的效率分析的最后四个设计在我们的计划。实验结果验证了我们的计划的想法，我们的计划是能够找到更有效地使用参数和计算具有类似或更高的精度的设计。
2018-10-11 cs.CV
Domain Siamese CNNs for Sparse Multispectral Disparity Estimation
Polytechnique Montreal（蒙特利尔高等理工学院）
由于许多原因，多光谱视差估计是一项困难的任务：它具有与传统的可见-可见视差估计相同的挑战（遮挡、重复图案、无纹理表面），此外图像之间具有非常少的共同视觉信息（例如，颜色信息与热信息）。在本文中，我们提出了一种新的CNN架构，能够做不同光谱的图像之间的视差估计，即热和可见光在我们的情况下。我们提出的模型以两个补丁作为输入，并进行域特征提取为他们每个人。然后用两个融合操作合并来自两个域的特征，即相关和级联。然后，这些合并的向量被转发到它们各自的分类头，分类头负责将输入分类为相同或不同。使用两个合并操作为我们的特征提取过程提供了更强的鲁棒性，这导致更精确的视差估计。我们的方法使用公开的LITIV 2014和LITIV 2018数据集进行了测试，与其他最先进的方法相比，显示出最佳结果。
2020-04-30 cs.CV
A Robust Indoor Scene Recognition Method based on Sparse Representation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
在本文中，我们提出了一个强大的场景识别方法，它利用卷积神经网络（CNN）的功能和稀疏编码设置，通过创建一个新的表示室内场景。虽然CNN在计算机视觉和模式识别领域受益匪浅，但卷积层在全局方法上调整权重，这可能导致丢失重要的局部细节，如对象和小结构。我们提出的场景表示依赖于两个：全球功能，主要是指环境的结构，和本地功能，稀疏地结合起来，捕捉一个给定的场景中的常见对象的特性。这种新的表示基于场景的片段，并利用CNN提取的特征。实验评估表明，所得到的表示优于以前的场景识别方法Scene15和MIT67数据集上，并在SUN397上具有竞争力，同时对输入图像中的扰动（如噪声和遮挡）具有很强的鲁棒性。
2017-08-24 cs.CV
SPEC2: SPECtral SParsE CNN Accelerator on FPGAs
University of Southern California（南加州大学）；US Army Research Lab-West（美国陆军西部研究实验室）；Northeastern University（东北大学）
SPEC2是首个在FPGA上对频谱CNN进行剪枝与加速的工作，通过ADMM剪枝和优化流水线架构，在剪枝75%权重后实现LeNet零精度损失、VGG16小于1%精度损失，并达到最高24倍吞吐量提升。
2023-10-11 cs.CV eess.SP
SCV-Stereo: Learning Stereo Matching from a Sparse Cost Volume
Tongji University（同济大学）
基于卷积神经网络（CNN）的立体匹配方法通常需要用于视差估计的密集成本体积（DCV）。然而，生成这样的成本量是计算密集型的并且消耗存储器，从而阻碍了CNN训练和推理效率。为了解决这个问题，我们提出了SCV-Stereo，一种新的CNN架构，能够从稀疏成本体积（SCV）表示中学习密集立体匹配。我们的灵感来自于这样一个事实，即DCV表示有点多余，可以用SCV表示代替。受益于这些SCV表示，我们的SCV-Stereo可以以迭代的方式更新视差估计，以实现准确和高效的立体匹配。在KITTI Stereo基准上进行的大量实验表明，我们的SCV-Stereo可以显着减少立体匹配的精度和效率之间的权衡。我们的项目页面是https://sites.google.com/view/scv-stereo。
2021-07-17 cs.CV cs.RO
Deep Back Projection for Sparse-View CT Reconstruction
Purdue University（普渡大学）
滤波反投影（FBP）是从正弦CT数据重建图像重建的经典方法。FBP是计算效率高，但产生较低的质量重建比更复杂的迭代方法，特别是当视图的数量低于所需的奈奎斯特速率。在本文中，我们使用深度卷积神经网络（CNN）直接从正弦图数据中生成高质量的重建。我们方法的主要新颖之处在于，我们首先分别对每个视图进行反向投影，以形成反向投影堆栈，然后将此堆栈作为卷积神经网络的输入。这些单视图反投影将正弦图数据的编码转换为适当的空间位置，然后可以通过CNN的空间不变性来利用该空间位置以有效地学习重建。我们证明了我们的CNN基于反投影的模拟稀疏视图CT数据在经典的FBP的好处。
2018-07-06 cs.CV eess.IV
Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；Tsinghua University（清华大学）
点云是一种常见的几何数据，可以帮助机器人鲁棒地理解环境，因此点云学习的需求非常迫切。然而，点云是稀疏的、非结构化的和无序的，这不能被传统的卷积神经网络（CNN）或递归神经网络（RNN）准确地识别。幸运的是，图卷积神经网络（Graph CNN）可以处理稀疏和无序的数据。因此，本文提出了一种直接对点云进行分类和分割的链接动态图CNN（LDG CNN）。我们删除了转换网络，从动态图中链接层次特征，冻结特征提取器，并重新训练分类器以提高LDGCNN的性能。我们使用理论分析和可视化来解释我们的网络。通过实验，我们证明了所提出的LDGCNN在两个标准数据集上实现了最先进的性能：ModelNet40和ShapeNet。
2019-08-06 cs.CV
Unconditional CNN denoisers contain sparse semantic representation of images
New York University（纽约大学）；Flatiron Institute（Flatiron研究所）；Collège de France（法兰西学院）
本文首次证明，仅通过去噪目标训练的全卷积无条件UNet，其中间块能自发形成图像的稀疏语义表示，且该表示空间中的距离具有语义意义，并可用于自我引导的图像重建。
2025-10-14 cs.CV
NullHop: A Flexible Convolutional Neural Network Accelerator Based on Sparse Representations of Feature Maps
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Robotic and Tech. of Computers Lab. University of Seville（塞维利亚大学机器人与计算机技术实验室）；iniLabs GmbH（ini实验室有限公司）
卷积神经网络（CNN）已经成为解决许多最先进（SOA）视觉处理任务的主要神经网络架构。尽管图形处理单元（GPU）最常用于训练和部署CNN，但对于单帧运行时推理，其功率效率低于10 GOp/s/W。我们提出了一种灵活高效的CNN加速器架构，称为NullHop，实现了SOA CNN，适用于低功耗和低延迟的应用场景。NullHop利用CNN中神经元激活的稀疏性来加速计算并减少内存需求。灵活的体系结构允许在1x 1到7 x7的内核大小范围内高度利用可用的计算资源。NullHop可以在一次传递中处理每层多达128个输入和128个输出特征映射。我们在Xilinx Zynq FPGA平台上实现了所提出的架构，并展示了我们的实现如何在五种不同的CNN中减少外部存储器传输和计算时间，从小型CNN到众所周知的大型VGG 16和VGG 19 CNN。使用Mentor Modelsim在28 nm工艺中进行的合成后仿真显示，VGG 19网络的时钟频率为500 MHz，达到了450 GOp/s以上。通过利用稀疏性，NullHop实现了368%的效率，保持了超过98%的MAC单元利用率，并在6.3mm $^2$的核心区域内实现了超过3 TOp/s/W的功率效率。为了进一步证明NullHop的可用性，我们将其FPGA实现与神经形态事件摄像机连接，以进行实时的交互式演示。
2018-03-06 cs.CV cs.NE
OG-PCL: Efficient Sparse Point Cloud Processing for Human Activity Recognition
Key Laboratory of Underwater Acoustic Signal Processing of Ministry of Education, Southeast University, Nanjing, 211189, China（教育部水下声学信号处理重点实验室，东南大学，南京）
针对毫米波雷达稀疏点云的人体活动识别问题，提出轻量型OG-PCL网络，通过三视图并行结构和OGConv模块，在RadHAR数据集达91.75%准确率且仅0.83M参数，优于现有基线，适合轻量化平台实时应用。
2025-11-12 cs.CV eess.SP
Deep Sparse Band Selection for Hyperspectral Face Recognition
West Virginia University（西弗吉尼亚大学）
高光谱成像系统收集和处理来自电磁光谱中特定波长的信息。可见光谱中的多光谱带的融合已经被利用来改善所有常规宽带人脸图像的人脸识别性能。在本书的这一章中，我们提出了一个新的卷积神经网络（CNN）框架，该框架采用结构稀疏学习技术来选择最佳光谱带，以获得所有光谱带上的最佳人脸识别性能。具体来说，在这种方法中，来自所有波段的图像都被馈送到CNN，然后通过采用组Lasso算法来正则化CNN第一层中的卷积滤波器，以在网络训练期间将冗余波段归零。与通常手动或以贪婪方式选择有用波段的其他方法相反，我们的方法自动选择最佳光谱波段，以在所有光谱波段上实现最佳的人脸识别性能。此外，实验结果表明，我们的方法优于国家的最先进的波段选择方法的人脸识别几个公开可用的高光谱人脸图像数据集。
2019-08-15 cs.CV
Stereo R-CNN based 3D Object Detection for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；DJI（大疆创新）
提出了一种基于立体图像的三维目标检测方法，充分利用立体图像的稀疏与密集、语义与几何信息，实现了自动驾驶。我们的方法称为Stereo R-CNN，它扩展了Faster R-CNN用于立体输入，以同时检测和关联左右图像中的对象。我们在立体区域建议网络（RPN）之后添加额外的分支来预测稀疏关键点，视点和对象尺寸，这些关键点，视点和对象尺寸与2D左右框相结合来计算粗略的3D对象限界框。然后，我们恢复准确的三维限界框的区域为基础的光度对齐使用左，右ROI。我们的方法不需要深度输入和3D位置监督，但是，优于所有现有的完全监督的基于图像的方法。在具有挑战性的KITTI数据集上的实验表明，我们的方法在3D检测和3D定位任务上都比最先进的基于立体的方法高出约30%AP。代码已在https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN上发布。
2019-04-10 cs.CV cs.RO
Training Convolutional Neural Networks and Compressed Sensing End-to-End for Microscopy Cell Detection
University of Alberta（阿尔伯塔大学）；Cross Cancer Institute（十字癌症研究所）
从显微图像中自动检测和定位细胞是生物医学研究和临床实践中的重要任务。在本文中，我们设计了一种新的细胞检测和定位算法，该算法结合了深度卷积神经网络（CNN）和压缩感知（CS）或稀疏编码（SC）进行端到端训练。我们还推导出，第一次，反向传播规则，这是适用于训练任何算法，实现了稀疏代码恢复层。我们的算法背后的关键观察是，细胞检测任务是计算机视觉中的点目标检测任务，其中细胞中心（即，点对象）仅占据图像中像素总数的一小部分。因此，我们可以应用压缩感知（或等效的稀疏编码）来压缩表示投影空间中可变数量的细胞。然后，CNN从输入显微图像回归该压缩向量。由于SC/CS恢复算法（L1优化）可以从CNN的输出中恢复稀疏单元位置。我们训练这整个处理管道端到端，并证明端到端的训练提供了准确性的提高，训练范例，分别对待CNN和CS恢复层。我们的算法设计还自然地考虑了训练模型的集合平均形式，以进一步提高细胞检测的准确性。我们在基准数据集上验证了我们的算法，并取得了优异的性能。
2018-10-07 cs.CV
Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN
The University of Hong Kong（香港大学）
本研究提出一种基于事件相机的软硬件协同设计眼动追踪系统，集成专为子流形稀疏卷积神经网络定制的FPGA加速器，在Event-based Eye-Tracking-AIS2024数据集上实现了0.7ms低延迟与2.29mJ低功耗的高精度追踪。
2024-04-22 cs.AR cs.CV
SPP-Net: Deep Absolute Pose Regression with Synthetic Views
Toshiba Research Europe（东芝欧洲研究院）
基于图像的定位是计算机视觉中的重要问题之一，因为它在机器人、增强现实和自治系统中具有广泛的应用。在文献中描述了一组丰富的方法，用于几何配准2D图像。3D模型最近，基于深度（和卷积）前馈网络（CNN）的方法在姿态回归中变得流行。然而，这些基于CNN的方法仍然不如基于几何的方法准确，尽管它们速度快，内存效率高。在这项工作中，我们设计了一个基于稀疏特征描述符的深度神经网络架构来估计图像的绝对姿态。我们选择使用稀疏特征描述符有两个主要优点：首先，我们的网络明显小于文献中为此任务提出的CNN，从而使我们的方法更有效和可扩展。其次-更重要的是-，稀疏特征的使用允许用合成视点来增强训练数据，这导致对不可见姿势的泛化性能的实质性改进。因此，我们提出的方法旨在结合两个世界中最好的-基于特征的定位和基于CNN的姿态回归-以实现绝对姿态估计中最先进的性能。对所提出的体系结构进行了详细的分析，并对现有数据集进行了严格的评估，以支持我们的方法。
2017-12-09 cs.CV
S2DNAS:Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search
Peking University（北京大学）；IBM Research（IBM研究院）
最近，动态推理已经成为降低深度卷积神经网络（CNN）计算成本的一种有前途的方法。与静态方法（例如权重修剪）相比，动态推理根据每个输入样本自适应地调整推理过程，这可以大大降低“简单”样本的计算成本，同时保持整体模型性能。在本文中，我们介绍了一个通用的框架，S2DNAS，它可以转换各种静态CNN模型，以支持动态推理，通过神经结构搜索。为此，基于给定的CNN模型，我们首先生成一个CNN架构空间，其中每个架构都是使用一些预定义的变换从给定模型生成的多级CNN。然后，我们提出了一种基于强化学习的方法来自动搜索生成的空间中的最佳CNN架构。最后，利用搜索到的多级网络，对每个样本自适应地选择一个评估阶段进行动态推理。与之前在推理中引入不规则计算或复杂控制器或从头开始重新设计CNN模型的工作不同，我们的方法可以推广到大多数流行的CNN架构，并且可以在各种硬件设备中使用现有的深度学习框架直接部署搜索到的动态网络。
2019-12-17 cs.CV cs.LG
OX-NeRF: 3D X-ray Tomography Reconstruction from Sparse Views Using Implicit Neural Representation
University of Oxford（牛津大学）
针对10个及以下视图的超稀疏X射线场景3D重建难题，提出OX-NeRF框架，结合跨场景特征学习与场景特定优化，经基准测试其重建精度显著优于现有辐射场方法。
2026-10-09 cs.CV
CRNet: Image Super-Resolution Using A Convolutional Sparse Coding Inspired Network
Wuhan University（武汉大学）
卷积稀疏编码（Convolutional Sparse Coding，CSC）由于能够充分利用图像的全局相关性来提高图像在各种计算机视觉应用中的性能，近年来受到了越来越多的关注。然而，很少有研究集中在解决基于CSC的图像超分辨率（SR）问题。因此，在一段时间内，这一领域没有取得重大进展。在本文中，我们利用CSC和卷积神经网络（CNN）之间的天然联系来解决基于CSC的图像SR。具体来说，卷积迭代软阈值保持算法（CISTA）被引入来解决CSC问题，它可以使用CNN架构来实现。然后，我们开发了一种新的CSC的SR框架类似于传统的SC的SR方法。受此框架的启发，提出了两个模型的前/后上采样SR，分别。与最近的国家的最先进的SR方法相比，我们提出的模型表现出优越的性能，在定量和定性测量。
2019-08-03 cs.CV eess.IV
