A Hybrid Sparse-Dense Monocular SLAM System for Autonomous Driving
Lero - the Irish Software Research Centre（Lero爱尔兰软件研究中心）；Maynooth University（梅努斯大学）；Valeo DAR Kronach（法雷奥DAR克罗纳赫）；Valeo Vision Systems（法雷奥视觉系统）
在本文中，我们提出了一个系统，用于增量重建一个密集的三维模型的几何形状的室外环境，使用一个单目摄像机连接到一个移动的车辆。密集模型提供了丰富的环境表示，有助于更高层次的场景理解、感知和规划。我们的系统采用密集的深度预测与混合映射架构相结合的国家的最先进的稀疏功能和密集的基于融合的视觉SLAM算法在一个集成的框架。我们的新贡献包括设计混合稀疏密集相机跟踪和循环闭合，以及密集深度预测中的尺度估计改进。我们使用稀疏方法的运动估计来克服室外车辆场景中典型的大而可变的帧间位移。然后，我们的系统使用全图像对齐将实时图像与密集模型配准。这使得能够将实时帧和密集深度预测融合到模型中。稀疏模型和密集模型之间的全局一致性和对齐是通过在密集模型的变形内直接应用来自稀疏方法的姿势约束来实现的。我们提供了定性和定量的结果，轨迹估计和表面重建的准确性，展示了竞争力的KITTI数据集上的性能。所提出的方法的定性结果在https://youtu.be/Pn2uaVqjskY中示出。该项目的源代码可在以下存储库https://github.com/robotvisionmu/DenseMonoSLAM上公开获得。
2021-08-17 cs.CV
Less from More: Reinforcing Sparse Video Reasoning from Dense References
本研究质疑视频-语言模型依赖更多时间观测的假设，提出SAVER密集到稀疏后训练框架，仅用1250个时间grounding示例训练，可在少帧下提升稀疏视频推理性能，迁移至视频问答等任务。
2026-10-09 cs.CV
Fully Dense UNet for 2D Sparse Photoacoustic Tomography Artifact Removal
George Mason University（乔治梅森大学）；The MITRE Corporation（MITRE公司）
光声成像是一种基于光声效应的新兴成像方式。在光声层析成像（PAT）中，由探测器阵列测量所诱发的声压波，并用于重建初始压力分布的图像。PAT中面临的一个常见挑战是所测量的声波只能稀疏采样。使用标准方法重建稀疏采样的数据会导致严重的伪影，使图像中的信息模糊不清。我们提出了一种改进的卷积神经网络（CNN）架构，称为全密集UNet（FD-UNet），用于从稀疏数据重建的2D PAT图像中去除伪影，并将所提出的CNN与标准UNet在重建图像质量方面进行比较。
2019-04-25 cs.CV
Self-supervised Sparse to Dense Motion Segmentation
University of Mannheim（曼海姆大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Saarland University（萨尔大学）
视频中的可观察运动可以产生相对于场景移动的对象的定义。分割这样的移动对象的任务被称为运动分割，并且通常通过在长的稀疏点轨迹中聚集运动信息，或者通过依赖于大量的训练数据直接产生每帧密集分割来解决。在本文中，我们提出了一种自监督的方法来学习从单个视频帧的稀疏运动分割的致密化。虽然以前的运动分割方法建立在大型代理数据集的预训练基础上，并使用密集的运动信息作为像素分割的基本线索，但我们的模型不需要预训练，并在测试时对单帧进行操作。它可以以特定于序列的方式进行训练，以从稀疏和嘈杂的输入中产生高质量的密集分割。我们在著名的运动分割数据集FBMS59和DAVIS16上评估我们的方法。
2020-08-18 cs.CV
Transferring dense object detection models to event-based data
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）
基于事件的图像表示与传统的密集图像有着本质的不同。这对将当前最先进的模型应用于目标检测提出了挑战，因为它们是针对密集图像设计的。在这项工作中，我们评估的YOLO目标检测模型的事件数据。为此，我们将密集卷积层替换为稀疏卷积或异步稀疏卷积，从而能够直接处理基于事件的图像，并将性能和运行时间与将事件直方图馈送到密集卷积中进行比较。在这里，超参数在所有变体之间共享，以隔离稀疏表示对检测性能的影响。在这一点上，我们表明，目前的稀疏卷积实现无法将其理论上较低的计算要求转化为改进的运行时。
2022-10-05 cs.CV
Sparse Dense Fusion for 3D Object Detection
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
提出Sparse Dense Fusion (SDF)互补框架，通过Transformer架构结合稀疏与稠密融合模块，弥补信息损失，在nuScenes基准上mAP和NDS分别提升4.3%和2.5%。
2023-04-09 cs.CV
Aligning Information Capacity Between Vision and Language via Dense-to-Sparse Feature Distillation for Image-Text Matching
College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence（机器学习与工业智能工程研究中心）
本文提出D2S-VSE两阶段框架，通过稠密文本蒸馏增强稀疏文本嵌入的信息容量，在MS-COCO和Flickr30K上取得优于现有方法的图像-文本匹配性能。
2025-07-17 cs.CV
MonoComb: A Sparse-to-Dense Combination Approach for Monocular Scene Flow
German Research Center for Artificial Intelligence – DFKI（德国人工智能研究中心–DFKI）；BMW Group（宝马集团）
与汽车应用中使用更多样化和更多传感器的持续趋势相反，这项工作试图解决单目相机设置下的复杂场景流问题，即使用单个传感器。为此，我们利用最新的成果，在单一图像的深度估计，光流，稀疏到密集的插值，并提出了一个单目组合的方法（MonoComb）来计算密集的场景流。MonoComb使用光流将重建的3D位置与时间相关，并对遮挡区域进行插值。通过这种方式，现有的单目方法在动态前景区域中表现出色，这导致了在具有挑战性的KITTI 2015场景流基准测试中竞争对手中的第二好结果。
2020-11-12 cs.CV
Are Semi-Dense Detector-Free Methods Good at Matching Local Features?
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMS（信息与信号处理研究所）
本文研究SDF方法匹配能力与位姿估计质量的联系，提出SAM架构，发现在纹理区域限制匹配计算时，匹配精度与位姿估计准确性强相关。
2024-06-01 cs.AI cs.CV
SceneFlowFields: Dense Interpolation of Sparse Scene Flow Correspondences
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
虽然大多数场景流方法使用变分优化或强刚性运动假设，我们第一次表明，场景流也可以通过稀疏匹配的密集插值来估计。为此，我们发现稀疏的匹配在两个立体图像对，没有任何事先正则化检测和执行密集的插值保留几何和运动边界，通过使用边缘信息。变分能量最小化的几次迭代进行，以完善我们的结果，这是彻底评估的KITTI基准和另外相比，国家的最先进的MPI Sintel。对于在汽车背景下的应用，我们进一步表明，一个可选的自我运动模型有助于提高性能，并顺利融入我们的方法，以产生一个分割的场景成静态和动态的部分。
2017-10-27 cs.CV
Dense Depth Posterior (DDP) from Single Image and Sparse Range
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一个深度学习系统来推断与图像相关的密集深度图的后验分布，通过利用稀疏范围测量，例如来自激光雷达。虽然激光雷达可能会为一小部分像素提供深度值，但我们利用训练集中反映的规律来完成地图，以便为图像中的每个像素提供深度概率。我们利用一个条件先验网络，它允许将概率与给定图像的每个深度值相关联，并将其与使用稀疏测量的似然项相结合。可选地，我们还可以在训练期间利用立体声的可用性，但在任何情况下，在运行时只需要单个图像和稀疏点云。我们使用KITTI基准测试我们的方法在无监督和监督深度完成上进行测试，并改进了两者的最新技术。
2019-04-17 cs.CV
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种深度估计的方法，融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势，准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想，这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法，使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进，在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行，具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
Sparse2DGS: Sparse-View Surface Reconstruction using 2D Gaussian Splatting with Dense Point Cloud
Tohoku University（东北大学）；National Tsing Hua University（国立清华大学）
提出Sparse2DGS方法，利用DUSt3R和COLMAP MVS生成稠密点云初始化2D高斯，解决了稀疏视角下高斯基元初始化不足的问题，仅用三张图像即可实现高精度3D表面重建。
2025-05-29 cs.CV
I See-Through You: A Framework for Removing Foreground Occlusion in Both Sparse and Dense Light Field Images
KAIST（韩国科学技术院）
光场（LF）相机从场景中捕获丰富的信息。使用该信息，LF去遮挡（LF-DeOcc）任务旨在重建无遮挡的中心视图图像。现有的LF-DeOcc研究主要集中在稀疏采样（稀疏）LF图像，其中由于大的视差，大部分遮挡区域在其他视图中可见。在本文中，我们扩展LF-DeOcc在更具挑战性的数据集，密集采样（密集）LF图像，这是由基于微透镜的便携式LF相机。由于密集LF图像的小视差范围，大多数背景区域在任何视图中都不可见。为了在两个LF数据集中应用LF-DeOcc，我们提出了一个框架ISTY，它被定义并分为三个角色：（1）提取LF特征，（2）定义遮挡，（3）修补遮挡区域。通过将框架按照角色划分为三个专门的组件，可以更容易地进行开发和分析。此外，一个可解释的中间表示，遮挡掩模，可以在所提出的框架中获得。遮挡遮罩对于模型的综合分析和通过操纵遮罩的其他应用程序非常有用。在实验中，定性和定量的结果表明，所提出的框架优于国家的最先进的LF-DeOcc方法在稀疏和密集的LF数据集。
2023-01-16 cs.CV
3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation
University of Freiburg（弗莱堡大学）；BIOSS Centre for Biological Signalling Studies（BIOSS生物信号研究中心）；University Medical Center Freiburg（弗莱堡大学医学中心）；University Hospital Freiburg（弗莱堡大学医院）；Google DeepMind（谷歌DeepMind）
本文介绍了一个网络的体积分割，学习稀疏注释的体积图像。我们概述了这种方法的两个有吸引力的用例：（1）在半自动设置中，用户注释要分割的体积中的一些切片。网络从这些稀疏的注释中学习，并提供密集的3D分割。(2)在全自动设置中，我们假设存在一个具有代表性的、稀疏注释的训练集。在这个数据集上训练，网络密集地分割新的体积图像。该网络扩展了Ronneberger等人之前的u-net架构，将所有2D操作替换为3D操作。该实现在训练期间执行动态弹性变形以实现有效的数据增强。它是从头开始进行端到端训练的，即，不需要预先训练的网络。我们测试了所提出的方法的性能，一个复杂的，高度可变的3D结构，非洲爪蟾肾，并取得了良好的效果，这两个用例。
2016-06-21 cs.CV
SparseMask: Differentiable Connectivity Learning for Dense Image Prediction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Preferred Networks, Inc.（Preferred Networks公司）
在本文中，我们的目标是自动搜索一个有效的网络结构，密集的图像预测。特别是，我们遵循编码器-解码器的风格，并专注于设计一个连接结构的解码器。为了实现这一点，我们设计了一个具有可学习连接的密集连接网络，称为全密集网络，它包含大量可能的最终连接结构。然后，我们采用梯度下降，从密集的连接搜索最佳的连接。搜索过程由一种新的损失函数引导，该函数将每个连接的权重推到二进制，并将连接推到稀疏。所发现的连通性在两个分割数据集上实现了有竞争力的结果，同时与最先进的方法相比，运行速度快三倍以上，所需参数不到一半。一个广泛的实验表明，所发现的连接是兼容的各种骨干，以及推广到其他密集的图像预测任务。
2019-08-04 cs.CV
S2D: Sparse to Dense Lifting for 3D Reconstruction with Minimal Inputs
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Chery Automobile（奇瑞汽车）
S2D通过稀疏到密集的提升方法，在最少输入下实现高质量的3DGS重建，提升稀疏点云和3DGS的一致性与稳定性。
2026-03-11 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（LIGM，法国国立桥路学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心）；Laboratoire IMS, Université de Bordeaux（IMS实验室，波尔多大学）
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果，但它们通常在精度方面受到限制。在本文中，我们介绍了S2DNet，这是一种新型的特征匹配管道，经过设计和训练，可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式，我们将对应学习问题视为一个监督分类任务，以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
ToF-Splatting: Dense SLAM using Sparse Time-of-Flight Depth and Multi-Frame Integration
University of Bologna（博洛尼亚大学）；Sony DepthSensing Solutions（索尼深度感知解决方案）；University of Amsterdam（阿姆斯特丹大学）
针对稀疏ToF深度在SLAM中难以使用的问题，提出首个基于3D高斯泼溅的SLAM流程ToF-Splatting，通过多帧集成模块融合稀疏ToF、单目颜色和多视图几何生成稠密深度图，在合成和真实数据集上达到最先进性能。
2025-04-23 cs.CV
Hallucinating Dense Optical Flow from Sparse Lidar for Autonomous Vehicles
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人与信息研究所（CSIC-UPC））
在本文中，我们提出了一种新的方法来估计密集的光流从稀疏的激光雷达数据上获得的自主车辆。当图像由于例如恶劣天气条件或夜间而不可靠时，这旨在用作任何基于图像的光流系统的直接替代。为了从离散距离数据推断高分辨率2D流，我们设计了一个三块结构的多尺度滤波器，它结合了多个中间目标，无论是在激光雷达和图像域。为了训练这个网络，我们引入了一个数据集，其中包含Kitti数据集的大约20K个激光雷达样本，我们使用FlowNet2计算的基于伪地面实况图像的光流对其进行了增强。我们证明了我们的方法对基蒂的有效性，并表明，尽管使用低分辨率和稀疏测量的激光雷达，我们可以回归密集的光流地图，这是在与那些估计与基于图像的方法。
2018-08-30 cs.CV
Dense Depth Priors for Neural Radiance Fields from Sparse Input Views
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
神经辐射场（NeRF）将场景编码为神经表示，其使得能够对新颖视图进行照片级真实感渲染。然而，从RGB图像的成功重建需要在静态条件下拍摄大量的输入视图-对于房间大小的场景，通常多达几百个图像。我们的方法旨在从数量级较少的图像中合成整个房间的新视图。为此，我们利用密集的深度先验来约束NeRF优化。首先，我们利用稀疏的深度数据，这是免费提供的运动恢复结构（SfM）的预处理步骤，用于估计相机姿态。其次，我们使用深度补全将这些稀疏点转换为密集的深度图和不确定性估计，用于指导NeRF优化。我们的方法可以在具有挑战性的室内场景中实现数据高效的新颖视图合成，整个场景使用的图像少至18张。
2022-04-07 cs.CV
SparseVoxelDet: Fully Sparse Voxel Networks for Efficient Event-Based Drone Detection
University of Oklahoma（俄克拉荷马大学）
本文提出SparseVoxelDet，首个基于事件相机的完全稀疏目标检测器，通过稀疏体素卷积在占用体素上进行特征提取和检测，显著降低内存和存储开销，验证了稀疏处理在事件相机目标检测中的可行性。
2026-08-10 cs.CV
Finding Action Tubes with a Sparse-to-Dense Framework
Shanghai Jiao Tong University（上海交通大学）；Shanghai University（上海大学）；Multimedia University（多媒体大学）；Adobe Research（Adobe 研究院）；Nanjing University（南京大学）
时空行为检测的研究越来越受到研究者的关注。现有的主要方法通过依赖于每个单独的帧或片段上的短期信息和密集的串行检测来解决这个问题。尽管这些方法很有效，但它们对长期信息的利用不足，而且往往效率低下。在本文中，我们提出了第一次，一个有效的框架，从视频流中生成动作管建议与一个单一的前向通过稀疏到密集的方式。该框架有两个关键特征：（1）在我们的时空网络中明确利用了长期和短期采样信息;（2）设计了一个新的动态特征采样模块（DynamicFeatureSampling Module，简称EVM），以有效地近似管输出，同时保持系统易于处理。我们评估了我们的模型在UCF 101 -24，JHMDB-21和UCFSports基准数据集上的有效性，取得了与最先进方法竞争的有希望的结果。提出的稀疏到密集的策略使我们的框架比最接近的竞争对手的效率高出7.6倍。
2020-08-30 cs.CV
Less is More: Sparse Sampling for Dense Reaction Predictions
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）
从视频中获得观众响应对于创作者和流媒体平台分析视频性能并改善未来的用户体验可能是有用的。在这份报告中，我们提出了我们的方法，从视频挑战2021诱发表达。特别是，我们的模型利用音频和图像模态作为输入来预测观众的情绪变化。为了对长距离情绪变化进行建模，我们使用基于GRU的模型来预测一个1Hz的稀疏信号。我们观察到情绪变化是平滑的。因此，最终的稠密预测是通过线性插值的信号，这是鲁棒的预测波动。虽然简单，所提出的方法已经达到了皮尔森的相关性得分为0.04430的最终私人测试集。
2021-06-03 cs.CV
Geometry beneath the Waves: Dense Priors for Sparse-View Underwater 3D Gaussian Splatting
University of Bristol（布里斯托大学）；National University of Singapore（新加坡国立大学）；Oceanx
针对水下3D重建中初始化几何限制重建质量的问题，提出利用密集先验改进稀疏视角下的3D高斯泼溅，以提升重建质量。
2026-10-02 cs.CV
DSD: Dense-Sparse-Dense Training for Deep Neural Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）；Baidu Research（百度研究院）；Facebook
现代深度神经网络具有大量参数，这使得它们很难训练。我们提出了DSD，一种密集-稀疏-密集的训练流，用于正则化深度神经网络并实现更好的优化性能。在第一个D（密集）步骤中，我们训练一个密集网络来学习连接权重和重要性。在S（稀疏）步骤中，我们通过修剪具有小权重的不重要连接并在给定稀疏约束的情况下重新训练网络来正则化网络。在最后的D（re-Dense）步骤中，我们通过移除稀疏性约束来增加模型容量，从零重新初始化修剪的参数并重新训练整个密集网络。实验表明，DSD训练可以提高各种CNN，RNN和LSTM在图像分类，字幕生成和语音识别任务上的性能。在ImageNet上，DSD将GoogLeNet的Top1准确率提高了1.1%，VGG-16提高了4.3%，ResNet-18提高了1.2%，ResNet-50提高了1.1%。在WSJ'93数据集上，DSD将DeepSpeech和DeepSpeech 2 WER提高了2.0%和1.1%。在Flickr-8 K数据集上，DSD将NeuralTalk BLEU评分提高了1.7以上。DSD在实践中很容易使用：在训练时，DSD只会产生一个额外的超参数：S步骤中的稀疏率。在测试时，DSD不会改变网络架构或产生任何推理开销。DSD实验的一致和显着的性能增益显示了当前训练方法在寻找最佳局部最优值方面的不足，而DSD有效地实现了更好的优化性能，以找到更好的解决方案。D…
2017-02-21 cs.CV
OPUS-V2: Bridging the Gap between Sparse Points and Dense Voxels
Nankai University（南开大学）；Momenta（Momenta（魔门塔））；KargoBot（智加科技）
针对基于点的占据预测与自动驾驶所需稠密体素占据的不匹配问题，提出OPUS-V2框架，通过点-体素变换模块和特征-占据解耦设计，在两个数据集上实现了先进性能并保持实时运行。
2026-09-01 cs.CV
Sparse2Dense: Learning to Densify 3D Features for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；The Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）；Shanghai AI Laboratory（上海人工智能实验室）
激光雷达产生的点云是大多数最先进的3D物体探测器的主要来源。然而，小的，遥远的，不完整的物体，稀疏或很少的点往往很难检测。我们提出了Sparse2Dense，这是一个新的框架，通过学习在潜在空间中加密点云来有效地提高3D检测性能。具体来说，我们首先训练一个密集点3D检测器（DDet）与密集点云作为输入，并设计一个稀疏点3D检测器（SDet）与规则的点云作为输入。重要的是，我们制定了轻量级插件S2D模块和点云重建模块SDet的致密化三维特征和训练SDet产生三维特征，在DDet的密集三维特征。因此，在推理中，SDet可以从常规（稀疏）点云输入模拟密集的3D特征，而不需要密集的输入。我们在大规模Waymo开放数据集和Waymo领域自适应数据集上评估了我们的方法，显示了其在最先进水平上的高性能和效率。
2022-11-23 cs.CV
SparseBEV: High-Performance Sparse 3D Object Detection from Multi-Camera Videos
Nanjing University（南京大学）；Shanghai AI Lab（上海人工智能实验室）
提出SparseBEV，一种完全稀疏的三维目标检测器，通过尺度自适应自注意力、自适应时空采样和自适应混合，在nuScenes上实现67.5 NDS的最优性能。
2023-09-05 cs.CV
From Sparse to Dense: Camera Relocalization with Scene-Specific Detector from Feature Gaussian Splatting
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
本文提出STDLoc，一种基于特征高斯溅射的相机重定位方法，采用稀疏到密集的定位范式，通过场景特定检测器和密集特征匹配实现无需姿态先验的高精度定位，在室内外数据集上优于现有方法。
2025-03-25 cs.CV
STD: Sparse-to-Dense 3D Object Detector for Point Cloud
Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一个新的两阶段的三维目标检测框架，命名为稀疏到密集的三维目标检测器（STD）。第一阶段是自下而上的建议生成网络，该网络使用原始点云作为输入，通过为每个点播种新的球形锚点来生成准确的建议。它实现了较高的召回率，与以前的作品相比，计算量更少。然后，PointsPool被用于生成建议的功能，通过转换其内部的点特征从稀疏表示到紧凑的表示，这节省了更多的计算时间。在框预测中，这是第二阶段，我们实现了一个并行的交叉联合（IoU）分支，以提高对定位精度的认识，从而进一步提高性能。我们在KITTI数据集上进行了实验，并在3D对象和鸟瞰图（BEV）检测方面对我们的方法进行了评估。我们的方法远远优于其他最先进的方法，特别是在硬集上，推理速度超过10 FPS。
2019-07-22 cs.CV
SparseVSR: Lightweight and Noise Robust Visual Speech Recognition
Meta AI；Imperial College London（帝国理工学院）
本文提出SparseVSR，通过基于幅度的剪枝技术构建轻量级视觉语音识别模型，在LRS3数据集上以10%稀疏度取得最优结果，并证明稀疏网络比稠密网络更抗视觉噪声。
2023-07-10 cs.CV
Sparse-to-Dense Hypercolumn Matching for Long-Term Visual Localization
Université de Bordeaux（波尔多大学）
我们提出了一种新的方法，以特征点匹配，适用于长期场景下的鲁棒性和准确的户外视觉定位。给定一个查询图像，我们首先将其与注册的参考图像数据库进行匹配，使用最近的检索技术。这为我们提供了相机姿态的第一个估计。为了改进这个估计，像以前的方法一样，我们在查询图像和检索到的参考图像上匹配2D点。然而，这一步骤容易失败，因为在可能非常不同的条件下捕获的图像中检测和匹配稀疏特征点仍然非常困难。我们的主要贡献是表明我们只需要在检索到的参考图像中提取稀疏特征点：然后我们在查询图像中穷举地搜索相应的2D位置。这种搜索可以使用卷积操作有效地执行，并且通过使用超列描述符（即，为检索而计算的图像特征）来鲁棒地执行。我们将此方法称为稀疏到密集超列匹配。由于离线重建阶段，我们知道参考图像中稀疏特征点的3D位置，因此可以从这些匹配中准确估计相机姿态。我们的实验表明，这种方法使我们能够在几个具有挑战性的户外数据集上超越最先进的技术。
2019-08-21 cs.CV
Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation and Gauss-Newton Refinement
ShanghaiTech University（上海科技大学）
几乎所有先前的基于深度学习的多视图立体视觉（MVS）方法都集中于提高重建质量。除了质量之外，效率也是MVS在实际场景中的理想特性。为此，本文提出了一种快速MVSNet，一种新的稀疏到密集的粗到细的框架，快速和准确的深度估计在MVS。具体来说，在我们的Fast-MVSNet中，我们首先构建一个稀疏成本卷，用于学习稀疏和高分辨率的深度图。然后，我们利用小规模的卷积神经网络来编码局部区域内像素的深度依赖性，以使稀疏的高分辨率深度图致密化。最后，提出了一种简单但有效的高斯牛顿层，以进一步优化深度图。一方面，高分辨率的深度图，数据自适应传播方法和高斯牛顿层共同保证了我们的方法的有效性。另一方面，我们的Fast-MVSNet中的所有模块都是轻量级的，从而保证了我们方法的效率。此外，我们的方法也是内存友好的，因为稀疏的深度表示。大量的实验结果表明，我们的方法是5 $\times$和14 $\times$比Point-MVSNet和R-MVSNet，分别快，同时实现具有挑战性的坦克和寺庙数据集以及DTU数据集上的可比甚至更好的结果。代码可在https://github.com/svip-lab/FastMVSNet上获得。
2020-03-29 cs.CV
From Sparse to Dense: Spatio-Temporal Fusion for Multi-View 3D Human Pose Estimation with DenseWarper
Department of Computer Science, THUAI, BNRist, Tsinghua University, Beijing, China（清华大学北京研究院，清华大学计算机科学系，北京，中国）；Dalian University of Technology, Dalian, China（大连理工大学，大连，中国）；Apple, Beijing, China（苹果公司，北京，中国）；Hong Kong University of Science and Technology (Guang Zhou), Guang Zhou, China（香港科技大学（广州），广州，中国）；University of Manchester, Manchester, UK（曼彻斯特大学，曼彻斯特，英国）
本文提出稀疏交错输入方法，通过利用不同视角在不同时间点的图像，提升3D人体姿态估计的时空信息，实现性能提升并突破单视角帧率限制。
2026-05-14 cs.CV
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
DenseGRPO通过引入密集奖励机制，解决流匹配模型中稀疏奖励导致的反馈与贡献不匹配问题，提升文本到图像生成的人类偏好对齐效果。
2026-02-25 cs.CV
DFuseNet: Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了一个卷积神经网络，旨在上采样一系列稀疏的范围测量的基础上，从一个高分辨率的强度图像收集的上下文线索。我们的方法从超分辨率和in-painting的相关工作中汲取灵感。我们提出了一种新的架构，试图从强度图像和深度特征中单独提取上下文线索，然后在网络中将它们融合。我们认为，这种方法有效地利用了两种模式之间的关系，并产生准确的结果，同时尊重显着的图像结构。我们目前的实验结果表明，我们的方法是与最先进的方法相媲美，以及在多个数据集的推广。
2019-07-10 cs.CV
Sparse2Dense: From direct sparse odometry to dense 3D reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出了一种基于深度学习的密集单目SLAM方法。与现有方法相比，该框架使用学习的表面法线通过稀疏到密集的映射来构建密集的3D模型。利用单视点学习的深度估计作为单目视觉里程计的先验，我们获得了精确的定位和高质量的深度重建。实验结果表明，与现有的单目密集SLAM方法相比，该方法显著提高了视觉跟踪和深度预测的性能.
2019-03-21 cs.CV cs.RO
Towards Robust 3D Object Recognition with Dense-to-Sparse Deep Domain Adaptation
BMW Group（宝马集团）；Technical University of Munich（慕尼黑工业大学）；University of Glasgow（格拉斯哥大学）；Radboud University（拉德堡德大学）
三维（3D）物体识别对于智能自主智能体（如自主车辆和机器人）在非结构化环境中有效运行至关重要。大多数最先进的方法依赖于相对密集的点云，并且对于稀疏点云，性能显著下降。无监督域自适应允许使用最少的未标记稀疏点云来最小化密集点云和稀疏点云之间的差异，从而节省额外的稀疏数据汇集、注释和再训练成本。在这项工作中，我们提出了一种基于点云的对象识别的新方法，该方法在密集和稀疏点云上具有与最先进的方法竞争的性能，同时仅使用密集点云进行训练。
2022-05-07 cs.CV cs.RO
CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
Dyson Technology Ltd.（戴森技术有限公司）；Imperial College London（帝国理工学院）
我们提出了一种新的密集映射框架稀疏视觉SLAM系统，利用紧凑的场景表示。最先进的稀疏视觉SLAM系统提供对相机轨迹和地标位置的准确且可靠的估计。虽然这些稀疏地图对于定位是有用的，但它们不能用于其他任务，例如避障或场景理解。在本文中，我们提出了一个密集的映射框架，以补充稀疏的视觉SLAM系统，作为输入的相机姿势，关键帧和稀疏点产生的SLAM系统，并预测密集的深度图像的每个关键帧。我们建立在CodeSLAM上，并使用变分自编码器（VAE），其条件是来自稀疏SLAM的强度、稀疏深度和重投影误差图像，以预测不确定性感知的密集深度图。VAE的使用使我们能够通过多视图优化来细化密集的深度图像，这提高了重叠帧的一致性。我们的映射器运行在一个单独的线程并行的SLAM系统在一个松散耦合的方式。这种灵活的设计允许与任意度量的稀疏SLAM系统集成，而不会延迟主SLAM过程。我们的稠密映射器不仅可以用于局部映射，而且可以通过TSDF融合进行全局一致的稠密3D重建。我们展示了我们的系统与ORB-SLAM 3运行，并显示准确的密集深度估计，可以使应用程序，如机器人和增强现实。
2021-07-19 cs.CV cs.RO
DenseFormer: Learning Dense Depth Map from Sparse Depth and Image via Conditional Diffusion Model
the School of Vehicle and Mobility（车辆与移动学院）；Tsinghua University（清华大学）
DenseFormer通过条件扩散模型，结合特征提取和深度细化模块，实现从稀疏深度和图像生成密集深度图，优于传统方法。
2026-02-01 cs.AI cs.CV
DeGraF-Flow: Extending DeGraF Features for accurate and efficient sparse-to-dense optical flow estimation
Durham University（杜伦大学）；NHL Stenden University of Applied Sciences（NHL斯坦登应用科学大学）
现代光流方法利用在场景内检测和匹配的显著场景特征点作为稀疏到密集光流估计的基础。然而，当前的特征检测器要么给出稀疏的、不均匀的点云（导致流不准确），要么缺乏用于帧速率实时应用的效率。在这项工作中，我们使用新的密集梯度为基础的功能（DeGraF）作为输入的稀疏到密集的光流计划。这包括三个阶段：1）均匀分布的基于密集梯度的特征（DeGraF）的有效检测; 2）经由鲁棒局部光流的特征跟踪;以及3）边缘保持流插值以恢复整体密集光流。DeGraF特征的可调密度和均匀性与这三个阶段流水线中的其他流行特征检测器相比，产生了优异的密集光流估计。此外，特征检测的可比速度也很好地适合于实时光流恢复的目的。对已建立的真实世界基准数据集的评估显示了在自动驾驶汽车设置中的测试性能，其中DeGraF-Flow在准确性方面显示出有希望的结果，在非基于GPU的方法中具有竞争力的计算效率，包括在概念上类似的EpicFlow方法上显着提高速度。
2019-05-20 cs.AI cs.CV
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
Fudan University（复旦大学）；Tencent HY（腾讯HY）；Shanghai Innovation Institute（上海创新研究院）；MMLab, CUHK（香港中文大学多媒体实验室）；Nankai University（南开大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
MC-Sparse通过元缓存和精确KV选择，在扩散Transformer中实现高效稀疏注意力，显著加速视频和3D生成，同时保持高保真度。
2026-10-06 cs.AI cs.CV
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
训练大型、深度神经网络以使其收敛可能是极其昂贵的。因此，通常只有一小部分流行的密集模型在不同的上下文和任务中被重用。越来越多的稀疏激活模型，试图从计算成本解耦模型的大小，正在成为一个有吸引力的替代密集模型。尽管稀疏模型在质量和计算成本方面更有效，但在大规模领域中从头开始训练仍然是数据饥渴和昂贵的。在这项工作中，我们提出了稀疏升级循环-一种简单的方法，通过从密集的检查点初始化稀疏激活的混合专家模型来重用沉没的训练成本。我们发现，稀疏升级的T5 Base、Large和XL语言模型以及视觉Transformer Base和Large模型在SuperGLUE和ImageNet上的性能分别显著优于其密集对应模型，仅使用初始密集预训练沉没成本的约50%。升级后的模型也优于从头开始训练的稀疏模型，其初始密集预训练计算预算为100%。
2023-02-17 cs.CL cs.CV cs.LG
Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance
Eindhoven University of Technology（埃因霍温理工大学）；Zhejiang University（浙江大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）
生成式对抗网络（GANs）由于其生成数据的高质量，自提出以来受到了越来越多的关注。虽然取得了越来越令人印象深刻的结果，但与大模型大小相关的资源需求阻碍了GANs在资源有限的场景中的使用。对于推理，现有的模型压缩技术可以降低模型的复杂度，具有相当的性能。然而，由于GANs的训练过程比较脆弱，因此对GANs的训练效率研究较少。在本文中，我们首次探索了从头开始直接训练稀疏GAN而不涉及任何密集或预训练步骤的可能性。更不寻常的是，我们提出的方法可以直接从零开始训练稀疏不平衡的GANs，使用非常稀疏的生成器。我们不是训练完整的GANs，而是从稀疏的GANs开始，并在整个训练过程中动态探索跨越生成器的参数空间。这种稀疏到稀疏训练过程逐渐增强了高度稀疏生成器的能力，同时坚持固定的小参数预算，具有吸引人的训练和推理效率增益。现代GAN架构的大量实验验证了我们的方法的有效性。我们的稀疏GANs在一次运行中从头开始训练，能够超越通过昂贵的迭代修剪和重新训练学习的GAN。也许最重要的是，我们发现，与其从昂贵的预训练GANs中继承参数，直接从头开始训练稀疏GANs可能是一个更有效的解决方案。例如，仅使用80%稀疏生成器和70%稀疏生成器进行训练，我们的方法可以实现比密集BigGAN更好的性能。
2022-03-05 cs.CV cs.LG
DKM: Dense Kernelized Feature Matching for Geometry Estimation
Linköping University（林雪平大学）
特征匹配是一项具有挑战性的计算机视觉任务，涉及寻找3D场景的两个图像之间的对应关系。在本文中，我们认为密集的方法，而不是更常见的稀疏范例，从而努力找到所有的对应。也许与直觉相反，密集的方法以前表现出较差的性能，他们的稀疏和半稀疏的两视图几何形状的估计。这与我们的新的密集方法，它优于密集和稀疏的几何估计方法的变化。新颖性是三方面的：首先，我们提出了一个内核回归全局匹配。其次，我们提出了通过堆叠的特征映射和深度卷积核的翘曲细化。第三，我们提出了通过一致的深度和稠密置信图的平衡采样方法来学习稠密置信度。通过大量的实验，我们证实，我们提出的密集的方法，\textbf{D}感\textbf{K} nelized功能\textbf{M}匹配，设置一个新的国家的最先进的多几何估计基准。特别是，我们实现了+4.9和+8.9 AUC $@5^{\circ}$的MegaDepth-1500相比，以前最好的稀疏方法和密集的方法分别改善。我们的代码在https://github.com/Parskatt/dkm上提供
2022-11-25 cs.CV cs.LG
Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion
MEGVII Technology（旷世科技）；The University of Hong Kong（香港大学）；Fvidar Inc.（福维达公司）
针对深度补全中稀疏监督劣于密集监督的普遍认知，提出干扰-补偿框架抑制激光雷达分布泄漏，使稀疏监督在MAE和速度上超越密集监督。
2024-07-18 cs.AI cs.CV
Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs
Singapore Management University（新加坡国立管理学院）；Sea AI Lab（Sea AI实验室）；National University of Singapore（国立新加坡大学）
本文提出了一种名为Sparse-to-Dense（StD）的解码策略，通过结合稀疏top-K注意力和密集全注意力模块，实现视频大语言模型（Video-LLMs）的无损加速，从而在处理长视频序列时显著提高处理速度。
2026-05-18 cs.CL cs.CV
Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization
University of the Witwatersrand（金山大学）；InstaDeep；Google Brain（谷歌大脑）
训练稀疏网络以收敛到与密集神经架构相同的性能已被证明是难以捉摸的。最近的研究表明，初始化是关键。然而，虽然这一研究方向取得了一些成功，但仅仅关注初始化似乎是不够的。在本文中，我们从更广泛的角度来训练稀疏网络，并考虑正则化，优化和架构选择对稀疏模型的作用。我们提出了一个简单的实验框架，相同的容量稀疏与密集比较（SC-SDC），允许稀疏和密集网络的公平比较。此外，我们还提出了一种新的梯度流度量，即有效梯度流（EGF），它与稀疏网络中的性能更好地相关。使用顶线指标，SC-SDC和EGF，我们表明，用于密集网络的优化器，激活函数和正则化器的默认选择可以不利稀疏网络。基于这些发现，我们表明，稀疏网络中的梯度流可以通过重新考虑架构设计和训练制度来改善。我们的工作表明，初始化只是难题的一部分，从更广泛的角度来看稀疏网络的定制优化会产生有希望的结果。
2021-06-16 cs.CV cs.LG
OccupancyDETR: Using DETR for Mixed Dense-sparse 3D Occupancy Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））
针对3D语义占据感知计算资源消耗高的问题，提出OccupancyDETR方法，采用类DETR检测与混合稠密-稀疏解码器区分前后景并分别处理，在SemanticKITTI上实现14的mIoU与10FPS速度，兼顾效率与精度。
2024-05-18 cs.CV cs.RO
SparseSat-NeRF: Dense Depth Supervised Neural Radiance Fields for Sparse Satellite Images
Université de Paris（巴黎大学）；Institut de Physique du Globe de Paris（巴黎地球物理研究所）；CNRS（法国国家科学研究中心）；IGN-ENSG（法国国家地理学院）；LaSTIG（地理信息科学与技术实验室）
本文提出SparseSat-NeRF，一种针对稀疏卫星图像的神经辐射场方法，利用稠密深度监督改善几何重建，在Pleiades 1B/WorldView-3数据上优于NeRF和Sat-NeRF。
2023-09-01 cs.CV cs.GR
A Sparse and Locally Coherent Morphable Face Model for Dense Semantic Correspondence Across Heterogeneous 3D Faces
University of Florence（佛罗伦萨大学）
3D变形模型（3DMM）是一个强大的统计工具，用于表示3D人脸形状。为了构建3DMM，需要完全点对点对应的面部扫描的训练集，并且其建模能力直接取决于训练数据中包含的可变性。因此，为了提高3DMM的描述能力，在身份、种族或表达方面具有足够多样性的异质扫描之间建立密集对应关系变得至关重要。在本文中，我们提出了一种全自动的方法，该方法利用3DMM在原始3D面部之间传输其密集的语义注释，从而在它们之间建立密集的对应关系。我们提出了一种新的公式来学习一组稀疏的变形组件与本地支持的脸，连同一个原始的非刚性变形算法，允许3DMM精确地适应看不见的脸和转移其语义注释。我们对我们的方法进行了广泛的实验，表明它可以有效地推广到高度多样化的样本，即使在复杂的面部表情中也能准确地建立密集的对应关系。通过将三个大型数据集连接在一起获得9，000多个完全配准的扫描，构建一个异构的大规模3DMM，证明了密集配准的准确性。
2021-06-24 cs.CG cs.CV
Dynamic Sparse Training versus Dense Training: The Unexpected Winner in Image Corruption Robustness
University of Twente（特文特大学）；University of Luxembourg（卢森堡大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文质疑密集训练在图像损坏鲁棒性上的常规优势，发现在10%至50%稀疏度下，动态稀疏训练在不增加资源成本时能始终超越密集训练，为提升深度学习鲁棒性开辟新途径。
2025-03-05 cs.AI cs.CV
Balanced Depth Completion between Dense Depth Inference and Sparse Range Measurements via KISS-GP
KAIST（韩国科学技术院）
估计密集和准确的深度图是自动驾驶和机器人技术的关键要求。深度学习的最新进展已经允许从单个图像以全分辨率进行深度估计。尽管取得了令人印象深刻的结果，但许多基于深度学习的单目深度估计（MDE）算法未能保持其准确性，从而产生米级估计误差。在许多机器人应用中，精确但稀疏的测量可以从光探测和测距（LiDAR）中轻松获得。虽然它们是高度精确的，但稀疏性限制了全分辨率深度图重建。针对密集和准确的深度图恢复的问题，本文介绍了这两个模态的融合作为深度完成（DC）问题，通过划分深度推理和深度回归的作用。利用最先进的MDE和我们基于高斯过程（GP）的深度回归方法，我们提出了一种通用的解决方案，可以灵活地与各种MDE模块一起工作，通过稀疏范围测量来增强其深度。为了克服GP的主要缺陷，我们采用了可伸缩结构的核插值（KISS）-GP，将计算复杂性从O（N^3）降低到O（N）。我们的实验表明，我们的方法的准确性和鲁棒性优于国家的最先进的无监督方法稀疏和有偏的测量。
2020-08-12 cs.CV cs.RO
