Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center of Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点,但它们具有非常容易离群的主要缺点,因为它们不是被设计成找到光流,而是视觉上最相似的对应关系。在这篇文章中,我们提出了一个密集的对应字段的方法,是少得多的离群倾向,因此更适合于光流估计比近似最近邻字段。我们的方法不需要显式正则化,平滑(如中值滤波)或新的数据项。相反,我们完全依赖于补丁匹配技术和一种新的多尺度匹配策略。我们还提出了增强离群值过滤。我们表明,我们的方法是更适合于大位移光流估计比现代描述符匹配技术。我们通过使用我们的方法初始化EpicFlow来实现这一点,而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI 2012、KITTI 2015和Middlebury上的表现明显优于原始EpicFlow。在我们以前的会议出版物的这篇扩展文章中,我们进一步改进了我们在匹配精度和运行时间方面的方法,并提出了更多的实验和见解。
2018-10-28 cs.CV
EDCFlow: Exploring Temporally Dense Difference Maps for Event-based Optical Flow Estimation
Southeast University(东南大学)
EDCFlow提出利用时间密集差分图与代价体互补,通过注意力多尺度差分层和自适应融合,实现高分辨率、低复杂度的基于事件光流估计,并可作为RAFT类方法的即插即用细化模块。
2025-06-04 cs.CV
Learning Dense and Continuous Optical Flow from an Event Camera
Northwestern Polytechnical University(西北工业大学)
事件相机(如DAVIS)可以同时输出高时间分辨率的事件和低帧速率的强度图像,在捕获场景运动(如光流估计)方面具有很大的潜力。现有的大多数光流估计方法都是基于两个连续的图像帧,只能估计固定时间间隔的离散流。以前的工作表明,连续流估计可以通过改变事件的数量或时间间隔来实现。然而,他们很难估计可靠的密集流,特别是在没有任何触发事件的地区。在本文中,我们提出了一种新的基于深度学习的密集和连续的光流估计框架,从一个单一的图像与事件流,这有利于准确感知高速运动。具体来说,我们首先提出了一个事件图像融合和相关模块,有效地利用内部运动从两种不同的数据形式。然后,我们提出了一个迭代更新的网络结构,双向训练的光流预测。因此,我们的模型可以估计可靠的密集流作为两帧为基础的方法,以及估计时间连续流作为基于事件的方法。在合成和真实捕获数据集上的大量实验结果表明,我们的模型优于现有的基于事件的最先进的方法和我们设计的基线,用于精确的密集和连续的光流估计。
2022-11-16 cs.CV
Dense Scene Flow from Stereo Disparity and Optical Flow
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心(DFKI))
场景流描述3D场景中的3D运动。它可以被建模为单个任务,或者可以从立体深度和光流估计的辅助任务中重建。虽然第二种方法可以通过使用实时辅助方法来实现实时性能,但它通常会产生非密集结果。在这种表示的场景流估计的基本组合方法中,我们将通过插值来解决非密度问题。
2018-08-30 cs.CV
Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions
Center for Humanoid Research, Korea Institute of Science and Technology(韩国科学技术研究院仿人机器人研究中心);School of Electrical and Electronic Engineering, Yonsei University(延世大学电气与电子工程学院)
针对手术场景理解中标注粒度不匹配问题,提出FAROS框架,结合零样本分割传播与光流估计生成时间一致伪标签,统一Transformer多任务学习,提升时空任务性能。
2026-06-26 cs.CV
Thermal odometry and dense mapping using learned odometry and Gaussian splatting
TopXGun Robotics(拓攻机器人)
TOM-GS通过结合学习的热力计与高斯点扩散技术,实现了高效的热成像导航与密集地图生成,优于现有方法。
2026-02-11 cs.CV
DeGraF-Flow: Extending DeGraF Features for accurate and efficient sparse-to-dense optical flow estimation
Durham University(杜伦大学);NHL Stenden University of Applied Sciences(NHL斯坦登应用科学大学)
现代光流方法利用在场景内检测和匹配的显著场景特征点作为稀疏到密集光流估计的基础。然而,当前的特征检测器要么给出稀疏的、不均匀的点云(导致流不准确),要么缺乏用于帧速率实时应用的效率。在这项工作中,我们使用新的密集梯度为基础的功能(DeGraF)作为输入的稀疏到密集的光流计划。这包括三个阶段:1)均匀分布的基于密集梯度的特征(DeGraF)的有效检测; 2)经由鲁棒局部光流的特征跟踪;以及3)边缘保持流插值以恢复整体密集光流。DeGraF特征的可调密度和均匀性与这三个阶段流水线中的其他流行特征检测器相比,产生了优异的密集光流估计。此外,特征检测的可比速度也很好地适合于实时光流恢复的目的。对已建立的真实世界基准数据集的评估显示了在自动驾驶汽车设置中的测试性能,其中DeGraF-Flow在准确性方面显示出有希望的结果,在非基于GPU的方法中具有竞争力的计算效率,包括在概念上类似的EpicFlow方法上显着提高速度。
2019-05-20 cs.AI cs.CV
A Stereo Visual SLAM System Using Object-Level Motion Estimation and Geometric Filtering Based on Cross Disparity
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出OCD SLAM框架,通过交叉视差几何方法检测动态特征点,并结合3D目标检测与卡尔曼滤波实现对象级运动分类,在KITTI数据集上显著提升轨迹精度。
2026-07-03 cs.CV cs.RO
GRADE: Single-Frame Generative Radar Depth Estimation Under Visual Degradation
Rice University(莱斯大学)
GRADE利用单帧雷达几何和生成先验,在视觉退化下实现高保真度量深度估计,在真实烟雾中MAE达0.313米,优于基线。
2026-09-11 cs.CV cs.RO
Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation
TU Berlin(柏林工业大学);SCIoI Excellence Cluster(SCIoI卓越集群);University of Pennsylvania(宾夕法尼亚大学);Einstein Center Digital Future(爱因斯坦数字未来中心);Robotics Institute Germany(德国机器人研究所);Archimedes(阿基米德机构);Athena RC(雅典娜研究中心)
本文提出一种结合对比度最大化与非线性运动先验的自监督损失,用于事件相机密集连续时间运动估计,在EVIMO2和DSEC基准上显著提升性能。
2024-07-15 cs.CV cs.LG cs.RO
Capture Dense: Markerless Motion Capture Meets Dense Pose Estimation
我们提出了一种方法,将无标记的运动捕捉和密集的姿态特征估计到一个单一的框架。我们证明,密集的姿势信息可以帮助多视图/单视图运动捕捉,多视图运动捕捉可以帮助收集高质量的数据集,用于训练密集的姿势检测器。具体来说,我们首先介绍了一种新的无标记的运动捕捉方法,可以利用密集的姿态检测器提供的密集解析能力。由于引入了密集的人类解析能力,我们的方法被证明是更有效,更准确的比现有的最先进的无标记的运动捕捉方法。其次,我们利用多视点无标记运动捕捉数据提高了现有稠密姿态检测器的性能。这样的数据集有利于密集姿态训练,因为它们更密集,更准确,更一致,并且可以补偿诸如不寻常视点之类的角落情况。我们定量地证明了我们的密集姿态检测器在可用的DensePose上的改进性能。我们的密集姿态数据集和探测器将被公开。
2018-12-11 cs.CV
UV R-CNN: Stable and Efficient Dense Human Pose Estimation
Beijing University of Posts and Telecommunications(北京邮电大学);Chinese Academy of Sciences(中国科学院)
密集姿态估计是用于实例级人体分析的密集3D预测任务,旨在将人体像素从RGB图像映射到人体的3D表面。由于大量的表面点回归,与其他基于区域的人类实例分析任务相比,训练过程似乎很容易崩溃。通过分析现有稠密姿态估计模型的损失公式,引入一种新的点回归损失函数Dense Points} loss来稳定训练进度,并引入一种新的平衡损失加权策略来处理多任务损失。有了上述新颖性,我们提出了一个全新的架构,名为UV R-CNN。在没有来自其他任务的辅助监督和外部知识的情况下,UV R-CNN可以处理密集姿势模型训练过程中的许多复杂问题,使用ResNet-50-FPN特征提取器在DensePose-COCO验证子集上实现65.0%的$AP_{gps}$和66.1%的$AP_{gpsm}$,在最先进的密集人体姿势估计方法中具有竞争力。
2022-11-04 cs.CV
ConvPoseCNN: Dense Convolutional 6D Object Pose Estimation
University of Bonn(波恩大学)
6D物体姿态估计是许多应用的先决条件。近年来,单目位姿估计因其不需要深度测量而引起了广泛的研究兴趣。在这项工作中,我们引入了ConvPoseCNN,这是一种完全卷积的架构,可以避免剪切单个对象。相反,我们提出了像素级的,密集预测的对象姿态的平移和方向分量,其中密集的方向表示在四元数的形式。我们提出了不同的方法聚集的密集方向的预测,包括平均和聚类方案。我们在具有挑战性的YCB-Video数据集上评估了ConvPoseCNN,在那里我们证明了该方法的参数要少得多,并且比同类方法训练得更快,而不会牺牲准确性。此外,我们的研究结果表明,密集的方向预测隐式地学习到值得信赖的,无遮挡的,功能丰富的对象区域。
2019-12-16 cs.CV
DensePose: Dense Human Pose Estimation In The Wild
INRIA-CentraleSupélec(法国国家信息与自动化研究所-中央理工-高等电力学院);Facebook AI Research(脸书人工智能研究院)
在这项工作中,我们建立了密集的RGB图像和基于表面的表示的人体之间的对应关系,我们称之为密集的人体姿态估计的任务。我们首先通过引入高效的注释管道来收集COCO数据集中出现的5万人的密集对应。然后,我们使用我们的数据集来训练基于CNN的系统,这些系统可以“在野外”提供密集的对应关系,即在存在背景、遮挡和尺度变化的情况下。我们通过训练一个“修复”网络来提高训练集的有效性,该网络可以填补缺失的地面实况值,并报告与过去可实现的最佳结果相比的明显改进。我们使用全卷积网络和基于区域的模型进行实验,并观察到后者的优越性;我们通过级联进一步提高精度,获得一个实时的提供高精度结果的系统。项目页面http://densepose.org提供了补充材料和视频
2018-02-01 cs.CV
Dense Match Summarization for Faster Two-view Estimation
Centre for Mathematical Sciences, Lund University(数学科学中心,隆德大学)
本文提出一种高效的匹配摘要化方案,在保持与完整稠密匹配集相当精度的同时,将双视图相对位姿RANSAC估计速度提升10至100倍,并在标准基准上验证了其有效性。
2025-06-03 cs.CV
Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences
Indian Institute of Technology Patna(巴特那印度理工学院)
3D场景的密集深度估计具有许多应用,主要在机器人和监视中。LiDAR和雷达传感器是实时深度估计的硬件解决方案,但这些传感器产生稀疏的深度图,有时不可靠。近年来,针对使用单个2D图像来处理深度估计的研究受到了很多关注。基于深度学习的自监督深度估计方法从纠正的立体和单目视频帧中显示出有希望的结果。我们提出了一个基于自我注意力的深度和自我运动网络的未校正的图像。我们还将相机的不可微失真引入训练管道。我们的方法进行竞争力相比,其他既定的方法,使用校正图像的深度估计。
2020-05-28 cs.CV
Direct Dense Pose Estimation
KU-Leuven(鲁汶大学);Toyota Motor Europe(丰田汽车欧洲公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);ETH Zurich(苏黎世联邦理工学院)
密集人体姿态估计是学习RGB图像与人体表面之间的密集对应关系的问题,其具有各种应用,例如人体重建,人体姿态转移和人体动作识别。现有的密集姿态估计方法都基于Mask R-CNN框架,并且以自上而下的方式操作,即首先尝试识别每个人的限界框并匹配每个限界框中的密集对应。因此,这些方法由于其对Mask R-CNN检测的关键依赖而缺乏鲁棒性,并且随着图像中人数的增加,运行时间急剧增加。因此,我们提出了一种新的替代方法来解决密集姿态估计问题,称为直接密集姿态(DDP)。DDP首先分别预测实例掩码和全局IUV表示,然后将它们组合在一起。我们还提出了一个简单而有效的二维时间平滑方案,以减轻处理视频数据时的时间抖动。实验表明,DDP克服了以往自顶向下基线方法的局限性,并取得了竞争力的准确性。此外,DDP在计算上比以前的密集姿态估计方法更有效,并且当应用于视频序列时,它减少了抖动,这是以前方法的一个问题。
2022-04-04 cs.CV
Training-Free Dense Hand Contact Estimation with Multi-Modal Large Language Models
IPAI;Dept. of ECE & ASRI, Seoul National University(电子工程与自动控制研究所,首尔国立大学)
本文提出ContactPrompt,利用多模态大语言模型进行无需训练的密集手部接触估计,通过引入详细的部位分割和部分顶点网格表示,结合多阶段结构化接触推理,实现高精度的接触预测。
2026-10-14 cs.CV
HomoMatcher: Dense Feature Matching Results with Semi-Dense Efficiency by Homography Estimation
Ant Group(蚂蚁集团)
本文提出HomoMatcher,通过轻量级单应性估计网络增强半稠密匹配框架的细化匹配模块,实现图块间整体对齐与亚像素级精度,在保持半稠密效率的同时获得了媲美稠密匹配器的精度。
2024-11-11 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien(维也纳技术大学自动化与控制研究所);Department of Industrial Engineering, UAS Technikum Vienna(维也纳技术高等专业学院工业工程系)
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成,发现扩散模型表现更优,为姿态估计改进提供新方向。
2024-02-09 cs.CV
Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最近的几何方法需要可靠的三维运动参数的估计,以获得精确的密集的深度图的复杂动态场景从单目图像\cite{kumar2017monocular, ranftl2016dense}。通常,使用图像数据来估计相对3D运动参数的\textbf{precise}测量并验证其准确性是一项具有挑战性的任务。在这项工作中,我们提出了一种替代方法,绕过3D运动估计的要求,以获得一个密集的深度图的动态场景。给定两个连续帧之间的每像素光流对应关系和参考帧的稀疏深度先验,我们表明,我们可以有效地恢复连续帧的密集深度图,而无需求解3D运动参数。我们的方法假设一个分段的平面模型的动态场景,它经历了刚性变换局部,并尽可能刚性的两个连续的帧之间的全球变换。在我们的假设下,我们可以避免显式估计的3D旋转和平移估计场景深度。从本质上讲,我们的配方提供了一种非常规的方式来思考和恢复的复杂动态场景,这是增量和运动自由的性质密集的深度图。我们提出的方法不对动态场景做对象级或任何其他高级先验假设,因此,它适用于广泛的场景。基准数据集上的实验结果表明,我们的方法的多帧的能力。
2019-03-23 cs.CV
Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Monash University(莫纳什大学);SenseTime(商汤科技)
不确定性估计在近年来的文献中得到了广泛的研究,通常可以分为任意不确定性和认知不确定性。在现有的任意不确定性估计框架中,任意不确定性是数据的固有属性,只有无偏的预言模型才能正确地估计。由于预言机模型在大多数情况下是不可访问的,我们提出了一种新的采样和选择策略,在训练时间近似的预言机模型的任意不确定性估计。进一步,我们在基于双头的异方差不确定性估计框架中给出了一个平凡的解,并引入了一个新的不确定性一致性损失来避免它.对于认知不确定性估计,我们认为条件潜变量模型中的内变量是认知不确定性的另一个来源,从而对预测分布进行建模,并探索关于隐藏真模型的有限知识.我们验证了我们对密集预测任务的观察,即,隐藏目标检测。我们的结果表明,我们的解决方案实现了准确的确定性结果和可靠的不确定性估计。
2021-11-22 cs.CV
Dense 3D Regression for Hand Pose Estimation
University of Bonn(波恩大学);KU Leuven(鲁汶大学)
我们提出了一个简单而有效的方法,从一个单一的深度帧的三维手部姿态估计。与以前基于整体3D回归的最先进方法相反,我们的方法适用于密集像素估计。这是通过在姿态参数化中仔细的设计选择来实现的,姿态参数化利用了深度图的2D和3D属性。具体地,我们将姿态参数分解为一组每像素估计,即,2D热图、3D热图和单位3D方向向量场。通过多任务网络级联估计2D/3D联合热图和3D联合偏移,该网络级联是端到端训练的。逐像素的估计可以直接转化为投票方案。然后使用均值偏移的变体来聚合局部投票,同时通过设计来强制执行所估计的3D姿态与逐像素的2D和3D估计之间的共识。我们的方法是高效和高度准确的。在MSRA和NYU手数据集上,我们的方法比以前所有的最先进的方法都要好。在ICVL手数据集上,我们的方法与目前提出的接近饱和的结果相比,达到了相似的精度,并且优于其他各种方法。代码为$\href{"https://github.com/melonwan/denseReg"}{\text{online}}$。
2017-11-24 cs.CV
Self-supervised Learning for Dense Depth Estimation in Monocular Endoscopy
The Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutions(约翰斯·霍普金斯医疗机构)
我们提出了一种自监督的方法来训练卷积神经网络,用于从单目内窥镜数据进行密集深度估计,而无需解剖结构或阴影的先验建模。我们的方法只需要从单目内窥镜视频和多视图立体视觉重建方法,例如运动恢复结构,监督学习稀疏但准确的方式的顺序数据。因此,我们的方法既不需要手动交互,如缩放或标记,也不需要在训练和应用阶段的患者CT。我们证明了我们的方法从两个病人的鼻窦内窥镜数据的性能和验证深度预测定量使用相应的患者CT扫描,我们发现亚毫米级的残留误差。
2018-07-26 cs.CV
Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
IPAI;Dept. of ECE & ASRI, Seoul National University(电子工程与智能机器人研究所,首尔国立大学)
本文提出FECO框架,通过鞋款不变性和地面感知学习,解决单张RGB图像中密集脚部接触估计的鞋款多样性与地面特征提取问题。
2026-03-19 cs.CV
DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes
NAVER LABS(NAVER实验室);University of Maryland(马里兰大学);KAIST(韩国科学技术院)
我们提出了一种新的方法,用于在单目相机移动通过复杂和拥挤的室内环境时从单目相机估计深度,例如,百货公司或地铁站我们的方法通过对动态场景的训练,预测由静态背景和多个移动的人组成的整个场景的绝对尺度深度图。由于很难从拥挤的室内环境中收集密集的深度图,我们设计了我们的训练框架,而不需要从深度传感设备产生的深度。我们的网络利用传统3D重建方法生成的RGB图像和稀疏深度图来估计密集深度图。我们使用两个约束来处理非刚性移动的人的深度,而不明确跟踪他们的运动。我们证明,我们的方法提供了一致的改进,最近的深度估计方法的NAVERLABS数据集,其中包括复杂和拥挤的场景。
2021-08-12 cs.CV
Interacting Hand-Object Pose Estimation via Dense Mutual Attention
The Australian National University(澳大利亚国立大学)
手部目标的三维姿态估计是计算机视觉许多应用成功的关键。该任务的主要重点是有效地建模手和对象之间的交互。为此,现有的作品要么依赖于在计算昂贵的迭代优化中的交互约束,要么只考虑采样的手和对象关键点之间的稀疏相关性。相比之下,我们提出了一种新的密集的相互注意力机制,能够建模细粒度的手和对象之间的依赖关系。具体来说,我们首先构造的手和对象图根据其网格结构。对于每个手节点,我们通过学习的注意力从每个对象节点聚合特征,反之亦然。由于这种密集的相互关注,我们的方法能够产生物理上合理的姿态,具有高质量和实时推理速度。在大型基准数据集上进行的大量定量和定性实验表明,我们的方法优于最先进的方法。该代码可在https://github.com/rongakowang/DenseMutualAttention.git上获得。
2022-11-16 cs.CV
Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
基于学习的单视图深度估计通常不能很好地推广到不可见的数据集。虽然基于学习的两帧深度估计通过学习跨帧匹配特征在一定程度上解决了这个问题,但它在不确定性高的大深度处表现不佳。存在很少的基于学习的多视图深度估计方法。在本文中,我们提出了一种基于学习的,多视图密集深度图和自我运动估计方法,使用递归神经网络(RNN)。我们的模型是专为3D重建从视频输入帧的时间相关。该方法可推广到单视图或双视图密集深度估计。与最近的单视图或双视图基于CNN的深度估计方法相比,我们的模型利用了更多的视图,并实现了更准确的结果,特别是在大距离下。我们的方法在室内和室外基准数据集上产生优于最先进的基于学习的单视图或双视图深度估计方法的结果。我们还证明,我们的方法甚至可以在非常困难的序列上工作,例如内窥镜视频,其中没有任何假设(静态场景,恒定照明,朗伯反射等)。传统的3D重建方法。
2018-05-17 cs.CV
SurfSurg6D: Geometry Consistent Dense Correspondence for Textureless Surgical Instrument Pose Estimation
National University of Singapore(国立新加坡大学);Chinese University of Hong Kong(香港中文大学)
针对无纹理手术器械位姿估计中的数据稀缺和几何一致性挑战,本文构建了SynSurg6D数据集并提出SurfSurg6D密集对应框架,在多个数据集上实现了优于现有方法的RGB-only位姿估计。
2026-05-25 cs.CV
Uncertainty Estimation for End-To-End Learned Dense Stereo Matching via Probabilistic Deep Learning
Leibniz University Hannover(莱布尼茨汉诺威大学)
出于识别错误视差分配的需要,近年来已经提出了用于密集立体匹配的不确定性和置信度估计的各种方法。与许多其他领域一样,特别是基于深度学习的方法已经显示出令人信服的结果。然而,大多数这些方法仅对数据中包含的不确定性进行建模,而忽略了所采用的密集立体匹配过程的不确定性。然而,如果训练数据的域不同于要处理的数据的域,则另外对后者建模是特别有益的。为此,在本工作中,概率深度学习的思想首次应用于密集立体匹配的任务。基于GC-Net结构,提出了一种新的概率神经网络,用于对极线校正立体图像对的深度和不确定性估计的联合估计。所提出的概率神经网络不是直接学习网络参数,而是学习概率分布,从该概率分布中对每个预测进行参数采样。在同一图像对上的多个这样的预测之间的变化允许近似模型不确定性。估计的深度和不确定性信息的质量进行了评估,在三个不同的数据集上进行了广泛的评价。
2020-02-10 cs.CV
Multiple Lane Detection Algorithm Based on Optimised Dense Disparity Map Estimation
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学);University of Bristol(布里斯托尔大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
车道检测对于自动驾驶汽车非常重要。近年来,计算机立体视觉被广泛应用于提高车道线检测系统的精度。本文主要提出了一种基于优化的稠密视差图估计的多车道检测算法,利用t_{n}时刻获得的视差信息优化t_{n+1}时刻的视差估计过程。这是通过在时间t_{n}估计道路模型并且然后在时间t_{n+1}控制用于视差估计的搜索范围来实现的。然后,使用我们以前发布的算法,其中消失点的信息被用来模拟车道检测。实验结果表明,视差估计的运行时间减少了约37%,车道线检测的准确率约为99%。
2018-08-28 cs.CV
Decoupling Spherical Reasoning from Dense Prediction for 360 Depth Estimation
Beijing Jiaotong University(北京交通大学);Hefei University of Technology(合肥工业大学);Shandong University(山东大学)
针对360度深度估计中ERP畸变问题,提出斐波那契球面图(FSG)进行球面推理,并用球面上下文条件化(SCC)模块调制稠密预测,在三个基准上取得更优深度精度。
2026-10-01 cs.CV
RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制与网络系统研究所);California Institute of Technology(加州理工学院)
本文提出RadarCam-Depth,一种四阶段雷达-相机融合框架,通过单目深度预测与稀疏雷达点尺度对齐及细化,实现高精度稠密深度估计,在nuScenes和自采数据集上MAE分别降低25.6%和40.2%。
2024-03-19 cs.CV
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司);Toyota Research Institute(丰田研究院)
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2(密集姿态对象检测器),依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合,以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同,我们提出了一个统一的深度学习网络,允许使用不同的成像模式(RGB或深度)。此外,我们提出了一种新的姿态细化方法,即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应,以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估,不同的数据模式和类型的训练数据在一个受控的设置。主要结论是,RGB擅长对应性估计,而深度有助于姿态精度,如果良好的3D-3D对应性是可用的。自然,它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究,以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果,同时仍然保持快速和可扩展性,与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
Learning Dense Hand Contact Estimation from Imbalanced Data
IPAI;Dept. of ECE & ASRI(电子工程与先进机器人研究所)
针对手部接触数据中的类别与空间不平衡问题,提出HACO框架,采用平衡接触采样和顶点级类别平衡损失,实现稠密手部接触估计的有效学习。
2025-10-23 cs.CV
PaveCap: The First Multimodal Framework for Comprehensive Pavement Condition Assessment with Dense Captioning and PCI Estimation
North Dakota State University(北达科他州立大学);Kwame Nkrumah University of Science and Technology(夸梅·恩克鲁玛科技大学)
本文提出PaveCap多模态框架,结合YOLOv8、SAM与Transformer实现路面PCI定量预测和稠密定性描述,并构建标注数据集验证其在自动化路面评估与维护决策中的有效性。
2024-08-07 cs.CV
Dense Geometry Supervision for Underwater Depth Estimation
School of Computer Science and Technology, Ocean University of China(计算机科学与技术学院,中国海洋大学)
针对水下单目深度估计数据与方法不足的问题,本文利用多视图深度估计构建低成本监督数据集,并提出依据水下光学成像原理设计的纹理-深度融合模块,在 FLSea 上显著提升了准确性与适应性。
2025-06-10 cs.CV
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种深度估计的方法,融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势,准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想,这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法,使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进,在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行,具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
A General Pipeline for Dense Illuminant Estimation via Physically Based Synthetic Data
University of Milano – Bicocca(米兰-比可卡大学)
本文提出一种基于物理3D渲染的通用流程,生成稠密光照标注的合成数据,用于预训练光照估计模型,在数据稀缺时单光照提升28%、多光照提升57%。
2026-10-06 cs.CV
MSplit LBI: Realizing Feature Selection and Dense Estimation Simultaneously in Few-shot and Zero-shot Learning
Peking University(北京大学);Deepwise Inc.(深度智视公司);Fudan University(复旦大学);AITrics Inc.(AITrics公司);Hong Kong University of Science and Technology(香港科技大学)
有效地学习两个空间/子空间之间的表示系数是学习一个好的嵌入模型的一个典型和通用的主题。为了解决这一问题,$L_{1}$正则化被广泛应用于特征选择和避免过拟合,然而$L_{1}$正则化中特征的稀疏估计可能导致训练数据的欠拟合。$L_{2}$正则化也经常使用,但它是一个有偏估计量。本文提出了特征由三个正交部分组成的思想,即\emph{namely}稀疏的强信号、稠密的弱信号和随机噪声,其中强信号和弱信号都对数据的拟合有贡献。为了便于这种新的分解,\emph{MSplit} LBI首次提出实现特征选择和密集估计同时进行。我们提供了理论和仿真验证,我们的方法超过$L_{1}$和$L_{2}$正则化,广泛的实验结果表明,我们的方法达到了最先进的性能在Few-Shot和零样本学习。
2018-06-12 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation
Inria Paris(法国国家信息与自动化研究所巴黎分院)
针对手持相机连拍图像的精细对齐问题,提出联合优化相机运动及逐像素表面深度与朝向的无训练密集对应方法,在小基线合成连拍上优于现有最佳光流方法,并可支持深度估计与三维重建。
2023-12-08 cs.CV
OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas
Centre for Research and Technology Hellas (CERTH)(希腊研究与技术中心(CERTH));Information Technologies Institute (ITI)(信息技术研究所(ITI))
到目前为止,关于深度估计的最近工作仅集中在投影图像上,忽略了现在越来越容易产生的360度内容。我们发现,在传统图像上训练的单目深度估计模型在全向图像上产生次优结果,这表明需要直接在360个数据集上进行训练,然而,这是很难获得的。在这项工作中,我们通过重新使用最近发布的大规模3D数据集并通过渲染将其重新用于360,来规避与获取具有地面真实深度注释的高质量360数据集相关的挑战。这个数据集比类似的投影数据集大得多,公开提供给社区,以便将来在这个方向上进行研究。我们使用该数据集以端到端的方式学习从360个图像进行深度估计的任务。我们在我们的合成数据以及看不见的现实图像中显示出有希望的结果。
2018-07-25 cs.CV
Differentiable Diffusion for Dense Depth Estimation from Multi-view Images
Brown University(布朗大学);KAIST(韩国科学技术院)
我们提出了一种方法来估计密集的深度,通过优化一组稀疏的点,使其扩散到深度图中,最大限度地减少了RGB监督的多视图重投影误差。我们优化点的位置,深度和权重的损失,差分溅射模型点作为高斯分析透射率。此外,我们开发了一个高效的优化例程,可以同时优化复杂场景重建所需的50k+点。我们使用地面实况数据验证了我们的例程,并显示出高重建质量。然后,我们通过自我监督将其应用于光场和更宽的基线图像,并显示从不准确的稀疏点扩散的深度图的平均值和离群值误差的改进。最后,我们将定性和定量结果与图像处理和深度学习方法进行比较。http://visual.cs.brown.edu/diffdiffdepth
2021-06-29 cs.CV
EgoXtreme: A Dataset for Robust Object Pose Estimation in Egocentric Views under Extreme Conditions
Seoul National University(首尔大学);VGG, University of Oxford(牛津大学VGG实验室)
本文提出EgoXtreme数据集,用于评估在极端条件下眼动视角下物体姿态估计的鲁棒性,发现现有方法在极端条件下表现不佳,需进一步改进。
2026-03-26 cs.CV
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation
University of Exeter(埃克塞特大学);Imperial College London(伦敦帝国学院);Foundation for Research and Technology-Hellas(希腊研究与技术基金会)
仅从单目RGB图像对中捕获密集的3D面部运动对于从面部表情识别到面部再现的许多应用来说是一个极具挑战性的问题。在这项工作中,我们提出了DeepFaceFlow,这是一个强大,快速,高精度的框架,用于对单目图像之间的3D非刚性面部流进行密集估计。我们的DeepFaceFlow框架在两个非常大规模的面部视频数据集上进行了训练和测试,其中一个是我们自己的集合和注释,并借助基于遮挡感知和3D的损失函数。我们进行了全面的实验,探索我们的方法的不同方面,并证明其对最先进的流和3D重建方法的性能改善。此外,我们将我们的框架在一个完整的头部国家的最先进的面部视频合成方法,并证明我们的方法在更好地表示和捕捉面部动态的能力,从而在一个高度逼真的面部视频合成。给定注册的图像对,我们的框架以约60 fps的速度生成3D流图。
2020-05-14 cs.CV
From Sparse to Dense: Spatio-Temporal Fusion for Multi-View 3D Human Pose Estimation with DenseWarper
Department of Computer Science, THUAI, BNRist, Tsinghua University, Beijing, China(清华大学北京研究院,清华大学计算机科学系,北京,中国);Dalian University of Technology, Dalian, China(大连理工大学,大连,中国);Apple, Beijing, China(苹果公司,北京,中国);Hong Kong University of Science and Technology (Guang Zhou), Guang Zhou, China(香港科技大学(广州),广州,中国);University of Manchester, Manchester, UK(曼彻斯特大学,曼彻斯特,英国)
本文提出稀疏交错输入方法,通过利用不同视角在不同时间点的图像,提升3D人体姿态估计的时空信息,实现性能提升并突破单视角帧率限制。
2026-05-14 cs.CV
Back to the Feature: Zero-Shot 6DoF Pose Estimation via Dense Local Features
Queen’s University(女王大学)
B2TFPose利用冻结的DINOv3提取稠密局部特征,通过测地线NMS、渲染引导重新对应和多掩膜选择,实现无需训练的零样本6DoF姿态估计,在BOP基准上达到最先进性能。
2026-09-09 cs.CV
Flow-NeRF: Joint Learning of Geometry, Poses, and Dense Flow within Unified Neural Representations
HKUST(香港科技大学)
提出 Flow-NeRF 统一框架,通过以位姿为条件的双射光流映射和跨空间特征增强,联合在线优化几何、相机位姿与稠密光流,并在四类任务上取得优异结果。
2025-03-13 cs.CV
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架,解决多视角视频中动态场景重建与相机姿态估计问题,通过时空连接图实现鲁棒跟踪与密集深度优化,引入宽基线初始化策略和多相机数据集,提升性能与效率。
2026-10-06 cs.CV
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich(苏黎世联邦理工学院)
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位,新兴的密集方法提供了一个引人注目的替代范式,避免了关键点检测步骤。然而,密集流估计往往是不准确的情况下,大位移,闭塞,或均匀的区域。为了将密集方法应用于现实世界的应用,例如姿态估计、图像处理或3D重建,因此,估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络,PDC-Net+,能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法,共同学习流量预测及其不确定性。特别是,我们将预测分布参数化为约束混合模型,确保更好地建模准确的流量预测和离群值。此外,我们开发了一个架构和一个增强的训练策略,专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计,三维重建,基于图像的定位,和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network
Stony Brook University(石溪大学)
本文提出 CheckerPose,通过三维表面关键点渐进定位、二进制像素编码和图神经网络建模,提升单张 RGB 图像的 6-DoF 物体位姿估计精度,并在多个基准上达到最优。
2023-08-13 cs.CV
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London(帝国理工学院);UNIST(蔚山科学技术院)
由于固有的2D-3D映射模糊性和有限的训练数据,从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型,代表可变形和关节手网格。为了实现RGB图像的模型拟合,我们在三个方面进行了研究和贡献:1)神经渲染:受最近人体工作的启发,我们的手部网格估计器(HME)由神经网络和可微分渲染器实现,由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能,并提高了姿态估计精度。2)迭代测试细化:我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计,本着迭代模型拟合方法(如ICP)的精神。这一想法得到了最新人体研究的支持。3)自数据增强:收集用于训练的大小的RGB网格(或分割掩码)-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像,它的网格,即形状和关节,是真实的,我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明,我们的框架在3D姿态估计方面提供了超越最先进的精度,并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University(阿尔托大学);University of Oulu(奥卢大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);Tampere University of Technology(坦佩雷理工大学)
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关,其中ConvNets(CNN)最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果,但它们很难处理我们在这项工作中考虑的强几何变换。在本文中,我们提出了一个由粗到细的基于CNN的框架,可以利用光流方法的优势,并将其扩展到大型变换的情况下,提供密集和亚像素的准确估计。它在合成转换上进行了训练,并对看不见的,现实的数据表现出非常好的性能。此外,我们将我们的方法应用于相对相机姿态估计的问题,并证明该模型优于现有的密集方法。
2018-10-22 cs.CV