Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement
Department of System and Computer Engineering, Carleton University(系统与计算机工程系,卡尔顿大学)
提出两阶段框架,先通过CMRNext独立估计每个相机的外参和2D-3D对应,再通过联合光束法平差优化实现全局一致的多相机标定,显著提升精度和一致性。
2026-05-29 cs.CV
Facetwise Mesh Refinement for Multi-View Stereo
Politecnico di Milano(米兰理工大学)
网格细化是实现精确多视图立体视觉的基本步骤。它修改初始流形网格的几何形状,以最大限度地减少在一组相机对中引起的光度误差。该初始网格通常是基于德洛内三角剖分上的最小切割的体积3D重建的输出。这种方法会产生大量的非流形顶点,因此它们需要一个顶点分裂步骤来显式地修复它们。在本文中,我们扩展了这种方法,通过直接在德洛内三角剖分上进行推理来预先确定非流形顶点,并避免了大多数顶点分裂。本文的主要贡献解决了选择的细化过程中所采用的相机对的问题。我们把这个问题作为一个网格标记过程,其中每个标签对应于一个相机对。与使用每个相机对来细化网格的所有可见部分的最先进方法不同,我们为每个面选择最佳对,以实现整体可见性和覆盖范围。细化步骤仅使用选定的相机对应用于每个面。这种分面细化有助于以尽可能均匀的方式应用该过程。
2020-12-01 cs.CV
SparsePose: Sparse-View Camera Pose Regression and Refinement
University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙弗雷泽大学);Google(谷歌);Vector Institute(向量研究所)
相机姿态估计是标准3D重建流水线中的关键步骤,该流水线对单个对象或场景的密集图像集进行操作。然而,姿态估计的方法往往失败时,只有少数图像是可用的,因为它们依赖于鲁棒地识别和匹配图像对之间的视觉特征的能力。虽然这些方法可以在密集的相机视图下稳健地工作,但捕获大量图像可能是耗时的或不切实际的。我们提出了SparsePose用于恢复精确的相机姿势给定稀疏的宽基线图像集(少于10)。该方法学习回归初始相机姿势,然后在大规模对象数据集(Co 3D:3D中的常见对象)上进行训练后迭代地对其进行优化。SparsePose在恢复精确的相机旋转和平移方面明显优于传统和基于学习的基线。我们还展示了我们的管道高保真3D重建只使用5-9个图像的对象。
2022-11-29 cs.CV
GR-GAN: Gradual Refinement Text-to-image Generation
Beijing University of Posts and Telecommunications(北京邮电大学)
一个好的文本到图像模型不仅要生成高质量的图像,而且要保证文本和生成的图像之间的一致性。以前的模型未能同时很好地修复两侧。本文提出了一种渐进精化生成对抗网络(GR-GAN)来有效地解决该问题。GRG模块用于生成从低分辨率到高分辨率的图像,对应的文本约束从粗粒度(句子)到细粒度(单词)逐段生成,ITM模块用于提供相应阶段的文本-图像和单词-区域两级的图像-文本匹配损失。我们还引入了一个新的度量跨模型距离(CMD),同时评估图像质量和图像-文本的一致性。实验结果表明,GR-GAN显著优于以往的模型,并实现了新的国家的最先进的FID和CMD。详细的分析表明,在GR-GAN中的不同生成阶段的效率。
2022-06-21 cs.AI cs.CV
Erasing the Ephemeral: Joint Camera Refinement and Transient Object Removal for Street View Synthesis
Technical University of Munich(慕尼黑工业大学)
本文提出一种面向室外街景合成的方法,通过神经点光场表示、动态物体检测掩蔽以及相机位姿与视角合成的联合优化,在真实城市数据集上取得了最先进的新视角合成效果。
2023-11-29 cs.CV
Camera-aware Label Refinement for Unsupervised Person Re-identification
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);School of Electronic and Information Engineering, Ningbo University of Technology(宁波工程学院电子与信息工程学院)
针对无监督行人重识别中相机域差距导致特征分布差异的问题,提出CALR框架,通过相机内训练获取局部伪标签、细化全局标签并结合相机对齐模块,提升了识别性能。
2025-04-13 cs.CV
Rethinking Pose in 3D: Multi-stage Refinement and Recovery for Markerless Motion Capture
UCL(伦敦大学学院);University of Surrey(萨里大学)
提出了一种基于CNN的多摄像机无标记人体运动捕捉方法。与现有的方法,首先执行个别相机的姿态估计,并生成3D模型作为后处理,我们的方法利用3D推理在整个多阶段的方法。这种新颖性使我们能够使用人体姿势的临时3D模型来重新考虑关节应该位于图像中的位置,并从过去的错误中恢复过来。我们对3D人体姿势的原则性改进使我们能够利用图像线索,即使是来自我们以前错误检测关节的图像,也可以作为端到端方法的一部分来改进我们的估计。最后,我们演示了如何将多相机设置的高质量输出用作额外的训练源,以提高现有单相机模型的准确性。
2018-08-04 cs.CV
The Unreasonable Effectiveness of Pre-Trained Features for Camera Pose Refinement
Politecnico di Torino(都灵理工大学);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克技术大学捷克信息学、机器人与控制研究所)
针对相机位姿精化是否需要专门训练特征的问题,提出将预训练特征与粒子滤波器、场景可渲染表示结合的简单方法,无需专门训练即达到当前最优效果。
2024-04-16 cs.CV
Floorplan-Aware Camera Poses Refinement
Samsung AI Center(三星人工智能中心)
处理大型室内场景是一项具有挑战性的任务,因为扫描配准和相机轨迹估计方法会随着时间积累误差。因此,重建扫描的质量对于某些应用是不够的,例如基于视觉的定位和导航,其中壁的正确位置是至关重要的。对于许多室内场景,存在技术平面布置图的图像,其中包含有关场景的几何图形和主要结构元素(如墙、分区和门)的信息。我们认为,这样的平面图是一个有用的空间信息来源,它可以指导3D模型优化。标准RGB-D 3D重建流水线由应用于RGB-D序列的跟踪模块和光束法平差(BA)模块组成,光束法平差(BA)模块获取设定的RGB-D序列并校正相机姿态以提高一致性。我们提出了一种新的优化算法,扩展传统BA,利用先验知识的场景结构的平面图的形式。我们在Redwood数据集和我们自己捕获的数据上的实验表明,利用平面图可以提高3D重建的准确性。
2022-10-10 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器(如Microsoft Kinect)生成,深度图都有噪声,并且可能具有较差的初始配准。在本文中,我们介绍了一种方法,这是能够处理离群值,特别是,甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中,以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后,将原始深度图重新配准到融合点云以细化原始相机外部参数。然后,再次使用细化的外部参数执行融合。重复此过程,直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
GibbsLens: Training-Free Camera Control via Block-Conditional Gibbs Refinement
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);South China University of Technology(华南理工大学)
本文提出$h$-control,通过改进采样器结构,解决免训练视频生成中相机控制的逆向问题,提升轨迹一致性与视觉质量的平衡,实现在多个数据集上的最佳表现。
2026-11-05 cs.CV
HGSLoc: 3DGS-based Heuristic Camera Pose Refinement
the College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
提出HGSLoc,一种结合三维重建与启发式精化策略的轻量级即插即用相机位姿优化框架,在多个基准数据集上实现更高定位精度与鲁棒性。
2025-07-14 cs.CV
Multi-View Object Pose Refinement With Differentiable Renderer
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司);Toyota Research Institute(丰田研究院)
本文介绍了一种新的多视图6自由度对象姿态细化方法,重点是改进合成数据上训练的方法。它是基于DPOD检测器,它产生密集的2D-3D之间的模型顶点和图像像素在每帧的对应关系。我们已经选择使用具有已知相对相机变换的多个帧,因为它允许通过可解释的ICP类损失函数引入几何约束。损失函数是用可微渲染器实现的,并迭代优化。我们还证明了完全基于合成数据训练的完整检测和细化管道可以用于自动标记真实数据。我们对LineMOD、Occlusion、Homebrew和YCB-V数据集进行了定量评估,并报告了与在合成和真实数据上训练的最先进方法相比的出色性能。我们的经验表明,我们的方法只需要几帧,是强大的关闭相机的位置和噪声在外部相机校准,使其实际使用更容易,更无处不在。
2022-07-06 cs.CV
GS-CPR: Efficient Camera Pose Refinement via 3D Gaussian Splatting
HKUST(香港科技大学);University of Oxford(牛津大学);Dartmouth College(达特茅斯学院)
本文提出基于3DGS的相机位姿优化框架GS-CPR,利用3DGS渲染图像和深度图建立2D-3D对应关系,并结合MASt3R模型与曝光自适应模块,在室内外视觉定位基准上实现了超越NeRF方法的准确性与运行效率。
2025-03-01 cs.CV
URNet: Uncertainty-aware Refinement Network for Event-based Stereo Depth Estimation
Technical University of Munich (TUM)(慕尼黑技术大学)
本文提出面向事件立体深度估计的URNet,通过局部-全局细化模块和KL散度不确定性建模提升预测可靠性,并在DSEC数据集上超越SOTA方法。
2025-09-18 cs.CV
Robust Camera Pose Refinement for Multi-Resolution Hash Encoding
Korea University(高丽大学);NAVER AI Lab(NAVER人工智能实验室);AI Institute of Seoul National University(首尔国立大学人工智能研究院)
最近提出了多分辨率散列编码以减少神经渲染(例如NeRF)的计算成本。该方法需要精确的摄像机姿态用于给定场景的神经渲染。然而,与以前的方法联合优化相机姿态和3D场景相反,使用多分辨率哈希编码的朴素的基于梯度的相机姿态细化方法严重恶化了性能。我们提出了一个联合优化算法来校准摄像机的姿态,并学习使用高效的多分辨率哈希编码的几何表示。散列编码的振荡梯度流干扰相机姿态的配准,我们的方法通过利用平滑插值加权来稳定散列网格上射线采样的梯度振荡来解决这个问题。此外,课程训练过程有助于学习逐层哈希编码,进一步提高姿势细化。在新颖视图合成数据集上的实验验证了我们的学习框架实现了最先进的性能和神经渲染的快速收敛,即使初始相机姿态未知。
2023-02-03 cs.AI cs.CV cs.GR
Scaling Multi-Camera 3D Object Detection through Weak-to-Strong Eliciting
The Hong Kong University of Science & Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science & Technology(香港科技大学);PhiGent Robotics(菲格特机器人公司);Shanghai Jiao Tong University(上海交通大学)
针对多相机3D检测扩展训练中的环视精炼退化,提出弱到强引导框架,结合有偏专家、复合蒸馏与数据集合并策略,在多数据集基准上显著提升多个基线。
2024-04-10 cs.CV
Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia(不列颠哥伦比亚大学);University of Cambridge(剑桥大学)
本研究针对图像生成模型易产生幻觉的问题,提出可集成于各类生成建模技术的迭代流匹配方法,通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
EOGS++: Earth Observation Gaussian Splatting with Internal Camera Refinement and Direct Panchromatic Rendering
Universite Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli(巴黎萨克雷大学,法国国家科学研究中心,巴黎萨克雷高等师范学校,博雷利中心);Politecnico di Torino(都灵理工大学);AMIAD, Pôle Recherche(AMIAD,研究部);Institut Universitaire de France(法兰西大学研究院)
EOGS++在卫星影像中直接操作高分辨率全色数据,通过内部相机细化和优化流程提升重建质量和几何精度,实验表明其在重建质量和效率上优于原有方法和其他NeRF方法。
2026-03-27 cs.CV
CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes
SenseTime(商汤科技)
对于自动驾驶汽车,LiDAR和摄像头的精确校准是多传感器感知系统的先决条件。然而,现有的校准技术要么需要复杂的设置与各种校准目标,或预先提供的初始校准,这极大地阻碍了它们在大规模自主车辆部署中的适用性。为了解决这些问题,我们提出了一种新的方法来校准激光雷达和摄像机在道路场景中的外部参数。我们的方法介绍了从静态直线形状的物体,如道路车道和电线杆在图像和点云的线功能,并制定了外部参数的初始校准作为一个透视3线(P3L)的问题。随后,根据线特征的语义约束定义的成本函数被设计用于对求解的粗校准执行细化。整个过程是全自动和用户友好的,无需调整环境设置或提供初始校准。我们在KITTI和我们的内部数据集上进行了大量的实验,定量和定性的结果证明了我们的方法的鲁棒性和准确性。
2021-03-08 cs.CV cs.RO
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota(明尼苏达大学)
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系,并逐渐删除错误的对应关系。然而,建立一对一的对应与硬分配是非常困难的,特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法,保留所有可能的对应关系,为每个关键点匹配时,部分点云的完整点云。这些不确定的对应关系,然后逐渐更新与估计的刚性变换,考虑匹配成本。此外,我们提出了一个新的点特征描述符,衡量局部点云区域之间的相似性。大量的实验表明,我们的方法优于国家的最先进的(SoTA)的方法,即使在同一类别中匹配不同的对象。值得注意的是,我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法,高达20%。
2022-09-28 cs.CV
DeltaSplat: Iterative Gaussian Refinement for Pose-Free Feed-Forward 3D Gaussian Splatting
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
DeltaSplat通过迭代渲染残差并利用普吕克射线和深度先验细化高斯,以轻量模块纠正无位姿前馈3DGS的相机误差,在DL3DV上提升1.75 dB PSNR并超越真值相机基线。
2026-10-08 cs.CV
Deep End-to-End Alignment and Refinement for Time-of-Flight RGB-D Module
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
最近,为移动RGB相机配备用于主动深度感测的飞行时间(ToF)传感器越来越流行。然而,对于现成的ToF传感器,为了获得相对于RGB相机的高质量深度,必须解决两个问题,即1)在线校准和对准;以及2)ToF深度感测的复杂误差校正。在这项工作中,我们提出了一个框架,通过深度学习联合对齐和细化。首先,估计RGB图像和ToF振幅图像之间的交叉模态光流以用于对准。然后,通过改进的内核预测网络来细化对齐的深度,该网络执行内核归一化并在动态卷积之前应用偏差。为了丰富端到端训练的数据,我们还使用计算机图形学工具合成了一个数据集。实验结果表明,我们的方法的有效性,实现国家的最先进的ToF细化。
2019-09-17 cs.CV
Multi-Sensor 3D Object Box Refinement for Autonomous Driving
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个三维目标检测系统与多传感器细化自动驾驶的背景下。在我们的框架中,单目摄像机作为基本的传感器的2D对象的建议和初始的3D限界框预测。而立体相机和LiDAR被视为自适应插件传感器,以改善3D框定位性能。对于原始测量域中的每个观察到的元素(例如,像素用于立体,3D点用于LiDAR),我们将局部几何形状建模为实例矢量表示,其指示每个元素相对于对象框架的3D坐标。使用这种统一的几何表示,可以通过立体光度对准或点云对准来统一细化3D对象位置。我们展示了优越的3D检测和定位性能相比,最先进的单眼,立体的方法和竞争力的性能相比,基线激光雷达方法的KITTI对象基准。
2019-11-19 cs.CV
CalibRefine: Deep Learning-Based Online Automatic Targetless LiDAR-Camera Calibration with Iterative and Attention-Driven Post-Refinement
Department of Electrical and Computer Engineering, The University of Arizona(电气与计算机工程系,亚利桑那大学);Center For Urban Informatics and Progress (CUIP), UTC Research Institute, University of Tennessee at Chattanooga(城市信息与进步中心(CUIP)、UTC研究机构、田纳西大学查塔努加分校);Electrical Engineering Department, University of San Francisco(电气工程系,旧金山大学)
针对现有激光雷达-相机标定依赖靶标、初值或预处理的局限,提出全自动无目标在线标定框架CalibRefine,经四阶段处理实现高精度标定,性能优于现有无目标方法,达人工调优基线水平。
2025-09-01 cs.CV cs.SY eess.SY
R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软)
针对多相机动态场景稠密3D重建结果不完整不一致的问题,提出R3D3系统,通过几何估计与单目深度优化迭代结合可学习场景先验,在DDAD和NuScenes基准上实现SOTA稠密深度预测。
2023-08-28 cs.CV
Row-wise LiDAR Lane Detection Network with Lane Correlation Refinement
Korea Advanced Institute of Science and Technology(韩国科学技术院)
车道线检测是自动驾驶的重要功能之一。近年来,基于深度学习的RGB摄像头图像车道检测网络表现出了良好的性能。然而,基于相机的方法固有地易受不利照明条件(例如,不良或耀眼的照明)的影响。与相机不同,LiDAR传感器对照明条件具有鲁棒性。在这项工作中,我们提出了一种新的两阶段激光雷达车道检测网络与逐行检测方法。第一阶段网络通过全局特征相关器主干和行式检测头产生车道建议。同时,第二阶段网络通过基于注意力的机制在车道建议周围的局部特征之间细化第一阶段网络的特征图,并输出一组新的车道建议。在K-Lane数据集上的实验结果表明,该网络在F1分数方面取得了最新进展,GFLOPs减少了30%。此外,第二阶段的网络被发现是特别强大的车道阻塞,从而证明了所提出的网络在拥挤的环境中驾驶的鲁棒性。
2022-10-17 cs.CV
PBRnet: Pyramidal Bounding Box Refinement to Improve Object Localization Accuracy
Key Laboratory of Intelligent Information Processing, Advanced Computer Research Center, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室(先进计算机研究中心));School of Computer and Control Engineering, University of Chinese Academy of Sciences (UCAS)(中国科学院大学计算机与控制工程学院);Department of Radiology, Suining Central Hospital(遂宁市中心医院放射科);Peking University(北京大学)
近年来发展起来的目标检测器都是基于粗到细的框架,它包含了从粗到细的分类和回归过程,并逐渐获得更精确的目标检测。多分辨率模型,如特征金字塔网络(FPN),集成了不同分辨率的信息,有效地提高了性能。先前的研究也表明,定位可以进一步改善:1)使用细粒度的信息,这是更多的平移变量; 2)细化局部区域,这是更侧重于局部边界信息。在此基础上,设计了一种新的边界细化结构,将粗到细的框架与特征金字塔结构相结合,称为金字塔限界框细化网络(Pyramidal Bounding Box Refinement Network,PBRnet),该网络对目标的边界区域进行参数化,并在细化预测边界框时利用较低层次的特征映射来提取更精细的局部信息。在MS-COCO数据集上进行了大量的实验。当添加到FPN或Libra R-CNN时,PBRnet带来了大约3个点的$mAP$的显著性能增益。此外,通过将Cascade R-CNN视为粗到细检测器并将其定位分支替换为PBRnet的回归器,它将性能提高了1.5 $mAP$,从而使总性能提高了高达5个$mAP$点。
2020-03-10 cs.CV
HR-APR: APR-agnostic Framework with Uncertainty Estimation and Hierarchical Refinement for Camera Relocalisation
The Hong Kong University of Science and Technology(香港科技大学);University of Oxford(牛津大学)
提出APR无关框架HR-APR,通过余弦相似度估计不确定性并用于位姿精修,在保持SOTA精度的同时显著降低计算开销。
2024-04-18 cs.CV cs.RO
Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电气工程学院);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克技术大学捷克信息学、机器人学与控制论研究所);NAVER LABS Europe(NAVER欧洲实验室)
本文提出自监督联合学习神经隐式场景表征、三维稠密特征场与二维特征提取器,通过对比对齐、表面排序正则和体素渲染实现鲁棒视觉定位。
2024-06-12 cs.CV
Radar-Camera Sensor Fusion for Joint Object Detection and Distance Estimation in Autonomous Vehicles
The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
在本文中,我们提出了一种新的雷达-摄像机传感器融合框架,用于自动驾驶场景中的精确目标检测和距离估计。该架构采用中间融合的方法来融合雷达点云和RGB图像。我们的雷达对象建议网络使用雷达点云从一组3D先验框中生成3D建议。这些建议被映射到图像,并输入到雷达建议细化(RPR)网络中,以进行对象分数预测和框细化。RPR网络利用雷达信息和图像特征地图来生成准确的目标建议和距离估计。基于雷达的建议与基于图像的建议相结合,由修改后的区域建议网络(RPN)生成。RPN有一个距离回归层,用于估计每个生成的建议的距离。基于雷达和基于图像的建议被合并并用于下一阶段的物体分类。在具有挑战性的nuScenes数据集上的实验表明,我们的方法在2D目标检测任务中优于其他现有的雷达-相机融合方法,同时准确地估计物体的距离。
2020-09-17 cs.CV
Pixel-Perfect Structure-from-Motion with Featuremetric Refinement
Microsoft(微软);ETH Zurich(苏黎世联邦理工学院)
找到在多个视图中可重复的局部特征是稀疏3D重建的基石。经典的图像匹配范例一次性地检测每个图像的关键点,这可能产生局部化不好的特征并将大的误差传播到最终的几何形状。在本文中,我们细化的两个关键步骤的运动恢复结构的低级别的图像信息从多个视图的直接对齐:我们首先调整任何几何估计之前的初始关键点的位置,并随后细化点和相机构成作为后处理。这种改进对于大的检测噪声和外观变化是鲁棒的,因为它基于由神经网络预测的密集特征来优化特征度量误差。这显著提高了相机姿态和场景几何的准确性,适用于各种关键点检测器、具有挑战性的观看条件和现成的深度特征。我们的系统可以轻松扩展到大型图像集合,实现大规模的像素完美众包本地化。我们的代码作为流行的SfM软件COLMAP的附加组件在https://github.com/cvg/pixel-perfect-sfm上公开提供。
2021-08-18 cs.CV
Calibration-Informative Region Selection for Online LiDAR--Camera Calibration in Agricultural Environments
Lincoln Institute for Agri-Food Technology, University of Lincoln, UK(林肯农业食品技术研究所,林肯大学,英国)
提出一种基于支持图的在线LiDAR-相机标定方法,通过密集标定支持图识别可靠观测区域,提升标定精度。
2026-05-22 cs.CV
Learn by Guessing: Multi-Step Pseudo-Label Refinement for Person Re-Identification
Universidade de Brasília(巴西利亚大学)
无监督领域自适应(UDA)方法用于人的重新识别(Re-ID),其依赖于目标领域样本来对数据的边缘分布进行建模。为了处理目标域标签的缺乏,UDA方法利用来自标记的源样本和未标记的目标样本的信息。一种有前途的方法依赖于使用无监督学习作为管道的一部分,例如聚类方法。聚类的质量显然在方法性能中起着重要作用,但这一点被忽视了。在这项工作中,我们提出了一个多步骤的伪标签细化方法来选择最好的可能的集群,并不断改进它们,使这些集群变得更接近类划分,而无需类标签的知识。我们的改进方法包括聚类选择策略和基于摄像机的归一化方法,该方法减少了在人Re-ID中使用多个摄像机所引起的域内变化。这使得我们的方法能够在DukeMTMC-Market 1501(源目标)上达到最先进的UDA结果。在Market 1501-DukeMTMC数据集上,我们超过了UDA Re-ID的3.4%,这是一个更具挑战性的适应设置,因为目标域(DukeMTMC)有八个不同的摄像头。此外,基于相机的归一化方法导致训练收敛所需的迭代次数显著减少。
2021-01-04 cs.AI cs.CV
Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based Motion Refinement
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
针对单鱼眼相机自我中心全身动捕面临的数据缺乏、畸变和自遮挡问题,提出 FisheyeViT 姿态估计、手部专用网络及扩散运动先验,并构建 EgoWholeBody 数据集验证有效性。
2023-12-02 cs.CV
Scene Graph to Image Generation with Contextualized Object Layout Refinement
Tel-Aviv University(特拉维夫大学)
从场景图生成图像是一项具有挑战性的任务,最近吸引了大量的兴趣。先前的工作已经通过生成目标图像的中间布局描述来完成该任务。然而,布局中每个对象的表示都是独立生成的,这导致了高重叠、低覆盖和整体模糊的布局。我们提出了一种新的方法,通过逐步生成整个布局描述来改善对象间的依赖性,从而解决了这些问题。我们在COCO-STUFF数据集上的经验表明,我们的方法提高了中间布局和最终图像的质量。我们的方法将布局覆盖率提高了近20个点,并将对象重叠降低到可以忽略的程度。
2022-10-10 cs.CV
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST(香港科技大学);Nuro Inc.(努罗公司);Scale AI(Scale人工智能公司)
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中,我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层,一个相机姿态细化模块,和一个深度融合网络。给定光流和相机姿态,我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的,因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外,深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明,我们的方法优于最先进的深度估计方法,并且具有合理的跨数据集泛化能力:我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
Uncertainty-Aware Camera Pose Estimation from Points and Lines
SLAMcore(SLAMcore公司);Kognia Sports Intelligence(科尼亚体育智能公司)
透视n点和线(P $n$ PL)算法旨在根据2D-3D特征对应关系相对于3D模型快速、准确和鲁棒地定位相机,是现代机器人和AR/VR系统的主要部分。现有的基于点的姿态估计方法只考虑了2D特征检测的不确定性,而基于线的姿态估计方法没有考虑不确定性。在我们的设置中,特征的3D坐标和2D投影都被认为是不确定的。我们提出了基于EPOND和DLS的PPOND(L)求解器,用于不确定性感知的姿态估计。我们还修改了只运动光束法平差,以考虑到3D的不确定性。我们在两个不同的视觉里程计数据集上进行了详尽的合成和真实实验。新的PSTK(L)方法在孤立的真实数据上优于最先进的方法,在KITTI的代表性子集上显示平均平移精度提高了18%,而新的不确定细化提高了大多数求解器的姿态精度,例如,与相同数据集上的标准细化相比,EPSTK的平均平移误差降低了16%。该代码可在https://alexandervakhitov.github.io/uncertain-pnp/上获得。
2021-07-08 cs.CV
TartanCalib: Iterative Wide-Angle Lens Calibration using Adaptive SubPixel Refinement of AprilTags
Carnegie Mellon University(卡内基梅隆大学)
广角摄像机是移动机器人的独特定位,凭借其在小,轻,具有成本效益的形状因子提供丰富的信息。本征函数和外征函数的精确校准是使用广角镜头的边缘进行深度感知和测距的关键先决条件。由于边缘处的极端失真,使用当前最先进的技术校准广角镜头产生差的结果,因为大多数算法假设镜头具有更接近针孔投影的低到中等失真。在这项工作中,我们提出了精确的广角校准方法。我们的管道生成一个中间模型,并利用它来迭代地改进特征检测,并最终改进相机参数。我们测试了三种利用中间相机模型的关键方法:(1)将图像不失真到虚拟针孔相机中,(2)将目标重新投影到图像帧中,以及(3)自适应子像素细化。将自适应子像素细化和特征重投影相结合,可以将重投影误差显著提高26.59%,帮助我们检测到多达42.01%的特征,并提高密集深度映射下游任务的性能。最后,TartanCalib是开源的,并被实现为一个易于使用的校准工具箱。我们还提供了一个带有其他最先进作品的转换层,它允许使用数千个参数或使用更强大的求解器来回归通用模型。为此,TartanCalibb是广角校准的首选工具。项目网址及代码:http://tartancalib.com。
2022-10-05 cs.CV cs.RO
Triangulation-Free Bundle Adjustment with Graduated Non-Convexity for Camera Pose Refinement from Coarse Priors
本文提出无三角化的分级非凸性光束平差法,避免先验误差固化,在单CPU上实现高精度相机位姿优化,抗扰动能力优于传统方法,效率远高于学习型优化器。
2026-08-24 cs.CV
Field Converter: Geometry-Initialized Temporal Residual Refinement for World-Grounded Player Pose Estimation from Soccer Broadcasts
Institut de Biomécanique Humaine Georges Charpak (IBHGC), Arts et Métiers ParisTech(乔治·沙帕克人体生物力学研究所(IBHGC),巴黎高科国立高等工艺学校);French Football Federation (FFF)(法国足球联合会(FFF))
提出Field Converter,利用球场几何初始化球员根部位置,并通过时间残差精化将世界坐标下姿态估计误差从49厘米降至10-11厘米,优于直接回归方法。
2026-09-10 cs.CV
Pose Refinement with Joint Optimization of Visual Points and Lines
OPPO Research Institute(OPPO研究院);Shanghai Jiao Tong University(上海交通大学)
在预先建立的3D环境地图中的高精度相机重新定位技术是许多任务的基础,例如增强现实,机器人和自动驾驶。基于点的视觉重定位方法是近几十年来发展较为成熟的方法,但在一些特征较少的情况下仍存在不足。在本文中,我们设计了一个完整的流水线的相机位姿细化点和线,其中包括创新设计的线提取CNN VLSE,线匹配和姿态优化方法。我们采用了一种新的线表示,并定制了一个基于堆叠沙漏网络的混合卷积块,以检测图像上准确和稳定的线特征。然后,我们应用基于几何的策略,以获得精确的2D-3D线对应使用极线约束和重投影滤波。通过构造点-线联合代价函数,利用点定位的初始粗姿态对摄像机姿态进行优化。在开放数据集上进行了充分的实验,即Wireframe和YorkUrban上的直线提取器,InLoc duc 1和duc 2上的定位性能,验证了点线联合位姿优化方法的有效性。
2022-07-26 cs.CV cs.RO
calibfusion: Transformer-Based Differentiable Calibration for Radar-Camera Fusion Detection in Water-Surface Environments
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
CalibFusion通过端到端学习隐式外校准,提升水表面环境下雷达-摄像头融合检测的鲁棒性和精度。
2026-03-03 cs.AI cs.CV
Pose-Free Feed-Forward 3D Inpainting via Learnable Mask Attention and Support Token Refinement
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
FreeInpaint是一种无姿态前馈三维补全框架,通过可学习掩码注意力与支持令牌优化解决掩码输入适配问题,无需预计算相机姿态即可实现高质量三维场景补全,且推理速度快。
2026-10-09 cs.CV
DFineNet: Ego-Motion Estimation and Depth Refinement from Sparse, Noisy Depth Input with RGB Guidance
University of Pennsylvania(宾夕法尼亚大学)
深度估计是自主车辆理解和重建3D环境以及在执行期间避开障碍物的重要能力。精确的深度传感器(例如LiDAR)通常是重的、昂贵的,并且只能提供稀疏的深度,而较轻的深度传感器(例如立体相机)相比之下噪声较大。我们提出了一种端到端的学习算法,它能够使用稀疏的、有噪声的输入深度进行细化和深度完成。我们的模型还生成相机姿势作为副产品,使其成为自主系统的绝佳解决方案。我们在室内和室外数据集上评估了我们的方法。实验结果表明,该方法在KITTI~ \cite{kitti_geiger2012we}数据集上表现良好,在TUM~ \cite{sturm12iros}数据集上具有较好的稀疏、噪声输入深度处理性能.
2019-08-14 cs.CV cs.RO
TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
针对自中心3D人体姿态估计难题,提出TSR-Ego框架,结合短期运动证据与投影引导特征采样,通过因果深度可分离时间卷积和多种自注意力机制细化3D关节查询,实验证明其性能领先,尤其在真实世界序列中优势明显。
2026-07-13 cs.CV
Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images
Fudan University(复旦大学);Google(谷歌);Nuro, Inc.(Nuro公司)
我们研究的问题,形状生成的三维网格表示从少量的彩色图像或没有相机构成。虽然以前的许多作品都是直接从先验知识中学习幻觉形状,但我们通过利用图形卷积网络的交叉视图信息来进一步提高形状质量。我们的模型不是建立一个从图像到3D形状的直接映射函数,而是学习预测一系列变形,以迭代地改进粗糙的形状。受传统的多视图几何方法的启发,我们的网络对初始网格顶点位置周围的附近区域进行采样,并使用从多个输入图像构建的感知特征统计来推断最佳变形。大量的实验表明,我们的模型产生准确的3D形状,不仅是视觉上似乎从输入的角度来看,但也很好地对准任意的观点。在物理驱动架构的帮助下,我们的模型还表现出跨不同语义类别和输入图像数量的泛化能力。模型分析实验表明,我们的模型是鲁棒的初始网格的质量和相机姿态的错误,并可以与可微渲染器相结合的测试时优化。
2022-04-21 cs.CV
Uncertainty-Aware Diffusion Guided Refinement of 3D Scenes
University of California, Riverside, USA(加州大学河滨分校)
针对单图像三维重建中未见区域模糊的问题,提出利用预训练视频扩散模型迭代细化高斯场景,结合傅里叶风格迁移与语义不确定性引导,在真实数据集上取得更优的新视角合成效果。
2025-10-08 cs.CV
Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen DJI Sciences and Technologies Ltd.(深圳市大疆创新科技有限公司);Tsinghua University(清华大学)
从图像中估计深度图是机器人系统中的重要任务。现有的方法可以分为两组,包括多视图立体视觉和单目深度估计。前者要求摄像机之间有较大的重叠区域和足够的基线,而后者对每幅图像进行独立处理,很难保证摄像机之间的结构一致性。在本文中,我们提出了一种新的多摄像机协作深度预测方法,不需要大的重叠区域,同时保持摄像机之间的结构一致性。具体来说,我们制定的深度估计作为一个加权组合的深度基础,其中的权重迭代更新的细化网络驱动的建议的一致性损失。在迭代更新期间,跨相机比较深度估计的结果,并且在基公式的帮助下将重叠区域的信息传播到整个深度图。在DDAD和NuScenes数据集上的实验结果证明了该方法的优越性能。
2022-10-05 cs.CV
An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion
Tsinghua University(清华大学)
本文提出一种面向事件的扩散-细化方法,通过将事件流视为3D事件云并利用基于扩散的生成模型从粗到细生成密集事件,同时恢复精确时间戳,有效解决了稀疏事件补全问题,并提升了下游任务性能。
2024-01-06 cs.CV
Correcting Camera Shake by Incremental Sparse Approximation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
在模糊核未知的情况下,图像去模糊的问题经过几十年的研究仍然具有挑战性。最近,在校正由相机抖动引起的不规则模糊图案方面已经取得了快速进展,但是仍然存在很大的改进空间。本文提出了一种新的基于增量稀疏边缘近似的盲解卷积方法来恢复由相机抖动引起的图像模糊。我们首先仅从图像中最强的边缘估计模糊核,然后通过允许越来越弱的边缘来逐渐细化此估计。我们的方法与最先进的基准去模糊性能竞争,同时显着更快,更容易推广。
2013-02-07 cs.CV cs.GR
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架,解决多视角视频中动态场景重建与相机姿态估计问题,通过时空连接图实现鲁棒跟踪与密集深度优化,引入宽基线初始化策略和多相机数据集,提升性能与效率。
2026-10-06 cs.CV
DytanVO: Joint Refinement of Visual Odometry and Motion Segmentation in Dynamic Environments
Carnegie Mellon University(卡内基梅隆大学)
针对动态环境下视觉里程计易失效的问题,提出DytanVO框架,联合优化相机自运动与运动分割,在真实动态场景中ATE较现有最优VO方法提升27.7%,泛化性良好。
2023-04-29 cs.CV cs.RO
BRIGHT-VO: Brightness-Guided Hybrid Transformer for Visual Odometry with Multi-modality Refinement Module
Shanghai University(上海大学)
本文提出BrightVO,一种基于Transformer架构并集成IMU多模态优化模块的视觉里程计模型,通过位姿图优化提升低光照环境下的位姿估计精度,并构建合成低光照数据集KiC4R,在KITTI和KiC4R上取得SOTA表现。
2025-04-30 cs.CV