Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask
Illinois Institute of Technology(伊利诺伊理工学院)
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优点。在本文中,我们学习通过将分层运动表示与深度学习相结合来估计光流。代替预先分割的图像层,所提出的方法自动生成一个分层表示的光流使用建议的软掩模模块。软掩模模块的基本组成部分是最大输出和融合操作,这使得光流的不相交分层表示和更准确的流量估计。我们表明,通过使用掩码的运动估计结果在输出层的输入功能的二次函数。所提出的软掩模模块可以添加到任何现有的光流估计网络,通过替换它们的流输出层。在这项工作中,我们使用FlowNet作为基础网络,我们添加软掩码模块。由此产生的网络进行了测试,在三个著名的基准与监督和无监督的流量估计任务。评价结果表明,与原FlowNet相比,该网络取得了更好的效果。
2018-05-09 cs.CV
Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
在本文中,我们提出了一个统一的方法来联合学习光流和立体匹配。我们的第一个直觉是立体匹配可以建模为光流的特殊情况,我们可以利用立体视频背后的3D几何来指导这两种形式的对应关系的学习。然后,我们将这些知识纳入最先进的自监督学习框架,并训练一个单一的网络来估计流量和立体声。其次,我们揭示了以前的自监督学习方法中的瓶颈,并提出创建一组新的具有挑战性的代理任务来提高性能。这两种见解产生了一个单一的模型,在KITTI 2012和2015基准测试中,该模型在所有现有的无监督流和立体方法中达到了最高的准确性。更值得注意的是,我们的自监督方法甚至优于几种最先进的完全监督方法,包括KITTI 2012上的PWC-Net和FlowNet 2。
2020-04-05 cs.CV cs.LG
Finding Correspondences for Optical Flow and Disparity Estimations using a Sub-pixel Convolution-based Encoder-Decoder Network
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
深度卷积神经网络(DCNN)最近在光流和视差估计等低级计算机视觉问题中显示出了有希望的结果,但仍有很大的空间进一步提高其性能。在本文中,我们提出了一种新的基于亚像素卷积的编码器-解码器网络的光流和视差估计,它可以扩展FlowNetS和DispNet通过使用超像素卷积块代替反卷积层。通过在解码器级上使用亚像素细化和估计而不是去卷积,即使在参数数量减少的情况下,我们也可以显著提高对光流和视差的估计精度。我们展示了我们提出的网络的有监督的端到端训练,用于光流和视差估计,以及用于单目深度和姿态估计的无监督的端到端训练。为了验证我们提出的网络的有效性,我们进行了密集的实验(i)光流和视差估计,(ii)单眼深度和姿态估计。在整个广泛的实验中,我们提出的网络在估计精度和训练时间方面优于FlowNetS和DispNet等基线。
2018-10-07 cs.CV cs.LG
Self-Supervised Depth and Ego-Motion Estimation for Monocular Thermal Video Using Multi-Spectral Consistency Loss
KAIST(韩国科学技术院)
热像仪可以在恶劣的光线条件下(如夜景,隧道和灾难场景)稳健地捕获热辐射图像。然而,尽管有这个优点,但到目前为止,热成像相机的深度和自我运动估计研究都没有得到积极的探索。在本文中,我们提出了一个自监督学习方法的深度和自我运动估计从热图像。所提出的方法利用多光谱的一致性,包括温度和光度一致性损失。温度一致性损失提供了一个基本的自我监督信号,通过重建裁剪和彩色热图像。此外,我们设计了一个可微的前向变形模块,可以将估计的深度图和相对姿态的坐标系从热成像相机转换到可见光相机。基于所提出的模型,光度一致性损失可以提供补充的自我监督网络。用所提出的方法训练的网络在低光甚至零光条件下从单目热视频鲁棒地估计深度和姿态。据我们所知,这是第一个工作,同时估计深度和自我运动从单目热视频在一个自我监督的方式。
2022-07-07 cs.CV cs.RO
Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation
Peking University(北京大学)
事件相机为视觉感知提供了有前途的替代方案,特别是在高速和高动态范围场景中。最近,许多深度学习方法在为许多基于事件的问题(例如光流估计)提供有前途的解决方案方面取得了巨大成功。然而,现有的深度学习方法没有从建筑设计的角度很好地解决时态信息的重要性,无法有效地提取时空特征。另一种利用脉冲神经网络的研究受到更深层次结构的训练问题的困扰。为了解决这些问题,提出了一种新的输入表示法,该表示法捕获事件的时间分布以用于信号增强。此外,我们介绍了一个时空递归的编码-解码神经网络架构的事件为基础的光流估计,它利用卷积门控递归单元提取特征映射从一系列的事件图像。此外,我们的架构允许一些传统的基于帧的核心模块,如相关层和迭代残差细化方案,被纳入。该网络在多车辆立体事件相机数据集上进行端到端的自监督学习训练。我们已经证明,它优于所有现有的国家的最先进的方法,由一个很大的利润。代码链接是https://github.com/ruizhao26/STE-FlowNet。
2022-04-05 cs.CV
RMS-FlowNet: Efficient and Robust Multi-Scale Scene Flow Estimation for Large-Scale Point Clouds
DFKI – German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
所提出的RMS-FlowNet是一种新型的端到端的基于学习的架构,用于精确和高效的场景流估计,可以在高密度的点云上操作。对于分层场景流估计,现有的方法依赖于昂贵的最远点采样(FPS)或基于结构的缩放,这降低了它们处理大量点的能力。与这些方法不同,我们基于我们的全监督架构的随机采样(RS)的多尺度场景流预测。为此,我们提出了一种新的流嵌入设计,它可以预测更强大的场景流结合RS。我们的RMS-FlowNet具有很高的准确性,提供了比最先进的方法更快的预测速度,并且一次可以有效地处理超过250 K点的连续密集点云。我们的综合实验验证了RMS-FlowNet在具有不同点云密度的FlyingThings 3D数据集上的准确性,并验证了我们的设计选择。此外,我们表明,我们的模型具有竞争力的能力,可以在不进行微调的情况下推广到KITTI数据集的真实场景。
2022-04-01 cs.CV
CalibFree: Self-Supervised View Feature Separation for Calibration-Free Multi-Camera Multi-Object Tracking
University of Maryland, College Park, MD, USA(马里兰大学);NEC Laboratories America, Princeton, NJ, USA(NEC美国实验室);University of North Carolina, Greenboro, NC, USA(北卡罗来纳大学格林伯格分校)
本文提出CalibFree,一种无需标定或手动标注的自监督表示学习框架,通过单视图蒸馏和跨视图重建实现视图无关与视图特定特征分离,提升多摄像机多目标跟踪的准确性和适应性。
2026-05-10 cs.CV
2D LiDAR Map Prediction via Estimating Motion Flow with GRU
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
在机器人导航和路径规划中,预测下一时刻的二维LiDAR地图是一个重要的问题。为了解决这个问题,我们求助于相邻地图之间的运动流,因为运动流是处理和分析动态数据的有力工具,在视频处理中称为光流。然而,与视频不同,视频在每帧中包含丰富的视觉特征,2D LiDAR地图缺乏独特的局部特征。为了缓解这一挑战,我们建议基于深度神经网络来估计运动流,这是受到其在估计视频的光流方面的强大表示学习能力的启发。为此,我们设计了一个基于门控递归单元的递归神经网络,称为LiDAR-FlowNet。由于递归神经网络可以对时间动态信息进行编码,因此我们的LiDAR-FlowNet可以仅从当前帧和先前帧估计当前地图和未知下一个地图之间的运动流。进一步设计了一种自监督策略来有效地对LiDAR-FlowNet模型进行训练,而不需要人工标注训练数据。利用估计的运动流,可以直接预测下一时刻的2D LiDAR地图。实验结果验证了我们的LiDAR-FlowNet以及所提出的训练策略的有效性。预测LiDAR地图的结果也显示了我们基于运动流的方法的优势。
2019-02-19 cs.CV cs.RO
What Matters in Unsupervised Optical Flow
Robotics at Google(谷歌机器人团队);Google AI(谷歌人工智能)
我们系统地比较和分析了一组无监督光流的关键组成部分,以确定光度损失,遮挡处理和平滑正则化是最有效的。除了这项研究,我们还对无监督流模型进行了一些新的改进,例如成本体积归一化,在遮挡掩模处停止梯度,在对流场进行上采样之前鼓励平滑,以及使用图像缩放进行持续的自我监督。通过将我们的调查结果与我们改进的模型组件相结合,我们能够提出一种新的无监督流技术,该技术的性能显着优于以前的无监督最先进技术,并在KITTI 2015数据集上与监督FlowNet2相当,同时也比相关方法简单得多。
2020-08-14 cs.CV cs.LG eess.IV
A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
University of Freiburg(弗赖堡大学);Technical University of Munich(慕尼黑工业大学)
最近的工作表明,光流估计可以用公式表示为监督学习任务,并且可以用卷积网络成功地解决。所谓的FlowNet的训练是由一个大型的合成生成的数据集实现的。本文将基于卷积网络的光流估计的概念扩展到视差和场景流估计。为此,我们提出了三个合成立体视频数据集,具有足够的现实主义,变化和大小,成功地训练大型网络。我们的数据集是第一个能够训练和评估场景流方法的大规模数据集。除了数据集之外,我们还提出了一个用于实时视差估计的卷积网络,该网络提供了最先进的结果。通过结合流量和视差估计网络并对其进行联合训练,我们展示了使用卷积网络的第一个场景流量估计。
2015-12-07 cs.CV cs.LG stat.ML
Automatic Generation of Dense Non-rigid Optical Flow
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum);Google Research(谷歌研究院)
到目前为止,几乎不存在任何具有来自真实世界图像的非刚性运动的密集光流的大规模数据集。原因主要在于导出地面实况光流所需的设置:一系列具有沿其轨迹的已知相机姿势的图像,以及来自纹理场景的精确3D模型。人工注释不仅对于大型数据库来说过于繁琐,而且几乎不能对精确的光流做出贡献。为了避免需要手动注释,我们提出了一个框架,自动生成光流从现实世界的视频。该方法从视频帧中提取并匹配对象以计算初始约束,并对感兴趣的对象施加变形以获得密集的光流场。我们提出了几种方法来增加的光流的变化。大量的实验结果表明,在我们自动生成的光流上进行训练的效果优于使用FlowNet-S、LiteFlowNet、PWC-Net和RAFT在刚性合成数据上进行训练的方法。我们的光流生成框架的数据集和实现在https://github.com/lhoangan/arap_flow上发布
2021-09-07 cs.CV
FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation
光流估计是视频分析领域中一个重要而又具有挑战性的问题。卷积神经网络的不同语义级别/层的特征可以提供不同粒度的信息。为了利用这些灵活而全面的信息,我们提出了一种半监督的特征金字塔相关和残差重建网络(FPCR-Net),用于从帧对中估计光流。它包括两个主要模块:金字塔相关映射和残差重建。金字塔相关性映射模块利用全局/局部块的多尺度相关性,通过聚合不同尺度的特征来形成多级成本体积。残差重构模块的目标是重构每一级中更精细光流的子带高频残差。基于金字塔相关映射,我们进一步提出了一个相关-扭曲-归一化(CWN)模块,以有效地利用相关依赖。实验结果表明,该方案实现了最先进的性能,在平均端点误差(AEE)方面的改进,与竞争基线方法-FlowNet 2,LiteFlowNet和PWC-Net在Sintel数据集的最终通过上,分别为0.80,1.15和0.10。
2021-11-23 cs.CV
Unsupervised Joint Learning of Depth, Optical Flow, Ego-motion from Video
Tongji University(同济大学)
从图像中估计深度、摄像机运动和光流等几何元素是机器人视觉感知的重要组成部分。我们使用一个联合的自我监督的方法来估计的三个几何元素。深度网络、光流网络和摄像机运动网络彼此独立,但在训练阶段联合优化。与独立训练相比,联合训练可以充分利用几何元素之间的几何关系,提供场景的动态和静态信息。本文从网络结构、动态对象分割和几何约束三个方面对联合自监督方法进行了改进。在网络结构方面,我们将注意力机制应用到摄像机运动网络中,这有助于利用帧间摄像机运动的相似性。并根据Transformer中的注意力机制,提出了一种即插即用的卷积注意模块。在动态目标方面,根据动态目标在光流自监督框架和深度-姿态自监督框架中的不同影响,提出了一种阈值算法来检测动态区域,并分别在损失函数中对动态区域进行掩模。在几何约束方面,我们使用传统的方法从对应点估计基本矩阵来约束摄像机运动网络。我们在KITTI数据集上证明了我们方法的有效性。与其他联合自监督方法相比,该方法在姿态和光流估计方面达到了最先进的性能,在深度估计方面也取得了有竞争力的结果。代码将提供https://github.com/jianfenglihg/Unsupervised_geometry.
2021-05-30 cs.CV
CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers
Hamlyn Centre for Robotic Surgery, Imperial College London(伦敦帝国理工学院哈姆林外科机器人中心);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出 CathFlow,一种基于 AiAReSeg、光流伪标签和 CACTUSS 共同域的自监督导管分割架构,可在无标注超声数据上训练,并在合成数据与硅主动脉幻影数据上验证。
2024-09-10 cs.CV eess.IV
Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow
Advanced Research and Innovation Center (ARIC), Khalifa University, Abu Dhabi, UAE(高级研究与创新中心(ARIC),哈利法大学,阿布扎比,阿联酋);Department of Computer Science, Khalifa University of Science and Technology, Abu Dhabi, UAE(计算机科学系,哈利法科学技术大学,阿布扎比,阿联酋)
提出 STSSM 模块及新网络,利用状态空间模型捕获事件数据时空相关性,在 DSEC 上以显著更低计算量和更快推理实现有竞争力的光流估计。
2025-06-09 cs.CV
Semi-Supervised Pipe Video Temporal Defect Interval Localization
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);University of Alberta(阿尔伯塔大学);Tianjin Municipal Engineering Design and Research Institute(天津市市政工程设计研究院)
针对下水道管道CCTV检测中时间缺陷定位标注成本高、现有TAL方法迁移效果差的问题,提出半监督多原型视觉里程计注意力引导方法PipeSPO,提升了缺陷区间定位精度。
2024-07-21 cs.CV
NOCaL: Calibration-Free Semi-Supervised Learning of Odometry and Camera Intrinsics
Australian Centre for Field Robotics(澳大利亚现场机器人中心);The University of Sydney(悉尼大学)
有许多新兴的成像技术可以使机器人受益。然而,对定制模型、校准和低水平处理的需求是其采用的关键障碍。在这项工作中,我们提出了NOCaL,神经里程计和校准使用光场,一个半监督学习架构,能够解释以前看不见的相机没有校准。NOCaL学习估计相机参数,相对姿势和场景外观。它采用了一个场景渲染超网络,在大量现有的摄像机和场景上进行了预训练,并使用一个小的监督训练集来适应以前看不见的摄像机,以执行度量尺度。我们展示了NOCaL渲染和捕获的图像使用传统的相机,演示了校准的自由里程计和新颖的视图合成。这项工作代表了自动解释一般相机几何形状和新兴成像技术的关键一步。
2022-10-18 cs.CV cs.RO
Depth360: Self-supervised Learning for Monocular Depth Estimation using Learnable Camera Distortion Model
Toyota Central R&D Labs., Inc.(丰田中央研发实验室股份有限公司)
自监督单目深度估计已被广泛研究以从RGB图像估计深度图像和相对姿态。这个框架对研究人员来说很有吸引力,因为深度和姿态网络可以从时间序列图像中训练,而不需要地面真实深度和姿态。在这项工作中,我们估计机器人周围的深度(360度视图)使用时间序列球形相机图像,从相机的参数是未知的。我们提出了一个可学习的轴对称相机模型,它接受两个鱼眼相机图像失真的球形相机图像。此外,我们使用照片级逼真的模拟器训练我们的模型,以生成地面真实深度图像来提供监督。此外,我们引入了损失函数来提供地板约束,以减少反射地板表面可能导致的伪影。我们证明了我们的方法的有效性,使用来自GO斯坦福数据集的球形摄像机图像和来自KITTI数据集的针孔摄像机图像来比较我们的方法与基线方法在学习摄像机参数方面的性能。
2022-02-18 cs.CV cs.RO
SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
Robotics at Google(谷歌机器人技术部);Waymo(韦莫)
我们提出了SMURF,一种用于光流的无监督学习的方法,该方法通过$36\%$到$40\%$(超过先前的最佳方法UFlow)在所有基准上提高了最先进的水平,甚至优于几种有监督的方法,如PWC-Net和FlowNet 2。我们的方法集成了监督光流,即RAFT模型的架构改进,无监督学习的新思想,包括序列感知的自我监督损失,处理帧外运动的技术,以及从多帧视频数据中有效学习的方法,同时仍然只需要两个帧进行推理。
2021-05-14 cs.CV
Self-Supervised Online Camera Calibration for Automated Driving and Parking Applications
Valeo Vision Systems(法雷奥视觉系统);University of Limerick(利默里克大学)
针对自动驾驶与泊车中相机参数易变化、传统标定繁琐的问题,提出一种无需标注、物理靶标或特殊路面的自监督深度学习框架,可实时估计相机内外参。
2023-08-16 cs.CV cs.RO
SVDistNet: Self-Supervised Near-Field Distance Estimation on Surround View Fisheye Cameras
Valeo DAR Kronach(法雷奥DAR克罗纳赫);TU Ilmenau(伊尔梅瑙工业大学);TU Braunschweig(布伦瑞克工业大学);Valeo Vision Systems(法雷奥视觉系统)
场景几何的360°感知对于自动驾驶至关重要,特别是对于停车和城市驾驶场景。通常情况下,它是通过使用环绕视角鱼眼相机来实现的,聚焦于车辆周围的近场区域。大多数当前的深度估计方法集中于仅采用单个相机,这不能直接推广到多个相机。深度估计模型必须在数百万辆汽车上配备的各种摄像机上进行测试,这些摄像机具有不同的摄像机几何形状。即使在一辆车内,由于制造公差,本质也会有所不同。深度学习模型对这些变化很敏感,实际上不可能对每个相机变体进行训练和测试。因此,我们提出了新的相机几何自适应多尺度卷积,利用相机参数作为条件输入,使模型能够推广到以前看不见的鱼眼相机。此外,我们通过基于成对和分片向量的自注意编码器网络改进了距离估计。我们评估我们的方法在鱼眼WoodScape环绕视图数据集,显着改善了以前的方法。我们还展示了我们的方法在不同相机视角的泛化,并进行了广泛的实验,以支持我们的贡献。为了与其他方法进行比较,我们评估了KITTI数据集上的前置摄像头数据(针孔摄像头图像),并在自监督单目方法中实现了最先进的性能。https://youtu.be/bmX0UcU9wtA提供了定性结果的概述视频。基线代码和数据集将被公开。
2021-04-09 cs.CV cs.RO
Self-Supervised Camera Self-Calibration from Video
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Toyota Research Institute(丰田研究院)
摄像机校准是机器人和计算机视觉算法的组成部分,这些算法试图从视觉输入流推断场景的几何属性。在实践中,校准是一个费力的过程,需要专门的数据汇集和仔细的调整。每当相机的参数发生变化时,必须重复此过程,这对于移动机器人和自动驾驶车辆来说可能是经常发生的。相比之下,自我监督的深度和自我运动估计方法可以通过推断优化视图合成目标的每帧投影模型来绕过显式校准。在本文中,我们扩展了这种方法,明确校准广泛的相机从原始视频在野外。我们提出了一个学习算法,使用一个有效的家庭一般相机模型回归每序列的校准参数。我们的程序实现了自校准的结果与亚像素重投影误差,优于其他基于学习的方法。我们验证了我们的方法在各种各样的相机几何形状,包括透视,鱼眼,和折反射。最后,我们表明,我们的方法导致改进的下游任务的深度估计,实现国家的最先进的结果的EuRoC数据集具有更高的计算效率比当代的方法。
2022-03-01 cs.CV cs.RO
Semi-SMD: Semi-Supervised Metric Depth Estimation via Surrounding Cameras for Autonomous Driving
Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou)(机器人与自主系统方向,香港科学与技术大学(广州));Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
Semi-SMD提出一种基于环视相机的半监督度量深度估计框架,通过时空语义融合与交叉注意力解决尺度模糊,在DDAD和nuScenes上达到最先进性能。
2025-09-09 cs.CV cs.RO
SynDistNet: Self-Supervised Monocular Fisheye Camera Distance Estimation Synergized with Semantic Segmentation for Autonomous Driving
Valeo DAR Kronach(法雷奥DAR克罗纳赫);Technische Universität Ilmenau(伊尔默瑙工业大学);Technische Universität Braunschweig(布伦瑞克工业大学);Valeo Vision Systems(法雷奥视觉系统)
用于单目深度估计的最先进的自监督学习方法通常遭受尺度模糊。当应用于复杂投影模型的距离估计时,例如在鱼眼和全向相机中,它们不能很好地推广。本文介绍了一种新的多任务学习策略,以改善鱼眼和针孔相机图像的自监督单目距离估计。我们对这项工作的贡献是三方面的:首先,我们引入了一种新的距离估计网络架构,使用基于自注意力的编码器,再加上强大的语义特征指导,可以在一个阶段的方式训练的解码器。其次,我们集成了一个广义的鲁棒损失函数,它显着提高了性能,同时消除了需要超参数调整与重投影损失。最后,我们减少了文物所造成的动态对象违反静态世界的假设,使用语义掩蔽策略。我们显着改善后的RMSE的鱼眼由25%的RMSE减少以前的工作。由于鱼眼相机的工作很少,我们评估了所提出的方法KITTI使用针孔模型。我们在自监督方法中实现了最先进的性能,而无需外部尺度估计。
2020-11-14 cs.CV cs.RO
Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera
RWTH Aachen University(亚琛工业大学);Visual Computing Institute(视觉计算研究所)
深度学习是2D范围数据中最先进的人物检测器的基本构建块。然而,只有少数带注释的数据集可用于训练和测试这些深度网络,这可能会限制它们在新环境或不同LiDAR模型中部署时的性能。我们提出了一种方法,该方法使用校准相机上基于图像的检测器(例如Faster R-CNN)的边界框来自动生成基于2D LiDAR的人员检测器的训练标签(称为伪标签)。通过在JackRabbot数据集上使用两种检测器模型DROW 3和DR-SPAAM进行实验,我们证明了使用伪标签进行训练或微调的自监督检测器优于仅在不同数据集上训练的检测器。结合强大的训练技术,自监督检测器的性能接近于使用目标数据集的手动注释训练的检测器。我们的方法是在部署过程中改进人员检测器的有效方法,无需任何额外的标记工作,我们发布了源代码以支持相关的机器人应用程序。
2021-06-03 cs.CV cs.RO
Self-Supervised Flow Estimation using Geometric Regularization with Applications to Camera Image and Grid Map Sequences
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
我们提出了一种自监督的方法来估计流量的摄像头图像和顶视图网格地图序列使用全卷积神经网络在自动驾驶领域。我们扩展了现有的方法,自我监督光流估计增加一个正则化表示运动的一致性假设一个静态的环境。然而,由于其他移动交通参与者违反了这一假设,因此我们还估计了一个掩码来缩放此正则化。添加针对运动一致性的正则化提高了收敛性和流量估计精度。此外,我们规模的错误,由于空间流的不一致性的掩模,我们从运动掩模。由于静态和动态环境之间的更好分离,这提高了流量急剧变化区域的准确性。我们将我们的方法应用于从相机图像序列中估计光流,验证里程估计,并提出了一种方法来迭代地增加光流估计精度使用生成的运动掩模。最后,我们提供了定量和定性的结果的基础上,KITTI里程计和跟踪基准的场景流估计的基础上,网格地图序列。我们表明,我们可以提高精度和收敛时,应用运动和空间一致性正则化。
2019-04-17 cs.CV cs.RO
EventPoint: Self-Supervised Interest Point Detection and Description for Event-based Camera
Xiamen University(厦门大学);University of Sheffield(谢菲尔德大学);Bosch Research North America(博世北美研究院)
本文提出了一种自监督学习的局部检测器和描述符,称为EventPoint,用于事件流/摄像机跟踪和配准。基于事件的相机由于其生物灵感和低功耗而越来越受欢迎。尽管如此,由于其特殊的数据结构,将局部特征直接应用于事件流是困难的。我们提出了一种新的时间表面的事件流表示方法称为Tencode。Tencode处理的事件流数据可以获得兴趣点的像素级定位,同时还可以通过神经网络提取描述符。我们的网络利用彩色图像局部特征提取的先验知识,并通过单应性和时空适应进行自监督学习,而不是使用昂贵和不可靠的手动注释。据我们所知,我们提出的方法是第一次研究基于事件的局部特征学习使用深度神经网络。我们提供了全面的特征点检测和匹配实验,并使用三个公共数据集(即DSEC,N-Caltech 101和HVGA ATIS Corner Dataset)进行评估。实验结果表明,我们的方法优于SOTA的特征点检测和描述。
2022-10-30 cs.CV cs.RO
FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出FisheyeDepth,一种面向鱼眼相机的自监督深度估计模型,通过引入鱼眼相机模型、真实尺度位姿信息和多通道输出策略,在无需真值深度数据的情况下实现真实尺度、高鲁棒性的鱼眼图像深度估计。
2025-03-08 cs.CV cs.RO
MCDS-VSS: Moving Camera Dynamic Scene Video Semantic Segmentation by Filtering with Self-Supervised Geometry and Motion
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出MCDS-VSS模型,通过自监督估计场景几何、相机自运动和物体运动,以预测-融合方式提升移动相机视频语义分割的时间一致性,同时保持分割精度。
2024-09-05 cs.CV cs.RO
Strategy-Supervised Autonomous Laparoscopic Camera Control via Event-Driven Graph Mining
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学)
本研究提出基于事件驱动图挖掘的策略监督自主腹腔镜摄像机控制方法,通过结合视觉-语言推理与闭环控制,提升手术视野稳定性与可解释性,实验表明其在减少视野偏移和图像抖动方面表现优异。
2026-02-24 cs.CV cs.RO
DST-Calib: A Dual-Path, Self-Supervised, Target-Free LiDAR-Camera Extrinsic Calibration Network
Department of Control Science & Engineering, the College of Electronics & Information Engineering, Tongji University(控制科学与工程系,电子与信息工程学院,同济大学);Department of Mechanical Engineering, the School of Mechanical Engineering, Tongji University(机械工程系,机械工程学院,同济大学);School of Robotics, Hunan University(机器人学院,湖南大学);College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科学技术大学);Department of Control Science & Engineering, the College of Electronics & Information Engineering, Shanghai Research Institute for Intelligent Autonomous Systems, the State Key Laboratory of Intelligent Autonomous Systems, and Frontiers Science Center for Intelligent Autonomous Systems, Tongji University(控制科学与工程系,电子与信息工程学院,上海智能自主系统研究院,智能自主系统国家重点实验室,智能自主系统前沿科学中心,同济大学);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(人机混合增强智能国家重点实验室,人工智能与机器人研究院,西安交通大学)
DST-Calib通过双路径自监督方法,无需目标实现激光雷达与摄像头的高效外参校准,提升泛化能力。
2026-01-03 cs.CV cs.RO
Towards Precise Intra-camera Supervised Person Re-identification
Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院)
用于人员重新识别(Re-ID)的摄像机内监督(ICS)假设身份标签在每个摄像机视图内被独立地注释,并且没有摄像机间身份关联被标记。这是最近提出的一种新的设置,以减少注释的负担,同时期望保持理想的Re-ID性能。然而,缺乏相机间标签使得ICS Re-ID问题比完全监督的问题更具挑战性。通过研究ICS的特点,本文提出了相机特定的非参数分类器,以及一个混合挖掘五元组损失,进行相机内学习。然后,进行由基于图的ID关联步骤和Re-ID模型更新步骤组成的相机间学习模块。在三个大规模的Re-ID数据集上的实验表明,该方法的性能大大优于现有的ICS作品。我们的方法在两个数据集中的表现甚至与最先进的完全监督方法相当。
2020-12-11 cs.CV
Camera-Conditioned Stable Feature Generation for Isolated Camera Supervised Person Re-IDentification
Sun Yat-sen University(中山大学)
为了学习用于人的再识别(Re-ID)的摄像机视角不变特征,每个人的跨摄像机图像对起着重要作用。然而,这种交叉视图训练样本在隔离摄像机监督(ISCS)设置下可能不可用,例如,部署在远处场景的监视系统。为了处理这个具有挑战性的问题,通过在特征空间中合成用于模型训练的跨相机样本来引入新的流水线。具体而言,特征编码器和生成器端到端的优化下的一种新的方法,相机条件稳定的特征生成(CCSFG)。其联合学习过程引起了对生成模型训练稳定性的关注。因此,提出了一种新的特征生成器,$σ$ -正则化条件变分自编码器($σ$ -Reg.~ CVAE),并对其鲁棒性进行了理论和实验分析。在两个ISCS人Re-ID数据集上的大量实验证明了CCSFG的优越性。
2022-04-04 cs.CV
Progressive Cross-camera Soft-label Learning for Semi-supervised Person Re-identification
Nanjing University(南京大学);University of Wollongong(伍伦贡大学)
在本文中,我们专注于半监督的人重新识别(Re-ID)的情况下,只有相机内(内相机)标签,但没有相机间(跨相机)标签。在现实世界的应用中,这些相机内标签可以很容易地捕捉跟踪算法或少量的手动注释,当与跨相机标签。在这种情况下,由于缺乏跨相机标签信息,在训练阶段探索跨相机人之间的关系是非常困难的。为了解决这个问题,我们提出了一种新的渐进式跨摄像机软标签学习(PCSL)框架,用于半监督人Re-ID任务,它可以生成跨摄像机软标签,并利用它们来优化网络。具体地,我们基于人级别的特征计算亲和度矩阵,并调整它们以产生跨相机人之间的相似性(即,交叉相机软标签)。为了利用这些软标签来训练网络,我们分别从分类和区分的角度研究了加权交叉熵损失和加权三重损失。特别地,所提出的框架交替地生成渐进的跨相机软标签,并在整个学习过程中逐渐改善特征表示。在五个大规模基准数据集上进行的广泛实验表明,PCSL的性能明显优于采用标记源域或基于GAN模型生成的图像的最先进的无监督方法。此外,所提出的方法甚至具有与深度监督Re-ID方法相比的竞争性能。
2020-03-24 cs.CV
Learning Intra and Inter-Camera Invariance for Isolated Camera Supervised Person Re-identification
Xidian University(西安电子科技大学);Zhejiang University(浙江大学)
本文针对孤立相机监督行人重识别中的相机偏差问题,提出在统一框架下通过聚类原型对比学习和改进的多相机负样本损失,联合学习相机内与相机间不变性,并在多个基准上验证了方法的有效性。
2023-11-02 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center(OPPO美国研究中心);InnoPeak Technology, Inc.(InnoPeak技术公司);Wing LLC(Wing有限责任公司)
在本文中,我们处理的问题,单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题,我们提出了一种新的序数蒸馏损失,从一个大的教师模型中提取序数信息。这样的教师模型,因为已经在大量不同的数据上训练,可以很好地捕获深度排序信息,但缺乏保持准确的场景几何形状。结合自监督损失,我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图,而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集,以便于评估。
2022-05-05 cs.CV
Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
AI Thrust, HKUST(GZ)(香港科技大学(广州)人工智能方向);school of software Shandong University(山东大学软件学院);School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(新加坡南洋理工大学电子与电气工程学院)
本文提出一种结合事件相机与卷帘快门相机的自监督框架,利用位移场恢复无畸变全局快门高帧率视频,实现32倍插帧、降低94%带宽并达到每帧16毫秒。
2025-06-03 cs.CV cs.RO
Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion
Toyota Research Institute(丰田研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
自监督学习已经成为深度和自我运动估计的强大工具,在基准数据集上产生了最先进的结果。然而,当前方法共有的一个显著限制是已知参数相机模型(通常是标准针孔几何形状)的假设,这导致当应用于显著偏离该假设的成像系统时失败(例如,折反射照相机或水下成像)。在这项工作中,我们表明,自我监督可以用来学习准确的深度和自我运动估计,而无需事先了解相机模型。受Grossberg和Nayar几何模型的启发,我们引入了神经射线表面(NRS),这是一种代表像素投影射线的卷积网络,可以近似各种相机。NRS是完全可区分的,可以从未标记的原始视频中端到端学习。我们演示了使用NRS的视觉里程计和深度估计从原始视频获得的各种各样的相机系统,包括针孔,鱼眼,和折反射的自监督学习。
2020-08-15 cs.CV cs.LG cs.RO
Intra-Camera Supervised Person Re-Identification: A New Benchmark
Pattern Analysis and Computer Vision (PAVIS), Istituto Italiano di Tecnologia(意大利理工学院模式分析与计算机视觉实验室(PAVIS));Vision Semantics Ltd.(视觉语义有限公司);Queen Mary University of London(伦敦玛丽女王大学);Department of Computer Science, University of Verona(维罗纳大学计算机科学系)
现有的人员重新识别(re-id)方法主要依赖于大量的相机间身份标记的训练数据,需要繁琐的数据汇集和注释过程,因此导致实际re-id应用中的可扩展性差。为了克服这一根本性的限制,我们认为人的重新识别没有相机间的身份关联,但只有与身份标签独立注释在每个单独的相机视图。这消除了最耗时和繁琐的相机间身份标记过程,以显着减少注释过程中所需的人力。因此,它产生了一个更可扩展和更可行的学习场景,我们称之为相机内监督(ICS)的人re-id。在这个ICS设置较弱的标签监督下,我们制定了一个多任务多标签(MTML)深度学习方法。在没有摄像机间关联的情况下,MTML是专门设计用于自发现摄像机间身份对应关系的。这是通过联合多任务推理框架下的相机间多标签学习来实现的。此外,MTML还可以通过充分利用每个摄像机视图内的可用身份标签来有效地学习有区别的re-id特征表示。大量的实验表明,我们的MTML模型的性能优于国家的最先进的替代方法在三个大规模的人re-id数据集在建议的摄像机内监督学习设置。
2019-08-27 cs.CV
Joint Calibration of Panoramic Camera and Lidar Based on Supervised Learning
Shanghai Jiao Tong University(上海交通大学)
针对当代全景相机-激光扫描仪系统,传统的标定方法不适用于成像模型极非线性的全景相机。基于统计优化的方法存在对激光扫描仪通道数要求较高的缺点。全景摄像机-激光扫描仪系统的高精度标定设备价格昂贵。针对全景相机-激光扫描仪系统标定中存在的问题,提出了一种基于监督学习的方法。首先,通过设计一个圆形标定对象,获取全景图像和点云的对应特征点,生成训练数据集。此外,通过设计一个对全景成像模型进行预处理的监督学习网络,将传统的标定问题转化为一个多元非线性回归优化问题。利用反向传播算法对旋转和平移矩阵进行了高精度的回归。实验结果表明,该方法能快速回归标定参数,精度优于传统标定方法和基于统计优化的标定方法。该方法标定精度高,自动化程度高。
2017-09-13 cs.CV
Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海启智研究院);UC San Diego(加州大学圣地亚哥分校)
针对自我视角视频缺乏高质量标注导致监督方法受限的问题,提出自监督模型EgoMono4D,在快速前馈框架内统一估计相机内参、位姿和视频深度,实现了快速、密集且可泛化的4D点云序列重建。
2025-07-12 cs.CV cs.RO
Self-supervised Learning with Geometric Constraints in Monocular Video: Connecting Flow, Depth, and Camera
Google Research(谷歌研究院);ETH Zurich(苏黎世联邦理工学院)
我们提出了GLNet,一个自监督的框架,用于学习深度,光流,摄像机姿态和单目视频的内部参数-解决了为这些任务获取现实地面实况的困难。我们提出了三个贡献:1)我们设计了新的损失函数,捕捉多个几何约束(如。对极几何)以及支持多个移动对象(刚性和非刚性)的自适应光度损失,2)我们扩展了模型,使得它预测相机固有特性,使其适用于未校准的视频,以及3)我们提出了几种在线细化策略,其依赖于我们在训练和测试中的自我监督损失的对称性,特别是优化模型参数和/或不同任务的输出,从而利用它们的相互作用。在所有几何约束和光度约束下联合优化系统输出的思想可以被视为经典光束法平差的密集推广。我们证明了我们的方法在KITTI和Cityscapes上的有效性,在这些方法中,我们在多个任务上的表现优于以前的自监督方法。我们还在YouTube视频中展示了迁移学习的良好泛化。
2019-09-09 cs.CV
Intra-Camera Supervised Person Re-Identification
Shenzhen University(深圳大学);Istituto Italiano di Tecnologia(意大利技术研究院);Vision Semantics Limited(视觉语义有限公司);Huawei Technologies Co. Ltd.(华为技术有限公司);University of Verona(维罗纳大学);Queen Mary University of London(伦敦玛丽女王大学)
现有的人员重新识别方法大多利用大量的跨摄像机身份标记的训练数据。这需要繁琐的数据汇集和注释过程,导致实际re-id应用程序的可伸缩性较差。另一方面,无监督的re-id方法不需要身份标签信息,但它们通常遭受更差和不足的模型性能。为了克服这些根本性的限制,我们提出了一种新的人重新识别范式的基础上独立的每相机身份注释的想法。这消除了最耗时和繁琐的相机间身份标记过程,大大减少了人工注释工作量。因此,它产生了更可扩展和更可行的设置,我们称之为相机内监督(ICS)人re-id,为此我们制定了Multi-tAsk multi-labEl(MATE)深度学习方法。具体来说,MATE是专为自我发现跨相机身份对应的每相机多任务推理框架。大量的实验表明,我们的方法的成本效益优于替代方法在三个大的人re-id数据集。例如,MATE在建议的ICS人员re-id设置中对Market-1501产生88.7%的rank-1分数,显著优于无监督学习模型,并接近传统的完全监督学习竞争对手。
2021-01-16 cs.CV
EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
提出EGA-Depth引导注意力架构,通过透视图交叉参考相邻视图,仅对重叠视图执行注意力,提升自监督多相机深度估计的效率与精度,在nuScenes和DDAD基准上达到SOTA。
2023-04-06 cs.CV
Depth3DLane: Fusing Monocular 3D Lane Detection with Self-Supervised Monocular Depth Estimation
Eindhoven University of Technology(埃因霍温理工大学);TNO(荷兰国防研究院)
Depth3DLane提出双通路框架,融合自监督单目深度估计与语义特征,无需深度真值和相机标定即可实现准确的单目3D车道检测,并在OpenLane上取得有竞争力的性能。
2025-07-18 cs.CV cs.RO
PosePilot: Steering Camera Pose for Generative World Models with Self-supervised Depth
The Hong Kong University of Science and Technology(香港科技大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Li Auto;BAAI(北京人工智能研究院)
PosePilot提出利用自监督深度估计与运动恢复结构原理,将相机位姿与视频生成紧密耦合,并通过位姿感知变形和位姿回归损失,显著提升生成式世界模型的位姿可控性与视角合成可靠性。
2025-07-18 cs.CV
Embodiment: Self-Supervised Depth Estimation Based on Camera Models
University of Georgia(佐治亚大学);Ford Motor Company(福特汽车公司);University of Maryland(马里兰大学)
针对单目自监督深度估计在性能和尺度上的局限,提出将相机内参和外参等物理属性嵌入深度学习模型,基于物理原理生成地面区域深度先验作为免费监督信号,提升无监督方法效果并实现具身化理解。
2024-08-29 cs.CV
GPA-VGGT:Adapting VGGT to Large Scale Localization by Self-Supervised Learning with Geometry and Physics Aware Loss
本文提出GPA-VGGT框架,通过自监督学习提升大规模环境中的定位能力,利用几何约束和物理一致性损失优化模型,实验表明其在数百次迭代内收敛并显著提升定位性能。
2026-04-02 cs.CV cs.RO
SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Tianjin University(天津大学);PhiGent Robotics(鉴智机器人)
从图像中进行深度估计是自动驾驶3D感知的基本步骤,是LiDAR等昂贵深度传感器的经济替代方案。时间光度约束使得能够在没有标签的情况下进行自监督深度估计,进一步促进其应用。然而,大多数现有的方法仅基于每个单目图像来预测深度,而忽略了多个周围相机之间的相关性,这些相机通常可用于现代自动驾驶车辆。在本文中,我们提出了一种SurroundDepth方法,将来自多个周围视图的信息结合起来,以预测跨相机的深度图。具体来说,我们采用一个联合网络来处理所有周围的意见,并提出了一个跨视图Transformer,以有效地融合来自多个视图的信息。我们应用跨视图自注意力,有效地使多相机特征地图之间的全局交互。不同于自监督单目深度估计,我们能够预测现实世界的尺度给定的多摄像机外部矩阵。为了实现这一目标,我们采用两帧结构从运动中提取尺度感知的伪深度来预训练模型。此外,而不是预测每个单独的摄像机的自我运动,我们估计一个普遍的自我运动的车辆,并将其转移到每个视图,以实现多视图自我运动的一致性。在实验中,我们的方法达到了最先进的性能上具有挑战性的多相机深度估计数据集DDAD和nuScenes。
2022-09-20 cs.CV
Lidar-Camera Co-Training for Semi-Supervised Road Detection
Chalmers University of Technology(查尔姆斯理工大学);AB Volvo(沃尔沃集团)
机器学习和计算机视觉领域的最新进展使得能够开发快速且准确的道路检测器。通常,这样的系统在监督学习范例内被训练,其中必须提供输入传感器的数据和对应的地面实况标签。生成标签的任务通常由人类注释者执行,并且众所周知,这是耗时且昂贵的。在这项工作中,它表明,一个半监督的方法称为共同训练可以提供显着的F1分数平均改善相比,监督学习。在联合训练中,两个分类器作用于数据的不同视图,通过利用未标记的示例来合作提高彼此的性能。根据所使用的标记数据量,基于摄像头的道路检测器的改进范围为1.12至6.10个百分点,基于激光雷达的道路检测器的改进范围为1.04至8.14个百分点。最后,在KITTI道路基准测试上对协同训练算法进行了验证,仅使用36个标记的训练样本和数千个未标记的样本就实现了高性能。
2019-11-28 cs.CV
WESPE: Weakly Supervised Photo Enhancer for Digital Cameras
ETH Zurich(苏黎世联邦理工学院)
低端和紧凑型移动相机的照片质量有限,主要是由于空间、硬件和预算的限制。在这项工作中,我们提出了一种深度学习解决方案,可以将功能有限的相机拍摄的照片自动转换为单反质量的照片。我们通过引入弱监督照片增强器(WESPE)来解决这个问题-这是一种新的基于图像到图像生成对抗网络的架构。所提出的模型是在弱监督下训练的:与以前的作品不同,不需要以对齐的原始/增强照片对的大型注释数据集的形式进行强监督。唯一的要求是两个不同的数据集:一个来自源相机,另一个由任意高质量的图像组成,这些图像通常可以从互联网上抓取-它们展示的视觉内容可能是不相关的。因此,我们的解决方案可重复用于任何相机:收集数据和训练可以在几个小时内完成。在这项工作中,我们强调对所获得的结果进行广泛的评价。除了标准的客观指标和主观的用户研究,我们训练一个虚拟的评分员在一个单独的CNN的形式,模仿人类的Flickr数据的评分员,并使用这个网络来获得原始和增强的照片的参考分数。我们对DPED、KITTI和Cityscapes数据集以及几代智能手机图片的实验表明,WESPE使用最先进的强监督方法产生了可比或改进的定性结果。
2018-03-03 cs.CV
Custom Object Detection via Multi-Camera Self-Supervised Learning
New York University(纽约大学);Microsoft Research(微软研究院)
本文提出了MCSSL,一种自监督学习方法,用于在多摄像机网络中构建自定义目标检测模型。MCSSL通过利用对极几何和最先进的跟踪和reID算法将摄像机之间的边界框与重叠的视场相关联,并谨慎地生成两组伪标签,以分别在目标检测模型中微调骨干和检测网络。为了有效地在伪标签上进行训练,构造了一个具有一致性损失的强大的类reid借口任务用于模型定制。我们的评估表明,与传统的自训练方法相比,MCSSL在WildTrack和CityFlow数据集上分别将平均mAP提高了5.44%和6.76%。
2021-02-05 cs.AI cs.CV
CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations
Amazon Lab126(亚马逊Lab126);University of Washington(华盛顿大学)
为了提高3D人体姿态估计器的泛化能力,许多现有的基于深度学习的模型专注于向训练姿态添加不同的增强。然而,数据增强技术仅限于“可见”的姿态组合,并且难以推断具有罕见的“不可见”关节位置的姿态。为了解决这个问题,我们提出了CameraPose,这是一个弱监督的框架,用于从单个图像中估计3D人体姿势,它不仅可以应用于2D-3D姿势对,还可以应用于2D单独的注释。通过添加相机参数分支,任何野外2D注释都可以被馈送到我们的管道中,以提高训练多样性,并且可以通过重新投影回2D来隐式地学习3D姿势。此外,CameraPose还引入了一个具有置信度引导损失的细化网络模块,以进一步提高2D姿态估计器提取的噪声2D关键点的质量。实验结果表明,CameraPose在跨场景数据集上带来了明显的改进。值得注意的是,它在最具挑战性的数据集3DPW上比基线方法好3 mm。此外,通过将我们提出的细化网络模块与现有的3D姿态估计器相结合,可以提高它们在跨场景评估中的性能。
2023-01-08 cs.CV
Self-Supervised Learning of Depth and Camera Motion from 360° Videos
National Tsing Hua University(国立清华大学)
随着360°相机在许多自主系统中变得普遍(例如,自动驾驶汽车和无人机),高效的360°感知变得越来越重要。我们提出了一种新的自监督学习方法,用于从360°视频中预测全向深度和摄像机运动。特别是,从SfMLEarner开始,它是为普通视场的相机设计的,我们引入了三个关键特性来有效地处理360°图像。首先,我们将每一幅图像从等矩形投影转换为立方体投影,以避免图像失真。在每个网络层中,我们使用立方体填充(CP),它填充相邻面的中间特征,以避免图像边界。其次,我们提出了一种新的“球面”的光度一致性约束的整个观察领域。以这种方式,没有像素将被投影到图像边界之外,这通常发生在具有正常视场的图像中。最后,不是天真地估计六个独立的相机运动(即,天真地将SfM-Learner应用于立方体上的每个面),我们提出了一种新的相机姿态一致性损失,以确保估计的相机运动达到共识。为了训练和评估我们的方法,我们收集了一个新的PanoSUNC数据集,其中包含大量具有地面实况深度和相机运动的360°视频。我们的方法在PanoSUCG上实现了最先进的深度预测和相机运动估计,与equirectangular相比,推理速度更快。在现实世界的室内视频中,我们的方法也可以通过获取PanoSUCG上预训练的模型来实现定性合理的深度预测。
2018-11-13 cs.CV