Epipolar Geometry based Learning of Multi-view Depth and Ego-Motion from Monocular Sequences
TCS Research & Innovation（塔塔咨询服务研究与创新中心）
近年来，预测单眼深度和自我运动的深度方法由于其从单眼图像产生密集深度的能力而得到了发展。它们背后的主要思想是通过将一个视图扭曲成另一个视图来优化图像序列上的光度一致性，类似于直接视觉里程计方法。一个主要缺点是这些方法从单个视图推断深度，这可能无法有效地捕获像素之间的关系。此外，简单地最小化光度损失并不能确保适当的像素对应性，这是准确的深度和姿态估计的关键因素。相比之下，我们提出了一个2视图深度网络来从连续帧中推断场景深度，从而学习像素间的关系。为了确保更好的对应关系，从而更好的几何理解，我们建议将极线约束，使学习更几何声音。我们使用使用Nist'er的五点算法获得的基本矩阵来强制执行有意义的几何约束，而不是将其用作训练标签。与最先进的方法相比，这使我们能够使用更少的可训练参数。所提出的方法产生更好的深度图像和姿态估计，从而以更好的方式捕获场景结构和运动。这样的几何约束学习即使在简单地最小化光度误差将失败的情况下也能成功地执行。
2019-01-07 cs.CV cs.RO
Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
正确的自我运动估计基本上依赖于对相邻LiDAR扫描之间的对应关系的理解。然而，考虑到复杂的场景和低分辨率的激光雷达，找到可靠的结构来识别对应关系可能是具有挑战性的。在本文中，我们深入研究结构可靠性，准确的自我监督运动估计，旨在减轻不可靠的结构在训练，推理和映射阶段的影响。我们从三个方面对自监督LiDAR测距算法进行了改进：1）提出了一种两阶段的测距估计网络，通过估计一组子区域变换并利用运动投票机制对它们进行平均来获得自我运动，以鼓励网络聚焦于代表性结构。2)基于3D点协方差估计，不能通过自我运动优化消除的固有对准误差在损失中被降低权重。3)发现的代表性结构和学习点协方差被纳入映射模块，以提高地图构建的鲁棒性。我们的两帧里程计在KITTI数据集上的平移/旋转误差方面优于先前的最先进技术16%/12%，并且在Apollo-Southbay数据集上表现一贯良好。我们甚至可以用我们的映射模块和更多未标记的训练数据与完全监督的同行竞争。
2022-02-27 cs.CV cs.RO
Two Stream Networks for Self-Supervised Ego-Motion Estimation
Toyota Research Institute（丰田研究院）
从原始未标记的RGB视频流中学习深度和相机自我运动，通过强大的几何线索进行自我监督，正在取得令人兴奋的进展。为了不仅利用外观，而且还利用场景几何形状，我们提出了一种新的自监督双流网络，使用RGB和推断的深度信息，用于精确的视觉里程计。此外，我们引入了一个稀疏诱导数据增强政策，有效地规范了姿态网络，使更强的泛化性能的自我运动学习。结果表明，我们提出的双流姿势网络在KITTI里程计基准上实现了基于学习的方法中最先进的结果，特别适合大规模的自我监督。我们在100万帧的大规模城市驾驶数据集上进行的实验表明，我们提出的架构的性能确实随着数据的增加而逐渐扩展。
2019-11-19 cs.CV eess.IV
Ego-Vehicle Action Recognition based on Semi-Supervised Contrastive Learning
Toyota Motor Corporation（丰田汽车公司）
近年来，许多汽车都配备了摄像机，这些摄像机积累了大量的驾驶场景的视频片段。自动驾驶要求最高的安全性，为此，即使是极其罕见的驾驶场景也必须收集到训练数据中，以提高特定场景的识别准确率。然而，从大量视频中找到很少的特定场景的成本过高。在这篇文章中，我们表明，适当的视频到视频的距离可以通过专注于自我车辆的行动来定义。众所周知，基于监督学习的现有方法不能处理不属于预定义类的视频，尽管它们在定义标记视频之间的嵌入空间中的视频到视频距离方面工作得很好。为了解决这个问题，我们提出了一种基于半监督对比学习的方法。我们考虑两个相关但不同的对比学习：标准图对比学习和我们提出的基于SOIA的对比学习。我们观察到，后一种方法可以在未标记的视频之间提供更合理的视频到视频的距离。接下来，通过使用HDD数据集评估自我车辆动作识别的分类性能来量化我们方法的有效性，这表明我们的方法在训练中包括未标记的数据显著优于仅使用标记数据的现有方法。
2023-03-02 cs.CV
Towards Visual Ego-motion Learning in Robots
Massachusetts Institute of Technology（麻省理工学院）
在过去的十年中，已经提出了许多基于模型的视觉里程计（VO）算法，通常限于相机光学器件的类型，或观察到的底层运动流形。我们设想机器人能够学习和执行这些任务，在最低限度的监督设置，因为他们获得更多的经验。为此，我们提出了一个完全可训练的解决方案，以视觉自我运动估计不同的相机光学。我们提出了一个视觉自我运动学习架构，通过混合密度网络（MDN）映射观察到的光流向量的自我运动密度估计。通过将该体系结构建模为条件变分自编码器（C-VAE），我们的模型能够为自我运动引起的场景流提供内省推理和预测。此外，我们提出的模型是特别适合自举自我运动学习的机器人在自我运动估计的监督，一个特定的摄像头传感器可以从标准的导航为基础的传感器融合策略（GPS/INS和车轮测距融合）。通过实验，我们展示了我们所提出的方法的实用性，使自主机器人的视觉自我运动估计的自监督学习的概念。
2017-05-29 cs.AI cs.CV cs.RO
CNN-based Ego-Motion Estimation for Fast MAV Maneuvers
Delft University of Technology（代尔夫特理工大学）
在微型飞行器（MAVs）的视觉自运动估计领域，快速机动的主要原因是大的视差和运动模糊。为了追求更高的鲁棒性，我们研究了卷积神经网络（CNN），它可以预测来自面向平面场景的快速移动单目相机的后续图像之间的相对姿态。在惯性测量单元（IMU）的辅助下，我们主要关注平移运动。我们研究的网络具有类似的小模型大小（约1.35MB）和高推理速度（在移动GPU上约10毫秒）。用于训练和测试的图像具有逼真的运动模糊。从一个网络框架出发，迭代地扭曲第一个图像，以匹配第二个级联的网络块，我们研究了不同的网络架构和训练策略。模拟数据集和自行收集的MAV飞行数据集用于评估。在快速机动过程中，所提出的设置比现有的网络和传统的基于特征点的方法具有更好的精度。此外，自监督学习优于监督学习。视频和开源代码可在https://github.com/tudelft/PoseNet_Planar上获得
2021-04-10 cs.CV cs.RO
SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric Action Recognition
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Surrey（萨里大学）
从视频数据学习以自我为中心的动作识别模型是具有挑战性的，这是由于干扰因素（例如，不相关的物体）。因此，进一步将对象信息集成到动作模型中是有益的。现有方法通常利用通用对象检测器来识别和表示场景中的对象。然而，仍然存在几个重要问题。目标域（数据集）的高质量对象类注释仍然需要学习良好的对象表示。此外，以前的方法深度耦合现有的动作模型，并需要重新训练它们与对象表示，导致成本高，不灵活的集成。为了克服这两个限制，我们引入了自监督学习过集（SOS），一种方法来预训练一个通用的对象在接触（OIC）表示模型从视频对象区域检测到的现成的手对象接触检测器。而不是在传统的自监督学习中单独增加对象区域，我们认为，作为一种手段的自然数据转换的动作过程具有独特的时空连续性，并利用每个视频对象集之间的内在关系。在EPIC-KITCHENS-100和EGTEA两个数据集上的大量实验表明，我们的OIC显着提高了多个最先进的视频分类模型的性能。
2022-05-02 cs.AI cs.CV cs.LG
EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础研究实验室（FAIR））
自我中心的视频理解模型的最新进展是有前途的，但其沉重的计算费用是许多现实世界的应用的障碍。为了解决这一挑战，我们提出了EgoDistill，一种基于蒸馏的方法，它通过将来自稀疏视频帧集的语义与来自轻量级IMU读数的头部运动相结合来学习重建重自我中心的视频片段特征。我们进一步设计了一种新的自监督训练策略，用于IMU特征学习。我们的方法导致效率的显着提高，需要比同等视频模型少200倍的GFLOP。我们证明了它的有效性，在Ego4D和EPICKitterfly数据集上，我们的方法优于最先进的高效视频理解方法。
2023-01-05 cs.CV
Unsupervised Joint Learning of Depth, Optical Flow, Ego-motion from Video
Tongji University（同济大学）
从图像中估计深度、摄像机运动和光流等几何元素是机器人视觉感知的重要组成部分。我们使用一个联合的自我监督的方法来估计的三个几何元素。深度网络、光流网络和摄像机运动网络彼此独立，但在训练阶段联合优化。与独立训练相比，联合训练可以充分利用几何元素之间的几何关系，提供场景的动态和静态信息。本文从网络结构、动态对象分割和几何约束三个方面对联合自监督方法进行了改进。在网络结构方面，我们将注意力机制应用到摄像机运动网络中，这有助于利用帧间摄像机运动的相似性。并根据Transformer中的注意力机制，提出了一种即插即用的卷积注意模块。在动态目标方面，根据动态目标在光流自监督框架和深度-姿态自监督框架中的不同影响，提出了一种阈值算法来检测动态区域，并分别在损失函数中对动态区域进行掩模。在几何约束方面，我们使用传统的方法从对应点估计基本矩阵来约束摄像机运动网络。我们在KITTI数据集上证明了我们方法的有效性。与其他联合自监督方法相比，该方法在姿态和光流估计方面达到了最先进的性能，在深度估计方面也取得了有竞争力的结果。代码将提供https://github.com/jianfenglihg/Unsupervised_geometry.
2021-05-30 cs.CV
Learning State-Aware Visual Representations from Audible Interactions
Carnegie Mellon University（卡内基梅隆大学）；Meta AI Research（Meta人工智能研究院）
我们提出了一个自我监督的算法来学习表示自我中心的视频数据。最近，已经做出了重大努力来捕捉人类在进行日常活动时与其自身环境的交互。因此，出现了几个大型的以自我为中心的交互丰富的多模态数据集。然而，从视频中学习表示可能具有挑战性。首先，鉴于长格式连续视频的未经策划的性质，学习有效的表示需要关注互动发生的时刻。第二，日常活动的视觉表现应该对环境状态的变化敏感。然而，目前成功的多模态学习框架鼓励随着时间的推移表示不变性。为了应对这些挑战，我们利用音频信号来识别可能的互动时刻，这有助于更好地学习。我们还提出了一种新的自我监督的目标，从相互作用引起的可听状态变化中学习。我们在两个大规模的以自我为中心的数据集EPIC-Kitchen-100和最近发布的Ego 4D上广泛验证了这些贡献，并在几个下游任务上显示了改进，包括动作识别，长期动作预测和对象状态变化分类。
2022-09-27 cs.CV
Driven to Distraction: Self-Supervised Distractor Learning for Robust Monocular Visual Odometry in Urban Environments
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
我们提出了一个自我监督的方法，忽略“干扰”的相机图像的目的，在杂乱的城市环境中的车辆运动鲁棒估计。我们利用离线多会话映射方法为每个输入图像自动生成每个像素的短暂性掩码和深度图，我们使用它来训练深度卷积网络。在运行时，我们使用预测的短暂性和深度作为单目视觉里程计（VO）管道的输入，使用稀疏特征或密集光度匹配。我们的方法只使用一个摄像头产生度量尺度VO，即使90%的图像被动态的、独立移动的物体遮挡，也可以恢复正确的自运动。我们评估了我们强大的VO方法超过400公里的驾驶从牛津RobotCar数据集，并证明减少里程漂移和显着改善egomotion估计在城市交通中的大型移动车辆的存在。
2018-03-05 cs.AI cs.CV cs.LG
DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth and Ego-motion from Monocular Videos
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
无监督学习的深度和自我运动的无标签单目视频最近引起了极大的关注，它避免了昂贵的地面真理的监督之一。它通过使用目标视图和来自其相邻源视图的合成视图之间的光度误差作为损失来实现这一点。尽管取得了重大进展，但学习仍然受到遮挡和场景动态的影响。本文表明，仔细操纵光度误差可以更好地解决这些困难。主要的改进是通过统计技术实现的，该技术可以掩盖光度误差图中不可见或不稳定的像素，从而防止误导网络。利用这种离群值掩蔽方法，可以更准确地估计在与相机相反的方向上移动的对象的深度。据我们所知，这些场景在以前的工作中没有得到认真考虑，尽管它们在自动驾驶等应用中构成了更高的风险。我们还提出了一种有效的加权多尺度方案，以减少预测深度图中的伪影。在KITTI数据集上的大量实验表明了所提方法的有效性。整个系统在深度和自我运动估计方面都达到了最先进的性能。
2020-11-20 cs.CV cs.RO
Sparse Representations for Object and Ego-motion Estimation in Dynamic Scenes
University of California, Irvine（加州大学欧文分校）
同时包含物体运动和自运动的动态场景是单目视觉里程计面临的一个挑战。单目VO的另一个问题是尺度模糊性，即这些方法不能以真实尺度估计场景深度和相机运动。在这里，我们提出了一种基于学习的方法来预测相机运动参数直接从光流，边缘化深度图的变化和离群值。这是通过在自动编码器网络中学习自运动的稀疏过完备基集来实现的，该自运动基集能够消除用于相机参数或运动场估计的任务的光流的不相关分量。该模型使用稀疏正则化器和监督自运动损失进行训练，并分别在KITTI和Virtual KITTI数据集上实现了轨迹预测和相机旋转预测任务的最新性能。该模型学习到的稀疏潜在空间自运动表示是鲁棒的，仅需要5%的隐藏层神经元就可以在KITTI数据集上保持最佳的轨迹预测精度。此外，在存在深度信息的情况下，所提出的方法通过预测自运动的全局补偿和分裂归一化过程来展示针对宽范围的对象尺寸和速度的忠实对象速度预测。
2019-03-09 cs.CV cs.LG
Multitask Learning to Improve Egocentric Action Recognition
Noldus Information Technology（诺达斯信息技术公司）；Utrecht University（乌得勒支大学）
在这项工作中，我们采用多任务学习，利用结构，存在于相关的监督任务，训练复杂的神经网络。它允许并行训练多个目标的网络，以便通过利用共享表示来提高其中至少一个目标的性能，该共享表示被开发为容纳比单个任务更多的信息。我们采用这个想法来解决自我中心的视频中的动作识别，通过引入额外的监督任务。我们考虑学习动作标签所包含的动词和名词，并预测捕获输入视频片段的所有帧的手的位置和基于凝视的视觉显著性的坐标。这迫使网络明确关注次要任务的线索，否则可能会错过这些线索，从而改善推理。我们在EPIC-Kitterfly和EGTEA Gaze+上的实验显示，在单任务基线上进行多任务训练时，效果得到了一致的改善。此外，在EGTEA Gaze+中，我们在动作识别方面的表现优于最先进的3.84%。除了动作，我们的方法产生准确的手和凝视估计作为副任务，在测试时除了RGB视频剪辑之外不需要任何额外的输入。
2019-09-15 cs.CV cs.LG
Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；A*STAR, Singapore（新加坡A*STAR）；Simon Fraser University（西蒙弗雷泽大学）；Shanghai AI Lab（上海人工智能实验室）
本研究提出Ego-R1框架，结合强化学习训练的智能体与工具链思维，通过两阶段训练和新建数据集与基准，实现了长达一周的超长时间第一人称视频推理，大幅拓展了视频理解的时间跨度。
2025-06-16 cs.AI cs.CV
Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海启智研究院）；UC San Diego（加州大学圣地亚哥分校）
针对自我视角视频缺乏高质量标注导致监督方法受限的问题，提出自监督模型EgoMono4D，在快速前馈框架内统一估计相机内参、位姿和视频深度，实现了快速、密集且可泛化的4D点云序列重建。
2025-07-12 cs.CV cs.RO
Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta 基础人工智能研究院）
针对自我中心与外部中心视角差异大且缺乏配对同步数据的问题，提出自监督方法AE2，通过以对象为中心的编码器和基于对比的时间对齐目标，从非配对视频中学习细粒度视角不变表示，并在四个数据集上取得优异效果。
2023-11-25 cs.CV
UnDEMoN 2.0: Improved Depth and Ego Motion Estimation through Deep Image Sampling
TATA Consultancy Services（塔塔咨询服务公司）
在本文中，我们提供了一个改进版本的UnDEMoN模型的深度和自我运动估计从单目图像。通过将标准双线性采样器与基于深度网络的图像采样模型（DIS-NET）组合以提供更好的图像重建能力来实现该改进，深度估计精度取决于非监督学习模型。虽然DIS-NET提供了更高阶的回归和更大的输入搜索空间，双线性采样器提供了减少这种不适定问题的解空间大小所需的几何约束。这种组合被示出为在深度和姿态估计精度方面提供显著的改进，优于该类别中所有现有的最先进的方法。此外，修改后的网络使用更少的可调参数，使其成为用于深度估计的最轻的深度网络模型之一。该模型被标记为“UnDEMoN 2.0”，表示对现有UnDEMoN模型的改进。通过对标准KITTI数据集进行严格的实验分析，证明了该模型的有效性。
2018-11-27 cs.CV
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Vector Institute（矢量研究所）
联合训练深度和egomotion神经网络与单目图像的自监督损失公式是很好的研究，并已证明了国家的最先进的精度。然而，这种方法的主要限制之一是深度和自运动估计仅在未知尺度下确定。在本文中，我们提出了一种新的规模恢复损失，强制执行一个已知的摄像机高度和估计的摄像机高度之间的一致性，生成度量（缩放）深度和egomotion预测。我们表明，我们提出的方法是有竞争力的其他规模恢复技术，需要更多的信息。此外，我们证明了我们的方法有助于在新的环境中进行网络再训练，而其他尺度解析方法则无法做到这一点。值得注意的是，我们的自运动网络能够比仅在测试时恢复规模的类似方法产生更准确的估计。
2022-05-01 cs.CV cs.RO
MotionHint: Self-Supervised Monocular Visual Odometry with Motion Constraints
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
MotionHint通过引入运动约束模型，提升单目视觉里程计的精度，减少ATE误差达28.73%
2026-02-19 cs.CV cs.RO
Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
针对第一人称动作识别中IMU潜力挖掘不足、标注多模态数据稀缺的问题，提出融合穿戴式IMU与第一人称视频的方法，通过基于MAE的自监督预训练和图结构IMU建模实现多数据集SOTA，且在复杂场景下仍具鲁棒性。
2024-07-09 cs.CV
On the Coupling of Depth and Egomotion Networks for Self-Supervised Structure from Motion
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Massachusetts Institute of Technology（麻省理工学院）
运动恢复结构（SfM）最近已被公式化为自监督学习问题，其中深度和自运动的神经网络模型通过视图合成来联合学习。在此，我们解决了如何最好地耦合或链接深度和自运动网络组件的开放问题，使得诸如公共比例因子的信息可以在网络之间共享。为此，我们介绍了几个耦合的概念，现有的方法进行分类，并提出了一种新的紧耦合的方法，利用在训练时和测试时的深度和自我运动的相互依赖性。我们的方法使用迭代视图合成递归更新的egomotion网络输入，允许上下文信息之间的组件。我们通过大量的实验表明，我们的方法促进了在测试时的深度和自我运动预测之间的一致性，提高了泛化能力，并导致了室内和室外深度和自我运动评估基准的最先进的准确性。
2022-07-11 cs.CV cs.RO
EgoPoseFormer v2: Accurate Egocentric Human Motion Estimation for AR/VR
Meta；KAUST；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
EgoPoseFormer v2通过Transformer模型和自动标注系统，在AR/VR中实现更准确的自体中心人体运动估计，准确率提升12.2%-19.4%，时间抖动降低22.2%-51.7%。
2026-03-04 cs.CV cs.GR cs.HC
DeepLO: Geometry-Aware Deep LiDAR Odometry
KAIST（韩国科学技术院）
最近，基于学习的自我运动估计方法引起了人们的强烈兴趣，主要集中在视觉感知的研究。这些突破性的工作集中在里程估计的无监督学习，但主要是视觉传感器。与图像相比，在一些研究中已经报道了使用光检测和测距（LiDAR）的基于学习的方法，其中最常见的是提出了监督学习框架。在本文中，我们提出了一种新的方法，可以通过监督和无监督框架进行几何感知的深度LiDAR测距训练。我们将迭代最近点（ICP）算法纳入深度学习框架，并展示了所提出的管道的可靠性。我们提供了两个损失函数，允许在监督和无监督学习之间切换，这取决于训练阶段的真实有效性。使用KITTI和Oxford RobotCar数据集的评估表明，所提出的方法在实现姿态精度时具有出色的性能和效率。
2019-02-27 cs.CV cs.RO
A Deeper Insight into the UnDEMoN: Unsupervised Deep Network for Depth and Ego-Motion Estimation
TATA Consultancy Services（塔塔咨询服务公司）
本文提出了一种称为UnDEMoN的无监督深度学习框架，用于直接从单目图像中估计密集深度图和6-DoF相机姿态信息。建议的网络进行训练，使用未标记的单目立体图像对，并显示提供卓越的性能，在深度和自我运动估计相比，现有的国家的最先进的。这些改进是通过引入一个新的目标函数，旨在最大限度地减少空间以及时间重建损失的同时。这些损失使用双线性采样内核定义，并使用Charbonnier罚函数进行惩罚。因此，创建的目标函数，提供了图像梯度噪声的鲁棒性，从而提高了整体估计精度，而不诉诸于任何粗到细的策略，这是目前流行的文献。另一个新颖之处在于，我们结合了基于像素的深度估计网络与姿态估计网络，以获得绝对尺度感知的6自由度相机姿态和优越的深度图。该方法的有效性通过与现有的监督和无监督方法在KITTI驾驶数据集上的性能比较来证明。
2018-11-27 cs.AI cs.CV
E-MoFlow: Learning Egomotion and Optical Flow from Event Data via Implicit Regularization
Westlake University（西拉丘市大学）；Zhejiang University（浙江大学）；Hunan University（湖南大学）；Wuhan University（武汉大学）；Georgia Institute of Technology（佐治亚理工学院）
E-MoFlow提出无监督框架，通过隐式时空与几何正则化联合优化事件数据中的自我运动与光流，避免显式深度估计，达到无监督最优性能。
2025-10-24 cs.CV
Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos
Center of Excellence in Generative AI, KAUST（生成式AI卓越中心，阿卜杜拉国王科技大学）
针对以自我为中心视频中因模态缺失需重新训练模型的问题，提出测试时自适应方法MiDl，通过最小化互信息与自蒸馏使模型适应缺失模态并保持性能，无需重训即显著提升表现。
2025-03-02 cs.CV
Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion
KAIST（韩国科学技术院）
近年来，热图像深度和自我运动的自监督学习在具有挑战性的场景下显示出很强的鲁棒性和可靠性。然而，固有的热图像属性，如弱对比度，模糊的边缘，和噪声阻碍了从热图像产生有效的自我监督。因此，大多数研究都依赖于额外的自我监督来源，例如光线充足的RGB图像，生成模型和激光雷达信息。在本文中，我们进行了深入的分析，退化的自我监督从热图像的热图像特性。基于分析，我们提出了一种有效的热图像映射方法，显着增加图像的信息，如整体结构，对比度和细节，同时保持时间的一致性。所提出的方法显示出优于先前最先进的网络的深度和姿态结果，而无需利用额外的RGB指导。
2022-06-15 cs.CV cs.RO
Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
Key Laboratory of Machine Perception (MOE), School of EECS, Peking University（北京大学信息科学技术学院机器感知与智能教育部重点实验室）；PKU-SenseTime Machine Vision Joint Lab（北京大学-商汤科技机器视觉联合实验室）
我们提出了一个自监督学习框架，视觉里程计（VO），结合了连续帧的相关性，并利用对抗学习。先前的方法将自监督VO处理为局部运动恢复结构运动恢复结构（SfM）问题，其通过最小化扭曲图像和捕获图像之间的光度损失来从单个图像恢复深度并从图像对恢复相对姿态。由于单视点深度估计是一个不适定问题，而光度损失不能区分扭曲图像的失真伪影，因此估计的深度是模糊的，姿态是不准确的。与以前的方法相比，我们的框架学习了帧到帧相关性的紧凑表示，并通过合并顺序信息进行更新。更新的表示用于深度估计。此外，我们处理VO作为一个自我监督的图像生成任务，并利用生成对抗网络（GAN）。生成器学习估计深度和姿态以生成变形的目标图像。该方法利用高层次的结构感知来评估生成图像的质量，克服了以往方法中像素丢失的问题。在KITTI和Cityscapes数据集上的实验表明，该方法在保留细节的情况下获得了更准确的深度，并且预测姿势的性能明显优于最先进的自监督方法。
2019-08-23 cs.CV cs.LG cs.RO
Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
从单目视觉系统估计相机的运动以及场景的3D结构是一项复杂的任务，其通常依赖于所谓的场景刚性假设。当观察动态环境时，这一假设被违反，这导致相机的自我运动和对象的运动之间的模糊性。为了解决这个问题，我们提出了一个自监督学习的框架，从单目视频的三维物体运动场估计。我们的贡献是双重的。首先，我们提出了一个两阶段的投影流水线，明确地解开相机自我运动和物体运动与动态注意模块，称为DAM。具体而言，我们设计了一个综合的运动模型，估计在第一和第二翘曲阶段，分别由注意力模块通过共享的运动编码器控制的相机和对象的运动。其次，我们提出了一个对象运动场估计通过对比样本共识，称为CSAC，利用弱语义先验（限界框从对象检测器）和几何约束（每个对象尊重刚体运动模型）。在KITTI，Cityscapes和Waymo Open Dataset上的实验证明了我们方法的相关性，并表明我们的方法在自监督单目深度估计，对象运动分割，单目场景流估计和视觉里程计等任务中优于最先进的算法。
2021-10-13 cs.CV cs.LG cs.RO
Stable at Any Speed: Speed-Driven Multi-Object Tracking with Learnable Kalman Filtering
针对传统多目标跟踪方法忽略自车速度影响导致高速场景下性能下降的问题，提出速度引导可学习卡尔曼滤波器SG-LKF，结合MotionScaleNet参数预测与自监督轨迹损失，在多个MOT基准上取得领先性能。
2025-08-01 cs.CV
SelfOdom: Self-supervised Egomotion and Depth Learning via Bi-directional Coarse-to-Fine Scale Recovery
National University of Defense Technology（国防科技大学）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学与技术学院）
针对单目视觉尺度模糊问题，提出自监督双网络框架SelfOdom，通过粗到细两阶段恢复度量尺度，融合惯性数据提升鲁棒性，在正常及夜间等挑战场景下优于传统及学习型VO/VIO模型。
2023-09-02 cs.CV cs.RO
Forecasting of depth and ego-motion with transformers and self-supervision
Renault Software Factory（雷诺软件工厂）；CNRS-I3S（法国国家科学研究中心I3S实验室）；Côte d’Azur University（蔚蓝海岸大学）
本文讨论了端到端的深度和自我运动的自我监督预测的问题。给定一系列原始图像，其目的是使用自我监督的光度损失来预测几何形状和自我运动。该架构是使用卷积和Transformer模块设计的。这利用了两个模块的优势：CNN的感应偏置和Transformers的多头注意力，从而实现了丰富的时空表示，从而实现了准确的深度预测。先前的工作试图使用具有监督的地面实况数据的多模态输入/输出来解决这个问题，这是不实际的，因为需要大的注释数据集。替代以前的方法，本文预测深度和自我运动只使用自监督的原始图像作为输入。该方法在KITTI数据集基准上表现得非常好，几个性能标准甚至可以与以前的非预测自监督单目深度推理方法相媲美。
2022-06-15 cs.CV
Feature-metric Loss for Self-supervised Learning of Depth and Egomotion
Meituan Dianping Group（美团点评集团）；DeepMotion
光度损失被广泛用于自监督深度和自运动估计。然而，由光度差异引起的损失景观通常是优化的问题，这是由无纹理区域中的像素的高原景观或歧视性较低的像素的多个局部最小值引起的。在这项工作中，特征度量损失被提出并定义在特征表示上，其中特征表示也以自监督的方式学习，并通过一阶和二阶导数进行正则化，以约束损失景观以形成适当的收敛盆地。综合实验和详细的可视化分析表明，所提出的特征度量损失的有效性。特别是，我们的方法提高了国家的最先进的方法KITTI从0.885到0.925测量的$δ_1$的深度估计，并显着优于以前的方法视觉里程计。
2020-07-21 cs.CV
Pose Constraints for Consistent Self-supervised Monocular Depth and Ego-motion
DENSO ADAS Engineering Services GmbH（电装ADAS工程服务有限责任公司）
本文针对自监督单目深度估计的尺度时间不一致问题，提出最小化位姿不一致的时间一致性损失，在无需训练期真值尺度监督的情况下改善深度与自我运动预测。
2023-04-18 cs.CV cs.LG cs.RO
Differentiable Raycasting for Self-supervised Occupancy Forecasting
Carnegie Mellon University（卡内基梅隆大学）；Argo AI；Amazon（亚马逊）
安全自动驾驶的运动规划需要了解自动驾驶汽车周围的环境如何随时间变化。场景中可驾驶区域的自我中心感知不仅随着环境中的演员的运动而变化，而且还随着自我车辆本身的运动而变化。为大规模规划提出的自我监督表示，如以自我为中心的自由空间，混淆了这两种运动，使表示难以用于下游运动规划。在本文中，我们使用几何占用作为一个自然的替代视图相关的表示，如自由空间。占领地图自然地将环境的运动与自我交通工具的运动分开。然而，人们不能直接观察到场景的完整3D占用（由于遮挡），这使得它难以用作学习的信号。我们的关键见解是使用可微光线投射将未来的占用预测“渲染”为未来的LiDAR扫描预测，这可以与自监督学习的地面实况扫描进行比较。使用微分光线投射允许占用出现作为预测网络内的内部表示。在没有地面实况占用的情况下，我们定量评估了光线投射激光雷达扫描的预测，并显示了高达15个F1点的改进。对于下游运动规划器，紧急占用可以直接用于引导不可驾驶区域，与以自由空间为中心的运动规划器相比，这种表示相对减少了与物体碰撞的次数高达17%。
2022-10-18 cs.CV cs.RO
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）；Shandong University（山东大学）
最近，自监督学习技术已被应用于从单目视频中计算深度和自我运动，在自动驾驶场景中取得了显着的性能。深度和自我运动自监督学习的一个广泛采用的假设是图像亮度在附近帧内保持恒定。不幸的是，内窥镜场景不满足该假设，因为在数据汇集期间存在由照明变化、非朗伯反射和相互反射引起的严重亮度波动，并且这些亮度波动不可避免地使深度和自我运动估计精度恶化。在这项工作中，我们引入了一个新的概念，称为外观流来解决亮度不一致的问题。外观流考虑到亮度模式的任何变化，使我们能够开发一个广义的动态图像约束。此外，我们建立了一个统一的自监督框架，估计单眼深度和自我运动同时在内窥镜场景，其中包括一个结构模块，运动模块，外观模块和对应模块，准确重建外观和校准图像亮度。在SCARED数据集和EndoSLAM数据集上进行了大量的实验，所提出的统一框架大大超过了其他自监督方法。为了验证我们的框架在不同患者和相机上的泛化能力，我们在SCARED上训练我们的模型，但在SERV-CT和Hamlyn数据集上测试它，没有任何微调，优越的结果显示了它强大的泛化能力。代码将在以下网址提供：\url{https://github.com/ShuweiShao/AF-SfMLearner}。
2021-12-15 cs.CV
Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video
本文提出EgoViT框架，通过三种协同机制学习稳定物体表示，提升无监督物体发现和语义分割性能。
2026-03-14 cs.CV
Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
当前的场景流方法大多选择将场景流建模为逐点平移向量，而不区分3D运动的静态和动态分量。在这项工作中，我们提出了一种替代方法，用于端到端的场景流学习的非刚性残余流和自我运动流的动态3D场景的联合估计。我们建议从一对点云中学习相对刚性变换，然后进行迭代细化。然后，我们从转换后的输入中学习非刚性流，并扣除流的刚性部分。此外，我们扩展的监督框架与自我监督信号的时间一致性的点云序列的基础上。我们的解决方案允许在监督模式下进行训练，并辅以自我监督损失条款，以及在完全自我监督模式下进行训练。我们证明了场景流分解成非刚性流和自我运动流，并引入了自我监督信号，使我们能够优于当前最先进的监督方法。
2020-10-19 cs.CV cs.LG
EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity
Tokyo Institute of Technology（东京工业大学）
提出EMR-MSF自监督单目场景流模型，利用自运动刚性和软掩码过滤动态区域，结合多种损失与训练策略，在KITTI基准上SF-all指标提升44%，性能媲美监督方法。
2023-09-04 cs.CV
Memory Storyboard: Leveraging Temporal Segmentation for Streaming Self-Supervised Learning from Egocentric Videos
New York University（纽约大学）
针对第一人称视角视频流的自监督学习问题，受人类事件分割机制启发提出Memory Storyboard框架，通过双层记忆层次进行时间分段与回放，显著提升了无监督持续学习的表示性能。
2025-08-11 cs.CV cs.LG
Pseudo-labels for Supervised Learning on Dynamic Vision Sensor Data, Applied to Object Detection under Ego-motion
DSO National Laboratories（新加坡国防科技研究院）
近年来，动态视觉传感器（DVS），也称为基于事件的相机或神经形态传感器，由于比传统的基于帧的相机具有各种优点，已经看到越来越多的使用。利用受视网膜启发的原理，其高时间分辨率克服了运动模糊，其高动态范围克服了极端照明条件，其低功耗使其成为无人机和自动驾驶汽车等平台上嵌入式系统的理想选择。然而，基于事件的数据集是稀缺的，标签更是罕见的任务，如目标检测。我们通过中间伪标签将判别知识从最先进的基于帧的卷积神经网络（CNN）转移到基于事件的模态，中间伪标签用作监督学习的目标。我们第一次展示了在真实环境中以每秒100帧的速度在自我运动下进行基于事件的汽车检测，相对于我们注释的地面事实，测试平均精度为40.3%。基于事件的汽车检测器处理运动模糊和不良照明条件，尽管没有明确训练这样做，甚至补充了基于帧的CNN检测器，这表明它已经学习了广义的视觉表示。
2018-03-14 cs.CV
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
Institute of Medical Technology, Health Science Center of Peking University（北京大学医学部医学技术研究院）；National Institute of Health Data Science, Peking University（北京大学健康医疗大数据国家研究院）
无监督/自监督图表示学习对于下游节点和图级分类任务至关重要。图的全局结构有助于区分表示，现有方法主要通过施加额外的监督来利用全局结构。然而，它们的全局语义通常对于所有节点/图是不变的，并且它们未能显式地嵌入全局语义以丰富表示。在本文中，我们提出了全粒度自我语义传播自监督图表示学习（OEPG）。具体来说，我们引入实例自适应全局感知自我语义描述符，利用每个节点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。描述符可以作为新的邻居节点显式地集成到局部图卷积中。此外，我们设计了一个全粒度的规范化的整个规模和层次的自我语义分配注意力的权重，每个描述符从全粒度的角度。专门的借口任务和交叉迭代动量更新进一步发展为本地-全球相互适应。在下游任务中，OEPG在跨尺度和跨领域的多个数据集上始终获得最佳性能，精度增益为2%~6%。值得注意的是，OEPG还推广到数量和拓扑不平衡的场景。
2022-05-31 cs.AI cs.CV cs.LG
WS-SfMLearner: Self-supervised Monocular Depth and Ego-motion Estimation on Surgical Videos with Unknown Camera Parameters
Vanderbilt University（范德堡大学）
本文提出WS-SfMLearner，一种自监督系统，在未知相机内参的手术视频中同时预测深度图、相机位姿及内参，通过代价体积辅助监督提升各项估计精度。
2024-02-06 cs.AI cs.CV eess.IV
A Computational Account Of Self-Supervised Visual Learning From Egocentric Object Play
Vanderbilt University（范德堡大学）
本文基于 Toybox 自我中心视频数据集，研究将同一物体不同视角表征等同的自监督对比学习方法，证明其能鲁棒提升下游图像分类性能并可迁移到多个任务。
2023-05-30 cs.AI cs.CV
Self-Supervised Learning of Depth and Ego-Motion from Video by Alternative Training and Geometric Constraints from 3D to 2D
Xi’an Jiaotong University（西安交通大学）
基于无标记单目视频的深度和自我运动的自监督学习已经取得了很好的效果并引起了广泛的关注。现有的方法大多基于运动恢复结构（SFM）原理，通过相邻帧的光度一致性联合训练深度和姿态网络。然而，深度和姿态网络的耦合关系严重影响学习性能，并且重投影关系对尺度模糊敏感，特别是对于姿态学习。在本文中，我们的目标是在没有辅助任务的情况下提高深度姿势学习性能，并通过交替训练每个任务并将极线几何约束纳入基于迭代最近点（ICP）的点云匹配过程来解决上述问题。与联合训练深度和姿态网络不同，我们的关键思想是通过交替训练每个网络，同时修复另一个网络，更好地利用这两个任务的相互依赖性。我们还设计了一个对数尺度的3D结构一致性损失，以便在训练过程中更加强调较小的深度值。为了使优化更容易，我们进一步将极线几何纳入基于ICP的学习过程中进行姿势学习。在各种基准数据集上的大量实验表明，我们的算法优于最先进的自监督方法。
2021-08-04 cs.CV
EgoFlowNet: Non-Rigid Scene Flow from Point Clouds with Ego-Motion Support
The University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学）
EgoFlowNet提出一种弱监督点级场景流估计网络，通过二值分割掩码隐式驱动自运动与场景流分支，结合共享代价体和多尺度局部细化，在KITTI真实场景中优于现有方法。
2024-07-03 cs.CV
When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation
University of Oxford（牛津大学）；Queensland University of Technology（昆士兰科技大学）
用于联合深度和自我运动估计的自监督深度学习方法可以在不需要地面实况训练数据的情况下产生准确的轨迹。然而，由于它们通常使用光度损失，当这些损失所做的假设（例如，时间照明一致性、静态场景以及不存在噪声和遮挡）被违反时，它们的性能会显著降低。这限制了它们在例如夜间序列中的使用，夜间序列往往包含许多点光源（包括动态对象上的点光源）和较暗图像区域中的低信噪比（SNR）。在本文中，我们将展示如何使用三种技术的组合，使现有的光度损失，白天和夜间图像的工作。首先，我们引入了一个逐像素的神经强度变换来补偿连续帧之间发生的光线变化。其次，我们预测每像素的残差流图，我们使用它来校正由估计的自我运动和网络深度引起的重投影对应。第三，我们对训练图像进行去噪，以提高我们的方法的鲁棒性和准确性。这些变化使我们能够训练白天和夜间图像的单个模型，而不需要像现有方法那样单独的编码器或额外的特征网络。我们对具有挑战性的Oxford RobotCar数据集进行了广泛的实验和消融研究，以证明我们的方法对白天和夜间序列的有效性。
2022-06-28 cs.CV cs.RO
Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
学习仅从RGB输入预测场景深度和相机运动是一项具有挑战性的任务。大多数现有的基于学习的方法以监督的方式处理该任务，这需要获取昂贵的地面实况数据。最近的方法探索了在自监督学习框架中估计场景深度和相机姿态的可能性。尽管令人鼓舞的结果显示，当前的方法要么学习从单眼视频的深度和姿势，通常这样做，而不强制执行场景结构和相机运动之间的多视图几何约束，或需要立体序列作为输入，其中地面实况帧间运动参数需要是已知的。在本文中，我们建议通过最小化特征度量误差来结合可微束调整（BA）层来联合优化场景深度和相机运动，然后形成具有视图合成的光度一致性损失作为最终的监督信号。所提出的方法只需要未标记的单目视频作为输入，在KITTI和Cityscapes数据集上进行的大量实验表明，我们的方法在使用单目视频作为输入的自监督方法中取得了最先进的结果，甚至比从校准的立体序列（即姿势监督）中学习的方法更有优势。
2019-09-28 cs.CV
MCDS-VSS: Moving Camera Dynamic Scene Video Semantic Segmentation by Filtering with Self-Supervised Geometry and Motion
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出MCDS-VSS模型，通过自监督估计场景几何、相机自运动和物体运动，以预测-融合方式提升移动相机视频语义分割的时间一致性，同时保持分割精度。
2024-09-05 cs.CV cs.RO
Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning
Imperial College London（帝国理工学院）；University of Pittsburgh（匹兹堡大学）；Baylor College Of Medicine（贝勒医学院）；University of Ghana（加纳大学）；University of Georgia（佐治亚大学）；Boston University（波士顿大学）；University of Alabama（阿拉巴马大学）
在我们最近对加纳被动饮食监测的饮食评估实地研究中，我们收集了超过25万张野外图像。该数据集是一项持续的努力，旨在通过被动监测相机技术促进低收入和中等收入国家个人食物和营养素摄入量的准确测量。目前的数据集涉及来自加纳农村和城市地区的20个家庭（74名受试者），研究中使用了两种不同类型的可穿戴相机。一旦启动，可穿戴摄像头就会持续捕获受试者的活动，从而产生大量数据，在进行分析之前进行清理和注释。为了简化数据后处理和注释任务，我们提出了一种新的自监督学习框架，将大量以自我为中心的图像聚类为单独的事件。每个事件由一系列时间上连续且上下文相似的图像组成。通过将图像聚类为单独的事件，注释者和营养师可以更有效地检查和分析数据，并促进后续的饮食评估过程。在具有地面真实标签的测试集上进行验证，所提出的框架在聚类质量和分类精度方面优于基线。
2022-08-25 cs.CV
Attentional Separation-and-Aggregation Network for Self-supervised Depth-Pose Learning in Dynamic Scenes
Tsinghua University（清华大学）；Meituan-Dianping Group（美团点评集团）
通过对极投影的自我监督，从未标记视频中学习深度和自我运动，可以提高基于视觉的机器人的3D感知和定位的鲁棒性和准确性。然而，刚性投影计算的自我运动不能代表所有的场景点，如点上的移动物体，导致错误的指导，在这些地区。为了解决这个问题，我们提出了一个注意力分离和聚合网络（ASANet），它可以学习区分和提取场景的静态和动态特性，通过注意力机制。我们进一步提出了一种新的MotionNet与ASANet作为编码器，其次是两个独立的解码器，估计相机的自我运动和场景的动态运动场。然后，我们介绍了一种自动选择的方法来检测运动对象的动态感知学习自动。实验结果表明，该方法在KITTI基准测试中可以达到最先进的性能。
2020-11-18 cs.AI cs.CV cs.RO
GASP: Unifying Geometric and Semantic Self-Supervised Pre-training for Autonomous Driving
Zenseact（森赛克特科技）；Linköping University（林雪平大学）；Chalmers University of Technology（查尔姆斯理工大学）；Lund University（隆德大学）
本研究提出面向自动驾驶的几何与语义自监督预训练方法GASP，通过预测未来时空点的三类占据与特征学习统一四维表征，在多个自动驾驶基准任务上取得显著提升，为该领域提供了可扩展的有效预训练范式。
2025-03-19 cs.CV cs.RO
