Online Refractive Camera Model Calibration in Visual Inertial Odometry
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种通用折射相机模型，在视觉惯性里程计中在线联合估计里程计与未知介质折射率，仅需空气标定即可在折射流体中实现与常规相当的定位性能。
2024-09-18 cs.CV cs.RO
Online Adaptation of Visual Odometry Frontends with Image-Conditioned Reinforcement Learning
Robotics and Perception Group, University of Zurich, Switzerland（苏黎世大学机器人与感知组，瑞士）；Jet Propulsion Laboratory, California Institute of Technology, USA（加州理工学院喷气推进实验室，美国）
本文提出一种基于图像条件的强化学习框架，用于在线调节视觉里程计前端参数，通过轻量级纹理感知CNN编码器和特权批评者实现，在TartanAirV2和TUM RGB-D数据集上实验显示特征轨迹更长且计算成本更低。
2026-09-18 cs.CV
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction
GTS；US Army Research Laboratory（美国陆军研究实验室）
我们提出了一种无监督的深度神经网络方法来融合RGB-D图像与惯性测量，以进行绝对轨迹估计。我们的网络被称为视觉惯性测距学习器（VIOLearner），学习在没有惯性测量单元（IMU）内部参数（对应于陀螺仪和加速度计偏差或白噪声）或IMU和相机之间的外部校准的情况下执行视觉惯性测距（VIO）。该网络学习整合IMU测量值并生成假设轨迹，然后根据缩放图像投影误差相对于像素坐标空间网格的雅可比矩阵在线校正这些假设轨迹。我们评估了我们的网络对国家的最先进的（SOA）视觉惯性里程计，视觉里程计，视觉同时定位与地图构建（VSLAM）的KITTI里程计数据集的方法，并展示了竞争力的里程计性能。
2018-03-08 cs.CV cs.RO
An Online Adaptation Method for Robust Depth Estimation and Visual Odometry in the Open World
Brain-inspired Application Technology Center (BATC)（类脑应用技术中心）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
针对开放世界场景中基于学习的机器人导航系统泛化能力不足的问题，提出一种自监督在线自适应单目视觉里程计框架，通过轻量级细化器、稀疏深度 densification 模块和动态一致性增强模块实现快速适应，在多数据集和平台上验证了鲁棒性与泛化能力。
2025-04-16 cs.CV cs.RO
Deep Online Correction for Monocular Visual Odometry
Horizon Robotics（地平线机器人）；Huazhong University of Science and Technology（华中科技大学）
在这项工作中，我们提出了一种新的深度在线校正（DOC）框架的单目视觉里程计。整个流水线分为两个阶段：首先，从以自监督方式训练的卷积神经网络（CNN）获得深度图和初始姿态。其次，通过在推理阶段期间经由姿势的梯度更新来最小化光度误差，进一步改进由CNN预测的姿势。我们提出的方法的好处是双重的：1）与在线学习方法不同，DOC不需要计算CNN参数的梯度传播。因此，它在推理阶段节省了更多的计算资源。2)与将CNN与传统方法相结合的混合方法不同，DOC完全依赖于深度学习（DL）框架。虽然没有复杂的后端优化模块，我们的方法取得了优异的性能，相对变换误差（RTE）= 2.0%的KITTI Odometry基准的Seq。09，其性能优于传统的单眼VO框架，并与混合方法相当。
2021-03-18 cs.CV cs.LG cs.RO
Robust Odometry and Mapping for Multi-LiDAR Systems with Online Extrinsic Calibration
Hong Kong University of Science and Technology（香港科技大学）
结合多个LiDAR使机器人能够最大限度地提高其对环境的感知意识并获得足够的测量值，这对于同时定位与地图构建（SLAM）是有希望的。本文提出了一种系统，以实现强大的和同时外部校准，里程计，和映射多个激光雷达。我们的方法从测量预处理开始，从原始测量中提取边缘和平面特征。在运动和外部初始化过程之后，基于滑动窗口的多LiDAR里程计在船上运行以通过在线校准细化和收敛识别来估计姿态。我们进一步开发了一个映射算法来构建一个全球地图和优化构成与足够的功能，以及一种方法来建模和减少数据的不确定性。我们验证了我们的方法的性能与广泛的实验10个序列（4.60公里总长度）的校准和SLAM，并将它们与国家的最先进的。我们证明，所提出的工作是一个完整的，强大的，可扩展的系统，为各种多激光雷达设置。源代码、数据集和演示可在https://ram-lab.com/file/site/m-loam上获得。
2021-05-05 cs.CV cs.RO
Online Initialization and Extrinsic Spatial-Temporal Calibration for Monocular Visual-Inertial Odometry
Peking University（北京大学）
提出了一种基于优化的单目视觉-惯性里程计（VIO）在线初始化方法。该方法可以在线标定相机和IMU之间的相对变换（空间）和时间偏移（时间），并在初始化阶段估计度量尺度、速度、重力、陀螺仪偏差和加速度计偏差的初始值。为了补偿时间偏移的影响，我们的方法包括两个短期运动插值算法的相机和IMU姿态估计。此外，它包括一个三步过程，逐步估计参数从粗到细。首先，通过最小化相机和IMU之间的旋转差来估计外部旋转、陀螺仪偏差和时间偏移。其次，度量尺度，重力和外部平移近似估计通过使用补偿的相机姿势和忽略加速度计的偏差。第三，这些值通过考虑加速度计偏差和重力大小来细化。为了进一步优化系统状态，引入了一种考虑时间偏移的非线性优化算法，用于全局和局部优化。在公开数据集上的实验结果表明，该方法可以准确地估计出传感器的初始值、外参数以及传感器位姿。
2020-04-12 cs.CV cs.RO
Online Calibration of a Single-Track Ground Vehicle Dynamics Model by Tight Fusion with Visual-Inertial Odometry
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出ST-VIO，将单轨动力学模型与视觉惯性里程计紧耦合，在线标定模型参数，提升轮式机器人运动预测与跟踪精度。
2024-05-28 cs.CV cs.RO
ClusterVO: Clustering Moving Instances and Estimating Visual Odometry for Self and Surroundings
Tsinghua University（清华大学）；Alibaba Inc.（阿里巴巴公司）
我们提出了一种立体视觉里程计，它同时聚类和估计自我和周围刚性集群/对象的运动。与以往依赖于批量输入或对场景结构或动态对象模型施加先验知识的解决方案不同，QuanterVO是在线的、通用的，因此可以用于包括室内场景理解和自动驾驶在内的各种场景。在我们的系统的核心在于一个多层次的概率关联机制和异构条件随机场（CRF）聚类方法结合语义，空间和运动信息，共同推断聚类分割在线每帧。摄像机和动态对象的姿态通过滑动窗口优化立即解决。我们的系统在Oxford Multimotion和KITTI数据集上进行了定量和定性评估，在里程计和动态轨迹恢复方面达到了与最先进的解决方案相当的结果。
2020-03-29 cs.CV cs.RO
Keyframe-Based Visual-Inertial Online SLAM with Relocalization
RWTH Aachen University（亚琛工业大学）
利用惯性测量值对图像进行补充已经成为实现高精度和鲁棒性的实时相机位姿跟踪的最流行方法之一。在本文中，我们提出了一种基于关键帧的方法，视觉惯性同时定位与地图构建（SLAM）的单目和立体相机。我们的视觉惯性SLAM系统是基于一个实时的视觉惯性里程计方法，提供本地一致的轨迹和地图估计。我们通过在线闭环和非线性优化实现了估计的全局一致性。此外，我们的系统支持在先前获得的地图中重新定位，并允许继续SLAM操作。我们评估我们的方法在公共室内基准数据集和新记录的室外序列的准确性，重新定位能力和运行时的效率。我们展示了国家的最先进的性能相比，我们的系统的视觉惯性测距方法和基线视觉SLAM方法在恢复的轨迹的相机。
2017-03-02 cs.CV
LOL: Lidar-Only Odometry and Localization in 3D Point Cloud Maps
MTA SZTAKI, Hungarian Academy of Sciences, Institute for Computer Science and Control（匈牙利科学院计算机科学与控制研究所）
在本文中，我们处理的问题，里程计和定位激光雷达装备的车辆在城市环境中行驶，其中一个预制的目标地图存在本地化反对。在我们的问题公式中，为了校正仅激光雷达测距法的累积漂移，我们应用位置识别方法来检测在线3D点云和先验离线地图之间的几何相似位置。在拟议的系统中，我们将最先进的仅激光雷达里程计算法与最近提出的3D点段匹配方法集成在一起，以互补它们的优势。此外，我们提出了额外的增强功能，以减少在线点云和目标地图之间的错误匹配的数量，并细化位置估计误差时，检测到一个很好的匹配。我们在不同长度和环境的几个Kitti数据集上展示了所提出的LOL系统的实用性，在每种情况下，车辆轨迹的重新定位精度和精度都得到了显着提高，同时仍然能够保持实时性能。
2020-07-03 cs.CV cs.RO
FFVO: A Feedforward Pose Decoder for Long-Horizon Visual Odometry
Waymo LLC（Waymo 有限责任公司）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
FFVO提出一种前馈位姿解码器，通过紧凑令牌表示、分层时序解码和轨迹监督，在长程视觉里程计中实现高效、稳定且低漂移的相机位姿估计。
2026-09-15 cs.CV
DLO: Direct LiDAR Odometry for 2.5D Outdoor Environment
Tongji University（同济大学）
对于自动驾驶汽车来说，高精度的实时定位是稳定行驶的保障。与视觉里程计（VO）相比，LiDAR里程计（LO）具有精度高、稳定性好等优点。然而，2D LO仅适用于室内环境，3D LO通常效率较低。两者都不适合在户外驾驶环境中对自动驾驶车辆进行在线定位。本文提出了一种基于2.5维栅格地图的直接LO方法。提出的快速半稠密直接方法用于VO注册两个2.5维地图。实验表明，该方法在室外环境下的检测效果优于三维无损检测和LOAM。
2018-09-15 cs.AI cs.CV
Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology（光州科学技术院）
滚动快门（RS）相机由于低成本成像能力而变得普及。然而，当相机或对象移动或照明条件改变时，RS相机遭受不期望的伪影。因此，使用RS相机的单目视觉里程计（MVO）会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题，从图像和/或惯性传感器的运动预测。然而，MVO在处理相机运动突然改变时（例如，移动相机的振动瞬时引起极快的运动）的RS失真时仍然有麻烦。为了解决这个问题，我们提出了一种新的MVO算法，考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵，它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式，并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较，验证了该算法的优越性。
2017-04-24 cs.CV
ROVO: Robust Omnidirectional Visual Odometry for Wide-baseline Wide-FOV Camera Systems
Hanyang University（汉阳大学）
在本文中，我们提出了一个强大的视觉里程计系统的宽基线相机钻机与宽视场（FOV）鱼眼镜头，它提供了全方位的立体观察环境。为了更鲁棒和准确的自我运动估计，我们在标准VO流水线中添加了三个组件，1）用于改进特征匹配的混合投影模型，2）用于姿态估计的多视图P3P RANSAC算法，以及3）钻机外部参数的在线更新。混合投影模型结合了透视投影和圆柱投影，以最大限度地提高视图之间的重叠，并最大限度地减少图像失真，降低特征匹配性能。多视图P3 P RANSAC算法将传统的P3 P RANSAC扩展到多视图图像，以便在内围值计数中考虑所有视图中的所有特征匹配，以实现鲁棒的姿态估计。最后，在线外部校准无缝集成到后端优化框架中，以便可以自动校正由于冲击或振动引起的相机姿态变化。所提出的系统进行了广泛的评估与地面实况和真实序列的高度动态环境的合成数据集，并证明其优越的性能。
2019-03-01 cs.CV cs.RO
PRGFlow: Benchmarking SWAP-Aware Unified Deep Visual Inertial Odometry
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
空中机器人上的里程计必须具有低延迟和高鲁棒性，同时还尊重机器人尺寸所要求的尺寸、重量、面积和功率（SWAP）约束。视觉传感器与惯性测量单元（IMU）的组合已被证明是在资源受限的空中机器人上获得鲁棒和低延迟里程计的最佳组合。最近，用于视觉惯性融合的深度学习方法由于其高精度和鲁棒性而获得了发展势头。然而，这些技术的显着优点是其固有的可扩展性（适应不同大小的空中机器人）和统一性（相同的方法适用于不同大小的空中机器人），通过利用压缩方法和硬件加速，这是以前的方法所缺乏的。为此，我们提出了一种用于视觉平移估计的深度学习方法，并将其与惯性传感器松散融合，以进行完整的6DoF里程估计。我们还提出了一个详细的基准比较不同的架构，损失函数和压缩方法，使可扩展性。我们在MSCOCO数据集上评估我们的网络，并在多个真实飞行轨迹上评估VI融合。
2020-06-11 cs.CV cs.RO
Improving Online Source-free Domain Adaptation for Object Detection by Unsupervised Data Acquisition
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
本文针对自动驾驶目标检测中的在线无源域自适应问题，提出通过无监督数据采集优先选择信息量最大的无标签帧进行在线训练，并在真实数据集上验证其优于现有O-SFDA方法。
2024-08-30 cs.CV
STAG-VIO: Stabilized Prompt-to-Geometry Interface for Robust Dynamic Visual--Inertial Odometry
Electronic Information School, Wuhan University（武汉大学电子信息学院）
STAG-VIO通过提出不确定性自适应多目标跟踪等策略，解决动态VIO中提示不稳定导致的几何估计问题，在公开数据集上显著降低轨迹误差，性能优于现有最优方法。
2026-08-18 cs.CV
Online Adaptation through Meta-Learning for Stereo Depth Estimation
Nanjing University of Science and Technology（南京理工大学）；University of Trento（特伦托大学）；Huawei Technologies Ireland（华为技术爱尔兰公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在这项工作中，我们解决了立体声深度估计的在线自适应问题，即在与源训练集不同的环境中不断地使深度网络适应目标视频记录。为了解决这个问题，我们提出了一种新的在线元学习模型与适应（OMLA）。我们的建议基于两个主要贡献。首先，为了减少源和目标特征分布之间的域偏移，我们引入了一个源自批量归一化的在线特征对齐过程。其次，我们设计了一种元学习方法，利用特征对齐在在线学习设置更快的收敛。此外，我们提出了一种元预训练算法，以获得源数据集上的初始网络权重，这有助于适应未来的数据流。实验表明，OMLA和元预训练都有助于模型更快地适应新环境。我们的建议是在完善的KITTI数据集上进行评估的，在那里我们表明我们的在线方法与在批处理设置中训练的最先进的算法相比具有竞争力。
2019-04-17 cs.CV
Online Domain Adaptation for Semantic Segmentation in Ever-Changing Conditions
Univrses（Univrses公司）；Kudan（Kudan公司）；Technical University of Munich（慕尼黑工业大学）；University of Bologna（博洛尼亚大学）
无监督领域自适应（UDA）旨在减少训练和测试数据之间的领域差距，并且在大多数情况下以离线方式进行。然而，在部署期间，域变化可能连续且不可预测地发生（例如，突然的天气变化）。在这种情况下，深度神经网络的准确性会急剧下降，离线自适应可能不足以与之形成对比。在本文中，我们将在线领域自适应（OnDA）用于语义分割。我们设计了一个管道，是强大的连续域的变化，无论是渐进的或突然的，我们评估它的情况下，下雨和有雾的情况。我们的实验表明，我们的框架可以有效地适应新的领域在部署过程中，而不受灾难性遗忘以前的领域。
2022-07-21 cs.CV
On the Road to Online Adaptation for Semantic Image Segmentation
NAVER LABS Europe（NAVER欧洲实验室）；Oxford University（牛津大学）
我们提出了一个新的问题制定和相应的评估框架，以推进语义图像分割的无监督领域自适应的研究。总体目标是促进自适应学习系统的发展，这些系统将在不断变化的环境中不断学习，无需监督。研究分割模型自适应算法的典型协议仅限于少数几个领域，自适应离线发生，通常需要人工干预，至少要注释超参数调整的数据。我们认为，这样的约束是不兼容的算法，可以不断适应不同的现实世界的情况。为了解决这个问题，我们提出了一个协议，模型需要在线学习，从时间相关的图像序列，需要连续的，逐帧的适应。我们伴随着这个新的协议与各种基线，以解决拟议的配方，以及对他们的行为进行广泛的分析，这可以作为未来研究的起点。
2022-03-30 cs.CV
Federated Online Adaptation for Deep Stereo
Department of Computer Science and Engineering (DISI)（计算机科学与工程系（DISI））；Advanced Research Center on Electronic System (ARCES)（电子系统高级研究中心（ARCES））
本文提出基于联邦学习的分布式框架，使资源受限设备上的深度立体网络能借助其他客户端自适应提升性能，实验显示其效果与设备端自适应相当，且在挑战性环境中更优。
2024-05-23 cs.CV
Online Tracking Parameter Adaptation based on Evaluation
INRIA（法国国家信息与自动化研究所）
参数整定是许多跟踪算法的共同问题。为了解决这个问题，本文提出了一种在线参数调整，以适应不同的场景上下文的跟踪算法。在离线训练阶段，该方法学习如何调整跟踪器参数以应对不同的上下文。在在线控制阶段，一旦跟踪质量被评估为不够好，所提出的方法计算当前上下文，并使用学习值调整跟踪参数。实验结果表明，该方法提高了跟踪算法的性能，优于最新的最先进的跟踪器。本文提出了两个贡献：（1）一个在线跟踪评估，（2）一种方法，以适应在线跟踪参数的场景上下文。
2013-07-22 cs.CV
Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）
针对在线视觉语言导航中模型更新频率难以平衡的问题，提出快慢测试时自适应方法，通过统一框架下的梯度与参数联合分解-累积分析实现自适应，在四个主流基准上取得显著性能提升。
2024-05-19 cs.CV
Casting a BAIT for Offline and Online Source-free Domain Adaptation
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Nankai University（南开大学）；Huawei Kirin Solution（华为麒麟解决方案部）
针对无源域适配的离线和在线两种场景，提出基于双分类器（固定一个分类器头）的BAIT方法，通过定位错分特征并调整特征位置实现适配，在在线场景下性能显著优于现有SFDA方法。
2023-06-10 cs.CV
Online Unsupervised Domain Adaptation for Person Re-identification
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）；Atos（源讯公司）
无监督领域自适应用于人员重新识别（Person Re-ID）是将在标记的源域上学习的知识转移到未标记的目标域的任务。最近大多数解决这个问题的论文都采用了离线训练环境。更确切地说，Re-ID模型的训练是在假设我们可以访问完整的训练目标域数据集的情况下完成的。在本文中，我们认为，目标域通常由一个实际的现实世界中的应用程序，其中数据不断增加，从不同的网络的摄像机的数据流。Re-ID解决方案还受到保密规定的限制，规定收集的数据只能存储有限的时间，因此模型无法再访问以前看到的目标图像。因此，我们提出了一个新的实用的在线设置无监督领域自适应的人重新身份证有两个主要的限制：在线适应和隐私保护。然后，我们适应和评估国家的最先进的UDA算法在这个新的在线设置使用著名的市场1501，杜克大学和MSMT 17基准。
2022-05-09 cs.CV
Online Visual Tracking with One-Shot Context-Aware Domain Adaptation
Iran University of Science and Technology（伊朗科技大学）
在线学习策略通过学习特定领域的线索使视觉跟踪器对不同的失真更加鲁棒。然而，采用该策略的跟踪器未能充分利用背景区域的歧视性上下文。此外，由于缺乏足够的数据在每个时间步，在线学习的方法也可以使跟踪器容易过度拟合的背景区域。在本文中，我们提出了一个领域自适应的方法来加强的语义背景上下文的贡献。领域自适应方法仅以现成的深度模型为基础。所提出的方法的优势来自于其处理严重遮挡和背景杂波挑战的辨别能力。我们进一步引入了一个成本敏感的损失，减轻非语义背景候选人的语义候选人的主导地位，从而处理数据不平衡的问题。实验结果表明，我们的跟踪器实现竞争力的结果，在实时速度相比，国家的最先进的跟踪器。
2021-04-17 cs.CV
MixNorm: Test-Time Adaptation Through Online Normalization Estimation
University of Southern California（南加州大学）；Facebook AI
我们提出了一种简单而有效的方法来估计测试期间的批范数统计量，以快速适应源模型的目标测试样本。被称为测试时自适应，大多数以前的工作研究这个任务遵循两个假设，在他们的评估，其中（1）测试样本一起作为一个大的批次，（2）都来自一个单一的测试分布。然而，在实践中，这两个假设可能站不住脚的原因，我们提出了两个新的评估设置，批量大小是任意的，并考虑多个分布。与以前的方法不同，需要在测试时间内大量的单一分布来计算稳定的批量范数统计量，我们的方法避免了对大型在线批次的任何依赖，并且能够用单个样本估计准确的批量范数统计量。该方法在测试时自适应任务中的新提出的设置中显着优于最新技术水平，并且还展示了在各种其他设置中的改进，例如无源无监督领域自适应和Zero-Shot分类。
2021-10-21 cs.CV
Online Test-time Adaptation for 3D Human Pose Estimation: A Practical Perspective with Estimated 2D Poses
National University of Singapore（新加坡国立大学）
针对实际流式视频中仅有估计2D姿态的问题，提出自适应聚合、两阶段优化与局部增强的在线测试时适应方法，显著提升3D人体姿态估计性能。
2025-03-14 cs.CV
ODES: Domain Adaptation with Expert Guidance for Online Medical Image Segmentation
Department of Electrical and Computer Engineering, University of California, Riverside（电气与计算机工程系，加州大学河滨分校）
针对在线医学图像分割中伪标签噪声和单轮适应限制，本文提出ODES，通过主动学习获取少量专家像素标注，并结合图像剪枝选择高价值样本，提升域适应性能。
2025-08-28 cs.CV
Progressive Conditioned Scale-Shift Recalibration of Self-Attention for Online Test-time Adaptation
Department of Electrical and Electronic Engineering, Southern University of Science and Technology（电子工程系，南方科技大学）；Pengcheng Lab（鹏城实验室）
本文提出渐进式条件缩放-位移重校准方法，通过在线适应提升自注意力机制在跨领域任务中的性能。
2025-12-14 cs.CV
BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation
University of Oxford（牛津大学）
BrainIAC提出统一框架，结合多模态骨干、三维交互分割与在线自适应，应对临床MRI数据分布偏移，在七个数据集上优于现有方法并泛化至未见模态与病理。
2026-09-22 cs.CV
Online Adaptive Disparity Estimation for Dynamic Scenes in Structured Light Systems
Peking University（北京大学）；Kyushu University（九州大学）
针对结构光系统中深度网络在未见环境性能下降的问题，提出基于长序列多帧图案流的无监督损失函数，实现快速在线自适应，提升视差估计精度。
2023-10-13 cs.CV
Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
在测试阶段从单个初始样本跟踪视觉对象已经被广泛地视为一个一次/Few-Shot问题，即，用于初始适应的单次学习和用于在线适应的少样本学习。最近的Few-Shot在线自适应方法通过在离线阶段进行复杂的元学习优化来结合来自大量带注释的训练数据的先验知识。这有助于在线深度跟踪器实现快速适应并降低跟踪中的过拟合风险。在本文中，我们提出了一个简单而有效的递归最小二乘估计辅助在线学习方法的Few-Shot在线适应，而不需要离线训练。它允许模型的内置内存保留机制记住之前看到的对象的知识，因此可以安全地从训练中删除看到的数据。这也与防止灾难性遗忘的新兴持续学习领域有某些相似之处。这种机制使我们能够在不产生太多额外计算成本的情况下揭示现代在线深度跟踪器的功能。我们评估我们的方法的基础上两个网络的在线学习家庭的跟踪，即，RT-MDNet中的多层感知器和DiMP中的卷积神经网络。在几个具有挑战性的跟踪基准上的持续改进证明了其有效性和效率。
2022-03-10 cs.CV
A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models
University of Stuttgart（斯图加特大学）
本文系统比较 CLIP 等视觉-语言模型的在线测试时自适应方法，涵盖提示工程、提示学习及视觉-文本空间集成，并在多数据集和架构上验证其抗分布偏移效果。
2024-09-09 cs.CV
Online Continual Domain Adaptation for Semantic Image Segmentation Using Internal Representations
University of Southern California（南加州大学）
提出一种在线无监督域自适应算法，通过高斯混合模型近似源特征分布并在共享空间最小化分布距离，解决了源数据受限时图像语义分割的跨域泛化问题。
2024-01-02 cs.CV
Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model
University of Stuttgart（斯图加特大学）
针对在线无源通用领域适应中的内存限制问题，提出基于高斯混合模型持续捕捉已知类分布并结合熵检测生成伪标签的方法，在多个数据集上达到SOTA。
2024-11-12 cs.CV
An indoor DSO-based ceiling-vision odometry system for indoor industrial environments
Université Paris-Saclay（巴黎-萨克雷大学）；ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；CNRS（法国国家科学研究中心）；ez-Wheel - IDEC Corp.（ez-Wheel - IDEC公司）
针对室内工业环境中传统视觉里程计受动态物体干扰的问题，提出基于直接稀疏里程计的Ceiling-DSO天花板视觉系统，创建自定义数据集评估，通过参数优化实现可靠定位。
2024-12-04 cs.CV cs.RO
VILENS: Visual, Inertial, Lidar, and Leg Odometry for All-Terrain Legged Robots
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
针对足式机器人单传感器里程计估计易退化的问题，提出基于因子图的多模态紧融合里程计系统VILENS，扩展可观测线速度偏差项，实验验证其精度和鲁棒性均显著优于现有松耦合方法。
2024-10-07 cs.CV cs.RO
Adaptive Continuous Visual Odometry from RGB-D Images
University of Michigan（密歇根大学）
在本文中，我们扩展了最近开发的连续视觉里程计框架RGB-D相机的自适应框架，通过在线超参数学习。我们专注于各向同性内核的情况下，标量的长度尺度。在实践中，正如预期的那样，长度尺度对原始框架的性能有显着的影响。以前，它是使用求解器中的一组固定条件来处理的，以在算法达到局部最小值时减小长度尺度。我们在每次迭代中通过贪婪的梯度下降步骤来自动化这个过程，以找到下一个最佳的长度尺度。此外，为了处理梯度下降步骤中梯度表现不佳的失败情况，例如场景中缺少结构或纹理，我们使用长度尺度的搜索间隔并将其逐渐引导到较小的值。后一种策略将自适应框架恢复到原始设置。使用公开的RGB-D基准测试的实验评估表明，所提出的自适应连续视觉里程计优于原来的框架和当前最先进的。我们还公开了所开发的算法的软件。
2019-10-01 cs.CV cs.LG cs.RO
Burn After Reading: Online Adaptation for Cross-domain Streaming Data
University of Maryland（马里兰大学）；Salesforce Research（Salesforce 研究院）
在在线隐私的背景下，许多方法提出了复杂的隐私和安全保护措施来保护敏感数据。在本文中，我们认为：不存储任何敏感数据是最好的安全形式。因此，我们提出了一个“阅后即焚”的在线框架，即每个在线样本在处理后立即删除。同时，我们解决了不可避免的分布偏移之间的标记的公共数据和未标记的私人数据作为无监督的领域自适应的问题。具体来说，我们提出了一种新的算法，旨在在线自适应设置的最根本的挑战-缺乏不同的源-目标数据对。因此，我们设计了一个跨域自举的方法，称为CroDoBo，以增加跨域的组合多样性。此外，为了充分利用不同组合之间的有价值的差异，我们采用了多个学习者与共同监督的培训策略。CroDoBo在四个领域自适应基准上实现了最先进的在线性能。
2021-12-08 cs.CV cs.LG
Enhanced Laser-Scan Matching with Online Error Estimation for Highway and Tunnel Driving
Tufts University（塔夫茨大学）
激光雷达数据可用于生成点云，用于自动驾驶车辆或移动机器人平台的导航。扫描匹配是估计最佳对齐两个点云的刚性变换的过程，是激光雷达测距法（一种航位推算）的基础。当绝对传感器（如GPS）不可用时，激光雷达测距法特别有用。在这里，我们提出了迭代最近椭球变换（ICET），扫描匹配算法，它提供了两个新的改进，目前国家的最先进的正态分布变换（NDT）。与NDT类似，ICET将激光雷达数据分解为体素，并将高斯分布拟合到每个体素内的点。ICET的第一个创新通过抑制沿着这些方向的解来减少沿着大平面的几何模糊性。ICET的第二个创新是推断与连续点云之间的位置和方向变换相关联的输出误差协方差;当ICET被并入到诸如扩展卡尔曼滤波器之类的状态估计例程中时，误差协方差特别有用。我们构建了一个模拟，比较ICET和NDT在2D空间中的性能，有和没有几何模糊性，发现ICET产生优越的估计，同时准确地预测解决方案的精度。
2022-07-29 cs.CV cs.RO
RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；SenseTime Research（商汤科技研究院）
本文提出名为RD-VIO的视觉惯性里程计系统，通过IMU-PARSAC两阶段算法鲁棒检测匹配关键点，并利用特殊子帧和延迟三角化技术处理纯旋转问题，在动态环境中显著优于其他方法。
2024-02-16 cs.CV cs.RO
Data-Efficient Collaborative Decentralized Thermal-Inertial Odometry
University of Zurich（苏黎世大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
我们提出了一个系统解决方案，以实现数据高效，分散的状态估计的飞行机器人使用热图像和惯性测量的团队。每个机器人都可以独立飞行，并在可能的情况下交换数据以改进其状态估计。我们的系统前端应用在线光度校准来细化热图像，以增强特征跟踪和位置识别。我们的系统后端使用协方差交叉融合策略，忽略代理之间的互相关，以降低内存使用和计算成本。通信管道使用局部聚集描述符向量（VLAD）来构造要求低带宽使用的请求-响应策略。我们在合成数据和真实数据上测试了我们的协作方法。我们的研究结果表明，所提出的方法提高了高达46%的轨迹估计相对于个人代理的方法，同时减少了高达89%的通信交换。数据集和代码向公众发布，扩展了已经公开的JPL xVIO库。
2022-09-14 cs.CV cs.RO
The Empirical Impact of Forgetting and Transfer in Continual Visual Odometry
Politecnico di Milano（米兰理工大学）
本研究实证调查了具身环境下持续训练的视觉里程计神经网络中灾难性遗忘与知识迁移的影响，发现模型经历从高可迁移性到环境专门化的转变，常规正则化和增加容量无效，排练练习略有裨益但增加记忆成本，融入动作信息加速收敛却加剧专门化。
2024-06-03 cs.CV cs.RO
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法，用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动，可以快速适应未来帧中的特定目标。理想情况下，生成的模型将重点放在对未来帧有用的特征上，并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代，最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部：跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明，我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Self-Supervised Domain Adaptation for Visual Navigation with Global Map Consistency
Seoul National University（首尔大学）
我们提出了一个轻量级的，自我监督的适应视觉导航代理推广到看不见的环境。给定一个在无噪声环境中训练的具体代理，我们的目标是将代理转移到存在驱动和里程计传感器噪声的嘈杂环境中。我们的方法鼓励代理，以最大限度地提高在往返轨迹的不同时间步生成的全球地图之间的一致性。所提出的任务是完全自我监督的，不需要来自地面真实姿态数据或显式噪声模型的任何监督。此外，任务目标的优化是非常轻量级的，因为在商品GPU上训练在几分钟内终止。我们的实验表明，所提出的任务有助于代理成功地转移到新的，嘈杂的环境。转移的代理表现出改进的定位和映射精度，进一步提高下游视觉导航任务的性能。此外，我们证明了测试时自适应与我们的自我监督任务，以显示其潜在的适用性，在现实世界的部署。
2021-10-14 cs.CV cs.RO
RAUM-VO: Rotational Adjusted Unsupervised Monocular Visual Odometry
Interdisciplinary Center for Security Reliability and Trust (SnT)（安全、可靠性与信任跨学科中心（SnT））；University of Luxembourg（卢森堡大学）
单目摄像机运动和3D场景理解的无监督学习依赖于对极几何或非线性优化，相对于传统方法已经得到普及。值得注意的是，深度学习可以克服单目视觉的许多问题，例如感知混淆、低纹理区域、尺度漂移和退化运动。此外，关于监督学习，我们可以充分利用视频流数据，而不需要深度或运动标签。然而，在这项工作中，我们注意到旋转运动可以限制无监督姿态网络的准确性，而不是平移分量。因此，我们提出了RAUM-VO，一种基于无模型极线约束的方法，用于帧到帧运动估计（F2F），以在训练和在线推理期间调整旋转。为此，我们使用预先训练的深度网络Superpoint和Superglue匹配连续帧之间的2D关键点，同时使用无监督训练协议训练网络进行深度和姿态估计。然后，我们使用2D匹配并使用姿势网络预测初始化求解器，通过F2F估计的运动来调整预测的旋转。最终，与KITTI数据集上的其他无监督姿势网络相比，RAUM-VO显示出相当大的准确性提高，同时降低了其他混合或传统方法的复杂性，并实现了可比较的最先进的结果。
2022-03-14 cs.CV cs.RO
Online Mutual Adaptation of Deep Depth Prediction and Visual SLAM
University of Alberta（阿尔伯塔大学）；Universiti Putra Malaysia（马来西亚博特拉大学）
卷积神经网络（CNN）的准确深度预测能力是其在实际视觉同时定位与地图构建（SLAM）应用（诸如增强的相机跟踪和密集地图构建）中的广泛使用的主要挑战。本文旨在回答以下问题：即使CNN没有针对当前操作环境进行训练，我们是否可以在视觉SLAM算法的帮助下调整深度预测CNN，以便有益于SLAM性能？为此，我们提出了一种新的在线自适应框架，由两个互补的过程组成：一个SLAM算法，用于生成关键帧来微调深度预测和另一个算法，使用在线自适应深度来提高地图质量。一旦潜在的噪声地图点被删除，我们执行全球光度光束法平差（BA），以提高整体SLAM性能。在我们自己的实验环境中，在基准数据集和真实机器人上的实验结果表明，我们提出的方法提高了整体SLAM的准确性。虽然正则化已被证明是有效的多任务分类问题，我们目前的实验结果和消融研究显示正则化的有效性，防止灾难性遗忘的在线适应深度预测，单任务回归问题。此外，我们将我们的在线自适应框架与最先进的预训练深度预测CNN进行比较，以表明我们的在线自适应深度预测CNN优于在大量数据集上训练的深度预测CNN。
2022-02-01 cs.CV cs.RO
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge（三星人工智能中心剑桥）；The University of Edinburgh（爱丁堡大学）
领域自适应（Domain adaptation，DA）是一个热门的问题，它从标记的源数据集调整模型，使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题，通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中，我们采取了正交的角度来看，并提出了一个框架，以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度，与更广泛考虑的Few-Shot元学习的设置相比，这是具有挑战性的。因此，我们提出了一个在线最短路径元学习框架，这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应（MSDA）和半监督领域自适应（SSDA）的变体。重要的是，我们的方法是不可知的基础适应算法，并可以应用于改善许多技术。在实验中，我们展示了经典（DANN）和最近（MCD和MME）的MSDA和SSDA技术的改进，并最终实现了几个DA基准测试，包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Brain-Inspired Online Adaptation for Remote Sensing with Spiking Neural Network
Brain-Inspired Application Technology Center (BATC)（脑启发应用技术中心）；School of Electronic Information and Electrical Engineering（电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）；ATR Key Lab（ATR重点实验室）；School of Electronic Science and Engineering（电子科学与工程学院）；National University of Defense Technology（国防科学技术大学）
本文首次提出基于脉冲神经网络的遥感在线自适应框架，通过BPTT近似、自适应激活缩放和置信度实例加权，在七个基准数据集上显著超越现有方法，实现边缘设备上的高能效快速适应。
2025-07-21 cs.CV cs.LG cs.NE
Continual Test-Time Adaptation via Entropy Sensitivity-Guidance in Strict Online Setting
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）
本文提出SEGA方法，用于严格在线持续测试时适应，通过结构化擦除探测熵变化以协调恢复与样本选择，在多数据集上提升了鲁棒性与稳定性并减少反向传播次数。
2026-09-01 cs.CV cs.LG
PointFix: Learning to Fix Domain Bias for Robust Online Stereo Adaptation
Yonsei University（延世大学）；NAVER AI Lab（NAVER AI实验室）；Ewha Womans University（成均馆大学）
针对在线立体匹配中动态区域域偏移问题，提出PointFix辅助点选择网络嵌入元学习框架，通过元梯度修复局部变异以稳健初始化模型，实现即插即用并在多种序列自适应中达到最先进性能。
2025-08-26 cs.CV cs.LG
Analysis of Pseudo-Labeling for Online Source-Free Universal Domain Adaptation
Institute of Signal Processing and System Theory , University of Stuttgart, Germany（信号处理与系统理论研究所，斯图加特大学）
本文系统分析了在线无源通用域适应（SF-UniDA）中伪标签对适应结果的影响，发现伪标签准确率比数量更关键，对比损失对中等准确率鲁棒而交叉熵损失在接近完美时更优，揭示了当前方法与理论上界间的差距。
2025-05-30 cs.CV cs.LG
