Joint Estimation of Camera Pose, Depth, Deblurring, and Super-Resolution from a Blurred Image Sequence
Seoul National University（首尔大学）
从严重模糊或低分辨率的图像中估计相机姿态和场景结构的传统方法经常导致失败。现成的去模糊或超分辨率方法可以显示视觉上令人愉悦的结果。然而，在匹配之前独立地应用每种技术通常是无利可图的，因为这一系列天真的过程忽略了图像之间的一致性。在本文中，我们提出了一个开创性的统一框架，同时解决四个问题，即密集的深度重建，相机姿态估计，超分辨率，去模糊。通过反映一个物理成像过程，我们制定了一个成本最小化问题，并使用交替优化技术解决它。在合成视频和真实视频上的实验结果都显示了从严重退化的图像中获得的高质量深度图，这些图像对比了幼稚的多视图立体视觉方法的失败。我们提出的方法还产生了出色的去模糊和超分辨率图像，不同于传统的视频去模糊，超分辨率方法的独立应用程序或组合。
2017-09-18 cs.CV
FMODetect: Robust Detection of Fast Moving Objects
ETH Zurich（苏黎世联邦理工学院）；Microsoft Mixed Reality and AI Zurich Lab（微软苏黎世混合现实与人工智能实验室）；UTIA, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了第一个基于学习的快速运动目标检测方法。这样的对象是高度模糊的，并且在一个视频帧内移动很长的距离。快速移动的对象与去模糊和遮片问题相关联，也称为去遮片。我们表明，分离成连续的抠图和去模糊的deblatting允许实现实时性能，即一个数量级的速度，从而使新的应用程序类。所提出的方法通过从合成数据学习来检测快速移动的对象作为到轨迹的截断距离函数。对于清晰的外观估计和精确的轨迹估计，我们提出了一个抠图和拟合网络，估计模糊的外观没有背景，其次是基于能量最小化的去模糊。最先进的方法在召回率，精度，轨迹估计和清晰的外观重建方面表现出色。与其他方法相比，如去噪，推理是几个数量级的速度，并允许应用程序，如实时快速移动目标检测和检索在大型视频集合。
2021-08-17 cs.CV
Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
我们解决的新任务，共同重建的3D形状，纹理和运动的对象从一个单一的运动模糊图像。虽然以前的方法只在2D图像域中解决去模糊问题，但我们提出的3D域中所有对象属性的严格建模能够正确描述任意对象运动。这导致更好的图像分解和更清晰的去模糊结果。我们将观察到的运动模糊对象的外观建模为背景和具有恒定平移和旋转的3D对象的组合。我们的方法最大限度地减少了损失重建输入图像通过微分渲染与合适的正则化。这使得能够以高保真度估计模糊对象的纹理化3D网格。我们的方法大大优于竞争的方法在几个基准快速移动物体去模糊。定性结果表明，重建的三维网格生成高质量的时间超分辨率和新的视图去模糊的对象。
2021-10-26 cs.CV
DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；KU Leuven（卢森堡大学）；Carleton University（卡尔顿大学）
提出首个无需运动恢复结构的去模糊三维高斯泼溅方法，利用密集立体模块和事件流实现高质量新视图合成与高效渲染。
2026-05-29 cs.CV
Generalized Video Deblurring for Dynamic Scenes
Seoul National University（首尔大学）
几种最先进的视频去模糊方法都是基于一个很强的假设，即捕获的场景是静态的。这些方法无法消除动态场景中的模糊视频。与其他方法不同，我们提出了一种视频去模糊方法来处理动态场景中固有的一般模糊。为了处理由各种来源（例如相机抖动、移动物体和场景中的深度变化）引起的局部变化和一般模糊，我们用双向光流近似逐像素内核。因此，我们提出了一个单一的能量模型，同时估计光流和潜在的帧来解决我们的去模糊问题。我们还提供了一个框架和高效的求解器来优化能量模型。通过最小化建议的能量函数，我们实现了显着的改善，在消除模糊和估计准确的光流在模糊帧。大量的实验结果表明，该方法的优越性，在真实的和具有挑战性的视频，国家的最先进的方法失败，无论是去模糊或光流估计。
2015-07-09 cs.CV
MoBGS: Motion Deblurring Dynamic 3D Gaussian Splatting for Blurry Monocular Video
MoBGS通过模糊适应性潜在相机估计和曝光估计方法，实现对模糊单目视频中动态场景的高效去模糊和高质量时空视图重建。
2025-12-03 cs.CV
UPGS: Unified Pose-aware Gaussian Splatting for Dynamic Scene Deblurring
本文提出统一优化框架，通过将相机姿态作为可学习参数与3DGS属性结合，实现端到端优化，提升动态去模糊的重建质量和姿态估计精度。
2026-03-15 cs.CV
DeFMO: Deblurring and Shape Recovery of Fast Moving Objects
ETH Zurich（苏黎世联邦理工学院）；Microsoft Mixed Reality and AI Zurich Lab（微软苏黎世混合现实与人工智能实验室）；Google Research（谷歌研究院）；Czech Technical University in Prague（布拉格捷克理工大学）
高速移动的物体在用相机捕捉时显得非常模糊。当对象具有复杂的形状或纹理时，模糊的外观尤其模糊。在这种情况下，传统的方法，甚至人类，都无法恢复对象的外观和运动。我们提出了一种方法，给定一个单一的图像与其估计的背景，输出对象的外观和位置，在一系列的子帧，就好像由高速相机（即时间超分辨率）捕获。所提出的生成模型将模糊对象的图像嵌入到潜在的空间表示中，解开背景，并呈现清晰的外观。受图像形成模型的启发，我们设计了新的自监督损失函数项，以提高性能并显示出良好的泛化能力。所提出的DeFMO方法是在复杂的合成数据集上训练的，但它在来自多个数据集的真实数据上表现良好。DeFMO优于现有技术，并生成高质量的时间超分辨率帧。
2021-03-30 cs.CV cs.GR
Edge Prior Augmented Networks for Motion Deblurring on Naturally Blurry Images
University of Oxford（牛津大学）；Sun Yat-sen University（中山大学）
运动去模糊近年来发展迅速，大多数最近的方法通过使用深度学习技术，在不同种类的先验知识的帮助下来解决它。考虑到去模糊本质上是为了提高图像的清晰度，边缘信息可以作为一个重要的先验。然而，在设计深度模型时，在以前的方法中尚未认真考虑边缘。为此，我们提出了一个新的框架，将边缘先验知识融入深度模型，称为边缘先验增强网络（EPAN）。EPAN有一个基于内容的主分支和一个基于边缘的辅助分支，它们分别被构造为内容去模糊网（CDN）和边缘增强网（EEN）。EEN旨在通过一种专注的融合机制在去模糊过程中增强CDN，其中边缘特征被映射为空间掩模，以基于特征的分层方式引导内容特征。提出了一种边缘引导的损失函数，通过加强对边缘区域的关注来进一步调节EPAN的优化。此外，我们设计了一个基于双摄像头的图像采集设置，以建立一个新的数据集，真实对象运动模糊（ROMB），与成对的锐利和自然模糊的图像的快速移动的汽车，以便更好地训练运动去模糊模型和基准的运动去模糊算法在实践中的能力。在所提出的ROMB和其他现有数据集上进行的大量实验表明，EPAN在定性和定量方面优于最先进的方法。
2021-09-18 cs.CV
Adaptive Window Pruning for Efficient Local Motion Deblurring
Nanyang Technological University（南洋理工大学）；State Key Laboratory of Extreme Photonics and Instrumentation（极端光学与仪器国家重点实验室）
本文提出LMD-ViT，通过自适应窗口剪枝聚焦局部区域去模糊，减少计算量，提升速度与性能，显著降低FLOPs并加速推理。
2023-10-15 cs.CV
Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model
Seoul National University（首尔国立大学）
现有技术的视频去模糊方法不能处理动态场景中记录的模糊视频，因为它们是在所捕获的场景是静态的强烈假设下构建的。与现有的方法相反，我们提出了一种视频去模糊算法，可以处理动态场景中固有的一般模糊。为了处理由各种来源（例如移动对象、相机抖动、深度变化和散焦）引起的一般和局部变化的模糊，我们估计逐像素非均匀模糊核。我们推断双向光流来处理运动模糊，并且还估计高斯模糊图以在我们的新模糊模型中从散焦中去除光学模糊。因此，我们提出了一个单一的能量模型，联合估计光流，散焦模糊地图和潜在的帧。我们还提供了一个框架和高效的求解器，以尽量减少所提出的能源模型。通过优化能量模型，我们在去除一般模糊，估计光流，并在模糊帧中扩展景深方面取得了显着的改进。此外，在这项工作中，为了客观地评估非均匀去模糊方法的性能，我们构建了一个新的真实数据集。此外，广泛的实验公开具有挑战性的视频数据表明，所提出的方法产生的质量优于性能比国家的最先进的方法，往往失败，无论是去模糊或光流估计。
2016-03-14 cs.CV
Online Video Deblurring via Dynamic Temporal Blending Network
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Seoul National University（首尔国立大学）
现有技术的视频去模糊方法能够去除动态场景中由不期望的相机抖动和/或对象运动引起的不均匀模糊。然而，大多数现有的方法是基于批处理，因此需要访问所有记录的帧，使它们在计算上要求高且耗时，从而限制了它们的实际使用。相比之下，我们提出了一个在线（顺序）视频去模糊方法的基础上的时空递归网络，允许实时性能。特别是，我们引入了一种新的架构，该架构扩展了感受野，同时保持网络的整体大小较小，以实现快速执行。在这样做的过程中，我们的网络能够消除由强烈的相机抖动和/或快速移动的物体引起的大模糊。此外，我们提出了一种新的网络层，通过动态时间混合来执行连续帧之间的时间一致性，该动态时间混合比较并自适应（在测试时）共享在不同时间步获得的特征。我们在广泛的实验评估所提出的方法的优越性。
2017-04-11 cs.CV
ExpRDiff: Short-exposure Guided Diffusion Model for Realistic Local Motion Deblurring
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对局部运动去模糊中检测不准、重度模糊恢复效果差的问题，提出融合上下文模糊检测、短曝光引导恢复与扩散约束的ExpRDiff模型，性能优于现有最优方法。
2024-12-12 cs.CV
Incremental Real-Time Multibody VSLAM with Trajectory Optimization Using Stereo Camera
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Max Planck Institute For Intelligent Systems（马克斯·普朗克智能系统研究所）；The Robotics Institute（机器人研究所）；Queensland University of Technology（昆士兰理工大学）；University of Petroleum and Energy Studies（石油与能源研究大学）
高动态环境下的实时的户外导航是一个至关重要的问题。最近的文献实时的静态SLAM不按比例扩大到动态户外环境。这些方法中的大多数将移动对象假设为离群值或丢弃它们提供的信息。我们提出了一种算法，联合推断摄像机的轨迹和运动物体的轨迹同时。在本文中，我们执行一个稀疏场景流的运动分割使用立体相机。分割的对象运动模型用于精确定位摄像机轨迹以及移动对象。我们利用运动物体之间的关系来提高姿态的准确性。我们制定的构成因素图纳入所有的约束。我们通过实时的求解一个完全非线性优化问题来获得精确的增量解。在具有挑战性的KITTI数据集上进行了多辆移动汽车的评估。我们的方法在户外导航中优于以前的基线。
2016-08-02 cs.CV
GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring
Seoul National University（首尔大学）；ASRI（先进科学技术研究院）；IPAI（智能与交互系统研究院）
针对现有去模糊数据集模糊类型单一、构建成本高的问题，提出基于3DGS重建3D场景、沿随机运动轨迹渲染的GS-Blur数据集，具备多样真实模糊效果，可提升去模糊模型泛化性能。
2024-10-31 cs.CV
Motion Deblurring using Spatiotemporal Phase Aperture Coding
Tel Aviv University（特拉维夫大学）
运动模糊是摄影中的一个已知问题，因为它限制了捕捉移动物体时的曝光时间。在这项工作中，提出并证明了一种用于运动去模糊的计算成像方法。在图像采集期间在透镜孔径中使用动态相位编码，运动的轨迹被编码在中间光学图像中。该编码通过对每个对象的空间模糊着色来嵌入运动方向和范围。颜色线索用作盲去模糊过程的先验信息，该盲去模糊过程使用被训练为利用这种编码进行图像恢复的卷积神经网络（CNN）来实现。我们证明了所提出的方法的优势，盲去模糊没有编码和其他解决方案，使用编码采集，无论是在模拟和现实世界的实验。
2020-02-18 cs.CV eess.IV
Learning Residual Flow as Dynamic Motion from Stereo Videos
KAIST（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种方法，用于从移动立体钻机观察到的3D场景流分解成静止的场景元素和动态对象运动。我们的无监督学习框架共同推理了摄像机运动、光流和移动对象的3D运动。三个合作网络预测立体匹配，摄像机运动和残余流，其表示由于对象运动而不是来自摄像机运动的流分量。基于刚性射影几何，利用估计的立体深度来指导摄像机运动估计，利用深度和摄像机运动来指导残差流估计。我们还明确估计的3D场景流的动态对象的残留流和场景深度的基础上。KITTI数据集上的实验证明了该方法的有效性，并表明该方法在光流和视觉里程计任务上优于其他最先进的算法。
2019-09-16 cs.CV
Hand-held Video Deblurring via Efficient Fourier Aggregation
Duke University（杜克大学）
用手持相机拍摄的视频通常会出现大量的模糊，这主要是由摄影师的手不可避免的自然震颤造成的。在这项工作中，我们提出了一种算法，消除模糊，由于相机抖动相结合的信息在傅立叶域从附近的帧在视频中。典型视频的动态特性以及多个移动对象和遮挡的存在使得相机抖动去除的问题极具挑战性，特别是当需要低复杂度时。给定输入视频帧，我们首先创建时间相邻帧的一致注册版本。然后，在傅立叶域中利用取决于傅立叶频谱幅度的权重对一致配准的帧的集合进行逐块融合。该方法的动机来自生理事实，即相机抖动模糊具有随机性质，因此，附近的视频帧通常被不同地模糊。在野外录制的大量视频的实验以及广泛的比较表明，该算法实现了最先进的结果，同时比竞争对手快得多。
2015-12-04 cs.CV
Learning Blind Motion Deblurring
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
由于手持摄像机现在很常见，并且可以在每一部智能手机中使用，因此几乎可以随时随地记录图像和视频。然而，由于在记录或移动场景中的对象期间不希望的相机抖动，拍摄快速快照经常产生模糊的结果。从模糊记录中去除这些伪影是一个高度不适定的问题，因为清晰图像和运动模糊核都是未知的。在多个连续的模糊观察之间重新定位信息可以帮助恢复所需的清晰图像或视频。基于神经网络的盲解卷积依赖于大量难以获取的地面实况数据。在这项工作中，我们提出了一种有效的方法来产生大量的现实训练数据，并引入了一种新的经常性的网络架构去模糊帧考虑到时间信息，它可以有效地处理任意的空间和时间的输入大小。我们展示了我们的方法的多功能性，在一个全面的比较，在一些令人惊讶的现实世界的例子。
2017-08-14 cs.CV
Gated Fusion Network for Joint Image Deblurring and Super-Resolution
Xi’an Jiaotong University（西安交通大学）；Hikvision Research（海康威视研究院）；University of California, Merced（加州大学默塞德分校）；Google Cloud（谷歌云）
单图像超分辨率是视觉应用中提高图像空间分辨率的基本任务。如果输入图像包含退化像素，则由退化引起的伪影可以通过超分辨率方法被放大。图像模糊是一种常见的退化源。由移动或静止相机捕获的图像不可避免地受到由于传感器和对象之间的相对运动而引起的运动模糊的影响。在这项工作中，我们专注于超分辨率的任务与运动模糊的存在。我们提出了一种深度门控融合卷积神经网络，从单个严重模糊的自然图像中生成清晰的高分辨率帧。通过将特征提取步骤分解为两个任务无关的流，双分支设计可以通过避免学习混合退化一体化来促进训练过程，从而增强最终的高分辨率预测结果。大量的实验表明，我们的方法产生更清晰的超分辨率图像从低分辨率的输入与高的计算效率。
2018-07-27 cs.CV
Stereo-based Multi-motion Visual Odometry for Mobile Robots
Wuhan University（武汉大学）
随着计算机视觉的发展，视觉里程计被越来越多的移动机器人采用。然而，我们发现，不仅自己的姿势，但其他移动物体的姿势也是至关重要的机器人的决定。此外，当有明显的运动物体出现时，视觉里程计会受到很大的干扰。本文提出了一种基于立体视觉的多运动视觉里程计方法来获取机器人及其他运动物体的位姿。为了同时获得姿态，在传统的视觉里程计流水线中加入了连续运动分割模块和坐标转换模块。因此，所有移动对象的姿态可以被获取并转换到地面坐标系中。实验结果表明，所提出的多运动视觉里程计能有效消除运动目标对视觉里程计的影响，且每个运动目标的位置和方向RMSE（均方根误差）分别达到10 cm和3°。
2019-10-15 cs.CV cs.RO
Learning-based Tracking of Fast Moving Objects
Institute of Information Theory and Automation of the Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）
对于标准跟踪器来说，跟踪在视频序列中表现为模糊条纹的快速移动对象是一项困难的任务，因为对象位置在连续视频帧中不重叠，并且对象的纹理信息是模糊的。针对该任务调整的最新方法是基于具有静态背景的背景减法和缓慢的去模糊算法。在本文中，我们提出了一种使用最先进的深度学习方法实现的分段跟踪方法，该方法对真实世界的视频序列进行近实时跟踪。我们实现了一个物理上合理的FMO序列生成器，作为我们训练管道的坚实基础，并证明了快速生成器和网络适应不同FMO场景的前景变化的容易性。
2020-05-04 cs.CV
A Dataset and Model for Realistic License Plate Deblurring
School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（西交利物浦大学人工智能与先进计算学院）
针对真实场景车牌去模糊问题，构建了首个大规模数据集 LPBlur，并提出包含特征融合、文本重建和分区判别模块的去模糊生成对抗网络 LPDGAN，显著优于现有方法。
2024-04-23 cs.CV eess.IV
Face Deblurring using Dual Camera Fusion on Mobile Phones
Google（谷歌）
快速移动的物体的运动模糊是摄影中的一个长期问题，并且由于有限的光收集效率，特别是在低光条件下，在移动电话上非常常见。虽然近年来我们在图像去模糊方面取得了很大的进展，但大多数方法都需要大量的计算能力，并且在处理具有严重局部运动的高分辨率照片时存在局限性。为此，我们开发了一种新的基于双摄像头融合技术的手机人脸去模糊系统。该系统检测对象运动以动态地启用参考相机，超广角相机通常在最近的高端手机上提供，并捕捉一个辅助照片与更快的快门设置。虽然主镜头是低噪但模糊的，但参考镜头是尖锐但嘈杂的。我们学习ML模型来对齐和融合这两张照片，并输出一张没有运动模糊的清晰照片。我们的算法在Google Pixel 6上高效运行，每次拍摄需要463 ms的开销。我们的实验证明了我们的系统对替代单图像，多帧，面部特定的，视频去模糊算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个面部运动去模糊的移动解决方案，在不同的运动和照明条件下，在数千张图像上可靠而稳健地工作。
2022-07-23 cs.CV cs.GR
Fast Multi-frame Stereo Scene Flow with Motion Segmentation
RIKEN AIP（理化学研究所革新智能综合研究中心）；Microsoft Research（微软研究院）；The University of Tokyo（东京大学）
我们提出了一种新的多帧方法，有效地计算场景流（密集的深度和光流）和摄像机自我运动的动态场景观察从一个移动的立体摄像机钻机。我们的技术还分割出移动物体从刚性场景。在我们的方法中，我们首先使用立体匹配和视觉里程计来估计视差图和6-DOF相机运动。然后，我们确定区域不一致的估计相机运动和计算每像素光流只在这些地区。使用融合移动将该流建议与基于相机运动的流建议融合以获得最终的光流和运动分割。这种统一的框架有利于所有四个任务-立体，光流，视觉里程计和运动分割，从而提高整体精度和效率。我们的方法目前在KITTI 2015场景流基准测试中排名第三。此外，我们的CPU实现每帧运行2-3秒，比前六种方法快1-3个数量级。我们还报告了对具有快速相机和物体运动的挑战性Sintel序列的全面评估，其中我们的方法始终优于OSF [Menze和Geiger，2015]，目前在KITTI基准中排名第二。
2017-07-05 cs.CV
Landmark Stereo Dataset for Landmark Recognition and Moving Node Localization in a Non-GPS Battlefield Environment
Missouri University of Science and Technology（密苏里科技大学）
该研究提出在GPS拒止战场中以视觉地标替代无线电锚节点，构建MSTLandmarkv1与MSTLandmarkStereov1，并结合YOLOv5和改进SGM生成地标ID与距离虚拟坐标。
2024-02-19 cs.CV cs.LG
Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network for Motion Deblurring
Huawei Technologies Oy (Finland) Co. Ltd（华为技术（芬兰）有限公司）
针对事件帧数量固定导致时间分辨率下降且难适应动态曝光的问题，本文提出基于 LSTM 事件特征提取与可变形卷积的 DLEFNet，支持灵活数量事件帧融合，并在合成与真实数据集上优于现有方法。
2023-06-01 cs.AI cs.CV cs.LG
Stereo 3D Object Trajectory Reconstruction
Fraunhofer IOSB（弗劳恩霍夫IOSB研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了一种方法来重建的三维轨迹的一个已知的对象类别使用立体视频数据的移动实例。我们利用实例感知的语义分割技术和光流线索，在像素级上跟踪对象的二维形状。我们将运动恢复结构（SfM）技术应用于对象和背景图像，以确定每帧初始相机相对于对象实例和背景结构的姿态。我们完善的初始SfM的结果，通过整合立体相机的约束，利用因子图。我们通过结合目标和背景摄像机的姿态信息来计算目标的轨迹。与立体匹配方法相比，我们的方法利用时间相邻的对象点三角测量视图。与单目轨迹重建方法相反，我们的方法没有退化的情况。我们评估我们的方法使用公开的视频数据的车辆在城市场景。
2018-08-27 cs.CV
Sub-frame Appearance and 6D Pose Estimation of Fast Moving Objects
Czech Technical University in Prague（布拉格捷克理工大学）；ETH Zurich（苏黎世联邦理工学院）；Czech Academy of Sciences（捷克科学院）
我们提出了一种新的方法，跟踪快速移动的对象，主要是非均匀的球形，在全6自由度，同时估计他们的3D运动轨迹，3D姿态和对象外观变化的时间步长，这是一个分数的视频帧曝光时间。子帧目标定位和外观估计允许现实的时间超分辨率和精确的形状估计。该方法被称为TbD-3D（3D中的Debatting跟踪），它依赖于一种新的重建算法，该算法解决了分段去模糊和抠图问题。通过最小化重投影误差来估计3D旋转。作为第二个贡献，我们提出了一个新的具有挑战性的数据集与快速移动的对象，改变他们的外观和距离相机。使用帧曝光之间具有零滞后的高速相机记录来生成具有不同帧速率的视频，所述不同帧速率用地面实况轨迹和姿态注释。
2019-11-25 cs.CV
Self-supervised Moving Vehicle Tracking with Stereo Sound
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究人工智能部门）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
人类能够使用视觉和听觉线索定位环境中的物体，将来自多种模态的信息整合到一个共同的参考系中。我们介绍了一个系统，可以利用未标记的视听数据来学习本地化对象（移动车辆）在视觉参考系，纯粹使用立体声在推理时间。由于手动注释音频和对象边界框之间的对应关系是劳动密集型的，因此我们通过使用未标记视频中的视觉和音频流的共同出现作为自我监督的形式来实现这一目标，而不诉诸于收集地面实况注释。特别是，我们提出了一个框架，由一个视觉“教师”网络和立体声“学生”网络。在训练过程中，知识体现在一个完善的视觉车辆检测模型被转移到音频域使用未标记的视频作为桥梁。在测试时，立体声学生网络可以独立工作，仅使用立体声音频和摄像机元数据来执行对象定位，而无需任何视觉输入。在一个新收集的Auditory车辆跟踪数据集上的实验结果验证了我们提出的方法优于几种基线方法。我们还表明，我们的跨模态听觉定位方法可以帮助在视觉定位的移动车辆在恶劣的照明条件下。
2019-10-25 cs.CV cs.LG cs.SD
Realtime Time Synchronized Event-based Stereo
University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了一种新的基于事件的立体方法，解决了运动模糊的问题，移动事件相机。我们的方法使用相机的速度和一系列的差异来同步事件的位置，就好像它们是在一个时间点被捕获的一样。我们表示这些事件使用一对新的时间同步的事件视差卷，我们表明，删除运动模糊的像素在正确的视差量，而进一步模糊的像素在错误的视差。然后，我们在这些时间同步的事件差异卷上应用新的匹配成本，这两者都奖励卷之间的相似性，同时惩罚模糊。我们表明，我们的方法优于更昂贵的，基于平滑的事件立体方法，通过评估多车辆立体事件相机数据集。
2018-10-18 cs.CV
Joint Transmission and Deblurring: A Semantic Communication Approach Using Events
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）
针对现有JSCC图像传输忽略运动模糊、事件相机数据难高效传输的问题，提出面向去模糊的JSCC框架，联合传输模糊图像与事件的共享及域专属信息，结合多阶段训练，在有限带宽下实现更优的清晰图像重建效果。
2025-01-16 cs.CV eess.IV
Learning Independent Object Motion from Unlabelled Stereoscopic Videos
UC Berkeley（加州大学伯克利分校）；Fyusion Inc.（Fyusion公司）；Google（谷歌公司）
我们提出了一个系统，用于学习运动的独立移动的物体从立体视频。在我们的系统中使用的唯一的人类注释是2D对象边界框，它将对象的概念引入我们的系统。不同于先前的基于学习的工作，其专注于预测密集的逐像素光流场和/或每个图像的深度图，我们提出预测对象实例特定的3D场景流图和实例掩码，我们能够从中导出每个对象实例的运动方向和速度。我们的网络考虑了问题的3D几何形状，这使得它能够关联输入图像。我们目前的实验评估我们的3D流矢量的准确性，以及深度图和投影的2D光流，我们共同学习的系统优于早期的方法训练的每个任务独立。
2019-01-08 cs.CV
MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera
Technical University of Munich（慕尼黑工业大学）；Artisense
在本文中，我们提出了MonoRec，这是一种半监督单目密集重建架构，可以在动态环境中从单个移动相机预测深度图。MonoRec基于多视图立体视觉设置，该设置将多个连续图像的信息编码在成本量中。为了处理场景中的动态对象，我们引入了一个MaskModule，它通过利用编码在成本卷中的光度不一致来预测移动对象掩模。与其他多视图立体视觉方法不同，MonoRec能够通过利用预测的掩模来重建静态和移动对象。此外，我们提出了一种新的多阶段训练方案，具有不需要LiDAR深度值的半监督损失公式。我们在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它实现了最先进的性能。通过在KITTI上训练的模型，我们进一步证明了MonoRec能够很好地推广到Oxford RobotCar数据集和手持相机记录的更具挑战性的TUM-Mono数据集。代码和相关材料将在https://vision.in.tum.de/research/monorec上提供。
2021-05-06 cs.CV
SteReFo: Efficient Image Refocusing with Stereo Vision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technical University of Munich（慕尼黑工业大学）
无论是为了吸引观众对特定对象的注意力，给人以深度的印象还是简单地再现类似人类的场景感知，浅景深图像都被专业和业余摄影师广泛使用。为此，DSLR相机中使用了高质量的光学系统，以聚焦于特定的深度平面，同时产生视觉上令人愉悦的散景。我们提出了一个物理激励的管道来模仿这种效果，从所有的焦点立体图像，通常由移动相机检索。它能够在KITTI图像上以76 FPS后验改变焦平面，以实现实时应用。正如我们的合成词所暗示的，SteReFo有效地将基于立体的深度估计和重聚焦相互关联。与其他方法相比，我们的管道同时是完全可区分的，物理激励的，并且对场景内容不可知。除了重新聚焦静态图像之外，它还能够对移动对象进行计算视频聚焦跟踪。我们在公开的数据集SceneFlow，KITTI，CityScapes上评估了我们的方法，并量化了建筑变化的质量。
2019-09-29 cs.CV
Joint Unsupervised Learning of Optical Flow and Depth by Watching Stereo Videos
Baidu Research（百度研究院）；University of Southern California（南加州大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
通过观看视频经由深度神经网络学习深度和光流最近取得了重大进展。在本文中，我们共同解决这两个任务，利用立体视频内的基本几何规则。具体来说，给定来自视频的两个连续立体图像对，我们首先从三个神经网络估计深度、相机自我运动和光流。然后通过比较由深度和自运动得到的光流和刚体流，将整个场景分解为运动前景和静止背景。我们提出了一种新的一致性损失，让光流学习更准确的刚性流在静态区域。我们还设计了一个刚性对准模块，它有助于改善自我运动估计，通过使用估计的深度和光流。KITTI数据集上的实验表明，我们的结果显着优于其他国家的最先进的算法。源代码可以在https：//github.com/baidu-research/UnDepthflow上找到
2018-10-08 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University（布朗大学）；NVIDIA（英伟达）；UC Irvine（加州大学欧文分校）
给定来自一对立体相机的两个连续帧，3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化，但可能会预测刚性移动对象内部不一致的形状和运动。相反，我们假设场景由在静态背景前面刚性移动的前景对象组成，并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法，并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality
Tencent XR Vision Labs（腾讯XR视觉实验室）；Australian National University（澳大利亚国立大学）
针对扩展现实应用中低功耗设备实时高精度立体匹配的挑战，本文提出包含6-DoF运动室内场景的视频立体合成数据集，并开发基于时间维度迭代代价聚合特征重用的新型视频立体匹配框架，在台式机达134fps、HMD达30fps，精度优于现有SOTA。
2023-09-08 cs.CV
BEVStereo: Enhancing Depth Estimation in Multi-view 3D Object Detection with Dynamic Temporal Stereo
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；MEGVII Technology（旷视科技）；Huazhong University of Science and Technology（华中科技大学）
受深度感知固有模糊性的限制，当代基于摄像机的3D目标检测方法陷入了性能瓶颈。直观地，利用时间多视图立体视觉（MVS）技术是解决这种模糊性的自然知识。然而，传统的MVS尝试在应用于3D目标检测场景时存在两个方面的缺陷：1）所有视图之间的亲和力测量具有昂贵的计算成本; 2）难以处理对象经常移动的室外场景。为此，我们引入了一种有效的时间立体方法来动态选择匹配候选的规模，使显着减少计算开销。更进一步，我们设计了一个迭代算法来更新更有价值的候选，使其适应移动的候选。我们将我们提出的方法实例化到多视图3D检测器，即BEVStereo。BEVStereo实现了新的最先进的性能（即，52.5%mAP和61.0%NDS）。同时，大量的实验表明，我们的方法可以更好地处理复杂的室外场景比当代MVS方法。代码已在https://github.com/Megvii-BaseDetection/BEVStereo上发布。
2022-09-21 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
Instantaneous Stereo Depth Estimation of Real-World Stimuli with a Neuromorphic Stereo-Vision Setup
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
立体匹配问题，即，匹配两个不同视图中的相应特征以重建深度在生物学中是有效解决的。然而，它仍然是经典机器视觉方法的计算瓶颈。最近提出的脉冲神经网络（SNN）结构利用事件摄像机的特性，具有简化立体匹配问题的潜力。已经存在将事件摄像机与基于尖峰的神经形态处理器相结合的几种解决方案。然而，它们要么在数字硬件上模拟，要么在简化的刺激上测试。在这项工作中，我们使用动态视觉传感器3D人体姿势数据集（DHP19）来验证在具有真实数据的混合信号神经形态处理器上实现的基于脑启发事件的立体匹配架构。我们的实验表明，这种SNN架构，由重合检测器和视差敏感神经元，是能够提供一个粗略的估计输入的差距瞬间，从而检测存在的刺激移动的深度实时。
2021-04-06 cs.AI cs.CV
Learning the Depths of Moving People by Watching Frozen People
Google Research（谷歌研究院）
我们提出了一种方法来预测密集的深度的场景中，一个单目摄像机和场景中的人都自由移动。用于从单目视频恢复动态非刚性对象的深度的现有方法对对象的运动施加强假设，并且可能仅恢复稀疏深度。在本文中，我们采用数据驱动的方法，从一个新的数据源中学习人类深度先验：成千上万的人模仿人体模型的互联网视频，即，在不同的，自然的姿势冻结，而手持相机旅游现场。因为人是静止的，所以可以使用多视图立体视觉重建来生成训练数据。在推理时，我们的方法使用来自场景的静态区域的运动视差线索来指导深度预测。我们展示了我们的方法在现实世界中的复杂的人类动作序列捕获的移动手持摄像机，显示改进的最先进的单目深度预测方法，并显示各种3D效果使用我们的预测深度。
2019-04-25 cs.CV
Learning monocular depth estimation with unsupervised trinocular assumptions
University of Bologna（博洛尼亚大学）
从单个图像中获得精确的深度测量是3D传感的一个迷人的解决方案。CNN在这一领域取得了相当大的进步，最近的趋势是用几何引导的图像重建信号取代了对地面真实标签的需求，从而实现了无监督训练。目前，为此目的，现有技术依赖于用双目立体装置获取的图像来预测逆深度（即，根据上述监管原则。然而，这些方法遭受从立体设置继承的靠近遮挡、左图像边界等的众所周知的问题。因此，在本文中，我们通过移动到三目域进行训练来解决这些问题。假设中心图像作为参考，我们训练一个CNN来推断视差表示，将这样的图像与其左侧和右侧的帧配对。该策略允许获得不受典型立体伪影影响的深度图。此外，由于三目数据集很少可用，我们引入了一种新的交错训练过程，使执行从当前双目数据集概述的三目假设。在KITTI数据集上的详尽实验结果证实，我们的建议优于在双目立体对上训练的无监督单眼深度估计的最先进方法以及依赖于其他线索的任何已知方法。
2018-08-05 cs.CV
Semi-Dense 3D Reconstruction with a Stereo Event Camera
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；ShanghaiTech University（上海科技大学）
事件摄像机是生物启发传感器，具有低延迟、高速和高动态范围等多项优势，可应对计算机视觉中的挑战性场景。本文提出了一种解决方案的三维重建的问题，从一个立体的事件摄像机钻机在静态场景中移动，如在立体同时定位与地图构建的上下文中捕获的数据。所提出的方法包括一个能量函数的优化，旨在利用小基线的时空一致性的事件触发两个立体图像平面。为了提高重建的密度和减少估计的不确定性，还开发了概率深度融合策略。所得到的方法没有特殊的要求，无论是运动的立体事件相机钻机或先验知识的场景。实验表明，我们的方法可以处理纹理丰富的场景，以及稀疏的场景，优于最先进的基于事件数据图像表示的立体方法。
2018-07-19 cs.CV cs.RO
Overlapping and Non-overlapping Camera Layouts for Robot Pose Estimation
Electronics Research Institute（电子研究院）
我们研究使用重叠和非重叠的摄像机布局估计自我运动的移动机器人。为了估计机器人的位置和方向，我们调查使用四个摄像机作为非重叠的个人，并作为两个立体对。阐明了这两种方法的利弊。摄像机独立工作，在非重叠布局中可以有更大的视野。然而，应当处理比例因子模糊性。另一方面，立体声系统提供更高的精度，但需要建立具有更多计算需求的特征对应。对于这两种方法，扩展的卡尔曼滤波器被用作实时递归估计器。研究的方法进行了验证与合成和真实的实验。
2015-04-30 cs.CV
Lost and Found: Detecting Small Road Hazards for Self-Driving Vehicles
Daimler R&D（戴姆勒研发中心）；TU Dresden（德累斯顿工业大学）
检测前方道路上的小障碍物是驾驶任务的关键部分，必须由全自动驾驶汽车掌握。在本文中，我们提出了一种基于立体视觉的方法来可靠地检测这样的障碍物从移动车辆。该算法直接在视差空间中对立体图像数据进行统计假设检验，评估独立局部补丁上的自由空间和障碍假设。这种检测方法不依赖于全局道路模型，并处理静态和移动障碍物。为了进行评估，我们采用了一种新的丢失货物图像序列数据集，包括超过2000帧的障碍物和自由空间的像素注释，并提供了一个彻底的比较，以几个立体为基础的基线方法。该数据集将提供给社区，以促进对这一重要主题的进一步研究。该方法优于所有考虑的基线，在我们的评估像素和对象的水平和运行在帧速率高达20 Hz的2兆像素的立体图像。可以在20 m的距离内以低误报率成功地检测到低至5 cm高度的小障碍物。
2016-09-15 cs.CV cs.RO
Seurat: From Moving Points to Depth
KAIST AI（韩国科学技术院人工智能研究所）；Adobe Research（Adobe研究院）
受人类通过运动感知深度的启发，提出利用点轨迹和时空变换器从单目视频推断相对深度，在TAPVid-3D上实现零样本高精度预测。
2025-04-20 cs.CV
DynPL-SVO: A Robust Stereo Visual Odometry for Dynamic Scenes
School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
本文提出DynPL-SVO，一种结合点线特征联合代价函数与动态网格算法的立体视觉里程计方法，通过Levenberg-Marquardt最小化重投影误差估计运动，在KITTI和EuRoC MAV数据集上准确率平均提升超20%。
2023-06-24 cs.CV cs.RO
Online camera-pose-free stereo endoscopic tissue deformation recovery with tissue-invariant vision-biomechanics consistency
School of Engineering, The University of Tokyo（东京大学工学系）
本文提出一种无相机位姿的在线立体内窥镜组织形变恢复方法，通过建模组织几何与形变、优化帧间对齐，在腹腔镜数据集上实现了高精度的组织形变重建，还可估计表面应变分布。
2026-09-02 cs.CV
EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
介绍了一种新的事件相机数据集EVIMO2，它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样，EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据，许多序列具有多个独立移动的对象。通常，这样的标记数据在物理事件相机数据集中不可用。因此，EVIMO2将作为现有算法的一个具有挑战性的基准，并为新算法的开发提供丰富的训练集。特别是，EVIMO2是适合于支持运动和对象分割，光流，运动恢复结构和视觉（惯性）里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟，静态场景22.55分钟，浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的，而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供，对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码，速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
DymSLAM:4D Dynamic Scene Reconstruction Based on Geometrical Motion Segmentation
Wuhan University（武汉大学）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）
大多数SLAM算法是基于场景是静态的假设。然而，在实际应用中，大多数场景是动态的，通常包含移动的对象，这些方法是不合适的。在本文中，我们介绍DymSLAM，一个动态的立体视觉SLAM系统能够重建一个4D（3D +时间）的动态场景与刚性移动对象。DymSLAM的唯一输入是立体视频，其输出包括静态环境的密集地图，移动对象的3D模型以及相机和移动对象的轨迹。我们首先使用传统的SLAM方法检测和匹配连续帧之间的感兴趣点。然后利用多模型拟合的方法分割出属于不同运动模型（包括自身运动和刚体运动模型）的感兴趣点。基于属于自我运动的感兴趣点，我们能够估计相机的轨迹和重建静态背景。然后，属于刚性运动物体的运动模型的感兴趣的点被用来估计其相对于摄像机的运动模型，并重建物体的3D模型。然后，我们将相对运动转换为全局参考系中移动对象的轨迹。最后，我们然后融合的3D模型的移动对象到3D地图的环境，通过考虑他们的运动轨迹，以获得一个4D（3D+时间）序列。DymSLAM获取动态对象的信息，而不是忽略它们，适用于未知的刚性对象。因此，所提出的系统允许机器人被用于高级别的任务，如动态物体的避障。我们在真实世界的环境中进行了实验，其中相机和物体都在大范围内移动。
2020-03-10 cs.CV cs.RO
Robust Dense Mapping for Large-Scale Dynamic Environments
ETH Zürich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）；Uber ATG Toronto（优步先进技术集团多伦多）；Microsoft（微软）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一种用于大规模动态城市环境的基于立体的密集映射算法。与其他现有的方法相比，我们同时重建静态背景，移动物体，和潜在的移动，但目前静止的物体分开，这是理想的高层次的移动机器人任务，如在拥挤的环境中的路径规划。我们使用实例感知的语义分割和稀疏场景流来将对象分类为背景、移动或潜在移动，从而确保系统能够对具有从静态过渡到动态的潜力的对象进行建模，例如停放的汽车。给定从视觉里程计估计的相机姿态，通过融合从立体输入计算的深度图来分别重建背景和（潜在的）移动对象。除了视觉里程计，稀疏场景流也被用来估计检测到的运动物体的三维运动，以准确地重建它们。一个地图修剪技术进一步发展，以提高重建精度和减少内存消耗，从而提高可扩展性。我们在著名的KITTI数据集上彻底评估了我们的系统。我们的系统能够在PC上以大约2.5Hz的频率运行，主要的瓶颈是实例感知的语义分割，这是我们希望在未来的工作中解决的限制。源代码可从项目网站（http：//andreibarsan.github.io/dynslam）获得。
2019-05-07 cs.CV cs.RO
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
University of Georgia（佐治亚大学）
KYS-SLAM是ORB-SLAM3的扩展，用连续对应调制取代特征拒绝，通过层次化语义-运动先验计算对应代价，在固定配置下显著降低KITTI、EuRoC等数据集的轨迹误差。
2026-09-24 cs.CV cs.RO
3D Gaussian Splatting against Moving Objects for High-Fidelity Street Scene Reconstruction
Ontario Knowledge Intelligence Centre, Canada（加拿大安大略知识智能中心）；Canadian Institute of Interscience, Canada（加拿大跨学科科学研究所）；DeepCox Intelligence, Canada（加拿大DeepCox智能科技公司）
本文提出了一种新的3D高斯点分布方法，通过自适应透明机制消除移动物体并保留高保真静态场景细节，结合迭代优化提升几何精度和纹理表现。
2026-07-29 cs.CV
