Survey on video anomaly detection in dynamic scenes with moving cameras
Shandong University（山东大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文针对移动相机动态场景的视频异常检测，首次系统梳理MC-VAD任务、25个数据集、异常类型、五类方法及未来方向。
2023-08-14 cs.CV
Referring Multi-Object Tracking in Moving-Camera Videos via Global Motion Compensation
National Cheng Kung University（国立成功大学）
本文针对移动相机视频中的指代多目标跟踪，提出通过估计相机运动提取残差运动并与查询表达式匹配，经后期融合提升RMOT性能。
2026-10-06 cs.CV
Flying Objects Detection from a Single Moving Camera
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们提出了一种方法来检测飞行物体，如无人机和飞机时，他们占据了一小部分的视野，可能会对复杂的背景移动，并拍摄的相机本身移动。解决这样一个困难的问题需要结合外观和运动线索。为此，我们提出了一种基于回归的方法来运动稳定的局部图像补丁，使我们能够实现有效的分类时空图像立方体和优于国家的最先进的技术。由于这个问题相对较新，我们收集了两个具有挑战性的无人机和飞机数据集，它们可以用作飞行物体检测和视觉引导碰撞避免的基准。
2014-11-27 cs.CV
Physics-based Human Pose Estimation from a Single Moving RGB Camera
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；University of Tübingen（图宾根大学）；University of Amsterdam（阿姆斯特丹大学）
针对移动单目RGB相机与非平坦场景下的姿态跟踪难题，本文构建含真值相机轨迹、场景几何及接触标签的MoviCam数据集，并提出融合物理约束的PhysDynPose方法。
2025-07-23 cs.CV
A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras
Rutgers University（罗格斯大学）
随着视频采集平台的不断增加，迫切需要开发一种能够处理运动背景的通用背景减除算法。在本文中，我们提出了一个基于多层的框架，用于移动摄像机捕获的视频的在线背景减除。与以前的处理问题，所提出的方法是不限于二进制分割的背景和前景，但制定它作为一个多标签分割问题，通过建模多个前景对象在不同的层，当他们同时出现在场景中。我们为每个前景对象分配一个独立的处理层，以及背景，其中估计运动和外观模型，并使用贝叶斯过滤框架推断概率图。最后，利用马尔可夫随机场上的多标号图割进行像素级标号。广泛的评估结果表明，该方法优于国家的最先进的方法具有挑战性的视频序列。
2017-09-04 cs.CV
DynOPETs: A Versatile Benchmark for Dynamic Object Pose Estimation and Tracking in Moving Camera Scenarios
ShanghaiTech University（上海科技大学）；Mobile Peception Lab（移动感知实验室）；Fudan Univesity（复旦大学）；Multi-Agent Robotic Systems Lab（多智能体机器人系统实验室）
针对移动相机下动态物体姿态估计与跟踪缺乏真实数据的问题，本文提出 DynOPETs 数据集及融合姿态估计、跟踪与位姿图优化的标注流程，并通过18种先进方法验证其有效性。
2025-07-06 cs.CV
3D Trajectory Reconstruction of Moving Points Based on Asynchronous Cameras
College of Aerospace Science and Engineering, National University of Defense Technology（航空科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（湖南省图像测量与视觉导航重点实验室）
本文针对异步相机下的运动点轨迹重建问题，提出同时求解轨迹重建与相机同步的三维重建方法，并通过联合优化相机时间、旋转和运动参数提升精度，实验验证了其可行性与准确性。
2025-06-03 cs.CV
Non-rigid Reconstruction with a Single Moving RGB-D Camera
CSIRO Data61（联邦科学与工业研究组织数据61所）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的非刚性重建方法，使用移动RGB-D相机。目前的方法只使用场景的非刚性部分，完全忽略了刚性背景。非刚性部件通常缺乏足够的几何和光度信息来跟踪大的帧到帧运动。我们的方法使用相机姿态估计从刚性背景的前景跟踪。这使得在发生大的帧到帧运动的情况下能够进行鲁棒的前景跟踪。此外，我们提出了一个多尺度变形图，它提高了非刚性跟踪，而不影响重建的质量。我们还提供了一个合成数据集，这是可用于评估非刚性重建方法。该数据集提供场景的逐帧地面真实几何、相机轨迹和背景前景的遮罩。实验结果表明，我们的方法是更强大的处理更大的帧到帧的运动，并提供更好的重建相比，国家的最先进的方法。
2018-05-30 cs.CV
UAV Images Dataset for Moving Object Detection from Moving Cameras
Sakarya University（萨卡里亚大学）
本文提出了一种新的高分辨率航空影像数据集，其中移动物体的标记手动。它的目的是有助于运动摄像机的运动目标检测方法的评价。航空图像中运动目标的识别问题是计算机视觉的重要研究课题之一。无人机拍摄的图像中最大的问题是，由于相机的运动，背景不断变化。在文献中有各种数据集，其中对所提出的运动检测方法进行了评估。准备好的数据集包括与其他数据集相比包含小目标的具有挑战性的图像。文献中的两种方法已被测试的准备数据集。此外，本文还提出了一种简单的方法相比，这些方法已被提出的移动对象对象。
2021-03-24 cs.CV eess.IV
Incremental Real-Time Multibody VSLAM with Trajectory Optimization Using Stereo Camera
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Max Planck Institute For Intelligent Systems（马克斯·普朗克智能系统研究所）；The Robotics Institute（机器人研究所）；Queensland University of Technology（昆士兰理工大学）；University of Petroleum and Energy Studies（石油与能源研究大学）
高动态环境下的实时的户外导航是一个至关重要的问题。最近的文献实时的静态SLAM不按比例扩大到动态户外环境。这些方法中的大多数将移动对象假设为离群值或丢弃它们提供的信息。我们提出了一种算法，联合推断摄像机的轨迹和运动物体的轨迹同时。在本文中，我们执行一个稀疏场景流的运动分割使用立体相机。分割的对象运动模型用于精确定位摄像机轨迹以及移动对象。我们利用运动物体之间的关系来提高姿态的准确性。我们制定的构成因素图纳入所有的约束。我们通过实时的求解一个完全非线性优化问题来获得精确的增量解。在具有挑战性的KITTI数据集上进行了多辆移动汽车的评估。我们的方法在户外导航中优于以前的基线。
2016-08-02 cs.CV
Underwater Fish Tracking for Moving Cameras based on Deformable Multiple Kernels
University of Washington（华盛顿大学）；National Taipei University of Technology（国立台北科技大学）；Alaska Fisheries Science Center（阿拉斯加渔业科学中心）
需要使用单个或多个水下摄像机的渔业调查是一项新兴技术，可作为非采掘性手段来估计鱼类资源的丰富程度。在开放的水生环境中跟踪活鱼面临的挑战与监控应用中的一般行人或车辆跟踪不同。在许多粗糙的栖息地中，鱼类通过安装在移动平台上的摄像机进行监测，由于背景模型的不适用性，跟踪更具挑战性。本文提出了一种新的跟踪算法的基础上的变形多核（DMK）来解决这些挑战。受可变形零件模型技术的启发，定义了一组核来表示整体对象和以可变形配置排列的几个零件。提取颜色直方图、纹理直方图和方向梯度直方图作为目标特征。通过基于颜色和纹理特征的均值漂移算法有效地估计核运动，实现跟踪。此外，HOG特征变形成本被采用作为核位置的软约束，以保持零件的配置。对水下运动摄像机实际视频集的实验结果表明，该方法具有可靠的性能，与现有技术相比，计算量小得多。
2016-03-05 cs.CV
RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems
Georgia Institute of Technology（佐治亚理工学院）
交互式自主应用要求感知引擎对无约束视频中的伪影具有鲁棒性。在本文中，我们研究的作用，相机运动的任务上的动作检测。我们开发了一种新的排名方法来排名视频的基础上的程度的全球相机运动。对于高排名的摄像头视频，我们表明，动作检测的准确性下降。我们提出了一个动作检测流水线，是鲁棒的相机运动效果，并验证它的经验。具体来说，我们跨帧进行演员特征对齐，并将全局场景特征与局部演员特定特征相结合。我们使用一种新的时空采样网络（STSN）公式进行特征对齐，但使用金字塔结构进行多尺度偏移预测和细化。我们还提出了一种新的输入相关的加权平均策略融合局部和全局特征。我们展示了我们的网络在具有高相机运动的移动相机视频数据集（MOVE数据集）上的适用性，其中帧mAP增加了4.1%，视频mAP增加了17%。
2022-04-30 cs.CV
Unified Underwater Structure-from-Motion
Kyushu University（九州大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））
本文表明，精确的水下三维形状重建是可能的，使用一个单一的相机，通过折射界面观察目标。我们提供了统一的重建技术的各种场景，如单一的静态相机和移动折射界面，单一的移动相机和静态折射界面，和单一的移动相机和移动折射界面。在我们的基本设置中，我们假设折射界面是平面的，并且同时使用光束法平差估计平面界面和相机的未知变换以及未知目标形状。我们还扩展它放松的平面性假设，这使我们能够使用波的折射界面的重建任务。实验结果表明，该方法优于现有的方法。
2019-09-09 cs.CV
Independent Motion Detection with Event-driven Cameras
Istituto Italiano di Tecnologia（意大利理工学院）；University of Zurich（苏黎世大学）
与以恒定帧速率发送强度图像的标准相机不同，事件驱动相机异步报告像素级亮度变化，提供低延迟和高时间分辨率（均为微秒量级）。因此，它们在机器人的快速和低功耗视觉算法方面具有很大的潜力。例如，视觉跟踪即使对于非常快的刺激也很容易实现，因为只有移动的物体才会引起亮度变化。然而，安装在移动机器人上的摄像机通常是非静止的，并且由于机器人自我运动，相同的跟踪问题会被背景杂波事件混淆。在本文中，我们提出了一种方法分割一个独立的运动对象的事件驱动的相机的运动。我们的方法检测和跟踪事件流中的角点，并学习它们的运动统计数据作为机器人的关节速度的函数时，没有独立移动的对象。在机器人操作过程中，独立移动的对象被识别的预测角速度从自我运动和测得的角速度之间的差异。我们验证了从神经形态iCub机器人收集的数据的算法。我们实现了~ 90%的精度，并表明该方法是鲁棒的头部和目标的速度变化。
2017-07-04 cs.CV
Optical Flow Based Background Subtraction with a Moving Camera: Application to Autonomous Driving
University of Nevada, Reno（内华达大学里诺分校）
在这项研究中，我们提出了一种新的算法，背景减除使用移动摄像机。我们的算法完全基于从安装在电动公交车上的摄像头获得的视觉信息，该摄像头在里诺市中心运行，自动检测感兴趣的移动物体，以提供完全自主的车辆。在我们的方法中，我们利用的光流矢量产生的运动的相机，同时保持参数假设最小。首先，根据摄像机的内部参数，估计出用于建模和模拟三维点的扩展焦点，然后进行多元线性回归，估计出回归方程的参数，并在每一帧的真实数据集上实现运动目标的识别。我们验证了我们的算法使用的数据从一个共同的巴士路线。
2018-11-16 cs.CV cs.RO
MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera
Technical University of Munich（慕尼黑工业大学）；Artisense
在本文中，我们提出了MonoRec，这是一种半监督单目密集重建架构，可以在动态环境中从单个移动相机预测深度图。MonoRec基于多视图立体视觉设置，该设置将多个连续图像的信息编码在成本量中。为了处理场景中的动态对象，我们引入了一个MaskModule，它通过利用编码在成本卷中的光度不一致来预测移动对象掩模。与其他多视图立体视觉方法不同，MonoRec能够通过利用预测的掩模来重建静态和移动对象。此外，我们提出了一种新的多阶段训练方案，具有不需要LiDAR深度值的半监督损失公式。我们在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它实现了最先进的性能。通过在KITTI上训练的模型，我们进一步证明了MonoRec能够很好地推广到Oxford RobotCar数据集和手持相机记录的更具挑战性的TUM-Mono数据集。代码和相关材料将在https://vision.in.tum.de/research/monorec上提供。
2021-05-06 cs.CV
3D Trajectory Reconstruction of Moving Points Based on a Monocular Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；National University of Defense Technology（国防科技大学）
本文针对单目相机在受限观测条件下重建运动点三维轨迹的病态问题，提出基于时间多项式和岭估计的算法，并引入自动定阶与可重建性定义，实验验证了其可行性、准确性和效率。
2025-02-27 cs.CV
Motion Segmentation from a Moving Monocular Camera
University of Waterloo（滑铁卢大学）
本文提出在物体层面融合点轨迹与光流线索，通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割，在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
Coherent Motion Segmentation in Moving Camera Videos using Optical Flow Orientations
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
在移动摄像机视频中，通常使用像素的图像平面运动或光流来执行运动分割。但是，与相机处于不同深度的对象可能会显示不同的光流，即使它们共享相同的真实世界运动。这可能导致场景的深度相关分割。我们的目标是开发一种分割算法，集群像素，具有类似的现实世界中的运动，无论其在场景中的深度。我们的解决方案使用光流方向，而不是完整的矢量，并利用众所周知的属性，即在相机平移，光流方向是独立的对象深度。我们引入了一个概率模型，自动估计观察到的独立运动的数量，并导致与场景中的真实运动一致的标签。我们的系统的结果是，静态对象被正确地识别为一个片段，即使它们在不同的深度。颜色特征和信息，从以前的帧中的视频序列被用来纠正偶尔的错误，由于基于方向的分割。我们展示了来自不同基准的30多个视频的结果。该系统在包含深度显著不同的对象的复杂背景场景上特别鲁棒
2015-11-05 cs.CV
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；NVIDIA（英伟达）；MIT（麻省理工学院）
我们解决的无监督学习的几个相互关联的问题，在低层次的视觉：单视图深度预测，摄像机运动估计，光流，并分割成静态场景和运动区域的视频。我们的关键见解是，这四个基本的视觉问题是通过几何约束耦合。因此，学习一起解决它们可以简化问题，因为解决方案可以相互加强。我们超越以前的工作，更明确地利用几何和分割成静态和移动区域的场景。为此，我们引入了竞争协作，这是一个促进多个专业神经网络协调训练以解决复杂问题的框架。竞争性协作的工作原理与期望最大化非常相似，但神经网络既充当竞争者来解释与静态或移动区域相对应的像素，又充当协作者，通过调节器将像素分配为静态或独立移动。我们的新方法集成了所有这些问题在一个共同的框架，并同时对分割的场景到运动物体和静态背景，摄像机运动，静态场景结构的深度，和光流的运动物体的原因。我们的模型在没有任何监督的情况下进行训练，并在所有子问题的联合无监督方法中实现了最先进的性能。
2019-03-11 cs.CV
CoMo: A novel co-moving 3D camera system
CNR–ISC (National Research Council - Institute for Complex Systems)（国家研究委员会-复杂系统研究所）；South China Agricultural University（华南农业大学）
出于理论上的兴趣，在重建长的3D轨迹的单个鸟类在大的羊群，我们开发了CoMo，一个共同移动的摄像机系统的两个同步的高速摄像机加上旋转阶段，这使我们能够动态地跟随目标群的运动。随着相机的旋转，我们克服了标准静态系统的局限性，这些系统将收集的数据的持续时间限制在目标处于相机共同视野中的短时间间隔内，但同时我们及时改变系统的外部参数，然后必须逐帧校准。我们解决了外部参数的校准，这些外部参数测量相机的位置以及它们在系统“原始”配置中的三个偏航角、俯仰角和滚转角（角度等于0度的旋转台，并且将该静态信息与由于台而引起的时间相关旋转相结合）。我们通过比较重建和测量的3D距离，我们称之为3D测试，这表明相对误差为1%的顺序，我们评估系统的鲁棒性和准确性。本文中提出的工作的新颖性不仅在于系统本身，而且在于我们在测试中使用的方法，我们证明这是检测和修复校准不准确性的一个非常强大的工具，因此，可能与广泛的受众相关。
2021-01-26 cs.CV
Spatiotemporal Multi-Camera Calibration using Freely Moving People
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Information and Human Sciences, Kyoto Institute of Technology（京都科技大学信息与人类科学）
针对多相机标定与跨视角匹配相互依赖的问题，本文利用自由移动人体的三维姿态，在单位球面上以概率软分配联合求解时空对齐与对应关系，并通过共面约束和非线性优化实现无标记多相机标定。
2025-07-26 cs.CV
MotionDeltaCNN: Sparse CNN Inference of Frame Differences in Moving Camera Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
针对 DeltaCNN 仅适用于静态相机的问题，本文提出 MotionDeltaCNN，利用球面缓冲区和填充卷积高效融合新显露区域，在不增加内存占用的情况下将运动相机视频推理性能最高提升 90%。
2023-08-14 cs.CV cs.LG
Richardson-Lucy Deblurring for Moving Light Field Cameras
Stanford University（斯坦福大学）；Queensland University of Technology（昆士兰科技大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）
我们推广Richardson-Lucy（RL）去模糊的4-D光场取代卷积步骤与运动模糊的光场渲染。该方法正确地处理了复杂三维场景中由6自由度相机运动引起的模糊，而不执行深度估计。我们引入了一个新的正则化项，保持在光场的视差信息，同时减少噪声和振铃。我们演示了有效地渲染场景和使用现成的光场相机捕获的场景上操作的方法。工业机器人手臂提供可重复和已知的轨迹，使我们能够在复杂的3D场景中建立定量性能。定性和定量结果证实了该方法的有效性，包括以前公布的方法失败的常见情况。我们包括数学证明，该算法收敛到最大似然估计的泊松噪声下的未模糊场景。我们期望扩展到盲方法是可能的2-D Richardson-Lucy盲反卷积的推广。
2017-05-19 cs.CV
A Deep Moving-camera Background Model
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
在视频分析中，背景模型有许多应用，如背景/前景分离，变化检测，异常检测，跟踪等。然而，虽然在静态摄像机捕获的视频中学习这样的模型是一个很好解决的任务，但在移动摄像机背景模型（MCBM）的情况下，由于摄像机运动引起的算法和可扩展性挑战，成功要小得多。因此，现有的MCBM在其范围和其支持的相机运动类型方面受到限制。这些障碍也阻碍了在这个无人监督的任务中使用基于深度学习（DL）的端到端解决方案。此外，现有的MCBM通常在典型的大全景图像的域上或以在线方式对背景进行建模。不幸的是，前者产生了几个问题，包括可扩展性差，而后者阻止了相机重新访问场景中以前看到的部分的情况的识别和利用。本文提出了一种名为DeepMCBM的新方法，该方法消除了所有上述问题，并获得了最先进的结果。具体地，首先，我们确定了与视频帧的联合对齐相关的困难，特别是在DL设置中。接下来，我们提出了一种新的联合对齐策略，该策略允许我们使用空间Transformer网络，既没有正则化，也没有任何形式的专门（和不可微）初始化。再加上一个以未扭曲的鲁棒中心矩（从联合对齐中获得）为条件的自动编码器，这产生了一个端到端的无正则化MCBM，它支持广泛的相机运动和优雅的缩放。我们在各种视频上演示了DeepMCBM的实用程序，包括超出其他方法范围的视频。我们的代码可在https://github.com/BGU-CS-VIL/DeepMCBM上…
2022-09-16 cs.CV
3D Human Scan With A Moving Event Camera
Keio University（庆应义塾大学）
针对传统帧相机在动态范围和运动模糊上的局限，提出仅依赖事件数据的3D人体姿态与网格恢复方法，通过移动事件相机、衰减光线和统计身体模型实现更精确扫描。
2024-04-16 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
Pan-Tilt Camera and PIR Sensor Fusion Based Moving Object Detection for Mobile Security Robots
Kim Il Sung University（金日成综合大学）
安全机器人的一个基本问题是检测和跟踪周围的人。这项任务的主要问题是实时约束，不断变化的背景，不同的照明条件和非刚性形状的人被跟踪。在本文中，我们提出了一种解决方案，跟踪云台相机和被动红外范围（PIR）传感器检测运动目标的基础上连续帧差。该方法具有很好的实时性，因为它只需要很少的内存和计算。实验结果表明，该方法能够在非平稳、复杂的室内环境中有效、准确地检测出人体等运动目标。
2015-10-26 cs.CV cs.RO
Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
从时间序列图像对中估计动态场景中的三维运动是场景理解的核心任务。在现实世界的应用中，动态场景通常由移动的相机（即，摇摄、倾斜或手持），这增加了任务的复杂性，因为从不同的视点观察场景。主要的挑战是从场景运动中消除相机运动的歧义，随着所观察到的刚性量的减少，这变得更加困难，即使成功地估计了2D图像的对应关系。相比其他国家的最先进的三维场景流估计方法，在本文中，我们提出了\emph{learn}刚性的场景在监督的方式从一个大的动态场景数据的集合，并直接推断出刚性掩模从两个连续的图像与深度。通过学习网络，我们展示了如何使用计算的2D光流和推断的刚性掩模有效地估计相机运动和投影场景流。为了训练和测试刚性网络，我们还提供了一个新的半合成动态场景数据集（具有真实背景的合成前景对象）和一个评估分割，该分割占观察到的非刚性像素的百分比。通过我们的评估，我们表明，该框架优于当前最先进的场景流估计方法在具有挑战性的动态场景。
2018-07-30 cs.CV
Moving Object Detection for Event-based Vision using k-means Clustering
Jadavpur University（贾达普大学）
运动目标检测是计算机视觉中的一个重要问题。基于事件的相机是生物启发的相机，通过模仿人眼的工作来工作。与传统的基于帧的相机相比，这些相机具有多个优点，如减少的延迟、HDR、在高运动期间减少的运动模糊、低功耗等。尽管有这些优点，基于事件的相机对噪声敏感并且具有低分辨率。此外，在这些相机中的移动目标检测的任务是困难的，因为基于事件的传感器缺乏有用的视觉特征，如纹理和颜色。在本文中，我们研究了应用的k-均值聚类技术在检测基于事件的数据中的移动对象。
2022-01-11 cs.AI cs.CV eess.IV
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
Augmented Robust PCA For Foreground-Background Separation on Noisy, Moving Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的基于全变分正则化的鲁棒PCA方法，用于对有噪声的运动摄像机视频进行前景-背景分离和去噪。我们提出的算法注册的原始（可能损坏）的视频帧，然后联合处理注册的帧，以产生一个分解的场景到一个低秩的背景组件，捕获的静态组件的场景，一个平滑的前景组件，捕获的动态组件的场景，和一个稀疏的组件，可以隔离腐败和其他非理想。与现有的方法不同，我们提出的算法产生一个全景低秩组件，跨越整个视野，自动拼接在一起损坏的数据从部分重叠的场景。我们的鲁棒PCA模型的低秩部分是基于最近发现的最佳低秩矩阵估计（OptShrink），不需要参数调整。我们证明了我们的算法在静态和移动摄像机视频被噪声和离群值破坏的性能。
2017-09-27 cs.CV stat.ML
Learning the Depths of Moving People by Watching Frozen People
Google Research（谷歌研究院）
我们提出了一种方法来预测密集的深度的场景中，一个单目摄像机和场景中的人都自由移动。用于从单目视频恢复动态非刚性对象的深度的现有方法对对象的运动施加强假设，并且可能仅恢复稀疏深度。在本文中，我们采用数据驱动的方法，从一个新的数据源中学习人类深度先验：成千上万的人模仿人体模型的互联网视频，即，在不同的，自然的姿势冻结，而手持相机旅游现场。因为人是静止的，所以可以使用多视图立体视觉重建来生成训练数据。在推理时，我们的方法使用来自场景的静态区域的运动视差线索来指导深度预测。我们展示了我们的方法在现实世界中的复杂的人类动作序列捕获的移动手持摄像机，显示改进的最先进的单目深度预测方法，并显示各种3D效果使用我们的预测深度。
2019-04-25 cs.CV
ChronoWorld: Camera-Controlled Consistent 4D World Generation via Spatiotemporal Cues and Geometric Reflections
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；University of California, Merced（加州大学默塞德分校）
针对相机可控视频生成中4D时空一致性的挑战，提出ChronoWorld框架，通过时空因果注意力与几何反思机制，实现全局一致、自由视角的4D场景生成，达到最先进性能。
2026-10-07 cs.CV
Detecting Moving Objects Using a Novel Optical-Flow-Based Range-Independent Invariant
Florida Atlantic University（佛罗里达大西洋大学）
本文提出一种基于光流的变换，生成不变图像以在相机运动时检测运动目标，无需相机速度、方向或深度信息，支持实时处理，经仿真和实验验证有效。
2023-10-14 cs.CV eess.IV
Let's See Clearly: Contaminant Artifact Removal for Moving Cameras
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
附着在相机镜头上的灰尘、污垢和水分等污染物会极大地影响所生成图像或视频的质量和清晰度。在本文中，我们提出了一种视频恢复方法，自动删除这些污染物，并产生一个干净的视频。我们的方法首先寻求检测注意力地图，指示需要恢复的区域。为了利用相邻帧中相应的干净像素，我们提出了一个流完成模块来使背景场景的流幻觉到被污染物退化的注意区域。在注意力图和已完成的流的指导下，我们提出了一种递归技术，通过从相邻帧中提取干净的像素来恢复输入帧。最后，使用多帧处理阶段来进一步处理整个视频序列，以增强时间一致性。整个网络是在一个合成数据集上训练的，该数据集近似于污染物伪影的物理照明特性。这个新的数据集和我们的新框架导致我们的方法能够解决不同的污染物，并在定性和定量上优于竞争性恢复方法。
2021-04-18 cs.CV
Fundamental Matrices from Moving Objects Using Line Motion Barcodes
The Hebrew University of Jerusalem（希伯来大学）
计算具有非常不同的视点的相机之间的对极几何通常是非常困难的。物体的外观变化很大，很难找到相应的特征点。现有方法使用单个移动对象的轮廓的凸包上的点来搜索对应的核线。当场景包含多个移动对象时，这些方法将失败。本文通过使用“运动条形码”，线条的时间签名，将以前的工作扩展到具有多个移动对象的场景。对应的核线具有相似的运动条形码，并且通过它们的运动条形码的相似性找到对应的核线的候选对。与以前的方法一样，我们假设相机相对静止，并且已经使用背景减除提取了移动对象。
2016-07-26 cs.CV
MTevent: A Multi-Task Event Camera Dataset for 6D Pose Estimation and Moving Object Detection
TU Dortmund（图卢兹大学多特蒙德分校）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所）
本文提出MTevent多任务事件相机数据集，面向高速动态场景下的6D位姿估计与运动目标检测，并通过RGB基线实验揭示传统方法的不足，为高速机器人视觉研究提供新资源。
2025-06-02 cs.CV
PoseStreamer: A Multi-modal Framework for 3D Tracking of Unseen Moving Objects
School of Mathematics, Renmin University of China（中国人民大学数学学院）
PoseStreamer是一种多模态框架，通过结合自适应姿态内存队列、以对象为中心的2D跟踪器和射线姿态滤波器，实现高速移动物体的高精度3D跟踪。
2026-01-02 cs.CV
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
我们提出了一种新的技术，用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性，由于不同的传感器或相机设置，如曝光和白平衡。我们的技术在两个方面比现有的方法创新：（1）它支持独立移动的摄像机，（2）它计算密集的场景流的宽基线scenaries.We实现了这一点，结合国家的最先进的宽基线对应发现与变分场景流公式。首先，我们使用DAISY描述符计算密集的宽基线对应关系，用于相机之间的匹配和随时间的变化。然后，我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后，我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果，这些数据集具有独立移动的手持式摄像机（摄像机设置不同）。
2016-09-16 cs.CV
DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects
School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
DynamicPose通过VIO补偿、深度引导2D跟踪和VIO引导卡尔曼滤波的分层细化，在无需重新训练的情况下实现快速运动相机与物体场景下的实时鲁棒6D位姿跟踪。
2025-08-16 cs.CV cs.RO
3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective
Sea-NExT Joint Lab, National University of Singapore（新加坡国立大学Sea-NExT联合实验室）；Zhejiang University（浙江大学）
本文提出一种自监督学习方法，通过因果视角从单张图像重建3D非刚性物体，解决3D标注困难、模板限制和内在模糊性问题，实验表明其在时尚数据集上能实现高质量重建。
2023-03-13 cs.CV
Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University-University of Illinois at Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）；University of Washington（华盛顿大学）
3D人体姿态估计（HPE）在许多领域中是至关重要的，例如人类行为分析、增强现实/虚拟现实（AR/VR）应用和自动驾驶工业。包含从自由移动的单目摄像机捕获的多个潜在被遮挡的人的视频在现实场景中非常常见，而用于此类场景的3D HPE非常具有挑战性，部分原因是现有数据集中缺乏具有准确3D地面真实标签的此类数据。在本文中，我们提出了一个时间回归网络与门卷积模块转换2D关节到3D和恢复丢失的闭塞关节在同一时间。一个简单而有效的定位方法进一步进行转换的归一化姿态的全局轨迹。为了验证我们的方法的有效性，我们还收集了一个新的移动相机多人（MMHuman）数据集，其中包括多个人与移动相机捕获的严重遮挡。3D地面真实关节由精确运动捕获（MoCap）系统提供。从基于静态相机的Human3.6M数据和我们自己收集的基于移动相机的数据的实验中，我们表明，我们提出的方法优于大多数最先进的2D到3D姿态估计方法，特别是对于具有严重遮挡的场景。
2020-10-31 cs.CV
Joint Stereo Video Deblurring, Scene Flow Estimation and Moving Object Segmentation
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
动态场景的立体视频通常由于相机运动和具有大深度变化的多个移动对象而显示出令人不快的模糊效果。给定连续的模糊立体视频帧，我们的目标是恢复潜在的干净图像，估计三维场景流和分割的多个运动物体。这三个任务以前被单独处理，未能利用这些任务之间的内在联系，不能实现最优。在本文中，我们建议通过利用它们的内在联系，在一个统一的框架中共同解决这三个任务。为此，我们表示的动态场景与分段平面模型，它利用局部结构的场景，并表示各种动态场景。在我们的模型下，这三个任务自然地连接在一起，并表示为三维场景结构和相机运动（动态场景的结构和运动）的参数估计。通过利用模糊模型约束，运动物体和三维场景结构，我们得到了一个能量最小化公式联合去模糊，场景流和分割。我们在合成数据集和公开可用的真实数据集上广泛评估了我们的方法，这些数据集包括快速移动的物体，相机运动，不受控制的照明条件和阴影。实验结果表明，我们的方法可以实现立体视频去模糊，场景流估计和运动对象分割，比国家的最先进的方法显着改善。
2019-10-06 cs.CV
ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild
Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；ByteDance Inc.（字节跳动公司）；Texas A&M University（得克萨斯农工大学）
从单目视频中估计移动摄像机的姿态是一个具有挑战性的问题，特别是由于动态环境中存在移动对象，其中现有摄像机姿态估计方法的性能容易受到几何不一致的像素的影响。为了解决这一挑战，我们提出了一个强大的密集间接结构从运动的方法，是基于密集对应初始化成对的光流的视频。我们的关键想法是将远程视频对应优化为密集点轨迹，并使用它来学习运动分割的鲁棒估计。提出了一种新的神经网络结构，用于处理不规则点轨迹数据。相机姿态，然后估计和优化与全球光束调整的一部分，被分类为静态的远程点轨迹。MPI Sintel数据集上的实验表明，与现有的最先进的方法相比，我们的系统产生了更准确的相机轨迹。此外，我们的方法能够在完全静态的场景中保持相机姿态的合理精度，这始终优于具有端到端深度学习的最先进的基于密集对应的方法，证明了基于光流和点轨迹的密集间接方法的潜力。由于点轨迹表示是一般的，我们进一步提出的结果和比较在野外单目视频与复杂的运动的动态对象。代码可在https://github.com/bytedance/particle-sfm上获得。
2022-07-19 cs.AI cs.CV
VGQ-CNN: Moving Beyond Fixed Cameras and Top-Grasps for Grasp Quality Prediction
Hamilton Institute（汉密尔顿研究所）；Maynooth University（梅努斯大学）
我们提出了通用抓取质量卷积神经网络（VGQ-CNN），一个用于6自由度抓取的抓取质量预测网络。VGQ-CNN可用于评估从各种摄像机姿势或移动机器人中看到的物体的抓握，而无需重新训练网络。通过将抓取方向明确定义为网络的输入，VGQ-CNN可以评估6-DOF抓取姿势，超越了大多数基于图像的抓取评估方法（如GQ-CNN）中使用的4-DOF抓取。为了训练VGQ-CNN，我们生成了新的Versatile Grasp数据集（VG-GNN），其中包含从各种相机姿势中观察到的6-DOF抓握。VGQ-CNN在我们的测试分割中实现了82.1%的平衡准确度，同时推广到各种相机姿势。与此同时，它在头顶摄像机和顶部抓取方面实现了具有竞争力的性能，与GQ-CNN的76.6%相比，其平衡准确率为74.2%。我们还提出了一种改进的网络架构，FAST-VGQ-CNN，它使用共享编码器架构来加速推理，并且可以在CPU上在12 ms内进行128次抓取质量预测。代码和数据可在https://aucoroboticsmu.github.io/vgq-cnn/上获得。
2022-06-23 cs.CV cs.RO
Quickest Moving Object Detection
King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）
我们提出了一个通用的框架和方法，同时检测和分割的视频中的对象，移动（或进入相机的视野）在视频中的一些未知的时间。该方法是一种基于运动分割的在线方法，它可以在由运动摄像机或运动干扰引起的动态背景下工作。该方法的目标是检测和分割的对象，只要它移动。由于视频中的随机变化和运动信号的不可靠性，需要几个帧来可靠地检测对象。该方法的目的是检测和分割的最小延迟受到约束的虚警率。该方法是作为一个问题的最快变化检测。在一个数据集上的实验表明，我们的方法在最小化检测延迟的虚警约束的有效性。
2016-05-24 cs.CV
EV-IMO: Motion Segmentation Dataset and Learning Pipeline for Event Cameras
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；ETH Zurich（苏黎世联邦理工学院）
我们提出了第一个基于事件的学习方法，用于室内场景中的运动分割和第一个基于事件的数据集- EV-IMO -其中包括精确的像素运动掩模，自运动和地面真实深度。我们的方法是基于一个有效的实现的SfM学习管道使用低参数神经网络架构的事件数据。除了相机自运动和密集的深度图之外，该网络还估计像素独立移动对象分割，并计算移动对象的每个对象的3D平移速度。我们还训练了一个只有40 k个参数的浅层网络，它能够计算深度和自运动。我们的EV-IMO数据集具有32分钟的室内记录功能，最多可同时在摄像机视野中记录3个快速移动的物体。物体和摄像机由VICON运动捕捉系统跟踪。通过对房间和物体进行3D扫描，可以获得精确的深度图地面实况和像素级物体遮罩，即使在光线不足的情况下和快速运动期间也是可靠的。然后，我们在EV-IMO上进行训练和评估我们的学习管道，并证明我们的方法远远超过其竞争对手，非常适合场景受限的机器人应用。
2020-01-12 cs.CV
General Dynamic Scene Reconstruction from Multiple View Video
University of Surrey（萨里大学）
本文介绍了一种通用的方法，从多个运动的摄像机动态场景重建没有先验知识或限制约束的场景结构，外观，或照明。用于从多个宽基线相机视图进行动态场景重建的现有技术主要集中在受控环境中的精确重建，其中相机是固定的和校准的，并且背景是已知的。这些方法对于用稀疏移动相机捕获的一般动态场景是不鲁棒的。以前的室外动态场景重建方法假设静态背景外观和结构的先验知识。本文的主要贡献有两个方面：一个自动的方法，初始粗糙的动态场景分割和重建背景外观或结构的先验知识;和一个通用的强大的方法，从多个宽基线静态或移动相机的联合分割细化和密集的动态场景重建。评估是在各种室内和室外场景与杂乱的背景和多个动态的非刚性对象，如人。与国家的最先进的方法相比，表明在多视图分割和密集重建的准确性提高。该方法还消除了对场景结构和外观的先验知识的要求。
2015-09-30 cs.CV
Hybrid Multi-camera Visual Servoing to Moving Target
University of Edinburgh（爱丁堡大学）；University of Alicante（阿利坎特大学）
视觉伺服是机器人学中的一个众所周知的任务。然而，当多个视觉源被组合以准确地引导机器人或出现遮挡时，仍然存在挑战。在本文中，我们提出了一种新的视觉伺服方法，使用混合多摄像机输入数据，导致机器人手臂准确地动态移动目标点的存在部分遮挡。该方法使用四个RGBD传感器作为眼到手（EtoH）视觉输入，并使用一个臂上安装的立体相机作为手眼（EinH）。主管理器任务根据机器人和目标之间的距离选择使用EtoH或EinH。Master还选择最能感知目标的EtoH摄像机子集。当使用EinH传感器时，如果目标被遮挡或离开传感器的视锥，则主机切换回EtoH传感器以重新跟踪对象。使用该自适应视觉输入数据，然后使用迭代规划器来控制机器人，该迭代规划器使用位置、取向和关节配置来估计轨迹。由于目标是动态的，因此该轨迹在每个时间步都被更新。实验表明，在四种不同的情况下，良好的性能：跟踪一个球，瞄准靶心，引导吸管到嘴和提供一个项目，以移动的手。实验涵盖了两种简单的情况，例如从所有摄像机都可以看到的球，以及更复杂的情况，例如从一些传感器部分遮挡的嘴。
2018-08-02 cs.CV cs.RO
E-NeRF: Neural Radiance Fields from a Moving Event Camera
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
从“理想”图像估计神经辐射场（NeRFs）已经在计算机视觉社区中被广泛研究。大多数方法假设最佳照明和缓慢的相机运动。这些假设在机器人应用中经常被违反，其中图像可能包含运动模糊，并且场景可能没有合适的照明。这可能会给下游任务（如导航、检查或场景可视化）带来严重问题。为了缓解这些问题，我们提出了E-NeRF，第一种方法，估计体积场景表示的形式从一个快速移动的事件相机的NeRF。我们的方法可以在非常快的运动期间和基于帧的方法失败的高动态范围条件下恢复NeRF。我们表明，渲染高质量的帧是可能的，只提供一个事件流作为输入。此外，通过组合事件和帧，我们可以在严重运动模糊的情况下估计比最先进方法更高质量的NeRF。我们还表明，结合事件和帧可以克服失败的情况下NeRF估计只有几个输入视图，而不需要额外的正则化。
2023-01-24 cs.CV cs.RO
FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统）；ECE Paris（巴黎ECE工程师学院）；Valeo R&D（法雷奥研发）；Valeo DAR Kronach（法雷奥DAR克罗纳赫）
运动目标检测（MOD）是实现鲁棒自动驾驶的重要任务。自动驾驶车辆必须估计与环境中其他相互作用的物体的碰撞风险，并计算可选的轨迹。由于需要估计对象的未来状态和姿态以进行决策，因此移动对象的碰撞风险通常高于静态对象。这对于车辆周围的近距离物体尤其重要，这些物体通常由捕获场景的360°视图的鱼眼环绕视图系统检测到。在这项工作中，我们提出了一个CNN架构的移动目标检测使用鱼眼图像，在自动驾驶环境中捕获。由于鱼眼相机的运动几何是高度非线性和独特的，我们将公开当前数据集的改进版本，以鼓励进一步的研究。针对嵌入式部署，我们设计了一个轻量级的编码器，在序列图像之间共享权重。该网络在1万亿次浮点运算的汽车嵌入式系统上以15 fps的速度运行，精度为40% IoU和69.5% mIoU。
2019-08-30 cs.CV eess.IV
Camera Motion Agnostic 3D Human Pose Estimation
Kwangwoon University（光云大学）；NCSOFT
尽管近年来三维人体姿态和形状估计方法的性能已经显著提高，但是现有方法通常生成在相机或以人为中心的坐标系中定义的3D姿态。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种相机运动不可知的方法来预测三维人体姿态和网格定义在世界坐标系。所提出的方法的核心思想是估计两个相邻全局姿态之间的差异（即，全局运动），其对于选择坐标系是不变的，而不是耦合到相机运动的全局姿态。为此，我们提出了一种基于双向门控递归单元（GRU）的网络，该网络从局部姿态序列（由关节的相对旋转组成）预测全局运动序列，称为全局运动回归量（GMR）。我们使用3DPW和合成数据集，这是在移动摄像机环境中构建的，进行评估。我们进行了大量的实验，并证明了所提出的方法的有效性经验。代码和数据集可在www.example.com上获得
2021-12-01 cs.CV
ODD-SEC: Onboard Drone Detection with a Spinning Event Camera
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）
ODD-SEC提出一种基于旋转变换事件相机的实时无人机检测系统，通过新颖的事件表示和轻量级神经网络实现高动态范围和微秒级响应，适用于移动载体的无人机检测。
2026-03-06 cs.CV
