Sensing technologies and machine learning methods for emotion recognition in autism: Systematic review
University of Granada（格拉纳达大学）；Universidad de la Costa（哥斯达大学）；University of Jaén（哈恩大学）；University of Alicante（阿利坎特大学）
本文系统综述了2011至2023年自闭症情绪识别中传感技术与机器学习方法的应用，发现主要依赖面部表情和视频摄像头，以有监督机器学习为主，并指出未来应更多探索生理传感与深度学习方法。
2024-05-15 cs.AI cs.CV cs.LG
UAV Images Dataset for Moving Object Detection from Moving Cameras
Sakarya University（萨卡里亚大学）
本文提出了一种新的高分辨率航空影像数据集，其中移动物体的标记手动。它的目的是有助于运动摄像机的运动目标检测方法的评价。航空图像中运动目标的识别问题是计算机视觉的重要研究课题之一。无人机拍摄的图像中最大的问题是，由于相机的运动，背景不断变化。在文献中有各种数据集，其中对所提出的运动检测方法进行了评估。准备好的数据集包括与其他数据集相比包含小目标的具有挑战性的图像。文献中的两种方法已被测试的准备数据集。此外，本文还提出了一种简单的方法相比，这些方法已被提出的移动对象对象。
2021-03-24 cs.CV eess.IV
Towards Effective Multi-Moving-Camera Tracking: A New Dataset and Lightweight Link Model
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Institute of Integrated Science and Technology, Hosei University（法政大学综合科学技术研究所）；Frontiers Science Center for Intelligent Autonomous Systems, Tongji University（同济大学智能自主系统前沿科学中心）
本文聚焦多目标多移动相机跟踪，提出新数据集MMCT，并设计轻量级无外观链接模型Linker缓解SCT身份切换，结合颜色迁移模块提取跨相机一致特征提升ICT，构建了性能显著提升的MTMMC跟踪系统。
2024-04-23 cs.CV
Optical Flow Based Background Subtraction with a Moving Camera: Application to Autonomous Driving
University of Nevada, Reno（内华达大学里诺分校）
在这项研究中，我们提出了一种新的算法，背景减除使用移动摄像机。我们的算法完全基于从安装在电动公交车上的摄像头获得的视觉信息，该摄像头在里诺市中心运行，自动检测感兴趣的移动物体，以提供完全自主的车辆。在我们的方法中，我们利用的光流矢量产生的运动的相机，同时保持参数假设最小。首先，根据摄像机的内部参数，估计出用于建模和模拟三维点的扩展焦点，然后进行多元线性回归，估计出回归方程的参数，并在每一帧的真实数据集上实现运动目标的识别。我们验证了我们的算法使用的数据从一个共同的巴士路线。
2018-11-16 cs.CV cs.RO
Spherical formulation of moving object geometric constraints for monocular fisheye cameras
Valeo Visions Systems（法雷奥视觉系统公司(Valeo Visions Systems)）
在本文中，我们介绍了一种用于自动驾驶鱼眼摄像机的运动目标检测算法。我们将直线图像中的三个常用约束（极线、正深度和正高度约束）重新表述为球面坐标，一旦已知校准，球面坐标对特定相机配置是不变的。自动驾驶中的主要挑战用例之一是检测遭受运动视差模糊的平行移动物体。为了缓解这一点，我们制定了一个额外的第四个约束，称为反平行约束，这有助于检测对象的运动，反映自我车辆可能。我们分析了该算法在不同的情况下，并证明了它的工作有效地直接操作鱼眼图像。
2020-03-06 cs.CV
EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
Sony Semiconductor Solutions Corporation（索尼半导体解决方案公司）；University of Toronto（多伦多大学）
针对快速运动场景下新视角合成的难题，提出EventSplat方法，结合事件相机特性、事件转视频先验与样条插值，基于3D高斯泼溅实现比现有事件NeRF方法视觉效果更好、渲染速度快一个数量级的实时渲染。
2025-05-21 cs.CV
Moving Object Detection from Moving Camera Using Focus of Expansion Likelihood and Segmentation
Department of Precision Engineering, Graduate School of Engineering, The University of Tokyo（精密工程学系，工学研究生院，东京大学）；Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo（人类与工程环境研究系，前沿科学研究生院，东京大学）
针对运动相机依赖光流检测运动目标在复杂场景效果不佳的问题，提出融合光流与纹理信息的FoELS方法，在相关数据集和真实视频上实现了SOTA性能。
2026-09-30 cs.CV
Survey on video anomaly detection in dynamic scenes with moving cameras
Shandong University（山东大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文针对移动相机动态场景的视频异常检测，首次系统梳理MC-VAD任务、25个数据集、异常类型、五类方法及未来方向。
2023-08-14 cs.CV
Referring Multi-Object Tracking in Moving-Camera Videos via Global Motion Compensation
National Cheng Kung University（国立成功大学）
本文针对移动相机视频中的指代多目标跟踪，提出通过估计相机运动提取残差运动并与查询表达式匹配，经后期融合提升RMOT性能。
2026-10-06 cs.CV
MotionDeltaCNN: Sparse CNN Inference of Frame Differences in Moving Camera Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
针对 DeltaCNN 仅适用于静态相机的问题，本文提出 MotionDeltaCNN，利用球面缓冲区和填充卷积高效融合新显露区域，在不增加内存占用的情况下将运动相机视频推理性能最高提升 90%。
2023-08-14 cs.CV cs.LG
Flying Objects Detection from a Single Moving Camera
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们提出了一种方法来检测飞行物体，如无人机和飞机时，他们占据了一小部分的视野，可能会对复杂的背景移动，并拍摄的相机本身移动。解决这样一个困难的问题需要结合外观和运动线索。为此，我们提出了一种基于回归的方法来运动稳定的局部图像补丁，使我们能够实现有效的分类时空图像立方体和优于国家的最先进的技术。由于这个问题相对较新，我们收集了两个具有挑战性的无人机和飞机数据集，它们可以用作飞行物体检测和视觉引导碰撞避免的基准。
2014-11-27 cs.CV
Physics-based Human Pose Estimation from a Single Moving RGB Camera
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；University of Tübingen（图宾根大学）；University of Amsterdam（阿姆斯特丹大学）
针对移动单目RGB相机与非平坦场景下的姿态跟踪难题，本文构建含真值相机轨迹、场景几何及接触标签的MoviCam数据集，并提出融合物理约束的PhysDynPose方法。
2025-07-23 cs.CV
A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras
Rutgers University（罗格斯大学）
随着视频采集平台的不断增加，迫切需要开发一种能够处理运动背景的通用背景减除算法。在本文中，我们提出了一个基于多层的框架，用于移动摄像机捕获的视频的在线背景减除。与以前的处理问题，所提出的方法是不限于二进制分割的背景和前景，但制定它作为一个多标签分割问题，通过建模多个前景对象在不同的层，当他们同时出现在场景中。我们为每个前景对象分配一个独立的处理层，以及背景，其中估计运动和外观模型，并使用贝叶斯过滤框架推断概率图。最后，利用马尔可夫随机场上的多标号图割进行像素级标号。广泛的评估结果表明，该方法优于国家的最先进的方法具有挑战性的视频序列。
2017-09-04 cs.CV
Moving Object Detection for Event-based Vision using k-means Clustering
Jadavpur University（贾达普大学）
运动目标检测是计算机视觉中的一个重要问题。基于事件的相机是生物启发的相机，通过模仿人眼的工作来工作。与传统的基于帧的相机相比，这些相机具有多个优点，如减少的延迟、HDR、在高运动期间减少的运动模糊、低功耗等。尽管有这些优点，基于事件的相机对噪声敏感并且具有低分辨率。此外，在这些相机中的移动目标检测的任务是困难的，因为基于事件的传感器缺乏有用的视觉特征，如纹理和颜色。在本文中，我们研究了应用的k-均值聚类技术在检测基于事件的数据中的移动对象。
2022-01-11 cs.AI cs.CV eess.IV
DynOPETs: A Versatile Benchmark for Dynamic Object Pose Estimation and Tracking in Moving Camera Scenarios
ShanghaiTech University（上海科技大学）；Mobile Peception Lab（移动感知实验室）；Fudan Univesity（复旦大学）；Multi-Agent Robotic Systems Lab（多智能体机器人系统实验室）
针对移动相机下动态物体姿态估计与跟踪缺乏真实数据的问题，本文提出 DynOPETs 数据集及融合姿态估计、跟踪与位姿图优化的标注流程，并通过18种先进方法验证其有效性。
2025-07-06 cs.CV
3D Trajectory Reconstruction of Moving Points Based on Asynchronous Cameras
College of Aerospace Science and Engineering, National University of Defense Technology（航空科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（湖南省图像测量与视觉导航重点实验室）
本文针对异步相机下的运动点轨迹重建问题，提出同时求解轨迹重建与相机同步的三维重建方法，并通过联合优化相机时间、旋转和运动参数提升精度，实验验证了其可行性与准确性。
2025-06-03 cs.CV
Non-rigid Reconstruction with a Single Moving RGB-D Camera
CSIRO Data61（联邦科学与工业研究组织数据61所）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的非刚性重建方法，使用移动RGB-D相机。目前的方法只使用场景的非刚性部分，完全忽略了刚性背景。非刚性部件通常缺乏足够的几何和光度信息来跟踪大的帧到帧运动。我们的方法使用相机姿态估计从刚性背景的前景跟踪。这使得在发生大的帧到帧运动的情况下能够进行鲁棒的前景跟踪。此外，我们提出了一个多尺度变形图，它提高了非刚性跟踪，而不影响重建的质量。我们还提供了一个合成数据集，这是可用于评估非刚性重建方法。该数据集提供场景的逐帧地面真实几何、相机轨迹和背景前景的遮罩。实验结果表明，我们的方法是更强大的处理更大的帧到帧的运动，并提供更好的重建相比，国家的最先进的方法。
2018-05-30 cs.CV
Pan-Tilt Camera and PIR Sensor Fusion Based Moving Object Detection for Mobile Security Robots
Kim Il Sung University（金日成综合大学）
安全机器人的一个基本问题是检测和跟踪周围的人。这项任务的主要问题是实时约束，不断变化的背景，不同的照明条件和非刚性形状的人被跟踪。在本文中，我们提出了一种解决方案，跟踪云台相机和被动红外范围（PIR）传感器检测运动目标的基础上连续帧差。该方法具有很好的实时性，因为它只需要很少的内存和计算。实验结果表明，该方法能够在非平稳、复杂的室内环境中有效、准确地检测出人体等运动目标。
2015-10-26 cs.CV cs.RO
It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
人类检测和分割移动物体的能力在存在多个物体、复杂背景几何形状、观察者运动甚至伪装的情况下都有效。除此之外，检测运动的能力几乎是瞬时的。虽然最近在运动分割方面取得了很大进展，但似乎我们离人类的能力还很远。在这项工作中，我们从第一原理推导出一个新的似然函数，用于评估给定物体的3D运动方向的光流矢量的概率。这种可能性使用光流的角度和幅度的新颖组合来最大化关于对象的真实运动的信息。使用这种新的可能性和几个创新的初始化，我们开发了一个运动分割算法，击败了当前最先进的方法，由一个大的利润。我们比较了五个国家的最先进的方法在两个既定的基准，和第三个新的数据集的动物，我们介绍了推动运动分割到一个新的水平。
2016-04-01 cs.CV
Incremental Real-Time Multibody VSLAM with Trajectory Optimization Using Stereo Camera
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Max Planck Institute For Intelligent Systems（马克斯·普朗克智能系统研究所）；The Robotics Institute（机器人研究所）；Queensland University of Technology（昆士兰理工大学）；University of Petroleum and Energy Studies（石油与能源研究大学）
高动态环境下的实时的户外导航是一个至关重要的问题。最近的文献实时的静态SLAM不按比例扩大到动态户外环境。这些方法中的大多数将移动对象假设为离群值或丢弃它们提供的信息。我们提出了一种算法，联合推断摄像机的轨迹和运动物体的轨迹同时。在本文中，我们执行一个稀疏场景流的运动分割使用立体相机。分割的对象运动模型用于精确定位摄像机轨迹以及移动对象。我们利用运动物体之间的关系来提高姿态的准确性。我们制定的构成因素图纳入所有的约束。我们通过实时的求解一个完全非线性优化问题来获得精确的增量解。在具有挑战性的KITTI数据集上进行了多辆移动汽车的评估。我们的方法在户外导航中优于以前的基线。
2016-08-02 cs.CV
Lidar with Velocity: Correcting Moving Objects Point Cloud Distortion from Oscillating Scanning Lidars by Fusion with Camera
Southern University of Science and Technology（南方科技大学）；Jimei University（集美大学）
来自移动物体的激光雷达点云失真是自动驾驶中的一个重要问题，最近随着新型激光雷达的出现变得更加苛刻，这些激光雷达具有来回扫描模式。准确地估计移动对象速度将不仅提供跟踪能力，而且通过对移动对象的更准确描述来校正点云失真。由于激光雷达测量的是飞行时间距离，但具有稀疏的角分辨率，因此在径向测量中测量是精确的，但缺乏角度。另一方面，相机提供密集的角分辨率。本文提出了一种基于高斯分布的激光雷达与摄像机融合的方法来估计全速并校正激光雷达的畸变。一个概率卡尔曼滤波器框架提供了跟踪运动物体，估计他们的速度，同时纠正点云失真。该框架在真实道路数据上进行了评估，融合方法优于传统的基于ICP和点云的方法。完整的工作框架是开源的（https：//github.com/ISEE-Technology/lidar-with-velocity），以加速新兴激光雷达的采用。
2022-07-03 cs.CV cs.RO
Underwater Fish Tracking for Moving Cameras based on Deformable Multiple Kernels
University of Washington（华盛顿大学）；National Taipei University of Technology（国立台北科技大学）；Alaska Fisheries Science Center（阿拉斯加渔业科学中心）
需要使用单个或多个水下摄像机的渔业调查是一项新兴技术，可作为非采掘性手段来估计鱼类资源的丰富程度。在开放的水生环境中跟踪活鱼面临的挑战与监控应用中的一般行人或车辆跟踪不同。在许多粗糙的栖息地中，鱼类通过安装在移动平台上的摄像机进行监测，由于背景模型的不适用性，跟踪更具挑战性。本文提出了一种新的跟踪算法的基础上的变形多核（DMK）来解决这些挑战。受可变形零件模型技术的启发，定义了一组核来表示整体对象和以可变形配置排列的几个零件。提取颜色直方图、纹理直方图和方向梯度直方图作为目标特征。通过基于颜色和纹理特征的均值漂移算法有效地估计核运动，实现跟踪。此外，HOG特征变形成本被采用作为核位置的软约束，以保持零件的配置。对水下运动摄像机实际视频集的实验结果表明，该方法具有可靠的性能，与现有技术相比，计算量小得多。
2016-03-05 cs.CV
Augmented Robust PCA For Foreground-Background Separation on Noisy, Moving Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的基于全变分正则化的鲁棒PCA方法，用于对有噪声的运动摄像机视频进行前景-背景分离和去噪。我们提出的算法注册的原始（可能损坏）的视频帧，然后联合处理注册的帧，以产生一个分解的场景到一个低秩的背景组件，捕获的静态组件的场景，一个平滑的前景组件，捕获的动态组件的场景，和一个稀疏的组件，可以隔离腐败和其他非理想。与现有的方法不同，我们提出的算法产生一个全景低秩组件，跨越整个视野，自动拼接在一起损坏的数据从部分重叠的场景。我们的鲁棒PCA模型的低秩部分是基于最近发现的最佳低秩矩阵估计（OptShrink），不需要参数调整。我们证明了我们的算法在静态和移动摄像机视频被噪声和离群值破坏的性能。
2017-09-27 cs.CV stat.ML
RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems
Georgia Institute of Technology（佐治亚理工学院）
交互式自主应用要求感知引擎对无约束视频中的伪影具有鲁棒性。在本文中，我们研究的作用，相机运动的任务上的动作检测。我们开发了一种新的排名方法来排名视频的基础上的程度的全球相机运动。对于高排名的摄像头视频，我们表明，动作检测的准确性下降。我们提出了一个动作检测流水线，是鲁棒的相机运动效果，并验证它的经验。具体来说，我们跨帧进行演员特征对齐，并将全局场景特征与局部演员特定特征相结合。我们使用一种新的时空采样网络（STSN）公式进行特征对齐，但使用金字塔结构进行多尺度偏移预测和细化。我们还提出了一种新的输入相关的加权平均策略融合局部和全局特征。我们展示了我们的网络在具有高相机运动的移动相机视频数据集（MOVE数据集）上的适用性，其中帧mAP增加了4.1%，视频mAP增加了17%。
2022-04-30 cs.CV
Unified Underwater Structure-from-Motion
Kyushu University（九州大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））
本文表明，精确的水下三维形状重建是可能的，使用一个单一的相机，通过折射界面观察目标。我们提供了统一的重建技术的各种场景，如单一的静态相机和移动折射界面，单一的移动相机和静态折射界面，和单一的移动相机和移动折射界面。在我们的基本设置中，我们假设折射界面是平面的，并且同时使用光束法平差估计平面界面和相机的未知变换以及未知目标形状。我们还扩展它放松的平面性假设，这使我们能够使用波的折射界面的重建任务。实验结果表明，该方法优于现有的方法。
2019-09-09 cs.CV
Independent Motion Detection with Event-driven Cameras
Istituto Italiano di Tecnologia（意大利理工学院）；University of Zurich（苏黎世大学）
与以恒定帧速率发送强度图像的标准相机不同，事件驱动相机异步报告像素级亮度变化，提供低延迟和高时间分辨率（均为微秒量级）。因此，它们在机器人的快速和低功耗视觉算法方面具有很大的潜力。例如，视觉跟踪即使对于非常快的刺激也很容易实现，因为只有移动的物体才会引起亮度变化。然而，安装在移动机器人上的摄像机通常是非静止的，并且由于机器人自我运动，相同的跟踪问题会被背景杂波事件混淆。在本文中，我们提出了一种方法分割一个独立的运动对象的事件驱动的相机的运动。我们的方法检测和跟踪事件流中的角点，并学习它们的运动统计数据作为机器人的关节速度的函数时，没有独立移动的对象。在机器人操作过程中，独立移动的对象被识别的预测角速度从自我运动和测得的角速度之间的差异。我们验证了从神经形态iCub机器人收集的数据的算法。我们实现了~ 90%的精度，并表明该方法是鲁棒的头部和目标的速度变化。
2017-07-04 cs.CV
Detecting Moving Objects Using a Novel Optical-Flow-Based Range-Independent Invariant
Florida Atlantic University（佛罗里达大西洋大学）
本文提出一种基于光流的变换，生成不变图像以在相机运动时检测运动目标，无需相机速度、方向或深度信息，支持实时处理，经仿真和实验验证有效。
2023-10-14 cs.CV eess.IV
MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera
Technical University of Munich（慕尼黑工业大学）；Artisense
在本文中，我们提出了MonoRec，这是一种半监督单目密集重建架构，可以在动态环境中从单个移动相机预测深度图。MonoRec基于多视图立体视觉设置，该设置将多个连续图像的信息编码在成本量中。为了处理场景中的动态对象，我们引入了一个MaskModule，它通过利用编码在成本卷中的光度不一致来预测移动对象掩模。与其他多视图立体视觉方法不同，MonoRec能够通过利用预测的掩模来重建静态和移动对象。此外，我们提出了一种新的多阶段训练方案，具有不需要LiDAR深度值的半监督损失公式。我们在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它实现了最先进的性能。通过在KITTI上训练的模型，我们进一步证明了MonoRec能够很好地推广到Oxford RobotCar数据集和手持相机记录的更具挑战性的TUM-Mono数据集。代码和相关材料将在https://vision.in.tum.de/research/monorec上提供。
2021-05-06 cs.CV
3D Trajectory Reconstruction of Moving Points Based on a Monocular Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；National University of Defense Technology（国防科技大学）
本文针对单目相机在受限观测条件下重建运动点三维轨迹的病态问题，提出基于时间多项式和岭估计的算法，并引入自动定阶与可重建性定义，实验验证了其可行性、准确性和效率。
2025-02-27 cs.CV
Motion Segmentation from a Moving Monocular Camera
University of Waterloo（滑铁卢大学）
本文提出在物体层面融合点轨迹与光流线索，通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割，在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
Coherent Motion Segmentation in Moving Camera Videos using Optical Flow Orientations
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
在移动摄像机视频中，通常使用像素的图像平面运动或光流来执行运动分割。但是，与相机处于不同深度的对象可能会显示不同的光流，即使它们共享相同的真实世界运动。这可能导致场景的深度相关分割。我们的目标是开发一种分割算法，集群像素，具有类似的现实世界中的运动，无论其在场景中的深度。我们的解决方案使用光流方向，而不是完整的矢量，并利用众所周知的属性，即在相机平移，光流方向是独立的对象深度。我们引入了一个概率模型，自动估计观察到的独立运动的数量，并导致与场景中的真实运动一致的标签。我们的系统的结果是，静态对象被正确地识别为一个片段，即使它们在不同的深度。颜色特征和信息，从以前的帧中的视频序列被用来纠正偶尔的错误，由于基于方向的分割。我们展示了来自不同基准的30多个视频的结果。该系统在包含深度显著不同的对象的复杂背景场景上特别鲁棒
2015-11-05 cs.CV
DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects
School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
DynamicPose通过VIO补偿、深度引导2D跟踪和VIO引导卡尔曼滤波的分层细化，在无需重新训练的情况下实现快速运动相机与物体场景下的实时鲁棒6D位姿跟踪。
2025-08-16 cs.CV cs.RO
Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；NVIDIA（英伟达）；MIT（麻省理工学院）
我们解决的无监督学习的几个相互关联的问题，在低层次的视觉：单视图深度预测，摄像机运动估计，光流，并分割成静态场景和运动区域的视频。我们的关键见解是，这四个基本的视觉问题是通过几何约束耦合。因此，学习一起解决它们可以简化问题，因为解决方案可以相互加强。我们超越以前的工作，更明确地利用几何和分割成静态和移动区域的场景。为此，我们引入了竞争协作，这是一个促进多个专业神经网络协调训练以解决复杂问题的框架。竞争性协作的工作原理与期望最大化非常相似，但神经网络既充当竞争者来解释与静态或移动区域相对应的像素，又充当协作者，通过调节器将像素分配为静态或独立移动。我们的新方法集成了所有这些问题在一个共同的框架，并同时对分割的场景到运动物体和静态背景，摄像机运动，静态场景结构的深度，和光流的运动物体的原因。我们的模型在没有任何监督的情况下进行训练，并在所有子问题的联合无监督方法中实现了最先进的性能。
2019-03-11 cs.CV
CoMo: A novel co-moving 3D camera system
CNR–ISC (National Research Council - Institute for Complex Systems)（国家研究委员会-复杂系统研究所）；South China Agricultural University（华南农业大学）
出于理论上的兴趣，在重建长的3D轨迹的单个鸟类在大的羊群，我们开发了CoMo，一个共同移动的摄像机系统的两个同步的高速摄像机加上旋转阶段，这使我们能够动态地跟随目标群的运动。随着相机的旋转，我们克服了标准静态系统的局限性，这些系统将收集的数据的持续时间限制在目标处于相机共同视野中的短时间间隔内，但同时我们及时改变系统的外部参数，然后必须逐帧校准。我们解决了外部参数的校准，这些外部参数测量相机的位置以及它们在系统“原始”配置中的三个偏航角、俯仰角和滚转角（角度等于0度的旋转台，并且将该静态信息与由于台而引起的时间相关旋转相结合）。我们通过比较重建和测量的3D距离，我们称之为3D测试，这表明相对误差为1%的顺序，我们评估系统的鲁棒性和准确性。本文中提出的工作的新颖性不仅在于系统本身，而且在于我们在测试中使用的方法，我们证明这是检测和修复校准不准确性的一个非常强大的工具，因此，可能与广泛的受众相关。
2021-01-26 cs.CV
Spatiotemporal Multi-Camera Calibration using Freely Moving People
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Information and Human Sciences, Kyoto Institute of Technology（京都科技大学信息与人类科学）
针对多相机标定与跨视角匹配相互依赖的问题，本文利用自由移动人体的三维姿态，在单位球面上以概率软分配联合求解时空对齐与对应关系，并通过共面约束和非线性优化实现无标记多相机标定。
2025-07-26 cs.CV
ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild
Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；ByteDance Inc.（字节跳动公司）；Texas A&M University（得克萨斯农工大学）
从单目视频中估计移动摄像机的姿态是一个具有挑战性的问题，特别是由于动态环境中存在移动对象，其中现有摄像机姿态估计方法的性能容易受到几何不一致的像素的影响。为了解决这一挑战，我们提出了一个强大的密集间接结构从运动的方法，是基于密集对应初始化成对的光流的视频。我们的关键想法是将远程视频对应优化为密集点轨迹，并使用它来学习运动分割的鲁棒估计。提出了一种新的神经网络结构，用于处理不规则点轨迹数据。相机姿态，然后估计和优化与全球光束调整的一部分，被分类为静态的远程点轨迹。MPI Sintel数据集上的实验表明，与现有的最先进的方法相比，我们的系统产生了更准确的相机轨迹。此外，我们的方法能够在完全静态的场景中保持相机姿态的合理精度，这始终优于具有端到端深度学习的最先进的基于密集对应的方法，证明了基于光流和点轨迹的密集间接方法的潜力。由于点轨迹表示是一般的，我们进一步提出的结果和比较在野外单目视频与复杂的运动的动态对象。代码可在https://github.com/bytedance/particle-sfm上获得。
2022-07-19 cs.AI cs.CV
VGQ-CNN: Moving Beyond Fixed Cameras and Top-Grasps for Grasp Quality Prediction
Hamilton Institute（汉密尔顿研究所）；Maynooth University（梅努斯大学）
我们提出了通用抓取质量卷积神经网络（VGQ-CNN），一个用于6自由度抓取的抓取质量预测网络。VGQ-CNN可用于评估从各种摄像机姿势或移动机器人中看到的物体的抓握，而无需重新训练网络。通过将抓取方向明确定义为网络的输入，VGQ-CNN可以评估6-DOF抓取姿势，超越了大多数基于图像的抓取评估方法（如GQ-CNN）中使用的4-DOF抓取。为了训练VGQ-CNN，我们生成了新的Versatile Grasp数据集（VG-GNN），其中包含从各种相机姿势中观察到的6-DOF抓握。VGQ-CNN在我们的测试分割中实现了82.1%的平衡准确度，同时推广到各种相机姿势。与此同时，它在头顶摄像机和顶部抓取方面实现了具有竞争力的性能，与GQ-CNN的76.6%相比，其平衡准确率为74.2%。我们还提出了一种改进的网络架构，FAST-VGQ-CNN，它使用共享编码器架构来加速推理，并且可以在CPU上在12 ms内进行128次抓取质量预测。代码和数据可在https://aucoroboticsmu.github.io/vgq-cnn/上获得。
2022-06-23 cs.CV cs.RO
Richardson-Lucy Deblurring for Moving Light Field Cameras
Stanford University（斯坦福大学）；Queensland University of Technology（昆士兰科技大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）
我们推广Richardson-Lucy（RL）去模糊的4-D光场取代卷积步骤与运动模糊的光场渲染。该方法正确地处理了复杂三维场景中由6自由度相机运动引起的模糊，而不执行深度估计。我们引入了一个新的正则化项，保持在光场的视差信息，同时减少噪声和振铃。我们演示了有效地渲染场景和使用现成的光场相机捕获的场景上操作的方法。工业机器人手臂提供可重复和已知的轨迹，使我们能够在复杂的3D场景中建立定量性能。定性和定量结果证实了该方法的有效性，包括以前公布的方法失败的常见情况。我们包括数学证明，该算法收敛到最大似然估计的泊松噪声下的未模糊场景。我们期望扩展到盲方法是可能的2-D Richardson-Lucy盲反卷积的推广。
2017-05-19 cs.CV
A Deep Moving-camera Background Model
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
在视频分析中，背景模型有许多应用，如背景/前景分离，变化检测，异常检测，跟踪等。然而，虽然在静态摄像机捕获的视频中学习这样的模型是一个很好解决的任务，但在移动摄像机背景模型（MCBM）的情况下，由于摄像机运动引起的算法和可扩展性挑战，成功要小得多。因此，现有的MCBM在其范围和其支持的相机运动类型方面受到限制。这些障碍也阻碍了在这个无人监督的任务中使用基于深度学习（DL）的端到端解决方案。此外，现有的MCBM通常在典型的大全景图像的域上或以在线方式对背景进行建模。不幸的是，前者产生了几个问题，包括可扩展性差，而后者阻止了相机重新访问场景中以前看到的部分的情况的识别和利用。本文提出了一种名为DeepMCBM的新方法，该方法消除了所有上述问题，并获得了最先进的结果。具体地，首先，我们确定了与视频帧的联合对齐相关的困难，特别是在DL设置中。接下来，我们提出了一种新的联合对齐策略，该策略允许我们使用空间Transformer网络，既没有正则化，也没有任何形式的专门（和不可微）初始化。再加上一个以未扭曲的鲁棒中心矩（从联合对齐中获得）为条件的自动编码器，这产生了一个端到端的无正则化MCBM，它支持广泛的相机运动和优雅的缩放。我们在各种视频上演示了DeepMCBM的实用程序，包括超出其他方法范围的视频。我们的代码可在https://github.com/BGU-CS-VIL/DeepMCBM上…
2022-09-16 cs.CV
3D Human Scan With A Moving Event Camera
Keio University（庆应义塾大学）
针对传统帧相机在动态范围和运动模糊上的局限，提出仅依赖事件数据的3D人体姿态与网格恢复方法，通过移动事件相机、衰减光线和统计身体模型实现更精确扫描。
2024-04-16 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
Free-Moving Object Reconstruction and Pose Estimation with Virtual Camera
EPFL（洛桑联邦理工学院）；MagicLeap
针对单目 RGB 视频中自由移动物体的重建与位姿估计问题，提出基于隐式神经表示和虚拟相机系统的无先验全局优化方法，在 HO3D 与自采第一人称序列上表现优异。
2024-05-10 cs.AI cs.CV cs.GR
Hybrid Multi-camera Visual Servoing to Moving Target
University of Edinburgh（爱丁堡大学）；University of Alicante（阿利坎特大学）
视觉伺服是机器人学中的一个众所周知的任务。然而，当多个视觉源被组合以准确地引导机器人或出现遮挡时，仍然存在挑战。在本文中，我们提出了一种新的视觉伺服方法，使用混合多摄像机输入数据，导致机器人手臂准确地动态移动目标点的存在部分遮挡。该方法使用四个RGBD传感器作为眼到手（EtoH）视觉输入，并使用一个臂上安装的立体相机作为手眼（EinH）。主管理器任务根据机器人和目标之间的距离选择使用EtoH或EinH。Master还选择最能感知目标的EtoH摄像机子集。当使用EinH传感器时，如果目标被遮挡或离开传感器的视锥，则主机切换回EtoH传感器以重新跟踪对象。使用该自适应视觉输入数据，然后使用迭代规划器来控制机器人，该迭代规划器使用位置、取向和关节配置来估计轨迹。由于目标是动态的，因此该轨迹在每个时间步都被更新。实验表明，在四种不同的情况下，良好的性能：跟踪一个球，瞄准靶心，引导吸管到嘴和提供一个项目，以移动的手。实验涵盖了两种简单的情况，例如从所有摄像机都可以看到的球，以及更复杂的情况，例如从一些传感器部分遮挡的嘴。
2018-08-02 cs.CV cs.RO
E-NeRF: Neural Radiance Fields from a Moving Event Camera
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
从“理想”图像估计神经辐射场（NeRFs）已经在计算机视觉社区中被广泛研究。大多数方法假设最佳照明和缓慢的相机运动。这些假设在机器人应用中经常被违反，其中图像可能包含运动模糊，并且场景可能没有合适的照明。这可能会给下游任务（如导航、检查或场景可视化）带来严重问题。为了缓解这些问题，我们提出了E-NeRF，第一种方法，估计体积场景表示的形式从一个快速移动的事件相机的NeRF。我们的方法可以在非常快的运动期间和基于帧的方法失败的高动态范围条件下恢复NeRF。我们表明，渲染高质量的帧是可能的，只提供一个事件流作为输入。此外，通过组合事件和帧，我们可以在严重运动模糊的情况下估计比最先进方法更高质量的NeRF。我们还表明，结合事件和帧可以克服失败的情况下NeRF估计只有几个输入视图，而不需要额外的正则化。
2023-01-24 cs.CV cs.RO
FuseMODNet: Real-Time Camera and LiDAR based Moving Object Detection for robust low-light Autonomous Driving
Valeo R&D（法雷奥研发中心）；Cairo University（开罗大学）；Valeo Vision Systems（法雷奥视觉系统公司）
运动目标检测是自主车辆的一项关键任务。由于动态对象比静态对象具有更高的碰撞风险，因此必须规划我们自己的自我轨迹，以关注场景中移动元素的未来状态。可以使用诸如光流的时间信息来感知运动。传统的光流计算仅基于相机传感器，这使得它在低照度条件下容易失败。另一方面，LiDAR传感器独立于照明，因为它们测量自己发射的激光的飞行时间。在这项工作中，我们提出了一个强大的和实时的【形】CNN架构的运动目标检测（MOD）在低光条件下，通过捕获来自相机和激光雷达传感器的运动信息。我们展示了我们的算法对KITTI数据集的影响，我们模拟了一个低光环境，创建了一个新的数据集“Dark KITTI”。相对于我们的基线，我们在Dark-KITTI上获得了10.1%的相对改善，在标准KITTI上获得了4.25%的改善。所提出的算法在标准桌面GPU上使用$256\times1224$分辨率图像以18 fps运行。
2019-11-21 cs.CV cs.RO eess.IV
FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统）；ECE Paris（巴黎ECE工程师学院）；Valeo R&D（法雷奥研发）；Valeo DAR Kronach（法雷奥DAR克罗纳赫）
运动目标检测（MOD）是实现鲁棒自动驾驶的重要任务。自动驾驶车辆必须估计与环境中其他相互作用的物体的碰撞风险，并计算可选的轨迹。由于需要估计对象的未来状态和姿态以进行决策，因此移动对象的碰撞风险通常高于静态对象。这对于车辆周围的近距离物体尤其重要，这些物体通常由捕获场景的360°视图的鱼眼环绕视图系统检测到。在这项工作中，我们提出了一个CNN架构的移动目标检测使用鱼眼图像，在自动驾驶环境中捕获。由于鱼眼相机的运动几何是高度非线性和独特的，我们将公开当前数据集的改进版本，以鼓励进一步的研究。针对嵌入式部署，我们设计了一个轻量级的编码器，在序列图像之间共享权重。该网络在1万亿次浮点运算的汽车嵌入式系统上以15 fps的速度运行，精度为40% IoU和69.5% mIoU。
2019-08-30 cs.CV eess.IV
Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
从时间序列图像对中估计动态场景中的三维运动是场景理解的核心任务。在现实世界的应用中，动态场景通常由移动的相机（即，摇摄、倾斜或手持），这增加了任务的复杂性，因为从不同的视点观察场景。主要的挑战是从场景运动中消除相机运动的歧义，随着所观察到的刚性量的减少，这变得更加困难，即使成功地估计了2D图像的对应关系。相比其他国家的最先进的三维场景流估计方法，在本文中，我们提出了\emph{learn}刚性的场景在监督的方式从一个大的动态场景数据的集合，并直接推断出刚性掩模从两个连续的图像与深度。通过学习网络，我们展示了如何使用计算的2D光流和推断的刚性掩模有效地估计相机运动和投影场景流。为了训练和测试刚性网络，我们还提供了一个新的半合成动态场景数据集（具有真实背景的合成前景对象）和一个评估分割，该分割占观察到的非刚性像素的百分比。通过我们的评估，我们表明，该框架优于当前最先进的场景流估计方法在具有挑战性的动态场景。
2018-07-30 cs.CV
Fast-moving object counting with an event camera
AGH University of Science and Technology（AGH科技大学）
本文提出利用事件相机实时计数快速下落玉米粒，通过PID控制保持恒定流量，实验验证了该方法在工业应用中的有效性。
2022-12-16 cs.CV cs.SY eess.IV
Saliency detection with moving camera via background model completion
City University of Hong Kong（香港城市大学）
在许多计算机视觉系统中，显著性检测是一个基本步骤。显著性是视频中的重要目标。感兴趣的对象被进一步分析以用于高级应用。如果显著性和背景表现出不同的视觉线索，则可以进行显著性和背景的分离。因此，显著性检测通常被公式化为背景减除。然而，显著性检测是具有挑战性的。例如，动态背景可能导致假阳性错误。在另一种情况下，伪装将导致假阴性错误。随着摄像机的移动，捕捉到的场景处理起来更加复杂。我们提出了一个新的框架，称为显着性检测通过背景模型完成（SD-BMC），它包括一个背景建模器和深度学习背景/前景分割网络。背景建模器从短图像序列生成初始干净背景图像。基于视频补全的思想，在变化的背景和运动的目标共存的情况下，可以合成一个好的背景帧。我们采用了背景/前景分割器，虽然使用特定的视频数据集进行了预训练，但也可以检测未看到的视频中的显著性。当背景/前景分割器输出在长视频的处理期间恶化时，背景建模器可以动态地调整背景图像。据我们所知，我们的框架是第一个采用视频完成的背景建模和显著性检测的视频捕获移动摄像机。从PTZ视频中获得的结果表明，我们提出的框架比一些基于深度学习的背景减除模型的性能高出11%或更多。对于更具挑战性的视频，我们的框架也比许多高排名的背景减除方法高出3%以上。
2021-10-30 cs.CV eess.IV
The Earth ain't Flat: Monocular Reconstruction of Vehicles on Steep and Graded Roads from a Moving Camera
Robotics Research Center, KCIS, IIIT Hyderabad（印度海得拉巴国际信息技术研究所 KCIS 机器人研究中心）；Montreal Institute of Learning Algorithms (MILA), Universite de Montreal（蒙特利尔大学蒙特利尔学习算法研究所）
对其他交通参与者的准确定位是自动驾驶系统中的一项重要任务。最先进的系统采用RGB相机和LiDAR等传感模式的组合来定位交通参与者，但大多数此类演示仅限于平坦的道路。我们证明，据我们所知，单目物体定位和形状估计的表面上，不共享同一平面与移动单目相机的第一个结果。我们近似路面的局部平面补丁，并使用语义线索从车辆在场景中初始化一个本地的战斗调整一样的过程，同时估计的姿态和形状的车辆，以及当地的地面上的车辆的立场以及方向。我们在KITTI和SYNTHIA-SF基准测试中针对各种道路平面配置评估了所提出的方法。所提出的方法显着提高了国家的最先进的任意形状的道路上的单目物体定位。
2018-03-06 cs.CV cs.LG cs.RO
Moving Object Detection for Event-based vision using Graph Spectral Clustering
Jadavpur University（贾达普大学）；La Rochelle Université（拉罗谢尔大学）
运动目标检测一直是计算机视觉中讨论的中心话题，因为其广泛的应用，如自动驾驶汽车，视频监控，安全和执法。神经形态视觉传感器（NVS）是模仿人眼工作的生物启发传感器。与传统的基于帧的相机不同，这些传感器捕获异步“事件”流，与前者相比具有多个优势，如高动态范围，低延迟，低功耗和减少运动模糊。然而，这些优点是以高成本为代价的，因为事件相机数据通常包含更多噪声并且具有低分辨率。此外，由于基于事件的相机只能捕获场景亮度的相对变化，因此事件数据不包含普通相机视频数据中可用的常见视觉信息（如纹理和颜色）。因此，基于事件的摄像机中的运动目标检测成为一个极具挑战性的任务。在本文中，我们提出了一个无监督的图谱聚类技术的运动目标检测在基于事件的数据（GSCEventMOD）。我们还展示了如何自动确定移动对象的最佳数量。在公开数据集上的实验比较表明，所提出的GSCEventMOD算法优于一些最先进的技术，最大保证金为30%。
2021-12-02 cs.AI cs.CV eess.IV
Learning the Depths of Moving People by Watching Frozen People
Google Research（谷歌研究院）
我们提出了一种方法来预测密集的深度的场景中，一个单目摄像机和场景中的人都自由移动。用于从单目视频恢复动态非刚性对象的深度的现有方法对对象的运动施加强假设，并且可能仅恢复稀疏深度。在本文中，我们采用数据驱动的方法，从一个新的数据源中学习人类深度先验：成千上万的人模仿人体模型的互联网视频，即，在不同的，自然的姿势冻结，而手持相机旅游现场。因为人是静止的，所以可以使用多视图立体视觉重建来生成训练数据。在推理时，我们的方法使用来自场景的静态区域的运动视差线索来指导深度预测。我们展示了我们的方法在现实世界中的复杂的人类动作序列捕获的移动手持摄像机，显示改进的最先进的单目深度预测方法，并显示各种3D效果使用我们的预测深度。
2019-04-25 cs.CV
Let's See Clearly: Contaminant Artifact Removal for Moving Cameras
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
附着在相机镜头上的灰尘、污垢和水分等污染物会极大地影响所生成图像或视频的质量和清晰度。在本文中，我们提出了一种视频恢复方法，自动删除这些污染物，并产生一个干净的视频。我们的方法首先寻求检测注意力地图，指示需要恢复的区域。为了利用相邻帧中相应的干净像素，我们提出了一个流完成模块来使背景场景的流幻觉到被污染物退化的注意区域。在注意力图和已完成的流的指导下，我们提出了一种递归技术，通过从相邻帧中提取干净的像素来恢复输入帧。最后，使用多帧处理阶段来进一步处理整个视频序列，以增强时间一致性。整个网络是在一个合成数据集上训练的，该数据集近似于污染物伪影的物理照明特性。这个新的数据集和我们的新框架导致我们的方法能够解决不同的污染物，并在定性和定量上优于竞争性恢复方法。
2021-04-18 cs.CV
Fundamental Matrices from Moving Objects Using Line Motion Barcodes
The Hebrew University of Jerusalem（希伯来大学）
计算具有非常不同的视点的相机之间的对极几何通常是非常困难的。物体的外观变化很大，很难找到相应的特征点。现有方法使用单个移动对象的轮廓的凸包上的点来搜索对应的核线。当场景包含多个移动对象时，这些方法将失败。本文通过使用“运动条形码”，线条的时间签名，将以前的工作扩展到具有多个移动对象的场景。对应的核线具有相似的运动条形码，并且通过它们的运动条形码的相似性找到对应的核线的候选对。与以前的方法一样，我们假设相机相对静止，并且已经使用背景减除提取了移动对象。
2016-07-26 cs.CV
