SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction
ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）
NeRFmm是处理联合优化任务的神经辐射场（NeRF），即，重建真实世界场景并同时注册相机参数。尽管NeRFmm产生精确的场景合成和姿态估计，但它仍然难以在具有挑战性的场景中超越完整注释的基线。在这项工作中，我们发现，存在一个系统的次最优联合优化，并进一步确定多个潜在的来源，以减少潜在的影响，我们提出了正弦神经辐射场（SiNeRF），利用正弦激活辐射映射和一种新的混合区域采样（MRS）有效地选择射线批次。定量和定性的结果表明，与NeRFmm相比，SiNeRF在图像合成质量和姿态估计精度方面取得了全面的显着改善。代码可在https://github.com/yitongx/sinerf上获得。
2022-10-10 cs.CV
Learning the Depths of Moving People by Watching Frozen People
Google Research（谷歌研究院）
我们提出了一种方法来预测密集的深度的场景中，一个单目摄像机和场景中的人都自由移动。用于从单目视频恢复动态非刚性对象的深度的现有方法对对象的运动施加强假设，并且可能仅恢复稀疏深度。在本文中，我们采用数据驱动的方法，从一个新的数据源中学习人类深度先验：成千上万的人模仿人体模型的互联网视频，即，在不同的，自然的姿势冻结，而手持相机旅游现场。因为人是静止的，所以可以使用多视图立体视觉重建来生成训练数据。在推理时，我们的方法使用来自场景的静态区域的运动视差线索来指导深度预测。我们展示了我们的方法在现实世界中的复杂的人类动作序列捕获的移动手持摄像机，显示改进的最先进的单目深度预测方法，并显示各种3D效果使用我们的预测深度。
2019-04-25 cs.CV
DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）；KAIST（韩国科学技术院）
我们提出了一种新的方法，用于在单目相机移动通过复杂和拥挤的室内环境时从单目相机估计深度，例如，百货公司或地铁站我们的方法通过对动态场景的训练，预测由静态背景和多个移动的人组成的整个场景的绝对尺度深度图。由于很难从拥挤的室内环境中收集密集的深度图，我们设计了我们的训练框架，而不需要从深度传感设备产生的深度。我们的网络利用传统3D重建方法生成的RGB图像和稀疏深度图来估计密集深度图。我们使用两个约束来处理非刚性移动的人的深度，而不明确跟踪他们的运动。我们证明，我们的方法提供了一致的改进，最近的深度估计方法的NAVERLABS数据集，其中包括复杂和拥挤的场景。
2021-08-12 cs.CV
RM-Depth: Unsupervised Learning of Recurrent Monocular Depth in Dynamic Scenes
H-1 Research（H-1研究院）
无监督的方法在单目深度估计上显示出有希望的结果。然而，训练数据必须在没有移动对象的场景中捕获。为了提高精度，最近的方法倾向于增加它们的模型参数。本文提出了一种无监督学习框架，用于联合预测单目深度和完整的3D运动，包括运动物体和摄像机的运动。(1)递归调制单元用于自适应地和迭代地融合编码器和解码器特征。这不仅改善了单图像深度推断，而且不会过度消耗模型参数。(2)代替使用单个滤波器集合用于上采样，多个滤波器集合被设计用于残差上采样。这有助于边缘保留滤波器的学习并提高性能。(3)一个基于变形的网络被用来估计运动对象的运动场，而不使用语义先验。这打破了场景刚性的要求，并允许使用一般的视频进行无监督学习。运动场进一步通过异常感知训练损失来正则化。尽管深度模型在测试时间内只使用了一张图像和2.97M参数，但它在KITTI和Cityscapes基准测试中获得了最先进的结果。
2023-03-08 cs.CV
Floorplan-Jigsaw: Jointly Estimating Scene Layout and Aligning Partial Scans
The University of Hong Kong（香港大学）
我们提出了一种新的方法来对齐部分3D重建可能没有实质性的重叠。使用平面图先验，我们的方法联合预测房间布局，并估计从一组部分3D数据的转换。与现有的方法依赖于特征描述符来建立对应关系，我们利用了3D“盒子”结构的一个典型的房间布局，满足曼哈顿世界的属性。我们首先估计一个局部布局为每个部分扫描分别，然后结合这些局部布局，形成一个全局对齐的布局与循环关闭。在不需要特征匹配的情况下，所提出的方法可以实现一些新的应用，包括大型或无特征的场景重建和稀疏输入的建模。我们验证我们的方法定量和定性的各种大小和复杂性的真实和合成场景。评价和比较表明，我们的方法优越的有效性和准确性。
2019-12-03 cs.CV
GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision
The Hong Kong University of Science and Technology（香港科技大学）；Kwai Inc.（快手公司）
我们提出了一个新的端到端的框架命名为GSNet（几何和场景感知网络），它联合估计6DoF姿态和重建详细的3D汽车形状从单一的城市街景。GSNet采用独特的四向特征提取和融合方案，并在单次向前传递中直接回归6DoF姿势和形状。大量的实验表明，我们的多样性特征提取和融合方案可以大大提高模型的性能。GSNet基于分而治之的3D形状表示策略，重建具有非常详细的3D车辆形状（1352个顶点和2700个面）。这种密集的网格表示进一步引导我们考虑几何一致性和场景上下文，并启发了一种新的多目标损失函数来正则化网络训练，这反过来又提高了6D姿态估计的准确性，并验证了联合执行这两项任务的优点。我们在最大的多任务ApolloCar3D基准上评估GSNet，并在定量和定性方面实现了最先进的性能。项目页面可在https://lkeab.github.io/gsnet/上找到。
2020-07-26 cs.CV
Mono-Stixels: Monocular depth reconstruction of dynamic street scenes
Robert Bosch GmbH（罗伯特·博世有限公司）；Goethe University（歌德大学）
在本文中，我们提出了mono-stixels，一个紧凑的环境表示专门设计的动态街景。Mono-stixels是一种新的方法来估计stixels从单目相机序列，而不是传统上使用的立体深度测量。我们的方法联合推断的深度，运动和语义信息的动态场景作为一个一维能量最小化问题的基础上光流估计，逐像素语义分割和摄像机运动。用单应性描述了stixel的光流。通过应用单格素模型，格素单应性的自由度被减少到仅多达两个自由度。此外，我们利用场景模型和语义信息来处理移动对象。在我们的实验中，我们使用公共可用的DeepFlow进行光流估计，使用FCN 8进行语义信息作为输入，并在KITTI 2015数据集上显示，单stixels提供了场景静态和移动部分的紧凑和可靠的深度重建。因此，单stixels克服了以前的结构从运动的方法的静态场景的限制。
2019-08-07 cs.CV
Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image
Dalian University of Technology（大连理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (ShenZhen)（香港中文大学（深圳））；Princeton University（普林斯顿大学）
提出了一种基于深度强化学习的渐进式视图修复方法，在体指导下完成彩色语义点云场景的修复，实现了对严重遮挡的单幅RGB-D图像的高质量场景重建。我们的方法是端到端的，由三个模块组成：三维场景体重建，二维RGB-D和分割图像修补，多视图选择完成。对于一幅RGB-D图像，该方法首先预测其语义分割图，并通过3D体积分支获得体积场景重建，作为下一个视图修复步骤的指导，该步骤试图弥补缺失的信息;第三步涉及在输入的相同视图下投影体积，将它们连接以完成当前视图RGB-D和分割图，以及将所有RGB-D和分割图集成到点云中。由于遮挡区域不可用，我们采用A3 C网络扫视周围，并逐步选择下一个最佳视图进行大孔完成，直到场景得到充分重建，同时保证有效性。所有步骤都是共同学习的，以实现稳健和一致的结果。我们对3D-FUTURE数据进行了大量的实验，进行了定性和定量评估，获得了比最先进技术更好的结果。
2022-10-12 cs.CV
MovingParts: Motion-based 3D Part Discovery in Dynamic Radiance Field
University of Science and Technology of China（中国科学技术大学）；University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
提出基于NeRF的MovingParts方法，引入对偶拉格朗日视角与欧拉视角循环一致，通过分解部件级刚体运动实现3D部件发现，支持高质量动态重建及编辑。
2023-04-07 cs.CV cs.GR
DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出DreamScape方法，利用Gaussian Splatting和LLM编码的3D Gaussian Guide实现局部到全局优化，解决多物体3D场景生成中的训练不稳定和物理碰撞问题，达到最先进的高保真可控生成效果。
2025-04-02 cs.CV
Scene-Aware 3D Multi-Human Motion Capture from a Single Camera
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Freiburg（弗莱堡大学）
在这项工作中，我们考虑的问题，估计多个人在一个场景中的三维位置，以及他们的身体形状和关节从一个单一的RGB视频记录与静态相机。与昂贵的基于标记的或多视图系统相比，我们的轻量级设置非常适合私人用户，因为它可以实现经济实惠的3D运动捕捉，易于安装，不需要专业知识。为了应对这种具有挑战性的环境，我们利用计算机视觉的最新进展，使用大规模的预训练模型进行各种模式，包括2D身体关节，关节角度，归一化视差图和人类分割掩模。因此，我们引入了第一种基于非线性优化的方法，该方法联合解决了每个人的绝对3D位置，他们的关节姿势，他们的个人形状以及场景的规模。特别是，我们估计场景深度和人的独特规模从归一化的视差预测使用的2D身体关节和关节角度。给定每帧场景深度，我们在3D空间中重建静态场景的点云。最后，给定人和场景点云的每帧3D估计，我们对视频进行时空相干优化，以确保时间，空间和物理的可扩展性。我们在已建立的多人3D人体姿势基准上评估了我们的方法，我们始终优于以前的方法，并且我们定性地证明了我们的方法对野外条件具有鲁棒性，包括具有不同大小的人的具有挑战性的场景。
2023-03-27 cs.CV
S-NeRF: Neural Radiance Fields for Street Views
Fudan University（复旦大学）；University of Oxford（牛津大学）
神经辐射场（NeRFs）旨在合成对象和场景的新视图，给定具有大重叠的以对象为中心的相机视图。然而，我们共轭，这种范式不适合许多自动驾驶汽车从大规模无界场景中收集的街景的性质。此外，机载摄像头感知场景时不会有太多重叠。因此，现有的NeRF通常会在街景合成中产生模糊、“漂浮物”和其他伪影。在本文中，我们提出了一个新的街景NeRF（S-NeRF），认为新的视图合成的大规模的背景场景和前景移动车辆联合。具体来说，我们改进了场景参数化功能和相机姿势，以便从街景中学习更好的神经表示。我们还使用噪声和稀疏的LiDAR点来增强训练，并学习基于置信度的鲁棒几何和重投影来解决深度异常值。此外，我们扩展了我们的S-NeRF重建移动车辆，这是不切实际的传统NeRF。对大规模驾驶数据集（例如，nuScenes和Waymo）证明，我们的方法通过减少街景合成中的均方误差的7%至40%和移动车辆渲染的PSNR增益的45%，击败了最先进的竞争对手。
2023-03-01 cs.CV
4D Primitive-Mâché: Glueing Primitives for Persistent 4D Scene Reconstruction
Dyson Robotics Lab, Imperial College London（戴森机器人实验室，帝国理工学院伦敦）
本文提出一种4D场景重建方法，通过分解场景为刚体3D原始并推断其运动，实现持久的4D重建，优于现有方法。
2025-12-18 cs.CV
RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes
Huawei Paris Research Center（华为巴黎研究中心）
针对大规模城市场景中静态与动态元素分解的挑战，RoDUS采用分离的NeRF模型、基于核的鲁棒初始化及4D语义信息，通过自监督实现精确分解，并在KITTI-360和Pandaset数据集上验证了有效性。
2024-07-17 cs.CV
Every Pixel Counts ++: Joint Learning of Geometry and Motion with 3D Holistic Understanding
Baidu Research Institution（百度研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Southern California（南加州大学）
最近，通过深度卷积网络观看未标记的视频来学习估计单帧中的3D几何形状和来自连续帧的光流已经取得了重大进展。目前最先进的（SoTA）方法独立地处理这两个任务。现有的深度估计方法的一个典型假设是场景不包含独立的运动对象。而使用光流可以容易地对对象移动进行建模。在本文中，我们建议解决这两个任务作为一个整体，即共同理解每像素的3D几何和运动。这消除了静态场景假设的需要，并在学习过程中加强了固有的几何一致性，从而显著改善了两项任务的结果。我们称我们的方法为“Every Pixel Counts++”或“EPC++"。具体来说，在训练过程中，给定来自视频的两个连续帧，我们采用三个并行网络分别预测相机运动（MotionNet）、密集深度图（DepthNet）和两帧之间的每像素光流（OptFlowNet）。这三种类型的信息被馈送到一个整体的三维运动解析器（HMP），和每像素的三维运动的刚性背景和运动物体被解开和恢复。在不同场景的数据集上进行了全面的实验，包括驾驶场景（KITTI 2012和KITTI 2015数据集），室外/室内混合场景（Make 3D）和合成动画（MPI Sintel数据集）。在深度估计、光流估计、距离测量、运动目标分割和场景流估计五个任务上的性能表明，该方法优于其他SoTA方法。代码将在https://github.com/chenxuluo/EPC上提供。
2019-07-11 cs.CV
ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields
EPFL（洛桑联邦理工学院）；Schindler EPFL Lab（迅达-洛桑联邦理工学院实验室）
针对现有方法重建几何与温度数据不一致的问题，提出ThermoNeRF多模态神经辐射场方法，联合渲染RGB和热红外新视角，并构建ThermoScenes配对数据集，在建筑等场景温度估计误差降低超50%。
2024-11-29 cs.CV
Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes
Cornell University（康奈尔大学）
Dynamo-Depth通过联合学习单目深度、三维独立流场和运动分割，利用运动分割初始估计消除动态场景中的深度歧义，在Waymo Open和nuScenes上显著提升运动物体深度估计性能。
2023-10-29 cs.CV
Efficient moving point handling for incremental 3D manifold reconstruction
Politecnico di Milano（米兰理工大学）
随着增量运动恢复结构算法变得有效，表示场景地图的良好稀疏点云逐帧变得可用。从这些点的3D德洛内三角剖分，最先进的算法构建场景的流形粗糙模型。这些算法仅在新点的位置估计不变的情况下才将新点逐步集成到3D重建中。事实上，每当一个点在3D德洛内三角剖分中移动时，例如因为它的估计得到了细化，一组四面体必须被移除并替换为新的四面体以保持德洛内属性;流形重建的管理变得如此复杂，并且它需要潜在的大开销。在本文中，我们研究了不同的方法，并提出了一种有效的策略来处理流形估计过程中的移动点。我们用KITTI数据集的四个序列测试了我们的方法，并与最先进的方法相比，证明了我们的建议的有效性。
2015-07-20 cs.CV
Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting
NVIDIA（英伟达）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们介绍了一种新的方法，以获得高品质的3D重建从消费者RGB-D传感器。我们的核心思想是同时优化在有符号距离场（SDF）中编码的几何体、自动选择的关键帧的纹理及其相机姿势以及材质和场景照明。为此，我们提出了一种联合表面重建方法，该方法是基于形状从阴影（SFS）技术，并利用空间变化的球谐函数（SVSH）的重建场景的子体积的估计。通过大量的例子和评估，我们证明了我们的方法大大提高了重建场景几何的细节水平，并有助于一致的表面纹理恢复。
2017-08-04 cs.CV
ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency Modulated Foundation Model in Urban Scenes
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；National Taiwan University（国立台湾大学）
针对大规模城市场景中快速移动对象建模及相机自我运动处理难题，提出ProSGNeRF，通过渐进式场景图网络架构学习局部场景表示，利用基础模型网络编码潜码并引入频率调制模块，提升视图合成等能力。
2026-07-13 cs.CV
Improving Novel view synthesis of 360$^\circ$ Scenes in Extremely Sparse Views by Jointly Training Hemisphere Sampled Synthetic Images
Ghent University（根特大学）；University of Dundee（邓迪大学）
针对极稀疏视角下360°场景新视角合成难题，提出联合训练半球采样合成图像与3D高斯泼溅的框架，显著提升合成质量。
2025-05-25 cs.CV
InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data
National University of Defense Technology（国防科学技术大学）
识别移动物体是自主导航、一致地图生成和物体未来轨迹预测的关键能力。在本文中，我们提出了一种新的网络，解决了在3D激光雷达扫描中分割移动物体的挑战。我们的方法不仅预测逐点移动标签，但也检测实例信息的主要交通参与者。这样的设计有助于确定当前场景中哪些实例实际上在移动，哪些实例暂时静止。我们的方法利用一系列的点云作为输入，并将它们量化为4D体素。我们使用4D稀疏卷积从4D体素中提取运动特征，并将其注入到当前扫描中。然后，我们提取时空特征从当前扫描的实例检测和特征融合。最后，我们设计了一个上采样融合模块，通过融合时空特征和预测实例信息来输出逐点标签。我们在基于SemanticKITTI的LiDAR-MOS基准测试中评估了我们的方法，与最先进的方法相比，我们的方法实现了更好的运动对象分割性能，证明了我们的方法在集成实例信息进行运动对象分割方面的有效性。此外，我们的方法在Apollo数据集上显示出优越的性能，并在SemanticKITTI上使用了预训练模型，这表明我们的方法在不同场景中具有良好的泛化能力。我们方法的代码和预训练模型将在https://github.com/nubot-nudt/InsMOS上发布。
2023-03-07 cs.CV
Grassmannian Splatting I: Moving rank-2 Spacetime Surfels for Dynamic Scene Rendering
该研究提出格拉斯曼体点云绘制用于动态场景渲染，其基元为特定高斯分布，运动模型封闭，无需学习变形场和自定义CUDA。在17个HyperNeRF场景训练速度最快，PSNR、MS-SSIM和LPIPS排名第二。
2026-07-14 cs.CV
Student Becoming the Master: Knowledge Amalgamation for Joint Scene Parsing, Depth Estimation, and More
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba Group（阿里巴巴集团）；Yunnan University（云南大学）
在本文中，我们研究了一种新的深度模型重用任务。我们的目标是训练一个轻量级和多功能的学生模型，没有人类标记的注释，合并的知识和掌握的专业知识的两个预先训练的教师模型工作在异构的问题，一个场景解析和其他深度估计。为此，我们提出了一个创新的培训策略，学习的参数与教师交织在一起的学生，实现了“投影”其合并功能到每个教师的域和计算损失。我们还介绍了两个选项来概括所提出的培训策略，同时处理三个或更多的任务。建议的计划产生了非常令人鼓舞的结果。正如几个基准测试所证明的那样，经过训练的学生模型在自己的专业领域取得的结果甚至优于教师，并且与依赖于人类标记注释的最先进的完全监督模型相当。
2019-04-23 cs.CV
WorldExplorer: Towards Generating Fully Navigable 3D Scenes
Technical University of Munich（慕尼黑技术大学）
提出WorldExplorer，基于自回归视频轨迹生成和3D Gaussian Splatting优化，构建完全可导航且视觉一致的3D场景，首次实现真实且无限制的探索。
2025-09-16 cs.CV
Joint Layout Estimation and Global Multi-View Registration for Indoor Reconstruction
Computer Vision Laboratory, GIST（光州科学技术院计算机视觉实验室）；LG Electronics（LG电子）；Korea Electronics Technology Institute（韩国电子技术研究院）
在本文中，我们提出了一种新的方法来联合解决场景布局估计和全局配准问题，以准确的室内三维重建。给定一系列范围数据，我们首先使用KinectFusion构建一组场景片段，并通过姿势图优化将它们注册。之后，我们交替之间的布局估计和布局为基础的全球注册过程中的迭代方式，以相互补充。我们提取场景布局通过层次凝聚聚类和基于能量的多模型拟合考虑噪声测量。在一方面估计场景布局，我们注册所有的范围数据通过全局迭代最近点算法，其中属于布局的3D点的位置，如墙壁和天花板被约束为接近布局。我们实验验证了所提出的方法与公开的合成和真实世界的数据集在定量和定性的方式。
2017-09-06 cs.CV
Joint Blind Motion Deblurring and Depth Estimation of Light Field
Seoul National University（首尔大学）；Inha University（仁荷大学）
从单个光场中去除摄像机运动模糊是一个具有挑战性的任务，因为它是高度不适定的逆问题。当模糊核由于场景深度变化和高阶相机运动而在空间上变化时，问题变得更糟。在本文中，我们提出了一种新的算法来估计所有的模糊模型变量联合，包括潜在的子孔径图像，相机运动，和场景深度从模糊的4D光场。利用光场的多视图性质通过利用强深度线索和多视图模糊观察来减轻优化的逆性质。在任意6自由度摄像机运动和场景深度不受约束的情况下，该联合估计方法同时实现了高质量的光场去模糊和深度估计。对真实和合成的模糊光场进行了大量的实验，实验结果表明，该算法优于现有的光场去模糊和深度估计方法。
2018-06-14 cs.CV
SIn-NeRF2NeRF: Editing 3D Scenes with Instructions through Segmentation and Inpainting
KAIST（韩国科学技术院）
本文提出SIn-NeRF2NeRF方法，通过将3D对象与背景场景分离，分别进行对象分割和背景修复，实现对3D场景中对象几何变化的选择性编辑。
2024-08-23 cs.AI cs.CV
HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出HUGS，利用三维高斯泼溅联合优化几何、外观、语义和运动，实现城市场景的整体理解，支持实时新视角渲染和高精度语义分割，并在多个基准上验证有效性。
2024-03-19 cs.CV
Incremental Joint Learning of Depth, Pose and Implicit Scene Representation on Monocular Camera in Large-scale Scenes
Institute of Medical Robotics and Department of Automation, Shanghai Jiao Tong University（上海交通大学医学机器人研究所和自动化系）；Key Laboratory of System Control and Information Processing, Ministry of Education, Shanghai（系统控制与信息处理重点实验室，教育部，上海）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
本文提出了一种增量联合学习框架，通过视觉Transformer提升大规模场景的深度、姿态估计和隐式场景表示能力。
2025-07-16 cs.CV cs.RO
E-NeRF: Neural Radiance Fields from a Moving Event Camera
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
从“理想”图像估计神经辐射场（NeRFs）已经在计算机视觉社区中被广泛研究。大多数方法假设最佳照明和缓慢的相机运动。这些假设在机器人应用中经常被违反，其中图像可能包含运动模糊，并且场景可能没有合适的照明。这可能会给下游任务（如导航、检查或场景可视化）带来严重问题。为了缓解这些问题，我们提出了E-NeRF，第一种方法，估计体积场景表示的形式从一个快速移动的事件相机的NeRF。我们的方法可以在非常快的运动期间和基于帧的方法失败的高动态范围条件下恢复NeRF。我们表明，渲染高质量的帧是可能的，只提供一个事件流作为输入。此外，通过组合事件和帧，我们可以在严重运动模糊的情况下估计比最先进方法更高质量的NeRF。我们还表明，结合事件和帧可以克服失败的情况下NeRF估计只有几个输入视图，而不需要额外的正则化。
2023-01-24 cs.CV cs.RO
Joint 2D-3D-Semantic Data for Indoor Scene Understanding
Stanford University（斯坦福大学）；University of California Berkeley（加州大学伯克利分校）
我们提出了一个大规模室内空间的数据集，提供了各种相互注册的方式从2D，2.5D和3D域，实例级的语义和几何注释。该数据集覆盖面积超过6,000平方米，包含超过70,000张RGB图像，以及相应的深度，表面法线，语义注释，全局XYZ图像（全部以常规和360°等矩形图像的形式）以及相机信息。它还包括注册的原始和语义注释的3D网格和点云。该数据集可以开发联合和跨模态学习模型，以及利用大规模室内空间中存在的噪声的潜在无监督方法。该数据集可在此处获得：http://3Dsemantics.stanford.edu/
2017-04-06 cs.CV cs.RO
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Positional Information is All You Need: A Novel Pipeline for Self-Supervised SVDE from Videos
Korea Advanced Institute of Science and Technology（韩国科学技术院）
最近，人们越来越关注以完全自我监督的方式从单目视频中学习场景的底层3D结构。这项任务最具挑战性的方面之一是处理独立移动的对象，因为它们打破了刚性场景假设。这是第一次，我们表明，像素位置信息可以利用学习SVDE（单视图深度估计）从视频。我们提出的移动对象（MO）掩模，这是由移位位置信息（SPI）引起的，被称为“SPIMO”掩模，是非常强大的，并始终删除场景中的独立移动对象，允许更好地学习SVDE从视频。此外，我们引入了一个新的自适应量化方案，为我们的深度离散化分配最佳的每像素量化曲线。最后，我们以一种新的方式使用现有的增强技术来进一步自我监督移动对象的深度。有了这些功能，我们的流水线对移动对象具有鲁棒性，并且可以很好地推广到高分辨率图像，即使在使用小补丁进行训练时，也可以产生最先进的（SOTA）结果，其参数几乎比以前从视频中学习的作品少8.5倍。我们提出了广泛的实验KITTI和CityScapes，我们的方法的有效性。
2022-05-18 cs.CV eess.IV
DePT3R: Joint Dense Point Tracking and 3D Reconstruction of Dynamic Scenes in a Single Forward Pass
University of California, Los Angeles（加州大学洛杉矶分校）
DePT3R通过提取深度时空特征和密集预测头，实现动态场景的密集点跟踪与3D重建，无需相机姿态，提升适应性和效率。
2026-04-02 cs.AI cs.CV
Multi-Model 3D Registration: Finding Multiple Moving Objects in Cluttered Point Clouds
Massachusetts Institute of Technology（麻省理工学院）；University of Wisconsin at Madison（威斯康星大学麦迪逊分校）
本文研究了多模型3D配准问题，旨在同时重建杂乱点云中多个运动物体的位姿变化，提出了一种基于期望最大化（EM）的方法，并在理论和实验上验证了其在动态场景中联合估计传感器自身运动与多物体运动的有效性。
2024-02-16 cs.CV cs.RO
Scalable Scene Flow from Point Clouds in the Real World
Google Brain（谷歌大脑）；Waymo
自动驾驶车辆在高度动态的环境中运行，需要准确评估场景的哪些方面正在移动以及它们正在移动到哪里。一种流行的3D运动估计方法（称为场景流）是采用来自连续LiDAR扫描的3D点云数据，尽管这种方法受到现实世界的小尺寸注释LiDAR数据的限制。在这项工作中，我们引入了一个新的大规模数据集的场景流估计来自相应的跟踪的3D对象，这是$\sim$ 1,000 $\times$大于以前的真实世界的数据集的注释帧的数量。我们展示了以前的工作是如何基于可用的真实LiDAR数据量进行限制的，这表明需要更大的数据集才能实现最先进的预测性能。此外，我们还展示了以前在点云上操作的算法，如下采样，如何严重降低性能，从而激发了一类新的模型，这些模型在全点云上易于处理。为了解决这个问题，我们引入了FastFlow 3D架构，它提供了实时的推理的全点云。此外，我们设计了人类可解释的指标，通过考虑自我运动和提供每个对象类型的故障，更好地捕捉现实世界的各个方面。我们希望这个数据集可以为开发真实世界场景流系统提供新的机会。
2021-10-25 cs.CV cs.LG
VideoRFSplat: Direct Scene-Level Text-to-3D Gaussian Splatting Generation with Flexible Pose and Multi-View Joint Modeling
KAIST（韩国科学技术院）；Yonsei University（延世大学）；EverEx
本研究提出VideoRFSplat文本到3D模型，采用双流架构和异步采样策略联合建模多视图图像与相机位姿，无需事后优化即可在多个真实数据集上取得优于现有方法的生成效果。
2025-03-20 cs.AI cs.CV
RU4D-SLAM: Reweighting Uncertainty in Gaussian Splatting SLAM for 4D Scene Reconstruction
Capital Normal University（首都师范大学）；Saarland University（萨尔兰大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；King’s College London（伦敦国王学院）
提出RU4D-SLAM框架，通过引入时间因子、不确定性感知和语义引导重加权机制，解决动态环境中3D高斯溅射SLAM的跟踪与4D场景重建问题。
2026-06-01 cs.CV cs.RO
FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario
CFCS, School of Computer Science, Peking University（计算机科学系，北京大学CFCS）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；PrimeBot
FreeArtGS通过自由移动部分分割、关节估计和端到端优化，实现高可扩展性的自由移动关节物体重建，实验表明其在真实资产生成中具有实用性。
2026-03-23 cs.CV cs.GR cs.RO
Joint Stereo Video Deblurring, Scene Flow Estimation and Moving Object Segmentation
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
动态场景的立体视频通常由于相机运动和具有大深度变化的多个移动对象而显示出令人不快的模糊效果。给定连续的模糊立体视频帧，我们的目标是恢复潜在的干净图像，估计三维场景流和分割的多个运动物体。这三个任务以前被单独处理，未能利用这些任务之间的内在联系，不能实现最优。在本文中，我们建议通过利用它们的内在联系，在一个统一的框架中共同解决这三个任务。为此，我们表示的动态场景与分段平面模型，它利用局部结构的场景，并表示各种动态场景。在我们的模型下，这三个任务自然地连接在一起，并表示为三维场景结构和相机运动（动态场景的结构和运动）的参数估计。通过利用模糊模型约束，运动物体和三维场景结构，我们得到了一个能量最小化公式联合去模糊，场景流和分割。我们在合成数据集和公开可用的真实数据集上广泛评估了我们的方法，这些数据集包括快速移动的物体，相机运动，不受控制的照明条件和阴影。实验结果表明，我们的方法可以实现立体视频去模糊，场景流估计和运动对象分割，比国家的最先进的方法显着改善。
2019-10-06 cs.CV
Optical Flow Based Real-time Moving Object Detection in Unconstrained Scenes
Institute of Automation Chinese Academy of Sciences Beijing, China
由于背景动态变化、前景外观变化和计算资源有限等原因，无约束场景中的实时运动目标检测是一项困难的任务。本文提出了一种基于光流的运动目标检测框架来解决这个问题。我们利用单应矩阵在线构造光流形式的背景模型。在从场景中判断出运动前景时，设计了双模式判断机制，提高了系统对复杂场景的适应能力。在实验部分，重新定义了两个评价指标，以更好地反映方法的性能。我们定量和定性地验证了我们的方法的有效性和可行性，在各种场景条件下的视频。实验结果表明，该方法适应不同的情况，并优于国家的最先进的方法，表明基于光流的方法的优势。
2018-07-13 cs.CV
Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
从时间序列图像对中估计动态场景中的三维运动是场景理解的核心任务。在现实世界的应用中，动态场景通常由移动的相机（即，摇摄、倾斜或手持），这增加了任务的复杂性，因为从不同的视点观察场景。主要的挑战是从场景运动中消除相机运动的歧义，随着所观察到的刚性量的减少，这变得更加困难，即使成功地估计了2D图像的对应关系。相比其他国家的最先进的三维场景流估计方法，在本文中，我们提出了\emph{learn}刚性的场景在监督的方式从一个大的动态场景数据的集合，并直接推断出刚性掩模从两个连续的图像与深度。通过学习网络，我们展示了如何使用计算的2D光流和推断的刚性掩模有效地估计相机运动和投影场景流。为了训练和测试刚性网络，我们还提供了一个新的半合成动态场景数据集（具有真实背景的合成前景对象）和一个评估分割，该分割占观察到的非刚性像素的百分比。通过我们的评估，我们表明，该框架优于当前最先进的场景流估计方法在具有挑战性的动态场景。
2018-07-30 cs.CV
Scene Invariant Crowd Segmentation and Counting Using Scale-Normalized Histogram of Moving Gradients (HoMG)
Aimetis Corp.（艾梅蒂斯公司）；University of Waterloo（滑铁卢大学）
自动人群分割和计数的问题在视频监控领域引起了极大的兴趣。本文提出了一种新的场景不变的人群分割和计数算法，设计精度高，但低计算复杂性的想法，这是广泛的工业采用的关键。一种新的低复杂度，规模归一化的功能称为直方图的移动干扰（HoMG）被引入到一个视频中的个人和人群的高效时空表示。该方法通过基于滑动窗口HoMG特征的弱分类器级联实现实时人群分割，同时采用人群区域HoMG特征的线性SVM回归实现实时人群计数。使用多摄像机人群数据集的实验结果表明，该算法显着优于国家的最先进的人群计数算法，以及实现非常有前途的人群分割结果，从而证明了该方法的高精度，实时视频驱动的人群分析的有效性。
2016-02-01 cs.CV
General Dynamic Scene Reconstruction from Multiple View Video
University of Surrey（萨里大学）
本文介绍了一种通用的方法，从多个运动的摄像机动态场景重建没有先验知识或限制约束的场景结构，外观，或照明。用于从多个宽基线相机视图进行动态场景重建的现有技术主要集中在受控环境中的精确重建，其中相机是固定的和校准的，并且背景是已知的。这些方法对于用稀疏移动相机捕获的一般动态场景是不鲁棒的。以前的室外动态场景重建方法假设静态背景外观和结构的先验知识。本文的主要贡献有两个方面：一个自动的方法，初始粗糙的动态场景分割和重建背景外观或结构的先验知识;和一个通用的强大的方法，从多个宽基线静态或移动相机的联合分割细化和密集的动态场景重建。评估是在各种室内和室外场景与杂乱的背景和多个动态的非刚性对象，如人。与国家的最先进的方法相比，表明在多视图分割和密集重建的准确性提高。该方法还消除了对场景结构和外观的先验知识的要求。
2015-09-30 cs.CV
Moving Object Detection from Moving Camera Using Focus of Expansion Likelihood and Segmentation
Department of Precision Engineering, Graduate School of Engineering, The University of Tokyo（精密工程学系，工学研究生院，东京大学）；Department of Human and Engineered Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo（人类与工程环境研究系，前沿科学研究生院，东京大学）
针对运动相机依赖光流检测运动目标在复杂场景效果不佳的问题，提出融合光流与纹理信息的FoELS方法，在相关数据集和真实视频上实现了SOTA性能。
2026-09-30 cs.CV
Physics-based Human Pose Estimation from a Single Moving RGB Camera
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；University of Tübingen（图宾根大学）；University of Amsterdam（阿姆斯特丹大学）
针对移动单目RGB相机与非平坦场景下的姿态跟踪难题，本文构建含真值相机轨迹、场景几何及接触标签的MoviCam数据集，并提出融合物理约束的PhysDynPose方法。
2025-07-23 cs.CV
Survey on video anomaly detection in dynamic scenes with moving cameras
Shandong University（山东大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文针对移动相机动态场景的视频异常检测，首次系统梳理MC-VAD任务、25个数据集、异常类型、五类方法及未来方向。
2023-08-14 cs.CV
Joint Optimization for 4D Human-Scene Reconstruction in the Wild
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提出JOSH方法，通过联合优化场景、相机姿态和人体运动，从单目视频中实现野外4D人体-场景重建，优于现有方法。
2026-07-01 cs.CV
Moving SLAM: Fully Unsupervised Deep Learning in Non-Rigid Scenes
HKUST（香港科技大学）；University of Oxford（牛津大学）
我们提出了一种训练深度网络的方法，将视频分解为3D几何形状（相机和深度），移动对象及其运动，无需监督。我们建立在视图合成的想法，它使用经典的相机几何重新渲染源图像从不同的视点，由预测的相对姿势和深度图指定。通过最小化合成图像与视频中对应的真实图像之间的误差，可以完全无监督地训练预测姿势和深度的深度网络。然而，视图合成方程依赖于一个强有力的假设：对象不移动。这种刚性世界假设限制了预测能力，并排除了自动学习对象的可能性。我们提出了一个简单的解决方案：最小化图像小区域的误差。虽然场景作为一个整体可能是非刚性的，但总是可以找到近似刚性的小区域，例如移动对象内部。然后，我们的网络可以在一个滑动窗口中从学习的密集姿势图中预测每个区域的不同姿势。这代表了一个非常丰富的模型，包括6D对象运动，几乎没有额外的复杂性。我们在KITTI上实现了非常有竞争力的无监督测距和深度预测性能。我们还展示了EPIC-Kitchener的新功能，这是一个具有挑战性的室内视频数据集，其中没有深度，里程计，对象分割或运动的地面真实信息。然而，所有这些都是通过我们的方法自动恢复的。
2021-06-01 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University（布朗大学）；NVIDIA（英伟达）；UC Irvine（加州大学欧文分校）
给定来自一对立体相机的两个连续帧，3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化，但可能会预测刚性移动对象内部不一致的形状和运动。相反，我们假设场景由在静态背景前面刚性移动的前景对象组成，并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法，并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
Learning Temporal Distribution and Spatial Correlation Towards Universal Moving Object Segmentation
University of Alberta（阿尔伯塔大学）
针对现有运动目标分割方法仅适用于特定场景的问题，提出融合时间分布学习与空间相关性优化的LTS方法，经多数据集和真实视频验证，性能优于现有最优方法，有望成为通用解决方案。
2024-03-08 cs.CV
Scene Text Retrieval via Joint Text Detection and Similarity Learning
Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud & AI（华为云与人工智能）
场景文本检索的目标是从图像库中定位和搜索与给定查询文本相同或相似的所有文本实例。这样的任务通常通过将查询文本与由端到端场景文本定位器输出的识别的单词进行匹配来实现。在本文中，我们通过直接学习查询文本和自然图像中的每个文本实例之间的跨模态相似度来解决这个问题。具体来说，我们建立了一个端到端的可训练网络，共同优化场景文本检测和跨模态相似性学习的过程。以这种方式，场景文本检索可以简单地通过将检测到的文本实例与学习到的相似性进行排名来执行。在三个基准数据集上的实验表明，我们的方法始终优于最先进的场景文本定位/检索方法。特别是，所提出的联合检测和相似性学习的框架实现了显着更好的性能比单独的方法。代码可从以下网址获得：https://github.com/lanfeng4659/STR-TDSL。
2021-04-04 cs.CV
Fundamental Matrices from Moving Objects Using Line Motion Barcodes
The Hebrew University of Jerusalem（希伯来大学）
计算具有非常不同的视点的相机之间的对极几何通常是非常困难的。物体的外观变化很大，很难找到相应的特征点。现有方法使用单个移动对象的轮廓的凸包上的点来搜索对应的核线。当场景包含多个移动对象时，这些方法将失败。本文通过使用“运动条形码”，线条的时间签名，将以前的工作扩展到具有多个移动对象的场景。对应的核线具有相似的运动条形码，并且通过它们的运动条形码的相似性找到对应的核线的候选对。与以前的方法一样，我们假设相机相对静止，并且已经使用背景减除提取了移动对象。
2016-07-26 cs.CV
