Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images
MIT Interdisciplinary Center, Herzliya（赫兹利亚跨学科中心（MIT））；Stanford University（斯坦福大学）
从单目图像数据集学习3D生成模型可以实现自监督3D推理和可控合成。最先进的3D生成模型是使用神经3D体积表示进行合成的GANs。通过从给定相机渲染体积来合成图像。这些模型可以在任何生成的图像中将3D场景与相机视点分离。然而，大多数模型并没有解开图像形成的其他因素，如几何形状和外观。在本文中，我们设计了一个三维GAN，它可以学习一个解纠缠模型的对象，只是从单目观察。我们的模型可以理清场景中的几何形状和外观变化，即，我们可以独立地从生成模型的几何和外观空间中采样。这是实现使用一种新的非刚性可变形场景配方。表示对象实例的3D体积被计算为非刚性变形的规范3D体积。我们的方法在训练过程中共同学习规范体积及其变形。该公式还帮助我们使用在3D变形场上定义的新颖姿态正则化损失来改善3D场景和相机视点之间的解纠缠。此外，我们还对逆变形进行了建模，从而能够计算由我们的模型生成的图像之间的密集对应关系。最后，我们设计了一种方法，将真实图像嵌入到我们的解纠缠生成模型的潜在空间中，从而实现对真实图像的编辑。
2022-03-29 cs.CV cs.GR
Decoupling Dynamic Monocular Videos for Dynamic View Synthesis
City University of Hong Kong（香港城市大学）
本文提出一种无监督方法，将动态单目视频中物体运动解耦为物体运动与相机运动，利用表面一致性和多视图约束，提升动态视图合成质量及场景流与深度估计精度。
2024-08-21 cs.CV
Aperture Supervision for Monocular Depth Estimation
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了一种新的方法来训练机器学习算法估计场景深度从一个单一的图像，通过使用由相机的光圈作为监督提供的信息。以前的作品使用深度传感器的输出或来自不同视点的相同场景的图像作为监督，而我们的方法则使用来自不同相机光圈拍摄的相同视点的图像。为了使学习算法能够使用光圈效应作为监督，我们引入了两个可微分光圈渲染函数，其使用输入图像和预测深度来模拟由真实相机光圈引起的景深效应。我们训练单目深度估计网络端到端预测场景深度，最好地解释这些有限孔径图像作为输入全聚焦图像的散焦模糊渲染。
2018-03-29 cs.CV
Broadening View Synthesis of Dynamic Scenes from Constrained Monocular Videos
Northeastern University（东北大学）
ExpanDyNeRF通过高斯溅射先验和伪地面真实生成策略，实现从受限单目视频中高质量动态场景视图合成，并在SynDM数据集上验证其在极端视角偏移下的优越性能。
2025-12-16 cs.CV
3DPCNet: Pose Canonicalization for Robust Viewpoint-Invariant 3D Kinematic Analysis from Monocular RGB cameras
Center for Machine Vision and Signal Analysis (CMVS), University of Oulu, Finland（机器视觉与信号分析中心（CMVS）、奥卢大学，芬兰）；Candour Ltd, Oulu, Finland（Candour公司，奥卢，芬兰）
针对单目3D姿态受相机视点影响的问题，提出与估计器无关的3DPCNet姿态规范化模块，通过混合编码器和自监督6D旋转预测显著降低旋转与关节位置误差。
2025-09-27 cs.CV cs.LG
WildLIFT: Lifting monocular drone video to 3D for species-agnostic wildlife monitoring
Fondazione Bruno Kessler（布雷诺·科塞勒基金会）；University of Muenster（明斯特大学）；Max Planck Institute of Animal Behaviour（动物行为马克斯·普朗克研究所）；University of Konstanz（康斯坦茨大学）
WildLIFT通过整合单目无人机视频的3D场景几何与开放词汇2D实例分割，实现物种无关的3D检测与跟踪，提升野生动物监测的分析能力。
2026-04-27 cs.CV
AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World
Sun Yat-sen University, Shenzhen Campus（中山大学深圳校区）；FNii–Shenzhen（FNii-深圳）；SSE, CUHKSZ（SSE，CUHKSZ）；SIAS, USTC（SIAS，中国科学技术大学）
针对无人机航拍图像中的单目度量深度估计问题，构建了包含5.2万真实和1.6万合成图像-深度对的基准数据集，系统评估现有模型并微调代表性方法，实现航拍场景下的最优性能。
2026-07-30 cs.CV
PASTEL: Panoramic Alignment for Monocular 4D Scene Reconstruction
School of Data Science, Fudan University（复旦大学数据科学学院）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）
PASTEL通过全景对齐将单目视频的4D重建扩展至不可见区域，利用2D方向轨迹规划优化探索，显著提升重建性能并超越现有方法。
2026-09-09 cs.CV
MonoPerfCap: Human Performance Capture from Monocular Video
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；EPFL（洛桑联邦理工学院）
我们提出了第一个无标记的方法，用于从单目视频中捕获具有一般服装的人的时间相干3D性能。我们的方法重建关节的人体骨骼运动，以及在一般场景中的中等规模的非刚性表面变形。人类表演捕捉是一个具有挑战性的问题，由于大范围的关节，潜在的快速运动，和相当大的非刚性变形，甚至从多视图数据。单目视频重建是非常具有挑战性的，因为强大的遮挡和固有的深度模糊性导致高度不适定的重建问题。我们通过一种新的方法来解决这些挑战，该方法使用基于批处理的姿势估计策略从卷积神经网络中进行稀疏的2D和3D人体姿势检测。每批运动的联合恢复允许基于低维轨迹子空间解决单目重建问题的模糊性。此外，我们建议完善的表面几何形状的基础上，完全自动提取的轮廓，使中等规模的非刚性对齐。我们展示了最先进的性能捕获结果，使令人兴奋的应用程序，如视频编辑和自由视点视频，以前不可行的单目视频。我们的定性和定量评估表明，我们的方法显着优于以前的单目方法的准确性，鲁棒性和场景的复杂性，可以处理。
2018-02-23 cs.CV cs.GR
EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh
Pico, Bytedance（字节跳动）
本文提出EX-4D框架，利用深度水密网格表示结合模拟掩码训练策略和LoRA视频扩散适配器，解决了极端视角下从单目输入生成高质量相机可控4D视频的几何一致性与遮挡问题。
2025-06-05 cs.CV
ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs
Huawei Noah’s Ark Lab（华为诺亚实验室）；Queen Mary University of London（伦敦大学女王学院）
ViDAR利用个性化扩散模型生成伪多视角监督，训练高斯溅射表示，实现单目视频的4D重建，在DyCheck基准上超越现有方法。
2025-06-23 cs.CV
Rope3D: TheRoadside Perception Dataset for Autonomous Driving and Monocular 3D Object Detection Task
Baidu Inc.（百度公司）；China University of Mining and Technology（中国矿业大学）
用于自动驾驶的并发感知数据集主要限于安装在车辆上的传感器的正面视图。它们都不是为被忽视的路边感知任务而设计的。另一方面，从路边摄像头捕获的数据比前视图数据更有优势，这被认为有助于实现更安全，更智能的自动驾驶系统。为了加速路边感知的进展，我们从一个新的角度提出了第一个高多样性的具有挑战性的路边感知3D数据集-Rope3D。该数据集由各种场景中的5万张图像和超过150万个3D对象组成，这些图像和对象是在不同的设置下捕获的，包括具有模糊安装位置、相机规格、视点和不同环境条件的各种相机。我们进行严格的2D-3D联合标注和全面的数据分析，并通过度量和评估devkit建立了新的3D路边感知基准。此外，我们调整现有的前视单目三维目标检测方法，并提出利用几何约束，以解决各种传感器，视点所造成的固有的模糊性。我们的数据集可以在www.example.com上找到。
2022-03-25 cs.CV
MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Microsoft Spatial AI Lab（微软空间人工智能实验室）
本文提出MP-SfM，通过将深度神经网络推断的单目深度和法线先验融入经典SfM范式，结合单目与多视图约束，显著提升了在极端视角变化等挑战场景下的鲁棒性和重建性能。
2025-04-28 cs.CV cs.RO
Monocular Total Capture: Posing Face, Body, and Hands in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们提出了第一种方法来捕捉的3D总运动的目标人物从单目视图输入。给定一个图像或单目视频，我们的方法重建的运动从身体，面部和手指表示的3D可变形网格模型。我们使用一个有效的表示称为3D部分方向字段（POFs），编码的3D方向的所有身体部位在共同的2D图像空间。POF由全卷积网络（FCN）预测，以及联合置信度图。为了训练我们的网络，我们收集了一个新的三维人体运动数据集，捕捉不同的全身运动的40个主题的多视图系统。我们利用三维可变形人体模型，通过利用模型中的姿势和形状先验，从CNN输出中重建全身姿势。我们还提出了一种基于纹理的跟踪方法，以获得时间相干的运动捕捉输出。我们进行了全面的定量评估，包括与现有的身体特定的和手特定的方法进行比较，并对摄像机视点和人体姿势变化的性能分析。最后，我们展示了我们的全身运动捕捉各种具有挑战性的野外视频的结果。我们的代码和新收集的人体运动数据集将公开共享。
2018-12-04 cs.CV cs.GR
EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera
Max Planck Institute for Informatics (MPII)（马克斯·普朗克信息研究所）
本文提出 EgoForce 框架，通过统一网络处理不同相机模型，结合可微 forearm 表示和 ray 空间求解器，实现高精度 3D 手姿态恢复，实验显示在 HOT3D 数据集上 MPJPE 减少 28%。
2026-05-12 cs.CV cs.GR
Patient4D: Temporally Consistent Patient Body Mesh Recovery from Monocular Operating Room Video
University of Sydney（悉尼大学）
Patient4D通过利用时间一致性先验，结合轻量几何机制和姿态锁定，提升手术AR中单目视频的患者身体网格恢复性能，实验表明其在遮挡条件下表现更优。
2026-03-17 cs.CV
An Empirical Study of Monocular Human Body Measurement Under Weak Calibration
Independent Researcher（独立研究者）
本文通过实证研究分析了不同弱校准策略对单目人体测量稳定性与校准努力的影响，为消费级设备提供设计参考。
2026-01-04 cs.CV
MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
MagicHOI利用新视角合成扩散模型的3D先验，在视角变化有限的短单目视频中正则化不可见物体区域，结合接触约束，显著提升手物重建精度。
2025-08-07 cs.CV
Dynamic View Synthesis from Dynamic Monocular Video
Virginia Tech（弗吉尼亚理工大学）；Facebook（脸书）
我们提出了一种算法，用于在任意视点和任意输入时间步长下生成动态场景的单目视频的新视图。我们的工作建立在神经隐式表示的最新进展，并使用连续和可微函数建模的时变结构和场景的外观。我们联合训练时不变的静态NeRF和时变的动态NeRF，并学习如何以无监督的方式混合结果。然而，从单个视频中学习这个隐式函数是高度不适定的（有无限多个与输入视频匹配的解）。为了解决模糊性，我们引入正则化损失，以鼓励一个更物理上合理的解决方案。我们展示了大量的定量和定性结果的动态视图合成随便捕捉的视频。
2021-05-13 cs.CV
Monocular Urban Localization using Street View
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Institut VEDECOM（VEDECOM研究所）
本文提出了一种度量全球定位在城市环境中，只有一个单目摄像机和谷歌街景数据库。我们充分利用丰富的来源，从街景，并从其拓扑度量结构的好处，建立一个由粗到精的定位，即一个拓扑位置识别过程，然后通过局部束平差的度量姿态估计。我们的方法在3公里的城市环境中进行了测试，并证明了亚米精度和鲁棒性的观点变化，照明和遮挡。据我们所知，这是第一个简单地用单个摄像机和街景来研究全球城市定位的工作。
2016-06-16 cs.CV cs.RO
World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video
Stanford University（斯坦福大学）；NVIDIA（英伟达）
提出World from Motion方法，利用视频模型从单目视频生成可自由渲染的动态3D高斯表示，通过像素对齐渲染校正伪影并填充缺失区域，实现4D重建新高度。
2026-10-26 cs.AI cs.CV cs.GR
ProDyGS: Dynamic Gaussian Splatting from a Single Static Monocular Camera
ProDyGS提出一种动态3D高斯泼溅框架，利用单目深度估计生成合成多视角监督，从单个静态相机视频实现高质量新视角合成，在DyNeRF数据集上达到最先进性能。
2026-09-29 cs.CV
PVP: Personalized Video Prior for Editable Dynamic Portraits using StyleGAN
University of California, San Diego（加州大学圣地亚哥分校）；Qualcomm Technologies Inc.（高通技术公司）
本文提出 PVP 方法，利用 PTI 从单目视频学习个性化先验，通过 MLPs 和潜在向量操纵实现极端头部姿态下的可编辑动态人像合成，并实时运行于 RTX 3080。
2023-06-29 cs.CV cs.GR
PLOT: Pseudo-Labeling via Object Tracking for Monocular 3D Object Detection
Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）；KAIST AI（韩国科学技术院人工智能系）；VRG, FEE, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院视觉识别组）；Samsung Research（三星研究院）；AI-Robotics, KIST School, University of Science and Technology (UST)（科学技术联合大学院KIST学院人工智能机器人系）；Yonsei-KIST Convergence Research Institute, Yonsei University（延世大学延世-KIST融合研究院）
PLOT通过物体跟踪生成单目视频中的3D标注，无需辅助传感器或模型重训练，实现了在自动驾驶、机器人和监控等领域的可靠3D目标检测。
2026-06-26 cs.CV cs.GR
Predicting Camera Viewpoint Improves Cross-dataset Generalization for 3D Human Pose Estimation
University of California, Irvine（加州大学欧文分校）
随着大规模地面真实运动捕获数据集的出现，三维人体姿态的单目估计引起了越来越多的关注。然而，可用的训练数据的多样性是有限的，目前还不清楚在何种程度上的方法概括外的特定datasets，他们是trainedon.In这项工作中，我们进行了系统的研究的多样性和偏见存在于特定的数据集和跨数据集概括其效果在一个汇编的5姿势datasets。我们特别专注于系统的差异，相对于身体为中心的坐标系的相机视点的分布。基于这一观察，我们提出了一个辅助任务，预测相机的观点，除了姿势。我们发现，经过训练以联合预测视点和姿势的模型系统地显示出显着改善的跨数据集泛化。
2020-04-07 cs.CV
Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出Point-DynRF框架，通过神经点云与动态辐射场分别建模全局几何与体渲染，解决单目视频新视角合成中全局几何一致性不足的问题。
2023-10-24 cs.CV
5D Light Field Synthesis from a Monocular Video
Inha University（仁荷大学）；Osaka University（大阪大学）
市售的光场相机难以捕获5D（4D +时间）光场视频。它们只能捕获静态光场图像，或者对于普通用户捕获光场视频来说过于昂贵。为了解决这个问题，我们提出了一种基于深度学习的方法，用于从单目视频合成光场视频。我们提出了一个新的合成光场视频数据集，使用UnrealCV渲染引擎渲染逼真的场景，因为没有光场数据集可用。所提出的深度学习框架将光场视频与来自正常单眼视频的子孔径图像的完整集合（9 $\times$ 9）合成。该网络由三个子网络组成，即特征提取、5D光场视频合成和时间一致性细化。实验结果表明，我们的模型可以成功地合成合成和实际场景的光场视频，并优于以前的逐帧方法定量和定性。合成光场可用于常规光场应用，即，深度估计、视点改变和重新聚焦。
2019-12-23 cs.CV
GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出GoMAvatar方法，采用网格上高斯混合表示，仅需单目视频即可构建高质量可驱动数字化身，在渲染质量比肩现有算法的同时，实现了43 FPS的实时效率与3.63 MB的低内存占用，且兼容传统图形管线。
2024-04-11 cs.CV
Learning monocular 3D reconstruction of articulated categories from motion
University College London（伦敦大学学院）；Snap Inc.（Snap 公司）
由于缺乏训练数据和问题固有的不适定性，铰接对象类别的单眼3D重建是具有挑战性的。在这项工作中，我们使用视频自我监督，迫使连续的3D重建的一致性，基于运动的周期损失。这在很大程度上改进了基于优化和基于学习的3D网格重建。我们进一步介绍了一个可解释的模型，3D模板变形，控制一个3D表面通过位移的一个小数目的本地，可学习的手柄。我们将此操作制定为依赖于网格拉普拉斯正则化的结构化层，并表明它可以以端到端的方式进行训练。最后，我们介绍了一种按样本的数值优化方法，该方法可以联合优化视频中的网格位移和相机，从而提高训练和测试时间后处理的准确性。在完全依赖于每个类别收集的一小部分视频进行监督的同时，我们获得了最先进的重建，具有不同的形状，视角和纹理，用于多个铰接对象类别。
2021-04-27 cs.CV cs.GR cs.LG
Monocular SLAM Supported Object Recognition
Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们开发了一个单目SLAM感知的对象识别系统，能够实现相当强的识别性能，相比经典的对象识别系统，功能上的逐帧的基础上。通过结合几个关键的想法，包括多视图对象的建议和有效的特征编码方法，我们提出的系统是能够检测和鲁棒地识别对象在其环境中使用一个单一的RGB相机在接近恒定的时间。通过实验，我们说明了使用这样的系统，有效地检测和识别对象的效用，将多个对象的观点检测到一个统一的预测假设。在UW RGB-D数据集上对所提出的识别系统的性能进行了评估，与当前最先进的识别系统相比，显示出强大的识别性能和可扩展的运行时性能。
2015-06-04 cs.CV cs.RO
HARP: Personalized Hand Reconstruction from a Monocular RGB Video
ETH Zürich（苏黎世联邦理工学院）
HARP提出一种基于网格参数化模型与可微渲染的个性化手部化身方法，从单目RGB视频重建高保真外观与几何，支持实时AR/VR渲染并提升3D手部姿态估计。
2023-07-03 cs.CV
BAGS: Building Animatable Gaussian Splatting from a Monocular Video with Diffusion Priors
National Key Lab of General AI, Peking University（通用人工智能全国重点实验室）；Shandong University（山东大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出BAGS方法，利用扩散先验从单目视频构建可动画化三维高斯泼溅，加速训练渲染并支持有限视角，通过刚性正则化提升性能，优于现有方法。
2024-03-18 cs.CV
Uncertainty Matters in Dynamic Gaussian Splatting for Monocular 4D Reconstruction
Texas A&M University（德克萨斯大学）
USplat4D通过建模高斯点云的不确定性，提升单目4D重建的稳定性和合成质量。
2026-02-27 cs.AI cs.CV cs.GR
Eye2Eye: A Simple Approach for Monocular-to-Stereo Video Synthesis
Google DeepMind（谷歌DeepMind）；Weizmann Institute of Science（魏茨曼科学研究院）；University of Michigan（密歇根大学）
提出一种将文本到视频生成器转换为视频到立体生成器的简单方法，通过直接从偏移视点合成新视图，避免传统多阶段深度估计和修复的缺陷，有效处理镜面和透明物体，实现高质量3D视频效果。
2025-04-30 cs.CV
Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文提出可控单目动态视角合成流程GCD，利用大规模扩散先验和端到端视频到视频转换，仅凭单视点视频即可生成任意指定视角的同步视频，并在机器人、物体恒存性和驾驶等真实场景中展现出零样本泛化潜力。
2024-07-05 cs.AI cs.CV cs.LG
VISTA: Monocular Segmentation-Based Mapping for Appearance and View-Invariant Global Localization
Massachusetts Institute of Technology（麻省理工学院）；Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德拉珀实验室公司）；Saab Finland Oy（萨博芬兰公司）
提出单目全局定位框架VISTA，结合基于对象的分割跟踪与子图对应搜索，无需特定领域训练即可在视角和季节变化下实现一致定位，召回率提升69%且地图大小仅为基线的0.6%。
2025-07-15 cs.CV cs.RO
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion
Technical University of Munich（慕尼黑工业大学）；Toyota Motor Europe NV/SA（丰田汽车欧洲公司）；Woven by Toyota（丰田编织公司）
针对单目视频3D头部化身重建中观测有限导致的伪影问题，提出GAF方法，结合多视图扩散模型先验和FLAME法线贴图偏置，提升高斯溅射渲染的视角一致性与保真度，在NeRSemble数据集上优于现有方法。
2025-04-14 cs.AI cs.CV cs.GR
GHuNeRF: Generalizable Human NeRF from a Monocular Video
National University of Singapore（新加坡国立大学）
针对现有可泛化人体NeRF依赖多视图数据、单目方法无法泛化新身份的问题，提出GHuNeRF，通过可见性聚合、注意力增强特征及表面引导采样，实现单目视频下的可泛化人体NeRF，在两个数据集上取得优异表现。
2023-12-12 cs.CV
ActiveMoCap: Optimized Viewpoint Selection for Active Human Motion Capture
UBC（不列颠哥伦比亚大学）；Microsoft（微软）；EPFL（洛桑联邦理工学院）
单目3D人体姿态估计的准确性取决于捕获图像的视点。虽然自由移动的相机，如无人机上的相机，提供了对这个视点的控制，但自动将它们定位在将产生最高精度的位置仍然是一个悬而未决的问题。这就是我们在本文中要解决的问题。具体来说，给定一个短的视频序列，我们介绍了一种算法，预测哪些观点应该被选择来捕捉未来的帧，以最大限度地提高三维人体姿态估计精度。我们的方法的关键思想是一种方法来估计的3D身体姿势估计的不确定性。我们整合了几个不确定性来源，源于基于深度学习的回归量和时间平滑度。我们的运动规划器产生改进的3D身体姿势估计，并优于或匹配现有的基于人跟踪和轨道。
2020-06-18 cs.CV cs.RO
Training-free Monocular 3D Event Detection System for Traffic Surveillance
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
我们专注于在监控场景中检测交通事件的问题，包括车辆动作和交通碰撞的检测。现有的事件检测系统大多是基于学习的，并且在大量训练数据可用时已经取得了令人信服的性能。然而，在现实世界的场景中，收集足够的标记训练数据是昂贵的，有时是不可能的（例如，对于交通碰撞检测）。此外，传统的2D表示的监视视图很容易受到遮挡和不同的相机视图的性质。为了解决上述问题，本文提出了一种用于交通监控的免训练单目3D事件检测系统。我们的系统首先将车辆投影到3D欧氏空间中，并估计它们的运动状态。然后，我们开发了多种简单而有效的方法来识别基于运动学模式的事件，这不需要进一步的训练。因此，我们的系统是强大的遮挡和视点的变化。独家实验报告了我们的方法在大规模真实世界的监控数据集上的优越结果，这验证了我们提出的系统的有效性。
2020-02-01 cs.CV
DevilSight: Augmenting Monocular Human Avatar Reconstruction through a Virtual Perspective
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Honor Device Co., Ltd（荣誉设备有限公司）
针对单目视频人体化身重建存在的细节捕捉与新视角生成难题，提出DevilSight框架，借助Human4DiT生成虚拟视角运动作为监督，并辅以两种增强策略，性能超越现有前沿方法。
2025-08-30 cs.CV
MonoFusion: Sparse-View 4D Reconstruction via Monocular Fusion
Carnegie Mellon University（卡内基梅隆大学）
MonoFusion通过单目融合技术，在稀疏视角下实现高质量的动态场景4D重建，优于传统密集多视角方法。
2026-03-01 cs.CV
Learning Implicit Constitutive Laws for Dynamic 3D Gaussian Splatting from Monocular Videos
The University of Hong Kong（香港大学）
提出GCA框架，结合LoRA适配与RDGA、CPR模块，从单目动态视频学习隐式本构定律，在多类数据集上性能优于现有方法
2026-08-25 cs.AI cs.CV
RigPAPR: Rig-Based Animation of Static Neural Point Clouds from a Fixed-Viewpoint Video
APEX Lab（APEX实验室）；School of Computing Science（计算科学学院）；Simon Fraser University（西蒙弗雷泽大学）
提出RigPAPR方法，通过直接线性混合蒙皮驱动静态神经点云，无需网格代理或姿态依赖校正，在合成和真实数据上减少关节边界伪影，新视角PSNR提升3+dB。
2026-10-26 cs.CV cs.GR
Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）
提出Ground4D框架，结合3D基础模型进行几何初始化与动态高斯泼溅进行一致性优化，实现从单目视频的高保真4D重建与新视角渲染。
2026-07-28 cs.CV
Monocular Neural Image Based Rendering with Continuous View Control
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种方法，可以学习合成3D对象或场景的高质量、新颖视图，同时对6自由度视点提供细粒度和精确的控制。该方法是自我监督的，只需要2D图像和相关的视图变换进行训练。我们的主要贡献是一个网络架构，利用变换自动编码器结合深度引导的扭曲过程来预测几何准确的看不见的视图。利用几何约束使得不需要通过深度或流量图进行直接监督。如果对象的大部分在源视图中被遮挡，则使用纯粹基于学习的先验来预测被遮挡像素的值。我们的网络还预测了一个每个像素的掩码，用于融合深度引导和基于像素的预测。所得到的图像反映了所需的6-DOF变换，并保留了细节。我们在合成和真实场景以及细粒度和固定视图设置下彻底评估我们的架构。最后，我们证明了这种方法可以推广到完全看不见的图像，如从互联网上下载的产品图像。
2019-09-09 cs.CV
Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision
MPI for Informatics（马克斯·普朗克信息学研究所）；EPFL（洛桑联邦理工学院）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
我们提出了一种基于CNN的方法，用于从单个RGB图像进行3D人体姿态估计，该方法解决了仅在有限的公开可用3D姿态数据上训练的模型的有限泛化性问题。仅使用现有的3D姿态数据和2D姿态数据，我们通过转移学习的特征，在建立的基准上展示了最先进的性能，同时也推广到野外场景。我们进一步引入了一个新的训练集，用于从真实人类的单目图像中进行人体姿态估计，该图像具有用多相机无标记运动捕捉系统捕获的地面实况。它补充了现有的语料库，在姿势，人类外观，服装，遮挡和观点方面具有更大的多样性，并能够增加增强的范围。我们还提供了一个新的基准，涵盖室外和室内场景，并证明我们的3D姿态数据集显示出比现有注释数据更好的野外性能，这是进一步改进结合迁移学习从2D姿态数据。总而言之，我们认为，使用迁移学习的表示与算法和数据的贡献是至关重要的一般3D身体姿势估计。
2017-10-04 cs.CV
Unified Panoramic-Gaussian Representation for Monocular 4D Scene Synthesis
School of Data Science, Fudan University（复旦大学数据科学学院）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）
提出PanoGaussian，结合全景轨迹引导与显式动态高斯表示，解决单目视频4D场景合成中视角外区域推断不一致和动态内容建模问题。
2026-07-03 cs.CV
S^2VG: 3D Stereoscopic and Spatial Video Generation via Denoising Frame Matrix
Department of Electrical and Electronic Engineering at The University of Hong Kong（香港大学电子与电气工程系）；Google（谷歌）
提出一种无需姿态和训练的方法，利用现成单目视频生成模型，通过深度图扭曲和帧矩阵修复框架，生成时空一致的3D立体与空间视频。
2026-06-23 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；CUHK（香港中文大学）；Zhejiang University（浙江大学）
针对多视角视频动态一致性需求，提出即插即用的SynCamMaster模块与混合训练方案，增强预训练文生视频模型的多摄像机生成能力，还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video
Durham University（杜伦大学）；Institute of High Performance Computing (IHPC), ASTAR（高性能计算研究所（IHPC），新加坡科技研究局）；Tencent YouTu Lab（腾讯优图实验室）
本文提出 CTNeRF，通过时域与频域模块聚合运动特征并建模帧间关系，提升单目动态视频新视角合成的准确性与视觉质量。
2024-06-26 cs.CV
Self-supervised monocular depth estimation from oblique UAV videos
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特文特大学地球信息科学与地球观测学院（ITC））
无人机已成为一种必不可少的摄影测量，因为它们价格实惠，易于使用和多功能。从无人机捕获的航空图像在小规模和大规模纹理映射，三维建模，目标检测任务，DTM和DSM生成等方面都有应用。摄影测量技术通常用于从无人机图像中获取同一场景的多个图像的三维重建。计算机视觉和深度学习技术的发展使单图像深度估计（SIDE）成为一个热门研究领域。在无人机图像上使用SIDE技术可以克服对多幅图像进行3D重建的需要。本文旨在使用深度学习从单个UAV航空图像估计深度。我们遵循一种自监督学习方法，即自监督单目深度估计（SMDE），它不需要地面实况深度或除图像之外的任何额外信息来学习估计深度。单目视频帧用于训练深度学习模型，该模型通过两个不同的网络联合学习深度和姿态信息，每个网络用于深度和姿态。预测的深度和姿态用于利用视频中的时间信息从另一图像的角度重建一幅图像。我们提出了一种新的架构，具有两个二维CNN编码器和一个三维CNN解码器，用于从连续的时间帧中提取信息。为了提高图像生成的质量，引入了对比度损失项。我们的实验是在公开的无人机视频数据集上进行的。实验结果表明，我们的模型优于国家的最先进的方法在估计的深度。
2020-12-19 cs.CV
TT4D: A Pipeline and Dataset for Table Tennis 4D Reconstruction From Monocular Videos
University of California, Berkeley（加州大学伯克利分校）；University of Augsburg（奥格斯堡大学）；University of Tübingen（图宾根大学）
本文提出TT4D数据集，通过创新的重建流水线实现大规模高精度乒乓球比赛重建，解决单目视频中遮挡和视角变化带来的重建难题，支持虚拟回放和机器人学习。
2026-09-10 cs.CV
