GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法，从动态摄像机记录的单目视频三维全球人体网格恢复。我们的方法对严重和长期的遮挡是鲁棒的，即使人体超出摄像机的视野，也能跟踪人体。为了实现这一点，我们首先提出了一个深度生成运动填充器，它基于可见运动自回归地填充被遮挡人类的身体运动。此外，与以前的工作相比，我们的方法在一致的全局坐标中重建人体网格，即使使用动态相机。由于人体运动和摄像机姿态的联合重建是欠约束的，我们提出了一个全局轨迹预测器，生成全球人体轨迹的基础上，局部身体运动。使用预测的轨迹作为锚点，我们提出了一个全局优化框架，细化预测的轨迹，优化相机姿态，以匹配视频证据，如2D关键点。在具有挑战性的室内和野外动态摄像机数据集上的实验表明，该方法在运动填充和全局网格恢复方面明显优于现有方法。
2022-03-30 cs.AI cs.CV cs.GR
Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses
South China University of Technology（华南理工大学）；Meta Reality Labs（元宇宙现实实验室）；Sun Yat-sen University（中山大学）
本文提出多RoI人体网格恢复方法，通过估计多个局部相机并施加相机一致性损失和对比损失，缓解网格与相机联合错误但重投影损失低的问题，提升三维网格恢复精度。
2024-10-01 cs.CV
Humans as Checkerboards: Calibrating Camera Motion Scale for World-Coordinate Human Mesh Recovery
National University of Singapore（新加坡国立大学）
针对单目SLAM尺度未知导致全局人体运动恢复不准的问题，提出无需优化的HAC框架，以人体网格恢复模型预测的人体接触关节绝对深度校准SLAM尺度，实现高精度高效的全局人体网格估计。
2024-12-12 cs.CV
On Relative Pose Recovery for Multi-Camera Systems
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）
点对应（PC）和仿射对应（AC）被广泛用于相对位姿估计。AC由两个视图上的PC和该PC周围的小块之间的仿射变换组成。以前的工作表明，一个AC通常提供三个独立的相对姿态估计的约束。对于多相机系统，仍然没有任何基于AC的最小解算器用于一般的相对位姿估计。为了解决这个问题，我们提出了一个完整的解决方案，从两个AC的多相机系统，由一系列的最小解算器的相对姿态估计。我们的解决方案中的求解器生成是基于凯莱或四元数参数化的旋转和隐藏变量技术，以消除平移。这种求解器生成方法也很自然地应用于PC的相对姿态估计，从而产生了用于多相机系统的新的六点方法。一些扩展，包括相对姿态估计与已知的旋转角和/或未知的焦距。大量的实验表明，所提出的基于AC的求解器和基于PC的求解器是有效的和高效的合成和真实世界的数据集。
2021-02-24 cs.CV
Position Estimation of Camera Based on Unsupervised Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
从视频序列中恢复场景的三维结构和摄像机姿态是一个令人兴奋的任务。目前的解决方案大多分为两个部分，单目深度恢复和相机姿态估计。单目深度恢复通常被作为一个独立的部分来研究，并且使用更好的深度估计来求解姿态。而传统的SLAM（同时定位与地图构建）方法在大多数情况下仍是对摄像机位姿进行估计。利用无监督方法进行单目深度恢复和位姿估计，得益于[1]的研究，取得了较好的效果。本文改进了文[1]的方法。重点在于对该方法的思想和相关理论进行改进，引入更合理的帧间约束，最终在统一的世界坐标系下将摄像机运动轨迹与帧间位姿估计进行综合。我们的结果得到更好的性能。
2018-05-05 cs.CV
Human Mesh Recovery from Arbitrary Multi-view Images
ShanghaiTech University（上海科技大学）；United Imaging Intelligence（联影智能）
针对任意相机位姿和视角数量下的人体网格恢复问题，提出U-HMR分治框架，通过CBD解耦相机位姿与人体估计，并结合CPE与带SMPL查询token的AVF实现灵活融合。
2024-06-17 cs.CV
3D Hand Mesh Recovery from Monocular RGB in Camera Space
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学史伟智能工程学院）
针对单目RGB手部3D恢复需适配复杂场景与遮挡、支撑自然人机交互的需求，提出并行处理根相对网格与根节点恢复的网络，结合Inception谱图卷积与局部细节全局注意力方法，在FreiHAND数据集上达到当前最优水平。
2024-05-12 cs.CV
Rethinking Pose in 3D: Multi-stage Refinement and Recovery for Markerless Motion Capture
UCL（伦敦大学学院）；University of Surrey（萨里大学）
提出了一种基于CNN的多摄像机无标记人体运动捕捉方法。与现有的方法，首先执行个别相机的姿态估计，并生成3D模型作为后处理，我们的方法利用3D推理在整个多阶段的方法。这种新颖性使我们能够使用人体姿势的临时3D模型来重新考虑关节应该位于图像中的位置，并从过去的错误中恢复过来。我们对3D人体姿势的原则性改进使我们能够利用图像线索，即使是来自我们以前错误检测关节的图像，也可以作为端到端方法的一部分来改进我们的估计。最后，我们演示了如何将多相机设置的高质量输出用作额外的训练源，以提高现有单相机模型的准确性。
2018-08-04 cs.CV
Video Compressive Sensing for Spatial Multiplexing Cameras using Motion-Flow Models
Carnegie Mellon University（卡内基梅隆大学）；Rice University（莱斯大学）；Cornell University（康奈尔大学）
空间复用相机（SMC）通过使用空间光调制器（例如，数字微镜装置）和一些光学传感器。该方法可用于全帧传感器太昂贵（例如，对于短波红外波长）或不可用。现有的SMC系统使用来自压缩感知（CS）的技术来重建静态场景。然而，对于视频，现有的获取和恢复方法提供较差的质量。在本文中，我们提出了CS多尺度视频（CS-MUVI）的传感和恢复框架，高质量的视频采集和恢复使用SMC。我们的框架具有新颖的传感矩阵，使低分辨率视频预览的有效计算，同时使高分辨率视频恢复使用凸优化。为了进一步提高重构视频的质量，我们从低分辨率预览中提取光流估计，并将其作为恢复过程中的约束。我们证明了我们的CS-MUVI框架的合成和实测SMC视频数据的主机的功效，我们表明，高质量的视频可以恢复在大致$60\times$压缩。
2015-08-05 cs.CV
CoL3D: Collaborative Learning of Single-view Depth and Camera Intrinsics for Metric 3D Shape Recovery
Alibaba Cloud Computing（阿里云计算）
针对单图像度量三维形状恢复需相机内参的问题，提出CoL3D协同学习框架，联合估计深度与内参，通过三维先验约束、规范入射场机制及形状相似性损失，提升多基准数据集上的深度估计、相机校准性能与三维形状质量。
2025-02-13 cs.CV
Towards Metric-Aware Multi-Person Mesh Recovery by Jointly Optimizing Human Crowd in Camera Space
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；College of AI, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出度量感知的人体网格恢复方法，通过联合优化多人在摄像空间中的位置，提升场景一致性与恢复精度。
2025-11-20 cs.CV
Optimal Radiometric Calibration for Camera-Display Communication
Rutgers University（罗格斯大学）；WINLAB (Wireless Information Network Laboratory)（无线信息网络实验室）
我们提出了一种新的方法，通过嵌入和恢复隐藏的和动态的信息在显示的图像之间的摄像机和显示器进行通信。指向显示器的手持摄像机不仅可以接收显示图像，还可以接收底层消息。这些主动场景从根本上不同于传统的被动场景，如QR码，因为图像形成是基于显示器发射率，而不是表面反射率。检测和解码的消息需要仔细的光度建模计算的消息恢复。与标准的水印和隐写术的方法，位于域之外的计算机视觉，我们的消息恢复算法使用照明光通信隐藏的消息在现实世界的场景。我们的方法的关键创新是一个算法，同时进行辐射校准和消息恢复在一个凸优化问题。通过使用相机显示传递函数（CDTF）对系统的测光建模，我们推导出一个基于物理的核函数用于支持向量机分类。我们证明，我们的方法，最佳的在线辐射校准（OORC）导致一个有效的和强大的算法之间的计算通信的九个商业相机和显示器。
2015-01-08 cs.CV
W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration
Nanjing University of Science and Technology（南京理工大学）；Beijing Normal University（北京师范大学）；Tsinghua University（清华大学）
针对单目三维人体恢复依赖相机坐标且焦距标签不足的问题，本文提出 W-HMR 弱监督标定与 OrientCorrect 朝向校正模块，提升世界空间重建精度和泛化性。
2024-09-09 cs.CV
Flight Dynamics-based Recovery of a UAV Trajectory using Ground Cameras
Computer Vision Laboratory, EPFL（洛桑联邦理工学院计算机视觉实验室）；Microsoft Research（微软研究院）
我们提出了一种新的方法来估计飞行物体的6自由度轨迹，如四旋翼无人机在三维空域使用多个固定的地面摄像机监测。它是基于一个新的运动恢复结构制定一个单一的移动点的三维重建与已知的运动动力学。我们的主要贡献是一个新的光束法平差程序，除了优化相机的姿势，正则化的点轨迹使用之前的运动动力学（或特别是飞行动力学）的基础上。此外，我们可以推断出发送到无人机自动驾驶仪的基本控制输入，该输入决定了其飞行轨迹。我们的方法既不需要完美的单视图跟踪，也不需要跨视图的外观匹配。为了鲁棒性，我们允许跟踪器在每个视频中每帧生成多个检测。使用鲁棒的多视图三角测量来估计视频之间的真实检测和数据关联，并随后在我们的光束法平差过程中进行细化。仿真数据的定量评价和室内、室外场景的真实视频实验表明了该方法的有效性。
2017-11-21 cs.CV cs.RO
Investigating a Policy-Based Formulation for Endoscopic Camera Pose Recovery
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins Medical Institutions（约翰霍普金斯医学机构）
本文提出基于政策的内窥镜摄像头姿态恢复方法，通过学习运动策略预测短周期相对运动，解决传统几何方法在低纹理和快速光照变化下的问题。
2026-03-20 cs.CV eess.IV
TROVE Feature Detection for Online Pose Recovery by Binocular Cameras
The University of Hong Kong（香港大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出了一种新的和有效的方法来估计6自由度的自我状态：姿态和位置在实时的。所提出的方法通过观察被称为“TROVE”（三条光线和一个VErtex）的特征来提取自我状态的信息。TROVE特征是从人造建筑和物体上普遍存在的结构中投射出来的。所提出的方法不搜索传统的角型特征，也不使用透视n点（PSPOT）方法，它实现了高达60 Hz的姿态和位置的实时估计。在室内环境下，姿态估计的精度可以达到0.3度，位置估计的精度可以达到2cm。结果表明，一个有前途的方法，无人机器人定位在环境中，是丰富的人造结构。
2018-12-28 cs.CV cs.RO
Online camera-pose-free stereo endoscopic tissue deformation recovery with tissue-invariant vision-biomechanics consistency
School of Engineering, The University of Tokyo（东京大学工学系）
本文提出一种无相机位姿的在线立体内窥镜组织形变恢复方法，通过建模组织几何与形变、优化帧间对齐，在腹腔镜数据集上实现了高精度的组织形变重建，还可估计表面应变分布。
2026-09-02 cs.CV
Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
Santa Clara University（圣克拉拉大学）
本文提出Fish2Mesh，一种基于鱼眼感知Transformer的第一人称三维人体网格恢复模型，通过第一人称位置嵌入、多任务SMPL回归和弱监督训练，在自遮挡和畸变条件下优于现有方法。
2025-03-08 cs.CV cs.RO
Noise2Image: Noise-Enabled Static Scene Recovery for Event Cameras
Department of Bioengineering, University of California, Berkeley（生物工程系，加州大学伯克利分校）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）；Department of Vision Science, University of California, Berkeley（视觉科学系，加州大学伯克利分校）
针对事件相机无法成像静态场景的问题，该研究发现光子噪声事件与场景强度相关，提出Noise2Image方法利用照度相关噪声特性恢复静态场景，无需额外硬件，为事件相机静态场景捕获提供新途径。
2024-12-05 cs.CV eess.IV
Distributed Coding of Multiview Sparse Sources with Joint Recovery
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Technical University of Denmark（丹麦技术大学）
在支持的应用程序，涉及多视角的源在分布式对象识别使用轻量级相机，我们提出了一种新的方法，用于分布式编码的稀疏源的视觉描述符直方图从多视角图像中提取。由于每个相机的计算和能量约束以及相机间通信的限制，该问题具有挑战性。我们的方法通过利用视觉描述符直方图的稀疏性以及它们的相机内和相机间的相关性来解决这些挑战。我们的方法耦合分布式信源编码的稀疏源与一个新的联合恢复算法，该算法采用了多个边信息信号，其中所有稀疏源的先验知识（低质量）最初发送利用它们的相关性。实验评估使用直方图的平移不变特征变换（SIFT）的描述符提取的多视点图像显示，我们的方法导致比特率节省高达43%相比，国家的最先进的分布式压缩感知方法与独立编码的来源。
2016-07-18 cs.CV cs.IT cs.MM
Monocular Models are Strong Learners for Multi-View Human Mesh Recovery
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Central Florida（中佛罗里达大学）
本文提出一种无需多视角训练数据的框架，利用预训练的单视角人体网格恢复模型作为强先验，通过单视角预测构建稳健一致的多视角初始化，并通过测试时优化提升性能。
2026-04-01 cs.CV
Three-view Focal Length Recovery From Homographies
Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague（捷克技术大学布拉格分校电气工程学院视觉识别组）；Faculty of Mathematics, Physics and Informatics, Comenius University in Bratislava（布拉迪斯拉发科门纽斯大学数学物理系）；PCA Lab, Nanjing University of Science and Technology（南京理工大学PCA实验室）；Visual and Geometric Perception Lab, Donghua University（东华大学视觉与几何感知实验室）
本文提出一种从三视图单应矩阵中恢复焦距的新方法，通过法向量一致性推导显式约束，将问题转化为多项式求解，在速度和精度上优于现有双视图方法。
2025-11-06 cs.CV
Event Enhanced High-Quality Image Recovery
Wuhan University（武汉大学）
事件相机具有极高的时间分辨率，在机器人技术和计算机视觉方面具有很大的潜力。然而，它们的异步成像机制往往会使测量对噪声的敏感性降低，并为提高图像空间分辨率带来物理负担。为了恢复高质量的强度图像，应该解决事件相机的去噪和超分辨率问题。由于事件描述了亮度变化，通过事件的增强退化模型，可以从噪声，模糊和低分辨率强度观测中恢复清晰和锐利的高分辨率潜像。利用稀疏学习的框架，事件和低分辨率强度观测可以被联合考虑。在此基础上，我们提出了一个可解释的网络，一个事件增强稀疏学习网络（eSL-Net），从事件相机恢复高质量的图像。在使用合成数据集进行训练后，所提出的eSL-Net可以将最先进的性能提高7-12 dB。此外，无需额外的训练过程，所提出的eSL网络可以很容易地扩展到生成与事件一样高的帧速率的连续帧。
2020-07-16 cs.CV
VisionTraj: A Noise-Robust Trajectory Recovery Framework based on Large-scale Camera Network
SenseTime Research（商汤科技研究院）；University of Cologne（科隆大学）；China Telecom Cloud Technology Co., Ltd（中国电信云技术有限公司）；Shanghai AI Lab（上海人工智能实验室）；Qing Yuan Research Institute（清源研究院）
针对城市多摄像头网络轨迹恢复缺乏开源数据集、易受噪声影响的问题，提出基于学习的VisionTraj框架，配套构建数据集，结合Transformer主干、GCN软去噪和轨迹片段语义信息，相比次优模型最高提升11.5%性能。
2023-12-11 cs.AI cs.CV cs.IR
Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants
Johns Hopkins University（约翰霍普金斯大学）；University of Virginia（弗吉尼亚大学）
本文提出RIS-iPPG方法，通过正则化随机插值提升面部视频中脉冲信号的恢复质量与不确定性估计，实验表明其在三个数据集上表现优异。
2026-04-12 cs.CV
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging
RIKEN（理化学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Tokyo（东京大学）；Nokia Bell Labs（诺基亚贝尔实验室）
编码孔径快拍光谱成像（CASSI）是一种利用二维编码测量获取三维高光谱图像（HSI）的新技术。由于不适定的性质，各种正则化器已被利用来从2D测量重建3D数据。然而，该算法的精度和计算复杂度并不令人满意。一个可行的解决方案是利用附加信息，如CASSI中的RGB测量。本文针对CASSI和RGB测量相结合的特点，提出了一种新的HSI融合重建模型。我们研究了由谱基和空间系数组成的HSI的谱低秩性质。具体地说，RGB测量被用来估计系数，同时CASSI测量被用来提供正交谱基。我们进一步提出了一个补丁处理策略，以提高频谱低秩属性的HSI。该模型既不需要非局部处理或迭代，也不需要RGB检测器的光谱传感矩阵。在模拟和真实HSI数据集上的大量实验表明，我们提出的方法不仅在质量上优于以前的最先进的方法，而且重建速度提高了5000倍以上。
2020-12-30 cs.CV eess.IV
Self-Supervised Scale Recovery for Monocular Depth and Egomotion Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Vector Institute（矢量研究所）
联合训练深度和egomotion神经网络与单目图像的自监督损失公式是很好的研究，并已证明了国家的最先进的精度。然而，这种方法的主要限制之一是深度和自运动估计仅在未知尺度下确定。在本文中，我们提出了一种新的规模恢复损失，强制执行一个已知的摄像机高度和估计的摄像机高度之间的一致性，生成度量（缩放）深度和egomotion预测。我们表明，我们提出的方法是有竞争力的其他规模恢复技术，需要更多的信息。此外，我们证明了我们的方法有助于在新的环境中进行网络再训练，而其他尺度解析方法则无法做到这一点。值得注意的是，我们的自运动网络能够比仅在测试时恢复规模的类似方法产生更准确的估计。
2022-05-01 cs.CV cs.RO
Patient4D: Temporally Consistent Patient Body Mesh Recovery from Monocular Operating Room Video
University of Sydney（悉尼大学）
Patient4D通过利用时间一致性先验，结合轻量几何机制和姿态锁定，提升手术AR中单目视频的患者身体网格恢复性能，实验表明其在遮挡条件下表现更优。
2026-03-17 cs.CV
GraphBGS: Background Subtraction via Recovery of Graph Signals
La Rochelle Université（拉罗谢尔大学）
背景减除是计算机视觉中一项基本的预处理任务。由于静态和移动相机序列的背景变化，该任务在真实场景中变得具有挑战性。文献中已经提出了几种用于背景减除的深度学习方法，它们具有竞争性的性能。然而，这些模型在对看不见的视频进行测试时表现出性能下降;它们需要大量的数据来避免过拟合。最近，基于图的算法已经成功地接近无监督和半监督学习问题。此外，图信号处理理论和半监督学习的结合，导致在机器学习领域的新见解。本文在背景减除问题中引入了图形信号恢复的概念。本文提出了一种新的图背景减法（GraphBGS）算法，该算法包括：实例分割、背景初始化、图构造、图采样和一种受图信号恢复理论启发的半监督算法。我们的算法具有比深度学习方法需要更少标记数据的优势，同时在静态和移动摄像机视频上都具有竞争力的结果。GraphBGS在公开的变化检测（CDNet 2014）和UCSD背景减除数据库上的几个具有挑战性的条件下优于无监督和监督方法。
2020-11-06 cs.CV
HumanMM: Global Human Motion Recovery from Multi-shot Videos
Tsinghua University（清华大学）；IDEA Research（IDEA研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Chicago（芝加哥大学）；HKUST（香港科技大学）；HKU（香港大学）
本文提出HumanMM框架，通过镜头切换检测、鲁棒对齐和运动积分器，从多镜头野外视频中恢复世界坐标系下的长序列3D人体运动，解决了镜头切换、遮挡和脚步滑动等问题。
2025-03-10 cs.CV
Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot
NAVER LABS Europe（NAVER欧洲实验室）
提出Multi-HMR单次预测模型，通过ViT骨干网络和新交叉注意力模块HPH从单张RGB图像恢复多人全身3D网格，并引入CUFFS数据集增强细粒度手部预测，在全身和仅身体基准上取得最先进结果。
2024-07-24 cs.CV
Multimodal Active Measurement for Human Mesh Recovery in Close Proximity
Toyota Motor Corporation（丰田汽车公司）；Toyota Technological Institute（丰田工业大学）
针对近距离物理人机交互中相机观测不全导致人体姿态估计精度低的问题，提出融合相机与触觉、测距传感器的主动测量框架，动态优化观测位置并融合多模态数据，在模拟和真实场景中均提升了估计精度。
2024-10-08 cs.CV cs.RO
Random Occlusion-recovery for Person Re-identification
Tongji University（同济大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Guangxi Teachers Education University（广西师范学院）；Beijing E-Hualu Info Technology Co., Ltd（北京易华录信息技术股份有限公司）
作为多摄像机监控系统的一项基本任务，人员再识别的目的是对多个摄像机不重叠或同一摄像机在不同时间观察到的查询行人进行再识别。最近，基于深度学习的人物再识别模型在许多基准测试中取得了巨大成功。然而，这些监督模型需要大量的标记图像数据，并且手动标记的过程花费大量的人力和时间。在这项研究中，我们介绍了一种方法来自动合成标记的人的图像，并采用它们来增加每个身份的人重新识别数据集的样本数。具体来说，我们使用矩形块来随机遮挡行人图像。然后，提出了一种生成对抗网络（GAN）模型，利用成对的遮挡图像和原始图像来合成与原始图像相似但不相同的去遮挡图像。然后，我们用对应的原始图像的相同标签来注释去遮挡图像，并使用它们来增加每个身份的样本数量。最后，我们使用增强的数据集训练基线模型。在CUHK 03、Market-1501和DukeMTMC-reID数据集上的实验结果表明了该方法的有效性。
2019-03-12 cs.CV
E-CIR: Event-Enhanced Continuous Intensity Recovery
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
当我们按下快门按钮时，照相机就开始感觉到光线。在曝光间隔期间，场景和相机之间的相对运动导致运动模糊，这是一种常见的不期望的视觉伪影。本文介绍了E-CIR，它将模糊的图像转换成清晰的视频表示为从时间到强度的参数函数。E-CIR利用事件作为辅助输入。我们讨论了如何利用时间事件结构来构造参数基。我们演示了如何训练深度学习模型来预测函数系数。为了提高外观的一致性，我们进一步引入了一个细化模块来传播连续帧之间的视觉特征。与最先进的事件增强去模糊方法相比，E-CIR生成更平滑、更逼真的结果。E-CIR的实施可在https://github.com/chensong1995/E-CIR上查阅。
2022-03-03 cs.CV eess.IV
MetricHMSR:Metric Human Mesh and Scene Recovery from Monocular Images
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Beihang University（北京航空航天大学）
本文提出MetricHMSR框架，通过引入bounding camera ray map和HumanMoE模型，实现人体网格和场景的度量恢复，提升单目深度估计的准确性。
2026-07-01 cs.CV
Relative Pose Estimation for Stereo Rolling Shutter Cameras
Northwestern Polytechnical University（西北工业大学）
本文提出了一种新的线性算法，从立体卷帘快门（RS）相机的连续帧中估计6自由度的相对姿态。我们的方法是基于这样的假设，即立体摄像机进行运动，以恒定的速度在基线的中心，这需要9对左右连续帧的对应关系。立体RS图像使得能够从半全局匹配（SGM）算法恢复深度图。利用估计的相机运动和深度图，我们可以校正RS图像，得到不失真的图像，而无需任何场景结构假设。在模拟点和合成遥感图像上的实验表明了该算法在相对姿态估计中的有效性。
2020-06-14 cs.CV
Cycle-Sync: Robust Global Camera Pose Estimation through Enhanced Cycle-Consistent Synchronization
School of Mathematics, University of Minnesota（明尼苏达大学数学系）；Department of Mathematics, University of California, Davis（加州大学戴维斯分校数学系）
本文提出Cycle-Sync框架，通过改进消息传递最小二乘法并强调循环一致性实现鲁棒的全局相机位姿估计，结合异常值剔除模块，在无需束调整的情况下性能优于现有方法。
2025-11-04 cs.CV cs.NA cs.RO
Let There Be Light: Robust Lensless Imaging Under External Illumination With Deep Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对无透镜成像对外部照明敏感的问题，提出结合外部照明估计与可学习去噪的物理重建方法，显著提升鲁棒性，并开源实现及25K数据集。
2025-01-21 cs.CV eess.IV
World-Grounded Human Motion Recovery via Gravity-View Coordinates
State Key Laboratory of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；The University of Hong Kong（香港大学）；Deep Glint；Shenzhen University（深圳大学）
针对单目视频世界坐标系歧义与自回归误差累积问题，提出基于重力和相机视线的 GV 坐标进行逐帧人体姿态估计，并恢复全局运动，在精度和速度上均超越现有方法。
2024-09-10 cs.AI cs.CV
TriDE: Triangle-Consistent Translation Directions for Global Camera Pose Estimation
Department of Mathematics University of California, Davis（数学系加州大学戴维斯分校）
TriDE通过利用相机-三角形一致性提高全局结构从运动中相机位置估计的准确性，通过信息传播策略实现高效可靠的方向修正。
2026-07-02 cs.CV
Hierarchical structure-and-motion recovery from uncalibrated images
Dflow s.r.l.（3Dflow公司）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）；Università di Verona（维罗纳大学）；eVS s.r.l.（eVS公司）；University of Udine（乌迪内大学）
本文讨论了结构和运动问题，即需要从点匹配中找到摄像机运动和3D结构。一个新的管道，被称为萨曼莎，提出，从流行的顺序范式出发，而不是一个层次的方法。这种方法有几个优点，如可证明的较低的计算复杂性，这是实现真正的可扩展性所必需的，以及更好的错误遏制，导致更大的稳定性和更少的漂移。此外，一个实用的自动校准程序允许处理图像没有辅助信息。用真实数据进行的实验验证了该方法的准确性和计算效率。
2015-06-01 cs.CV
Robust Camera Location Estimation by Convex Programming
Princeton University（普林斯顿大学）
从$2$ D图像的集合恢复$3$ D结构需要估计相机位置和取向，即相机运动。对于大的、不规则的图像集合，用于位置估计部分的现有方法对方向测量中的异常值敏感，所述位置估计部分可以被公式化为从成对方向$\frac{\mathbf{t}_i - \mathbf{t}_j}{\|\mathbf{t}_i - \mathbf{t}_j\|}$的子集的噪声测量估计$\mathbb{R}^3$中的$n$位置$\mathbf{t}_1, \mathbf{t}_2, \ldots, \mathbf{t}_n$的逆问题。在本文中，我们首先提供了一个完整的表征适定的位置估计问题的情况下，通过介绍其与现有的平行刚性理论。对于相机位置的鲁棒估计，我们介绍了一个两步的方法，包括一个成对的方向估计方法鲁棒性的离群点之间的对应图像对，和凸计划，以保持鲁棒性离群方向。在存在部分损坏的测量，我们的经验表明，我们的凸配方甚至可以恢复的位置准确。最后，我们证明了我们的配方的效用，通过互联网上的照片集的实验。
2015-06-04 cs.CV
Backtracking Regression Forests for Accurate Camera Relocalization
The University of British Columbia（不列颠哥伦比亚大学）；Perceptive Inc.（Perceptive 公司）
摄像机重定位在许多机器人和计算机视觉任务中起着至关重要的作用，例如全局定位，从跟踪失败中恢复，以及环路闭合检测。最近的基于随机森林的方法直接预测2D图像位置的3D世界位置，以指导相机姿态优化。在训练过程中，每棵树都会对样本进行greetly分割，以最小化空间方差。然而，这些贪婪的分裂通常会在训练中产生不均匀的子树，或者在测试中产生不正确的2D-3D对应关系。为了解决这些问题，我们提出了一个样本平衡的目标，以鼓励相同数量的样本在左，右子树，和一个新的回溯计划，以纠正不正确的2D-3D对应预测。此外，我们扩展了基于回归森林的方法，以便在室外仅RGB应用的训练和测试阶段使用本地特征。在公开的室内和室外数据集上的实验结果证明了我们的方法的有效性，该方法与几种最先进的方法相比具有更高的准确性。
2017-10-22 cs.CV
Stable Camera Motion Estimation Using Convex Programming
Princeton University（普林斯顿大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究的逆问题估计n个位置$t_1, ..., t_n$（全球规模，翻译和否定）在$R^d$从噪声测量的一个子集的（无符号）成对的线，连接它们，也就是说，从噪声测量$\pm (t_i - t_j)/\|t_i - t_j\|$的一些对（i，j）（其中的迹象是未知的）。这个问题是计算机视觉中运动恢复结构（SfM）问题的核心，其中$t_i$表示$R^3$中的摄像机位置。无噪声版本的问题，精确的线测量，已被认为是以前的一般标题下的平行刚度理论，主要是为了表征的条件，唯一实现的位置。对于有噪声的成对线测量，当前的方法倾向于产生围绕几个位置聚集的伪解。位置估计的这种敏感性是SfM中的一个众所周知的问题，特别是对于大的、不规则的图像集合。在本文中，我们介绍了一个半定规划（SDP）制定，专门针对克服聚类现象。我们进一步确定的影响平行刚性理论的位置估计问题是适定的，并证明准确的（在无噪声的情况下）和稳定的位置恢复结果。我们还制定了一个交替方向的方法来解决由此产生的半定方案，并提供了一个分布式版本，我们制定了大量的位置。具体针对摄像机位置估计问题，我们提出了一种基于鲁棒摄像机方向和子空间估计的成对直线估计方法。最后，我们证明了我们的算法的实用性，通过对真实图像的实验。
2015-01-15 cs.CV
Accurate and efficient video de-fencing using convolutional neural networks and temporal information
UC San Diego（加州大学圣地亚哥分校）
去围栏是消除图像或视频上捕获的围栏，提供清晰的场景视图。它已被应用于许多目的，包括辅助摄影师和提高计算机视觉算法的性能，如目标检测和识别。然而，现有的栅栏分割方法由于栅栏分割的困难而性能有限，并且还受到摄像机或物体运动的影响。为了克服这些问题，我们提出了一种新的方法，包括分割使用卷积神经网络和一个快速/强大的恢复算法。使用卷积神经网络的分割算法在栅栏分割的准确性上取得了显著的提高。使用光流的恢复算法产生合理的防御图像和视频。该方法在我们多样化和复杂的数据集和公开可用的数据集上进行了实验。实验结果表明，该方法实现了国家的最先进的性能分割和内容恢复。
2018-06-28 cs.CV eess.IV
