Indoor dense depth map at drone hovering
Robotics, TCS Research \& Innovation, Kolkata, India
自主微型飞行器（MAVs）近年来受到了广泛的关注。室内自主飞行需要一个密集的深度图用于可导航空间检测，这是自主导航的基本组成部分。在本文中，我们解决的问题，重建密集的深度，而无人机悬停（小相机运动）在室内场景中使用已经估计的相机和稀疏点云从vSLAM获得。我们首先使用稀疏的3D点的深度突然变化的基础上分割的场景，并通过能量最小化，结合光度的一致性和与相邻的补丁共面性引入一个补丁为基础的局部平面拟合。该方法还结合了一个平面扫描技术的图像片段几乎没有稀疏点的初始化。实验表明，与早期文献中的小运动相比，该方法在人工照明条件、低纹理环境下的室内产生了更好的深度。
2019-04-25 cs.CV
Reinforcement Learning Based Optimal Camera Placement for Depth Observation of Indoor Scenes
The University of Tokyo（东京大学）
在使用多个摄像机的任务中，探索最友好的摄像机设置-最佳摄像机放置（OCP）问题是非常重要的。然而，现有的OCP解决方案很少专门用于室内场景的深度观察，大多数通用解决方案都是离线工作的。针对这一问题，提出了一种基于强化学习的室内场景深度观测OCP在线解决方案。所提出的解决方案包括一个模拟环境，实现场景观察和奖励估计使用阴影地图和代理网络包含软演员-评论家（SAC）的强化学习骨干和特征提取器，从观察到的点云逐层提取特征。两个国家的最先进的基于优化的离线方法进行了比较实验。实验结果表明，该系统优于七个测试场景，在获得较低的深度观测误差。所有测试场景的总误差也小于基线的90%。因此，所提出的系统在没有场景的先验知识或较低深度观察误差是主要目标的情况下更能胜任深度相机放置。
2021-10-21 cs.CV cs.LG
GS-ProCams: Gaussian Splatting-based Projector-Camera Systems
Southwest University（西南大学）；Westlake University（西湖大学）
GS-ProCams通过高斯点表示实现视图无关的投影-相机系统，提升效率并减少资源消耗。
2026-02-17 cs.CV cs.GR cs.MM
SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth
Dyson Robotics Laboratory at Imperial College（帝国理工学院戴森机器人实验室）；Imperial College London（帝国理工学院）
我们引入了场景网RGB-D，扩展了场景网以前的工作，使室内场景轨迹的大规模真实感渲染。它为场景理解问题（如语义分割、实例分割和目标检测）以及几何计算机视觉问题（如光流、深度估计、摄像机姿态估计和3D重建）提供像素完美的真值。随机采样允许几乎无限的场景配置，在这里，我们提供了一组5 M渲染的RGB-D图像，来自合成布局中超过15 K的轨迹，具有随机但物理模拟的对象姿势。每个布局还具有随机照明、相机轨迹和纹理。该数据集的规模非常适合使用RGB-D输入从头开始预训练数据驱动的计算机视觉技术，这在以前受到NYUv 2和SUN RGB-D中相对较小的标记数据集的限制。它还提供了一个基础，通过提供完美的相机姿势和深度数据作为代理的SLAM系统的调查3D场景标记任务。我们将数据集托管在http://robotvault.bitbucket.io/scenenet-rgbd.html
2017-01-30 cs.CV
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology（合肥工业大学）；Orbbec（奥比中光）；Sun Yat-sen University（中山大学）
众所周知，被动立体声系统不能很好地适应弱纹理对象，例如，白墙然而，这些弱纹理目标在室内环境中非常常见。在本文中，我们提出了一种新的立体系统，它包括两个摄像机（RGB摄像机和红外摄像机）和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光（MSL）子系统，而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导，这可以显著提高匹配精度。为了验证所提出的系统的有效性，我们建立了一个原型，并收集了测试数据集在室内场景。评估结果表明，当使用网络RAFT时，该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
RACE-FPP: A Robust AI-assisted Characterisation Enhancement for Fringe Projection Profilometry
University of Nottingham（诺丁汉大学）；Taraz Metrology Ltd.（塔拉兹计量有限公司）
本文提出RACE-FPP，一种将深度学习角点检测集成到条纹投影轮廓术全流程的表征增强方法，通过分析误差传播并采样相位值表征投影仪，显著降低重投影误差，提升测量鲁棒性。
2026-10-07 cs.CV eess.IV physics.optics
Indoor GeoNet: Weakly Supervised Hybrid Learning for Depth and Pose Estimation
Northeastern University（东北大学）
人类通过积累从场景的多个相互连接的投影获得的信息并通过解释它们的对应关系，自然地感知到他们面前的3D场景。这种现象激发了人工智能模型通过对该场景的不同视图之间的对应关系进行建模来提取所观察场景的深度和视角。我们的论文建立在使用深度学习（DL）模型从时间连续视频帧进行无监督深度和相对相机姿态估计领域的先前工作的基础上。我们的方法使用了一个混合学习框架，在最近的一项名为GeoNet的工作中引入，它利用3D场景中的几何约束，从基于中间DL的预测深度和相对姿态合成一个新的视图。然而，最先进的无监督深度和姿态估计DL模型仅在一些可用的室外场景数据集上进行训练/测试，并且我们已经证明它们很难转移到新场景，特别是从室内环境中，其中估计需要更高的精度并处理可能的遮挡。本文介绍了“室内GeoNet”，一个弱监督的深度和相机姿态估计模型，针对室内场景。在室内GeoNet中，我们利用了人类或机器人导航员收集的室内RGBD数据集的可用性，并在模型的深度训练中添加了部分（即弱）监督。实验结果表明，我们的模型有效地推广到新的场景，从不同的建筑物。与原始GeoNet相比，室内GeoNet显示出显着的深度和姿态估计误差减少，同时在室内环境中合成新视图时显示出3倍的重建精度。
2018-11-19 cs.CV
EnforceNet: Monocular Camera Localization in Large Scale Indoor Sparse LiDAR Point Cloud
Blacksesame Technologies（黑芝麻科技）
姿态估计是机器人应用（诸如自主车辆、UAV和大规模增强现实）的基本构建块。对于那些应用来说，大规模生产也是一个阻碍因素，因为最先进的厘米级姿态估计通常需要长的映射过程和昂贵的定位传感器，例如LiDAR和高精度GPS/IMU等。为了克服成本障碍，我们提出了一种基于神经网络的解决方案，以在具有可比厘米-水平精度。我们通过引入一种新的网络模块来实现它，我们称之为电阻模块，以加强网络更好地泛化，预测更准确，收敛更快。这些结果是基准的几个数据集，我们收集的大型室内停车场场景。我们计划开放数据和代码，让社区加入推动这一领域发展的努力。
2019-07-16 cs.CV cs.RO eess.IV
Floorplan-Aware Camera Poses Refinement
Samsung AI Center（三星人工智能中心）
处理大型室内场景是一项具有挑战性的任务，因为扫描配准和相机轨迹估计方法会随着时间积累误差。因此，重建扫描的质量对于某些应用是不够的，例如基于视觉的定位和导航，其中壁的正确位置是至关重要的。对于许多室内场景，存在技术平面布置图的图像，其中包含有关场景的几何图形和主要结构元素（如墙、分区和门）的信息。我们认为，这样的平面图是一个有用的空间信息来源，它可以指导3D模型优化。标准RGB-D 3D重建流水线由应用于RGB-D序列的跟踪模块和光束法平差（BA）模块组成，光束法平差（BA）模块获取设定的RGB-D序列并校正相机姿态以提高一致性。我们提出了一种新的优化算法，扩展传统BA，利用先验知识的场景结构的平面图的形式。我们在Redwood数据集和我们自己捕获的数据上的实验表明，利用平面图可以提高3D重建的准确性。
2022-10-10 cs.CV
MonoIndoor++:Towards Better Practice of Self-Supervised Monocular Depth Estimation for Indoor Environments
University of California Riverside（加州大学河滨分校）；OPPO US Research Center, InnoPeak Technology, Inc.（InnoPeak科技公司OPPO美国研究中心）
自监督单目深度估计近年来取得了重大进展，特别是在室外环境中。然而，深度预测结果并不令人满意，在室内场景中，大多数现有的数据是用手持设备捕获的。与室外环境相比，使用自监督方法估计室内环境的单目视频的深度导致两个额外的挑战：（i）室内视频序列的深度范围在不同帧之间变化很大，使得深度网络难以诱导一致的深度线索用于训练;（ii）用手持设备记录的室内序列通常包含更多的旋转运动，这导致姿态网络难以预测准确的相对相机姿态。在这项工作中，我们提出了一个新的框架-MonoIndoor ++，特别考虑到这些挑战，并巩固了一套良好的实践，以提高室内环境的自我监督单目深度估计的性能。首先，提出了一种基于变换的尺度回归网络的深度因子分解模块，用于显式地估计全局深度比例因子，并且预测的比例因子可以指示最大深度值。第二，而不是使用单阶段的姿态估计策略，在以前的方法，我们建议利用残差姿态估计模块，以估计相对相机的姿态在连续帧迭代。第三，为了将广泛的坐标指导用于我们的残余姿态估计模块，我们建议直接对姿态网络的输入执行坐标卷积编码。所提出的方法在各种基准室内数据集上进行了验证，即，EuRoC MAV，NYUv 2，ScanNet和7-Scenes，展示了最先进的性能。
2022-07-18 cs.CV
Learning to Reconstruct and Understand Indoor Scenes from Sparse Views
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）；vjia company（3vjia公司）；Tsinghua University（清华大学）
提出了一种同时实现室内场景三维重建和语义分割的新方法。与需要使用彩色相机和/或深度相机记录视频的现有方法不同，我们的方法仅需要少量的（例如，3-5)来自未校准稀疏视图的彩色图像作为输入，这大大简化了数据采集并扩展了适用场景。由于不同的视图有有限的重叠，我们的方法允许一个单一的图像作为输入来辨别场景的深度和语义信息。其关键问题是如何从单幅图像中恢复相对准确的深度，并通过融合很少的深度图来重建三维场景。为了解决这个问题，我们首先设计了一个迭代的深度架构IterNet，它交替地估计深度和语义分割，使它们相互受益。针对稀疏视图间存在的少量重叠和非刚性变换，提出了一种全局和局部联合配准方法，从稀疏视图中重建出具有语义信息的三维场景。我们还提供了一个新的室内合成数据集，同时提供逼真的高分辨率RGB图像，精确的深度图和像素级语义标签，用于数千个复杂的布局，用于训练和评估。在公开数据集和本文数据集上的实验结果表明，与现有方法相比，本文方法具有更准确的深度估计、更小的语义分割误差和更好的三维重建效果.
2019-06-19 cs.CV
PanDORA: Casual HDR Radiance Acquisition of Indoor Scenes for Image-based Lighting
Université Laval（洛瓦尔大学）；Adobe（Adobe公司）；Texas A&M University（德克萨斯农工大学）
PanDORA通过双摄像头和NeRF算法高效获取高动态范围辐射数据，提升室内场景真实光照重建效果。
2026-07-14 cs.CV
Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting
UC Berkeley（加州大学伯克利分校）
本文提出一种基于3D Gaussian Splatting的可扩展流水线，利用无人机捕获的360度视频进行室内新视角合成，通过分治策略和由粗到细的对齐策略实现大型场景的高质量并行重建。
2024-10-15 cs.CV
Cylindrical Mechanical Projector for Omnidirectional Fringe Projection Profilometry
Department of Mechanical Engineering, Yonsei University（延世大学机械工程系）
本文提出基于圆柱形机械投影仪的新型3D重建方法，通过旋转台和带有ON/OFF槽的圆柱形图案生成器实现多频相移光带的全方位投影，结合多波长解包裹算法和准校准技术，实现高精度3D重建。
2026-03-11 cs.CV
DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）；KAIST（韩国科学技术院）
我们提出了一种新的方法，用于在单目相机移动通过复杂和拥挤的室内环境时从单目相机估计深度，例如，百货公司或地铁站我们的方法通过对动态场景的训练，预测由静态背景和多个移动的人组成的整个场景的绝对尺度深度图。由于很难从拥挤的室内环境中收集密集的深度图，我们设计了我们的训练框架，而不需要从深度传感设备产生的深度。我们的网络利用传统3D重建方法生成的RGB图像和稀疏深度图来估计密集深度图。我们使用两个约束来处理非刚性移动的人的深度，而不明确跟踪他们的运动。我们证明，我们的方法提供了一致的改进，最近的深度估计方法的NAVERLABS数据集，其中包括复杂和拥挤的场景。
2021-08-12 cs.CV
X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras
研究提出X-lens模型用于异构相机实时度量深度估计，基于几何感知异构相机公式，含可学习校准令牌和雅可比参数化失真偏差，在多数据集训练，实验证明其精度高、参数少，在多种设置下性能有竞争力。
2026-07-16 cs.CV
Versatile Depth Estimator Based on Common Relative Depth Estimation and Camera-Specific Relative-to-Metric Depth Conversion
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）
典型的单目深度估计器是针对单个相机训练的，因此其性能在使用不同相机拍摄的图像上严重下降。为了解决这个问题，我们提出了一个通用的深度估计器（VDE），由一个共同的相对深度估计器（CRDE）和多个相对度量转换器（R2MC）。CRDE提取相对深度信息，并且每个R2MC转换相对信息以预测特定相机的度量深度。建议的VDE可以应付不同的场景，包括室内和室外的场景，只有1.12%的参数增加每个摄像机。实验结果表明，VDE支持多个摄像机有效和高效，也达到了最先进的性能，在传统的单摄像机的情况下。
2023-03-20 cs.CV
VAIR: Visuo-Acoustic Implicit Representations for Low-Cost, Multi-Modal Transparent Surface Reconstruction in Indoor Scenes
University of Michigan（密歇根大学）
本文提出VAIR方法，通过隐式神经表示融合视觉与声学传感，利用生成式潜在优化学习室内场景隐式表示，实现透明表面密集重建，在低成本平台数据集上显著优于现有技术。
2024-11-07 cs.CV
MonoIndoor: Towards Good Practice of Self-Supervised Monocular Depth Estimation for Indoor Environments
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak科技公司）；University of California Riverside（加州大学河滨分校）
用于室内环境的自监督深度估计至少在以下两个方面比其室外对应物更具挑战性：（i）室内序列的深度范围在不同帧之间变化很大，使得深度网络难以引起一致的深度线索，而室外场景中的最大距离大多保持与相机通常看到的天空相同;（ii）室内序列包含更多的旋转运动，这给姿势网络带来了困难，而室外序列的运动主要是平移的，特别是对于诸如KITTI的驱动数据集。在本文中，特别考虑到这些挑战和一组良好的做法是巩固提高室内环境中的自我监督单目深度估计的性能。所提出的方法主要由两个新的模块，\ie，深度分解模块和残余姿态估计模块，其中每一个被设计为分别解决上述挑战。每个模块的有效性通过仔细进行的消融研究和三个室内数据集，\ie，EuRoC，NYUv 2和7场景的最先进的性能的演示。
2021-07-28 cs.CV
Unsupervised Monocular Depth Prediction for Indoor Continuous Video Streams
Technical University of Munich（慕尼黑工业大学）
本文研究了无监督的单目深度预测问题。现有的无监督深度预测算法大多是针对室外场景开发的，而室内环境下的深度预测工作目前还非常缺乏。因此，这项工作的重点是缩小差距，首先评估现有的方法在室内环境，然后改善国家的最先进的建筑设计。与典型的室外训练数据集（如具有运动约束的KITTI）不同，室内环境的数据包含更多的任意相机运动和两个连续图像之间的短基线，这会恶化用于姿态估计的网络训练。为了解决这个问题，我们提出了两种方法：首先，我们提出了一种新的重构损失函数来约束姿态估计，从而提高了预测视差图的准确性;其次，我们使用了一种带有翻转策略的集成学习以及中值滤波器，直接对输出视差图进行操作。我们在TUM RGB-D和自我收集的数据集上评估了我们的方法。结果表明，这两种方法优于以前的国家的最先进的无监督学习方法。
2019-11-20 cs.CV
SC-NeRF: NeRF-based Point Cloud Reconstruction using a Stationary Camera for Agricultural Applications
Iowa State University（爱荷华州立大学）
针对室内高通量植物表型设施中传统NeRF方法需移动相机的局限，提出SC-NeRF框架，通过固定相机结合物体旋转捕获图像，经姿态变换模拟相机移动实现点云重建，在植物表型应用中重建保真度高且无需复杂相机运动。
2025-04-15 cs.CV
LCAMV: High-Accuracy 3D Reconstruction of Color-Varying Objects Using LCA Correction and Minimum-Variance Fusion in Structured Light
LCAMV通过LCA校正和最小方差融合技术，实现对颜色变化物体的高精度3D重建，有效降低深度误差。
2026-03-11 cs.CV
FS-Depth: Focal-and-Scale Depth Estimation from a Single Image in Unseen Indoor Scene
针对未见室内场景单图深度估计的焦距与尺度模糊问题，提出FS-Depth模型，通过融合焦距特征与多尺度相对深度特征估计绝对深度，显著提升了跨数据集泛化能力并缓解3D重建变形。
2023-07-27 cs.CV
Casual Indoor HDR Radiance Capture from Omnidirectional Images
International Institute of Information Technology (IIIT)（国际信息技术研究所）；Université Laval（拉瓦尔大学）
我们提出了PanoHDR-NeRF，一个室内场景的完整HDR辐射场的神经表示，以及一个可以随意捕获它的管道，而无需复杂的设置或复杂的捕获协议。首先，用户通过在场景周围自由挥动现成的相机来捕获场景的低动态范围（LDR）全向视频。然后，LDR 2 HDR网络将捕获的LDR帧提升到HDR，用于训练定制的NeRF++模型。生成的PanoHDR-NeRF可以从场景的任何位置渲染完整的HDR图像。通过在真实场景的新测试数据集上进行实验，在训练期间未看到的位置捕获地面真实HDR辐射，我们表明PanoHDR-NeRF预测来自任何场景点的合理HDR辐射。我们还表明，预测的辐射可以合成正确的照明效果，使室内场景的增强与正确照明的合成对象。数据集和代码可在https://lvsn.github.io/PanoHDR-NeRF/上获得。
2022-10-19 cs.CV
A Single-shot-per-pose Camera-Projector Calibration System For Imperfect Planar Targets
Temple Univeristy（天普大学）；Rowan Univeristy（罗文大学）；HiScene Info. Technologies（亮风台信息技术）
现有的相机-投影仪校准方法通常使用估计的单应性将特征点从相机图像扭曲到投影仪图像，并且由于校准目标的不完美的平面性而经常遭受相机参数和噪声的误差。在本文中，我们提出了一个简单而强大的解决方案，明确应对这些挑战。根据结构光（SL）相机项目校准框架，精心设计的对应算法建立在De Bruijn图案之上。然后，这种对应关系用于初始相机-投影仪校准。然后，为了获得更多的鲁棒性对噪声，特别是那些从一个不完美的平面校准板，光束法平差算法的开发，以联合优化估计的相机和投影仪模型。除了鲁棒性之外，我们的解决方案对于每个校准板姿势只需要一次SL图案的拍摄，这在实践中比多次拍摄解决方案方便得多。在合成数据集和真实数据集上进行数据验证，在所有实验中，我们的方法比现有方法显示出明显的优势。
2018-10-17 cs.CV
LighthouseGS: Indoor Structure-aware 3D Gaussian Splatting for Panorama-Style Mobile Captures
Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院）
LighthouseGS通过利用室内结构和几何先验，提升单移动设备全景式捕捉的3D点估计和视图合成性能。
2026-02-11 cs.AI cs.CV cs.GR
Can NeRFs See without Cameras?
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
本文提出通过重新设计NeRF来利用多路径信号推断环境，应用于从稀疏Wi-Fi测量中推断室内平面图。
2026-02-07 cs.AI cs.CV
Self-Supervised Monocular Depth Estimation of Untextured Indoor Rotated Scenes
Delft University of Technology（代尔夫特理工大学）
自监督深度学习方法已经利用立体图像来训练单眼深度估计。虽然这些方法在室外数据集（如KITTI）上显示出很强的结果，但它们在室内环境中的监督方法与摄像机旋转的性能不匹配。室内，旋转场景是常见的较少限制的应用程序，并提出了两个原因的问题：丰富的低纹理区域和旋转下的图像的深度线索的复杂性增加。为了将自监督学习扩展到更一般的环境中，我们提出了两个补充。首先，我们提出了一种新的填充视差损失项，纠正无纹理区域中图像重建误差损失的模糊性。具体来说，我们插值视差在无纹理区域，使用周围的纹理区域的估计视差，并使用L1损失来纠正原来的估计。我们的实验表明，深度估计是大大提高了低纹理场景，没有任何损失的纹理场景，相比Monodepth由戈达尔等人。其次，我们表明，训练与应用程序的代表性旋转，在俯仰和滚动，是足以显着提高性能在整个范围内的预期旋转。我们证明，深度估计是成功地推广的性能不会丢失时，没有相机旋转的测试集上进行评估。这些发展一起使得能够更广泛地使用用于复杂环境的单目深度估计的自监督学习。
2021-06-25 cs.CV cs.LG
Joint 2D-3D-Semantic Data for Indoor Scene Understanding
Stanford University（斯坦福大学）；University of California Berkeley（加州大学伯克利分校）
我们提出了一个大规模室内空间的数据集，提供了各种相互注册的方式从2D，2.5D和3D域，实例级的语义和几何注释。该数据集覆盖面积超过6,000平方米，包含超过70,000张RGB图像，以及相应的深度，表面法线，语义注释，全局XYZ图像（全部以常规和360°等矩形图像的形式）以及相机信息。它还包括注册的原始和语义注释的3D网格和点云。该数据集可以开发联合和跨模态学习模型，以及利用大规模室内空间中存在的噪声的潜在无监督方法。该数据集可在此处获得：http://3Dsemantics.stanford.edu/
2017-04-06 cs.CV cs.RO
A Note on Geometric Calibration of Multiple Cameras and Projectors
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；University of Toulouse, Toulouse INP – IRIT（图卢兹大学，图卢兹国立理工学院 – 图卢兹计算机研究所）
针对多投影仪-相机系统同步几何标定研究不足的问题，本文介绍一套实际标定流程，重点说明标定物设计与图像处理流水线，并以重投影误差同 Zhang 标定法等经典方法定量比较。
2024-10-24 cs.CV
RGB-only Active 3D Scene Graph Generation for Indoor Mobile Robots
Mobile Robotics Group (MRG)（移动机器人小组）；Visual and Multimodal Applied Learning Lab (VANDAL)（视觉与多模态应用学习实验室）
本文提出了一种仅使用RGB输入的主动3D场景图生成方法，通过统一感知与规划的结构化表示，解决了传统方法对专用传感器的依赖问题，并在Replica数据集上验证了其有效性。
2026-05-18 cs.AI cs.CV cs.RO
Inter-sphere consistency-based method for camera-projector pair calibration
College of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
针对相机-投影仪对标定中仅用两球标定这一未妥善解决的不适定难题，提出基于球间参数一致性构建约束的方法，实现更灵活的标定。
2023-03-10 cs.CV
A Comparative Study of Coarse to Dense 3D Indoor Scene Registration Algorithms
Ecole Militaire Polytechnique（军事理工学院）
三维对准已经成为三维扫描技术中非常重要的一部分。例如，我们可以将对齐过程分为四个步骤：关键点检测、关键点描述、初始姿态估计和对齐细化。研究人员为每一步的文献提供了几种方法，这表明自然需要进行比较研究，以获得更合适的选择。在这项工作中，我们提出了一个描述和评估的不同方法用于3D注册，特别关注RGB-D数据，以找到最佳组合，允许一个完整的和更准确的3D重建的室内场景与廉价的深度相机。
2021-10-28 cs.CV cs.RO
Text-to-Image Generation for Projector-Camera System Registration
Ningbo University（宁波大学）；University of California, Irvine（加利福尼亚大学欧文分校）
针对投影仪-相机系统配准中现有方法的局限，提出基于深度神经网络的方法，从文本提示生成自然图像，增强配准精度，经实验验证该方法实用有效。
2026-07-07 cs.CV
A Projector-Camera System Using Hybrid Pixels with Projection and Capturing Capabilities
Osaka University（大阪大学）；Graduate School of Engineering Science（工学研究科）
我们提出了一种新的投影仪相机系统（ProCams），其中每个像素都有投影和捕获能力。我们提出的ProCams解决了获得投影仪和相机之间精确像素对应的困难。我们实现了一个ProCams的概念验证原型，并证明了其适用于动态投影映射。
2021-07-11 cs.CV cs.GR
Breaking the Scalability Limit of Multi-Projector Calibration with Embedded Cameras
The University of Osaka（大阪大学）
本文提出一种新校准框架，通过在校准目标表面嵌入摄像头，实现多投影机同时校准，显著提升大规模投影映射系统的可扩展性。
2026-04-27 cs.CV cs.GR
LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry
Institute of Industrial Science, The University of Tokyo（东京大学产业技术研究所）；Microsoft（微软）
本文提出了一种无目标自动相机激光雷达定标方法。我们的方法是手眼校准框架的扩展到2D-3D校准。通过使用传感器融合里程计的方法，缩放相机运动的计算具有高精度。除此之外，我们阐明了适合这种校准方法的运动。该方法只需要三维点云和摄像机图像，不需要其他信息，如激光雷达的反射率和初始外参数。在实验中，我们证明了我们的方法使用几个传感器配置在室内和室外场景，以验证其有效性。我们的方法的准确性达到比其他可比的国家的最先进的方法。
2018-04-14 cs.CV cs.RO
Panoramic Depth Estimation via Supervised and Unsupervised Learning in Indoor Scenes
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；National Engineering Research Center of Optical Instrumentation, Zhejiang University（浙江大学国家光学仪器工程技术研究中心）
深度估计作为将二维图像转换到三维空间的必要线索，在机器视觉领域得到了广泛的应用。然而，传统的立体匹配深度估计算法由于噪声大、精度低、多摄像机标定要求严格等原因，在实现全方位360度几何感知方面受到限制。在这项工作中，对于一个统一的周围感知，我们引入全景图像，以获得更大的视野。我们扩展PADENet首次出现在我们以前的会议工作室外场景的理解，执行全景单眼深度估计与室内场景的重点。同时，我们改进了适应全景图像特点的神经网络的训练过程。此外，本文将传统的立体匹配算法与深度学习方法相融合，进一步提高了深度预测的准确性。通过大量的实验，验证了本文提出的室内场景感知方案的有效性。
2021-08-18 cs.CV cs.RO
Beyond Controlled Environments: 3D Camera Re-Localization in Changing Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Chalmers University of Technology（查尔姆斯理工大学）；CIIRC, Czech Technical University in Prague（捷克布拉格捷克理工大学信息、机器人与控制研究所）；Five AI Ltd.（Five AI有限公司）；Google Inc.（谷歌公司）
长期的相机重新定位是众多计算机视觉和机器人应用的重要任务。虽然存在针对照明、天气和季节变化的各种户外基准，但对室内发生的外观变化的关注要少得多。这导致了流行的室内基准测试（专注于静态场景）与许多现实应用感兴趣的室内环境之间的不匹配。在本文中，我们调整了3RScan -一个最近推出的室内RGB-D数据集，用于对象实例重新定位-创建RIO 10，这是一个新的长期相机重新定位基准，专注于室内场景。我们提出了新的指标来评估相机重新定位，并探讨如何国家的最先进的相机重新定位器执行根据这些指标。我们还详细研究了不同类型的场景变化如何影响不同方法的性能，基于在给定的RGB-D帧中检测这种变化的新方法。我们的研究结果清楚地表明，长期的室内重新定位是一个未解决的问题。我们的基准测试和工具可在waldjohannau.github.io/RIO10上公开获取
2020-08-05 cs.CV
Unveiling personnel movement in a larger indoor area with a non-overlapping multi-camera system
Tsinghua University（清华大学）
监控摄像机被广泛应用于室内占用测量和人体运动感知，有利于建筑能源管理和社会安全。针对单摄像机视角有限以及摄像机间缺乏协作的问题，提出了一种非重叠多摄像机系统来扩大监控范围，并致力于检索不同摄像机视角下出现的同一个人。该系统部署在办公楼，并收集了四天的视频。通过训练一个深度卷积神经网络，该系统首先提取每个人的图像，从不同的相机检测到的外观特征嵌入，相似性比较。然后，一个随机的相机间的过渡矩阵相关联的外观特征，以进一步改善的人重新识别排名的结果。最后，给出了噪声抑制的解释，以分析匹配的改进。本文扩展了基于非重叠多摄像机的室内运动感知范围，在不引入额外类型传感器的情况下提高了行人重新识别的准确性。
2021-04-10 cs.CV
Robust Neural Routing Through Space Partitions for Camera Relocalization in Dynamic Indoor Environments
Shandong University（山东大学）；AICFVE, Beijing Film Academy（北京电影学院未来影像高精尖创新中心）；Stanford University（斯坦福大学）；Peking University（北京大学）；Google Research（谷歌研究院）
将摄像机定位在已知的室内环境中是场景映射、机器人导航、AR等的关键构建块。最近的进展通过在2D/3D摄像机空间和3D世界空间中的坐标之间建立的2D/3D-3D对应关系上进行优化来估计摄像机姿态。这种映射是利用卷积神经网络或决策树仅使用静态输入图像序列来估计的，这使得这些方法容易受到在现实世界中相当常见但具有挑战性的动态室内环境的影响。为了解决上述问题，在本文中，我们提出了一种新的离群感知神经树，它将深度学习和决策树方法这两个世界联系起来。它建立在三个重要的模块上：（a）在室内场景上的分层空间划分以构建决策树;（b）神经路由功能，实现为深度分类网络，用于更好的3D场景理解;以及（c）离群值拒绝模块，用于在分层路由过程中过滤掉动态点。我们提出的算法进行评估RIO-10基准开发的摄像机重新定位在动态室内环境中。它通过空间分区实现了鲁棒的神经路由，在相机姿态精度方面比最先进的方法高出约30%，同时运行速度非常快。
2021-04-02 cs.CV
DeProCams: Simultaneous Relighting, Compensation and Shape Reconstruction for Projector-Camera Systems
Stony Brook University（石溪大学）
基于图像的重光照、投影补偿和深度/法线重建是投影相机系统（ProCams）和空间增强现实（SAR）的三个重要任务。虽然它们共享查找投影仪-相机图像映射的类似管道，但在传统上，它们是独立解决的，有时具有不同的先决条件，设备和采样图像。在实践中，这可能是麻烦的SAR应用程序来解决他们逐一。在本文中，我们提出了一种名为DeProCams的新型端到端可训练模型，用于显式学习ProCams的光度和几何映射，一旦训练完成，DeProCams可以同时应用于这三个任务。DeProCams将投影机-摄像机图像映射显式分解为三个子过程：阴影属性估计，粗略直射光估计和真实感神经渲染。DeProCams解决的一个特殊挑战是遮挡，为此我们利用极线约束，并提出了一种新的可微分投影机直射光掩模。因此，它可以与其他模块一起端到端学习。之后，为了提高收敛性，我们应用光度和几何约束，使中间结果是合理的。在我们的实验中，DeProCams显示出明显的优势，比以前的艺术有前途的质量，同时是完全区分。此外，通过在一个统一的模型中解决这三个任务，DeProCams放弃了对额外的光学设备，辐射校准和结构光的需求。
2021-01-24 cs.CV cs.GR
IM360: Large-scale Indoor Mapping with 360 Cameras
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出IM360大规模室内3D建图流程，融合360球面相机模型、密集匹配SfM与神经纹理优化，在真实场景及两个基准上取得更优重建、定位和配准性能。
2025-09-28 cs.CV
DIML/CVL RGB-D Dataset: 2M RGB-D Images of Natural Indoor and Outdoor Scenes
本手册旨在提供DIML/CVL RGB-D数据集的详细描述。该数据集由来自各种自然室内和室外场景的2 M彩色图像及其相应的深度图组成。室内数据集使用Microsoft Kinect v2构建，而室外数据集使用立体相机（ZED立体相机和内置立体相机）构建。表I总结了我们数据集的详细信息，包括采集、处理、格式和工具箱。更多详情请参见第二节和第三节。
2021-10-22 cs.CV
TIMo -- A Dataset for Indoor Building Monitoring with a Time-of-Flight Camera
DFKI – German Research Center for Artificial Intelligence（德国人工智能研究中心）；IEE S.A Luxembourg（IEE 卢森堡公司）
我们提出了TIMo（飞行时间室内监控），这是一个使用飞行时间（ToF）相机捕获的基于视频的室内空间监控数据集。由此产生的深度视频的特点是人们执行一组不同的预定义动作，我们提供详细的注释。人员检测和异常检测是两个目标应用。大多数现有的监控视频数据集提供灰度或RGB视频。另一方面，深度信息在这类数据集中仍然是罕见的，尽管在计算机视觉的其他研究领域中很受欢迎并且更常见。我们的数据集解决了监控视频数据集领域的这一差距。记录发生在两个不同的位置，ToF相机设置在场景上的自上而下或倾斜视角。该数据集可在https://vizta-tof.kl.dfki.de/timo-dataset-overview/上公开获得。
2021-08-27 cs.CV
ICPS-net: An End-to-End RGB-based Indoor Camera Positioning System using deep convolutional neural networks
Faculty of Media Technology and Engineering, Iran Broadcasting University（伊朗广播大学媒体技术与工程学院）；Alpha Reality, AR/VR Solution Company（Alpha Reality AR/VR解决方案公司）
在没有GPS数据可用性的区域内进行室内定位和导航是一个具有挑战性的问题。有一些应用，如增强现实，自动驾驶，隧道内无人机的导航，其中室内定位变得至关重要。在本文中，基于深度网络的系统的串联架构，首次据我们所知，是为了解决这个问题。该结构在通过使用摄影测量扫描所需区域段获得的场景图像上进行训练。基于EfficientNet的CNN结构被训练为场景的分类器，随后是被训练为作为回归器执行的MobileNet CNN结构。所提出的系统实现了令人惊讶的笛卡尔位置和四元数的相机信息的精度。
2019-10-14 cs.CV
3D reconstruction using Structure for Motion
本研究针对室内空间三维重建问题，采用搭载立体配置HDR相机的室内移动地面机器人采集图像数据，将纹理与空间特征的二维图像输入算法实现深度图可视化。
2023-06-10 cs.AI cs.CV cs.LG
Event Camera Based Real-Time Detection and Tracking of Indoor Ground Robots
New Jersey Institute of Technology（新泽西理工学院）
提出了一种利用事件摄像机对多个地面移动机器人进行实时的【形】检测与跟踪的方法。该方法使用基于密度的空间聚类的应用程序与噪声（DBSCAN）来检测机器人和一个单一的k维（$k - d$）树，以准确地跟踪他们，因为他们在室内舞台上移动。在面对事件摄像机噪声和缺乏事件（由于机器人缓慢移动或停止）的情况下，仍能保持稳健的检测和跟踪。一个现成的RGB相机为基础的跟踪系统被用来提供地面真相。进行包括多达4个机器人的实验，以研究i）变化的DBSCAN参数，ii）事件累积时间，iii）竞技场中的机器人数量，iv）机器人的速度，以及v）环境光条件的变化对检测和跟踪性能的影响。实验结果表明，100%的检测和跟踪保真度，在面对事件摄像机噪声和机器人停止测试涉及多达3个机器人（和93%以上的4个机器人）。当光照条件发生变化时，观察到检测和跟踪保真度的优雅退化。
2021-08-02 cs.CV
Indoor Layout Estimation by 2D LiDAR and Camera Fusion
University of Notre Dame（圣母大学）
本文提出了一种室内布局估计和重建算法，通过融合的一系列捕获的图像和激光雷达数据集。在所提出的系统中，可移动平台收集强度图像和2D LiDAR信息。姿态估计和语义分割是通过将LiDAR点与图像中的线段对齐来联合计算的。对于墙壁与地面正交的室内场景，将对齐问题分解为自顶向下的视图投影和二维相似变换估计，并采用递归随机抽样一致性（R-RANSAC）算法求解。当平台在整个环境中移动时，可以通过集成新的扫描来生成、评估和优化假设。该方法避免了大量的先验训练或长方体布局假设的需要，这是更有效和实用的大多数以前的室内布局估计方法相比。多传感器融合允许提供准确的深度估计和高分辨率视觉信息的能力。
2020-01-15 cs.CV
LiDAR ICPS-net: Indoor Camera Positioning based-on Generative Adversarial Network for RGB to Point-Cloud Translation
Iran Broadcasting University (IRIBU)（伊朗广播大学（IRIBU））；Alpha Reality
室内定位旨在在没有GPS数据可用性的区域内导航，并且可以用于许多应用，例如增强现实、特别是封闭区域和隧道内的自动驾驶。在本文中，提出了一种基于深度神经网络的架构来解决这个问题。在这方面，卷积神经网络的串联集合以及Pix 2 Pix GAN网络已经被利用来分别作为场景分类器、场景RGB图像到点云转换器和位置回归器来执行。所提出的架构优于以前的作品，包括我们最近的工作，在这个意义上，它使数据生成任务更容易和更强大的场景小的变化，而定位的准确性是非常好的，笛卡尔位置和四元数信息的相机。
2019-11-14 cs.CV
2D LiDAR and Camera Fusion Using Motion Cues for Indoor Layout Estimation
University of Notre Dame（圣母大学）
本文提出了一种新的室内布局估计系统的基础上融合的二维激光雷达和强度相机数据。地面机器人探索具有单层地板和垂直墙壁的室内空间，并收集一系列强度图像和2D LiDAR数据集。LiDAR提供准确的深度信息，而相机捕获高分辨率数据用于语义解释。通过将LiDAR点作为房间轮廓的样本与图像中的地墙边界对齐来联合计算传感器输出的对齐和图像分割。将对准问题解耦为自顶向下的视图投影和二维相似变换估计，根据两个传感器的垂直消失点和运动来求解。递归随机样本共识算法的实现，以产生，评估和优化多个假设的顺序测量。该系统允许联合分析来自不同传感器的几何解释，而无需离线校准。在LiDAR观测的辅助下，消除了地物边界提取图像中的模糊性，提高了语义分割的准确性。使用融合数据细化定位和映射，这使得系统能够在具有低纹理或低几何特征的场景中可靠地工作。
2022-04-24 cs.CV
Evaluation Protocols and Validation for Cameras in Indoor Healthcare Monitoring
1 School of Engineering Mathematics；Technology, University of Bristol, UK 2 School of Computer Science, University of Bristol, UK 3 Translational；Clinical Research Institute, Faculty of Medical Sciences, Newcastle University, UK 4 NIHR Newcastle Biomedical Research Centre, Newcastle University；The Newcastle upon Tyne Hospitals NHS Foundation Trust, UK
提出两种技术验证协议，系统评估五款摄像头在可控室内条件下的计量性能和人体姿态估计支持能力，为医疗监测中的摄像头选型提供依据。
2026-06-25 cs.CV
APS: A Large-Scale Multi-Modal Indoor Camera Positioning System
Iran Broadcasting University（伊朗广播大学）；Alpha Reality（阿尔法现实（AR/VR解决方案公司））
在没有GPS信号的封闭区域内导航是一项极具挑战性的任务。为了解决这一问题，近年来基于图像的方法引起了许多研究者的关注。这些方法要么提取特征（例如使用SIFT或SOSNet）并将描述性特征映射到相机位置和旋转信息，要么部署一个端到端系统，直接从RGB图像中估计此信息，类似于PoseNet。虽然前一种方法在测试过程中遭受沉重的计算负担，后者遭受缺乏准确性和鲁棒性对环境变化和对象运动。然而，端到端系统在测试和推理过程中非常快，并且非常适合现实世界的应用，尽管它们的训练阶段可能比以前的系统更长。在本文中，一种新的多模式的端到端的大规模室内定位系统，即APS（阿尔法定位系统），它集成了Pix2Pix GAN网络重建输入查询图像的点云对，与深度CNN网络，以鲁棒地估计相机的位置和旋转信息。对于这种集成，现有的数据集具有用于室内环境的成对RGB/点云图像的缺点。因此，我们创建了一个新的数据集来处理这种情况。通过实施所提出的APS系统，我们可以实现高度精确的相机定位，精度水平小于一厘米。
2021-02-08 cs.CV
YOWO: You Only Walk Once to Jointly Map An Indoor Scene and Register Ceiling-mounted Cameras
Fujitsu Research（富士通研究所）
YOWO通过一次遍历场景，联合映射室内场景并注册天花板安装摄像头，提升位置感知应用性能。
2025-11-20 cs.CV
