CHOrD: Generation of Collision-Free, House-Scale, and Organized Digital Twins for 3D Indoor Scenes with Controllable Floor Plans and Optimal Layouts
KE Holdings Inc.（贝壳找房（原链家））；University of Cambridge（剑桥大学）
本文提出CHOrD框架，利用基于2D图像的中间布局表示和多模态平面图控制，生成房屋尺度、无碰撞、层次化且空间连贯的3D室内数字孪生，并在3D-FRONT等数据集上达到SOTA。
2025-03-15 cs.AI cs.CV cs.LG
Learning Indoor Layouts from Simple Point-Clouds
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
重建室内空间的布局已经成为日益增长的基于室内位置的服务的关键部分。在基于室内位置的服务的扩散中的关键挑战之一是由于捕获室内空间模型的复杂性质（例如，平面图）的现有建筑物。在本文中，我们提出了一个系统来自动生成平面图，可以识别房间从点云通过智能手机，如谷歌的探戈。特别是，我们提出了两种方法-基于递归神经网络的方法使用指针网络和基于卷积神经网络的方法使用Mask-RCNN从点云识别房间（从而楼层平面图）。在不同数据集上的实验结果表明，Intersection-over-Union得分约为0.80-0.90，这表明我们的模型可以有效地识别异构环境中的房间并重新生成房间的形状。
2021-08-07 cs.CV cs.LG
ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing
Stanford University（斯坦福大学）
ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑，具备明确房间边界和资产无关部署能力，支持通过自然语言添加、移除和交换物体，实验在物体添加和完整场景合成质量上超越现有方法。
2026-06-29 cs.CV
Extracting real estate values of rental apartment floor plans using graph convolutional networks
Osaka Metropolitan University（大阪都立大学）
本文提出基于访问图提取与图卷积网络（GCN）的模型，结合特征价格法估计出租公寓平面图的房地产价值，显著提升租金估计精度并可分析影响价值的空间配置规则。
2023-03-23 cs.AI cs.CV cs.LG
Fusion-DHL: WiFi, IMU, and Floorplan Fusion for Dense History of Locations in Indoor Environments
Simon Fraser University（西蒙菲莎大学）；Sookmyung Women’s University（淑明女子大学）
本文提出了一种多模态传感器融合算法，该算法融合WiFi、IMU和平面图信息，以推断室内环境中准确且密集的位置历史。该算法使用1）惯性导航算法来从IMU传感器数据估计相对运动轨迹; 2）工业中基于WiFi的定位API来获得位置约束并对轨迹进行地理定位;以及3）卷积神经网络来细化位置历史以与平面图一致。我们已经开发了一个数据采集应用程序，以构建一个新的数据集，其中包含WiFi、IMU和平面图数据，以及4座大学建筑和3个购物中心的地面实况位置。我们的定性和定量评估表明，该系统能够产生两倍的准确性和几个数量级的密集的位置历史比目前的标准，同时需要最小的额外能源消耗。我们将公开分享我们的代码、数据和模型。
2021-05-18 cs.CV cs.RO
LLM-Guided Agentic Floor Plan Parsing for Accessible Indoor Navigation of Blind and Low-Vision People
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文提出一种基于代理的框架，将单张楼层平面图转换为结构化的知识库，生成安全的无障碍导航指令。系统通过多代理模块生成空间知识图谱，并通过路径规划器生成导航指令，实验结果显示在真实场景和基准数据集上均优于单次调用基线。
2026-04-27 cs.AI cs.CV cs.HC
FlatLands: Indoor floormap completion from a single egocentric view
School of Computing, The Australian National University, Canberra, Australia（澳大利亚国立大学计算机学院，堪培拉，澳大利亚）
本文提出FlatLands数据集和基准，用于单视角鸟瞰图地板完成。通过27万次真实室内场景观测，提供对齐的观测、可见性、有效性及真实BEV地图，支持分布内和分布外评估，比较多种模型并提出端到端的RGB到地板地图管道。
2026-11-04 cs.AI cs.CV cs.RO
Vision-Based Localization and LLM-based Navigation for Indoor Environments
Brown University（布朗大学）；The University of Alabama（阿拉巴马大学）；Department of Civil Construction & Environmental Engineering（土木建设与环境工程系）
本研究提出结合ResNet-50视觉定位与LLM导航的室内导航方法，在真实走廊实现96%定位准确率和75%导航指令准确率，验证了无需基础设施的可扩展方案潜力。
2025-08-11 cs.AI cs.CV cs.LG
Robot Localization in Floor Plans Using a Room Layout Edge Extraction Network
University of Freiburg（弗莱堡大学）；Toyota Research Institute（丰田研究院）
室内定位是服务机器人部署的关键因素之一。虽然已经提出了几种成功的室内定位技术，但它们中的大多数依赖于从用于定位的相同传感器模态收集的数据生成的地图。通常，需要专家进行繁琐的劳动来获取该数据，从而限制了系统的就绪性以及其对于没有经验的操作员的安装容易性。在本文中，我们提出了一个内存和计算效率的单目摄像机为基础的定位系统，允许机器人估计其姿势给定的建筑平面图。我们的方法采用了一个卷积神经网络预测房间布局边缘从一个单一的摄像头图像和估计机器人姿态使用粒子滤波器，匹配提取的边缘到给定的平面图。我们使用多个真实世界的实验来评估我们的定位系统，并证明它具有可靠的室内导航所需的鲁棒性和准确性。
2019-07-12 cs.CV cs.LG cs.RO
Multimodal Indoor Localization Using Crowdsourced Radio Maps
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Huawei Technologies (UK)（华为技术（英国）公司）；University College London（伦敦大学学院）
本研究针对室内定位中平面图可用性与更新性不足的问题，提出利用众包无线电地图替代平面图的多模态IPS框架，集成不确定性感知神经网络与定制贝叶斯融合技术，在真实场景中较最优基线提升约25%性能。
2024-03-12 cs.CV eess.SP
Generating Topological Structure of Floorplans from Room Attributes
Northeastern University（东北大学）；Zillow Group（Zillow集团）
室内空间的分析需要拓扑信息。在本文中，我们提出了从房间属性中提取拓扑信息，我们称之为迭代和自适应图拓扑学习（ITL）。ITL逐步预测房间之间的多种关系;在每次迭代中，它改进了节点嵌入，这反过来又有助于生成更好的拓扑图结构。这种迭代改进节点嵌入和拓扑图结构的概念与\cite{chen2020iterative}具有相同的精神。然而，当\cite{chen2020iterative}基于节点相似性计算邻接矩阵时，我们使用关系解码器来学习图度量以提取房间相关性。使用一个新的具有挑战性的室内数据集的实验验证了我们提出的方法。对版图拓扑预测和版图生成应用的定性和定量评价也证明了ITL的有效性。
2022-04-26 cs.CV
PALMS+: Modular Image-Based Floor Plan Localization Leveraging Depth Foundation Model
University of California, Santa Cruz（加州大学圣克ruz分校）
针对现有无基础设施室内定位方法受限于手机LiDAR短测距与布局歧义的问题，提出模块化图像定位系统PALMS+，结合Depth Pro深度基础模型与平面图几何匹配，在多数据集上实现了更优的静态与序列定位精度。
2025-11-12 cs.AI cs.CV cs.RO
NVSim: Novel View Synthesis Simulator for Large Scale Indoor Navigation
Gachon University（嘉泉大学）
该研究提出NVSim框架，仅用普通图像序列构建大规模可导航室内模拟器，通过地面感知高斯溅射解决地面伪影问题，搭配无网格可通行性检查算法构建导航图，克服了传统3D扫描的成本与扩展性限制。
2025-10-28 cs.CV cs.RO
Constructing Metric-Semantic Maps using Floor Plan Priors for Long-Term Indoor Localization
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出利用楼层平面图先验构建度量-语义地图，通过单目3D物体检测实现长期室内定位，实验验证了方法的有效性和鲁棒性。
2023-10-13 cs.CV cs.RO
Extracting Semantic Indoor Maps from Occupancy Grids
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子股份公司）
在现实的、不受约束的场景中运行的任何自主系统的主要挑战是管理现实世界的复杂性和不确定性。虽然目前还不清楚人类和其他高等动物是如何掌握这些问题的，但很明显，抽象起着重要作用。抽象概念的使用允许在更高级别上定义系统行为。在本文中，我们专注于室内环境的语义映射。我们提出了一种方法来提取一个抽象的平面图从典型的网格地图使用贝叶斯推理。这个过程的结果是在抽象概念上定义的环境的概率生成模型。它非常适合更高层次的推理和通信目的。我们使用真实世界的数据证明了该方法的有效性。
2020-02-19 cs.CV cs.RO
SlugTrails: An Egocentric Benchmark for Floor Plan Localization in Large Buildings
University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对大型建筑自我中心视觉的楼层平面定位基准SlugTrails，通过多协议评估发现预训练模型效果差，微调显著提升性能，表明数据是当前瓶颈。
2026-09-18 cs.CV
FloorGenT: Generative Vector Graphic Model of Floor Plans for Robotics
KTH Royal Institute of Technology（瑞典皇家理工学院）
平面图是推理和沟通室内环境的基础。在本文中，我们表明，从一个特定的角度来看，通过建模的线段序列的平面图，自回归序列建模的最新进展，可以利用模型和预测平面图。将线段规范化并转换为令牌序列，并使用基于注意力的神经网络来拟合下一个令牌的一步分布。我们将网络拟合到从一组大规模平面图中获得的序列，并在四种情况下展示了模型的功能：新的平面图生成，部分观察平面图的完成，从模拟传感器数据生成平面图，最后，平面图模型在预测最短距离时的适用性，部分环境知识。
2022-03-07 cs.CV cs.RO
Online Semantic Exploration of Indoor Maps
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子股份公司）
在本文中，我们提出了一种方法来提取一个抽象的平面图从典型的网格地图使用贝叶斯推理。这个过程的结果是在抽象概念上定义的环境的概率生成模型。它非常适合更高层次的推理和通信目的。我们通过真实世界的实验证明了该方法的有效性。
2020-02-21 cs.CV cs.RO
Bayesian Surprise in Indoor Environments
LMU Munich（慕尼黑大学）；MaibornWolff（MaibornWolff公司）
本文提出了一种新的方法来识别意外结构的二维平面图使用贝叶斯惊喜的概念。考虑到一个人的期望是感知空间的一个重要方面，我们利用贝叶斯惊喜的理论来鲁棒模型的期望，从而在建筑结构的背景下惊喜。我们使用Isovist分析，这是一种流行的空间语法技术，把定性的对象属性转化为定量的环境信息。由于等视线是特定于位置的可见性模式，因此等视线序列描述了沿着空间中的多个点移动期间的空间感知。然后，我们在由这些isovist读数组成的特征空间中使用贝叶斯惊喜。为了证明我们的方法的适用性，我们采取“快照”的代理的本地环境，以提供一个简短的列表的图像，通过一个二维室内环境的遍历轨迹的特征。这些指纹代表了旅游中令人惊讶的区域，表征了遍历的地图，并使室内LBS能够更多地关注重要区域。鉴于这一想法，我们建议使用“惊喜”作为一个新的方面的背景下，在室内基于位置的服务（LBS）。LBS的代理，诸如移动机器人或计算机游戏中的非玩家角色，可以使用上下文惊奇来更多地关注地图的重要区域，以便更好地使用或理解平面图。
2020-04-11 cs.CV cs.LG stat.ML
FR-SLAM: A SLAM Improvement Method Based on Floor Plan Registration
Suzhou Campus Southeast University（东南大学苏州校区）；Nanjing center for applied mathematics（南京应用数学中心）；School of Automation（自动化学院）；School of Cyber Science and Engineering（网络科学与工程学院）；Shenzhen Research Institute Southeast University（东南大学深圳研究院）；Samsung Electronics（三星电子）；Samsung Electronics(China) R&D Center（三星电子（中国）研发中心）
FR-SLAM通过基于形态学的楼层平面图配准算法，实现快速地图获取与高效路径规划，提高配准精度并缩短到达目标时间。
2024-07-16 cs.CV cs.RO
Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path
Simon Fraser University（西蒙弗雷泽大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出了一种新的方法，自动平面图重建RGBD扫描，室内测绘研究的一个重要里程碑。该方法，被称为Floor-SP，制定了一个新的优化问题，其中房间坐标下降顺序解决动态规划优化布图结构。目标函数由深度神经网络引导的数据项、鼓励相邻房间共享角落和墙壁的一致性项以及模型复杂性项组成。与大多数其他方法不同，该方法不需要使用阈值进行角点/边缘检测。我们已经对527套公寓或房屋的生产质量RGBD扫描进行了评估，其中包括许多非曼哈顿结构的单位。定性和定量评估表明，与当前最先进的技术相比，性能有了显著的提高。请参阅我们的项目网站http://jcchen.me/floor-sp/获取代码和数据。
2019-08-19 cs.CV
3D reconstruction using Structure for Motion
本研究针对室内空间三维重建问题，采用搭载立体配置HDR相机的室内移动地面机器人采集图像数据，将纹理与空间特征的二维图像输入算法实现深度图可视化。
2023-06-10 cs.AI cs.CV cs.LG
FloorNet: A Unified Framework for Floorplan Reconstruction from 3D Scans
Washington University in St. Louis（圣路易斯华盛顿大学）；Simon Fraser University（西蒙弗雷泽大学）
这项室内地图研究的最终目标是通过口袋里的智能手机穿过一所房子来自动重建平面图。本文通过提出FloorNet来解决这个问题，FloorNet是一种新型的深度神经架构。挑战在于跨越大3D空间的RGBD流的处理。FloorNet通过三个神经网络分支有效地处理数据：1）PointNet具有3D点，利用3D信息; 2）CNN具有自顶向下视图中的2D点密度图像，增强局部空间推理; 3）CNN具有RGB图像，利用完整的图像信息。FloorNet跨分支交换中间功能，以充分利用所有架构的最佳性能。我们通过使用Google Tango手机获取155个住宅或公寓的RGBD视频流并注释完整的平面图信息，创建了平面图重建的基准。我们的定性和定量评价表明，三个分支的融合有效地提高了重建质量。我们希望，该文件连同基准将是一个重要的一步，解决一个具有挑战性的矢量图形重建问题。代码和数据可在https://github.com/art-programmer/FloorNet上获得。
2018-03-31 cs.CV
Indoor Heat Estimation from a Single Visible-Light Panorama
Carnegie Mellon University（卡内基梅隆大学）
提出利用成对室内外HDR全景图联合估计室内光照与温度分布的图像渲染方法，并通过红外热像验证，可支持物理可信的虚拟家居可视化。
2025-10-20 cs.CV
FloorSAM: SAM-Guided Floorplan Reconstruction with Semantic-Geometric Fusion
College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；Joint Laboratory of Industrial Intelligent Technologies, Russia, China（中俄工业智能技术联合实验室）；Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；United Institute of Informatics Problems of the National Academy of Belarus（白俄罗斯国家科学院信息问题联合研究所）；Saint Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦科研中心）
FloorSAM将点云密度图与SAM结合，通过自适应投影、提示点分割和轮廓规则化，从LiDAR数据中精确重建平面图并恢复房间拓扑关系，在噪声和复杂场景下优于传统方法。
2025-09-19 cs.AI cs.CV
SUGAMAN: Describing Floor Plans for Visually Impaired by Annotation Learning and Proximity based Grammar
在本文中，我们提出了SUGAMAN（监督和统一框架使用语法和注释模型的访问和导航）。SUGAMAN是一个印地语单词，意思是“从一个地方到另一个地方的轻松通道”。SUGAMAN为视障人士从一个给定的平面图图像合成文字描述。视障人士可以使用SUGAMAN生成的文本描述在室内环境中导航。在文本阅读器软件的帮助下，目标用户可以了解建筑物内的房间和家具的布置以进行导航。SUGAMAN是第一个用于描述平面图并为建筑物内的无障碍运动提供方向的框架。我们从$1355$房间图像样本中学习房间类别的$5$类，并在监督学习范式下进行学习。这些学习的注释被馈送到描述合成框架中以产生平面图图像的整体描述。我们展示了各种监督分类器在房间学习中的性能。我们还提供了一个系统生成的和人类的书面描述的比较分析。SUGAMAN在具有挑战性的、真实世界的平面图图像上表现出最先进的性能。这项工作可以应用于了解历史古迹的平面图，建筑物的稳定性分析和检索等领域。
2018-11-14 cs.CV cs.LG cs.MM
OCRAPOSE II: An OCR-based indoor positioning system using mobile phone images
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
在本文中，我们提出了一个OCR（光学字符识别）为基础的定位系统称为OCRAPOSE II，这是适用于一些室内场景，包括办公楼，停车场，机场，杂货店等，在这些情况下，字符（即文本或数字）可以被用作合适的独特的地标定位。该系统利用OCR读取这些字符的查询静止图像，并提供了一个粗略的位置估计使用平面图。然后，它使用OCR引擎提供的信息找到查询的深度和视角，以便改进位置估计。我们推导出新的公式查询视角和深度估计使用图像线段和OCR框信息。我们通过室内场景的实验证明了该系统的适用性和有效性。结果表明，我们的系统表现出更好的性能相比，国家的最先进的基准在位置识别率和平均定位误差，特别是在稀疏数据库条件下。
2017-04-19 cs.AI cs.CV
Indoor Layout Estimation by 2D LiDAR and Camera Fusion
University of Notre Dame（圣母大学）
本文提出了一种室内布局估计和重建算法，通过融合的一系列捕获的图像和激光雷达数据集。在所提出的系统中，可移动平台收集强度图像和2D LiDAR信息。姿态估计和语义分割是通过将LiDAR点与图像中的线段对齐来联合计算的。对于墙壁与地面正交的室内场景，将对齐问题分解为自顶向下的视图投影和二维相似变换估计，并采用递归随机抽样一致性（R-RANSAC）算法求解。当平台在整个环境中移动时，可以通过集成新的扫描来生成、评估和优化假设。该方法避免了大量的先验训练或长方体布局假设的需要，这是更有效和实用的大多数以前的室内布局估计方法相比。多传感器融合允许提供准确的深度估计和高分辨率视觉信息的能力。
2020-01-15 cs.CV
Vision Transformers for Efficient Indoor Pathloss Radio Map Prediction
Machine Learning Group, Center for Mathematical and Applied Research, Yerevan State University（机器学习组，数学与应用研究所以，亚美尼亚叶连加大学）；YerevaNN（耶雷瓦NN）；Institute of Informatics and Telematics, National Research Council（信息与电信研究所，国家研究委员会）
本文提出利用DINO-v2预训练的视觉Transformer处理楼层地图以预测室内路径损耗，并系统验证了数据增强和特征工程对模型泛化能力的关键作用。
2025-05-08 cs.AI cs.CV cs.NI
Enhancing Floor Plan Recognition: A Hybrid Mix-Transformer and U-Net Approach for Precise Wall Segmentation
Tyumen State University（秋明国立大学）
本文提出MitUNet，结合Mix-Transformer和U-Net，通过改进的损失函数提升墙体分割精度，实验显示其在CubiCasa5k数据集上表现优异，为自动化3D重建提供基础。
2026-04-01 cs.AI cs.CV
Roominoes: Generating Novel 3D Floor Plans From Existing 3D Rooms
Brown University（布朗大学）；Simon Fraser University（西蒙弗雷泽大学）
逼真的3D室内场景数据集使得计算机视觉、场景理解、自主导航和3D重建等领域取得了重大进展。但是现有数据集的规模、多样性和可定制性是有限的，扫描和注释更多的数据既耗时又昂贵。幸运的是，组合学站在我们这边：在现有的3D场景数据集中有足够多的独立房间，如果有一种方法可以将它们重新组合成新的布局的话。在本文中，我们提出了从现有的3D房间生成新的3D平面图的任务。我们确定了这个问题的三个子任务：生成2D布局，检索兼容的3D房间，3D房间变形，以适应布局。然后，我们讨论了解决问题的不同策略，并设计了两个代表性的管道：一个使用可用的2D平面图来指导3D房间的选择和变形;另一个学习检索一组兼容的3D房间，并将它们组合成新的布局。我们设计了一组指标，评估所产生的结果相对于每三个子任务，并表明不同的方法权衡这些子任务的性能。最后，我们调查下游的任务，受益于生成的3D场景，并讨论在选择最适合这些任务的需求的方法的策略。
2021-12-10 cs.CV cs.GR
Knowledge driven Description Synthesis for Floor Plan Interpretation
本文提出DSIC和TBDG两个模型，利用深度神经网络提升平面图图像到文本的生成能力，增强描述的鲁棒性和灵活性。
2021-03-15 cs.CV
NaVIP: An Image-Centric Indoor Navigation Solution for Visually Impaired People
Lehigh University（利哈伊大学）
本文提出 NaVIP 图像数据集与以图像为中心的室内导航方案，利用30万张带6DoF位姿、PoI和字幕标注的手机图像，为视障人士提供无需额外基础设施、可扩展且支持实时定位与环境探索的辅助能力。
2024-10-08 cs.AI cs.CV
2D LiDAR and Camera Fusion Using Motion Cues for Indoor Layout Estimation
University of Notre Dame（圣母大学）
本文提出了一种新的室内布局估计系统的基础上融合的二维激光雷达和强度相机数据。地面机器人探索具有单层地板和垂直墙壁的室内空间，并收集一系列强度图像和2D LiDAR数据集。LiDAR提供准确的深度信息，而相机捕获高分辨率数据用于语义解释。通过将LiDAR点作为房间轮廓的样本与图像中的地墙边界对齐来联合计算传感器输出的对齐和图像分割。将对准问题解耦为自顶向下的视图投影和二维相似变换估计，根据两个传感器的垂直消失点和运动来求解。递归随机样本共识算法的实现，以产生，评估和优化多个假设的顺序测量。该系统允许联合分析来自不同传感器的几何解释，而无需离线校准。在LiDAR观测的辅助下，消除了地物边界提取图像中的模糊性，提高了语义分割的准确性。使用融合数据细化定位和映射，这使得系统能够在具有低纹理或低几何特征的场景中可靠地工作。
2022-04-24 cs.CV
Indoor image representation by high-level semantic features
Deakin University（迪肯大学）
室内图像特征提取是图像处理、模式识别、机器人等多个领域的基本问题，然而现有的特征提取方法大多基于图像上的像素、颜色、形状/物体部分或物体来提取特征，在描述语义信息（例如，对象关联）。因此，这些技术涉及不期望的分类性能。为了解决这个问题，我们提出了高层语义特征的概念，并设计了四个步骤来提取它们。具体地说，我们首先通过提取图像中的原始对象来构建对象模式字典，然后从对象模式字典中检索和提取语义对象。最后，我们提取我们的高层次的语义特征的基础上计算的概率和delta参数。在三个公开的数据集（MIT-67、Scene 15和NYU V1）上的实验表明，我们的特征提取方法在室内图像分类中的性能优于最先进的特征提取方法，因为我们的特征维数比那些方法低。
2019-07-12 cs.CV
360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
Hong Kong University of Science and Technology（香港科技大学）
本文提出360Roam系统，通过几何感知的辐射场与自适应局部辐射场分解，实现基于稀疏360°图像的大规模室内场景实时、高质量漫游。
2023-11-28 cs.CV
