Demo Abstract: Indoor Positioning System in Visually-Degraded Environments with Millimetre-Wave Radar and Inertial Sensors
University at Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
位置估计在公共安全部门中非常重要。消防员、医疗救援队和警察等应急响应人员都将受益于弹性定位系统，以提供安全有效的应急服务。不幸的是，卫星导航（例如，GPS）在室内环境中提供有限的覆盖。也不可能依赖于基于基础设施的解决方案。为此，可穿戴传感器辅助导航技术，例如基于摄像头和惯性测量单元（IMU）的技术，最近已经成为一种精确的、无需基础设施的解决方案。随着移动设备计算能力的提高，可以实时执行运动估计。在本演示中，我们提出了一种实时室内定位系统，该系统通过深度传感器融合来融合毫米波（mmWave）雷达和IMU数据。我们采用毫米波雷达而不是RGB相机，因为它提供了更好的视觉退化鲁棒性（例如，烟雾、黑暗等）而同时需要较低的计算资源来实现运行时计算。我们在手持设备和以10 FPS运行的移动计算机上实现了传感器系统，以跟踪公寓内的用户。即使在照明不佳的场景中也表现出良好的准确性和弹性。
2020-10-26 cs.CV cs.LG cs.RO
Matterport3D: Learning from RGB-D Data in Indoor Environments
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
访问大型、多样化的RGB-D数据集对于训练RGB-D场景理解算法至关重要。然而，现有的数据集仍然只覆盖有限数量的视图或有限规模的空间。在本文中，我们介绍了Matterport 3D，这是一个大规模的RGB-D数据集，包含来自90个建筑物规模场景的194，400个RGB-D图像的10，800个全景视图。注释与表面重建、相机姿势以及2D和3D语义分割一起提供。精确的全局对齐和整个建筑物上的全面、多样的全景视图集实现了各种监督和自监督计算机视觉任务，包括关键点匹配、视图重叠预测、颜色法线预测、语义分割和区域分类。
2017-09-18 cs.CV
Robust Neural Routing Through Space Partitions for Camera Relocalization in Dynamic Indoor Environments
Shandong University（山东大学）；AICFVE, Beijing Film Academy（北京电影学院未来影像高精尖创新中心）；Stanford University（斯坦福大学）；Peking University（北京大学）；Google Research（谷歌研究院）
将摄像机定位在已知的室内环境中是场景映射、机器人导航、AR等的关键构建块。最近的进展通过在2D/3D摄像机空间和3D世界空间中的坐标之间建立的2D/3D-3D对应关系上进行优化来估计摄像机姿态。这种映射是利用卷积神经网络或决策树仅使用静态输入图像序列来估计的，这使得这些方法容易受到在现实世界中相当常见但具有挑战性的动态室内环境的影响。为了解决上述问题，在本文中，我们提出了一种新的离群感知神经树，它将深度学习和决策树方法这两个世界联系起来。它建立在三个重要的模块上：（a）在室内场景上的分层空间划分以构建决策树;（b）神经路由功能，实现为深度分类网络，用于更好的3D场景理解;以及（c）离群值拒绝模块，用于在分层路由过程中过滤掉动态点。我们提出的算法进行评估RIO-10基准开发的摄像机重新定位在动态室内环境中。它通过空间分区实现了鲁棒的神经路由，在相机姿态精度方面比最先进的方法高出约30%，同时运行速度非常快。
2021-04-02 cs.CV
Retargetable AR: Context-aware Augmented Reality in Indoor Scenes based on 3D Scene Graph
Sony Corporation（索尼公司）
在本文中，我们提出了Retargetable AR，一种新的AR框架，产生一个AR体验，是知道在各种现实环境中设置的场景上下文，实现虚拟和现实世界之间的自然交互。为此，我们在3D空间中的对象之间的关系，而不是与坐标变换的场景上下文的特征。由AR内容假设的上下文和由用户体验AR的真实环境形成的上下文被表示为抽象图形表示，即场景图形。从RGB-D流，我们的框架生成一个立体地图，在其中集成了场景的几何和语义信息。此外，使用语义地图，我们抽象的场景对象为有向包围盒和估计他们的方向。有了这样的场景表示，我们的框架构造，在一个在线的方式，一个3D场景图表征的背景下，一个真实的AR环境。所构造的图与表示AR内容的上下文的AR场景图之间的对应关系提供了语义上配准的内容布置，这促进了虚拟世界与现实世界之间的自然交互。我们进行了广泛的评估，我们的原型系统，通过定量评估的性能定向限界框估计，主观评价的AR内容安排的基础上构建的3D场景图，和在线AR演示。这些评估的结果显示了我们的框架的有效性，表明它可以在各种真实场景中提供上下文感知的AR体验。
2020-08-18 cs.CV
Open-Vocabulary Semantic Segmentation with Uncertainty Alignment for Robotic Scene Understanding in Indoor Building Environments
University of Michigan（密歇根大学）
针对辅助机器人闭集词汇检测难以理解人类指令且忽略场景不确定性导致成功率低的问题，提出利用VLMs和LLMs的开放词汇场景语义分割与检测流程，遵循“分割-检测-选择”框架实现自适应直观导航。
2025-03-29 cs.CV
The Wallpaper is Ugly: Indoor Localization using Vision and Language
Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机科学学院）
该研究针对室内用户定位问题，基于预训练视觉-语言模型学习文本与环境位置图像的相似度得分来匹配定位，可泛化到训练未见的场景，微调CLIP模型的定位表现优于人类。
2024-10-04 cs.CV
3DSES: an indoor Lidar point cloud segmentation dataset with real and pseudo-labels from a 3D model
Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN（法国国家地理学会）
3DSES是一个覆盖427平方米的室内TLS点云分割数据集，提供点级语义标签和完整3D CAD模型双重标注，并提出模型到点云算法生成准确率超95%的伪标签，显著节省深度模型训练时间。
2025-01-29 cs.CV
Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
示能建模在视觉理解中起着重要的作用。在本文中，我们的目标是预测3D室内场景的启示，特别是在给定的室内环境中，例如坐在椅子上或站在地板上，人类的姿势是什么。为了预测有效的启示并学习室内场景中可能的3D人体姿势，我们需要了解场景的语义和几何结构以及它与人类的潜在交互。为了学习这样的模型，需要一个大规模的3D室内启示数据集。在这项工作中，我们建立了一个全自动的3D姿态合成器，融合了语义知识，从大量的2D姿势提取的电视节目，以及3D几何知识，从体素表示的室内场景。通过合成器创建的数据，我们引入了一个3D姿态生成模型来预测给定场景（作为单个RGB，RGB-D或深度图像提供）内的语义上合理且物理上可行的人类姿态。我们证明了我们的人类启示预测方法始终优于现有的最先进的方法。
2019-03-15 cs.CV
Intelligent Spatial Perception by Building Hierarchical 3D Scene Graphs for Indoor Scenarios with the Help of LLMs
Shandong New Generation Information Industrial Technology Research Institute（山东省新一代信息技术产业技术研究院）；Inspur Intelligent Terminal Co., Ltd.（浪潮智能终端有限公司）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
针对智能机器人导航对空间环境全面理解的需求，提出利用大语言模型构建含多层级节点的分层3D场景图的系统，通过LLM投票机制提升房间标注准确性，融合语义与几何数据生成精准环境表征，助力情境感知导航与任务规划。
2025-03-19 cs.CV cs.RO
The Invisible Map: Visual-Inertial SLAM with Fiducial Markers for Smartphone-based Indoor Navigation
Olin College of Engineering（奥林工程学院）
本文提出一种基于图SLAM和基准标记的智能手机室内导航系统，通过推断地标与手机位姿构建精确3D地图，并引入超参数调优技术以适应新环境。
2023-10-16 cs.CV cs.RO
DisCo-Layout: Disentangling and Coordinating Semantic and Physical Refinement in a Multi-Agent Framework for 3D Indoor Layout Synthesis
The Chinese University of Hong Kong（香港中文大学）；Monash University（墨尔本大学）；Amazon（亚马逊）；South China University of Technology（华南理工大学）
针对3D室内布局合成现有方法泛化性差、优化不足的问题，提出DisCo-Layout多智能体框架，解耦协调语义与物理优化，实现了当前最优的布局生成效果。
2025-10-02 cs.CV cs.RO
Semantic Mapping in Indoor Embodied AI -- A Survey on Advances, Challenges, and Future Directions
本文综述了具身智能中专门用于室内导航的语义地图构建方法，按结构表示和编码信息类型进行分类，指出开放词汇、可查询的地图表示是未来方向，而高内存与低计算效率仍是主要挑战。
2025-08-10 cs.CV cs.RO
Fusion-DHL: WiFi, IMU, and Floorplan Fusion for Dense History of Locations in Indoor Environments
Simon Fraser University（西蒙菲莎大学）；Sookmyung Women’s University（淑明女子大学）
本文提出了一种多模态传感器融合算法，该算法融合WiFi、IMU和平面图信息，以推断室内环境中准确且密集的位置历史。该算法使用1）惯性导航算法来从IMU传感器数据估计相对运动轨迹; 2）工业中基于WiFi的定位API来获得位置约束并对轨迹进行地理定位;以及3）卷积神经网络来细化位置历史以与平面图一致。我们已经开发了一个数据采集应用程序，以构建一个新的数据集，其中包含WiFi、IMU和平面图数据，以及4座大学建筑和3个购物中心的地面实况位置。我们的定性和定量评估表明，该系统能够产生两倍的准确性和几个数量级的密集的位置历史比目前的标准，同时需要最小的额外能源消耗。我们将公开分享我们的代码、数据和模型。
2021-05-18 cs.CV cs.RO
Pathdreamer: A World Model for Indoor Navigation
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
人们在不熟悉的建筑物中导航，利用无数的视觉、空间和语义线索来有效地实现他们的导航目标。为了使计算代理具有类似的能力，我们介绍了Pathdreamer，一个视觉世界模型的代理在新的室内环境中导航。给定一个或多个先前的视觉观察，Pathdreamer为训练期间未看到的建筑物中未访问过的视点生成合理的高分辨率360视觉观察（RGB，语义分割和深度）。在高度不确定的区域（例如预测角落，想象看不见的房间的内容），Pathdreamer可以预测不同的场景，允许智能体为给定的轨迹采样多个现实的结果。我们证明，Pathdreamer编码有用的和可访问的视觉，空间和语义知识的人类环境中使用它的视觉和语言导航（VLN）的下游任务。具体来说，我们表明，提前规划与Pathdreamer带来了大约一半的好处，展望未来的实际观察，从未观察到的部分环境。我们希望Pathdreamer将有助于解锁基于模型的方法，以挑战具身导航任务，如导航到指定的对象和VLN。
2021-08-16 cs.CV cs.LG
Intelligent Indoor Mobile Robot Navigation Using Stereo Vision
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham 大学）
大多数现有的机器人导航系统，便于使用激光测距仪，声纳传感器或人工地标，有能力在未知的环境中定位自己，然后建立相应的环境地图。立体视觉，虽然仍然是一个快速发展的技术在自主移动机器人领域，目前不太可取的，由于其高的实施成本。本文旨在描述一种实验方法的立体视觉系统的建设，帮助机器人，以避免障碍物和导航通过室内环境，并在同一时间保持非常高的成本效益。本文讨论了立体视觉和超声波传感器的融合技术，有助于成功地通过不同类型的复杂环境的导航。来自传感器的数据使机器人能够创建未知环境的二维的拓扑图，立体视觉系统能够对同一环境的三维模型进行建模。
2014-09-10 cs.AI cs.CV cs.RO
Multimodal Indoor Localization Using Crowdsourced Radio Maps
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Huawei Technologies (UK)（华为技术（英国）公司）；University College London（伦敦大学学院）
本研究针对室内定位中平面图可用性与更新性不足的问题，提出利用众包无线电地图替代平面图的多模态IPS框架，集成不确定性感知神经网络与定制贝叶斯融合技术，在真实场景中较最优基线提升约25%性能。
2024-03-12 cs.CV eess.SP
