Learning Indoor Layouts from Simple Point-Clouds
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
重建室内空间的布局已经成为日益增长的基于室内位置的服务的关键部分。在基于室内位置的服务的扩散中的关键挑战之一是由于捕获室内空间模型的复杂性质（例如，平面图）的现有建筑物。在本文中，我们提出了一个系统来自动生成平面图，可以识别房间从点云通过智能手机，如谷歌的探戈。特别是，我们提出了两种方法-基于递归神经网络的方法使用指针网络和基于卷积神经网络的方法使用Mask-RCNN从点云识别房间（从而楼层平面图）。在不同数据集上的实验结果表明，Intersection-over-Union得分约为0.80-0.90，这表明我们的模型可以有效地识别异构环境中的房间并重新生成房间的形状。
2021-08-07 cs.CV cs.LG
Multi-Sensor Integration for Indoor 3D Reconstruction
University of Calgary（卡尔加里大学）
由Google Maps和Garmin导航仪等现代服务和技术提供的户外地图和导航信息彻底改变了许多人的生活方式。受消费者、广告商、紧急救援人员/响应者等对用于室内使用的类似导航系统的期望的激励，许多室内环境，例如购物中心、博物馆、娱乐场、机场、中转站、办公室和学校，需要被绘制地图。通常，首先通过从各个站点捕获许多点云并定义它们的空间关系来重建环境。目前，缺乏一个准确，严格，快速的方法，在室内，城市，卫星拒绝环境中的点云。本论文提出一种新颖且自动化的方法来融合使用地面激光扫描仪和微软Kinect获得的校准点云，通过将它们与低成本的惯性测量单元集成。开发的系统，名为扫描仪，是第一个联合静态运动室内三维测绘仪。
2018-02-22 cs.CV cs.RO
Deep Neural Network for Real-Time Autonomous Indoor Navigation
Cornell University（康奈尔大学）
微型飞行器（MAVs）的室内自主导航面临着许多挑战。一个主要原因是GPS在室内环境中的精度有限。另外，MAV不能携带重量大或功耗高的传感器，如测距仪，这使得室内自主导航成为一项具有挑战性的任务。在本文中，我们提出了一种实用的系统，其中四轴飞行器在室内自主导航并找到特定目标，即，一个书包，通过使用一个相机。深度学习模型卷积神经网络（ConvNet）用于学习模仿专家飞行员的动作选择的控制器策略。我们展示了我们的系统的性能，通过实时的【形】实验在不同的室内位置。为了更好地了解我们的训练网络，我们使用了几种可视化技术。
2015-11-26 cs.CV
Automatically Annotating Indoor Images with CAD Models via RGB-D Scans
Graz University of Technology（格拉茨技术大学）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
提出了一种基于RGB-D扫描的室内场景图像自动标注方法。通过3D专家的视觉评估，我们表明，我们的方法检索的注释至少与手动注释一样准确，因此可以用作地面实况，而无需手动注释3D数据的负担。我们使用合成分析方法来实现这一点，该方法将CAD模型的渲染与捕获的场景进行比较。我们引入了一个“克隆过程”，识别具有相同几何形状的对象，用相同的CAD模型注释这些对象。这使我们能够获得ScanNet数据集和最近的ARKitScenes数据集的完整注释。
2022-12-22 cs.CV
A Two-Stage Masked Autoencoder Based Network for Indoor Depth Completion
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
针对复杂室内场景深度缺失问题，提出结合掩码自编码器自监督预训练与 token 融合解码器的两阶段 Transformer 网络，在 Matterport3D 上达到最优并验证于三维重建。
2024-06-14 cs.CV
GRAtt-VIS: Gated Residual Attention for Auto Rectifying Video Instance Segmentation
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
本文提出GRAtt-VIS，通过Gumbel-Softmax门控残差连接和掩码自注意力自动检测并校正视频实例分割中的特征退化，在YouTube-VIS和OVIS上取得领先性能。
2023-05-26 cs.CV
SynthCam3D: Semantic Understanding With Synthetic Indoor Scenes
University of Cambridge（剑桥大学）
我们感兴趣的是自动场景理解的几何线索。为此，我们的目标是把语义分割的实时重建的循环。我们的语义分割建立在一个深度自动编码器堆栈上，该堆栈专门基于我们新颖的3D场景库SynthCam3D生成的合成深度数据进行训练。重要的是，我们的网络能够在没有任何噪声建模的情况下分割真实世界的场景。我们提出了令人鼓舞的初步结果。
2015-05-01 cs.CV
Check, Locate, Rectify: A Training-Free Layout Calibration System for Text-to-Image Generation
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
针对文本到图像生成中布局指令对齐的挑战，提出免训练布局校准系统 SimM，通过“检查-定位-纠正”流程在推理时干预生成过程，并引入 SimMBench 基准验证其有效性。
2024-03-25 cs.CV
Training Deep Neural Networks to Detect Repeatable 2D Features Using Large Amounts of 3D World Capture Data
University of California, San Diego（加州大学圣迭戈分校）；University of California, Berkeley（加州大学伯克利分校）
图像空间特征检测是选择图像中易于与周围图像区域区分开的点或部分的行为。通过将可重复的点检测与描述符相结合，图像的部分可以彼此匹配，这在诸如从相机输入估计姿态或校正图像的应用中是有用的。最近，精确的室内跟踪对于增强和虚拟现实已经开始变得重要，因为需要允许在3D空间中定位头戴式耳机而不需要外部跟踪设备。一些现代特征检测器使用单应性来模拟不同的视点，不仅训练特征检测和描述，而且测试它们。问题是，通常，室内空间的视图包含高深度视差。这使得应用于图像的单应性表示视点改变的近似不准确。我们主张，为了训练探测器在室内环境中工作良好，它们必须对这种类型的几何形状具有鲁棒性，并且在真实视点变化而不是单应性下是可重复的。在这里，我们专注于在真实视点变化下检测可重复特征位置的问题。为此，我们从照片般逼真的3D数据集生成标记的2D图像。这些图像用于训练基于神经网络的特征检测器。我们进一步提出了一种算法，用于自动生成可重复的二维特征的标签，并提出了一种快速，易于使用的测试算法，用于评估在3D环境中的检测器。
2019-12-09 cs.CV
Indoor Scene Understanding in 2.5/3D for Autonomous Agents: A Survey
Australian National University（澳大利亚国立大学）；Data61-CSIRO（数据61-CSIRO（澳大利亚联邦科学与工业研究组织下属数据科学与人工智能研究所））；Inception Institute of AI（创见人工智能研究所（Inception Institute of AI））
随着低成本和紧凑的2.5/3D视觉传感设备的可用性，计算机视觉界对室内环境的视觉场景理解的兴趣越来越大。这份调查报告为这一研究课题提供了全面的背景资料。我们从历史的角度开始，然后是流行的3D数据表示和可用数据集的比较分析。在深入研究应用程序的具体细节之前，本调查简要介绍了核心技术，这些技术是文献中广泛使用的基本方法。之后，我们审查开发的技术，根据分类的基础上的场景理解任务。这涵盖了整体室内场景理解以及场景分类、目标检测、姿态估计、语义分割、3D重建、显著性检测、基于物理的推理和启示预测等子任务。随后，我们总结了用于评估不同任务的性能指标，并对最近的最先进的技术进行了定量比较。最后，我们总结了当前的挑战和展望，需要进一步调查的开放研究问题的审查。
2019-01-10 cs.CV
ATISS: Autoregressive Transformers for Indoor Scene Synthesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck ETH Center for Learning Systems（马克斯·普朗克 ETH 学习系统中心）；NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Tübingen（蒂宾根大学）
自动或基于部分输入合成逼真和多样化的室内家具布局的能力，开启了许多应用程序，从更好的交互式3D工具到用于培训和模拟的数据合成。在本文中，我们提出了ATISS，一种新的自回归Transformer架构，用于创建多样化和合理的合成室内环境，只给出房间类型和平面图。与之前的工作相比，我们的模型将场景合成作为序列生成，将房间生成为无序的对象集。我们认为，这种提法是更自然的，因为它使ATISS一般有用的超越全自动的房间布局合成。例如，相同的训练模型可以在交互式应用中用于一般场景完成、与用户指定的任何对象的部分房间重新布置以及针对任何部分房间的对象建议。为了实现这一点，我们的模型利用了Transformer在局部场景上调节时的置换等方差，并被训练为在对象排序中保持置换不变。我们的模型是端到端训练的自回归生成模型，只使用标记的3D边界框作为监督。对3D-FRONT数据集中四种房间类型的评估表明，我们的模型始终生成比现有方法更真实的合理房间布局。此外，它具有更少的参数，更容易实现和训练，并且运行速度比现有方法快8倍。
2021-10-07 cs.CV
SG-VAE: Scene Grammar Variational Autoencoder to generate new indoor scenes
Australian Institute of Machine Learning and School of Computer Science, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所与计算机科学学院）；Chalmers University of Technology（查尔姆斯理工大学）
近年来，深度生成模型已被用于学习相干的潜在表示，以合成高质量的图像。在这项工作中，我们提出了一个神经网络学习生成模型采样一致的室内场景布局。我们的方法通过基于语法的自动编码器学习不同对象类别的同现和外观参数（如形状和姿势），从而为场景布局提供紧凑而准确的表示。对比现有的基于语法的方法与用户指定的语法，我们构造的语法自动提取一组产生式规则推理对象同现在训练数据。所提取的语法能够通过增强的解析树来表示场景。所提出的自动编码器将这些解析树编码为潜在代码，并将潜在代码解码为解析树，从而确保生成的场景始终有效。我们通过实验证明，所提出的自动编码器不仅学习生成有效的场景（即对象的排列和外观），而且还学习相干的潜在表示，其中附近的潜在样本解码为类似的场景输出。所得到的生成模型适用于几个计算机视觉任务，如3D姿态和布局估计从RGB-D数据。
2020-08-21 cs.CV
Forest2Seq: Revitalizing Order Prior for Sequential Indoor Scene Synthesis
USTC（中国科学技术大学）；Simon Fraser University（西蒙菲莎大学）
该研究提出Forest2Seq框架，通过聚类与广度优先遍历将无序对象组织为有序层级树和森林，并由transformer自回归生成3D室内场景，在FID、KL及下游任务上优于基线。
2024-07-07 cs.CV
Labeling Indoor Scenes with Fusion of Out-of-the-Box Perception Models
George Mason University（乔治梅森大学）；Drake University（德雷克大学）
提出融合SAM、Detic和MaskFormer等现成感知模型及多视角标注融合的方法，低成本生成室内场景伪标签，提升下游任务性能。
2023-11-17 cs.CL cs.CV cs.RO
ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing
Stanford University（斯坦福大学）
ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑，具备明确房间边界和资产无关部署能力，支持通过自然语言添加、移除和交换物体，实验在物体添加和完整场景合成质量上超越现有方法。
2026-06-29 cs.CV
Structured Graph Variational Autoencoders for Indoor Furniture layout Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon.com, Inc.（亚马逊公司）
我们提出了一个结构化的图变分自编码器，用于生成室内三维场景的布局。考虑到房间类型（例如，起居室或图书馆）和房间布局（例如，诸如地板和墙壁的房间元素），我们的体系结构生成对象的集合（例如，家具项目，如沙发，桌子和椅子），这是符合房间类型和布局。这是一个具有挑战性的问题，因为生成的场景应该满足多个约束，例如，每个物体必须位于房间内，并且两个物体不能占据相同的体积。为了解决这些挑战，我们提出了一种深度生成模型，该模型将这些关系编码为属性图上的软约束（例如，节点捕获房间和家具元素的属性（诸如类别、姿态和尺寸），并且边捕获几何关系（诸如相对取向）。该架构由一个图形编码器，将输入图形映射到一个结构化的潜在空间，和一个图形解码器，生成一个家具图，给定的潜在代码和房间图。潜在空间建模与自回归先验，这有利于高度结构化的场景的生成。我们还提出了一个有效的训练过程，结合匹配和约束学习。在3D-FRONT数据集上的实验表明，我们的方法产生的场景是多样的，并适应房间布局。
2022-07-22 cs.CV
Layout Aware Inpainting for Automated Furniture Removal in Indoor Scenes
Geomagical Labs, Inc.（Geomagical实验室公司）
我们解决了从房间的广角照片中检测和擦除家具的问题。修补室内场景的大区域通常会导致修补遮罩内背景元素的几何不一致。为了解决这个问题，我们利用感知信息（例如实例分割和房间布局）来产生房间的几何一致的空版本。我们分享重要的细节，使这个系统可行，如每平面修复，自动整流，纹理细化。我们提供详细的消融以及定性的例子，证明我们的设计选择。我们展示了我们的系统的应用程序，从一个房间里删除真正的家具，并重新装修它与虚拟家具。
2022-10-27 cs.CV cs.MM
Towards Semi-automatic Detection and Localization of Indoor Accessibility Issues using Mobile Depth Scanning and Computer Vision
University of Washington（华盛顿大学）
为了帮助改善室内空间的安全性和可达性，研究人员和卫生专业人员已经创建了评估工具，使房主和训练有素的专家能够审计和改善房屋。随着计算机视觉、增强现实（AR）和移动传感器的进步，新的方法现在成为可能。我们介绍RASSAR（增强现实中的房间无障碍和安全扫描），这是一种新的概念验证原型，用于使用LiDAR +相机数据，机器学习和AR半自动识别，分类和定位室内无障碍和安全问题。我们目前的RASSAR原型的概述和初步评估在一个单一的家庭。
2022-10-05 cs.CV cs.CY cs.HC
CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic Furniture Embedding
Meta AI
提出CLIP-Layout自回归场景模型，利用基于CLIP的图像嵌入进行实例级家具预测，实现风格一致、功能合理的室内场景合成，并支持零样本文本引导编辑。
2023-06-02 cs.CV
IndoorCrowd: A Multi-Scene Dataset for Human Detection, Segmentation, and Tracking with an Automated Annotation Pipeline
National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学国家科学技术大学）；Expleo
IndoorCrowd数据集通过多场景采集，提供人体检测、实例分割和多目标跟踪的基准，包含31个视频和自动化标注工具的评估结果，揭示了人群密度、尺度和遮挡对任务的影响。
2026-04-02 cs.CV cs.LG
SceneNAT: Masked Generative Modeling for Language-Guided Indoor Scene Synthesis
Seoul National University（首尔国立大学）
SceneNAT通过掩码非自回归Transformer实现语言引导的室内场景合成，提升性能与效率，同时降低计算成本。
2026-08-12 cs.CV
Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
示能建模在视觉理解中起着重要的作用。在本文中，我们的目标是预测3D室内场景的启示，特别是在给定的室内环境中，例如坐在椅子上或站在地板上，人类的姿势是什么。为了预测有效的启示并学习室内场景中可能的3D人体姿势，我们需要了解场景的语义和几何结构以及它与人类的潜在交互。为了学习这样的模型，需要一个大规模的3D室内启示数据集。在这项工作中，我们建立了一个全自动的3D姿态合成器，融合了语义知识，从大量的2D姿势提取的电视节目，以及3D几何知识，从体素表示的室内场景。通过合成器创建的数据，我们引入了一个3D姿态生成模型来预测给定场景（作为单个RGB，RGB-D或深度图像提供）内的语义上合理且物理上可行的人类姿态。我们证明了我们的人类启示预测方法始终优于现有的最先进的方法。
2019-03-15 cs.CV
Shallow2Deep: Indoor Scene Modeling by Single Image Understanding
Bournemouth University（伯恩茅斯大学）；Xiamen University（厦门大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Tsinghua University（清华大学）
由于缺乏深度信息和杂乱的遮挡，从2D图像中建立密集的室内场景模型一直是一个难题。提出了一种基于神经网络深度特征的室内场景自动建模方法。给定一个单一的RGB图像，我们的方法同时恢复语义内容，3D几何和对象关系的推理室内环境上下文。特别地，我们设计了一个基于卷积网络的由浅入深的结构，用于语义场景理解和建模。它涉及多级卷积网络，将室内语义/几何解析为非关系和关系知识。从浅端网络中提取的非关系知识（例如房间布局，对象几何形状）被前馈到更深层次以解析关系语义（例如支持关系）。提出了一种关系网络来推断对象之间的支持关系。所有的结构化语义和几何以上组装，以指导全局优化的三维场景建模。定性和定量分析表明，我们的方法在理解和建模语义丰富的室内场景的重建精度，计算性能和场景复杂性的性能评估的可行性。
2020-02-22 cs.CV
Indoor Scene Generation from a Collection of Semantic-Segmented Depth Images
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种用于创建3D室内场景的生成模型，该生成模型是从不同未知场景捕获的语义分割深度图像集合中学习的。给定一个指定大小的房间，我们的方法自动生成3D对象在一个房间从随机采样的潜在代码。不同于现有的方法，表示一个室内场景的类型，位置和其他属性的对象在房间里，并从一个完整的3D室内场景的集合学习场景布局，我们的方法模型每个室内场景作为一个3D语义场景体积和学习体积生成对抗网络（GAN）从一个集合的2.5D部分观察3D场景。为此，我们应用可微投影层将生成的3D语义场景体投影到语义分割的深度图像中，并设计了一种新的多视图投影，用于从2.5D语义分割的深度图像中学习完整的3D场景体。与现有的方法相比，我们的方法不仅有效地减少了建模和获取3D场景训练的工作量，而且还产生了更好的对象形状和它们在场景中的详细布局。我们评估我们的方法与不同的室内场景数据集，并证明我们的方法的优点。我们还扩展了我们的方法，用于从真实场景的RGB图像推断出的语义分割深度图像生成3D室内场景。
2021-08-20 cs.CV
ICPS-net: An End-to-End RGB-based Indoor Camera Positioning System using deep convolutional neural networks
Faculty of Media Technology and Engineering, Iran Broadcasting University（伊朗广播大学媒体技术与工程学院）；Alpha Reality, AR/VR Solution Company（Alpha Reality AR/VR解决方案公司）
在没有GPS数据可用性的区域内进行室内定位和导航是一个具有挑战性的问题。有一些应用，如增强现实，自动驾驶，隧道内无人机的导航，其中室内定位变得至关重要。在本文中，基于深度网络的系统的串联架构，首次据我们所知，是为了解决这个问题。该结构在通过使用摄影测量扫描所需区域段获得的场景图像上进行训练。基于EfficientNet的CNN结构被训练为场景的分类器，随后是被训练为作为回归器执行的MobileNet CNN结构。所提出的系统实现了令人惊讶的笛卡尔位置和四元数的相机信息的精度。
2019-10-14 cs.CV
ROOT: VLM based System for Indoor Scene Understanding and Beyond
University of Science and Technology of China（中国科学技术大学）；Game AI Center, Tencent IEG（腾讯互动娱乐事业群游戏AI中心）
本文提出基于VLM的ROOT系统，通过迭代物体感知、SceneVLM空间层次场景图与距离估计，结合超61万张室内图像训练，提升室内场景理解并支持3D生成与具身智能等下游任务。
2024-11-24 cs.CV
Real-time Progressive 3D Semantic Segmentation for Indoor Scene
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Tokyo（东京大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
无人机和辅助机器人等自主系统的广泛采用产生了对实时的【形】高质量语义场景分割的需求。在本文中，我们提出了一个有效的，但强大的技术，在飞行密集重建和语义分割的三维室内场景。为了保证（近）实时的【形】性能，我们的方法是建立在一个高效的超体素聚类方法和一个条件随机场与高阶约束的结构和对象线索，使渐进密集语义分割，而无需任何预先计算。我们在SceneNN和ScanNet数据集中的不同室内场景（包括厨房，办公室和卧室）上广泛评估了我们的方法，并表明我们的技术在定性和定量实验中始终产生最先进的分割结果。
2019-04-05 cs.CV
An embarrassingly simple comparison of machine learning algorithms for indoor scene classification
Monash University Malaysia（马来西亚蒙纳士大学）
随着自主式室内机器人的出现，室内场景识别的计算机视觉任务受到了广泛关注。室内场景识别是计算机视觉中的一个具有挑战性的问题，它依赖于场景中的局部和全局特征。本研究旨在比较五种机器学习算法在室内场景分类任务上的性能，以确定每种分类器的优缺点。它还提供了低延迟特征提取器与巨大特征提取器的比较，以了解性能影响。最后，提出了一个简单的MnasNet的室内分类系统，它可以在23 ms的延迟达到72%的准确率。
2021-09-25 cs.CV cs.LG
Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
Brown University（布朗大学）
我们提出了一种新的，快速和灵活的室内场景合成管道，该管道基于深度卷积生成模型。我们的方法操作在一个自上而下的基于图像的表示，并插入对象迭代到场景中预测其类别，位置，方向和大小与单独的神经网络模块。我们的流水线自然支持部分场景的自动完成，以及完整场景的合成。我们的方法比以前的基于图像的方法快得多，并且在对训练数据的忠诚度和感知的视觉质量方面，生成的结果优于它和其他最先进的深度生成场景模型。
2018-11-29 cs.CV cs.GR
Learning Object Placement Programs for Indoor Scene Synthesis with Iterative Self Training
Vision Systems Inc.（视觉系统公司）；Brown University（布朗大学）；Simon Fraser University（西蒙菲莎大学）
针对室内场景合成中物体位置分布不完整的问题，提出基于DSL和生成模型的程序自动编写系统，结合无监督程序引导算法，在稀疏数据下生成更符合人类标注且质量相当的场景。
2025-03-06 cs.CV cs.GR cs.LG
Structural Plan of Indoor Scenes with Personalized Preferences
Technique Center Ihome Corporation（Ihome公司技术中心）；IBM Research（IBM研究院）
在本文中，我们提出了一个辅助模型，支持专业室内设计师生产工业室内装饰解决方案，并满足业主的个性化偏好。该模型能够根据业主的偏好自动生成特定室内场景的对象布局。该模型包括抽象图的提取、条件图的生成和条件场景的实例化。我们提供了一个室内布局数据集，其中包含来自专业设计师的11000个真实设计。我们在数据集上的数值结果表明，与最先进的方法相比，所提出的模型的有效性。
2020-08-05 cs.CV cs.LG
Learning to Predict Indoor Illumination from a Single Image
Université Laval（拉瓦尔大学）；Adobe Research（Adobe研究院）
我们提出了一个自动的方法来推断高动态范围照明从一个单一的，有限的视野，低动态范围的照片的室内场景。与以前依赖于专门的图像捕获，用户输入和/或简单场景模型的工作相比，我们训练了一个端到端的深度神经网络，该网络直接将有限的视野照片回归到HDR照明，而无需对场景几何形状，材质属性或照明进行强烈假设。我们表明，这可以在一个三步的过程中完成：1）我们训练鲁棒的照明分类器以自动地注释LDR环境地图的大数据集中的光源的位置，2）我们使用这些注释来训练深度神经网络，该深度神经网络从单个有限的视场照片预测场景中的灯的位置，以及3）我们使用HDR环境地图的小数据集来微调该网络以预测光强度。这使我们能够自动恢复高质量的HDR照明估计，显着优于以前的最先进的方法。因此，将我们的照明估计用于3D对象插入等应用，我们可以实现照片般逼真的结果，这通过感知用户研究进行了验证。
2017-11-21 cs.CV cs.GR stat.ML
Generating Multi-Sentence Lingual Descriptions of Indoor Scenes
Chinese Univ. of Hong Kong（香港中文大学）；Carnegie Mellon Univ.（卡内基梅隆大学）；University of Toronto（多伦多大学）
本文提出了一种新的框架生成语言描述的室内场景。虽然已经做出了大量的努力来解决这个问题，但以前的方法主要集中在为每个图像生成单个句子，这不足以描述复杂的场景。我们试图超越这一点，通过多个句子生成连贯的描述。我们的方法在几个方面与传统的方法不同：（1）一个3D视觉解析系统，联合推断对象，属性和关系;（2）一个自动从训练文本中学习的生成语法;（3）一个考虑句子之间连贯性的文本生成算法。在增强的NYU-v2数据集上的实验表明，与基线产生的结果相比，我们的框架可以生成具有更高ROGUE分数的自然描述。
2015-02-28 cs.CL cs.CV
Language-EXtended Indoor SLAM (LEXIS): A Versatile System for Real-time Visual Scene Understanding
Oxford Robotics Institute（牛津机器人研究所）
本文提出实时室内SLAM系统LEXIS，通过结合LLM开放词汇能力、CLIP特征与拓扑SLAM图，实现灵活房间理解、语义地点识别及回环优化，性能达到或超过SOTA。
2024-03-05 cs.CV cs.RO eess.IV
