Layout-Guided Novel View Synthesis from a Single Indoor Panorama
ShanghaiTech University（上海科技大学）；KooLab；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
现有的视图合成方法主要针对透视图像，并取得了良好的效果。然而，由于针孔摄像机的视场有限，当采用大的摄像机运动时，性能迅速下降。在本文中，我们第一次尝试从一个单一的室内全景图生成新的意见，并考虑到大型摄像机的平移。为了解决这个具有挑战性的问题，我们首先使用卷积神经网络（CNN）从源视图图像中提取深度特征并估计深度图。然后，我们利用房间布局先验，一个强的室内场景的结构约束，以指导目标视图的生成。更具体地说，我们在源视图中估计房间布局，并将其转换为目标视点作为指导。同时，我们还约束生成的目标视图图像的房间布局，以加强几何一致性。为了验证我们的方法的有效性，我们进一步构建了一个包含小型和大型相机平移的大规模照片级真实感数据集。在我们具有挑战性的数据集上的实验结果表明，我们的方法达到了最先进的性能。该项目的页面位于https://github.com/bluestyle97/PNVS。
2021-03-31 cs.CV
3D Room Layout Estimation from a Cubemap of Panorama Image via Deep Manhattan Hough Transform
Tsinghua University（清华大学）；ByteDance（字节跳动）
在从单个全景图像估计3D房间布局中，重要的几何结构可以由全局线框来复杂地描述。基于这一观察，我们提出了一种替代方法，通过在可学习的霍夫变换块中建模远程几何图案来估计3D空间中的墙壁。我们将图像特征从立方体图块转换到曼哈顿世界的Hough空间，并直接将特征映射到几何输出。卷积层不仅学习局部梯度线特征，而且利用全局信息，以简单的网络结构成功预测被遮挡的墙壁。与大多数以前的工作不同，预测是在每个立方体贴图块上单独执行的，然后组合以获得布局估计。实验结果表明，我们取得了可比的结果与最近的国家的最先进的预测精度和性能。代码可在https://github.com/Starrah/DMH-Net上获得。
2022-07-19 cs.CV
HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation
National Tsing Hua University（国立清华大学）
我们提出了一种新的方法来估计从一个单一的全景图像的三维房间布局的问题。我们将房间布局表示为三个一维向量，在每个图像列处，对地板-墙壁和天花板-墙壁的边界位置以及墙壁-墙壁边界的存在进行编码。所提出的网络HorizonNet经过训练用于预测1D布局，其性能优于以前的最先进方法。设计的用于从1D预测恢复3D房间布局的后处理过程可以以低计算成本自动推断房间形状-全景图像需要不到20 ms，而以前的工作可能需要几十秒。我们还提出了Pano Stretch数据增强，它可以使全景数据多样化，并应用于其他与全景相关的学习任务。由于非长方体布局的可用数据有限，我们从当前数据集中重新标记了65个通用布局进行微调。我们的方法表现出良好的性能一般布局的定性结果和交叉验证。
2019-04-06 cs.CV
Atlanta Scaled layouts from non-central panoramas
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；Department of Computer Science and Systems Engineering（计算机科学与系统工程系）；University of Zaragoza（萨拉戈萨大学）
本研究提出基于非中心全景图的室内3D布局恢复新方法，结合神经网络提取结构线与几何处理，在曼哈顿和Atlanta环境下实现带尺度布局恢复，性能优于现有方法，是该领域首个深度学习相关工作。
2024-01-30 cs.CV cs.RO
Single-Shot Cuboids: Geodesics-based End-to-end Manhattan Aligned Layout Estimation from Spherical Panoramas
Centre for Research and Technology Hellas（希腊研究与技术中心）
已经表明，全局场景理解任务（如布局估计）可以受益于更宽的视场，特别是球形视场。虽然最近取得了很大进展，但所有以前的方法都依赖于中间表示和后处理来产生与曼哈顿一致的估计。在这项工作中，我们将展示如何在单次拍摄中估计整个房间的布局，从而无需进行后处理。我们的工作是第一个直接推断曼哈顿对齐输出。为了实现这一目标，我们的数据驱动模型利用直接坐标回归，并进行端到端的监督。因此，我们可以显式地添加准曼哈顿约束，这为基于单应性的曼哈顿对齐模块设置了必要条件。最后，我们介绍了测地线热图和损失以及边界感知质心计算，这些计算有助于在球形域中进行更高质量的关键点估计。我们的模型和代码可在www.example.com上公开获取。
2021-02-09 cs.CV cs.LG
SSLayout360: Semi-Supervised Indoor Layout Estimation from 360-Degree Panorama
Flyreel AI Research（Flyreel人工智能研究院）
近年来，半监督学习和三维房间布局重建的研究蓬勃发展。在这项工作中，我们探索这两个领域的交叉点，以推进研究目标，使更准确的3D室内场景建模与更少的标记数据。我们提出了第一种方法来学习表示房间的角落和边界，通过使用标记和未标记的数据的组合，以改善布局估计在360度全景场景。通过大量的比较实验，我们证明了我们的方法可以提前布局估计复杂的室内场景使用少至20个标记的例子。当与在合成数据上预先训练的布局预测器相结合时，我们的半监督方法仅使用12%的标签就可以与完全监督的方法相匹配。我们的工作朝着稳健的半监督布局估计迈出了重要的第一步，该估计可以在有限的标记数据下实现3D感知中的许多应用。
2021-05-17 cs.CV cs.LG
Transferable End-to-end Room Layout Estimation via Implicit Encoding
Peking University（北京大学）；Intel Labs（英特尔研究院）
我们研究的问题，估计从一个单一的全景图像的房间布局。以往的研究大多分为两个阶段：特征提取和参数化模型拟合。在这里，我们提出了一个端到端的方法，直接预测参数布局从输入的全景图像。它利用了一个隐式的编码过程，嵌入到潜在的空间参数布局。然后学习从图像到这个潜在空间的映射，使端到端的房间布局估计成为可能。然而，端到端方法有几个臭名昭著的缺点，尽管有许多有趣的属性。一个广泛提出的批评是，他们受到数据集偏见的困扰，并且不会转移到不熟悉的领域。我们的研究回应了这一共同信念。为此，我们建议使用语义边界预测图作为中间域。它在四个基准测试（Structured3D，PanoContext，S3DIS和Matterport3D）上带来了显着的性能提升，特别是在zero-shot传输设置中。将发布代码、数据和模型。
2021-12-21 cs.CV
Multi-Scale Diffusion: Enhancing Spatial Layout in High-Resolution Panoramic Image Generation
Zhejiang University（浙江大学）
本文提出多尺度扩散（MSD）框架，利用梯度下降将低分辨率结构信息融入高分辨率输出，解决了高分辨率全景图生成中空间布局不一致的问题，显著提升了生成连贯性。
2025-04-06 cs.CV
LaLaLoc: Latent Layout Localisation in Dynamic, Unvisited Environments
University of Oxford（牛津大学）；University of Málaga（马拉加大学）
我们目前LaLaLoc本地化的环境，而不需要事先访问，并在一种方式，是强大的场景外观的大变化，如家具的全面重新安排。具体来说，LaLaLoc通过房间布局的潜在表示来执行本地化。LaLaLoc学习了一个丰富的嵌入空间，该空间在RGB贴图和从已知平面图推断的布局之间共享，该平面图对位置之间的结构相似性进行了编码。此外，LaLaLoc在其潜在空间中引入了直接的跨模态姿势优化。因此，LaLaLoc能够在场景中进行细粒度的姿态估计，而无需事先访问，并且对动态（例如家具配置的变化）具有鲁棒性。我们表明，在国内环境中，LaLaLoc能够准确地定位一个单一的RGB全景图像到8.3厘米内，只给出一个平面图作为优先级。
2021-10-12 cs.CV
SALVe: Semantic Alignment Verification for Floorplan Reconstruction from Sparse Panoramas
Georgia Institute of Technology（佐治亚理工学院）；Zillow Group（齐洛集团）
本文提出SALVe语义对齐验证器，利用稀疏全景图的语义特征推断房间关系并优化位姿图，实现自动二维楼层平面重建，在完整性上超越现有SfM系统200%以上且不损失精度。
2024-06-27 cs.CV
LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
East China Normal University（华东师范大学）；Yiwo Technology（易沃科技）
使用深度神经网络通过单个全景图进行3D房间布局估计已经取得了很大进展。然而，以前的方法不能获得有效的几何感知的房间布局与唯一的纬度的边界或水平深度。我们提出，使用水平深度随着房间高度可以获得全向几何意识的房间布局在水平和垂直方向。此外，我们提出了一个平面几何感知的损失函数与法线和法线的梯度，以监督墙壁的平面度和拐角的转折。我们提出了一个有效的网络，LGT-Net，房间布局估计，其中包含一个新的Transformer架构称为SWG-Transformer模型的几何关系。SWG-Transformer由（移位）窗口块和全局块组成，以结合局部和全局几何关系。此外，我们设计了一种新的相对位置嵌入的Transformer，以提高空间识别能力的全景。实验结果表明，建议的LGT-Net取得了更好的性能比当前的最先进的（SOTA）的基准数据集。
2022-03-25 cs.CV
MvFFN: Multi-view Floor plan Feed-forward Network for Unposed Wide-Baseline Panorama Layout Reconstruction
University of Washington（华盛顿大学）
针对从稀疏无姿态宽基线RGB全景图重建多房间平面图的难题，提出基于多视图有序墙实例分割（MOIS）的MvFFN模型，联合预测相机姿态、几何与语义，经布局链后处理得到高精度平面图，且引入专用数据集ZInD-CrossView。
2026-10-15 cs.AI cs.CV cs.LG
LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zillow Group（齐洛集团）
我们提出了一种算法来预测房间布局从一个单一的图像，概括了跨cumbermas和透视图像，长方体布局和更一般的布局（例如L形的房间）。我们的方法直接在全景图像上操作，而不是像最近的作品那样分解成透视图像。我们的网络架构类似于RoomNet，但我们显示了改进，这是由于基于消失点对齐图像，预测多个布局元素（角落，边界，大小和平移），并将受约束的曼哈顿布局拟合到所产生的预测。我们的方法比较好的速度和准确性，其他现有的工作上的cumberamas，实现了最好的精度之间的透视图像，并可以处理长方体形状和更一般的曼哈顿布局。
2018-03-23 cs.AI cs.CV
Indoor Heat Estimation from a Single Visible-Light Panorama
Carnegie Mellon University（卡内基梅隆大学）
提出利用成对室内外HDR全景图联合估计室内光照与温度分布的图像渲染方法，并通过红外热像验证，可支持物理可信的虚拟家居可视化。
2025-10-20 cs.CV
Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven（鲁汶大学）
识别人类行为从根本上说是一个时空推理问题，并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设，在这项工作中，我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置，但仍不清楚（i）精心制作的基于时空布局的方法可以识别人类行为的程度，以及（ii）如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别，其中我们提倡在时空布局上使用多头注意力（已被证明对空间推理有效），即，对象边界框的配置。我们评估不同的方案，以注入视频外观信息的系统，并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上，我们演示了（i）如何扩展多头注意力用于基于时空布局的动作识别，（ii）如何通过与基于布局的模型融合来提高基于外观的模型的性能，（iii）即使在非合成背景杂乱的视频数据集上，基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
PanoViT: Vision Transformer for Room Layout Estimation from a Single Panoramic Image
Alibaba Group（阿里巴巴集团）
在本文中，我们提出了PanoViT，一个全景视觉Transformer估计房间布局从一个单一的全景图像。与CNN模型相比，我们的PanoViT更擅长从全景图像中学习全局信息，以估计复杂的房间布局。考虑到透视图像和等距矩形图像的不同，我们设计了一种新的递归位置嵌入和块采样方法来处理全景图像。除了提取全局信息外，PanoViT还包括频域边缘增强模块和3D损失，以提取全景图像中的局部几何特征。在几个数据集上的实验结果表明，我们的方法在房间布局预测精度方面优于最先进的解决方案。
2022-12-23 cs.CV
Non-central panorama indoor dataset
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
针对非中心全景图像标注数据集缺失的问题，本文提出首个室内场景理解用非中心全景数据集，含2574张RGB图及多类标注，填补了相关数据空白。
2024-01-30 cs.CV cs.DB
SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments
Fraunhofer Heinrich Hertz Institute, HHI（弗劳恩霍夫海因里希·赫兹研究所）；Humboldt University of Berlin（柏林洪堡大学）
提出 SPVLoc，通过将查询 RGB 图像与无纹理三维模型渲染的语义全景进行视口匹配，实现无需场景训练且可泛化到未知环境的高精度6D室内相机定位。
2024-07-22 cs.CV
PanelNet: Understanding 360 Indoor Environment via Panel Representation
Tencent America（腾讯美国）
本文提出PanelNet框架，通过将360度全景图表示为连续垂直面板并结合3D几何信息，利用面板几何嵌入网络和Local2Global Transformer减少畸变并捕捉全局上下文，在室内深度估计、布局估计和语义分割任务上取得优异性能。
2023-05-16 cs.CV
OmniSCV: An Omnidirectional Synthetic Image Generator for Computer Vision
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
针对全向图像畸变处理算法训练数据不足的问题，提出OmniSCV生成工具，支持多种投影模型的全向图像合成并提供像素级真值信息，经多类视觉算法验证有效。
2024-01-30 cs.CV
Manhattan Room Layout Reconstruction from a Single 360 image: A Comparative Study of State-of-the-art Methods
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Tsing Hua University（国立清华大学）；National Chiao Tung University（国立交通大学）；ShanghaiTech University（上海科技大学）；University of Washington（华盛顿大学）；Apple Inc.（苹果公司）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
最近的方法，预测布局从360度全景图产生了很好的结果。这些方法建立在由三个步骤组成的共同框架上：基于基于边缘对齐的预处理步骤、布局元素的预测以及通过将3D布局拟合到布局元素的后处理步骤。到目前为止，由于多个不同的设计决策，例如编码网络（例如SegNet或ResNet），预测的元素类型（例如角落，墙壁/地板边界或语义分割）或拟合3D布局的方法，很难比较这些方法。为了应对这一挑战，我们总结和描述的共同框架，变量，和设计决策的影响。为了进行完整的评估，我们还提出了Matterport 3D数据集的扩展注释[3]，并引入了两个基于深度的评估指标。
2020-12-25 cs.CV cs.LG eess.IV
