BIPS: Bi-modal Indoor Panorama Synthesis via Residual Depth-aided Adversarial Learning
KAIST（韩国科学技术院）
提供全向深度以及RGB信息对于许多应用（例如，VR/AR）是重要的。然而，由于全向RGB-D数据并不总是可用的，因此从场景的有限信息合成RGB-D全景数据可能是有用的。因此，一些先前的工作试图从透视RGB图像合成RGB全景图像;然而，它们遭受有限的图像质量，并且不能直接扩展用于RGB-D全景合成。本文研究了一个新的问题：任意摄像机和深度传感器配置下的RGB-D全景图合成。因此，我们提出了一种新的双峰（RGB-D）全景合成（BIPS）框架。特别是，我们专注于室内环境，其中RGB-D全景可以为许多应用提供完整的3D模型。我们设计了一个发生器，融合的双模态信息和训练它与剩余辅助对抗学习（RDAL）。RDAL允许通过联合推断RGB全景、布局深度和残余深度来合成逼真的室内布局结构和内部。此外，由于没有定制的评价指标RGB-D全景合成，我们提出了一种新的度量，以有效地评估其感知质量。大量的实验表明，我们的方法合成高质量的室内RGB-D的照片，并提供逼真的3D室内模型比以前的方法。代码将在接受后发布。
2021-12-12 cs.CV
Indoor Heat Estimation from a Single Visible-Light Panorama
Carnegie Mellon University（卡内基梅隆大学）
提出利用成对室内外HDR全景图联合估计室内光照与温度分布的图像渲染方法，并通过红外热像验证，可支持物理可信的虚拟家居可视化。
2025-10-20 cs.CV
Virtual Home Staging: Inverse Rendering and Editing an Indoor Panorama under Natural Illumination
Carnegie Mellon University（卡内基梅隆大学）
本研究提出一种自然光照下改造室内全景图的逆渲染方法，含家具检测移除、自动布局设计、全局渲染三部分，配套Cali-HDR数据集，验证了不同光照下的渲染有效性。
2024-01-29 cs.CV
Top2Pano: Learning to Generate Indoor Panoramas from Top-Down View
University of Louisville（路易斯维尔大学）
针对俯视生成室内全景图的结构与真实感难题，提出端到端模型Top2Pano，结合体素渲染与ControlNet扩散优化，在多数据集上优于基线且泛化性好。
2025-07-28 cs.CV
FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
Sun Yat-sen University（中山大学）；Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（广东省火灾科学与智能应急技术重点实验室）
本文提出 FastScene 框架，由文本生成全景图并结合 CVS、PNVI、MVP 与 3DGS 重建，实现更快、更高质量且一致的 3D 室内场景生成。
2024-05-09 cs.CV
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
National Tsing Hua University（台湾清华大学）
我们提出了一个用于室内全景图像修补的端到端深度学习框架。虽然以前的修复方法在自然透视图像上表现出令人印象深刻的性能，但大多数无法处理全景图像，特别是室内场景，这些场景通常包含复杂的结构和纹理内容。为了实现更好的修复质量，我们建议在修复过程中利用室内全景的全局和局部上下文。具体地说，我们采取低层次的布局边缘估计从输入的全景作为一个前指导修复模型恢复全球室内结构。采用平面感知归一化模块来将从布局导出的平面风格特征嵌入到生成器中，从而鼓励从相邻房间结构（即，天花板、地板和墙壁）。实验结果表明，我们的工作优于当前国家的最先进的方法在公共全景数据集上的定性和定量评价。我们的代码可在https://ericsujw.github.io/LGPN-net/上获得
2023-01-13 cs.CV
Local-to-Global Panorama Inpainting for Locale-Aware Indoor Lighting Prediction
Nanjing University（南京大学）
从单个透视图像预测全景室内照明是计算机视觉和图形学中的基本但高度不适定的问题。为了实现区域感知和鲁棒的预测，该问题可以分解为三个子任务：基于深度的图像变形、全景图像修复和高动态范围（HDR）重建，其中全景图像修复的成功与否起着关键作用。最近的方法主要依赖于卷积神经网络（CNN）来填充变形全景图中的缺失内容。然而，它们通常实现次优性能，因为丢失的内容在全景空间中占据非常大的部分，而CNN受到有限的感受野的困扰。球形信号中的空间变化失真进一步增加了传统CNN的难度。为了解决这些问题，我们提出了一个局部到全局的大规模全景图像修复策略。在我们的方法中，深度引导的局部修复首先应用于扭曲的全景图，以填充小而密集的洞。然后，一个基于变压器的网络，被称为PanoTransformer，被设计成在大孔中产生合理的全局结构。为了避免失真，我们进一步使用立方体映射投影在我们的PanoTransformer设计。在任何地点恢复的高质量全景图有助于我们捕获具有物理上合理的全局结构和精细细节的空间变化的室内照明。
2023-03-18 cs.CV
An Empty Room is All We Want: Automatic Defurnishing of Indoor Panoramas
Matterport（Matterport公司）
本文提出基于Stable Diffusion的室内全景自动去家具化流程，通过增加上下文、领域微调和改进融合实现高保真修复，无需房间布局估计，并在定性与定量上优于现有方法。
2024-05-06 cs.CV
Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation
Insta360 Research（Insta360研究院）；University of California, San Diego（加州大学圣地亚哥分校）；Wuhan University（武汉大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种全景深度估计的基础模型，通过三阶段伪标签流程和优化方法提升模型在不同场景下的鲁棒性和泛化能力。
2025-12-18 cs.CV
360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming
Nanjing University（南京大学）
针对3D-GS应用于稀疏全景输入时存在的球面投影建模难、无纹理平面漂浮伪影多等问题，提出结合切平面投影与布局先验的360-GS方法，提升了室内新视角合成质量，支持沉浸式漫游。
2024-02-01 cs.CV cs.GR
PanDA: Towards Panoramic Depth Anything with Unlabeled Panoramas and Mobius Spatial Augmentation
AI Thrust, HKUST(GZ)（香港科技大学（广州）AI thrust）；University of Birmingham（伯明翰大学）；HKU（香港大学）；NTU（南洋理工大学）
本文针对深度基础模型在全景图像上受球面畸变影响的问题，提出半监督框架 PanDA，并通过伪标签与 Möbius 空间增强一致性正则化提升零样本全景深度估计性能。
2025-03-15 cs.CV
Distortion-aware Monocular Depth Estimation for Omnidirectional Images
School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；University of Western Australia（西澳大利亚大学）；Alibaba Group（阿里巴巴集团）
全景图任务的一个主要挑战在于图像中物体的失真。在这项工作中，我们提出了一个失真感知单目全向（DAMO）密集深度估计网络，以解决这一挑战的室内立体声两个步骤。首先，我们引入了一个失真感知模块，从全向图像中提取校准的语义特征。具体来说，我们利用可变形卷积调整其采样网格的几何变化的扭曲的物体上，然后利用条带池化模块对水平失真引入的反日心球投影采样。其次，我们进一步为我们的目标函数引入了一个即插即用的球形感知权重矩阵，以处理从球体投影的区域的不均匀分布。在360 D数据集上的实验表明，该方法能有效地从失真的图像中提取语义特征，减轻失真带来的监督偏差。它在360D数据集上以高效率实现了最先进的性能。
2020-11-30 cs.CV cs.LG eess.IV
Layout-Guided Novel View Synthesis from a Single Indoor Panorama
ShanghaiTech University（上海科技大学）；KooLab；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
现有的视图合成方法主要针对透视图像，并取得了良好的效果。然而，由于针孔摄像机的视场有限，当采用大的摄像机运动时，性能迅速下降。在本文中，我们第一次尝试从一个单一的室内全景图生成新的意见，并考虑到大型摄像机的平移。为了解决这个具有挑战性的问题，我们首先使用卷积神经网络（CNN）从源视图图像中提取深度特征并估计深度图。然后，我们利用房间布局先验，一个强的室内场景的结构约束，以指导目标视图的生成。更具体地说，我们在源视图中估计房间布局，并将其转换为目标视点作为指导。同时，我们还约束生成的目标视图图像的房间布局，以加强几何一致性。为了验证我们的方法的有效性，我们进一步构建了一个包含小型和大型相机平移的大规模照片级真实感数据集。在我们具有挑战性的数据集上的实验结果表明，我们的方法达到了最先进的性能。该项目的页面位于https://github.com/bluestyle97/PNVS。
2021-03-31 cs.CV
Revolvable Indoor Panoramas Using a Rectified Azimuthal Projection
我们提出了一种算法，用于将室内球形全景图转换为具有模拟俯视图的照片。由此产生的图像将具有非常宽的视场，覆盖球面全景的4π球面度。我们认为，我们的方法补充了常用于“小行星”效应的赤平投影。赤平投影在创建室外场景的小行星时效果很好;而我们的方法非常适合室内场景。我们的方法的主要创新之处是引入了一种新的方位地图投影，它可以平滑地融合球极投影和朗伯方位等积投影。我们的投影有一个可调节的参数，允许一个控制和妥协之间的扭曲的形状和扭曲的大小在投影的全景。这个额外的控制参数使我们的投影能够产生优于球极投影的结果。
2016-05-02 cs.CV math.DG
PanoMixSwap Panorama Mixing via Structural Swapping for Indoor Scene Understanding
National Tsing Hua University（国立清华大学）
针对360室内全景训练数据不足的问题，本文提出PanoMixSwap数据增强方法，通过跨图像交换并混合背景风格、前景家具和房间布局生成多样样本，提升语义分割与布局估计性能。
2023-09-27 cs.CV
PanoDR: Spherical Panorama Diminished Reality for Indoor Scenes
Centre for Research and Technology Hellas（希腊研究与技术中心）
商业$360^\circ$相机的普及使室内扫描变得大众化，增加了人们对新颖应用的兴趣，例如室内空间重新设计。减少现实（DR）满足了这些应用程序的要求，删除场景中的现有对象，基本上将其转换为反事实修复任务。虽然数据驱动修复的最新进展在生成真实样本方面取得了重大进展，但它们并不局限于生成具有真实映射结构的结果。为了在室内（重新）规划应用中保持“真实性”，场景的结构保护至关重要。为了确保结构感知的反事实修复，我们提出了一种模型，该模型最初预测室内场景的结构，然后使用它来指导同一场景的空-仅背景-表示的重建。我们训练和其他国家的最先进的方法对DR修改的Structured3D数据集的一个版本进行比较，在定量指标和定性结果显示出优越的结果，但更有趣的是，我们的方法表现出更快的收敛速度。代码和型号可在www.example.com上获得。
2021-06-01 cs.CV
OmniLayout: Room Layout Reconstruction from Indoor Spherical Panoramas
The Pennsylvania State University（宾夕法尼亚州立大学）
给定单个RGB全景，3D布局重建的目标是通过预测拐角、地板边界和天花板边界来估计房间布局。一种常见的方法是使用标准卷积网络来预测拐角和边界，然后进行后处理以生成3D布局。然而，全景图像中的空间变化的失真与标准卷积的平移等方差性质不兼容，从而降低性能。相反，我们建议使用球面卷积。由此产生的网络，我们称之为OmniLayout，直接在球体表面上执行卷积，根据逆等矩形投影进行采样，因此不受等矩形失真的影响。使用新的评估指标，我们表明，与标准卷积网络相比，我们的网络将严重失真区域（极点附近）的误差减少了约25%。实验结果表明，OmniLayout在两个不同的基准数据集（PanoContext和Stanford 2D-3D）上的性能优于最先进的约4%。代码可在https://github.com/rshivansh/OmniLayout上获得。
2021-04-19 cs.CV
Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting
UC Berkeley（加州大学伯克利分校）
本文提出一种基于3D Gaussian Splatting的可扩展流水线，利用无人机捕获的360度视频进行室内新视角合成，通过分治策略和由粗到细的对齐策略实现大型场景的高质量并行重建。
2024-10-15 cs.CV
360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
Hong Kong University of Science and Technology（香港科技大学）
本文提出360Roam系统，通过几何感知的辐射场与自适应局部辐射场分解，实现基于稀疏360°图像的大规模室内场景实时、高质量漫游。
2023-11-28 cs.CV
Non-central panorama indoor dataset
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
针对非中心全景图像标注数据集缺失的问题，本文提出首个室内场景理解用非中心全景数据集，含2574张RGB图及多类标注，填补了相关数据空白。
2024-01-30 cs.CV cs.DB
Toward 360-Degree Indoor Panorama Editing via Tuning-Free Diffusion Model with Refocusing Cross-Attention
提出FocusDiff框架，通过重聚焦交叉注意力实现免调优的精确区域编辑，并扩展到360度室内全景编辑，在局部编辑基准LIMB上优于现有零样本方法。
2026-06-15 cs.CV
Depth Anything in $360^\circ$: Towards Scale Invariance in the Wild
Insta360 Research（Insta360研究院）
DA360通过学习ViT主干的位移参数，实现全景深度估计的尺度不变性，显著提升室内和户外深度估计性能。
2026-10-01 cs.CV
SSLayout360: Semi-Supervised Indoor Layout Estimation from 360-Degree Panorama
Flyreel AI Research（Flyreel人工智能研究院）
近年来，半监督学习和三维房间布局重建的研究蓬勃发展。在这项工作中，我们探索这两个领域的交叉点，以推进研究目标，使更准确的3D室内场景建模与更少的标记数据。我们提出了第一种方法来学习表示房间的角落和边界，通过使用标记和未标记的数据的组合，以改善布局估计在360度全景场景。通过大量的比较实验，我们证明了我们的方法可以提前布局估计复杂的室内场景使用少至20个标记的例子。当与在合成数据上预先训练的布局预测器相结合时，我们的半监督方法仅使用12%的标签就可以与完全监督的方法相匹配。我们的工作朝着稳健的半监督布局估计迈出了重要的第一步，该估计可以在有限的标记数据下实现3D感知中的许多应用。
2021-05-17 cs.CV cs.LG
Unified Panoramic Geometry Estimation via Multi-View Foundation Models
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
提出PaGeR框架，利用预训练3D基础模型，从单张全景图像中统一预测尺度不变深度、度量深度、表面法线和天空掩码，实现360度场景重建。
2026-05-27 cs.AI cs.CV
PanelNet: Understanding 360 Indoor Environment via Panel Representation
Tencent America（腾讯美国）
本文提出PanelNet框架，通过将360度全景图表示为连续垂直面板并结合3D几何信息，利用面板几何嵌入网络和Local2Global Transformer减少畸变并捕捉全局上下文，在室内深度估计、布局估计和语义分割任务上取得优异性能。
2023-05-16 cs.CV
EverLight: Indoor-Outdoor Editable HDR Lighting Estimation
Université Laval（拉瓦尔大学）；Adobe（奥多比）
针对现有光照估计方法场景适配单一、可编辑方法真实感不足的问题，提出EverLight方法，结合参数化光照模型与360°全景图，通过光照共调制实现可编辑HDR光照估计，兼顾室内外场景且性能达SOTA。
2023-08-21 cs.CV
HoHoNet: 360 Indoor Holistic Understanding with Latent Horizontal Features
National Tsing Hua University（国立清华大学）；ASUS AICS（华硕AI研发中心）；Joint Research Center for AI Technology and All Vista Healthcare（AI技术与全视野医疗联合研究中心）；Aeolus Robotics
我们提出了HoHoNet，一个通用的和高效的框架，用于使用潜在水平特征（LHFeat）对室内360度全景进行整体理解。紧凑的LHFeat沿垂直方向的功能，并已显示出成功的建模每列模态的房间布局重建。HoHoNet在两个重要方面取得了进展。首先，重新设计了深层架构，以提高准确性并加快运行速度。其次，我们提出了一种新的水平密集模块，它放松了每列输出形状的约束，允许从LHFeat的每像素密集预测。HoHoNet速度快：它分别使用ResNet-50和ResNet-34主干以52 FPS和110 FPS运行，用于从高分辨率$512 \times 1024$全景图中建模密集模态。HoHoNet也是准确的。在布局估计和语义分割任务上，HoHoNet实现了与当前最先进技术相当的结果。在密集深度估计上，HoHoNet大大优于所有现有技术。
2021-09-09 cs.CV
LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
East China Normal University（华东师范大学）；Yiwo Technology（易沃科技）
使用深度神经网络通过单个全景图进行3D房间布局估计已经取得了很大进展。然而，以前的方法不能获得有效的几何感知的房间布局与唯一的纬度的边界或水平深度。我们提出，使用水平深度随着房间高度可以获得全向几何意识的房间布局在水平和垂直方向。此外，我们提出了一个平面几何感知的损失函数与法线和法线的梯度，以监督墙壁的平面度和拐角的转折。我们提出了一个有效的网络，LGT-Net，房间布局估计，其中包含一个新的Transformer架构称为SWG-Transformer模型的几何关系。SWG-Transformer由（移位）窗口块和全局块组成，以结合局部和全局几何关系。此外，我们设计了一种新的相对位置嵌入的Transformer，以提高空间识别能力的全景。实验结果表明，建议的LGT-Net取得了更好的性能比当前的最先进的（SOTA）的基准数据集。
2022-03-25 cs.CV
Holi-Spatial 360: Generative Reconstruction from Sparse Panoramas for Spatial Rendering and Intelligence
The Hong Kong University of Science and Technology（香港科技大学）；ShanghaiTech University（上海科技大学）；Tencent（腾讯）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出 Holi-Spatial 360 框架，将房产平台稀疏全景图转为带注释多房间 3D 环境，构建含海量数据的 Holi360 基准，可提升 VLM 空间推理与重建整理质量。
2026-10-14 cs.CV
SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments
Fraunhofer Heinrich Hertz Institute, HHI（弗劳恩霍夫海因里希·赫兹研究所）；Humboldt University of Berlin（柏林洪堡大学）
提出 SPVLoc，通过将查询 RGB 图像与无纹理三维模型渲染的语义全景进行视口匹配，实现无需场景训练且可泛化到未知环境的高精度6D室内相机定位。
2024-07-22 cs.CV
SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Trento（特伦托大学）
针对通用单目度量深度估计场景一致性差、训练数据需求大的问题，提出基于非归一化深度箱与分治策略的SM$^4$Depth模型，仅用15万数据在消费级GPU训练，即可在跨场景数据集上实现一致的高精度深度估计。
2024-08-15 cs.AI cs.CV
Conditional 360-degree Image Synthesis for Immersive Indoor Scene Decoration
Hong Kong University of Science and Technology（香港科技大学）；VinAI Research（VinAI研究院）；Deakin University（迪肯大学）
针对360度室内图像条件装饰问题，提出带360感知布局生成器与场景清空循环约束的生成框架，在Structure3D上达SOTA，泛化性好且能提供沉浸式装饰效果。
2023-07-18 cs.CV
Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation
Genie Sim PanoWorld是两阶段前馈流水线，从单张360°全景生成可自由导航的高保真3D高斯场景，优于几何条件基线，且能零样本泛化至未见室内场景
2026-07-30 cs.CV
360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；Zhejiang University（浙江大学）
本文首次提出360BEV任务，利用带深度信息的全景图像生成室内场景的整体鸟瞰语义图，并构建两个数据集及专用解决方案360Mapper，在mIoU上显著超越现有方法。
2023-09-04 cs.CV
Beyond the Pixel: a Photometrically Calibrated HDR Dataset for Luminance and Color Prediction
Université Laval（拉瓦尔大学）
本文提出首个光度校准的HDR室内全景数据集，通过专业设备校准现有数据，支持从单图预测亮度、颜色和照度，推动物理准确光照估计。
2023-10-13 cs.CV
