Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；University of Technology Sydney（悉尼科技大学）
本文提出了一种新的方法来合成一个新的街景全景给定的开销卫星图像。以一个小的卫星图像补丁作为输入，我们的方法生成一个谷歌的全向街景类型的全景，就好像它是从同一地理位置的卫星补丁的中心捕获。现有的工作解决这个任务作为一个图像生成问题，采用生成对抗网络隐式学习的跨视图变换，而忽略了域的相关性。在本文中，我们建议明确建立两个视图之间的图像的几何对应关系，以促进跨视图变换学习。具体来说，我们观察到，当现实世界中的3D点在两个视图中都可见时，在给定该3D点的高度信息的情况下，在两个视图图像中的投影点之间存在确定性映射。出于这一动机，我们开发了一种新的卫星街景图像投影（S2SP）模块，明确建立这样的几何对应关系，并将卫星图像投影到街道的观点。以这些投影卫星图像作为网络输入，我们接下来采用一个生成器来合成与卫星图像在几何上一致的逼真街景贴图。我们的S2SP模块是可区分的，整个框架是以端到端的方式训练的。在两个交叉视图基准数据集上的大量实验结果表明，我们的方法生成的图像比现有方法更好地尊重场景几何形状。
2022-03-26 cs.CV
PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting
Monash University（莫纳什大学）；Building 4.0 CRC（4.0建筑合作研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对现有全景视图合成方法分辨率受限的问题，提出PanSplat前馈方法，通过定制球面3D高斯金字塔与内存高效训练流水线，实现4K分辨率全景合成，在多数据集上取得SOTA效果。
2025-03-23 cs.CV
Layout-Guided Novel View Synthesis from a Single Indoor Panorama
ShanghaiTech University（上海科技大学）；KooLab；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
现有的视图合成方法主要针对透视图像，并取得了良好的效果。然而，由于针孔摄像机的视场有限，当采用大的摄像机运动时，性能迅速下降。在本文中，我们第一次尝试从一个单一的室内全景图生成新的意见，并考虑到大型摄像机的平移。为了解决这个具有挑战性的问题，我们首先使用卷积神经网络（CNN）从源视图图像中提取深度特征并估计深度图。然后，我们利用房间布局先验，一个强的室内场景的结构约束，以指导目标视图的生成。更具体地说，我们在源视图中估计房间布局，并将其转换为目标视点作为指导。同时，我们还约束生成的目标视图图像的房间布局，以加强几何一致性。为了验证我们的方法的有效性，我们进一步构建了一个包含小型和大型相机平移的大规模照片级真实感数据集。在我们具有挑战性的数据集上的实验结果表明，我们的方法达到了最先进的性能。该项目的页面位于https://github.com/bluestyle97/PNVS。
2021-03-31 cs.CV
Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama
National Tsing Hua University（台湾清华大学）
我们提出了全方位神经辐射场（OmniNeRF），第一种方法的应用程序的松弛启用新的全景视图合成。新的视图合成的工作集中在有限的视野和透视图像需要在特定条件下拍摄足够的图片。相反，OmniNeRF可以生成未知视点的全景图像，给定单个等矩形图像作为训练数据。为此，我们建议通过在3D世界和不同的2D全景坐标之间在不同的虚拟相机位置来回投影来增强单个RGB-D全景。通过这样做，我们能够优化全向神经辐射场，其中可见像素从固定中心处的全向视角收集，用于从不同的相机位置估计新的视角。因此，建议OmniNeRF实现令人信服的渲染表现出视差效果的新颖的全景视图。我们展示了我们的每一个建议在合成和真实世界数据集上的有效性。
2021-06-21 cs.CV
Top2Pano: Learning to Generate Indoor Panoramas from Top-Down View
University of Louisville（路易斯维尔大学）
针对俯视生成室内全景图的结构与真实感难题，提出端到端模型Top2Pano，结合体素渲染与ControlNet扩散优化，在多数据集上优于基线且泛化性好。
2025-07-28 cs.CV
Pano2Room: Novel View Synthesis from a Single Indoor Panorama
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
提出Pano2Room方法，通过全景RGBD修复器迭代细化初步网格并收集伪新视角，结合3D Gaussian Splatting训练，从单张室内全景图实现高质量3D场景重建与新视角合成。
2024-08-27 cs.CV cs.GR
Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas
Google（谷歌）；University of Oxford（牛津大学）；MCML；Technical University of Munich（慕尼黑技术大学）
Stepper通过分步扩展多视角全景图，解决传统方法在视觉保真度与可探索性之间的权衡问题，实现高质量沉浸式3D场景生成。
2026-05-01 cs.CV
Cross-View Panorama Image Synthesis
Guangdong University of Petrochemical Technology（广东石油化工学院）；ETH Zurich（苏黎世联邦理工学院）；Wuhan University（武汉大学）；Nanjing University（南京大学）；Jinling Institute of Technology（金陵科技学院）；Jiangsu Hoperun Software Co. Ltd.（江苏润和软件股份有限公司）；Nanjing University of Science and Technology（南京理工大学）；University of Trento（特伦托大学）；Illinois Institute of Technology（伊利诺伊理工学院）
在本文中，我们解决的问题，合成一个地面视图的全景图像条件下的俯视航拍图像，这是一个具有挑战性的问题，由于两个图像域之间的巨大差距与不同的观点。我们提出了一个新的对抗性反馈GAN框架Pano GAN，它有两个关键组成部分：对抗性反馈模块和双分支判别策略，而不是在前馈通道中学习交叉视图映射。首先，将航拍图像输入生成器以产生目标全景图像及其相关联的分割图，以利于具有布局语义的模型训练。第二，由我们的对抗反馈模块编码的特征响应被反馈到生成器以细化中间表示，从而通过迭代生成过程不断提高生成性能。第三，为了保证生成的全景图像的高保真度和语义一致性，提出了一种基于双分支判别策略的像素分割对齐机制，以便于生成器和全景图像处理器之间的协作。在两个具有挑战性的跨视图图像数据集上进行的大量实验结果表明，PanoGAN能够生成高质量的全景图像，比最先进的方法具有更令人信服的细节。源代码和经过训练的模型可在\url{https://github.com/sswuai/PanoGAN}上获得。
2022-03-22 cs.CV cs.MM
OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas
Google Research（谷歌研究院）；University of Maryland（马里兰大学）
沉浸式地图，如谷歌街景和Bing街景提供了真实的生活与大量的照片集的看法。然而，这些视差仅在沿着它们所采取的路径的稀疏间隔处可用，导致在导航期间的视觉不连续。视图合成中的现有技术通常建立在一组透视图像、一对立体图像或单目图像上，但几乎不检查宽基线视差，宽基线视差在商业平台中被广泛采用以优化带宽和存储使用。在本文中，我们充分利用宽基线全景图的独特特性，并提出了OmniSyn，一种用于宽基线全景图之间的360°视图合成的新管道。OmniSyn使用球形成本体积和单眼跳过连接来预测全向深度图，在360°图像中渲染网格，并使用融合网络合成中间视图。我们通过全面的实验结果证明了OmniSyn的有效性，包括与CARLA和Matterport数据集上最先进的方法进行比较，消融研究和街景泛化研究。我们设想我们的工作可能会激发未来对这个未被关注的现实世界任务的研究，并最终为沉浸式地图导航提供更流畅的体验。
2022-02-22 cs.CV cs.GR
Customizing 360-Degree Panoramas through Text-to-Image Diffusion Models
University College London（伦敦大学学院）；Meta Reality Labs（Meta现实实验室）
针对现有个性化T2I扩散模型忽略全局几何的问题，构建专用数据集微调模型，提出StitchDiffusion方法保障全景图边缘连续性，可生成高质量且泛化性强的360度全景图。
2023-11-07 cs.CV
LighthouseGS: Indoor Structure-aware 3D Gaussian Splatting for Panorama-Style Mobile Captures
Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院）
LighthouseGS通过利用室内结构和几何先验，提升单移动设备全景式捕捉的3D点估计和视图合成性能。
2026-02-11 cs.AI cs.CV cs.GR
Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Technology Sydney（悉尼科技大学）
交叉视图地理定位是在给定地理标记的天线（例如，卫星）图像。现有的方法把任务作为一个纯粹的位置估计问题，通过学习判别特征描述符，但忽略方向对齐。众所周知，知道地面和空中图像之间的取向可以显著减少这两个视图之间的匹配模糊性，特别是当地面图像具有有限的视场（FoV）而不是全视场全景时。因此，我们设计了一个动态相似度匹配网络来估计跨视图定位过程中的方向对齐。特别是，我们解决了跨视图域间隙通过应用极坐标变换的空间图像近似对齐的图像到一个未知的方位角。然后，使用双流卷积网络从地面和极坐标变换的航空图像中学习深度特征。最后，通过计算交叉视图特征之间的相关性来获得方向，这也提供了更准确的特征相似性度量，提高了位置召回率。标准数据集上的实验表明，我们的方法显着提高了最先进的性能。值得注意的是，我们将CVUSA数据集上的前1位位置召回率提高了1.5倍，对于具有已知方向的Cumarmas，提高了3.3倍，对于具有未知方向的Cumarmas，提高了6倍。
2020-05-08 cs.CV
Spherical Dense Text-to-Image Synthesis
RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道理工大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文提出将免训练密集文本到图像方法集成到全景模型中，实现球面密集文本到图像合成，并提出MSTD和MPF两种方法及DSynView基准数据集，验证了MSTD在图像质量和布局遵循度上的优势。
2025-03-10 cs.CV
Seeing through Satellite Images at Street Views
State Key Lab. LIESMARS, Wuhan University（武汉大学国家实验室LIESMARS）；Ant Group（蚂蚁集团）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）
本文提出Sat2Density++方法，通过神经网络建模街景特有的元素，实现基于卫星图像的逼真街景全景生成。
2026-02-03 cs.CV
PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas
Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出PanoGRF，通过融合360°场景与单目深度先验的球面辐射场，解决宽基线稀疏全景图的几何学习难题，并在多个数据集上超越OmniSyn、IBRNet和NeuRay。
2023-12-06 cs.CV cs.GR
PanoLlama: Generating Endless and Coherent Panoramas with Next-Token-Prediction LLMs
College of Computer Science and Technology（计算机科学与技术学院）
针对全景图像生成现有方法连贯性不足的问题，提出PanoLlama框架，通过免训练词元重定向策略让视觉自回归模型实现任意方向无限全景生成，性能达SOTA，还支持多种特殊应用并构建了新基准数据集。
2025-08-01 cs.CV
A Survey on Text-Driven 360-Degree Panorama Generation
Department of Statistical Science, University College London（统计科学系，伦敦大学学院）；Core AI team at Meta Reality Labs（Meta Reality Labs人工智能核心团队）
本文综述了文本驱动的360度全景生成技术，系统分析了最新算法，并延伸至3D场景与全景视频生成，同时指出当前局限与未来方向。
2025-11-05 cs.AI cs.CV
VidPanos: Generative Panoramic Videos from Casual Panning Videos
University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；Weitzmann Institute of Science（魏茨曼科学研究所）
该研究将随手拍摄的平移视频全景合成建模为时空外绘问题，通过把生成式视频模型嵌入完整系统，生成与输入等长且时空一致的广角全景视频。
2024-10-27 cs.CV cs.GR
Sat2Density: Faithful Density Learning from Satellite-Ground Image Pairs
Wuhan University（武汉大学）；Ant Group（蚂蚁集团）
提出Sat2Density方法，利用卫星-地面图像对，通过密度场表示无需深度监督即可学习可靠三维几何，显著提升地面视角全景合成。
2023-08-29 cs.CV
Maximum Likelihood Mosaics
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）；The Boston Consulting Group（波士顿咨询集团）
从一组部分视图自动恢复全景图像的大多数方法在输入图像被成对对准或配准的意义上是次优的，例如，视频剪辑的连续帧。这些方法导致可能非常严重的传播误差，特别是在处理以不相交的时间间隔显示相同区域的视频时。尽管一些作者已经提出了后处理步骤来减少这些情况下的配准误差，但是还没有尝试计算最优解，即，导致最佳匹配整个部分视图集合的全景的配准}。这是我们的目标。在本文中，我们使用的生成模型的全景图的部分视图，并开发了一种算法来计算在一个有效的方式的最大似然估计的所有未知数：参数描述对齐的所有图像和全景图本身。
2010-10-19 cs.CV
Look Beyond: Two-Stage Scene View Generation via Panorama and Video Diffusion
University of Melbourne（墨尔本大学）
针对单图像新视图合成在长/环形轨迹上连贯性不足的问题，提出两阶段方法：先通过全景扩散生成360度场景，再以全景关键帧为锚，用视频扩散生成全局一致的新视图，性能优于现有方法。
2025-08-31 cs.AI cs.CV
Multi-Scale Diffusion: Enhancing Spatial Layout in High-Resolution Panoramic Image Generation
Zhejiang University（浙江大学）
本文提出多尺度扩散（MSD）框架，利用梯度下降将低分辨率结构信息融入高分辨率输出，解决了高分辨率全景图生成中空间布局不一致的问题，显著提升了生成连贯性。
2025-04-06 cs.CV
NEF-NET+: Adapting Electrocardio panorama in the wild
Information Hub, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心）；School of Biomedical Engineering, Sun Yat-sen University, Shenzhen（中山大学医学院深圳校区）；College of Computer Science and Technology, Zhejiang University, Hangzhou（浙江大学计算机科学与技术学院）；Department of Electrical and Electronic Engineering, University of Hong Kong, Pokfulam（香港大学电子与电气工程系）
本文提出 NEF-NET+ 框架，通过直接视角变换与设备及患者校准，实现任意时长、任意视角的真实场景心电全景合成，并构建 48 视角 Panobench 基准，较 Nef-Net 提升约 6 dB PSNR。
2025-11-04 cs.AI cs.CV eess.IV
Pano2World: End-to-End 3D Generation via Unified Multi-View Sequences
Ke Holdings Inc.（贝壳找房）
提出Pano2World方法，利用全景扩散模型和视图感知注意力路由，从单张室内全景图直接生成可探索的三维高斯场景，解决多步管道误差累积和视频模型灵活性不足的问题。
2026-07-07 cs.AI cs.CV
PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
提出PanoImager框架，无需SfM，结合前馈位姿/深度先验、几何条件扩散视图补全和深度引导3DGS优化，从稀疏全景图像实现稳定新视角合成与重建。
2026-07-10 cs.CV
StreetDiff: Multi-view Street Scenes Generation via Cross-view Consistent Multi-view Stable Diffusion with Structure Prompts
Shenzhen University（深圳大学）
针对多视角扩散模型在城市街道场景中跨视角一致性差的问题，提出StreetDiff框架，通过全景-透视协同设计和全景对齐模块显式施加跨视角对齐约束，并构建Street360数据集，显著提升结构一致性与视觉保真度。
2026-09-10 cs.CV
PERF: Panoramic Neural Radiance Field from a Single Panorama
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；The University of Hong Kong（香港大学）；Texas A&M University（德克萨斯A&M大学）
本文提出PERF框架，通过协作式RGBD修复和渐进式修复与擦除方法，从单张全景图重建可漫游的全景神经辐射场，在Replica和PERF-in-the-wild数据集上优于现有方法。
2023-10-28 cs.CV cs.GR cs.LG
Generative Adversarial Frontal View to Bird View Synthesis
CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）
环境感知是一项具有重要实用价值的工作，而鸟瞰是创造周围环境景观的重要组成部分。由于正视图和鸟瞰图之间的大间隙和严重变形，从单个正视图生成鸟瞰图图像是具有挑战性的。为了解决这个问题，我们提出了BridgeGAN，即，一种新的生成式鸟瞰图合成模型。首先，中间视图，即，单应性视图，以弥合这一巨大差距。接下来，在我们的任务中的三个视图（正视图，单应性视图和鸟瞰图）的条件下，提出了一个基于多GAN的模型来学习具有挑战性的跨视图翻译。在合成数据集上进行的大量实验表明，我们的模型生成的图像比现有方法生成的图像要好得多，具有更一致的全局外观和更清晰的细节。消融研究和讨论表明，在一些具有挑战性的情况下，它的可靠性和鲁棒性。
2019-04-02 cs.CV
OmniCity: Omnipotent City Understanding with Multi-level and Multi-view Images
Sun Yat-sen University（中山大学）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Wuhan University（武汉大学）
本文介绍了OmniCity，一个新的数据集，用于从多层次和多视图图像中理解全能的城市。更准确地说，OmniCity包含多视图卫星图像以及街道级全景和单视图图像，构成了超过10万像素的注释图像，这些图像是从纽约市的25 K地理位置收集的。为了减轻大量的像素级注释工作，我们提出了一个有效的街景图像注释管道，利用现有的标签地图的卫星视图和不同的视图（卫星，全景，和mono-view）之间的转换关系。通过新的OmniCity数据集，我们为各种任务提供了基准测试，包括建筑物足迹提取，高度估计和建筑平面/实例/细粒度分割。与现有的多层次、多视角基准测试相比，OmniCity包含了更多的图像，具有更丰富的标注类型和更多的视角，提供了更多的最新模型的基准测试结果，并引入了一种新的任务，即在街道级全景图像上进行细粒度的建筑物实例分割。此外，OmniCity为现有任务提供了新的问题设置，例如跨视图图像匹配，合成，分割，检测等，并促进了大规模城市理解、重建和模拟的新方法的发展。OmniCity数据集以及基准将在https://city-super.github.io/omnicity上提供。
2022-08-04 cs.CV
CylinderSplat: 3D Gaussian Splatting with Cylindrical Triplanes for Panoramic Novel View Synthesis
Shanghaitech University（上海科技大学）；Nanjing University of Science and Technology（南京理工大学）
CylinderSplat通过圆柱三平面表示和双分支架构，提升全景图像新视角合成的重建质量和几何精度。
2026-03-06 cs.CV
LiftProj: Space Lifting and Projection-Based Panorama Stitching
National Nature Science Foundation of China（国家自然科学基金委员会）
LiftProj通过三维空间提升和投影技术，解决复杂三维场景下的全景拼接问题，提升拼接的几何一致性和视觉效果。
2025-12-30 cs.CV cs.MM
Neural Light Spheres for Implicit Image Stitching and View Synthesis
Princeton University（普林斯顿大学）；Google Inc.（谷歌公司）
本文提出球面神经光场模型，实现隐式全景拼接与视图合成，联合估计相机路径并重建高分辨率场景，支持实时渲染，优于传统方法。
2025-03-26 cs.CV
CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis
Sun Yat-Sen University（中山大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sensetime Research（商汤科技研究院）
本文提出CrossViewDiff跨视角扩散模型，通过卫星场景结构估计与跨视角纹理映射模块构建控制，结合增强的跨视角注意力去噪过程，在标准与GPT评估指标上超越现有方法，生成更逼真的街景全景图。
2024-08-27 cs.CV
Guided Co-Modulated GAN for 360° Field of View Extrapolation
Université Laval（拉瓦尔大学）；Adobe（奥多比公司）
我们提出了一种方法，从一个单一的图像，允许用户控制的合成外画的内容外推360°的视野。为此，我们提出了对现有基于GAN的内部绘画架构的改进，用于绘制全景图像表示。我们的方法获得了最先进的结果，并在标准图像质量指标上优于以前的方法。为了允许控制外绘的合成，我们引入了一种新的引导共调制框架，该框架使用一个共同的预训练判别模型来驱动图像生成过程。这样做保持了所生成的全景图的高视觉质量，同时在外推的视场中启用用户控制的语义内容。我们展示了我们的方法的视野外推定性和定量的最先进的结果，提供了我们的新的编辑能力的透彻分析。最后，我们证明了我们的方法有利于照片中的高光泽物体的真实感虚拟插入。
2022-08-23 cs.CV
Learning 3D-aware Image Synthesis with Unknown Pose Distribution
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；HKUST（香港科技大学）；CUHK（香港中文大学）
现有的3D感知图像合成方法在很大程度上依赖于在训练集上预先估计的3D姿态分布。不准确的估计可能会误导模型学习错误的几何形状。这项工作提出了PoF3D，从3D姿态先验的要求中释放生成辐射场。我们首先配备一个高效的姿态学习器，它能够从潜在代码中推断出一个姿态，以自动近似底层的真实姿态分布。然后，我们分配的任务，学习姿态分布的监督下的生成器和区分真实和合成图像的预测姿态为条件。姿态自由生成器和姿态感知生成器以对抗方式联合训练。在几个数据集上的广泛结果证实，我们的方法在图像质量和几何质量方面的性能与最先进的水平相当。据我们所知，PoF3D首次证明了在不使用3D姿态先验的情况下学习高质量3D感知图像合成的可行性。
2023-03-23 cs.CV
Conditional 360-degree Image Synthesis for Immersive Indoor Scene Decoration
Hong Kong University of Science and Technology（香港科技大学）；VinAI Research（VinAI研究院）；Deakin University（迪肯大学）
针对360度室内图像条件装饰问题，提出带360感知布局生成器与场景清空循环约束的生成框架，在Structure3D上达SOTA，泛化性好且能提供沉浸式装饰效果。
2023-07-18 cs.CV
MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field
Harbin Institute of Technology (ShenZhen)（哈尔滨工业大学（深圳））
针对传统全景合成缺深度、仅支持3DoF的问题，提出MSI-NeRF，以多球面图像为代价体构建隐式辐射场，仅用源视图和四张图即可泛化实现全向深度估计与6DoF视图合成，性能优于现有方法。
2024-11-03 cs.CV cs.RO
Collaborative Score Distillation for Consistent Visual Synthesis
KAIST（韩国科学技术院）；Google Research（谷歌研究院）
本文提出协同分数蒸馏（CSD），将多张图像视为 SVGD 粒子并组合其分数函数，以实现全景图、视频和 3D 场景的一致视觉合成与编辑。
2023-07-04 cs.CV cs.LG
FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
Sun Yat-sen University（中山大学）；Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（广东省火灾科学与智能应急技术重点实验室）
本文提出 FastScene 框架，由文本生成全景图并结合 CVS、PNVI、MVP 与 3DGS 重建，实现更快、更高质量且一致的 3D 室内场景生成。
2024-05-09 cs.CV
Minimal Solutions for Panoramic Stitching Given Gravity Prior
Nanjing University of Science and Technology（南京理工大学）；Czech Technical University in Prague（布拉格捷克理工大学）；SZTAKI（匈牙利科学院计算机科学与控制研究所）
当捕捉全景时，人们倾向于将他们的相机与垂直轴对齐，即，重力的方向。此外，智能手机和平板电脑等现代设备都配备了IMU（惯性测量单元），可以精确测量重力矢量。使用该先验，相机的y轴可以被对准或假设已经对准，从而将它们的相对取向减少到1-D 0 F（自由度）。利用这一假设，我们提出了新的最小的解决方案，全景图像拼接的图像相机所采取的一致的光学中心，即，进行纯旋转。我们考虑四个实际的相机配置，假设未知的固定或变化的焦距有或没有径向失真。求解器在合成场景和来自Sun 360数据集的超过500 k真实图像对以及我们使用配备IMU的两部智能手机捕获的场景上进行了测试。它示出，他们优于国家的最先进的精度和处理时间方面。
2020-12-01 cs.CV
Revisiting Street-to-Aerial View Image Geo-localization and Orientation Estimation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
街道到航空影像地理定位是将查询的街景影像与参考集中的GPS标记的航空影像进行匹配，近年来受到越来越多的关注。在本文中，我们重新审视这个问题，并指出被忽视的问题，图像对齐信息。我们表明，一个简单的暹罗网络的性能是高度依赖于对齐设置和以前的作品的比较，如果他们有不同的假设是不公平的。而不是专注于对齐假设下的特征提取，我们表明，度量学习技术的改进显着提高性能，无论对齐。在不利用对齐信息的情况下，我们的管道在全景和裁剪数据集上的性能都优于之前的工作。此外，我们进行可视化，以帮助理解学习的模型和对齐信息的效果使用Grad-CAM。我们发现的近似旋转不变的激活地图，我们提出了一种新的方法来估计一对交叉视图图像与未知的对齐信息之间的方向/对齐。它在CVUSA数据集上实现了最先进的结果。
2020-12-07 cs.CV
Diffusion Priors for Dynamic View Synthesis from Monocular Videos
Snap Research（Snap研究院）；KAUST（阿卜杜拉国王科技大学）
本文针对单目视频动态新视角合成中运动与结构难以区分及不可见区域难以生成的问题，提出先微调RGB-D扩散模型再蒸馏至动态与静态NeRF组成的4D表示的方法，实现了几何一致性与场景身份保持。
2024-01-10 cs.CV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Novel View Synthesis from a Single Image via Unsupervised learning
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）；Santa Clara University（圣塔克拉拉大学）
视图合成的目的是从一个或多个给定的源视图生成新的视图。虽然现有的方法已经取得了很好的性能，他们通常需要成对的视图不同的姿势来学习像素变换。本文提出了一种无监督网络来学习这样的像素变换从一个单一的来源的观点。特别是，该网络由一个令牌变换模块（TTM），方便的变换从源视点图像中提取的特征到一个内在的表示相对于一个预定义的参考姿势和视图生成模块（VGM），合成一个任意的视图从表示。学习的变换允许我们从任何未知姿势的单源视点图像合成新视图。广泛使用的视图合成数据集上的实验表明，所提出的网络能够产生与最先进的方法相当的结果，尽管学习是无监督的，并且只需要一个源视点图像来生成一个新的视图。代码将很快可用。
2021-10-29 cs.CV
One Ring to Rule Them All: a simple solution to multi-view 3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet
Australian National University（澳大利亚国立大学）；The University of Tokyo（东京大学）；National Institute of Informatics（国立情报学研究所）
本文提出了一种简单的方法，解决了一个开放的问题，多视图三维重建的对象与未知的和通用的表面材料，由一个自由移动的相机和自由移动的点光源成像。对象可以具有任意（例如非朗伯）、空间变化（或处处不同）的表面反射率（svBRDF）。我们的解决方案由两个小型神经网络（称为“形状网络”和“BRDFNet”）组成，每个网络大约有1,000个神经元，分别用于参数化未知形状和未知svBRDF。我们的方法的关键是一个特殊的网络设计（即，一个具有全局反馈或“环”连接的ResNet），它具有可证明的保证，可以找到一个有效的几何形状参数化。尽管潜在的问题是高度非凸的，因此不切实际的解决传统的优化技术，我们的方法可靠地收敛到高质量的解决方案，即使没有初始化。大量的实验证明了我们的方法的优越性，它自然使广泛的特殊效果的应用，包括新颖的视图合成，重新照明，材料修饰，形状交换，而无需额外的编码工作。我们鼓励读者观看我们的演示视频以获得更好的可视化效果。
2021-04-11 cs.CV
Generative OpenMax for Multi-Class Open Set Classification
IBM Research（IBM研究院）；Vision for Robotics Lab（机器人视觉实验室）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一个概念上新的和灵活的方法多类开集分类。不像以前的方法，其中未知类推断的功能或决策距离已知类，我们的方法是能够提供明确的建模和决策分数未知类。所提出的方法，称为生成OpenMax（G-OpenMax），通过采用生成对抗网络（GANs）进行新类别图像合成来扩展OpenMax。我们在两个手写数字和字符数据集上验证了所提出的方法，结果优于以前基于深度学习的方法OpenMax。此外，G-OpenMax提供了一种从开放空间可视化表示未知类的样本的方法。我们简单有效的方法可以作为一个新的方向，以解决具有挑战性的多类开集分类问题。
2017-07-24 cs.CV
VOS: Learning What You Don't Know by Virtual Outlier Synthesis
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
由于分布外检测在神经网络的安全部署中的重要性，最近受到了广泛的关注。其中一个关键挑战是模型缺乏来自未知数据的监督信号，因此可能会对OOD数据产生过度自信的预测。以前的方法依赖于真实的离群数据集进行模型正则化，这可能是昂贵的，有时在实践中是不可行的。在本文中，我们提出了VOS，一个新的框架OOD检测自适应合成虚拟离群值，可以有意义地规范模型的决策边界在训练过程中。具体而言，VOS从特征空间中估计的类条件分布的低似然区域中采样虚拟离群值。此外，我们还引入了一种新的未知感知训练目标，该目标对比性地塑造了ID数据和合成离群数据之间的不确定性空间。VOS在目标检测和图像分类模型上都实现了具有竞争力的性能，与之前的目标检测器最佳方法相比，将FPR 95降低了9.36%。代码可在https://github.com/deeplearning-wisc/vos上获得。
2022-05-09 cs.CV cs.LG
NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects
School of Computer and Communication Sciences, EPFL（EPFL计算机与通信科学学院）
本文提出端到端神经渲染流水线 NEMTO，利用 SDF 几何建模和折射感知光线弯折网络，从二维图像实现未知折射率透明对象的高质量新视角与重光照合成。
2024-04-04 cs.CV cs.GR
Deblurring using Analysis-Synthesis Networks Pair
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
图像盲去模糊一直是现代人工神经网络面临的一个挑战性问题。与其他图像复原问题不同，在均匀和3D模糊模型的情况下，去模糊网络的性能落后于现有的去模糊算法。这是由于未知模糊核对去模糊算子的影响是多样而深刻的。我们提出了一个新的架构，打破了去模糊网络到一个分析网络，估计模糊，和一个合成网络，使用这个内核去模糊的图像。与现有的去模糊网络不同，这种设计允许我们在网络的训练中显式地加入模糊核。此外，我们引入了新的互相关层，允许更好的模糊估计，以及独特的组件，允许估计模糊控制合成去模糊动作的动作。在已建立的基准数据集上对新方法进行评估，结果表明它能够在各种测试中实现最先进的去模糊精度，并在运行时提供主要的加速。
2020-04-06 cs.CV cs.LG eess.IV
Generative Watermarking Against Unauthorized Subject-Driven Image Synthesis
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Xi’an Jiaotong University（西安交通大学）
针对主体驱动图像合成滥用侵犯权益的问题，提出联合学习生成器与检测器的GenWatermark水印系统，通过合成图像微调检测器提升水印存活率与检测准确率，兼具效用保护与鲁棒性。
2023-06-13 cs.CR cs.CV
LuxDiT: Lighting Estimation with Video Diffusion Transformer
NVIDIA；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对光照估计中真实HDR环境图稀缺、需依赖间接线索推断全局信息的难题，提出LuxDiT方法，通过微调视频扩散Transformer结合低秩适配策略生成HDR环境图，性能优于现有SOTA。
2025-09-03 cs.AI cs.CV cs.GR
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple（苹果公司）
本研究结合盲音频与三维重建房间信息，引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响，在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS
