Cross-view image synthesis using geometry-guided conditional GANs
Center for Research in Computer Vision (CRCV), University of Central Florida（中佛罗里达大学计算机视觉研究中心（CRCV））
我们解决的问题，生成图像在两个截然不同的意见，即地面（街道）和空中（开销）的意见。图像合成本身是一项非常具有挑战性的计算机视觉任务，当生成以另一视图中的图像为条件时更是如此。由于观察视角的不同，这两种观点之间的重叠视野很小，共同内容很少。在这里，我们试图保留视图之间的像素信息，使生成的图像是一个现实的表示跨视图输入图像。为此，我们建议使用单应性作为指导，以基于共同的视野来映射视图之间的图像，以保留输入图像中的细节。然后，我们使用生成对抗网络来修补变换后的图像中丢失的区域，并添加realitytogeth.Our详尽的评估和模型比较表明，利用几何约束添加精细的细节生成的图像，可以是一个更好的方法，跨视图图像合成比纯粹的基于像素的合成方法。
2019-07-18 cs.CV
CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis
Sun Yat-Sen University（中山大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sensetime Research（商汤科技研究院）
本文提出CrossViewDiff跨视角扩散模型，通过卫星场景结构估计与跨视角纹理映射模块构建控制，结合增强的跨视角注意力去噪过程，在标准与GPT评估指标上超越现有方法，生成更逼真的街景全景图。
2024-08-27 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而，一个关键的挑战仍然存在：现有的方法缺乏几何约束，因此通常无法生成多视图一致的图像。为了解决这一挑战，我们提出了多视图一致性生成对抗网络（MVCGAN）的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息，即，深度和相机变换矩阵，我们显式地建立视图之间的立体对应关系，以执行多视图联合优化。特别是，我们加强了视图对之间的光度一致性，并将立体混淆机制集成到训练过程中，鼓励模型推理正确的3D形状。此外，我们设计了一个两阶段的训练策略与特征级多视角联合优化，以提高图像质量。在三个数据集上的大量实验表明，MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
WAVE: Warp-Based View Guidance for Consistent Novel View Synthesis Using a Single Image
Yonsei University（延世大学）
本文提出WAVE，一种免训练的扩散模型增强方法，通过视图引导扭曲实现自适应注意力操作与噪声重初始化，在无需额外模块的情况下提升单图像新视图合成的一致性。
2025-08-06 cs.CV
Generative Adversarial Frontal View to Bird View Synthesis
CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）；CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）
环境感知是一项具有重要实用价值的工作，而鸟瞰是创造周围环境景观的重要组成部分。由于正视图和鸟瞰图之间的大间隙和严重变形，从单个正视图生成鸟瞰图图像是具有挑战性的。为了解决这个问题，我们提出了BridgeGAN，即，一种新的生成式鸟瞰图合成模型。首先，中间视图，即，单应性视图，以弥合这一巨大差距。接下来，在我们的任务中的三个视图（正视图，单应性视图和鸟瞰图）的条件下，提出了一个基于多GAN的模型来学习具有挑战性的跨视图翻译。在合成数据集上进行的大量实验表明，我们的模型生成的图像比现有方法生成的图像要好得多，具有更一致的全局外观和更清晰的细节。消融研究和讨论表明，在一些具有挑战性的情况下，它的可靠性和鲁棒性。
2019-04-02 cs.CV
High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（迪士尼研究工作室）
针对单/稀疏观测新视角合成的几何失真与纹理幻觉问题，提出SplatDiff模型，结合splatting引导与扩散，通过对齐合成策略和纹理桥模块，实现几何一致、细节高保真的新视角生成，在单视角NVS中达到最先进性能且零样本泛化性优异。
2025-02-18 cs.CV
From Rays to Projections: Better Inputs for Feed-Forward View Synthesis
HKUST (GZ)（香港科技大学（广州））；University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）；HKUST（香港科技大学）
本文提出投影条件化方法，通过稳定的2D输入提升视图合成的鲁棒性和一致性，优于传统射线条件化方法。
2026-01-08 cs.CV
Geometry-guided Cross-view Diffusion for One-to-many Cross-view Image Synthesis
The Australian National University（澳大利亚国立大学）；University of Surrey（萨里大学）；ShanghaiTech University（上海科技大学）；Ford Motor Company（福特汽车公司）
针对跨视角图像合成的一对多不确定性问题，本文提出几何引导跨视角扩散方法，引入GCC策略建立特征几何对应，在三个基准数据集上证明其生成图像的质量、保真度和多样性优于现有方法。
2024-12-04 cs.CV
Pose-guided Generative Adversarial Net for Novel View Action Synthesis
CRCV, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；National University of Singapore（新加坡国立大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
我们关注的问题，新颖的观点人类的行动合成。给定一个动作视频，目标是从一个看不见的视点生成相同的动作。当然，新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间相干性的真实帧。此外，将不同的动作转换为新的目标视图需要同时意识到动作类别和视角变化。为了应对这些挑战，我们提出了一个新的框架，名为姿势引导的动作可分离生成对抗网络（PAS-GAN），它利用姿势来减轻这项任务的难度。首先，我们提出了一个经常性的姿势转换模块，从源视图到目标视图的动作转换，并在2D坐标空间中生成新的视图姿势序列。第二，一个良好的转换姿态序列使我们能够分离的目标视图中的动作和背景。我们采用了一种新的局部-全局空间变换模块，有效地生成序列的视频功能，在目标视图中使用这些动作和背景功能。最后，生成的视频特征被用来合成人体动作的帮助下的3D解码器。此外，针对视频中的动态动作，提出了一种新的多尺度动作可分离损失，进一步提高了视频质量。我们在两个大规模的多视角人体动作数据集NTU-RGBD和PKU-MMD上进行了大量的实验，证明了PAS-GAN的有效性，优于现有的方法。
2021-12-09 cs.CV
EscherNet: A Generative Model for Scalable View Synthesis
Imperial College London（帝国理工学院）；The University of Hong Kong（香港大学）
EscherNet是一种多视图条件扩散模型，通过隐式3D表示和相机位置编码，实现可扩展的视图合成，并统一了单/多图像3D重建，在多个基准上达到最先进性能。
2024-03-19 cs.CV
Human Multi-View Synthesis from a Single-View Model:Transferred Body and Face Representations
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Guangzhou Quwan Network Technology（广州趣玩网络科技）；Westlake University（西湖大学）
本文提出利用预训练单视图人类模型迁移身体表示并融合多模态面部特征，以提升多视图人体与面部细节合成质量，实验表明其优于现有最先进方法。
2024-12-04 cs.AI cs.CV
CausNVS: Autoregressive Multi-view Diffusion for Flexible 3D Novel View Synthesis
Imperial College London（伦敦帝国学院）；Google DeepMind（谷歌DeepMind）；Google（谷歌）；Technical University of Munich（慕尼黑技术大学）
针对非自回归多视角扩散模型在视角数量和推理速度上的局限，提出自回归模型CausNVS，支持任意视角配置并顺序生成，结合因果掩码、逐帧噪声和CaPE编码，实现灵活高质量的新视角合成。
2025-09-08 cs.CV
FreeVS: Generative View Synthesis on Free Driving Trajectory
School of Future Technology, University of Chinese Academy of Sciences (UCAS)（中国科学院大学未来技术学院）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Center for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港智能科学中心人工智能与机器人中心）
FreeVS提出一种全生成式驾驶场景视图合成方法，通过伪图像视图先验控制生成过程，摆脱对记录轨迹的依赖，可在自由新轨迹上合成3D一致的相机视图，并在Waymo数据集上验证了其有效性。
2024-10-23 cs.CV
Generative View Synthesis: From Single-view Semantics to Novel-view Images
TU Kaiserslautern（凯撒斯劳滕工业大学）；DFKI（德国人工智能研究中心）；Google Research（谷歌研究院）；NVIDIA（英伟达）
对于诸如虚拟现实之类的应用来说，内容创建是一项繁琐且耗时的工作。最近的图像合成方法简化了这项任务，提供的工具，以产生新的意见，从一个单一的输入图像，或通过转换成一个逼真的图像语义地图。我们建议进一步推动信封，并引入生成视图合成（GVS），它可以合成多个真实感视图的场景给定一个语义图。我们表明，现有技术的顺序应用，例如，语义到图像的转换，然后是单目视图合成，无法捕捉场景的结构。相比之下，我们解决了语义图像的翻译与场景的3D布局的估计，从而产生几何一致的新颖的观点，保留语义结构。我们首先将输入的2D语义图提升到特征空间中场景的3D分层表示上，从而保留3D几何结构的语义标签。然后，我们将分层特征投影到目标视图上，以生成最终的新视图图像。我们验证了我们的方法的优势，并将其与三个不同数据集上的几个高级基线进行比较。我们的方法还允许样式操作和图像编辑操作，例如添加或删除对象，分别对输入样式图像和语义映射进行简单操作。访问项目页面https://gvsnet.github.io。
2020-10-02 cs.CV cs.LG eess.IV
Sequential View Synthesis with Transformer
University of Oulu（奥卢大学）；Tampere University（坦佩雷大学）
本文解决了新的视图合成的问题，通过神经渲染，我们感兴趣的是在任意的摄像机姿态的基础上，从其他观点的输入图像的一组给定的预测新的视图。使用已知的查询姿势和输入姿势，我们创建一个有序的观察集，导致目标视图。因此，单个新视图合成的问题被重新表述为一个顺序视图预测任务。在本文中，提出了基于转换器的生成查询网络（T-GQN）通过添加两个新的概念扩展了神经渲染方法。首先，我们使用上下文图像之间的多视图注意学习，以获得多个隐式场景表示。其次，我们引入了一个顺序渲染解码器来预测图像序列，包括目标视图，基于学习的表示。最后，我们在各种具有挑战性的数据集上评估了我们的模型，并证明我们的模型不仅给出了一致的预测，而且不需要进行任何微调的再训练。
2020-09-22 cs.CV cs.LG eess.IV
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple（苹果公司）
本研究结合盲音频与三维重建房间信息，引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响，在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS
AV-Surf: Surface-Enhanced Geometry-Aware Novel-View Acoustic Synthesis
Korea University（高丽大学）；Testworks（特斯特沃克斯）
本文提出AV-Surf，利用3DGS几何先验、双重交叉注意力transformer和SRN合成双耳音频，在RWAVS与SoundSpace上超越现有NVAS方法。
2025-03-17 cs.CV cs.MM cs.SD
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Central Florida（佛罗里达中央大学）
本文提出AC-Foley模型，通过直接利用参考音频实现精确的音频合成与声学迁移，解决传统方法在语义粒度和文本模糊性上的瓶颈，提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
本文提出端到端视频到语音合成模型DiVISe，仅从视频帧直接预测梅尔频谱图，无需声学提示即可在保持说话人特征的同时提升语音可懂度，并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM
SoundVista: Novel-View Ambient Sound Synthesis via Visual-Acoustic Binding
University of Washington（华盛顿大学）；Meta；Reality Labs Research（现实实验室研究部）
SoundVista通过视觉-声学绑定模块学习全景RGB和深度数据中的视觉嵌入，无需声源先验知识即可在稀疏麦克风录音条件下合成任意新视角的环境声，并优化参考麦克风放置，在公开数据和真实环境中显著优于现有方法。
2025-04-08 cs.AI cs.CV cs.MM
Vocoder-Based Speech Synthesis from Silent Videos
Aalborg University（奥尔堡大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Oticon A/S（奥迪康公司）
听觉和视觉信息都影响着人类对语音的感知。由于这个原因，视频序列中缺乏音频决定了未经训练的唇读者的极低的语音可懂度。在本文中，我们提出了一种使用深度学习从说话者的无声视频中合成语音的方法。该系统学习从原始视频帧到声学特征的映射函数，并用声码器合成算法重建语音。为了提高语音重建性能，我们的模型还经过训练，以多任务学习的方式预测文本信息，并且能够同时实时重建和识别语音。在估计的语音质量和可懂度方面的结果显示了我们的方法的有效性，它表现出对现有的视频到语音的方法的改进。
2020-08-15 cs.CV cs.LG eess.AS
SonarSplat: Novel View Synthesis of Imaging Sonar via Gaussian Splatting
Department of Robotics, University of Michigan（机器人学系，密歇根大学）
本文提出SonarSplat框架，通过引入具有声学属性的3D Gaussians和方位角条纹建模方法，实现了成像声纳的逼真新视角合成与高精度3D重建，并支持条纹去除。
2025-11-03 cs.CV
Two-View Matching with View Synthesis Revisited
Czech Technical University in Prague（布拉格捷克理工大学）
宽基线匹配的问题，重点考虑极端的观点变化。我们介绍了使用仿射协变检测器的视图合成来解决这些问题，并表明与Hessian-Affine或MSER检测器的匹配优于最先进的ASIFT。为了最大限度地减少视图合成所造成的速度损失，我们提出了按需匹配视图合成算法（MODS），该算法使用越来越多的合成图像和更多（耗时）的检测器，直到可靠的几何估计是可能的。我们的实验表明，MODS算法解决的问题超出了国家的最先进的，但在速度上是可比的标准宽基线匹配简单的问题。次要的贡献包括一个改进的方法，尝试对应选择，适用于与和没有视图合成和视图合成设置大大提高MSER鲁棒性模糊和规模的变化，增加其运行时间只有10%。
2013-11-11 cs.CV
Geometry-Driven Opti-Acoustic Co-Registration and View-Invariant Reflectivity Mapping for Side-Scan Sonar
Computer Vision and Robotics Research Institute (ViCOROB)（计算机视觉与机器人研究学院（ViCOROB））；University of Girona（赫罗纳大学）
针对侧扫声呐的光声配准难题，提出几何驱动框架，结合SfM、FBR算法与逆朗伯模型等技术，生成高精度多模态数据集，为底栖生境自监督学习奠定基础。
2026-08-25 cs.CV
Generalizable Novel-View Synthesis using a Stereo Camera
POSTECH（浦项科技大学）；GSAI（人工智能研究生院）；CSE（计算机科学与工程系）
本文提出首个针对多视图立体相机图像的泛化视图合成框架StereoNeRF，通过集成立体匹配技术实现高质量几何重建，并构建首个立体相机多视图数据集StereoNVS，实验证明其超越现有方法。
2024-04-21 cs.CV
Single-View View Synthesis with Multiplane Images
Google Research（谷歌研究院）
视图合成中最近的一系列工作使用深度学习来生成多平面图像（以相机为中心的分层3D表示），给定已知视点处的两个或更多个输入图像。我们将这种表示单视图视图合成，这是一个更具挑战性的问题，但有可能更广泛的应用。我们的方法学习预测一个多平面图像直接从一个单一的图像输入，我们引入了尺度不变的视图合成的监督，使我们能够在线视频训练。我们证明了这种方法适用于几个不同的数据集，它还生成了合理的深度图，并且它学会了在背景层中填充前景对象边缘后面的内容。项目页面https://single-view-mpi.github.io/。
2020-04-23 cs.CV cs.GR
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
POSTECH（浦项科技大学）；POSCO DX（浦项制铁DX公司）；Chung-Ang University（中央大学）；Seoul National University（首尔国立大学）
研究将大视图合成模型从外观渲染扩展到3D场景理解，提出复用冻结模型传播全景标签的分割管道，无需3D重建和特定训练，在ScanNet和Replica数据集上实验，分割质量佳且新视图合成表现优。
2026-07-23 cs.CV
VCVTS: Multi-speaker Video-to-Speech synthesis via cross-modal knowledge transfer from voice conversion
Tencent AI Lab（腾讯人工智能实验室）
虽然已经取得了显着的进展，扬声器相关的视频语音合成（VTS），很少有人关注多扬声器VTS，可以映射无声的视频到语音，同时允许灵活控制扬声器的身份，所有在一个单一的系统。提出了一种基于语音转换（VC）跨模态知识传递的多说话人VTS系统，其中VC的内容编码器采用矢量量化对比预测编码（VQCPC），得到离散的音素类声学单元，并将其传递到Lip2Ind网络，以推断声学单元的索引序列.然后，Lip2Ind网络可以替代VC的内容编码器，以形成多扬声器VTS系统，将无声视频转换为声学单元，以重建准确的语音内容。VTS系统还继承了VC的优点，通过使用说话人编码器来产生说话人表示，以有效地控制所生成的语音的说话人身份。广泛的评估验证了所提出的方法的有效性，它可以应用于限制的词汇和开放的词汇条件下，实现国家的最先进的性能，在生成高质量的语音具有高自然度，可懂度和说话人相似性。我们的演示页面在这里发布：https://wendison.github.io/VCVTS-demo/
2022-02-18 cs.AI cs.CV cs.MM
AIMS: Anchor-Integrated Multi-View Synthesis for Scalable Novel View Rendering
Korea University（高丽大学）；NCSOFT
AIMS通过锚点集成和可学习积分器，在固定全局视图预算下融合多视图信息，实现可扩展的新视角渲染，在RealEstate10K和ScanNet上取得高质量与高效率的权衡。
2026-10-07 cs.CV
Projected Representation Conditioning for High-fidelity Novel View Synthesis
本文提出ReNoV框架，通过投影外部表示提升扩散模型在高质量新视角合成中的几何一致性和重建保真度。
2026-02-12 cs.CV
Single-View View Synthesis with Self-Rectified Pseudo-Stereo
Fuzhou University（福州大学）；Hong Kong Polytechnic University（香港理工大学）；Singapore Management University（新加坡管理大学）；South China University of Technology（华南理工大学）
针对单视图新视图合成的不适定性，提出自校正伪立体方法，将任务解耦为立体合成与三维重建，并在多项实验中优于现有方法。
2023-04-20 cs.CV
ViewSynth: Learning Local Features from Depth using View Synthesis
Siemens Corporate Technology（西门子企业技术中心）；Rutgers University（罗格斯大学）
廉价商品深度传感器的快速发展使得深度图像模态中的关键点检测和匹配成为计算机视觉中的重要问题。尽管最近的RGB局部特征学习方法有了很大的改进，但直接在深度模态中调整它们会导致性能不令人满意。这些方法中的大多数都没有明确地推理图像中的可见像素之外的内容。为了解决这些方法的局限性，我们提出了一个框架ViewSynth，以共同学习：（1）使用所提出的对比匹配损失从深度图像中获得视点不变的关键点描述符，以及（2）使用所提出的视图合成模块和视图合成损失从不同视点合成深度图像。通过学习视图合成，我们明确地鼓励特征提取器不仅对可见的信息进行编码，而且还对场景的遮挡部分进行编码。我们证明，在深度模态，ViewSynth优于国家的最先进的深度和RGB本地特征提取技术在3D关键点匹配和摄像机定位任务的RGB-D数据集7-场景，TUM RGBD和CoRBS在大多数情况下。我们还展示了ViewSynth在不同数据集的3D关键点匹配中的通用性。
2020-09-01 cs.CV
LiveView: Dynamic Target-Centered MPI for View Synthesis
Northwestern University（西北大学）；Facebook Reality Labs（Facebook现实实验室）
现有的基于多平面图像（MPI）的视图合成方法在一次向前传递中使用固定数量的平面生成与输入视图对齐的MPI。这些方法产生快速，高质量的渲染新的视图，但依赖于缓慢和计算昂贵的MPI生成方法不适合实时应用。此外，大多数MPI技术使用固定的深度/视差平面，一旦训练完成就不能修改，因此在运行时提供非常小的灵活性。我们提出LiveView -一种新的MPI生成和渲染技术，产生高质量的视图合成实时。我们的方法还可以提供灵活性，以选择场景相关的MPI平面（平面的数量和它们之间的间距）在运行时。LiveView首先将输入图像扭曲到目标视图（以目标为中心），然后学习生成以目标视图为中心的MPI，一次一个深度平面（动态）。该方法可以生成高质量的渲染，同时还可以实现快速MPI生成和新颖的视图合成。因此，LiveView支持实时视图合成应用程序，其中MPI需要根据输入视图的视频流频繁更新。我们证明了LiveView提高了视图合成的质量，同时在运行时比最先进的基于MPI的方法快70倍。
2021-07-11 cs.CV
Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
Cornell Tech（康奈尔科技学院）；Adobe Research（Adobe研究院）
我们提出了一种方法来执行新的视图和时间合成的动态场景，只需要一个单目视频与已知的相机构成作为输入。为此，我们引入了神经场景流场，这是一种新的表示方法，它将动态场景建模为外观，几何形状和3D场景运动的时变连续函数。我们的表示是通过神经网络优化，以适应所观察到的输入视图。我们表明，我们的表示可用于复杂的动态场景，包括薄结构，视图相关的效果，和自然的运动程度。我们进行了大量的实验，证明我们的方法显着优于最近的单目视图合成方法，并显示在各种现实世界的视频时空视图合成的定性结果。
2021-04-21 cs.CV
DBMovi-GS: Dynamic View Synthesis from Blurry Monocular Video via Sparse-Controlled Gaussian Splatting
Interdisciplinary Program in Neuroscience（神经科学跨学科项目）；IPAI；AIIS, Seoul National University（首尔国立大学人工智能研究所）
针对模糊单目视频动态视图合成难题，提出DBMovi-GS方法，通过生成密集3D高斯恢复清晰度并重建动态场景3D几何，在动态模糊场景下实现鲁棒的新视图合成性能。
2025-06-26 cs.CV
ProbNVS: Fast Novel View Synthesis with Learned Probability-Guided Sampling
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
现有的最先进的新视图合成方法依赖于相当准确的3D几何估计或整个空间的采样用于神经体绘制，这限制了整体效率。为了提高渲染效率，减少采样点，而不牺牲渲染质量，我们建议建立一个新的视图合成框架的基础上学习的MVS先验，使一般，快速和照片般逼真的视图合成同时。具体地，在从学习的MVS架构提取的深度概率分布的指导下，对较少但重要的点进行采样。基于学习的概率引导采样，神经体渲染模块被精心设计，以充分聚合源视图信息以及学习的场景结构，以合成真实感的目标视图图像。最后，在不确定的，闭塞和无参考区域的渲染结果可以进一步改善通过纳入一个置信度感知的细化模块。实验表明，我们的方法实现了15到40倍的速度相比，国家的最先进的基线，具有较强的泛化能力和可比的高质量的新的视图合成性能。
2022-04-07 cs.CV
Compact and adaptive multiplane images for view synthesis
InterDigital
最近，已经设计了学习方法来创建用于视图合成的多平面图像（MPI）。虽然MPI功能非常强大，可以促进高质量的渲染，但需要大量的内存，这使得它们对许多应用程序来说不切实际。在本文中，我们提出了一种学习方法，优化可用的内存，使紧凑和自适应MPI。我们的MPI避免了冗余信息，并考虑到场景的几何形状来确定深度采样。
2021-06-15 cs.CV
Cross-view and Cross-domain Underwater Localization based on Optical Aerial and Acoustic Underwater Images
Center for Computational Science - C3（计算科学中心 - C3）；Universidade Federal do Rio Grande - FURG（南里奥格兰德联邦大学 - FURG）
针对港口等部分结构化环境中的水下定位问题，提出融合彩色航空图像与水下声学图像的跨域跨视角匹配框架，并在真实码头数据集上验证其相较航位推算可提升定位精度。
2022-02-16 cs.CV cs.RO
Self-Supervised Visibility Learning for Novel View Synthesis
Australian National University and ACRV（澳大利亚国立大学与ACRV）；University of Technology Sydney（悉尼科技大学）
我们解决的问题，新的视图合成（NVS）从一些稀疏的源视图图像。传统的基于图像的渲染方法在两个单独的步骤中估计场景几何形状并合成新视图。然而，错误的几何估计会降低NVS性能，因为视图合成高度依赖于估计场景几何的质量。在本文中，我们提出了一个端到端的NVS框架，以消除错误传播问题。具体来说，我们在目标视图下构造一个体，并设计了一个源视图可见性估计（SVE）模块来确定目标视图体素在每个源视图中的可见性。接下来，我们聚合所有源视图的可见性，以实现共识卷。一致体积中的每个体素指示表面存在概率。然后，我们提出了一种软光线投射（SRC）机制，以找到目标视图中的最前表面（即深度）。具体来说，我们的SRC沿着观察射线遍历共识体积，然后估计深度概率分布。然后，我们扭曲和聚合源视图像素合成一个新的视图的基础上估计的源视图的可见性和目标视图的深度。最后，我们的网络以端到端的自我监督方式进行训练，从而显着减轻了视图合成中的错误积累。实验结果表明，我们的方法产生更高质量的新视图相比，国家的最先进的。
2021-04-04 cs.CV
Self-supervised Light Field View Synthesis Using Cycle Consistency
Trinity College Dublin（都柏林圣三一学院）
高的角分辨率对于光场的实际应用是有利的。为了提高光场的角分辨率，可以利用视图合成方法从稀疏光场输入生成密集中间视图。大多数成功的视图合成方法都是基于学习的方法，需要大量的训练数据和地面真值。然而，与自然图像或视频相比，为光场收集如此大的数据集是具有挑战性的。为了解决这个问题，我们提出了一个具有周期一致性的自监督光场视图合成框架。所提出的方法旨在将从高质量自然视频数据集中学习到的先验知识转移到光场视图合成任务中，从而减少了对标记光场数据的需求。使用循环一致性约束来建立双向映射，强制生成的视图与输入视图一致。从这一关键概念出发，使用两个损失函数（循环损失和重建损失）对最先进的视频插值方法的预训练模型进行微调。在各种数据集上对所提出的方法进行了评估，以验证其鲁棒性，结果表明，与监督微调相比，它不仅具有竞争力的性能，而且优于最先进的光场视图合成方法，特别是在生成多个中间视图时。此外，我们的通用光场视图合成框架可以适用于任何预先训练的模型，用于高级视频插值。
2020-08-12 cs.CV eess.IV
Stereo Unstructured Magnification: Multiple Homography Image for View Synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯AI实验室）
本文研究了由一对图像合成具有一定旋转量的视图的问题，我们称之为立体非结构放大。虽然多平面图像表示非常适合于具有深度不变的视图合成，但如何将其推广到非结构化视图仍然是一个重大挑战。这主要是由于相机正面平行表示引起的深度依赖性。在这里，我们提出了一种新的多单应性图像（MHI）表示，包括一组场景平面与固定的法线和距离。一个两阶段的网络开发的新的视图合成。阶段1是MHI重建模块，其预测MHI并沿法线方向合成分层的多法线图像。阶段2是一个正常的混合模块，以找到混合权重。我们还推导出一个基于角度的成本，以指导混合的多正常的图像，利用每正常的几何。与现有的方法相比，我们的方法在定性和定量方面都取得了优异的性能，特别是在摄像机旋转的情况下。
2022-04-01 cs.CV
Novel View Synthesis from a Single Image via Unsupervised learning
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）；Santa Clara University（圣塔克拉拉大学）
视图合成的目的是从一个或多个给定的源视图生成新的视图。虽然现有的方法已经取得了很好的性能，他们通常需要成对的视图不同的姿势来学习像素变换。本文提出了一种无监督网络来学习这样的像素变换从一个单一的来源的观点。特别是，该网络由一个令牌变换模块（TTM），方便的变换从源视点图像中提取的特征到一个内在的表示相对于一个预定义的参考姿势和视图生成模块（VGM），合成一个任意的视图从表示。学习的变换允许我们从任何未知姿势的单源视点图像合成新视图。广泛使用的视图合成数据集上的实验表明，所提出的网络能够产生与最先进的方法相当的结果，尽管学习是无监督的，并且只需要一个源视点图像来生成一个新的视图。代码将很快可用。
2021-10-29 cs.CV
Fast View Synthesis with Deep Stereo Vision
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
新视图合成是计算机视觉和图形学中的一个重要问题。多年来，已经提出了大量的解决方案来解决这个问题。然而，大基线的新视图合成问题远未得到“解决”。最近的工作已经尝试使用卷积神经网络（CNN）来解决视图合成任务。由于学习场景几何形状和解释相机运动的困难，CNN通常无法生成逼真的新视图。在本文中，我们提出了一种新的基于立体视觉和CNN的视图合成方法，将问题分解为两个子任务：视图相关的几何估计和纹理修复。这两个任务都是结构化的预测问题，可以通过CNN有效地学习。在KITTI Odometry数据集上的实验表明，我们的方法比当前最先进的方法更准确，速度也更快。代码和补充材料将公开提供。结果可以在这里找到https://youtu.be/5pzS9jc-5t0
2018-05-07 cs.AI cs.CV
FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对现有可泛化3D高斯溅射方法视角范围窄、定位不准的问题，提出FreeSplat框架，通过低成本跨视图聚合、像素级三元组融合及自由视角训练策略，实现高效鲁棒的室内宽范围自由视角合成，性能达SOTA。
2024-10-29 cs.CV
Improving Novel view synthesis of 360$^\circ$ Scenes in Extremely Sparse Views by Jointly Training Hemisphere Sampled Synthetic Images
Ghent University（根特大学）；University of Dundee（邓迪大学）
针对极稀疏视角下360°场景新视角合成难题，提出联合训练半球采样合成图像与3D高斯泼溅的框架，显著提升合成质量。
2025-05-25 cs.CV
Stable View Synthesis
Intel Labs（英特尔实验室）
我们提出了稳定视图合成（SVS）。给定一组从自由分布的视点描绘场景的源图像，SVS合成场景的新视图。该方法在通过运动恢复结构和多视图立体视觉计算的几何支架上操作。该3D支架上的每个点与视图射线和对应的特征向量相关联，该特征向量对输入图像中该点的外观进行编码。SVS的核心是视图相关的表面特征聚合，其中处理每个3D点处的方向特征向量以产生用于将该点映射到新目标视图的射线的新特征向量。然后，目标视图由卷积网络从以这种方式为所有像素合成的特征张量渲染。该方法由可微模块组成，并进行端到端训练。它支持空间变化的视图相关的重要性加权和源图像在每个点的特征变换;由于表面特征聚合对目标视图的平滑依赖性而具有空间和时间稳定性;以及合成视图相关的效果，如镜面反射。实验结果表明，SVS优于国家的最先进的视图合成方法在三个不同的现实世界的数据集上的定量和定性，实现了前所未有的现实主义水平的自由视点视频的挑战性大规模的场景。代码可在https://github.com/intel-isl/StableViewSynthesis上获得
2021-05-02 cs.CV
Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis
Technical University Munich（慕尼黑工业大学）；VisualAIs（视觉人工智能公司）；Google（谷歌公司）
提出Re-Nerfing附加方法，通过已训练NVS模型渲染新视角扩充数据优化第二模型，在稀疏视角设置下显著提升NeRF和Gaussian-Splatting流程的合成质量。
2024-08-28 cs.CV cs.GR cs.LG
Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出首个基于3D的多帧去噪方法，通过扩展多平面图像框架并引入在特征空间操作的可学习编码器-渲染器对，生成多平面特征表示，以更低计算需求显著优于2D方法。
2023-04-05 cs.CV
Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision
University of Minnesota（明尼苏达大学）
新视图合成（NVS）是指从一幅或多幅输入图像中，在摄像机视点变换下合成视图。NVS需要对3D对象结构和场景中看不见的部分进行明确的推理，以合成令人信服的结果。因此，目前的方法通常依赖于使用地面真实3D模型或多个目标图像的监督训练。我们提出了连续对象表示网络（CORN），一个有条件的架构，编码输入图像的几何形状和外观，映射到一个3D一致的场景表示。通过将我们的模型与神经渲染器相结合，我们可以训练每个对象只有两个源图像的CORN。CORN的一个关键特性是它不需要地面真实3D模型或目标视图监督。无论如何，CORN在具有挑战性的任务上表现良好，例如新视图合成和单视图3D重建，并实现了与使用直接监督的最先进方法相当的性能。有关最新信息、数据和代码，请参阅我们的项目页面：https://nicolaihaeni.github.io/corn/。
2020-10-23 cs.CV
Free View Synthesis
Intel Labs（英特尔研究院）
我们提出了一种新的视图合成方法，从输入图像，自由分布在一个场景。我们的方法不依赖于输入视图的规则排列，可以通过场景合成自由相机移动的图像，并且适用于具有不受约束的几何布局的一般场景。我们通过SfM校准输入图像，并通过MVS建立一个粗略的几何支架。这个支架用于为场景的新视图创建代理深度图。基于该深度图，递归编码器-解码器网络处理来自附近视图的重新投影特征并合成新视图。我们的网络不需要针对特定场景进行优化。在数据集上训练后，它可以在以前看不见的环境中工作，无需微调或按场景优化。我们评估了具有挑战性的现实世界的数据集，包括坦克和寺庙，在那里我们展示了成功的视图合成的第一次，并大大优于先前和并发的工作所提出的方法。
2020-08-12 cs.CV
Veta-GS: View-dependent deformable 3D Gaussian Splatting for thermal infrared Novel-view Synthesis
Ajou University（亚洲大学）；Sejong University（世宗大学）；Korea University（高丽大学）
Veta-GS提出视点相关变形场与热特征提取器，解决热红外新视角合成中的漂浮物和模糊问题，在TI-NSD基准上超越现有方法。
2025-05-25 cs.CV
Learning A Locally Unified 3D Point Cloud for View Synthesis
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Caritas Institute of Higher Education（明爱专上学院）
针对稀疏源视图下的点云视图合成问题，提出融合子点云构建局部统一3D点云，并用3D几何引导模块修复渲染图像，PSNR平均提升超4 dB。
2023-09-30 cs.CV
Remote Sensing Novel View Synthesis with Implicit Multiplane Representations
Beihang University（北京航空航天大学）
遥感场景的视图合成对于场景可视化、人机交互以及各种下游应用都具有重要意义。尽管近年来计算机图形学和照片扫描技术取得了很大的进步，但由于遥感图像的高度复杂性、视图稀疏性和有限的视角变化，生成新视图仍然是一个挑战。在本文中，我们提出了一种新的遥感视图合成方法，利用隐式神经表征的最新进展。针对遥感图像的高分辨率和远景深成像特点，将隐式多平面图像（MPI）表示与深度神经网络相结合，对三维空间进行表示。在自监督优化范式下，通过具有多视图输入约束的可微多平面渲染器重建3D场景。因此，可以基于重建的模型自由地渲染来自任何新视图的图像。作为副产品，对应于给定视点的深度图可以与渲染输出一起生成。我们将我们的方法称为隐式多平面图像（ImMPI）。为了进一步提高稀疏视图输入下的视图合成，我们探索了基于学习的遥感三维场景初始化方法，并提出了一种基于神经网络的先验提取器来加速优化过程。此外，我们提出了一个新的数据集遥感新的看法合成与多视角现实世界的谷歌地球图像。大量的实验证明了ImMPI在重建精度，视觉保真度和时间效率方面优于以前的最先进的方法。烧蚀实验也表明我们的方法设计的有效性。我们的数据集和代码可以在https://github.com/wyc-Chang/ImMPI上找到
2022-05-18 cs.CV
Deep View Synthesis via Self-Consistent Generative Network
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；CVTE Research（视源股份研究院）
视图合成的目的是从两个或多个摄像机在不同位置捕获的一组视图中生成不可见的视图。这项任务并非易事，因为很难在不同视图之间进行像素级匹配。为了解决这个问题，大多数现有的方法试图利用几何信息来匹配像素。然而，当不同的相机具有大的基线（即，彼此远离），则将发生严重的几何失真问题，并且几何信息可能无法提供有用的指导，从而导致非常模糊的合成图像。为了解决上述问题，在本文中，我们提出了一种新的深度生成模型，称为自一致生成网络（SCGN），它从给定的输入视图中合成新视图，而无需显式地利用几何信息。所提出的SCGN模型由两个主要组成部分组成，即，视图合成网络（VSN）和视图分解网络（VDN），两者都采用编码器-解码器结构。这里，VDN试图从合成的新视图重建输入视图，以保持视图合成的一致性。得益于VDN，SCGN能够在编码前合成新视图，而无需进行任何几何校正，从而使训练和应用更容易。最后，引入对抗性损失来提高新颖视图的照片真实感。两个基准任务的定性和定量比较几个国家的最先进的方法证明了我们的方法的优越性。
2021-01-19 cs.CV
