Semantic View Synthesis
UT Austin(德克萨斯大学奥斯汀分校);University of California, Merced(加州大学默塞德分校);Virginia Tech(弗吉尼亚理工大学)
我们解决了一个新的问题,语义视图合成-生成自由视点渲染的合成场景使用语义标签地图作为输入。我们建立在语义图像合成和视图合成处理摄影图像内容生成和视图外推的最新进展。然而,直接应用现有的图像/视图合成方法会导致严重的重影/模糊伪影。为了解决这些缺点,我们提出了一个两步走的方法。首先,我们专注于合成3D场景的可见表面的颜色和深度。然后,我们使用合成的颜色和深度对多平面图像(MPI)表示预测过程施加明确的约束。我们的方法产生尖锐的内容在原始视图和几何一致的渲染在新的观点。大量室内和室外图像的实验表明,对几个强基线的良好结果,并验证了我们的方法的有效性。
2020-08-24 cs.CV
Residual Aligned: Gradient Optimization for Non-Negative Image Synthesis
Cornell Tech(康奈尔科技学院);Cornell University(康奈尔大学)
在这项工作中,我们解决了一个重要的问题,光学透视(OST)增强现实:非负像合成。大多数图像生成方法在这种情况下都失败了,因为它们假设对每个像素都有完全的控制,并且不能通过添加光线来创建更暗的像素。为了解决AR图像合成中的非负像生成问题,现有技术已经尝试利用光学错觉来模拟人类视觉,但是在诸如高动态范围的情况下未能很好地保持亮度恒定性。在我们的论文中,我们提出了一种能够在局部水平上保持亮度恒定性的方法,从而捕获高频细节。与现有的工作相比,我们的方法在图像到图像的翻译任务,特别是在场景,如大规模图像,高分辨率图像,高动态范围的图像传输表现出强大的性能。
2022-02-08 cs.CV
VectorSynth: Fine-Grained Satellite Image Synthesis with Structured Semantics
Washington University in St. Louis(华盛顿大学圣路易斯分校)
提出VectorSynth扩散框架,以带语义属性的多边形地理标注为条件实现像素级精确卫星图像合成,通过视觉语言对齐模块生成像素级嵌入引导生成,支持交互式工作流,在语义保真度和结构真实性上优于现有方法。
2025-11-11 cs.CV
Geometry-guided Online 3D Video Synthesis with Multi-View Temporal Consistency
KAIST(韩国科学技术院);Meta
提出一种几何引导的在线视频视角合成方法,利用全局几何和深度细化实现多视角与时间一致性,兼顾高效与高质量。
2025-05-25 cs.CV
Learn how to Prune Pixels for Multi-view Neural Image-based Synthesis
Institut Polytechnique de Paris(巴黎理工学院);Télécom Paris(巴黎电信学院);University of Padua(帕多瓦大学);Orange Labs(Orange实验室)
针对基于图像渲染中数据量大限制实时和带宽应用的问题,提出像素剪枝方法LeHoPP,通过评估输入像素重要性避免使用无关像素,无需重训网络即可在合成质量与像素率间取得良好平衡,平均增益达0.9-3.6 dB。
2023-05-05 cs.AI cs.CV cs.MM
Cross-view image synthesis using geometry-guided conditional GANs
Center for Research in Computer Vision (CRCV), University of Central Florida(中佛罗里达大学计算机视觉研究中心(CRCV))
我们解决的问题,生成图像在两个截然不同的意见,即地面(街道)和空中(开销)的意见。图像合成本身是一项非常具有挑战性的计算机视觉任务,当生成以另一视图中的图像为条件时更是如此。由于观察视角的不同,这两种观点之间的重叠视野很小,共同内容很少。在这里,我们试图保留视图之间的像素信息,使生成的图像是一个现实的表示跨视图输入图像。为此,我们建议使用单应性作为指导,以基于共同的视野来映射视图之间的图像,以保留输入图像中的细节。然后,我们使用生成对抗网络来修补变换后的图像中丢失的区域,并添加realitytogeth.Our详尽的评估和模型比较表明,利用几何约束添加精细的细节生成的图像,可以是一个更好的方法,跨视图图像合成比纯粹的基于像素的合成方法。
2019-07-18 cs.CV
CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis
Sun Yat-Sen University(中山大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Sensetime Research(商汤科技研究院)
本文提出CrossViewDiff跨视角扩散模型,通过卫星场景结构估计与跨视角纹理映射模块构建控制,结合增强的跨视角注意力去噪过程,在标准与GPT评估指标上超越现有方法,生成更逼真的街景全景图。
2024-08-27 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney(悉尼科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而,一个关键的挑战仍然存在:现有的方法缺乏几何约束,因此通常无法生成多视图一致的图像。为了解决这一挑战,我们提出了多视图一致性生成对抗网络(MVCGAN)的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息,即,深度和相机变换矩阵,我们显式地建立视图之间的立体对应关系,以执行多视图联合优化。特别是,我们加强了视图对之间的光度一致性,并将立体混淆机制集成到训练过程中,鼓励模型推理正确的3D形状。此外,我们设计了一个两阶段的训练策略与特征级多视角联合优化,以提高图像质量。在三个数据集上的大量实验表明,MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
基于样式的GAN(StyleGAN)架构在生成高质量图像方面取得了最先进的成果,但它缺乏对相机姿态的明确和精确控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了很大进展,但它们还无法生成高质量的图像。CIPS-3D是一种基于风格的3D感知生成器,由浅层NeRF网络和深层隐式神经表示(INR)网络组成。生成器独立地合成每个像素值,而不进行任何空间卷积或上采样操作。此外,我们诊断镜像对称的问题,这意味着一个次优的解决方案,并解决它通过引入一个辅助的矩阵。CIPS-3D经过原始单视图图像训练,在FFHQ上的$256\times256$分辨率下,其FID为6.97,创下了3D感知图像合成的新纪录。我们还展示了CIPS-3D的几个有趣的方向,如迁移学习和3D感知的面部风格化。合成结果最好以视频形式观看,因此我们建议读者查看我们的github项目https://github.com/PeterouZh/CIPS-3D
2021-10-19 cs.CV eess.IV
Ultra-High-Resolution Image Synthesis with Pyramid Diffusion Model
提出金字塔扩散模型(PDM),利用金字塔潜在表示与空间-通道注意力、残差跳跃连接及谱归一化等技术,首次实现2K分辨率图像合成,为可扩展图像生成模型提供新路径。
2024-03-19 cs.CV
WAVE: Warp-Based View Guidance for Consistent Novel View Synthesis Using a Single Image
Yonsei University(延世大学)
本文提出WAVE,一种免训练的扩散模型增强方法,通过视图引导扭曲实现自适应注意力操作与噪声重初始化,在无需额外模块的情况下提升单图像新视图合成的一致性。
2025-08-06 cs.CV
Generative Adversarial Frontal View to Bird View Synthesis
CUHK-SenseTime Joint Lab(香港中文大学-商汤科技联合实验室);CUHK(香港中文大学);SenseTime Research(商汤科技研究院)
环境感知是一项具有重要实用价值的工作,而鸟瞰是创造周围环境景观的重要组成部分。由于正视图和鸟瞰图之间的大间隙和严重变形,从单个正视图生成鸟瞰图图像是具有挑战性的。为了解决这个问题,我们提出了BridgeGAN,即,一种新的生成式鸟瞰图合成模型。首先,中间视图,即,单应性视图,以弥合这一巨大差距。接下来,在我们的任务中的三个视图(正视图,单应性视图和鸟瞰图)的条件下,提出了一个基于多GAN的模型来学习具有挑战性的跨视图翻译。在合成数据集上进行的大量实验表明,我们的模型生成的图像比现有方法生成的图像要好得多,具有更一致的全局外观和更清晰的细节。消融研究和讨论表明,在一些具有挑战性的情况下,它的可靠性和鲁棒性。
2019-04-02 cs.CV
High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究工作室)
针对单/稀疏观测新视角合成的几何失真与纹理幻觉问题,提出SplatDiff模型,结合splatting引导与扩散,通过对齐合成策略和纹理桥模块,实现几何一致、细节高保真的新视角生成,在单视角NVS中达到最先进性能且零样本泛化性优异。
2025-02-18 cs.CV
From Rays to Projections: Better Inputs for Feed-Forward View Synthesis
HKUST (GZ)(香港科技大学(广州));University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学);HKUST(香港科技大学)
本文提出投影条件化方法,通过稳定的2D输入提升视图合成的鲁棒性和一致性,优于传统射线条件化方法。
2026-01-08 cs.CV
Geometry-guided Cross-view Diffusion for One-to-many Cross-view Image Synthesis
The Australian National University(澳大利亚国立大学);University of Surrey(萨里大学);ShanghaiTech University(上海科技大学);Ford Motor Company(福特汽车公司)
针对跨视角图像合成的一对多不确定性问题,本文提出几何引导跨视角扩散方法,引入GCC策略建立特征几何对应,在三个基准数据集上证明其生成图像的质量、保真度和多样性优于现有方法。
2024-12-04 cs.CV
Pose-guided Generative Adversarial Net for Novel View Action Synthesis
CRCV, University of Central Florida(中佛罗里达大学计算机视觉研究中心);National University of Singapore(新加坡国立大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
我们关注的问题,新颖的观点人类的行动合成。给定一个动作视频,目标是从一个看不见的视点生成相同的动作。当然,新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间相干性的真实帧。此外,将不同的动作转换为新的目标视图需要同时意识到动作类别和视角变化。为了应对这些挑战,我们提出了一个新的框架,名为姿势引导的动作可分离生成对抗网络(PAS-GAN),它利用姿势来减轻这项任务的难度。首先,我们提出了一个经常性的姿势转换模块,从源视图到目标视图的动作转换,并在2D坐标空间中生成新的视图姿势序列。第二,一个良好的转换姿态序列使我们能够分离的目标视图中的动作和背景。我们采用了一种新的局部-全局空间变换模块,有效地生成序列的视频功能,在目标视图中使用这些动作和背景功能。最后,生成的视频特征被用来合成人体动作的帮助下的3D解码器。此外,针对视频中的动态动作,提出了一种新的多尺度动作可分离损失,进一步提高了视频质量。我们在两个大规模的多视角人体动作数据集NTU-RGBD和PKU-MMD上进行了大量的实验,证明了PAS-GAN的有效性,优于现有的方法。
2021-12-09 cs.CV
EscherNet: A Generative Model for Scalable View Synthesis
Imperial College London(帝国理工学院);The University of Hong Kong(香港大学)
EscherNet是一种多视图条件扩散模型,通过隐式3D表示和相机位置编码,实现可扩展的视图合成,并统一了单/多图像3D重建,在多个基准上达到最先进性能。
2024-03-19 cs.CV
CausNVS: Autoregressive Multi-view Diffusion for Flexible 3D Novel View Synthesis
Imperial College London(伦敦帝国学院);Google DeepMind(谷歌DeepMind);Google(谷歌);Technical University of Munich(慕尼黑技术大学)
针对非自回归多视角扩散模型在视角数量和推理速度上的局限,提出自回归模型CausNVS,支持任意视角配置并顺序生成,结合因果掩码、逐帧噪声和CaPE编码,实现灵活高质量的新视角合成。
2025-09-08 cs.CV
FreeVS: Generative View Synthesis on Free Driving Trajectory
School of Future Technology, University of Chinese Academy of Sciences (UCAS)(中国科学院大学未来技术学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港智能科学中心人工智能与机器人中心)
FreeVS提出一种全生成式驾驶场景视图合成方法,通过伪图像视图先验控制生成过程,摆脱对记录轨迹的依赖,可在自由新轨迹上合成3D一致的相机视图,并在Waymo数据集上验证了其有效性。
2024-10-23 cs.CV
MVLLaVA: An Intelligent Agent for Unified and Flexible Novel View Synthesis
School of Engineering Science, University of Chinese Academy of Sciences(中国科学院大学工程科学学院)
本研究提出集成多视角扩散模型与LLaVA的智能体MVLLaVA,通过任务指令模板微调LLaVA,可基于多种输入和语言指令灵活完成新视角合成,经实验验证性能稳健、通用性强。
2024-09-11 cs.CV
Appearance Editing with Free-viewpoint Neural Rendering
IIIT-Hyderabad(印度信息技术研究所海得拉巴分校);DreamVu Inc.(DreamVu公司)
我们提出了一个神经渲染框架,同时视图合成和外观编辑的场景从多视角图像下捕获已知的环境照明。现有的方法要么单独实现视图合成,要么实现视图合成和重新照明,而不直接控制场景的外观。我们的方法明确地解开外观,并学习一个独立于它的照明表示。具体来说,我们独立地估计BRDF,并使用它来学习场景的照明表示。这样的解纠缠使我们的方法可以推广到任意的外观变化,同时执行视图合成。我们展示了编辑真实场景外观的结果,表明我们的方法产生了合理的外观编辑。我们的视图合成方法的性能被证明是在与国家的最先进的方法在真实和合成数据。
2021-10-14 cs.CV
Exo2EgoSyn: Unlocking Foundation Video Generation Models for Exocentric-to-Egocentric Video Synthesis
Exo2EgoSyn通过三个模块实现从第三人称视角生成高保真内视图视频,提升跨视角视频合成能力。
2026-09-16 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization
Technical University of Munich(慕尼黑工业大学)
基于交叉视图图像的地理定位的目标是通过将给定街景图像与地理标记的卫星图像的集合进行匹配来确定给定街景图像的位置。这个任务是众所周知的挑战,由于激烈的观点和外观之间的差异,这两个领域。我们表明,我们可以通过学习从卫星输入合成逼真的街景来明确解决这种差异。根据这一观察,我们提出了一种新的多任务架构,其中图像合成和检索被认为是共同的。这背后的基本原理是,如果我们利用它们在两个输入域中生成图像,我们可以使我们的网络偏向于学习对检索有用的潜在特征表示。据我们所知,我们是第一个方法,从卫星图像创建逼真的街景,并本地化相应的查询街景,同时在一个端到端的方式。在我们的实验中,我们获得了最先进的性能的CVUSA和CVACT基准。最后,我们展示了令人信服的卫星街景合成的定性结果。
2021-03-11 cs.CV
DVSM: Decoder-only View Synthesis Model Done Right
NVIDIA;National Taiwan University(国立台湾大学)
提出仅解码器架构DVSM,通过隐式KV-cache表示场景,在相同渲染复杂度下以更少参数超越编码器-解码器变体,并利用共享权重、基础模型先验和分阶段块大小优化效率与质量,在多个基准上实现新视点合成的最优结果。
2026-05-28 cs.CV
Cross-view Localization and Synthesis -- Datasets, Challenges and Opportunities
The Ohio State University(俄亥俄州立大学)
本文全面综述了跨视图定位与合成任务的最新进展,回顾了相关数据集与核心技术,分析了当前挑战并指出了未来研究方向。
2025-10-30 cs.CV
NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis
Applied AI Institute(应用人工智能研究所);T-Tech;KAUST(阿卜杜拉国王科技大学)
NAMVIS提出无扩散的几何条件化下一尺度自回归框架,通过并行令牌预测实现稀疏视图多视图合成,在多个数据集上超越扩散基线且速度快3倍以上。
2026-10-06 cs.CV
Transformation-Grounded Image Generation Network for Novel 3D View Synthesis
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(Adobe研究院)
我们提出了一种基于变换的图像生成网络,用于从单个图像合成新的3D视图。而不是采取一个'白板'的方法,我们首先明确地推断出的部分几何可见的输入和新的意见,然后重新铸造剩余的合成问题,图像完成。具体来说,我们都预测一个流,将像素从输入移动到新的视图,以及一个新的可见性图,有助于处理遮挡/disocculsion。接下来,以这些中间结果为条件,我们幻觉(推断)输入图像中不可见的对象部分。除了新的网络结构之外,结合对抗性和感知损失的训练还可以减少新视图合成的常见伪影,例如失真和孔洞,同时成功生成高频细节并保留输入图像的视觉方面。我们评估我们的方法在广泛的合成和真实的例子。定性和定量的结果表明,我们的方法取得了显着更好的结果相比,现有的方法。
2017-03-08 cs.CV
Fourier-CPPNs for Image Synthesis
Element AI
组成图案产生网络(CPPN)是独立地将(x,y)像素坐标映射到(r,g,b)颜色值的可微分网络。最近,CPPN已被用于出于创造性目的创建有趣的图像,例如,然而,它们的架构偏见产生的图像过于平滑,缺乏高频细节。在这项工作中,我们扩展CPPN明确建模的频率信息,为每个像素输出,捕捉频率超过直流分量。我们表明,我们的傅立叶CPPN(F-CPPN)提供了改进的视觉细节的图像合成。
2019-09-20 cs.CV eess.IV
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
Birchlabs, England, United Kingdom(英国英格兰Birchlabs实验室);Independent Researcher, Florida, United States(美国佛罗里达独立研究员)
本文提出Hourglass Diffusion Transformer,通过线性扩展像素数量实现高分辨率图像生成,无需传统高分辨率训练技术, 在ImageNet和FFHQ数据集上取得新突破。
2026-03-25 cs.AI cs.CV cs.LG
Consistent View Synthesis with Pose-Guided Diffusion Models
Meta;University of Maryland, College Park(马里兰大学帕克分校)
针对单图像新视图合成在显著相机运动下难以保持一致性的问题,提出一种姿态引导扩散模型,利用对极线约束的注意力层关联视点,生成一致长期视频,效果优于现有transformer和GAN方法。
2023-03-30 cs.CV
PixelNN: Example-based Image Synthesis
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个简单的最近邻(NN)的方法,合成高频逼真的图像从一个“不完整”的信号,如低分辨率的图像,表面法线映射,或边缘。为这种条件图像合成设计的当前最先进的深度生成模型缺乏两个重要的东西:(1)由于模式坍塌问题,它们不能生成大量不同的输出。(2)它们是不可解释的,使得难以控制合成的输出。我们证明了NN方法可能解决这些限制,但在小数据集上的准确性受到影响。我们设计了一个简单的流水线,结合了两个世界的优点:第一阶段使用卷积神经网络(CNN)将输入映射到(过度平滑)图像,第二阶段使用像素最近邻方法将平滑输出以可控的方式映射到多个高质量,高频输出。我们展示了我们的方法,为各种输入方式,并为各个领域,从人脸到猫和狗的鞋子和手袋。
2017-08-17 cs.CV cs.GR cs.LG
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis
Carnegie Mellon University(卡内基梅隆大学);RWTH Aachen University(亚琛工业大学);Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学)
本文提出 Dynamic 3D Gaussians,通过持久属性与局部刚性约束让 3D Gaussians 随时间运动旋转,从而联合实现动态新视图合成与稠密 6-DOF 跟踪。
2023-08-18 cs.CV
Geo$^\textbf{2}$: Geometry-Guided Cross-view Geo-Localization and Image Synthesis
Institute of Artificial Intelligence, University of Central Florida(中佛罗里达大学人工智能研究所);University of Vermont(佛蒙特大学)
本文提出Geo²框架,利用几何先验知识联合完成跨视角地理定位和双向图像合成,通过共享3D感知潜在空间和GeoFlow模型提升性能。
2026-03-26 cs.CV
Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院)
生成对抗网络(GANs)已被证明在无监督图像生成方面是成功的。一些工作已经将GANs扩展到图像修复,通过用要重建的图像的部分来调节生成。尽管他们的成功,这些方法有局限性的设置,只有一个小的子集的图像像素是已知的。在本文中,我们研究的有效性条件GANs时,提供非常少的像素值。我们提出了一个建模框架,其结果是在GAN目标函数中添加一个显式的成本项,以执行逐像素条件。我们调查的影响,这个正则化项上生成的图像的质量和给定的像素约束的履行。使用最近的PacGAN技术,我们确保我们在生成的样本中保持多样性。在FashionMNIST上进行的实验表明,正则化项有效地控制了生成图像的质量和条件之间的权衡。在CIFAR-10和CelebA数据集上的实验评估证明,我们的方法在视觉上和定量上都实现了Fréchet初始距离的准确结果,同时仍然执行像素条件化。我们还使用全卷积网络在纹理图像生成任务上评估了我们的方法。作为最后的贡献,我们将该方法应用于一个经典的地质模拟应用程序。
2020-02-04 cs.CV cs.LG eess.IV
Perspective Texture Synthesis Based on Improved Energy Optimization
Institute of Space Technology(空间技术研究院);Pakistan Space and Upper Atmosphere Research Commission (SUPARCO)(巴基斯坦空间与上层大气研究委员会);University of Karachi(卡拉奇大学)
透视纹理合成在视频编辑、场景捕捉等领域具有重要意义,这是由于其读取和控制全局特征信息的能力。在本文中,我们提出了一种新的基于实例的,特别是基于能量优化的算法,合成透视纹理。能量优化技术是一种基于像素的方法,因此它是耗时的。我们从两个方面进行了改进,以达到更快的合成速度和更高的质量。首先,我们改变这种基于像素的技术,用一个小补丁代替像素计算。其次,我们提出了一种新的技术,以加快搜索最近的邻居在能量优化。利用k-均值聚类技术建立搜索树,加快搜索速度.因此,我们利用主成分分析(PCA)技术来减少输入向量的维数。高质量的结果证明了我们的方法是可行的。此外,我们提出的算法需要更短的时间相对于其他类似的方法。
2020-06-21 cs.CV cs.GR
End-to-End QGAN-Based Image Synthesis via Neural Noise Encoding and Intensity Calibration
Shanghai Maritime University(上海海洋大学);Agency for Science, Technology and Research(科技研究局);Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing(高性能计算研究院)
本文提出ReQGAN框架,利用单个D-qubit量子电路生成完整图像,解决量子生成器角色弱化和全局语义捕捉难题,通过神经噪声编码和强度校准模块实现稳定训练和有效图像合成。
2026-03-19 cs.CV quant-ph
Retrieval-guided Cross-view Image Synthesis
Shenzhen University(深圳大学)
提出检索引导的跨视角图像合成框架,通过对比学习和平滑嵌入空间结合新颖融合机制,在CVUSA、CVACT和VIGOR-GEN数据集上显著提升检索准确率与合成质量。
2025-01-25 cs.CV cs.LG
Human Multi-View Synthesis from a Single-View Model:Transferred Body and Face Representations
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Guangzhou Quwan Network Technology(广州趣玩网络科技);Westlake University(西湖大学)
本文提出利用预训练单视图人类模型迁移身体表示并融合多模态面部特征,以提升多视图人体与面部细节合成质量,实验表明其优于现有最先进方法。
2024-12-04 cs.AI cs.CV
Pixel-Aligned Multi-View Generation with Depth Guided Decoder
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Snap Inc.(Snap公司);University of Toronto(多伦多大学)
提出一种深度引导的VAE解码器方法,通过深度截断极线注意力实现跨视图交互,解决了多视图生成中的像素错位问题并提升了3D重建效果。
2024-08-26 cs.AI cs.CV
Efficient Scale-Invariant Generator with Column-Row Entangled Pixel Synthesis
VinAI Research(VinAI研究院)
本文提出 CREPS 生成模型,通过将特征图分解为粗列与粗行编码的双线表示,在不使用卷积或由粗到细结构的情况下实现高效、尺度等变且无混叠的任意分辨率图像合成。
2023-04-25 cs.CV cs.LG
Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis
Xiamen University(厦门大学);Westlake University(西湖大学);Chinese PLA General Hospital(中国人民解放军总医院);Deepwise AI Laboratory(深睿人工智能实验室);The University of Hong Kong(香港大学)
从病理图像合成对象特定的无病理图像对于算法开发和临床实践是有价值的。近年来,基于生成对抗网络(GAN)的几种方法在伪健康合成方面取得了可喜的成果。然而,该公司(即,分类器)不能准确地识别病变,并且进一步妨碍生成令人满意的伪健康图像。为了解决这个问题,我们提出了一种新型的分割器,分割器,准确定位病变,提高伪健康图像的视觉质量。然后,我们将生成的图像应用于医学图像增强,并利用增强的结果来解决医学图像分割中存在的低对比度问题。此外,提出了一种可靠的度量标准,利用标签噪声的两个属性来衡量合成图像的健康。在T2模态的BraTS上的综合实验表明,该方法大大优于现有的方法。该方法在训练数据量仅为30%的情况下,取得了比现有方法更好的性能。该方法的有效性也被证明在LiTS和T1模态的BraTS。本研究的代码和预训练模型可在https://github.com/Au3C2/Generator-Versus-Segmentor上公开获得。
2022-03-29 cs.CV cs.LG eess.IV
Dynamic View Synthesis as an Inverse Problem
Virginia Tech(弗吉尼亚理工大学)
本文提出一种无需训练的动态视图合成方法,通过重新设计视频扩散模型的噪声初始化,引入K阶递归噪声表示和随机潜在调制,实现高保真的确定性反演与遮挡区域补全。
2025-06-09 cs.AI cs.CV
Stay Positive: Non-Negative Image Synthesis for Augmented Reality
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院);University of Copenhagen(哥本哈根大学)
在诸如光学透视和投影仪增强现实的应用中,产生图像相当于解决非负像生成,其中人们只能向现有图像添加光。然而,大多数图像生成方法都不适合这个问题,因为它们假设可以为每个像素分配任意颜色。事实上,现有方法的幼稚应用甚至在诸如MNIST数字的简单域中也失败了,因为不能通过添加光来创建较暗的像素。然而,我们知道,人类的视觉系统可能会被某些亮度和对比度空间配置的视错觉所愚弄。我们的关键见解是,人们可以利用这种行为来产生高质量的图像,可以忽略不计的文物。例如,我们可以通过使周围的像素变亮来创建较暗斑块的错觉。我们提出了一种新的优化过程,以产生满足语义和非负约束的图像。我们的方法可以结合现有的最先进的方法,并在各种任务中表现出强大的性能,包括图像到图像的翻译和风格转移。
2022-02-01 cs.CV cs.GR
ReShader: View-Dependent Highlights for Single Image View-Synthesis
Texas A&M University(德克萨斯农工大学);Leia Inc.(莉亚公司)
针对单图像视图合成中高光固定在表面导致不真实的问题,提出ReShader方法,将视图合成拆分为像素重新着色和重新定位两个独立任务,利用神经网络进行重新着色,生成具有逼真移动高光的新视图图像。
2024-06-03 cs.CV cs.GR
Generative View Synthesis: From Single-view Semantics to Novel-view Images
TU Kaiserslautern(凯撒斯劳滕工业大学);DFKI(德国人工智能研究中心);Google Research(谷歌研究院);NVIDIA(英伟达)
对于诸如虚拟现实之类的应用来说,内容创建是一项繁琐且耗时的工作。最近的图像合成方法简化了这项任务,提供的工具,以产生新的意见,从一个单一的输入图像,或通过转换成一个逼真的图像语义地图。我们建议进一步推动信封,并引入生成视图合成(GVS),它可以合成多个真实感视图的场景给定一个语义图。我们表明,现有技术的顺序应用,例如,语义到图像的转换,然后是单目视图合成,无法捕捉场景的结构。相比之下,我们解决了语义图像的翻译与场景的3D布局的估计,从而产生几何一致的新颖的观点,保留语义结构。我们首先将输入的2D语义图提升到特征空间中场景的3D分层表示上,从而保留3D几何结构的语义标签。然后,我们将分层特征投影到目标视图上,以生成最终的新视图图像。我们验证了我们的方法的优势,并将其与三个不同数据集上的几个高级基线进行比较。我们的方法还允许样式操作和图像编辑操作,例如添加或删除对象,分别对输入样式图像和语义映射进行简单操作。访问项目页面https://gvsnet.github.io。
2020-10-02 cs.CV cs.LG eess.IV
Sequential View Synthesis with Transformer
University of Oulu(奥卢大学);Tampere University(坦佩雷大学)
本文解决了新的视图合成的问题,通过神经渲染,我们感兴趣的是在任意的摄像机姿态的基础上,从其他观点的输入图像的一组给定的预测新的视图。使用已知的查询姿势和输入姿势,我们创建一个有序的观察集,导致目标视图。因此,单个新视图合成的问题被重新表述为一个顺序视图预测任务。在本文中,提出了基于转换器的生成查询网络(T-GQN)通过添加两个新的概念扩展了神经渲染方法。首先,我们使用上下文图像之间的多视图注意学习,以获得多个隐式场景表示。其次,我们引入了一个顺序渲染解码器来预测图像序列,包括目标视图,基于学习的表示。最后,我们在各种具有挑战性的数据集上评估了我们的模型,并证明我们的模型不仅给出了一致的预测,而且不需要进行任何微调的再训练。
2020-09-22 cs.CV cs.LG eess.IV
Novel View Synthesis with Diffusion Models
Google Research(谷歌研究院)
我们提出了3DiM,一个用于3D新视图合成的扩散模型,它能够将单个输入视图转换为跨多个视图的一致和尖锐的完成。3DiM的核心组件是姿态条件图像到图像扩散模型,该模型将源视图及其姿态作为输入,并生成目标姿态的新视图作为输出。3DiM可以使用一种称为随机调节的新技术生成3D一致的多个视图。输出视图是自回归生成的,并且在每个新视图的生成期间,在每个去噪步骤处从可用视图的集合中选择随机调节视图。我们证明,随机条件显着提高了3D的一致性,天真的采样器的图像到图像的扩散模型,其中涉及一个单一的固定视图上的条件。我们将3DiM与之前在SRN ShapeNet数据集上的工作进行了比较,证明3DiM从单个视图生成的补全实现了更高的保真度,同时近似3D一致。我们还引入了一种新的评估方法,3D一致性评分,通过在模型的输出视图上训练神经场来测量生成对象的3D一致性。3DiM是几何自由的,不依赖于超网络或测试时优化的新视图合成,并允许单个模型轻松扩展到大量场景。
2022-10-06 cs.CV cs.GR cs.LG
Novel-View Acoustic Synthesis
University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta AI 基础人工智能研究团队);Reality Labs Research at Meta(Meta 现实实验室研究部)
提出新视角声学合成任务及ViGAS网络,通过分析视听线索合成目标视点声音,并构建大规模数据集验证有效性,推动多模态新视角合成研究。
2023-10-24 cs.CV cs.SD eess.AS
PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Technical University of Munich(慕尼黑工业大学);Cardiff University(卡迪夫大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了PVSeRF,一个学习框架,从单视图RGB图像重建神经辐射场,用于新的视图合成。先前的解决方案,例如pixelNeRF,仅依赖于像素对齐的特征,并且遭受特征模糊性问题。结果,他们挣扎于几何和外观的分离,导致难以置信的几何和模糊的结果。为了解决这一挑战,我们建议将明确的几何推理,并结合它与像素对齐的辐射场预测功能。具体来说,除了像素对齐的特征之外,我们还将辐射场学习约束为以i)从粗体积网格学习的体素对齐的特征和ii)从回归点云提取的精细表面对齐的特征为条件。我们表明,这种几何感知功能的引入有助于实现更好的外观和几何之间的解纠缠,即恢复更准确的几何形状和合成更高质量的图像的新观点。针对ShapeNet基准测试中最先进的方法进行的大量实验证明了我们的方法在单图像新颖视图合成方面的优越性。
2022-02-10 cs.CV
Multi-View Motion Synthesis via Applying Rotated Dual-Pixel Blur Kernels
York University(约克大学)
肖像模式在智能手机相机上广泛使用,以提供增强的摄影体验。应用于在肖像模式下捕获的图像的主要效果之一是合成的浅景深(DoF)。合成DoF(或散景效果)选择性地模糊图像中的区域,以模仿使用具有宽光圈的大镜头的效果。此外,许多应用现在结合了新的图像运动属性(NIMAT)来模拟背景运动,其中运动与每个像素处的估计深度相关。在这项工作中,我们遵循的趋势,呈现NIMAT效果,通过引入一个修改的模糊合成过程中的肖像模式。特别是,我们的修改通过应用旋转模糊内核,可以从单个图像中高质量地合成多视图散景。给定合成的多个视图,我们可以生成类似于NIMAT效果的美学上逼真的图像运动。与原始NIMAT效果和其他类似的图像运动(如Facebook 3D图像)相比,我们定性地验证了我们的方法。我们的图像运动演示了平滑的图像视图过渡,对象边界周围的伪影较少。
2021-11-15 cs.CV
Novel View Synthesis via Depth-guided Skip Connections
Aalto University(阿尔托大学)
我们介绍了一个原则性的方法,用于合成一个场景的新的意见,给出了一个单一的源图像。用于新视图合成的先前方法可以分为基于图像的渲染方法(例如,流预测)或像素生成方法。流预测使目标视图能够直接重用像素,但很容易导致结果失真。直接回归像素可以产生结构上一致的结果,但通常缺乏低级别的细节。在本文中,我们利用一个编码器-解码器架构回归像素的目标视图。为了保持细节,我们将解码器对齐的特征图与跳过连接耦合,其中对齐由目标视图的预测深度图指导。我们的实验结果表明,我们的方法不会受到扭曲,并成功地保留纹理细节对齐跳过连接。
2021-01-05 cs.CV
PixelSynth: Generating a 3D-Consistent Experience from a Single Image
University of Michigan(密歇根大学)
微分渲染和3D推理的最新进展已经在从单个图像合成新视图方面取得了令人兴奋的结果。尽管有现实的结果,方法仅限于相对较小的视图变化。为了合成沉浸式场景,模型还必须能够外推。我们提出了一种方法,融合了3D推理与自回归建模,以3D一致的方式来描绘大的视图变化,从而实现场景合成。我们证明了相当大的改善,在单一图像的大角度视图合成结果相比,各种方法和可能的变种在模拟和真实的数据集。此外,与其他累积方法相比,我们显示出更高的3D一致性。项目网址:https://crockwell.github.io/pixelsynth/
2021-08-12 cs.CV
Visibility-Aware Pixelwise View Selection for Multi-View Stereo Matching
University of Guelph(圭尔夫大学)
基于PatchMatch的多视图立体视觉算法的性能很大程度上取决于为计算匹配代价而选择的源视图。大多数现有的方法不是对不同视图的可见性进行建模,而是以特别的方式处理遮挡。为了解决这个问题,我们提出了一种新的可行性指导像素视图选择方案在本文中。它根据已验证的解决方案提供的可见性信息,逐步细化要用于参考视图中每个像素的源视图集。此外,人工多蜂群(AMBC)算法被用来并行搜索不同像素的最优解。群体间通信在同一图像内和不同图像之间进行。健身奖励被添加到验证和传播的解决方案,有效地加强相邻像素的平滑度,并允许更好地处理无纹理区域。DTU数据集上的实验结果表明,我们的方法实现了最先进的性能之间的非学习为基础的方法和检索更多的细节在闭塞和低纹理区域。
2023-02-14 cs.CV