Empowering Bridge Digital Twins by Bridging the Data Gap with a Unified Synthesis Framework
针对桥梁3D点云数据因标签缺失、扫描遮挡不完整的问题,提出可生成带标注完整点云和真实感残缺点云的统一合成框架,实验验证其能有效提升语义分割与构件补全模型性能,为桥梁数字孪生和基础设施自动化管养提供支撑。
2025-09-05 cs.AI cs.CV
A Survey on Future Frame Synthesis: Bridging Deterministic and Generative Approaches
Tsinghua University(清华大学);StepFun;Peking University(北京大学);Megvii Technology(旷视科技)
本综述全面分析了未来帧合成领域,引入基于算法随机性的新分类法,揭示了从确定性算法向生成式范式转变的驱动力,并指出实时预测与大规模世界模拟两条发展路径及关键挑战。
2025-07-14 cs.CV
Structural Multiplane Image: Bridging Neural View Synthesis and 3D Reconstruction
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
多平面图像(MPI),包含一组前平行RGBA层,是一个有效的和高效的表示从稀疏输入的视图合成。然而,它的固定结构限制了性能,特别是对于以倾斜角度成像的表面。我们介绍了结构MPI(S-MPI),其中平面结构近似3D场景简洁。S-MPI通过几何忠实结构传递RGBA上下文,直接连接视图合成和3D重建。它不仅可以克服MPI的关键限制,即,此外,还可以从倾斜表面和冗余层滥用中获得离散化伪影,并且还可以获得平面3D重建。尽管应用S-MPI的直觉和需求,但也带来了巨大的挑战,例如,RGBA层和平面姿态的高保真近似,多视图一致性,非平面区域建模,以及使用双平面的高效渲染。因此,我们提出了一种基于分割模型的基于变压器的网络。它预测紧凑和表达的S-MPI层与其相应的面具,姿势和RGBA上下文。在我们的统一框架中,非平面区域作为一种特殊情况被包含处理。通过共享全局代理嵌入来确保多视图一致性,该嵌入对覆盖具有对齐坐标的完整3D场景的平面级特征进行编码。大量的实验表明,我们的方法优于以前的国家的最先进的基于MPI的视图合成方法和平面重建方法。
2023-03-10 cs.CV
NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis
University of Bonn(波恩大学)
多视图立体视觉(MVS)是三维计算机视觉的核心任务。随着新型深度学习方法的激增,学习的MVS已经超过了经典方法的准确性,但仍然依赖于构建内存密集型密集成本卷。新颖视图合成(NVS)是研究的平行线,并且最近随着神经辐射场(NeRF)模型的流行而增加,所述NeRF模型优化每个场景的辐射场。然而,NeRF方法不能推广到新的场景,并且训练和测试很慢。我们建议用一种新的网络来弥合这两种方法之间的差距,该网络可以将3D场景几何形状恢复为距离函数,以及高分辨率的彩色图像。我们的方法只使用稀疏的图像集作为输入,可以很好地推广到新的场景。此外,我们提出了一个粗到细的球体跟踪方法,以显着提高速度。我们在各种数据集上表明,我们的方法达到了与每个场景优化方法相当的准确性,同时能够推广和运行得更快。我们在https://github.com/AIS-Bonn/neural_mvs上提供源代码
2022-06-15 cs.CV
Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis
Peking University(北京大学);Alibaba(阿里巴巴)
本文提出Grounded Forcing框架,通过三种机制解决自回归视频合成中的语义遗忘、视觉漂移和可控性丢失问题,提升长程一致性和视觉稳定性。
2026-04-13 cs.CV
Layout-Bridging Text-to-Image Synthesis
Beihang University(北京航空航天大学);Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳))
文本到图像合成的关键在于难以保持输入文本和合成图像之间的跨模态语义一致性。典型的方法,试图直接建模的文本到图像的映射,只能捕获文本中的关键字,表示共同的对象或动作,但不能学习他们的空间分布模式。规避这种限制的有效方法是生成图像布局作为指导,这是通过几种方法尝试的。然而,由于输入文本和对象位置的多样性,这些方法无法生成实际有效的布局。在本文中,我们推动在文本到布局生成和布局到图像合成有效的建模。具体来说,我们制定的文本到布局生成序列到序列建模任务,并建立我们的模型上Transformer学习对象之间的空间关系,通过建模它们之间的顺序依赖关系。在布局到图像合成阶段,我们专注于学习布局中每个对象的文本视觉语义对齐,以精确地将输入文本纳入布局到图像合成过程中。为了评估生成的布局的质量,我们专门设计了一个新的度量标准,称为布局质量分数,它既考虑了布局中边界框的绝对分布误差,也考虑了它们之间的相互空间关系。在三个数据集上进行的大量实验表明,我们的方法在预测布局和从给定文本合成图像方面的性能优于最先进的方法。
2022-08-12 cs.CV
HUMBO: Bridging Response Generation and Facial Expression Synthesis
National Taiwan University(国立台湾大学)
帮助用户解决诸如电影票预订等复杂任务的口语对话系统已经成为人工智能和自然语言处理领域的新兴研究课题。有了一个设计良好的对话系统作为智能个人助理,人们可以通过自然语言交互更容易地完成某些任务。目前,市场上有几种虚拟智能助手;然而,大多数系统只专注于文本或语音交互。在本文中,我们提出了HUMBO,一个系统,旨在产生对话的反应,同时合成相应的视觉表情的脸,更好的多模态交互。HUMBO可以(1)让用户通过单个图像确定虚拟助理的外观,以及(2)在用户提供的图像上生成连贯的情感话语和面部表情。这不仅是一个全新的研究方向,更重要的是,这是迈向更人性化的虚拟助手的最终一步。
2021-08-31 cs.CL cs.CV cs.MM
MedSynapse-V: Bridging Visual Perception and Clinical Intuition via Latent Memory Evolution
Hunan University(湖南大学)
提出MedSynapse-V框架,通过潜在诊断记忆演化模拟临床专家经验调用,解决医学视觉语言模型因离散分词导致的量化损失、长程信息消散和案例适应性问题,在诊断准确性上显著超越现有方法。
2026-07-03 cs.AI cs.CV
SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis
College of Computer Science and Artificial Intelligence, Fudan University(计算机科学与人工智能学院,复旦大学);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
SwipeGen通过合成类人滑动交互提升GUI代理的执行能力,实验显示其滑动执行准确率较基线提升214%。
2026-08-21 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP,通过解耦人-场景交互与运动合成,在推理中结合隐式策略优化和扩散去噪,实现无需配对数据的场景感知运动合成,并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis
Technical University of Munich(慕尼黑工业大学);Huawei Munich Research Center(华为慕尼黑研究中心);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Stuttgart(斯图加特大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
针对室内高保真视图合成计算昂贵且几何表示不足的问题,提出 VoxNeRF,利用体素几何先验引导采样并加入深度损失,在 ScanNet 与 ScanNet++ 上提升效率和渲染质量。
2024-12-04 cs.CV cs.RO
Bridging Modalities: Joint Synthesis and Registration Framework for Aligning Diffusion MRI with T1-Weighted Images
University of Electronic Science and Technology of China(电子科技大学);Brigham and Women’s Hospital(布里奇沃特医院);Harvard Medical School(哈佛医学院)
本文提出一种基于生成配准网络的无监督框架,通过图像合成和变形场学习,提升扩散MRI与T1加权图像的配准精度。
2026-01-16 cs.CV eess.IV
HVG-3D: Bridging Real and Simulation Domains for 3D-Conditional Hand-Object Interaction Video Synthesis
Dept. of EEE, The Hong Kong Polytechnic University(香港理工大学电机及电子工程学系);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院未来区块链与隐私计算北京高精尖创新中心);Tsinghua University(清华大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院虚拟现实技术与系统国家重点实验室)
HVG-3D提出一种统一框架,通过显式3D表示条件生成3D-aware手-物体交互视频,结合3D ControlNet与扩散架构,实现高保真度与时空可控性。
2026-03-31 cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University(斯坦福大学)
我们见证了3D感知图像合成的快速进展,利用了生成视觉模型和神经渲染的最新进展。然而,现有的方法在两个方面存在不足:第一,它们可能缺乏底层3D表示或依赖于视图不一致的渲染,因此合成的图像不是多视图一致的;第二,它们通常依赖于表现力不够的表示网络架构,因此它们的结果缺乏图像质量。我们提出了一种新的生成模型,称为周期性隐式生成对抗网络($π$ -GAN或pi-GAN),用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果,三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Nanjing University(南京大学)
计算机视觉和图形学中的许多任务都属于条件图像合成的框架。近年来,生成对抗网络(GANs)在合成图像质量方面取得了令人印象深刻的进步。然而,由于模式坍塌的问题,对于相同的输入生成多样且合理的图像仍然是一个挑战。在本文中,我们开发了一种新的通用多模态条件图像合成方法的基础上隐式最大似然估计(IMLE),并证明了改进的多模态图像合成性能的两个任务,单图像超分辨率和图像合成场景布局。我们公开我们的实现。
2020-04-07 cs.CV cs.GR cs.LG
Remote Sensing Novel View Synthesis with Implicit Multiplane Representations
Beihang University(北京航空航天大学)
遥感场景的视图合成对于场景可视化、人机交互以及各种下游应用都具有重要意义。尽管近年来计算机图形学和照片扫描技术取得了很大的进步,但由于遥感图像的高度复杂性、视图稀疏性和有限的视角变化,生成新视图仍然是一个挑战。在本文中,我们提出了一种新的遥感视图合成方法,利用隐式神经表征的最新进展。针对遥感图像的高分辨率和远景深成像特点,将隐式多平面图像(MPI)表示与深度神经网络相结合,对三维空间进行表示。在自监督优化范式下,通过具有多视图输入约束的可微多平面渲染器重建3D场景。因此,可以基于重建的模型自由地渲染来自任何新视图的图像。作为副产品,对应于给定视点的深度图可以与渲染输出一起生成。我们将我们的方法称为隐式多平面图像(ImMPI)。为了进一步提高稀疏视图输入下的视图合成,我们探索了基于学习的遥感三维场景初始化方法,并提出了一种基于神经网络的先验提取器来加速优化过程。此外,我们提出了一个新的数据集遥感新的看法合成与多视角现实世界的谷歌地球图像。大量的实验证明了ImMPI在重建精度,视觉保真度和时间效率方面优于以前的最先进的方法。烧蚀实验也表明我们的方法设计的有效性。我们的数据集和代码可以在https://github.com/wyc-Chang/ImMPI上找到
2022-05-18 cs.CV
MetaView: Monocular Novel View Synthesis with Scale-Aware Implicit Geometry Priors
Nanyang Technological University(南洋理工大学);Kolors Team, Kuaishou Technology(快手科技色彩团队);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
研究提出MetaView框架,结合隐式几何建模与少量显式3D线索,利用前馈几何感知网络隐式几何先验及度量深度,实现大视角下单目新视图合成,实验证明该方法在挑战性场景中显著优于现有方法且泛化能力强。
2026-08-06 cs.CV
Steerable Anatomical Shape Synthesis with Implicit Neural Representations
University of Twente(特温特大学);Technical Medical (TechMed) Centre(技术医学中心)
本文提出一种基于隐式神经表示的可控解剖形状生成模型,通过学习解耦的潜在表示实现对形状变化的细粒度控制,在保证高质量形状生成与解剖合理性的同时,支持针对特定患者群体的目标解剖修改。
2025-04-04 cs.CV
Quantum Implicit Neural Representations for Novel View Synthesis
Department of Mathematics, Computer Science and Physics, University of Udine(数学、计算机科学与物理系,乌迪内大学);Department of Biology, University of Naples Federico II(生物学系,那不勒斯费德里科二世大学);Max Planck Institute for Informatics, SIC, Saarbrücken, Germany(马克斯·普朗克信息研究所,萨尔布吕肯,德国)
QNeRF是一种基于量子计算的新型视角合成模型,利用量子电路编码空间和视点信息,实现更紧凑的模型和高效的3D表示学习。
2026-09-04 cs.CV
Flow Matching for Medical Image Synthesis: Bridging the Gap Between Speed and Quality
University of British Columbia(不列颠哥伦比亚大学)
本文提出基于最优传输流匹配的医学图像合成方法,通过引入更直的分布映射显著加速推理并提升质量,支持2D/3D多模态及条件机制,适用于图像生成与增强,并开源代码与数据集。
2025-03-01 cs.CV eess.IV
Hybrid-PCGC: Hybrid Point Cloud Geometry Compression Bridging Generalization-based Model and Implicit Neural Representation
Shanghai Jiao Tong University(上海交通大学);University of Missouri-Kansas City(密苏里大学-堪萨斯城分校)
HybridINR-PCGC通过融合预训练模型与隐式神经表示,实现高效无损点云压缩,提升压缩率和编码效率。
2026-10-23 cs.CV
IRIS: Implicit Rendering Matters for Pose-Free Novel View Synthesis
National University of Defense Technology(国防科技大学)
IRIS提出一种完全自监督框架,通过潜在神经场和自预测相机实现无位姿新视角合成,兼顾隐式建模的灵活性与显式几何的稳定性,取得高质量渲染和竞争性位姿精度。
2026-09-17 cs.CV
Bridging Modalities on the Cortex: Surface-based MRI to PET Translation with a Diffusion Bridge
Technical University of Munich (TUM)(慕尼黑工业大学);TUM University Hospital(慕尼黑工业大学附属医院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出DB-SUiT,一种基于皮层表面的扩散桥框架,用于MRI到PET转换,通过球形U形Transformer建模跨模态关系,在痴呆分类中显著提升性能并接近真实PET效果。
2026-09-18 cs.AI cs.CV
Implicit Neural Head Synthesis via Controllable Local Deformation Fields
Carnegie Mellon University(卡内基梅隆大学);Flawless AI
针对单目视频中3D头部化身的精细局部控制问题,提出基于3DMM参数和关键点的多个局部隐式变形场,并以稀疏性约束实现更锐利的口腔、非对称表情及面部细节合成。
2023-04-21 cs.CV
Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans
Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学);Cornell University(康奈尔大学)
本文讨论了一个人类表演者从一个非常稀疏的一组相机的意见,新颖的视图合成的挑战。最近的一些工作表明,在给定密集输入视图的情况下,学习3D场景的隐式神经表示可以实现显着的视图合成质量。然而,如果视图是高度稀疏的,则表示学习将是不适定的。为了解决这个不适定问题,我们的关键思想是整合视频帧上的观察。为此,我们提出了神经身体,一种新的人体表示,它假设在不同帧处学习的神经表示共享锚定到可变形网格的同一组潜在代码,以便跨帧的观察可以自然地集成。可变形网格还为网络提供几何指导,以更有效地学习3D表示。为了评估我们的方法,我们创建了一个名为ZJU-MoCap的多视图数据集,该数据集捕获具有复杂动作的表演者。ZJU-MoCap上的实验表明,我们的方法在新的视图合成质量方面大大优于以前的作品。我们还展示了我们的方法的能力,重建一个移动的人从单目视频的人快照数据集。代码和数据集可在https://zju3dv.github.io/neuralbody/上获得。
2021-03-29 cs.CV
Synthesis of Late Gadolinium Enhancement Images via Implicit Neural Representations for Cardiac Scar Segmentation
Amsterdam UMC, The Netherlands(阿姆斯特丹大学医学中心,荷兰);University of Amsterdam, The Netherlands(阿姆斯特丹大学,荷兰);Informatics Institute, University of Amsterdam, The Netherlands(阿姆斯特丹大学信息学院,荷兰);Amsterdam Cardiovascular Sciences, Amsterdam UMC, The Netherlands(阿姆斯特丹心血管科学,阿姆斯特丹大学医学中心,荷兰);Amsterdam Machine Learning Lab, University of Amsterdam, The Netherlands(阿姆斯特丹机器学习实验室,阿姆斯特丹大学,荷兰);Department of Biomedical Engineering and Physics, Amsterdam UMC, The Netherlands(生物医学工程与物理系,阿姆斯特丹大学医学中心,荷兰);Department of Experimental Cardiology, Amsterdam Cardiovascular Sciences, Heart Failure & Arrhythmias, Amsterdam UMC, The Netherlands(实验心脏病学系,阿姆斯特丹心血管科学,心力衰竭与心律失常,阿姆斯特丹大学医学中心,荷兰);Department of Cardiology, Amsterdam UMC, The Netherlands(心脏病学系,阿姆斯特丹大学医学中心,荷兰);Department of Radiology and Nuclear Medicine, Amsterdam UMC, The Netherlands(放射学与核医学系,阿姆斯特丹大学医学中心,荷兰);Department of Radiology, Mayo Clinic, Rochester, United States of America(放射学系,梅奥诊所,罗切斯特,美国)
本文提出利用隐式神经表示和扩散模型合成LGE图像,以提高心脏瘢痕分割的性能,通过生成合成数据缓解标注数据不足的问题。
2026-02-12 cs.AI cs.CV
AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera Joint Synthesis
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);DarkMatter AI Research(DarkMatter AI研究);University of Oxford(牛津大学);HKU(香港大学);Cainiao Group(菜鸟集团);NCUT(北方工业大学);Sun Yat-sen University(中山大学);Westlake University(西湖大学)
针对 LiDAR 与相机多模态隐式场中的几何未对齐问题,提出 AlignMiF 及 GAA、SGI 模块,在 KITTI-360 和 Waymo 上显著提升联合合成性能。
2024-02-27 cs.CV
Quantum Implicit Neural Representations for 3D Scene Reconstruction and Novel View Synthesis
Computer Vision Center Universitat Autònoma de Barcelona(自动理工学院计算机视觉中心)
Q-NeRF通过混合量子-经典框架提升3D场景重建与新视角合成的性能,利用量子模块有效捕捉细尺度视角依赖外观。
2025-12-14 cs.AI cs.CV quant-ph
S-INF: Towards Realistic Indoor Scene Synthesis via Scene Implicit Neural Field
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Sichuan Academy of Medical Sciences and Sichuan Provincial People’s Hospital(四川省医学科学院·四川省人民医院)
本文提出S-INF,通过隐式神经场解耦并融合场景布局与细粒度物体关系,结合可微渲染保证风格一致,在3D-FRONT上实现逼真室内场景合成。
2025-01-04 cs.CV
Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation
School of Informatics, The University of Edinburgh(信息学院);Massachusetts Institute of Technology Lincoln Laboratory(麻省理工学院林肯实验室)
针对科学观测数据难以标注的问题,提出通过扰动网络权重而非数据生成对比样本,在雷达流星观测上使用SimCLR管道验证性能提升。
2026-06-05 cs.CV
Neural Knitworks: Patched Neural Implicit Representation Networks
University of Strathclyde(斯特拉斯克莱德大学)
本研究提出Neural Knitwork补丁化神经隐式表示架构,以对抗方式优化补丁分布并保证一致性,实现图像补全、超分、去噪等任务,参数量比CNN方案少80%且性能相当。
2024-04-15 cs.AI cs.CV cs.GR
NeRV-Diffusion: Diffuse Implicit Neural Representations for Video Synthesis
University of Maryland, College Park(马里兰大学学院 park)
本文提出 NeRV-Diffusion,将视频整体表示并生成为 INR 网络权重,通过超网络 tokenizer 与隐式扩散 Transformer 实现高质量、高效的视频合成及平滑插值。
2025-09-29 cs.CV
Bridging Global Context Interactions for High-Fidelity Image Completion
Monash University(莫纳什大学)
正确地桥接全局上下文交互对于使用大掩模的高保真图像完成是重要的。以前的方法试图通过深或大的感受野(RF)卷积不能摆脱附近的相互作用,这可能是劣势的主导地位。在本文中,我们建议将图像完成作为一个无方向的序列到序列的预测任务,并部署一个Transformer直接捕获编码器中的长程依赖。至关重要的是,我们采用了一个限制性的CNN与小的和非重叠的RF加权令牌表示,这使得Transformer显式建模的长距离可见的上下文关系在所有层中具有同等的重要性,而不会隐式混淆相邻令牌时,较大的RF使用。为了提高可见区域和生成区域之间的外观一致性,引入了一种新的注意力感知层(AAL),以更好地利用远距离相关的高频特征。总的来说,广泛的实验表明,与几个数据集上的最先进的方法相比,性能优越。
2021-11-22 cs.CV
FaDIV-Syn: Fast Depth-Independent View Synthesis using Soft Masks and Implicit Blending
University of Bonn(波恩大学);Delft University of Technology(代尔夫特理工大学)
在虚拟现实遥操作、场景重建等机器人应用中,需要新颖的视点合成技术。现有的方法对于这些上下文通常太慢,不能处理动态场景,并且受到其显式深度估计阶段的限制,其中不正确的深度预测可能导致大的投影误差。我们所提出的方法实时的运行在实时流数据上,并通过有效地将输入图像扭曲到一系列假定深度平面的目标帧中来避免显式深度估计。由此产生的平面扫描体积(PSV)直接输入到我们的网络中,该网络首先以自我监督的方式估计软PSV掩模,然后直接产生新的输出视图。这提高了透明、反射、薄和无特征场景部分的效率和性能。FaDIV-Syn可以实时执行540 p的内插和外推任务,并且在大规模RealEstate 10 k数据集上的性能优于最先进的外推方法。我们彻底评估了消融,例如删除软掩蔽网络,从更少的示例中进行训练,以及泛化到更高的分辨率和更强的深度离散化。我们的实现是可用的。
2022-05-13 cs.CV
A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
生成辐射场的发展推动了三维感知图像合成的边界。受3D对象应该从多个视点看起来真实的观察的启发,这些方法引入多视图约束作为正则化以从2D图像学习有效的3D辐射场。尽管取得了进展,但由于形状-颜色模糊性,它们通常无法捕获准确的3D形状,限制了它们在下游任务中的适用性。在这项工作中,我们提出了一种新的阴影引导生成隐式模型,能够学习一个明显改善的形状表示,以解决这种模糊性。我们的关键见解是,一个准确的3D形状也应该在不同的光照条件下产生逼真的渲染。这种多光照约束是通过显式建模照明和执行各种光照条件下的着色来实现的。通过将合成的图像馈送到图像处理器来导出合成图像。为了补偿计算表面法线的额外计算负担,我们进一步设计了一个有效的体渲染策略,通过表面跟踪,减少训练和推理时间分别为24%和48%。我们在多个数据集上的实验表明,该方法实现了逼真的3D感知图像合成,同时捕捉准确的底层3D形状。我们证明了我们的方法对现有方法的三维形状重建的性能改善,并显示其适用于图像重新照明。我们的代码将在https://github.com/XingangPan/ShadeGAN上发布。
2021-12-08 cs.CV
RoGe: Novel View Synthesis via End-to-End Implicit Reconstruction and Generation
Xiaomi EV(小米汽车);Northeastern University(东北大学)
本文提出RoGe框架,通过端到端统一的隐式重建与生成实现新视角合成,在DL3DV数据集上,其性能优于各类基线,且联合训练及射线查询隐式特征均能提升效果。
2026-10-27 cs.CV
ImmersePro: End-to-End Stereo Video Synthesis Via Implicit Disparity Learning
KAUST(阿卜杜拉国王科技大学)
ImmersePro 提出基于隐式视差引导和时空注意力的双分支端到端框架,将单视角视频合成为立体视频,并构建 YouTube-SBS 大规模数据集,在 L1、SSIM、PSNR 上显著超越现有方法。
2024-09-30 cs.CV
Neural Light Spheres for Implicit Image Stitching and View Synthesis
Princeton University(普林斯顿大学);Google Inc.(谷歌公司)
本文提出球面神经光场模型,实现隐式全景拼接与视图合成,联合估计相机路径并重建高分辨率场景,支持实时渲染,优于传统方法。
2025-03-26 cs.CV
Implicit Neural Representations for Generative Modeling of Living Cell Shapes
Masaryk University(马萨里克大学);University of Twente(特文特大学)
允许合成真实细胞形状的方法可以帮助生成训练数据集,以改善生物医学图像中的细胞跟踪和分割。用于细胞形状合成的深度生成模型需要细胞形状的轻量级和灵活的表示。然而,常用的基于体素的表示不适合高分辨率的形状合成,多边形网格在建模拓扑结构变化(如细胞生长或有丝分裂)时具有局限性。在这项工作中,我们建议使用水平集的符号距离函数(SDF)来表示细胞的形状。我们将神经网络优化为3D+时域中任意点处SDF值的隐式神经表示。该模型的条件是一个潜在的代码,从而允许新的和看不见的形状序列的合成。我们在C语言上定量和定性地验证了我们的方法。生长和分裂的线虫细胞,以及具有生长的复杂丝状伪足突起的肺癌细胞。我们的研究结果表明,合成细胞的形状描述符类似于真实细胞的形状描述符,并且我们的模型能够在3D+时间内生成拓扑上合理的复杂细胞形状序列。
2022-10-06 cs.CV cs.LG
A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View Synthesis and Implicit Scene Reconstruction
Fudan University(复旦大学);Tencent PCG(腾讯平台与内容事业群)
神经辐射场(NeRF)在单目标场景重建和新视图合成方面取得了令人瞩目的成果,并在DTU、BMVS和NeRF Synthetic等单模态单目标室内场景数据集上得到了验证,但NeRF在大规模室外场景重建方面的研究还很有限。因为由于昂贵的数据采集和校准成本,没有用于大规模NeRF评估的统一室外场景数据集。在本文中,我们提出了一个大规模的户外多模态数据集,OMMO数据集,包含复杂的土地对象和场景校准的图像,点云和提示注释。同时,建立了一个新的基准的几个户外NeRF为基础的任务,如新的视图合成,表面重建,和多模态NeRF。为了创建数据集,我们捕获并收集了大量真实的飞行视图视频,并从中选择高质量和高分辨率的片段。然后,我们设计了一个质量审查模块,通过一个基于学习的自动评估和人工审查,以改善图像,删除低质量的帧和未能校准的场景。最后,一些志愿者被雇用来为每个场景和关键帧添加文本描述,以满足未来潜在的多模态需求。与现有的NeRF数据集相比,我们的数据集包含了丰富的真实世界的城市和自然场景,具有各种尺度,相机轨迹和照明条件。实验表明,我们的数据集可以在不同的任务上对大多数最先进的NeRF方法进行基准测试。我们将很快发布数据集和模型权重。
2023-01-17 cs.CV
DART: Implicit Doppler Tomography for Radar Novel View Synthesis
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究中心)
针对真实雷达扫描仿真需显式建模场景、材料特性等的难题,提出受神经辐射场启发的DART方法,结合雷达物理构建距离-多普勒图像渲染管线,在新视角合成等任务上优于现有基线。
2024-03-06 cs.CV cs.LG
OpenFS: Multi-Hand-Capable Fingerspelling Recognition with Implicit Signing-Hand Detection and Frame-Wise Letter-Conditioned Synthesis
KAIST(韩国科学技术院);KETI(韩国电子技术研究院)
本文提出OpenFS,通过隐式手部检测和帧级字母条件合成解决指字母识别中的手部歧义、训练损失不足和词汇外问题,实现单手和多手输入的高精度识别与合成。
2026-03-27 cs.CV
Dynamic View Synthesis from Dynamic Monocular Video
Virginia Tech(弗吉尼亚理工大学);Facebook(脸书)
我们提出了一种算法,用于在任意视点和任意输入时间步长下生成动态场景的单目视频的新视图。我们的工作建立在神经隐式表示的最新进展,并使用连续和可微函数建模的时变结构和场景的外观。我们联合训练时不变的静态NeRF和时变的动态NeRF,并学习如何以无监督的方式混合结果。然而,从单个视频中学习这个隐式函数是高度不适定的(有无限多个与输入视频匹配的解)。为了解决模糊性,我们引入正则化损失,以鼓励一个更物理上合理的解决方案。我们展示了大量的定量和定性结果的动态视图合成随便捕捉的视频。
2021-05-13 cs.CV
Decoupling Multi-Contrast Super-Resolution: Self-Supervised Implicit Re-Representation for Unpaired Cross-Modal Synthesis
Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院);King’s College London(伦敦国王学院)
本文提出了解耦多对比超分辨率框架,通过自监督隐式重表示实现无配对跨模态合成,提升极端尺度下的超分辨率性能。
2026-10-01 cs.CV
SurfGen: Adversarial 3D Shape Synthesis with Explicit Surface Discriminators
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
深度生成模型的最新进展导致了3D形状合成的巨大进步。虽然现有的模型能够合成表示为体素,点云,或隐式函数的形状,这些方法只能间接地执行最终的三维形状表面的可扩展性。在这里,我们提出了一个3D形状合成框架(SurfGen),它直接将对抗训练应用于对象表面。我们的方法使用可微球面投影层来捕获和表示隐式3D生成器的显式零等值面作为单位球面上定义的函数。通过在对抗设置中使用球形CNN处理3D对象表面的球形表示,我们的生成器可以更好地学习自然形状表面的统计数据。我们在大规模形状数据集上评估了我们的模型,并证明了端到端训练模型能够生成具有不同拓扑结构的高保真3D形状。
2022-01-01 cs.CV
Synthetic Brain Images: Bridging the Gap in Brain Mapping With Generative Adversarial Model
University of Westminster(威斯敏斯特大学);University of Bedfordshire(贝德福德大学)
本研究利用脑部MRI数据集训练DCGAN生成高保真脑MRI切片,经对抗训练后模型可有效生成逼真图像,能用于数据增强、MRI数据清理等,丰富了医学图像合成相关研究。
2024-04-11 cs.CV eess.IV q-bio.NC
Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
重建一般动态场景对于许多计算机视觉和图形学应用是重要的。最近的工作表示动态场景与神经辐射场的真实感视图合成,而他们的表面几何是欠约束和噪声。其他作品引入表面约束的隐式神经表示解开静态场景重建的几何和外观场的模糊性。为了弥合渲染动态场景和恢复静态表面几何形状之间的差距,我们提出了一种无模板的方法来重建表面几何形状和外观,使用神经隐式表示从多视图视频。我们利用拓扑感知的变形和有符号的距离场,学习复杂的动态表面通过可微体渲染没有场景特定的先验知识,如模板模型。此外,我们提出了一种新的基于掩模的光线选择策略,以显着提高具有挑战性的时变区域的优化。在不同的多视点视频数据集上的实验表明,该方法实现了高逼真度的表面重建以及照片级真实感的新视图合成。
2023-02-28 cs.CV
InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis
Zhejiang University(浙江大学);Shenzhen University(深圳大学)
InfiniSplat是一种前馈单图像3DGS框架,通过几何引导采样和查询条件隐式解码器实现表面对齐表示,在跨数据集NVS任务中达SOTA,且具零样本泛化能力。
2026-08-05 cs.CV
View Synthesis with Sculpted Neural Points
Princeton University(普林斯顿大学)
我们解决的任务,视图合成,生成一组图像作为输入的一个场景的新的意见。在许多最近的著作中,例如NeRF(Mildenhall等人,2020),使用神经隐式表示(即,MLP)。内隐神经表征已经取得了令人印象深刻的视觉质量,但在计算效率方面存在缺陷。在这项工作中,我们提出了一种新的方法,使用点云进行视图合成。它是第一个基于点的方法,比NeRF实现更好的视觉质量,同时渲染速度快100倍。我们的方法建立在现有的可区分的基于点的渲染工作,但引入了一种新的技术,我们称之为“雕刻神经点(SNP)”,这显着提高了重建点云的错误和漏洞的鲁棒性。我们进一步建议使用基于球谐函数的视点相关点特征来捕获非朗伯曲面,并在基于点的渲染管道中进行新的设计,以进一步提高性能。最后,我们表明,我们的系统支持细粒度的场景编辑。代码可在https://github.com/princeton-vl/SNP上获得。
2023-03-07 cs.CV
CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading
HSE University(俄罗斯莫斯科高等经济大学);Yandex Research(Yandex研究)
CasTex通过级联扩散模型实现文本到纹理合成,采用显式纹理参数化提升生成质量,优于现有优化方法。
2026-01-13 cs.CV
DesignAsCode: Bridging Structural Editability and Visual Fidelity in Graphic Design Generation
School of Software and Microelectronics, Peking University, Beijing, China(软件与微电子学院,北京大学,北京,中国);Microsoft(微软公司);ShanghaiTech University, Shanghai, China(上海交通大学,上海,中国)
DesignAsCode 通过 HTML/CSS 程序化合成方法,实现了图形设计生成中结构可编辑性与视觉保真度的平衡,提升了设计质量和生成能力。
2026-09-01 cs.AI cs.CV cs.GR
Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
我们介绍了DMTet,一个深度3D条件生成模型,可以使用简单的用户指南(如粗体素)合成高分辨率的3D形状。它结合了隐式和显式3D表示的优点,利用一种新的混合3D表示。与目前的隐式方法相比,这些方法经过训练以回归符号距离值,DMTet直接优化重建的表面,这使我们能够合成更精细的几何细节,具有更少的伪影。与直接生成网格等显式表示的深度3D生成模型不同,我们的模型可以合成具有任意拓扑结构的形状。DMTet的核心包括一个可变形的四面体网格,它编码一个离散的符号距离函数和一个可微的行进四面体层,它将隐式符号距离表示转换为显式表面网格表示。这种组合允许联合优化的表面几何形状和拓扑结构,以及使用重建和对抗损失明确定义的表面网格的细分层次的生成。我们的方法显着优于现有的工作条件形状合成从粗体素输入,训练的数据集上的复杂的3D动物形状。项目页面:https://nv-tlabs.github.io/DMTet/。
2021-11-08 cs.CV cs.LG
EruDiff: Refactoring Knowledge in Diffusion Models for Advanced Text-to-Image Synthesis
Beihang University(北航大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出EruDiff,通过Diffusion Knowledge Distribution Matching和Negative-Only Reinforcement Learning提升扩散模型处理隐式提示的能力,增强科学和世界知识生成性能。
2026-03-21 cs.CV
Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models
Graduate School of AI, KAIST(人工智能研究生院,韩国科学技术院)
本文提出Latent Imagination Module,通过预测文本输入的潜在嵌入来提升纯文本环境下视觉语言模型的准确性和校准性能。
2026-04-03 cs.AI cs.CL cs.CV