Locally Attentional SDF Diffusion for Controllable 3D Shape Generation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);International Digital Economy Academy(国际数字经济研究院)
提出局部注意力SDF扩散框架,通过两阶段扩散模型和视图感知局部注意力机制,实现基于草图的可控三维形状生成,提升局部可控性和泛化性。
2023-05-09 cs.CV cs.GR
3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis
Jilin University(吉林大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE(教育部知识驱动人机智能工程研究中心)
提出3D-SSGAN框架,通过深度引导的2D到3D提升模块和3D感知语义掩码渲染器,实现细粒度部件级控制且保持3D视角一致性的组合肖像合成。
2024-01-08 cs.CV cs.GR
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
微分渲染为训练神经网络执行“逆图形”任务铺平了道路,例如从单目照片预测3D几何形状。为了训练高性能的模型,大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下,最近合成图像的生成对抗网络(GANs)似乎在训练过程中隐式地获得了3D知识:可以通过简单地操纵潜在代码来操纵对象视点。然而,这些潜在代码通常缺乏进一步的物理解释,因此GANs不能轻易地被反转以执行显式3D推理。在本文中,我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器,使用现成的可微分渲染器训练逆图形网络,并将训练的逆图形网络作为教师,将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明,我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”,补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
RGBX-Next: Towards Realistic Generative Rendering from G-Buffers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);NVIDIA(英伟达公司);University of California, San Diego(加利福尼亚大学圣迭戈分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出RGBX-Next框架,将扩散Transformer(DiT)微调为正向与反向渲染器,可从图像等估算G-buffers或从G-buffers渲染真实感内容,在相关任务中表现优异,将公开模型并推动领域研究。
2026-08-17 cs.CV cs.GR
Stylized Neural Painting
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Beihang University(北京航空航天大学)
本文提出了一种图像到绘画的翻译方法,生成生动逼真的绘画艺术作品,风格可控。不同于以往的图像到图像的翻译方法,制定的翻译像素的预测,我们处理这样一个艺术创作过程中的矢量化环境,并产生一个序列的物理意义的笔画参数,可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的,我们设计了一种新的神经渲染器,它模仿矢量渲染器的行为,然后帧的笔画预测作为一个参数搜索过程,最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索,并提出解决这个问题的最佳运输的角度来看。我们还表明,以前的神经渲染器有一个参数耦合问题,我们重新设计了渲染网络与光栅化网络和着色网络,更好地处理形状和颜色的解纠缠。实验表明,我们的方法生成的绘画具有较高的保真度,在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化,进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Dream-Cubed: Controllable Generative Modeling in Minecraft by Training on Billions of Cubes
New York University(纽约大学);Sakana AI
本文提出Dream-Cubed数据集及基于立方体的生成模型,用于高效生成交互式3D环境,通过分析扩散模型的不同形式和架构,评估生成质量并释放预训练模型以推动未来研究。
2026-04-22 cs.CV
PrITTI: Primitive-based Generation of Controllable and Editable 3D Semantic Urban Scenes
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Zhejiang University(浙江大学);Noah’s Ark Lab, Huawei(华为诺亚实验室);KE:SAI - Kyutai ELLIS Scalable Autonomous Intelligence(KE:SAI - 韩国ELLIS可扩展自主智能)
提出PrITTI,一种利用矢量化对象基元和栅格化地面表面的混合表示,通过潜在扩散模型实现高质量、可控且可编辑的3D语义城市场景生成。
2026-05-24 cs.CV
GIRAFFE HD: A High-Resolution 3D-aware Generative Model
UC Davis(加州大学戴维斯分校);UW–Madison(威斯康星大学麦迪逊分校);Adobe Research(奥多比研究院)
3D感知生成模型已经表明,3D信息的引入可以导致更可控的图像生成。特别地,当前最先进的模型GIRAFFE可以控制每个对象的旋转、平移、缩放和场景相机姿态,而无需相应的监督。然而,GIRAFFE仅在图像分辨率较低时工作良好。我们提出了GIRAFFE HD,一个高分辨率的3D感知生成模型,继承了所有GIRAFFE的可控功能,同时生成高质量,高分辨率的图像($512^2$分辨率及以上)。其关键思想是利用基于风格的神经渲染器,并独立生成前景和背景,以迫使它们解开纠缠,同时施加一致性约束,将它们缝合在一起,以合成连贯的最终图像。我们展示了多个自然图像数据集上最先进的3D可控高分辨率图像生成。
2022-03-28 cs.AI cs.CV cs.LG
PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering
Peking University(北京大学);Advanced Institute of Information Technology, Peking University(北京大学信息技术高等研究院);Tencent America(腾讯美国)
通过控制现有面部的运动来生成肖像图像是对社交媒体行业具有重要意义的重要任务。为了便于使用和直观的控制,应该使用语义上有意义的和完全分离的参数作为修改。然而,许多现有技术不提供这样的细粒度控制或使用间接编辑方法,即模仿其他个体的运动。本文提出了一种人像图像神经渲染器(PIRenderer),利用三维可变形人脸模型(3DMMs)的参数来控制人脸的运动。该模型可以根据直观的修改生成具有精确运动的照片级逼真的人像图像。在直接和间接编辑任务上的实验证明了该模型的优越性。同时,我们进一步扩展了这个模型,通过从音频输入中提取序列运动来解决音频驱动的面部重现任务。我们表明,我们的模型可以生成连贯的视频,令人信服的运动,只有一个参考图像和驱动音频流。我们的源代码可以在https://github.com/RenYurui/PIRender上找到。
2021-09-17 cs.AI cs.CV
CrackSegFlow: Controllable Flow Matching Synthesis for Generalizable Crack Segmentation with a 50K Image-Mask Benchmark
Department of Civil and Environmental Engineering, Grainger College of Engineering, University of Illinois Urbana--Champaign(土木与环境工程系,格拉inger工程学院,伊利诺伊大学厄巴纳-香槟分校);Department of Computer Science, Grainger College of Engineering, University of Illinois Urbana--Champaign(计算机科学系,格拉inger工程学院,伊利诺伊大学厄巴纳-香槟分校)
CrackSegFlow通过可控流匹配合成方法,利用50K图像-掩码基准提升裂纹分割的泛化能力和性能指标。
2026-01-11 cs.CV
LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Bosch Research(博世研究)
研究视频重光照问题,提出LightCrafter混合管道,将其重表述为代理视频转换,利用PBR渲染并结合光度先验,在真实世界重光照基准上优于现有技术,还贡献合成基准及相关资源。
2026-10-08 cs.CV cs.GR
GaussiGAN: Controllable Image Synthesis with 3D Gaussians from Unposed Silhouettes
University of Bath(巴斯大学);Cornell University(康奈尔大学);Adobe(奥多比公司);UNIST(蔚山科学技术院);Brown University(布朗大学)
我们提出了一种算法,学习一个粗略的3D表示的对象从unposed多视图2D掩模监督,然后使用它来生成详细的掩模和图像纹理。与现有的基于体素的无姿态对象重建方法相比,我们的方法通过透视相机和一组逐图像变换来学习用一组自监督规范3D各向异性高斯来表示生成的形状和姿态。我们表明,这种方法可以鲁棒地估计相机和物体的3D空间,而最近的基线有时很难在这种情况下重建连贯的3D空间。我们显示结果的合成数据集与现实的照明,并演示对象插入与交互式构成。通过我们的工作,我们帮助迈向结构化表示,在基于学习的对象重建中处理更多的现实变化。
2021-06-24 cs.CV
Controllable Talking Face Generation by Implicit Facial Keypoints Editing
NetEase Media Technology (Beijing) Co., Ltd.(网易传媒科技(北京)有限公司)
提出ControlTalk,一种基于隐式关键点编辑的音频驱动说话人脸生成方法,统一处理图像和视频输入,实现精确唇同步和嘴形控制,在HDTF和MEAD基准上优于现有方法。
2024-11-07 cs.AI cs.CV
InterDyn: Controllable Interactive Dynamics with Video Diffusion Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学)
提出InterDyn框架,利用视频扩散模型作为隐式物理模拟器,通过初始帧和驱动实体运动控制信号生成连续且时间一致的复杂物体交互动力学视频,优于静态基线方法。
2025-04-04 cs.CV
Differentiable Voxel-based X-ray Rendering Improves Sparse-View 3D CBCT Reconstruction
Brigham and Women’s Hospital(布里格姆妇女医院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究提出自监督框架DiffVox,通过基于物理的可微X射线渲染优化体素网格,结合正则化体素学习与精确离散Beer-Lambert定律,在稀疏视角下实现优于传统迭代算法和神经场方法的CBCT重建,可减少辐射并提升诊断价值。
2024-12-02 cs.CV eess.IV physics.med-ph
Controllable Lung Nodule Synthesis via Histogram-Regularized Latent Diffusion Models
Johns Hopkins University(约翰霍普金斯大学);Department of Radiology and Nuclear Medicine, University Medical Center Mannheim, Heidelberg University(放射学与核医学科,曼海姆大学医学中心,海德堡大学)
提出一种直方图正则化潜扩散模型,通过结合亚型、空间掩码和HU直方图条件以及可微特征空间直方图正则化项,在3D CT体积中合成肺结节,以准确建模结节特异性强度分布,提高视觉真实感和亚型一致性。
2026-05-28 cs.AI cs.CV cs.LG
Control-DINO: Feature Space Conditioning for Controllable Image-to-Video Diffusion
Huawei Technologies, Switzerland(华为技术(瑞士));Huawei Technologies, Austria(华为技术(奥地利));Graz University of Technology, Austria(格拉茨技术大学)
本文提出Control-DINO,通过解耦外观与其他特征,实现对视频扩散模型的可控生成,提升生成渲染的可控性。
2026-07-03 cs.CV
DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement
Simon Fraser University(西蒙菲莎大学);Adobe Research(奥多比研究院);University of Montreal(蒙特利尔大学);Amazon(亚马逊公司)
本文提出DECOLLAGE,通过掩码感知Pyramid GAN与结构损失实现用户可控、局部化的3D几何细节化,可保留粗结构并生成更连贯的高分辨率风格细节。
2024-09-10 cs.CV cs.GR cs.LG
Lifting 2D StyleGAN for 3D-Aware Face Generation
Michigan State University(密歇根州立大学)
我们提出了一个名为LiftedGAN的框架,它可以解开并提升一个预先训练好的StyleGAN 2,用于3D感知人脸生成。我们的模型是“3D感知”的,因为它能够(1)将StyleGAN 2的潜在空间分解为纹理,形状,视点,照明和(2)生成用于渲染合成图像的3D组件。与大多数以前的方法不同,我们的方法是完全自监督的,即它既不需要任何手动注释也不需要3DMM模型进行训练。相反,它通过使用可区分的渲染器提取StyleGAN2中的先验知识来学习生成图像及其3D组件。该模型能够输出3D形状和纹理,允许对生成的图像进行明确的姿势和照明控制。定性和定量的结果表明,我们的方法优于现有的方法在3D可控的GANs的内容可控性,同时产生逼真的高质量的图像。
2021-04-18 cs.CV
MoVerse: Real-Time Video World Modeling with Panoramic Gaussian Scaffold
South China University of Technology;Columbia University;Orange Team, Youku Moku-Lab, HUJING Digital Media \& Entertainment Group;Singapore Management University
提出MoVerse,从单张窄视场图像实时构建可交互漫游的360度全景世界,通过拓扑感知扩散补全视场、全景几何残差预测生成3D高斯支架,并结合双向扩散教师蒸馏为因果自回归学生实现低延迟视频渲染。
2026-06-18 cs.CV
Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
在这项工作中,我们解决的问题,共同估计的亮度,法线,深度和3D空间变化的照明从一个单一的图像。大多数现有的方法将任务制定为图像到图像的翻译,忽略了场景的3D属性。然而,室内场景包含复杂的3D光传输,其中2D表示是不够的。在本文中,我们提出了一个统一的,基于学习的逆渲染框架,制定三维空间变化的照明。受经典的体渲染技术的启发,我们提出了一种新的体球高斯表示的照明,参数化的三维场景表面上的体素网格的出射辐射。我们设计了一个基于物理的微分渲染器,利用我们的3D照明表示,并制定了节能的图像形成过程,使联合训练的所有内在属性与重新渲染约束。我们的模型确保了物理上正确的预测,并避免了对不易获得的地面真实HDR照明的需求。实验表明,我们的方法优于以前的作品定量和定性,并能够产生逼真的结果,如虚拟对象插入,即使是高度镜面反射的对象的AR应用。
2021-10-20 cs.CV
2D GANs Meet Unsupervised Single-view 3D Reconstruction
Michigan State University(密歇根州立大学)
最近的研究表明,基于预训练的GANs的可控图像生成可以使广泛的计算机视觉任务受益。然而,很少有人关注3D视觉任务。有鉴于此,我们提出了一种新的图像条件神经隐场,它可以利用GAN生成的多视图图像的2D监督,并执行通用对象的单视图重建。首先,提出了一种新的基于StyleGAN的离线生成器,用于生成可信的伪图像,并完全控制视点。然后,我们建议利用神经隐式函数以及可微分渲染器来从具有对象掩码和粗略姿态初始化的伪图像中学习3D几何形状。为了进一步检测不可靠的监督,我们引入了一种新的不确定性模块来预测不确定性地图,这弥补了伪图像中不确定区域的负面影响,从而获得更好的重建性能。我们的方法的有效性证明了通过优越的单视图3D重建结果的通用对象。
2022-07-20 cs.CV
PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images
Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种从模糊图像中有效重建高质量辐射场的新方法--渐进去模糊辐射场(PDRF)。虽然当前最先进的(SoTA)场景重建方法从干净的源视图实现照片真实感渲染结果,但是当源视图受到模糊影响时,它们的性能受到影响,这通常在野外的图像中观察到。以前的去模糊方法要么不考虑3D几何形状,要么计算密集。为了解决这些问题,PDRF,辐射场建模中的渐进去模糊方案,通过结合3D场景上下文来精确地建模模糊。PDRF还使用高效的重要性采样方案,这导致快速场景优化。具体来说,PDRF提出了一个粗略的光线渲染器,以快速估计体素密度和功能,然后使用精细体素渲染器来实现高质量的光线追踪。我们进行了大量的实验,并表明PDRF比以前的SoTA快15倍,同时在合成和真实场景中实现了更好的性能。
2022-08-17 cs.CV
Chirpy3D: Part-Aware Multi-View Diffusion for Creative Fine-Grained Object Generation
University of Surrey(萨里大学);University of Cambridge(剑桥大学);Universiti Malaya(马来亚大学);Imperial College London(伦敦帝国学院)
提出Chirpy3D,一种部件感知多视角扩散框架,从无姿态2D图像中学习层次化部件潜在空间,实现部件级交换、插值和零样本组合,无需3D数据或手动标注。
2026-05-27 cs.CV cs.GR
CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets
ShanghaiTech University(上海科技大学);Deemos Technology Co., Ltd.(递摩思科技有限公司);Huazhong University of Science and Technology(华中科技大学)
针对现有3D创作工具门槛高的问题,提出可控大规模生成模型CLAY,结合多分辨率VAE与潜在DiT,支持多类输入控制,可生成带2K PBR纹理的高质量3D资产,降低创作门槛。
2024-05-30 cs.CV
InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models
NVIDIA(英伟达);Shanghai Jiao Tong University(上海交通大学);University of Toronto(多伦多大学);Vector Institute(矢量研究所);University of Southern California(南加州大学)
InfiniCube提出一种可扩展方法,结合3D表示与视频模型,通过HD maps等条件生成高保真、无界且可控的动态3D驾驶场景。
2025-06-26 cs.AI cs.CV cs.GR
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University(浙江大学)
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展,但大多数现有方法都集中在以对象为中心的图像上,并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务,我们提出了UrbanGIRAFFE,它使用一个粗略的3D全景先验,包括不可数的东西和可数的对象的布局分布,以指导3D感知生成模型。我们的模型是合成和可控的,因为它将场景分解为物质,物体和天空。利用语义体素网格形式的填充先验,我们构建了一个条件填充生成器,有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数,我们的方法有利于逼真的三维感知图像合成与不同的可控性,包括大的相机运动,编辑的东西,和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性,包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
提出TRON框架,结合3D高斯光线追踪与神经渲染,实现真实世界3D场景在新光照、动态物体运动、物体插入和材质编辑下的逼真可控渲染,通过内在分解先验和光线追踪辐射引导,弥合物理渲染与神经渲染的差距。
2026-06-11 cs.CV cs.GR
IntrinsicWeather: Controllable Weather Editing in Intrinsic Space
Nanjing University(南京大学);Nankai University(南开大学);NVIDIA(英伟达)
本文提出IntrinsicWeather框架,通过内在空间编辑实现可控天气生成,利用内在映射提升大场景控制能力,并在合成与真实数据集上验证其优越性。
2026-04-10 cs.AI cs.CV
Dior: Drawing the Light of Image via Material-Decoupled Illumination Representation
Tianjin University(天津大学);KlingAI Research(KlingAI研究院);Deva Research(Deva研究院)
针对现有图像重光照方法无法在手绘涂鸦输入与结果间建立有效映射的问题,提出材料解耦光照表示Lumi Map,构建Dior-Light方法,提升了重光照精度与光照控制能力。
2026-10-23 cs.CV
3DIS: Depth-Driven Decoupled Instance Synthesis for Text-to-Image Generation
CCAI, Zhejiang University(中国浙江大学计算机辅助智能学院)
3DIS提出了一种基于深度的解耦实例合成方法,通过分阶段生成场景深度图和渲染细粒度属性,提升文本到图像生成中多实例的布局精度和属性渲染效果。
2025-12-02 cs.CV
AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
Alaya Lab(阿拉亚实验室);Beijing Institute of Technology(北京理工大学);The University of Tokyo(东京大学)
AlayaVista提出解耦全景演化与透视合成的流式世界模型,利用全景先验和潜在渲染实现相机可控视频生成,并构建MUGEN数据集支撑训练。
2026-09-15 cs.CV
Light Up Your Face: A Physically Consistent Dataset and Diffusion Model for Face Fill-Light Enhancement
Shanghai Jiao Tong University(上海交通大学)
本研究提出LightYourFace-160K数据集和FiLitDiff模型,通过物理一致的渲染器和扩散模型实现高质量的人脸填充光增强,提升光照处理的可控性和保真度。
2026-02-04 cs.CV
PIXLRelight: Controllable Relighting via Intrinsic Conditioning
Department of Computer Science(计算机科学系);University of Oxford(牛津大学)
PIXLRelight通过内在条件将物理基础渲染与学习图像合成相结合,实现对单图像重照明的可控性,其核心方法是利用真实照片或PBR渲染得到的内在条件进行训练和推理,从而在保证图像细节的同时实现高质量的重照明效果。
2026-05-18 cs.CV cs.GR cs.LG
RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis
NVIDIA(英伟达);University of Maryland College Park(马里兰大学帕克分校)
我们提出了一个大规模的合成数据集的新的视图合成包括约300 k的图像渲染从近2000个复杂的场景,使用高品质的光线追踪在高分辨率(1600 × 1600像素)。该数据集比现有的合成数据集大几个数量级,从而为训练和评估提供了一个大的统一基准。使用4个不同的高质量3D网格源,我们数据集的场景在相机视图、照明、形状、材料和纹理方面表现出具有挑战性的变化。由于我们的数据集太大,现有的方法处理,我们提出了稀疏体素光场(SVLF),一个有效的基于体素的光场方法,用于新的视图合成,实现了类似的性能NeRF的合成数据,同时是一个数量级快训练和两个数量级快渲染。SVLF通过依赖于稀疏体素八叉树、仔细的体素采样(每条射线只需要少量查询)和简化的网络结构以及训练时的地面真实深度图来实现这种速度。我们的数据集是由NViSII生成的,NViSII是一个基于Python的光线追踪渲染器,它被设计为非专家使用和共享简单,通过使用脚本灵活而强大,并且能够创建高质量和基于物理的渲染图像。使用我们数据集的一个子集进行的实验使我们能够比较标准方法,如NeRF和mip-NeRF用于单场景建模,以及pixelNeRF用于类别级建模,指出未来需要在这一领域进行改进。
2022-10-25 cs.CV
Voxify3D: Pixel Art Meets Volumetric Rendering
National Yang Ming Chiao Tung University(阳明交通大学)
本文提出Voxify3D框架,通过结合3D网格优化与2D像素艺术监督,解决体素艺术中语义保留、像素美学和离散优化的挑战,实验显示其在多样角色和可控抽象上的优越性能。
2026-04-26 cs.CV
3DIS-FLUX: simple and efficient multi-instance generation with DiT rendering
Zhejiang University(浙江大学);Harvard University(哈佛大学)
本文提出 3DIS-FLUX,将 FLUX.1-Depth-dev 与基于布局的 Joint Attention Mask 渲染器结合,以无需训练渲染提升多实例生成的性能与图像质量。
2025-01-09 cs.CV
Marionette: Predicting World States, Rendering Geometry, Painting Appearance
Alaya Lab(Alaya实验室);Shanghai Innovation Institute(上海创新研究院);Huazhong University of Science and Technology(华中科技大学)
Marionette是面向带关节角色的交互式游戏的世界模型,通过显式建模3D世界状态、委托几何计算、合成外观,实现了可控的长时序行为,且外观生成无明显保真度损失。
2026-08-17 cs.AI cs.CV
FactorSplat: Appearance-Controllable Gaussian Proxies for Medical Volume Rendering
United Imaging Intelligence(联影智能)
FactorSplat提出外观可控的高斯代理,支持推理时传递函数编辑,在CT/MR体绘制中PSNR提升1.10-1.52 dB,无需重训。
2026-10-05 cs.CV
ExCellGen: Fast, Controllable, Photorealistic 3D Scene Generation from a Single Real-World Exemplar
本文提出ExCellGen框架,通过3DGS重建输入场景并训练GCA生成稀疏体素体积,实现快速可控的3D场景生成,生成速度达0.5-2秒,支持交互式创作。
2026-03-13 cs.CV cs.GR
HPR3D: Hierarchical Proxy Representation for High-Fidelity 3D Reconstruction and Controllable Editing
提出一种基于稀疏树状代理节点的3D层次化表示方法,通过局部神经插值实现高保真重建与直接拖拽编辑,兼顾紧凑性与可扩展性。
2025-07-16 cs.CV cs.GR
DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering
Advanced Micro Devices, Inc.(超威半导体公司)
提出DAGS,通过解耦外观与几何的轻量条件引导冻结DiT,实现高保真、可控且时间稳定的生成式渲染,相比现有方法显著提升PSNR和时序稳定性。
2026-10-05 cs.AI cs.CV cs.GR
3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes
Chair for Machine Learning University of Mannheim(机器学习主任办公室曼海姆大学);Autodesk AI Lab(Autodesk人工智能实验室);MPI for Informatics Saarland Informatics Campus(信息学研究所萨尔兰州信息学校区)
3D-WAG通过分层小波引导自回归生成技术,实现高效且高质量的3D形状生成,优于现有方法。
2026-01-09 cs.CV
Plenoptic PNG: Real-Time Neural Radiance Fields in 150 KB
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Inc.(亚马逊公司)
本文提出PPNG,一种将全光函数编码至正弦函数索引密集体积的新型3D表示,结合空间分解技术将模型压缩至150 KB,并通过仅300行代码的轻量级GL管线实现跨平台实时渲染。
2024-09-24 cs.CV
InstantAvatar: Efficient 3D Head Reconstruction via Surface Rendering
Crisalix Labs(克里萨利克斯实验室);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息研究所)
本文提出 InstantAvatar,通过体素网格神经场、表面渲染及3D头部SDF先验模型,将单图或少图全头重建缩短至数秒,并在精度可比SOTA时实现100倍加速。
2024-04-05 cs.CV
Anisotropic Convolutional Networks for 3D Semantic Scene Completion
Nanjing University of Science and Technology(南京理工大学);University of Oxford(牛津大学);University of Wollongong(伍伦贡大学);The University of Adelaide(阿德莱德大学)
语义场景补全(SSC)是一种基于体素的标记任务,它试图从单个深度和/或RGB图像中同时推断场景的占用和语义标签。SSC面临的主要挑战是如何有效地利用3D上下文来建模各种形状,布局和可见性严重变化的物体或东西。为了处理这种变化,我们提出了一种称为各向异性卷积的新模块,其灵活性和功能对于标准3D卷积及其一些变体等竞争方法来说是不可能的。与仅限于固定3D感受野的标准3D卷积相比,我们的模块能够对维度各向异性体素进行建模。基本思想是通过将3D卷积分解为三个连续的1D卷积来实现各向异性3D感受野,并且每个这样的1D卷积的核大小在运行中自适应地确定。通过堆叠多个这样的各向异性卷积模块,可以进一步增强逐体素建模能力,同时保持可控量的模型参数。在NYU-Depth-v2和NYUCAD两个SSC基准测试上进行的广泛实验表明,所提出的方法具有优越的性能。我们的代码可在https://waterljwant.github.io/SSC/上获得
2020-04-05 cs.CV
Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes
Beihang University(北京航空航天大学);University of Bath(巴斯大学);Zhongguanchun Laboratory(中关村实验室)
本研究提出Neural 3D Strokes技术,通过可微渲染器和梯度下降优化3D矢量笔触参数,从多视角2D图像生成视角一致的风格化3D场景,还可结合风格损失等拓展应用。
2024-03-12 cs.CV cs.GR
Shadow Art Revisited: A Differentiable Rendering Based Approach
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
虽然最近的基于学习的方法已被观察到优于几个视觉相关的应用程序,他们在产生艺术效果的潜力还没有被探索太多。其中一个有趣的应用是阴影艺术-一种独特的雕塑艺术形式,由3D雕塑投射的2D阴影产生艺术效果。在这项工作中,我们重新阴影艺术使用微分渲染为基础的优化框架,以获得一组阴影(二进制)图像和相应的投影信息的3D雕塑。具体来说,我们讨论形状优化,通过体素以及网格为基础的可微渲染。我们选择使用可微分渲染来生成阴影艺术雕塑,这可以归因于它能够仅从图像数据中学习底层3D几何形状,从而减少对3D地面真实的依赖。定性和定量的结果表明,所提出的框架在生成复杂的3D雕塑,超越那些在当代艺术作品中看到的只是一组阴影图像作为输入的潜力。此外,我们展示了生成的3D雕塑投下阴影的脸,动画电影人物,并适用于框架的基础形状的草图为基础的3D重建。
2021-07-30 cs.CV
ERF: Explicit Radiance Field Reconstruction From Scratch
Meta;Reality Labs(现实实验室)
我们提出了一种新的显式密集三维重建方法,处理一组图像的场景与传感器的姿势和校准,并估计一个照片真实的数字模型。关键创新之一是,与基于神经网络的(隐式)替代方案相比,底层体积表示是完全显式的。我们编码场景明确使用清晰和可理解的映射优化变量场景的几何形状和它们的传出表面辐射。我们表示它们使用分层体积字段存储在一个稀疏体素八叉树。仅从已注册的场景图像中鲁棒地重建具有数百万未知变量的这样的体积场景模型是高度非凸的和复杂的优化问题。为此,我们采用随机梯度下降(亚当),这是由一个逆微分渲染器。我们证明了我们的方法可以重建高质量的模型,可以与最先进的隐式方法相媲美。重要的是,我们不使用顺序重建流水线,其中各个步骤受到来自先前阶段的不完整或不可靠信息的影响,而是从具有场景几何形状和辐射的统一初始解开始我们的优化,这些初始解与地面实况相差甚远。结果表明,该方法具有通用性和实用性.它不需要高度控制的实验室设置来捕获,但允许用各种各样的物体重建场景,包括具有挑战性的物体,如户外植物或毛茸茸的玩具。最后,我们重建的场景模型是通用的,由于他们明确的设计。它们可以交互式地编辑,这对于隐式替代方案来说在计算上太昂贵了。
2022-02-28 cs.CV cs.GR
Pix2Shape: Towards Unsupervised Learning of 3D Scenes from Images using a View-based Representation
Université de Montreal(蒙特利尔大学);Element AI;Algolux;McGill University(麦吉尔大学)
我们推断和生成三维(3D)场景信息,从一个单一的输入图像,没有监督。这个问题还没有得到充分的探讨,大多数先前的工作都依赖于监督,例如,3D地面实况,场景的多个图像,图像轮廓或关键点。我们提出了Pix 2Shape,一种通过四个组件解决这个问题的方法:(i)编码器,其从图像推断潜在3D表示,(ii)解码器,其从潜在代码生成场景的显式2.5D基于面元的重构,(iii)可微分渲染器,其从面元表示合成2D图像,以及(iv)评价器网络,其被训练以区分由解码器-渲染器生成的图像和来自训练分布的图像。Pix 2Shape可以生成复杂的3D场景,这些场景可以根据视图相关的屏幕分辨率进行缩放,这与捕获世界空间分辨率的表示不同,即,体素或网格。我们表明,Pix 2Shape在其编码的潜在空间中学习一致的场景表示,然后可以将解码器应用于该潜在表示,以便从一个新的角度合成场景。我们评估Pix 2Shape与ShapeNet数据集上的实验,以及我们开发的一个新的基准,称为3D-IQTT,评估模型的基础上,使3D空间推理的能力。定性和定量评估表明Pix 2Shape解决场景重建,生成和理解任务的能力。
2020-04-17 cs.CV cs.LG stat.ML
Hunyuan3D-Omni: A Unified Framework for Controllable Generation of 3D Assets
Tencent(腾讯)
Hunyuan3D-Omni基于Hunyuan3D 2.1,统一多种控制信号(点云、体素、边界框、骨骼姿态)实现细粒度可控3D资产生成,采用难度感知采样策略提升融合鲁棒性,实验验证了其精度与生产适用性。
2025-09-25 cs.AI cs.CV
CVSformer: Cross-View Synthesis Transformer for Semantic Scene Completion
Tianjin University(天津大学);Shenzhen University(深圳大学);A*STAR(新加坡科技研究局);The Hong Kong Polytechnic University(香港理工大学);South China University of Technology(华南理工大学);Alibaba Damo Academy(阿里巴巴达摩院)
针对语义场景补全中跨视图物体关系建模不足的问题,本文提出 CVSformer,通过旋转三维卷积核合成多视图特征并以跨视图 Transformer 融合增强,实现体素占据与语义预测的最优性能。
2023-07-16 cs.CV
SuperQuadricOcc: Real-Time Self-Supervised Semantic Occupancy Estimation with Superquadric Volume Rendering
Data Driven Computer Engineering (D²iCE) Research Centre(数据驱动计算机工程(D²iCE)研究中心);University of Limerick(利默里克大学);Taighde Éireann – Research Ireland(爱尔兰研究——塔吉德)
本文提出SuperQuadricOcc,通过超级二次曲面体渲染实现实时自监督语义占用估计,相比传统方法更高效且占用内存更少,在Occ3D-nuScenes数据集上取得最佳性能。
2026-08-12 cs.CV
Lifting AutoEncoders: Unsupervised Learning of a Fully-Disentangled 3D Morphable Model using Deep Non-Rigid Structure from Motion
CentraleSupélec(中央理工-高等电力学院);Stony Brook University(石溪大学);The Alan Turing Institute(艾伦·图灵研究所);UCL(伦敦大学学院);Ariel AI;Imperial College(帝国理工学院)
在这项工作中,我们介绍了提升自动编码器,一个生成的3D表面为基础的模型的对象类别。我们汇集了来自运动的非刚性运动恢复结构,图像形成和变形模型的想法,以完全无监督的方式从非结构化图像集学习3D类别的可控几何模型。我们利用我们的模型的3D几何性质,并使用正常的信息来解开照明,阴影和阴影的外观。我们进一步使用弱监督来解开人类面部的非刚性形状可变性到身份和表达。我们将3D表示与可微分渲染器相结合,以生成RGB图像,并附加一个经过逆向训练的细化网络,以获得清晰的、逼真的图像重建结果。学习的生成模型可以在可解释的几何形状和外观因素方面进行控制,使我们能够对身份,表情,3D姿势和照明属性进行逼真的图像操作。
2019-04-26 cs.CV