AgentAvatar: Disentangling Planning, Driving and Rendering for Photorealistic Avatar Agents
AgentAvatar提出将LLM规划、任务无关驱动引擎与神经渲染器解耦的框架，实现化身智能体在单人和双人非言语交互中的照片级真实感面部动画生成。
2023-12-04 cs.CV
GeRM: A Generative Rendering Model From Physically Realistic to Photorealistic
State Key Lab of CAD\&CG, Zhejiang University；Zhejiang Lab China；State Key Laboratory of Industrial Control Technology, Zhejiang University China；Zhejiang University China；Zhejiang Lab；State Key Laboratory of Industrial Control Technology, Zhejiang University；Zhejiang University
GeRM是首个多模态生成渲染模型，通过学习分布转移向量场实现从物理真实到照片级的过渡，结合控制网络和多代理框架提升图像生成质量。
2026-05-14 cs.CV
GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds
NVIDIA（英伟达）；Cornell University（康奈尔大学）
我们提出了GANcraft，一个无监督的神经渲染框架，用于生成大型3D块世界的真实感图像，例如在Minecraft中创建的图像。我们的方法以一个语义块世界作为输入，其中每个块都被分配了一个语义标签，如污垢，草或水。我们将世界表示为一个连续的体积函数，并训练我们的模型为用户控制的相机渲染视图一致的真实感图像。在块世界没有成对的地面真实图像的情况下，我们设计了一种基于伪地面真实和对抗训练的训练技术。这与用于视图合成的神经渲染的先前工作形成对比，其需要地面实况图像来估计场景几何形状和视图相关外观。除了相机轨迹，GANcraft还允许用户控制场景语义和输出风格。与强基线相比的实验结果表明GANcraft在逼真的3D块世界合成这一新任务上的有效性。该项目的网站是https://nvlabs.github.io/GANcraft/。
2021-04-15 cs.CV
FrameDiffuser: G-Buffer-Conditioned Diffusion for Neural Forward Frame Rendering
FrameDiffuser通过基于G-buffer的自回归框架实现时间一致的神经渲染，结合结构引导和时间一致性，提升逼真度和效率。
2025-12-18 cs.CV cs.GR
Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering
The Ohio State University（俄亥俄州立大学）；Chongqing Changan Automobile Co Ltd（重庆长安汽车股份有限公司）
驾驶模拟器在开发和测试新的智能车辆系统方面发挥着重要作用。仿真的视觉逼真度对于构建基于视觉的算法和进行人类驾驶员实验至关重要。低视觉保真度破坏了人在环驾驶实验的沉浸感。传统的计算机图形流水线使用详细的3D模型、网格、纹理和渲染引擎来从3D场景生成2D图像。这些过程是劳动密集型的，并且它们不会生成逼真的图像。在这里，我们介绍了一个混合生成神经图形管道，用于提高驾驶模拟的视觉保真度。给定一个3D场景，我们只部分渲染感兴趣的重要对象，如车辆，并使用生成对抗过程来合成背景和图像的其余部分。为此，我们提出了一种新的图像形成策略，形成2D语义图像从3D场景组成的简单的对象模型没有纹理。然后，这些语义图像被转换为具有照片般真实感的RGB图像，并使用最先进的生成对抗网络（GAN）对真实驾驶场景进行训练。这取代了随机生成的重复性，但逼真的表面。最后，部分渲染的图像和GAN合成的图像用混合GAN混合。我们表明，与传统方法相比，所提出的方法生成的图像的逼真度更类似于现实世界的驾驶数据集，如Cityscapes和KITTI。这种比较是使用语义保持分析和Frechet起始距离（FID）测量。
2022-07-21 cs.CV cs.GR
Photorealistic Image Synthesis for Object Instance Detection
Czech Technical University in Prague（布拉格捷克理工大学）；Microsoft Research（微软研究院）
本文提出了一种高真实感三维物体模型图像的合成方法，并将其用于训练一个卷积神经网络来检测真实图像中的物体。所提出的方法有三个关键成分：（1）三维物体模型渲染在三维模型的完整场景与现实的材料和照明，（2）合理的几何配置的对象和相机在场景中使用物理模拟生成，和（3）高逼真度的合成图像所实现的基于物理的渲染。当在通过所提出的方法合成的图像上进行训练时，与通过在随机照片上渲染对象模型来合成训练图像的基线相比，Faster R-CNN对象检测器在Rutgers APC上实现了mAP@.75IoU的24%的绝对改进，在LineMod-Occluded数据集上实现了11%的绝对改进。这项工作是朝着能够有效地训练对象检测器而不捕获或注释任何真实图像迈出的一步。用于各种计算机视觉任务的60万合成图像数据集将在项目网站上发布：thodan.github.io/objectsynth。
2019-02-09 cs.AI cs.CV cs.RO
Anything in Any Scene: Photorealistic Video Object Insertion
XPeng Motors（小鹏汽车）
针对现有视频模拟方法几何、光照及照片级真实感不足的问题，提出Anything in Any Scene通用框架，通过几何整合、光照阴影模拟与风格迁移三步实现对象无缝插入，生成高真实感视频，拓展多领域应用潜力。
2024-01-30 cs.CV
Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments
Meta Reality Labs Research（Meta现实实验室）
创建逼真的虚拟资产是一个耗时的过程：它通常涉及艺术家设计对象，然后花费大量精力调整其外观。复杂的细节和某些效果（如次表面散射）无法使用实时BRDF进行表示，因此无法完全捕捉某些对象的外观。受神经渲染的最新进展的启发，我们提出了一种方法来捕捉真实世界中的物体在日常环境中忠实和快速。我们使用一种新的神经表示来重建体积效果，如半透明的对象部分，并保留真实感对象的外观。为了在不影响渲染质量的情况下支持实时渲染，我们的模型使用了一个网格的功能和一个小的MLP解码器，该解码器被编译成具有交互式帧速率的高效着色器代码。这导致所提出的神经资产与现有网格环境和对象的无缝集成。由于使用标准着色器代码，渲染可以跨许多现有的硬件和软件系统移植。
2022-12-12 cs.AI cs.CV cs.GR
Ani3DHuman: Photorealistic 3D Human Animation with Self-guided Stochastic Sampling
City University of Hong Kong（香港城市大学）
Ani3DHuman通过结合运动学动画与视频扩散先验，利用自引导随机采样实现逼真3D人体动画生成。
2026-02-22 cs.CV cs.GR cs.LG
FastNeRF: High-Fidelity Neural Rendering at 200FPS
Microsoft（微软）
最近关于神经辐射场（NeRF）的工作展示了如何使用神经网络来编码复杂的3D环境，这些环境可以从新的视角进行逼真的渲染。渲染这些图像的计算要求非常高，即使在高端硬件上，最近的改进距离实现交互速率仍然有很长的路要走。受移动和混合现实设备场景的启发，我们提出了FastNeRF，这是第一个基于NeRF的系统，能够在高端消费GPU上以200 Hz的频率渲染高保真逼真的图像。我们的方法的核心是一个图形启发的因式分解，它允许（i）在空间中的每个位置处压缩缓存深度辐射图，（ii）使用光线方向有效地查询该图以估计渲染图像中的像素值。大量的实验表明，该方法比原来的NeRF算法快3000倍，至少比现有的工作加速NeRF一个数量级，同时保持视觉质量和可扩展性。
2021-04-15 cs.CV
Physically Controllable Relighting of Photographs
Simon Fraser University（西蒙弗雷泽大学）
提出自监督方法实现野外图像物理可控重光照，结合传统渲染物理准确性与神经渲染照片真实感，通过单目几何和内在成分推断彩色网格表示，允许三维定义光照并用路径追踪渲染，再经前馈神经渲染器预测最终结果，开发可微渲染过程重建野外照明以自监督训练。
2025-08-07 cs.CV cs.GR
TANGO: Text-driven Photorealistic and Robust 3D Stylization via Lighting Decomposition
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（德擎科技有限公司）；The Hong Kong Polytechnic University（香港理工大学）；Peng Cheng Laboratory（鹏城实验室）
通过风格化生成三维内容是计算机视觉和图形学研究中一个很有前途但又具有挑战性的问题。在这项工作中，我们专注于风格化的真实感外观渲染的任意拓扑结构的给定表面网格。受最近对比图像预训练（CLIP）模型的跨模态监督的推动，我们提出了TANGO，它根据文本提示以照片般逼真的方式传输给定3D形状的外观风格。从技术上讲，我们建议解开的外观风格的空间变化的双向反射分布函数，局部几何变化，和照明条件，这是共同优化，通过监督的CLIP损失，由一个球形高斯基于微分渲染。因此，TANGO通过自动预测反射效果，即使是裸露的低质量网格，也可以实现照片级逼真的3D风格转换，而无需在特定任务的数据集上进行训练。大量的实验表明，TANGO优于现有的文本驱动的3D风格传输方法的照片级质量，3D几何形状的一致性，和鲁棒性时，风格化低质量的网格。我们的代码和结果可以在我们的项目网页https://cyw-3d.github.io/tango/上找到。
2022-11-03 cs.AI cs.CV
ObjectMate: A Recurrence Prior for Object Insertion and Subject-Driven Generation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google（谷歌）
针对对象插入和主体驱动生成中现有方法身份保留差、合成真实感不足且多需测试时微调的问题，提出无需微调的ObjectMate方法，利用无标注数据中量产对象的多视角循环出现特性构建配对数据训练扩散模型，实现更优的合成效果。
2024-12-11 cs.CV
A Convolutional Neural Deferred Shader for Physics Based Rendering
School of Computing Science, University of Glasgow（Glasgow大学计算机科学学院）
本文提出pbnds+，一种基于物理的神经延迟着色管道，利用卷积神经网络减少参数并提升着色与重照明性能，同时引入能量正则化以应对黑暗照明场景。
2025-12-22 cs.CV
RenderFlow: Single-Step Neural Rendering via Flow Matching
Disney Research|Studios（迪士尼研究院/工作室）；ETH Zürich（苏黎世联邦理工学院）
本文提出RenderFlow框架，通过流匹配方法实现单步神经渲染，解决传统渲染方法的效率与精度问题，提升渲染质量和视觉效果。
2026-04-07 cs.CV
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation
Nanjing University（南京大学）；Xmov（上海魔珐科技有限公司）
据我们所知，我们首先提出了一个实时系统，该系统仅由音频信号以超过30 fps的速度驱动，生成个性化的逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，其提取深度音频特征以及流形投影以将特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和运动。预测的运动包括头部姿态和上身运动，其中前者由对目标人的头部姿态分布进行建模的自回归概率模型生成。上半身的运动是从头部姿势推导出来的。在最后阶段，我们根据之前的预测生成条件特征图，并将它们与候选图像集一起发送到图像到图像转换网络，以合成照片级真实感渲染。我们的方法很好地推广到野生音频，并成功地合成高保真个性化的面部细节，例如，皱纹牙齿我们的方法还允许明确控制头部姿势。广泛的定性和定量评估，以及用户研究，证明了我们的方法优于国家的最先进的技术。
2021-09-24 cs.CV cs.GR
StyleRF-VolVis: Style Transfer of Neural Radiance Fields for Expressive Volume Visualization
University of Notre Dame（圣母大学）
本文提出 StyleRF-VolVis，一种基于 NeRF 的体可视化风格迁移框架，通过几何提取、调色板与无约束颜色网络实现一致且灵活的任意三维风格化。
2024-07-31 cs.AI cs.CV cs.GR
From Gallery to Wrist: Realistic 3D Bracelet Insertion in Videos
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
针对视频3D物体插入中时间一致性与逼真光照难以兼顾的问题，提出融合3DGS初始渲染与2D扩散增强的着色驱动混合流水线，实现动态手腕场景下手镯的逼真一致插入。
2025-07-29 cs.CV
SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance
ReLER, CCAI, Zhejiang University（浙江大学）
提出SEEAvatar方法，利用自进化模板约束几何和扩散模型引导外观生成，实现从文本生成逼真三维头像，显著提升几何与外观质量。
2023-12-26 cs.CV
Neural Lumigraph Rendering
Raxium（拉克瑟姆公司）；Stanford University（斯坦福大学）
新视点合成是一个具有挑战性的不适定逆绘制问题。神经渲染技术最近已经实现了这一任务的照片级逼真的图像质量。然而，现有技术（SOTA）神经体渲染方法训练缓慢并且需要数分钟的推断（即，渲染）时间以获得高图像分辨率。我们采用高容量的神经场景表示与定期激活，共同优化隐式表面和辐射场的场景监督专门与构成的2D图像。我们的神经渲染管道加速SOTA神经体渲染约两个数量级，我们的隐式表面表示是独一无二的，允许我们导出一个网格与视图相关的纹理信息。因此，与其他隐式表面表示一样，我们的方法与传统的图形管道兼容，实现了实时渲染速率，同时实现了与其他表面方法相比前所未有的图像质量。我们使用现有的数据集以及使用自定义多相机钻机捕获的高质量3D人脸数据来评估我们方法的质量。
2021-03-22 cs.CV cs.GR
Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras
The Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）
本文提出 Photo-SLAM 框架，融合显式几何定位、隐式光度特征与 Gaussian-Pyramid 训练，实现单目、双目和 RGB-D 的实时照片级建图，并在嵌入式平台上高效运行。
2024-04-08 cs.CV
A Neural Lip-Sync Framework for Synthesizing Photorealistic Virtual News Anchors
Deep Innovation R&D Center, Moviebook（墨迹天气深创新研发中心）
唇同步已经成为一种很有前途的技术，用于从音频信号生成嘴部运动。然而，合成一个高分辨率和真实感的虚拟新闻主播仍然具有挑战性。缺乏自然外观、视觉一致性和处理效率是现有方法的主要问题。本文提出了一种新的唇同步框架，专门设计用于生产高保真的虚拟新闻主播。一对时间卷积网络用于学习从音频信号到嘴部运动的跨模态顺序映射，随后是神经渲染网络，该网络将合成面部地图转换为高分辨率和照片级逼真的外观。这个完全可训练的框架提供了端到端的处理，在许多低延迟应用中优于传统的基于图形的方法。实验还表明，该框架在视觉外观和效率方面都优于现代基于神经的方法。
2021-05-05 cs.CV eess.AS
GroomLight: Hybrid Inverse Rendering for Relightable Human Hair Appearance Modeling
Stanford University（斯坦福大学）；Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
本文提出 GroomLight，通过结合扩展头发 BSDF 与光照感知残差模型的混合逆渲染流程，从多视角图像实现高保真的头发重光照、视角合成与材质编辑。
2025-03-13 cs.CV cs.GR
MaPa: Text-driven Photorealistic Material Painting for 3D Shapes
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Shenzhen University（深圳大学）
针对文本驱动3D网格材质生成问题，提出MaPa框架：以逐段过程化材质图为表示，利用预训练2D扩散模型连接文本与材质图，通过片段分解、控制扩散图像合成及可微分渲染微调，实现更优真实感、分辨率与可编辑性。
2026-10-02 cs.CV
Infinite Leagues Under the Sea: Photorealistic 3D Underwater Terrain Generation by Latent Fractal Diffusion Models
Carnegie Mellon University（卡内基梅隆大学）；Brigham Young University（杨百翰大学）
本文提出 DreamSea 模型，利用水下机器人调查数据训练扩散模型，结合分形潜在嵌入与 3DGS 技术，实现大规模、一致且真实感强的三维水下地形生成。
2025-03-09 cs.AI cs.CV cs.GR
DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对经典PBR依赖难获取的精确场景表示的问题，提出DiffusionRenderer，依托视频扩散模型先验实现统一的神经逆向与正向渲染，性能优于SOTA，支持单视频的重光照等应用。
2025-03-22 cs.CV cs.GR
X2Video: Adapting Diffusion Models for Multimodal Controllable Neural Video Rendering
City University of Hong Kong（香港城市大学）；WeChat, Tencent Inc（微信、腾讯公司）；Manycore Tech Inc（很多核科技公司）
X2Video是首个由内在通道引导的扩散视频渲染模型，通过混合自注意力与掩码交叉注意力实现多模态控制，支持长视频生成及颜色、材质、几何和光照编辑。
2025-10-09 cs.CV cs.GR
PoseCraft: Tokenized 3D Body Landmark and Camera Conditioning for Photorealistic Human Image Synthesis
University of Cambridge（剑桥大学）；Google（谷歌）
PoseCraft通过令牌化3D姿态和相机信息，提升人像合成的逼真度和细节保留能力。
2026-02-22 cs.CV
CLD-shaped Brushstrokes in Non-Photorealistic Rendering
Politecnico di Torino（都灵理工大学）
基于随机网格的渲染技术可以通过使笔触适应原始图片的不同区域的形状来改进。在本文中，相干长度图的概念被用来确定自适应的笔触，以模拟印象派绘画。最后给出了一些算例来说明所提出的算法。
2010-02-23 cs.CV cs.GR
Non-Photorealistic Rendering of Layered Materials: A Multispectral Approach
University of Florida（佛罗里达大学）
我们提出了多光谱渲染技术可视化分层材料中发现的生物标本。我们是第一个使用从近红外和紫外光谱采集的数据进行非真实感渲染（NPR）。通过多光谱分析可以更全面地了解一些植物和动物物种。然而，传统的NPR技术忽略了可见光谱之外的独特信息。我们介绍了处理波长相关的表面法线和反射率的算法和原理。我们的配准和特征检测方法用于制定当前NPR方法未考虑的风格化效果，包括：光谱带阴影，其在多个尺度下隔离和强调特定波长的形状特征。我们的用户研究专家证明了我们的系统在生物科学应用中的有效性。
2021-09-02 cs.CV cs.GR
Semantic-Human: Neural Rendering of Humans from Monocular Video with Human Parsing
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究院）
针对现有神经渲染忽略人体解析、运动场泛化性差的问题，提出Semantic-Human方法，扩展NeRF联合编码语义等信息，结合SMPL约束，在ZJU-MoCap数据集上取得优异效果并支持多种应用。
2023-08-19 cs.CV
Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation
South China University of Technology（华南理工大学）
本文提出Fantasia3D，通过混合表示与表面法线学习几何，并引入空间变化BRDF建模材质，实现高质量、可重光照和编辑的文本到3D生成。
2023-09-27 cs.AI cs.CV
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Tsinghua University（清华大学）；Li Auto（利亚自动）
GeoDiff4D通过几何感知扩散模型，结合表面法线和表情编码器，实现了高保真的4D头像重建，提升了视觉质量和跨身份泛化能力。
2026-03-12 cs.CV
FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）
当前的生成对抗网络（GANs）生成肖像图像的照片级真实感渲染。将真实图像嵌入到这种模型的潜在空间中可以实现高级图像编辑。虽然最近的方法提供了相当大的语义控制（重新）生成的图像，他们只能生成一组有限的观点，不能显式地控制相机。3D虚拟和混合现实应用需要这样的3D相机控制。在我们的解决方案中，我们使用几张人脸图像来执行3D重建，并引入了GAN相机流形的概念，这是一个关键元素，可以让我们精确定义GAN可以稳定再现的图像范围。我们训练一个小的面部特定的神经隐式表示网络映射到这个流形捕捉到的脸，并补充它与翘曲计划，以获得自由视点新颖的视图合成。我们展示了我们的方法-由于其精确的相机控制-如何将预训练的StyleGAN集成到标准的3D渲染管道中，例如，立体渲染或在合成3D环境中一致地插入面部。我们的解决方案提出了第一个真正的自由视点渲染的现实面孔在互动的速度，只使用少量的休闲照片作为输入，同时允许语义编辑功能，如面部表情或照明变化。
2021-09-20 cs.CV cs.GR
AutoInt: Automatic Integration for Fast Neural Volume Rendering
Stanford University（斯坦福大学）
数值积分是科学计算的基础技术，也是许多计算机视觉应用的核心。在这些应用中，神经体渲染最近被提出作为一个新的范例视图合成，实现逼真的图像质量。然而，使这些方法实用的一个根本障碍是极端的计算和内存要求所造成的所需的体积积分沿渲染光线在训练和推理。需要数百万条射线，每条射线需要通过神经网络进行数百次正向传递，以利用蒙特卡罗采样来近似这些积分。在这里，我们提出了自动集成，一个新的框架，学习有效的，封闭形式的解决方案，积分使用基于坐标的神经网络。为了训练，我们实例化对应于网络导数的计算图。将曲线拟合到要积分的信号。优化后，我们重新组合图以获得表示反导数的网络。根据微积分的基本定理，这使得可以在网络的两个评估中计算任何定积分。将这种方法应用于神经渲染，我们改进了渲染速度和图像质量之间的权衡：将渲染时间提高了10倍以上，但图像质量略有下降。
2021-05-23 cs.CV cs.GR cs.LG
BokehFlow: Depth-Free Controllable Bokeh Rendering via Flow Matching
针对现有散景渲染依赖深度输入、可控性与效率不足的问题，本文提出基于流匹配的无深度框架BokehFlow，支持文本控制聚焦区域与模糊强度，在渲染质量和效率上优于现有方法。
2025-11-19 cs.CV
StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer
Honor Device Co., Ltd.（荣耀终端有限公司）
研究针对逼真风格迁移中现有方法的瓶颈，提出StatLUT框架，通过提取统计特征、基于Transformer的Seq2Seq任务预测3D LUT及用H-Diffuser从自然语言提示合成特征，实现多模态逼真风格迁移，性能优于现有方法。
2026-11-04 cs.CV
Non-photorealistic image processing: an Impressionist rendering
Politecnico di Torino（都灵理工大学）
介绍了一种非真实感绘制的图像处理方法。该算法基于从原始图像中随机选择一组像素，并将其替换为彩色斑点。应用迭代过程以在期望的水平覆盖画布。由此产生的效果模仿印象派绘画和点彩派。
2009-12-04 cs.CV
Automatic Content-aware Non-Photorealistic Rendering of Images
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
非真实感渲染技术对图像特征起作用，并且通常操纵一组特征（诸如边缘和纹理）来实现场景的期望描绘。大多数计算摄影方法使用边缘保持滤波器分解图像，并独立地处理所得到的基础层和细节层以实现所需的视觉效果。我们提出了一种新的方法，内容感知的非真实感渲染的图像，我们操纵的视觉显着和非显着的地区分开。我们提出了一种新的内容感知框架，以渲染图像的应用程序，如细节夸张，人工模糊和图像抽象。图像的处理区域被无缝地混合用于所有这些应用。我们证明，所提出的方法的内容意识，导致自动生成的非真实感渲染的同一图像的不同应用程序上面提到的。
2016-04-19 cs.CV
Physically-Based Editing of Indoor Scene Lighting from a Single Image
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）
我们提出了一种方法来编辑复杂的室内照明从一个单一的图像与其预测的深度和光源分割掩模。这是一个非常具有挑战性的问题，需要对复杂的光传输进行建模，并在仅对场景进行部分LDR观察的情况下将HDR照明与材料和几何结构分离。我们使用两个新的组件来解决这个问题：1）一个整体场景重建方法，估计场景反射率和参数化3D照明，以及2）一个神经渲染框架，根据我们的预测重新渲染场景。我们使用基于物理的室内光表示，允许直观的编辑，并推断可见和不可见光源。我们的神经渲染框架将基于物理的直接照明和阴影渲染与深度网络相结合，以近似全局光照。它可以捕捉具有挑战性的照明效果，如柔和阴影、定向照明、镜面反射材质和相互反射。以往的单幅图像逆绘制方法往往涉及到场景光照和几何，并且只支持对象插入等应用。相反，通过将参数化3D照明估计与神经场景渲染相结合，我们展示了从单个图像实现全场景重新照明的第一种自动方法，包括光源插入，移除和替换。所有源代码和数据将公开发布。
2022-07-23 cs.CV
Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在这项工作中，我们解决的问题，共同估计的亮度，法线，深度和3D空间变化的照明从一个单一的图像。大多数现有的方法将任务制定为图像到图像的翻译，忽略了场景的3D属性。然而，室内场景包含复杂的3D光传输，其中2D表示是不够的。在本文中，我们提出了一个统一的，基于学习的逆渲染框架，制定三维空间变化的照明。受经典的体渲染技术的启发，我们提出了一种新的体球高斯表示的照明，参数化的三维场景表面上的体素网格的出射辐射。我们设计了一个基于物理的微分渲染器，利用我们的3D照明表示，并制定了节能的图像形成过程，使联合训练的所有内在属性与重新渲染约束。我们的模型确保了物理上正确的预测，并避免了对不易获得的地面真实HDR照明的需求。实验表明，我们的方法优于以前的作品定量和定性，并能够产生逼真的结果，如虚拟对象插入，即使是高度镜面反射的对象的AR应用。
2021-10-20 cs.CV
Neural Sign Reenactor: Deep Photorealistic Sign Language Retargeting
National Technical University of Athens（雅典国立技术大学）；Athena R.C.（雅典娜研究中心）；Foundation for Research & Technology - Hellas（希腊研究与技术基金会）；University of Exeter（埃克塞特大学）
本文提出一种神经渲染流程，可将源视频中手语使用者的手动与非手动符号以照片级真实感迁移到目标人物上，适用于手语匿名化、手语生成及全身活动重现，并在评估中优于现有方法。
2023-05-30 cs.CV
Real-Time Neural Character Rendering with Pose-Guided Multiplane Images
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了姿态引导的多平面图像（MPI）合成，可以在真实场景中渲染出具有真实感质量的动画角色。我们使用一个便携式摄像机装置来捕获多视图图像以及移动主体的驱动信号。我们的方法概括了图像到图像的翻译范式，它将人类姿势转换为3D场景表示-可以在自由视点中渲染的MPI，使用多视图捕获作为监督。为了充分培养MPI的潜力，我们提出了深度自适应MPI，它可以使用可变曝光图像进行学习，同时对不准确的相机配准具有鲁棒性。我们的方法展示了优越的新颖的视图合成质量的国家的最先进的方法，具有挑战性的运动的字符。此外，所提出的方法是可推广到新的组合的训练姿势，并可以显式控制。我们的方法实现了这种表现力和动画字符绘制所有实时的，作为一个有前途的解决方案，为实际应用。
2022-04-25 cs.CV
A Quantum-Powered Photorealistic Rendering
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Tsing Hua University（国立清华大学）
针对传统神经渲染中光线追踪数值积分开销大且高频细节建模不足的问题，本文提出QRF，用量子电路、激活函数和体绘制实现隐式场景表示。
2023-11-08 cs.CV
FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from Sparse Views
University of Maryland, College Park（马里兰大学帕克分校）；Amazon.com, Inc.（亚马逊公司）
我们提出了FlexNeRF，一种用于从单目视频中对运动中的人类进行真实感自由视点渲染的方法。我们的方法适用于稀疏视图，这是一个具有挑战性的情况下，当主体表现出快速/复杂的运动。我们提出了一种新的方法，共同优化规范的时间和姿势配置，与姿势相关的运动场和姿势无关的时间变形相互补充。由于我们新颖的时间和循环一致性约束以及对中间表示（如分割）的额外损失，我们的方法提供了高质量的输出，因为观察到的视图变得稀疏。我们的经验表明，我们的方法显着优于国家的最先进的公共基准数据集以及自我捕获的时尚数据集。该项目的网页可在：https://flex-nerf.github.io/
2023-03-25 cs.AI cs.CV cs.LG
Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data
NCT/UCC Dresden（德累斯顿国家肿瘤疾病中心/大学癌症中心）；CeTI, TU Dresden（德累斯顿工业大学触觉互联网卓越中心）；University Hospital Dresden（德累斯顿大学医院）
不成对视频翻译的研究主要集中在通过调节相邻帧的短期时间一致性。然而，对于从模拟到真实感序列的转移，关于底层几何结构的可用信息提供了实现跨视图的全局一致性的可能性。我们提出了一种新的方法，它结合了不成对的图像翻译与神经渲染转移模拟到逼真的外科手术腹部场景。通过引入全局可学习的纹理和光照不变的视图一致性损失，我们的方法产生任意视图的一致性翻译，从而实现长期一致的视频合成。我们设计和测试我们的模型，以生成视频序列的微创手术腹部场景。由于标记的数据通常在该域中受到限制，因此保留来自模拟域的地面真实信息的照片级真实感数据尤其相关。通过将现有的基于图像的方法扩展到查看一致的视频，我们的目标是影响模拟训练和评估环境在外科应用中的适用性。代码和数据：http://opencas.dkfz.de/video-sim2real。
2021-08-19 cs.CV
Glyph-ByT5: A Customized Text Encoder for Accurate Visual Text Rendering
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Peking University（北京大学）；The Australian National University（澳大利亚国立大学）
针对文本生成图像模型中文本渲染准确率低的问题，研究团队提出定制化字符感知文本编码器Glyph-ByT5，与SDXL集成后大幅提升文本渲染精度，还支持段落渲染与开放域场景文本渲染。
2024-07-12 cs.CV
Envisioning a Next Generation Extended Reality Conferencing System with Efficient Photorealistic Human Rendering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Miami（迈阿密大学）；Arizona State University（亚利桑那州立大学）；Futurewei Technologies（华为未来技术研究院）
本文构想了一种下一代扩展现实会议系统流水线，通过探索基于NeRF的加速自由视点合成算法，在保证渲染质量的同时大幅提升训练和推理速度，为构建沉浸式元宇宙会议提供了设计基础。
2023-06-28 cs.CV cs.GR cs.LG
Render-FM: Feedforward Model for Real-time Photorealistic Volumetric Rendering
United Imaging Intelligence（联合影像智能）
提出Render-FM前馈模型，直接从CT体积回归6D高斯溅射参数，实现2.8秒实时渲染，速度提升500倍，并引入解剖引导初始化提升医学图像渲染质量。
2026-06-24 cs.AI cs.CV
Modeling and Driving Human Body Soundfields through Acoustic Primitives
University of Rochester（罗切斯特大学）；Meta
提出利用声学基元构建人体声场渲染框架，实现基于姿态和头戴音频的高质量三维空间音频生成，较先前方法表示更紧凑且近场渲染更优。
2024-07-20 cs.CV cs.SD eess.AS
Deep Learning with Cinematic Rendering: Fine-Tuning Deep Neural Networks Using Photorealistic Medical Images
深度学习已经成为一种强大的人工智能工具，用于解释越来越多的各种应用的医学图像。然而，缺乏高质量的注释，这是必要的训练这些方法的医学成像数据最终限制了他们的表现。由于隐私问题、可用于注释的专家短缺、罕见疾病的有限代表性和成本，医疗数据的获取具有挑战性。这个问题以前已经通过使用合成生成的数据来解决。然而，在合成数据上训练的网络往往无法推广到真实数据。电影渲染模拟光通过从CT数据重建的组织模型的传播和相互作用，从而能够生成逼真的图像。在本文中，我们提出了电影渲染在深度学习中的首批应用之一，其中我们提出使用电影渲染的CT数据微调合成数据驱动网络，用于内窥镜检查中的单目深度估计任务。我们的实验表明：（a）在合成数据上训练并在真实感电影渲染数据上微调的卷积神经网络（CNN）与没有微调的网络相比更好地适应真实医学图像，并表现出更鲁棒的性能，（b）这些微调的网络需要更少的训练数据来收敛到最优解，以及（c）利用来自同一场景的各种真实感绘制条件的数据进行微调防止了网络学习患者特异性信息并有助于模型的泛化。我们的实证评估表明，网络微调与电影渲染数据预测深度与渲染内窥镜图像的误差减少56.87%，27.49%的误差减少真正的猪结肠内窥镜图像。
2018-09-29 cs.CV
VistaFlow: Photorealistic Volumetric Reconstruction with Dynamic Resolution Management via Q-Learning
Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
本文提出VistaFlow技术，通过Q学习训练的QuiQ控制器动态管理渲染分辨率，在集成CPU图形上实现照片级真实感三维体素重建，兼顾高帧率与硬件兼容性，优于现有方法。
2025-02-05 cs.CV cs.GR
Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；vivo BlueImage Lab, vivo Mobile Communication Co., Ltd.（vivo BlueImage实验室，vivo移动通信有限公司）；Shenzhen University of Advanced Technology（深圳大学）
本文提出MagicBokeh框架，通过替代训练策略和聚焦感知的掩码注意力机制，联合优化bokeh渲染与超分辨率，提升可控性和视觉保真度，并引入降质感知深度模块以提高低质量输入的深度估计准确性。
2026-05-11 cs.CV
Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing
Zhejiang University（浙江大学）；Adobe Research（奥多比研究院）；Zhejiang Lab（之江实验室）；Manycore（众核）
室内场景通常表现出复杂的，空间变化的外观从全局光照，使逆渲染一个具有挑战性的不适定问题。这项工作提出了一个端到端的，基于学习的逆渲染框架，结合可微蒙特卡洛光线跟踪与重要性采样。该框架将单个图像作为输入，以联合恢复底层几何形状，空间变化的照明和真实感材料。具体来说，我们引入了一个基于物理的微分渲染层与屏幕空间的光线追踪，从而产生更逼真的镜面反射，匹配输入的照片。此外，我们还创建了一个大规模的真实感室内场景数据集，其中包含更丰富的细节，如复杂的家具和专用装饰。此外，我们设计了一种新的视图外照明网络，利用基于超网络的神经辐射场来预测输入照片视图外的照明。通过对常见基准数据集的广泛评估，我们证明了与最先进的基线相比，我们的方法具有出色的逆渲染质量，从而实现了各种应用，例如复杂对象插入和高保真材质编辑。代码和数据将在\url{https://jingsenzhu.github.io/invrend}上提供。
2022-11-23 cs.AI cs.CV cs.GR
