OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
我们提出了一个新的框架，用于创建大规模的室内场景的真实感数据集，地面真实几何，材料，照明和语义。我们的目标是使数据集创建过程广泛可用，将扫描转换为具有高质量地面真实感的数据集，包括外观，布局，语义标签，高质量空间变化的BRDF和复杂照明，包括直接，间接和可见性组件。这使得在逆向渲染，场景理解和机器人的重要应用。我们表明，在所提出的数据集上训练的深度网络在真实图像上的形状，材料和照明估计方面具有竞争力的性能，从而实现照片级逼真的增强现实应用，例如对象插入和材料编辑。我们还表明我们的语义标签可用于分割和多任务学习。最后，我们证明了我们的框架也可以与物理引擎集成，以创建具有独特的地面真相（如摩擦系数和与真实场景的对应关系）的虚拟机器人环境。该数据集和创建此类数据集的所有工具将公开提供。
2021-09-27 cs.CV
Source-Face Authenticity Detection for 3D Gaussian Heads Reconstructed from a Single Portrait: A Benchmark and Dedicated Detector
Shanghai Jiaotong University（上海交通大学）；Ant Group（蚂蚁集团）
针对单张肖像重建的3D高斯头部的源人脸真实性检测问题，构建首个大规模基准并发现现有检测器的局限，提出两阶段训练的专用检测器，在所有指标上实现最高准确率。
2026-08-26 cs.CV
PHNet: Patch-based Normalization for Portrait Harmonization
本文提出 PHNet，通过基于图像块的归一化模块和统计颜色迁移特征提取器增强局部视觉连贯性，在 iHarmony4 和自建 FFHQ 人像协调数据集上取得最优结果。
2024-09-30 cs.CV
Identity-preserving Face Recovery from Portraits
Australian National University（澳大利亚国立大学）；Data61/CSIRO（数据61/联邦科学与工业研究组织）
从艺术肖像中恢复潜在的真实感人脸有助于人类感知和面部分析。然而，恢复过程中，可以保持身份是具有挑战性的，因为真实的面孔的细节可能会扭曲或失去风格化的图像。在本文中，我们提出了一个新的身份保持人脸恢复从肖像（IFRP）恢复潜在的真实感人脸未对齐风格化的肖像。我们的IFRP方法由两个部分组成：风格去除网络（SRN）和判别网络（DN）。SRN被设计成将风格化图像的特征图转换为对应的真实感人脸的特征图。通过将空间Transformer网络嵌入到SRN中，该方法可以自动补偿风格化人脸的错位，并输出对齐的真实人脸图像。DN的作用是强制恢复的人脸与真实人脸相似。为了确保身份保护，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的VGG网络中提取的恢复的和地面真实的面孔的特征。我们评估我们的方法上的大规模合成数据集的真实和风格化的人脸对，并达到最先进的结果。此外，我们的方法可以从以前看不见的风格化的肖像，原始绘画和人类绘制的草图恢复逼真的面孔。
2018-02-05 cs.CV
GSwap: Realistic Head Swapping with Dynamic Neural Gaussian Field
School of Mathematical Science, University of Science and Technology of China（中国科学技术大学数学科学学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
GSwap通过动态神经高斯场实现逼真头部交换，克服传统方法在3D一致性、面部表情和合成质量上的不足，提升整体视觉质量和3D一致性。
2026-03-24 cs.CV
Identity-preserving Face Recovery from Stylized Portraits
Data61/CSIRO（联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
给定一幅艺术肖像，恢复保留主体身份的潜在照片级真实面部是具有挑战性的，因为面部细节在艺术肖像中经常被扭曲或完全丢失。我们开发了一种保留身份的肖像人脸恢复（IFRP）方法，该方法利用了风格去除网络（SRN）和判别网络（DN）。我们的SRN，由一个自动编码器与残留块嵌入跳过连接，被设计为将特征图的风格化图像的特征图的相应的照片级真实感的脸。由于空间Transformer网络（STNN），SRN自动补偿风格化肖像的未对齐，以输出对齐的逼真人脸图像。为了确保身份保留，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的FaceNet网络中提取的恢复的和地面真实的面孔的特征。DN具有多个卷积层和全连接层，其作用是强制恢复的人脸与真实人脸相似。因此，我们可以从未对齐的肖像中恢复高质量的照片级真实感人脸，同时保留图像中人脸的身份。通过对大规模合成数据集和手绘草图数据集进行广泛的评估，我们证明了我们的方法实现了卓越的人脸恢复，并达到了最先进的结果。此外，我们的方法可以恢复逼真的脸从看不见的风格化的肖像，艺术绘画，手绘草图。
2019-04-07 cs.CV
Recovering Faces from Portraits with Auxiliary Facial Attributes
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
从艺术肖像中恢复逼真的面部是一项具有挑战性的任务，因为在艺术作品中，关键的面部细节往往会被扭曲或完全丢失。为了处理这种损失，我们提出了一个属性引导的人脸恢复从肖像（AFRP），利用人脸恢复网络（FRN）和判别网络（DN）。FRN包括一个自动编码器与残留块嵌入跳过连接，并在自动编码器的瓶颈处将面部属性向量纳入到输入肖像的特征图中。DN具有多个卷积层和全连接层，其作用是强制FRN生成真实的面部图像，其对应的面部属性由输入属性向量决定。%利用空间Transformer网络，FRN自动补偿人像的未对准。%，并生成对齐的面部图像。为了保持身份，我们将恢复的和地面真实的面孔强加给他们，以共享相似的视觉特征。具体地，DN确定恢复的图像是否看起来像真实的面部，并检查从恢复的图像中提取的面部属性是否与给定的属性一致。%我们的方法可以从未对齐的肖像中恢复高质量的真实感人脸，同时保留人脸图像的身份，并且可以重建具有所需属性的真实感人脸图像。我们的方法可以从看不见的风格化肖像，艺术绘画和手绘草图中恢复具有所需属性的真实感身份保留人脸。在大规模的合成和草图数据集上，我们证明了我们的人脸恢复方法达到了最先进的结果。
2019-04-07 cs.CV
Non-photorealistic image processing: an Impressionist rendering
Politecnico di Torino（都灵理工大学）
介绍了一种非真实感绘制的图像处理方法。该算法基于从原始图像中随机选择一组像素，并将其替换为彩色斑点。应用迭代过程以在期望的水平覆盖画布。由此产生的效果模仿印象派绘画和点彩派。
2009-12-04 cs.CV
IM-Portrait: Learning 3D-aware Video Diffusion for Photorealistic Talking Heads from Monocular Videos
State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
提出IM-Portrait，一种基于3D感知扩散的方法，通过单次去噪过程从单张图像和显式控制信号生成几何一致的多平面图像，实现逼真说话人头部视频与新视角渲染，无需显式3D重建或多视角训练数据。
2025-04-29 cs.CV
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
Tencent（腾讯）
提出AniPortrait框架，通过两阶段方法将音频转化为2D面部关键点序列，并利用扩散模型与运动模块生成写实且时间一致的肖像动画，在自然度与可控性上表现优越。
2024-03-26 cs.CV cs.GR eess.IV
Automatic Content-aware Non-Photorealistic Rendering of Images
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
非真实感渲染技术对图像特征起作用，并且通常操纵一组特征（诸如边缘和纹理）来实现场景的期望描绘。大多数计算摄影方法使用边缘保持滤波器分解图像，并独立地处理所得到的基础层和细节层以实现所需的视觉效果。我们提出了一种新的方法，内容感知的非真实感渲染的图像，我们操纵的视觉显着和非显着的地区分开。我们提出了一种新的内容感知框架，以渲染图像的应用程序，如细节夸张，人工模糊和图像抽象。图像的处理区域被无缝地混合用于所有这些应用。我们证明，所提出的方法的内容意识，导致自动生成的非真实感渲染的同一图像的不同应用程序上面提到的。
2016-04-19 cs.CV
A Quantum-Powered Photorealistic Rendering
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Tsing Hua University（国立清华大学）
针对传统神经渲染中光线追踪数值积分开销大且高频细节建模不足的问题，本文提出QRF，用量子电路、激活函数和体绘制实现隐式场景表示。
2023-11-08 cs.CV
DronePose: Photorealistic UAV-Assistant Dataset Synthesis for 3D Pose Estimation via a Smooth Silhouette Loss
Centre for Research and Technology Hellas（希腊研究与技术中心）
在这项工作中，我们认为无人机作为合作代理人支持人类用户在他们的行动。在这种情况下，无人机助手的3D定位是一项重要的任务，可以促进用户和无人机之间的空间信息交换。为了以数据驱动的方式解决这个问题，我们设计了一个数据合成管道来创建一个现实的多模态数据集，其中包括偏心用户视图和以自我为中心的无人机视图。然后，我们利用真实感和合成输入的联合可用性来训练单镜头单目姿态估计模型。在训练过程中，我们利用可微渲染来补充最先进的直接回归目标，并提供一种新的平滑轮廓损失。我们的研究结果表明，其定性和定量的性能增益比传统的剪影目标。我们的数据和代码可在https://vcl3d.github.io/DronePose上获得
2020-08-21 cs.CV cs.GR cs.RO
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation
Nanjing University（南京大学）；Xmov（上海魔珐科技有限公司）
据我们所知，我们首先提出了一个实时系统，该系统仅由音频信号以超过30 fps的速度驱动，生成个性化的逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，其提取深度音频特征以及流形投影以将特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和运动。预测的运动包括头部姿态和上身运动，其中前者由对目标人的头部姿态分布进行建模的自回归概率模型生成。上半身的运动是从头部姿势推导出来的。在最后阶段，我们根据之前的预测生成条件特征图，并将它们与候选图像集一起发送到图像到图像转换网络，以合成照片级真实感渲染。我们的方法很好地推广到野生音频，并成功地合成高保真个性化的面部细节，例如，皱纹牙齿我们的方法还允许明确控制头部姿势。广泛的定性和定量评估，以及用户研究，证明了我们的方法优于国家的最先进的技术。
2021-09-24 cs.CV cs.GR
Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Video Diffusion Transformer
Fudan University（复旦大学）；Baidu Inc（百度公司）
本文提出 Hallo3，首次将预训练视频生成 Transformer 用于肖像动画，并通过身份参考网络、音频条件化与运动帧机制提升非正面视角、动态场景和沉浸式背景下的逼真视频生成效果。
2025-03-13 cs.CV cs.GR cs.LG
PhotoApp: Photorealistic Appearance Editing of Head Portraits
MPI for Informatics, SIC（马克斯-普朗克信息学研究所（MPI for Informatics, SIC））；InterDigital R&I（InterDigital研发（InterDigital R&I））；University College London（伦敦大学学院（University College London））；IST Austria（奥地利科学技术研究所（IST Austria））；Harvard University（哈佛大学（Harvard University））；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室（MIT CSAIL））
人像的照片级真实感编辑是一项具有挑战性的任务，因为人类对面部的不一致非常敏感。我们提出了一种高质量的直观编辑的相机视点和场景照明的肖像图像的方法。这需要我们的方法来捕获和控制图像中人的全反射场。大多数编辑方法依赖于监督学习，其使用通过诸如灯光和相机阶段的设置捕获的训练数据。这样的数据集获取起来很昂贵，不容易获得，并且不能捕获野外肖像图像的所有丰富变化。此外，大多数监督方法仅关注重新照明，并且不允许相机视点编辑。因此，它们仅捕获和控制反射场的子集。最近，肖像编辑已经通过在StyleGAN的生成模型空间中操作来演示。虽然这种方法不需要直接监督，但与监督方法相比，质量有很大损失。在本文中，我们提出了一种方法，从有限的监督训练数据学习。训练图像只包括闭着眼睛的固定中性表情的人，没有太多的头发或背景变化。每个人都是在150个一次一盏灯的条件下和8个相机姿势下拍摄的。我们设计了一个监督问题，而不是直接在图像空间中进行训练，该问题在StyleGAN的潜在空间中学习变换。这结合了监督学习和生成对抗建模的优点。我们表明，StyleGAN先验允许概括到不同的表情，发型和背景。这将为野外图像产生高质量的照片级真实感效果，并显着优于现有方法。我们的方法可以同时编辑照明和姿势，并以交互速率运行。
2021-05-13 cs.CV cs.GR cs.LG
Deep Learning with Cinematic Rendering: Fine-Tuning Deep Neural Networks Using Photorealistic Medical Images
深度学习已经成为一种强大的人工智能工具，用于解释越来越多的各种应用的医学图像。然而，缺乏高质量的注释，这是必要的训练这些方法的医学成像数据最终限制了他们的表现。由于隐私问题、可用于注释的专家短缺、罕见疾病的有限代表性和成本，医疗数据的获取具有挑战性。这个问题以前已经通过使用合成生成的数据来解决。然而，在合成数据上训练的网络往往无法推广到真实数据。电影渲染模拟光通过从CT数据重建的组织模型的传播和相互作用，从而能够生成逼真的图像。在本文中，我们提出了电影渲染在深度学习中的首批应用之一，其中我们提出使用电影渲染的CT数据微调合成数据驱动网络，用于内窥镜检查中的单目深度估计任务。我们的实验表明：（a）在合成数据上训练并在真实感电影渲染数据上微调的卷积神经网络（CNN）与没有微调的网络相比更好地适应真实医学图像，并表现出更鲁棒的性能，（b）这些微调的网络需要更少的训练数据来收敛到最优解，以及（c）利用来自同一场景的各种真实感绘制条件的数据进行微调防止了网络学习患者特异性信息并有助于模型的泛化。我们的实证评估表明，网络微调与电影渲染数据预测深度与渲染内窥镜图像的误差减少56.87%，27.49%的误差减少真正的猪结肠内窥镜图像。
2018-09-29 cs.CV
AgentAvatar: Disentangling Planning, Driving and Rendering for Photorealistic Avatar Agents
AgentAvatar提出将LLM规划、任务无关驱动引擎与神经渲染器解耦的框架，实现化身智能体在单人和双人非言语交互中的照片级真实感面部动画生成。
2023-12-04 cs.CV
MirrorNeRF: One-shot Neural Portrait Radiance Field from Multi-mirror Catadioptric Imaging
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
逼真的神经重建和人体肖像的渲染对于许多VR/AR应用至关重要。尽管如此，现有的解决方案本质上依赖于多视图捕获设置，并且摆脱繁琐的多视图同步和校准的一次性解决方案仍然极具挑战性。在本文中，我们提出了一个一次性的神经肖像自由视点渲染方法，使用一个折反射成像系统与多个球镜和一个高分辨率的数码相机，这是第一个结合神经辐射场与折反射成像，使一次性照片般真实的人像重建和渲染，在一个低成本和休闲的捕捉设置。更具体地说，我们提出了一个轻量级的折反射系统设计与球面镜阵列，使不同的光线采样在连续的3D空间，以及有效的在线校准的相机和反射镜阵列。我们的折反射成像系统可以很容易地部署与低预算和休闲捕捉能力，方便日常使用。我们引入了一种新的神经弯曲辐射场表示来学习连续位移场，该位移场隐式地补偿了由于我们灵活的系统设置而导致的未对准。我们进一步提出了一种密度正则化方案，以自我监督的方式利用来自折反射数据的固有几何信息，这不仅提高了训练效率，而且为更高的渲染质量提供了更有效的密度监督。大量的实验表明，我们的计划的有效性和鲁棒性，以实现一次性的照片真实感和高质量的外观自由视点绘制的人像场景。
2021-05-14 cs.CV
Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；vivo BlueImage Lab, vivo Mobile Communication Co., Ltd.（vivo BlueImage实验室，vivo移动通信有限公司）；Shenzhen University of Advanced Technology（深圳大学）
本文提出MagicBokeh框架，通过替代训练策略和聚焦感知的掩码注意力机制，联合优化bokeh渲染与超分辨率，提升可控性和视觉保真度，并引入降质感知深度模块以提高低质量输入的深度估计准确性。
2026-05-11 cs.CV
Can Text-to-Image Generative Models Accurately Depict Age? A Comparative Study on Synthetic Portrait Generation and Age Estimation
本文系统评估了文本到图像模型在合成肖像中描绘年龄、国籍和性别的准确性，发现其虽能生成多样身份面孔，但对特定年龄的刻画精度高度不稳定，难以满足高精度年龄相关任务需求。
2025-02-05 cs.CV
CLD-shaped Brushstrokes in Non-Photorealistic Rendering
Politecnico di Torino（都灵理工大学）
基于随机网格的渲染技术可以通过使笔触适应原始图片的不同区域的形状来改进。在本文中，相干长度图的概念被用来确定自适应的笔触，以模拟印象派绘画。最后给出了一些算例来说明所提出的算法。
2010-02-23 cs.CV cs.GR
Non-Photorealistic Rendering of Layered Materials: A Multispectral Approach
University of Florida（佛罗里达大学）
我们提出了多光谱渲染技术可视化分层材料中发现的生物标本。我们是第一个使用从近红外和紫外光谱采集的数据进行非真实感渲染（NPR）。通过多光谱分析可以更全面地了解一些植物和动物物种。然而，传统的NPR技术忽略了可见光谱之外的独特信息。我们介绍了处理波长相关的表面法线和反射率的算法和原理。我们的配准和特征检测方法用于制定当前NPR方法未考虑的风格化效果，包括：光谱带阴影，其在多个尺度下隔离和强调特定波长的形状特征。我们的用户研究专家证明了我们的系统在生物科学应用中的有效性。
2021-09-02 cs.CV cs.GR
EndoPBR: Material and Lighting Estimation for Photorealistic Surgical Simulations via Physically-based Rendering
Vanderbilt University（范德堡大学）
针对手术场景3D重建缺乏标注数据的问题，提出EndoPBR可微渲染框架，显式解耦光照与材质，基于渲染方程实现逼真新视角合成，并验证合成数据可有效微调深度估计模型。
2025-02-28 cs.CV
GaussianGAN: Real-Time Photorealistic controllable Human Avatars
CVSSP, University of Surrey（计算机视觉与空间感知研究所，萨里大学）
针对现有神经渲染人形虚拟化身存在模糊的问题，提出GaussianGAN方法，通过新型高斯泼溅致密化策略、视角分割模块和UNet生成器实现79FPS实时照片级真实感渲染，在两个数据集上像素保真度达SOTA。
2025-09-01 cs.CV
Lite2Relight: 3D-aware Single Image Portrait Relighting
MPI for Informatics, SIC & VIA Research Center（MPI信息学研究所SIC与VIA研究中心）；Google Inc.（谷歌公司）；Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；IST Austria（奥地利科学技术研究所）；ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）；MIT（麻省理工学院）；MPI for Informatics（MPI信息学研究所）
针对单图像人像重光照存在的3D一致性差、泛化性弱等问题，提出Lite2Relight方法，拓展EG3D能力实现交互速度的3D一致物理合理重光照，性能优于现有最优方法。
2024-07-15 cs.CV
GeRM: A Generative Rendering Model From Physically Realistic to Photorealistic
State Key Lab of CAD\&CG, Zhejiang University；Zhejiang Lab China；State Key Laboratory of Industrial Control Technology, Zhejiang University China；Zhejiang University China；Zhejiang Lab；State Key Laboratory of Industrial Control Technology, Zhejiang University；Zhejiang University
GeRM是首个多模态生成渲染模型，通过学习分布转移向量场实现从物理真实到照片级的过渡，结合控制网络和多代理框架提升图像生成质量。
2026-05-14 cs.CV
GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds
NVIDIA（英伟达）；Cornell University（康奈尔大学）
我们提出了GANcraft，一个无监督的神经渲染框架，用于生成大型3D块世界的真实感图像，例如在Minecraft中创建的图像。我们的方法以一个语义块世界作为输入，其中每个块都被分配了一个语义标签，如污垢，草或水。我们将世界表示为一个连续的体积函数，并训练我们的模型为用户控制的相机渲染视图一致的真实感图像。在块世界没有成对的地面真实图像的情况下，我们设计了一种基于伪地面真实和对抗训练的训练技术。这与用于视图合成的神经渲染的先前工作形成对比，其需要地面实况图像来估计场景几何形状和视图相关外观。除了相机轨迹，GANcraft还允许用户控制场景语义和输出风格。与强基线相比的实验结果表明GANcraft在逼真的3D块世界合成这一新任务上的有效性。该项目的网站是https://nvlabs.github.io/GANcraft/。
2021-04-15 cs.CV
Portraits of Julius Caesar: a proposal for 3D analysis
在这里，我建议使用3D扫描和渲染来创建一些古代文物的虚拟副本，以研究和比较它们。特别是，这种方法可能对一些罗马大理石半身像很有趣，其中两个是朱利叶斯·凯撒的肖像，第三个是最近在法国阿尔勒发现的一个人的现实肖像。一些图像的比较表明，三维可视化是必要的。
2012-06-21 cs.CV
Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
Fudan University（复旦大学）
本文提出4D高斯泼溅方法，将动态场景建模为可优化的时空4D高斯基元，实现实时照片级动态场景表示与新视图合成。
2024-02-22 cs.CV
R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）；Beihang University（北京航空航天大学）
本文提出 R3-Avatar，通过时间码本记录外观并按相似姿态检索，实现兼顾可动画性与照片级真实感的人体化身重建。
2025-03-17 cs.CV
SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic Reconstruction of Indoor Scenes
Tencent PCG（腾讯平台与内容事业群）
SurfelNeRF将显式神经面元几何表示与NeRF渲染结合，通过可微分栅格化实现10倍加速，在ScanNet上以23.82和29.58 PSNR达到在线室内场景重建与真实感渲染的最优性能。
2023-04-18 cs.CV
PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering
Peking University（北京大学）；Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院）；Tencent America（腾讯美国）
通过控制现有面部的运动来生成肖像图像是对社交媒体行业具有重要意义的重要任务。为了便于使用和直观的控制，应该使用语义上有意义的和完全分离的参数作为修改。然而，许多现有技术不提供这样的细粒度控制或使用间接编辑方法，即模仿其他个体的运动。本文提出了一种人像图像神经渲染器（PIRenderer），利用三维可变形人脸模型（3DMMs）的参数来控制人脸的运动。该模型可以根据直观的修改生成具有精确运动的照片级逼真的人像图像。在直接和间接编辑任务上的实验证明了该模型的优越性。同时，我们进一步扩展了这个模型，通过从音频输入中提取序列运动来解决音频驱动的面部重现任务。我们表明，我们的模型可以生成连贯的视频，令人信服的运动，只有一个参考图像和驱动音频流。我们的源代码可以在https://github.com/RenYurui/PIRender上找到。
2021-09-17 cs.AI cs.CV
FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）
当前的生成对抗网络（GANs）生成肖像图像的照片级真实感渲染。将真实图像嵌入到这种模型的潜在空间中可以实现高级图像编辑。虽然最近的方法提供了相当大的语义控制（重新）生成的图像，他们只能生成一组有限的观点，不能显式地控制相机。3D虚拟和混合现实应用需要这样的3D相机控制。在我们的解决方案中，我们使用几张人脸图像来执行3D重建，并引入了GAN相机流形的概念，这是一个关键元素，可以让我们精确定义GAN可以稳定再现的图像范围。我们训练一个小的面部特定的神经隐式表示网络映射到这个流形捕捉到的脸，并补充它与翘曲计划，以获得自由视点新颖的视图合成。我们展示了我们的方法-由于其精确的相机控制-如何将预训练的StyleGAN集成到标准的3D渲染管道中，例如，立体渲染或在合成3D环境中一致地插入面部。我们的解决方案提出了第一个真正的自由视点渲染的现实面孔在互动的速度，只使用少量的休闲照片作为输入，同时允许语义编辑功能，如面部表情或照明变化。
2021-09-20 cs.CV cs.GR
PS4PRO: Pixel-to-pixel Supervision for Photorealistic Rendering and Optimization
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出使用视频帧插值作为神经渲染的数据增强方法，并设计了轻量高质的PS4PRO模型作为隐式世界先验，有效扩充数据集并提升了静态与动态场景的3D重建性能。
2025-05-28 cs.CV eess.IV
Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
Stony Brook University（石溪大学）；Adobe Research（奥多比研究院）
Rig3DGS利用3D高斯泼溅和可学习先验的变形方法，从随意单目视频创建可控3D人物肖像，实现高效训练和精确控制面部表情、头部位置及视图合成。
2024-02-06 cs.CV
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Tsinghua University（清华大学）；Li Auto（利亚自动）
GeoDiff4D通过几何感知扩散模型，结合表面法线和表情编码器，实现了高保真的4D头像重建，提升了视觉质量和跨身份泛化能力。
2026-03-12 cs.CV
Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset
Netflix Eyeline Studios；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出Lux Post Facto，一种基于条件视频扩散模型和混合数据集的人像视频重打光方法，通过新的照明注入机制实现精确控制，在真实感和时间一致性上达到SOTA。
2025-04-02 cs.CV cs.GR
FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from Sparse Views
University of Maryland, College Park（马里兰大学帕克分校）；Amazon.com, Inc.（亚马逊公司）
我们提出了FlexNeRF，一种用于从单目视频中对运动中的人类进行真实感自由视点渲染的方法。我们的方法适用于稀疏视图，这是一个具有挑战性的情况下，当主体表现出快速/复杂的运动。我们提出了一种新的方法，共同优化规范的时间和姿势配置，与姿势相关的运动场和姿势无关的时间变形相互补充。由于我们新颖的时间和循环一致性约束以及对中间表示（如分割）的额外损失，我们的方法提供了高质量的输出，因为观察到的视图变得稀疏。我们的经验表明，我们的方法显着优于国家的最先进的公共基准数据集以及自我捕获的时尚数据集。该项目的网页可在：https://flex-nerf.github.io/
2023-03-25 cs.AI cs.CV cs.LG
Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering
针对现有方法将反射误认为几何导致重建质量差的问题，提出基于3DGS的Ref-Unlock框架，通过双分支与高阶球谐函数解耦反射，结合伪深度图和几何约束，提升真实场景渲染质量与编辑能力。
2025-07-08 cs.CV
HISR: Hybrid Implicit Surface Representation for Photorealistic 3D Human Reconstruction
Meta
提出一种由不透明与半透明双层表面组成的混合隐式表示，通过双SDF与分层渲染，实现高保真人体重建，在人体及通用物体上达到先进水平。
2023-12-28 cs.CV
DT-NeRF: Decomposed Triplane-Hash Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出DT-NeRF框架，通过分解三平面表示嘴部与面部特征，并利用audio-mouth-face transformer融合音频残差与NeRF加性体积渲染，实现高保真说话人像合成。
2023-09-14 cs.CV
CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；LG Electronics（LG电子）
CAP4D提出一种可变形多视图扩散模型，从1至100张参考图像重建逼真4D人像头像并实时动画化，在单、少、多图像重建中达到最先进性能，弥合了单图与多视图技术的视觉保真度差距。
2024-12-16 cs.CV
Portrait Video Editing Empowered by Multimodal Generative Priors
University of Science and Technology of China（中国科学技术大学）
提出PortraitGen肖像视频编辑方法，通过构建动态3D Gaussian场和Neural Gaussian Texture机制，结合多模态生成先验与表情指导，实现了高一致性、超100FPS且支持文本与图像驱动等多种编辑应用的高质量视频编辑。
2024-09-20 cs.CV cs.GR
HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出HyperStyle3D，利用超网络在单次前向传播中调控3D感知GAN生成器参数，并以CLIP提供文本引导，实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
Envisioning a Next Generation Extended Reality Conferencing System with Efficient Photorealistic Human Rendering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Miami（迈阿密大学）；Arizona State University（亚利桑那州立大学）；Futurewei Technologies（华为未来技术研究院）
本文构想了一种下一代扩展现实会议系统流水线，通过探索基于NeRF的加速自由视点合成算法，在保证渲染质量的同时大幅提升训练和推理速度，为构建沉浸式元宇宙会议提供了设计基础。
2023-06-28 cs.CV cs.GR cs.LG
Render-FM: Feedforward Model for Real-time Photorealistic Volumetric Rendering
United Imaging Intelligence（联合影像智能）
提出Render-FM前馈模型，直接从CT体积回归6D高斯溅射参数，实现2.8秒实时渲染，速度提升500倍，并引入解剖引导初始化提升医学图像渲染质量。
2026-06-24 cs.AI cs.CV
FastNeRF: High-Fidelity Neural Rendering at 200FPS
Microsoft（微软）
最近关于神经辐射场（NeRF）的工作展示了如何使用神经网络来编码复杂的3D环境，这些环境可以从新的视角进行逼真的渲染。渲染这些图像的计算要求非常高，即使在高端硬件上，最近的改进距离实现交互速率仍然有很长的路要走。受移动和混合现实设备场景的启发，我们提出了FastNeRF，这是第一个基于NeRF的系统，能够在高端消费GPU上以200 Hz的频率渲染高保真逼真的图像。我们的方法的核心是一个图形启发的因式分解，它允许（i）在空间中的每个位置处压缩缓存深度辐射图，（ii）使用光线方向有效地查询该图以估计渲染图像中的像素值。大量的实验表明，该方法比原来的NeRF算法快3000倍，至少比现有的工作加速NeRF一个数量级，同时保持视觉质量和可扩展性。
2021-04-15 cs.CV
Deep Learning for Spacecraft Pose Estimation from Photorealistic Rendering
University of Surrey（萨里大学）
空间交会、对接和碎片清除中的在轨邻近操作需要在大范围照明条件下和针对高度纹理化背景（即，地球本文研究了利用深度学习和真实感渲染进行已知非合作航天器的单目姿态估计。首先，我们提出了一个模拟器建立在虚幻引擎4，命名为URSO，产生标记的图像的航天器绕地球运行，可用于训练和评估神经网络。其次，我们提出了一个基于方向软分类的姿态估计的深度学习框架，该框架允许将方向模糊建模为高斯混合。这一框架在URSO数据集和欧空局构成估计挑战上都进行了评估。在这次比赛中，我们最好的模型在合成测试集上获得第三名，在真实测试集上获得第二名。此外，我们的研究结果显示了几个架构和训练方面的影响，我们定性地展示了在URSO数据集上学习的模型如何在来自太空的真实图像上执行。
2019-08-29 cs.CV cs.LG cs.RO
Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对现有扩散模型无法在单图场景中生成一致光照的真实感物体插入效果的问题，提出以个性化大扩散模型引导物理逆渲染，恢复光照与色调映射参数，实现真实感合成及材质、色调映射自动优化。
2024-08-19 cs.AI cs.CV cs.GR
Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar
Tsinghua University, Tencent AI Lab（清华大学）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）
本文提出了一种基于神经点的体积人像方法，通过高分辨率UV位移图约束神经点，提升建模能力和表达控制精度，有效处理复杂面部区域。
2026-02-19 cs.CV
AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs
Imperial College London（伦敦帝国学院）
在过去的几年里，许多人脸分析任务已经取得了惊人的性能，应用包括人脸生成和3D人脸重建从一个单一的“在野外”的图像。然而，据我们所知，没有方法可以从“野外”图像中生成渲染就绪的高分辨率3D人脸，这可以归因于：（a）用于训练的可用数据稀缺，以及（b）缺乏可以成功应用于非常高分辨率数据的鲁棒方法。在这项工作中，我们介绍了第一种方法，能够重建逼真的渲染准备的3D面部几何和BRDF从一个单一的“在野外”的图像。我们捕获了一个关于面部形状和反射率的大型数据集，并将其公开。我们定义了一个快速的面部真实感微分绘制方法，精确的面部皮肤漫反射和镜面反射，自遮挡和次表面散射近似。有了这个，我们训练一个网络，该网络将面部漫反射和镜面反射BRDF分量从具有烘焙照明的形状和纹理中分离出来，用最先进的3DMM拟合方法重建。我们的方法优于现有技术的一个显着的利润率和重建高分辨率的3D人脸从一个单一的低分辨率图像，可以在各种应用程序中渲染，和桥梁的恐怖谷。
2021-12-11 cs.CV cs.GR
A Convolutional Neural Deferred Shader for Physics Based Rendering
School of Computing Science, University of Glasgow（Glasgow大学计算机科学学院）
本文提出pbnds+，一种基于物理的神经延迟着色管道，利用卷积神经网络减少参数并提升着色与重照明性能，同时引入能量正则化以应对黑暗照明场景。
2025-12-22 cs.CV
Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition
Peking University（北京大学）；The University of Sydney（悉尼大学）；Baidu Inc.（百度公司）
虽然动态神经辐射场（NeRF）在说话肖像的高保真3D建模方面取得了成功，但缓慢的训练和推理速度严重阻碍了它们的潜在用途。在本文中，我们提出了一个有效的NeRF为基础的框架，使实时的【形】合成说话的肖像和更快的收敛，利用最近的成功，基于网格的NeRF。我们的关键见解是将固有的高维说话肖像表示分解为三个低维特征网格。具体地，分解的音频空间编码模块利用3D空间网格和2D音频网格对动态头部进行建模。躯干是处理与另一个二维网格在一个轻量级的伪三维变形模块。这两个模块都在保证渲染质量的前提下注重效率。大量的实验表明，我们的方法可以生成逼真的和音频嘴唇同步说话的人像视频，同时也是高效的相比，以前的方法。
2022-11-22 cs.CV
