Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset
Netflix Eyeline Studios；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出Lux Post Facto，一种基于条件视频扩散模型和混合数据集的人像视频重打光方法，通过新的照明注入机制实现精确控制，在真实感和时间一致性上达到SOTA。
2025-04-02 cs.CV cs.GR
Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Inc.（奥多比公司）
Holo-Relighting提出一种从单张图像进行体积肖像重照明的方法，利用预训练3D GAN和照明条件模块，实现新颖视角与照明合成，并支持头部姿态相关效果，达到最先进的重照明质量。
2024-03-14 cs.CV
Neural Relighting and Expression Transfer On Video Portraits
ShanghaiTech University（上海科技大学）
照片般逼真的视频肖像重现有利于虚拟制作和众多VR/AR体验。这项任务仍然具有挑战性，因为再现的表情应该与光源相匹配，而照明应该根据新的环境进行调整。我们提出了一种神经重新照明和表情转移技术，将面部表情从源表演者转移到目标表演者的肖像视频，同时实现动态重新照明。我们的方法采用4D反射场学习，基于模型的面部性能捕获和目标感知神经渲染渲染。具体来说，给定目标表演者的OLAT的短序列，我们应用渲染到视频翻译网络来首先合成具有看不见的表达的新序列的OLAT结果。然后，我们设计了一个语义感知的面部归一化方案，以及多帧多任务学习策略来编码内容，分割和运动流，以可靠地推断反射场。这使我们能够同时控制面部表情和应用虚拟重新照明。大量的实验表明，我们的技术可以稳健地处理具有挑战性的表情和照明环境，并产生电影质量的结果。
2021-12-09 cs.CV cs.GR
IC-Portrait: In-Context Matching for View-Consistent Personalized Portrait
ETH Zurich（苏黎世联邦理工学院）；ZMO AI Inc.（ZMO人工智能公司）；Zhejiang University（浙江大学）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab实验室）
提出IC-Portrait框架，通过光照感知拼接和视角一致适应两个子任务，利用预训练扩散模型的上下文匹配能力，显著提升了个性化人像生成的身份保真度和视角一致性，并展现出3D感知重照明能力。
2025-01-31 cs.CV
EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
Qualcomm AI Research（高通人工智能研究）
该研究提出EdgeRelight360方法，基于HDR10标准用扩散模型实现文本生成360度HDRI贴图，可在移动设备端侧实时完成视频人像补光，兼顾隐私与低时延，为多类实时视频应用提供新方案。
2024-04-15 cs.CV
HarmoVid: Relightful Video Portrait Harmonization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（Adobe研究）
提出一种基于视频扩散模型和光照去闪烁方法，实现前景视频与目标背景场景在阴影、色调和光照强度上的协调，解决视频时域抖动问题。
2026-05-27 cs.CV
PortraitGen: Exemplar-Driven GRPO with Dual-Reward Guidance for Photorealistic Portrait Generation
Dalian University of Technology（大连理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Zhejiang University（浙江大学）；WeChat, Tencent Inc.（腾讯微信）
提出PortraitGen框架，通过将真实图像引入GRPO采样组并设计双奖励机制（OmniReward和AI-Portrait），有效抑制AI伪影，实现逼真肖像生成。
2026-06-26 cs.CV
NARRATE: A Normal Assisted Free-View Portrait Stylizer
ShanghaiTech University（上海科技大学）；University of Toronto（多伦多大学）
在这项工作中，我们提出了NARRATE，一种新颖的管道，可以同时编辑肖像照明和透视的照片逼真的方式。作为一种混合神经-物理人脸模型，NARRATE利用了几何感知生成方法和正常辅助物理人脸模型的互补优势。简而言之，NARRATE首先将输入的肖像反转为粗略的几何形状，并采用神经渲染来生成类似于输入的图像，以及产生令人信服的姿势变化。然而，反转步骤引入失配，带来具有较少面部细节的低质量图像。因此，我们进一步估计肖像法线以增强粗略的几何形状，创建高保真的物理人脸模型。特别是，我们融合了神经和物理渲染，以弥补不完美的反转，从而产生现实和视图一致的新颖的透视图像。在重光照阶段，以往的研究主要集中在单视点人像重光照上，忽视了不同视点之间的一致性，导致视点变化时光照效果不稳定、不一致。我们扩展了总重新照明，以解决这个问题，统一其多视图输入法线映射与物理人脸模型。NARRATE使用一致的法线贴图进行重新照明，施加交叉视图约束，并展示稳定和连贯的照明效果。我们的实验表明，NARRATE实现了更逼真，可靠的结果比以前的作品。我们进一步将NARRATE与动画和风格转换工具连接起来，支持姿势更改、光线更改、面部动画和风格转换，无论是单独还是组合，都具有摄影质量。我们展示了生动的自由视角面部动画以及3D感知的可重定向风格化，这有助于促进各种AR/VR应用，如虚拟电影摄影，3D视频会议和后期制作。
2022-07-20 cs.CV
Generative Portrait Shadow Removal
Adobe Inc.（奥多比公司）；Adobe Research（奥多比研究院）
针对人像阴影去除这一不适定问题，提出基于组合重利用框架训练的扩散模型生成式方法，搭配引导上采样网络保留细节，构建高保真数据集，可有效去除各类阴影且保留细节与光照，对真实场景对象鲁棒。
2024-10-07 cs.CV
CatPortrait: Taming Video Generative Models for Portrait Animation via In-context Conditioning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；University of Science and Technology of China（中国科学技术大学）
本文提出CatPortrait框架，通过3D人脸引导作为上下文条件，在保留预训练图像转视频模型先验的前提下实现可控人像动画，支持视频与音频驱动，实验显示其效果具竞争力或更优。
2026-10-14 cs.CV
PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学 cyber 系统与控制研究所）；Digital Object Identifier（数字对象标识符）
PAGE是一种通用的扩散生成优化框架，通过PSR、CCG、DG技术提升伴随语音手势人像视频的局部细节与视听对齐，构建了中文基准数据集CAS，在PATS和CAS上实现最优性能。
2026-10-12 cs.CV
LightPainter: Interactive Portrait Relighting with Freehand Scribble
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Inc.（奥多比公司）
最近的肖像重新照明方法已经实现了肖像照明效果的逼真结果，给出了期望的照明表示，例如环境图。然而，这些方法对于用户交互来说并不直观，并且缺乏精确的照明控制。我们介绍LightPainter，一个基于涂鸦的重新照明系统，允许用户轻松地交互式操纵肖像照明效果。这是通过两个条件神经网络，一个愉快的模块，恢复几何形状和肤色可选条件下，和一个基于涂鸦的模块重新照明。为了训练重新照明模块，我们提出了一种新的涂鸦模拟过程来模仿真实的用户涂鸦，这使得我们的管道进行训练，没有任何人为的注释。我们通过定量和定性实验展示了高质量和灵活的人像照明编辑能力。与商业照明编辑工具的用户研究比较也表明了用户对我们方法的一致偏好。
2023-03-22 cs.CV cs.GR
Follow Your Motion: A Generic Temporal Consistency Portrait Editing Framework with Trajectory Guidance
提出一种通用肖像编辑框架FYM，利用扩散模型学习运动轨迹并引入动态重加权注意力机制，以解决说话头编辑中的时间一致性问题，优于现有方法。
2025-03-28 cs.CV
DiffusionRig: Learning Personalized Priors for Facial Appearance Editing
Adobe（奥多比）；UC San Diego（加州大学圣迭戈分校）
DiffusionRig利用少量个人照片训练个性化扩散先验，以粗略3D人脸模型为条件操控光照、表情和姿态，实现高保真面部外观编辑。
2023-04-13 cs.CV cs.GR
Portrait Video Editing Empowered by Multimodal Generative Priors
University of Science and Technology of China（中国科学技术大学）
提出PortraitGen肖像视频编辑方法，通过构建动态3D Gaussian场和Neural Gaussian Texture机制，结合多模态生成先验与表情指导，实现了高一致性、超100FPS且支持文本与图像驱动等多种编辑应用的高质量视频编辑。
2024-09-20 cs.CV cs.GR
FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）
当前的生成对抗网络（GANs）生成肖像图像的照片级真实感渲染。将真实图像嵌入到这种模型的潜在空间中可以实现高级图像编辑。虽然最近的方法提供了相当大的语义控制（重新）生成的图像，他们只能生成一组有限的观点，不能显式地控制相机。3D虚拟和混合现实应用需要这样的3D相机控制。在我们的解决方案中，我们使用几张人脸图像来执行3D重建，并引入了GAN相机流形的概念，这是一个关键元素，可以让我们精确定义GAN可以稳定再现的图像范围。我们训练一个小的面部特定的神经隐式表示网络映射到这个流形捕捉到的脸，并补充它与翘曲计划，以获得自由视点新颖的视图合成。我们展示了我们的方法-由于其精确的相机控制-如何将预训练的StyleGAN集成到标准的3D渲染管道中，例如，立体渲染或在合成3D环境中一致地插入面部。我们的解决方案提出了第一个真正的自由视点渲染的现实面孔在互动的速度，只使用少量的休闲照片作为输入，同时允许语义编辑功能，如面部表情或照明变化。
2021-09-20 cs.CV cs.GR
Learning Illumination from Diverse Portraits
Google Research（谷歌研究院）；Google（谷歌）
我们提出了一种基于学习的技术，用于从在任意室内或室外照明条件下捕获的单个低动态范围（LDR）人像图像中估计高动态范围（HDR）、全向照明。我们训练我们的模型使用肖像照片搭配他们的地面真相环境照明。我们通过使用光台记录70个不同主题的反射场和各种表情的阿尔法哑光来生成一组丰富的这样的照片。然后，我们使用基于图像的重新照明与100万个HDR照明环境的数据库重新照亮主体，将重新照亮的主体合成到照明采集期间记录的成对高分辨率背景图像上。我们使用基于渲染的损失函数训练照明估计模型，并添加多尺度对抗损失来估计合理的高频照明细节。我们表明，我们的技术优于最先进的技术，基于肖像的照明估计，我们还表明，我们的方法可靠地处理整体照明强度和表面亮度之间的固有模糊性，恢复类似的照明规模为不同肤色的主题。我们证明，我们的方法允许虚拟对象和数字字符被添加到一个一致的照明人像照片。我们的照明推理在智能手机上实时运行，使逼真的渲染和合成的虚拟对象到现场视频的增强现实应用程序。
2020-08-05 cs.CV cs.GR
PortraitAes: Intent-Conditioned Structured Portrait Aesthetic Assessment
Southeast University（东南大学）；Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部）
提出PortraitAes，一种基于摄影意图的结构化人像美学评估方法，通过11K基准和专家评分标准分解任务，在多任务训练及分数校准后，在标准与困难基准上显著超越现有通用和专门模型。
2026-10-23 cs.CV
ID-Sculpt: ID-aware 3D Head Generation from Single In-the-wild Portrait Image
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab, Tencent（腾讯优图实验室）
提出ID-Sculpt框架，通过几何初始化、雕刻和纹理生成三阶段融合身份信息，从单张非受限人脸图像生成高质量3D头部。
2024-12-22 cs.CV
NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
在不同的光照条件下，从不同的视角观察人像，人像呈现出不同的面貌。我们可以很容易地想象在另一种设置下的脸会是什么样子，但由于观察有限，计算机算法仍然无法解决这个问题。为此，我们提出了一个系统的人像视图合成和重新照明：给定多个肖像，我们使用一个神经网络来预测在3D空间中的光传输场，并从预测的神经光传输场（NeLF）产生一个肖像从一个新的相机视图下一个新的环境照明。我们的系统在大量的合成模型上进行了训练，并且可以在各种光照条件下推广到不同的合成和真实肖像。我们的方法实现了同时视图合成和重新照明给定的多视角人像作为输入，并取得了国家的最先进的结果。
2021-07-26 cs.CV cs.GR
Face Swap via Diffusion Model
提出基于扩散模型的人脸交换框架，结合IP-Adapter、ControlNet和修复流程，通过DreamBooth-LoRA保证身份一致性，并利用面部引导优化提升对齐质量。
2024-05-29 cs.CV
Domain Generalizable Portrait Style Transfer
提出一种域泛化人像风格迁移方法，利用语义适配器建立密集对应，通过AdaIN-小波变换平衡内容与风格，结合双条件扩散模型生成高质量结果。
2025-07-08 cs.AI cs.CV
AniFaceDrawing: Anime Portrait Exploration during Your Sketching
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
针对从不完整粗糙草图生成高质量动漫肖像的难题，提出基于StyleGAN隐空间探索的两阶段笔画级解耦渐进式S2I系统，可在手绘过程中实时生成对应高质量动漫肖像，经评估和用户研究验证了艺术创作辅助的有效性。
2023-06-13 cs.CV cs.GR
Structure-Guided Diffusion Models for High-Fidelity Portrait Shadow Removal
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部人工智能与先进计算重点实验室）
本文提出一种基于扩散模型的人像阴影去除方法，通过提取阴影无关结构图引导图像修复扩散模型去除阴影，并利用梯度指导训练细节恢复模型，在基准数据集上显著优于现有方法。
2025-07-14 cs.CV
Neural Video Portrait Relighting in Real-time via Consistency Modeling
ShanghaiTech University（上海科技大学）；Deemos Technology（Deemos科技）；University of Chinese Academy of Sciences（中国科学院大学）
视频人像重新照明在面向用户的人体摄影中至关重要，特别是对于沉浸式VR/AR体验。由于缺乏视频一致性监控，最近的进展仍然无法从单目RGB流中恢复动态照明下一致的重映结果。在本文中，我们提出了一种用于实时的【形】，高质量和连贯的视频肖像重新照明的神经方法，该方法使用新的动态OLAT数据集联合建模语义，时间和照明一致性。我们提出了一种混合结构和照明解纠缠的编码器-解码器架构，它结合了多任务和对抗训练策略的语义感知的一致性建模。我们采用了一个时间建模方案，通过基于流的监督，以交叉的方式编码共轭的时间一致性。我们还提出了一个照明采样策略，以模拟照明一致性和突变的自然人像光操纵在现实世界中。大量的实验证明了我们的方法的有效性，一致的视频肖像光编辑和重新照明，即使使用移动计算。
2021-04-01 cs.CV cs.GR
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China（中国科学技术大学）；Central Media Technology Institute, Huawei（华为中央媒体技术研究所）；Nanjing University（南京大学）
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画，提升动画质量和可控性。
2025-12-17 cs.CV
Controllable Light Diffusion for Portraits
Google Research（谷歌研究院）；CTU in Prague（布拉格捷克理工大学）；University of Washington（华盛顿大学）
提出一种基于学习的可控光扩散方法，仅需单张人像照片即可柔化阴影和高光，并合成次表面散射阴影，提升高级视觉任务鲁棒性。
2023-05-08 cs.CV cs.GR
Beyond Wide-Angle Images: Structure-to-Detail Video Portrait Correction via Unsupervised Spatiotemporal Adaptation
针对广角视频畸变导致的人像面部拉伸问题，提出结合Transformer与扩散模型的ImagePC及无监督时空自适应的VideoPC，实现稳定自然的高保真人像校正。
2025-08-06 cs.AI cs.CV
Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Yale University（耶鲁大学）；ETH Zürich（苏黎世联邦理工学院）；OPPO US Research Center（OPPO美国研究中心）
针对现有文本到3D人像生成方法仅依赖几何先验导致的雅努斯问题、过平滑等缺陷，提出Portrait3D框架，结合金字塔三网格表示与GAN先验，通过扩散蒸馏和迭代优化生成高质量3D人像。
2024-04-16 cs.CV
Total-Editing: Head Avatar with Editable Appearance, Motion, and Lighting
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
Total-Editing提出统一肖像编辑框架，结合神经辐射场内在分解与移动最小二乘变形场，实现外观、动作和光照的精确控制，提升编辑质量与真实感。
2025-05-26 cs.CV
Real-time 3D-aware Portrait Video Relighting
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Jiaotong University（北京交通大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Cardiff University（卡迪夫大学）；City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology（香港科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science, Peking University（北京大学计算机学院）
针对现有说话人脸视频重光照方法耗时或不能调整视角的问题，提出基于NeRF的实时3D感知框架，通过双编码器三平面表示与时间一致性网络实现新视角、新光照下的高质量合成。
2024-10-24 cs.CV cs.GR
DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation
State Key Lab of CAD and CG, Zhejiang University（浙江大学CAD与CG国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）；College of William & Mary（威廉玛丽学院）；Tsinghua University（清华大学）
本文提出DiLightNet，一种三阶段扩散模型光照控制方法，利用辐射提示引导生成过程，实现细粒度光照控制，无需精确几何，保留纹理细节并保持背景一致。
2024-05-28 cs.CV cs.GR
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
Microsoft Research（微软研究院）；Microsoft AI（微软人工智能）
提出一种结合因果视频VAE和自回归潜在去噪模型的流式说话人肖像视频生成框架，通过参考图像引导实现实时高质量生成。
2026-06-01 cs.CV
ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance
Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出ReFree-S2V框架，利用流匹配和预训练视频生成模型，通过多级语音表示和可学习选择器实现精细唇同步与自然表情，并引入无奖励强化学习生成自然头部运动，在唇同步准确性和自然度上达到最优。
2026-06-12 cs.CV
dualFace:Two-Stage Drawing Guidance for Freehand Portrait Sketching
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；The University of Tokyo（东京大学）
在本文中，我们提出了dualFace，一个肖像画接口，以帮助不同水平的绘图技能的用户完成可识别的和真实的人脸草图。dualFace由两个阶段的绘图辅助组成，以提供全局和局部视觉指导：全局指导，帮助用户绘制肖像的轮廓线（即，几何结构）和局部指导，其帮助用户绘制面部部分的细节（其符合用户绘制的轮廓线），其灵感来自肖像绘制中的传统艺术家工作流程。在全局引导阶段，用户绘制几条轮廓线，然后dualFace从内部数据库中搜索几张相关图像，并在画布的背景上显示建议的面部轮廓线。在局部指导阶段，我们用深度生成模型从用户绘制的轮廓线合成详细的肖像图像，但使用合成的结果作为详细的绘图指导。我们进行了一项用户研究来验证dualFace的有效性，我们证实dualFace可以显著帮助实现详细的肖像素描。请参阅http://www.jaist.ac.jp/~xie/dualface.html
2021-04-26 cs.CV cs.GR
Relighting Humans: Occlusion-Aware Inverse Rendering for Full-Body Human Images
University of Tsukuba（筑波大学）；Toyohashi University of Technology（丰桥技术科学大学）
人类图像的重新照明在图像合成中具有各种应用。为了重新照明，我们必须从一幅人物肖像中推断出肖像、形状和照明。以前的技术依赖于人脸进行这种推断，基于球面谐波（SH）照明。然而，因为它们经常忽略光遮挡，推断的形状是有偏见的，并且重新照明图像是不自然的明亮，特别是在中空区域，如腋窝，裤裆或衣服皱纹。本文介绍了第一次尝试推断轻闭塞的SH制定直接。基于使用卷积神经网络（CNN）的监督学习，我们不仅推断出一个遮挡图，照明，而且还推断出一个光传输图，该图将遮挡编码为每个像素的9个SH系数。这种推断的主要困难是缺乏训练数据集，而人类肖像的变化是无限的。令人惊讶的是，通过仔细准备数据集，即使使用合成人物的小数据集也可以合理地推断包括遮挡在内的几何信息，以便CNN可以利用数据的一致性。我们的方法完成更现实的重照明比闭塞忽略配方。
2019-08-07 cs.CV cs.GR
HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出HyperStyle3D，利用超网络在单次前向传播中调控3D感知GAN生成器参数，并以CLIP提供文本引导，实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
ReliTalk: Relightable Talking Portrait Generation from a Single Video
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
ReliTalk提出从单目视频生成可重光照的音频驱动说话人肖像，通过分解反射率和动态估计光照，解决跨场景适配问题，并在真实和合成数据集上验证了优越性。
2023-09-05 cs.CV cs.GR
FaceSnap: Enhanced ID-fidelity Network for Tuning-free Portrait Customization
Vision AI System Lab, Nanjing University, Nanjing, China（南京大学视觉人工智能系统实验室）；Research and Development Department, Wonxing Technology, Shanghai, China（Wonxing技术有限公司研发部）
FaceSnap通过引入面部属性混合器和地标预测器，实现无需微调的高保真人像定制生成。
2026-01-31 cs.CV
Efficient Text-Guided 3D-Aware Portrait Generation with Score Distillation Sampling on Distribution
Tsinghua University（清华大学）；Baidu Inc.（百度公司）
针对文本到3D方法需逐提示优化且成本高的问题，提出DreamPortrait，通过分布级分数蒸馏、分层条件适配器、GAN正则化和3D感知门控交叉注意力，实现单次前向的高一致性3D感知人像生成。
2023-06-03 cs.CV
CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning
Harbin Institute of Technology（哈尔滨工业大学）；University of New South Wales（新南威尔士大学）
提出CogPortrait两阶段框架，利用多模态大语言模型智能体从高层标签生成关键点，再通过DiT视频生成骨干合成动画，实现细粒度眼部控制，并引入EMH基准评估。
2026-05-27 cs.CV
Before the Shutter: Aesthetic and Actionable Portrait Photography Planning in 3D Scenes
The Hong Kong Polytechnic University（香港理工大学）
提出在3D场景中生成人像姿态、相机、照明和曝光方案的方法，通过构建摄影场景图实现美学引导的规划，生成视觉上引人注目且几何与光度可行的人像。
2026-05-28 cs.AI cs.CV cs.GR
Relightable 3D Head Portraits from a Smartphone Video
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
在这项工作中，一个系统，用于创建一个relightable三维人像的人的头部。我们的神经管道对智能手机相机在闪光灯闪烁的情况下捕获的一系列帧进行操作（闪光灯-无闪光灯序列）。然后，通过运动恢复结构软件和多视图去噪重建的粗点云被用作几何代理。然后，训练深度渲染网络，以回归任意新视点的密集光照、法线和环境光照贴图。有效地，代理几何结构和渲染网络构成可重照明的3D肖像模型，其可以从任意视点并且在任意照明（例如，定向光、点光或环境图）下合成。该模型被拟合到具有人脸特定先验的帧序列中，该先验强制执行可重构照明分解，并以交互式帧速率操作。我们在不同的照明条件下，并在外推的观点，并与现有的重新照明方法进行比较，评估该方法的性能。
2020-12-17 cs.CV
STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
Imperial College London, UK（伦敦帝国理工学院）；FAU Erlangen–Nürnberg, Germany（埃朗根-纽伦堡大学）
研究提出STARCaster模型，通过重新思考参考和几何范式，采用组合方法及解耦学习，解决语音驱动肖像动画和动态视点控制问题，能有效泛化，超越先前方法。
2026-07-21 cs.CV
Consistent Feature Transport for Image Relighting
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；MT Lab, Meitu Inc.（美图公司MT实验室）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
研究图像重光照问题，提出一致特征传输（CFT）方法，基于整流流通过轨迹级监督联合建模噪声到图像生成及光照一致的源到目标传输，构建数据集实验验证，该方法能改进重光照并推广到其他编辑任务。
2026-07-21 cs.CV
Portrait Shadow Manipulation
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Google（谷歌）；MIT（麻省理工学院）
随意拍摄的肖像照片往往遭受不讨人喜欢的照明和阴影，因为在环境中的次优条件。美学品质，如阴影的位置和柔和度，以及面部明亮和黑暗部分之间的照明比例，通常是由环境的约束而不是由摄影师决定的。专业人士通过添加稀松布、反弹卡和闪光灯等光成形工具来解决这个问题。在本文中，我们提出了一种计算方法，让休闲摄影师的一些这种控制，从而使光线不足的肖像重新点燃后捕捉在一个现实的和易于控制的方式。我们的方法依赖于一对神经网络--一个用于去除外部物体投射的外来阴影，另一个用于柔化主体特征投射的面部阴影，并添加合成填充光以提高照明比率。为了训练我们的第一个网络，我们构建了一个真实世界肖像的数据集，其中合成的外国阴影被渲染到脸上，我们表明我们的网络学会了去除那些不需要的阴影。为了训练我们的第二个网络，我们使用人类主体的Light Stage扫描数据集来构建由小光源强烈照明的输入图像的输入/输出对，并对每个面部的软化和填充照明的输出图像进行降噪。我们提出了一种明确编码面部对称性的方法，并表明我们的数据集和训练过程使模型能够推广到野外拍摄的图像。这些网络共同实现了真实世界肖像图像中阴影和光线的逼真和美观增强
2020-05-20 cs.CV cs.GR
Pareto-Enhanced Portrait Generation: Vision-Aligned Text Supervision for Alignment, Realism, and Aesthetics
本文提出了一种多模态扩散变换器（MM-DiT）的特征监督方法，通过引入轻量级的跨模态对齐机制，隐式提取多粒度的视觉对齐文本表示，以提升文本-图像对齐、真实性和美学质量，从而在Pareto前沿上实现协同改进。
2026-05-20 cs.AI cs.CV
FrameDiffuser: G-Buffer-Conditioned Diffusion for Neural Forward Frame Rendering
FrameDiffuser通过基于G-buffer的自回归框架实现时间一致的神经渲染，结合结构引导和时间一致性，提升逼真度和效率。
2025-12-18 cs.CV cs.GR
NFL-BA: Near-Field Light Bundle Adjustment for SLAM in Dynamic Lighting
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California San Diego（加州大学圣地亚哥分校）
NFL-BA通过显式建模近场照明提升动态光照下SLAM性能，显著提高相机跟踪和建图效果。
2026-01-23 cs.CV
Neural Gaffer: Relighting Any Object via Diffusion
Cornell Tech, Cornell University（康奈尔大学康奈尔理工学院）；Zhejiang University（浙江大学）；Adobe Research（奥多比研究院）；University of Georgia（佐治亚大学）
本文提出端到端2D重新打光扩散模型Neural Gaffer，通过环境贴图条件化预训练扩散模型，无需显式场景分解即可对任意物体单图实现高精度泛化重打光，并支持文本重打光、物体插入及3D辐射场等下游任务。
2024-11-12 cs.AI cs.CV cs.GR
MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Michigan State University（密歇根州立大学）
生成对抗网络（GANs）的最新进展在人脸图像合成方面取得了显着成就。虽然使用基于样式的GANs的方法可以生成惊人的照片级真实感人脸图像，但通常很难以有意义和分离的方式控制生成的人脸的特征。现有方法的目的是在先前训练的GAN的潜在空间内实现这种语义控制和解纠缠。相比之下，我们提出了一个框架，先验模型的物理属性的脸，如3D形状，pendo，姿势和照明明确，从而提供解纠缠的设计。我们的方法MOST-GAN将基于样式的GANs的表现力和逼真度与非线性3D变形模型的物理解缠和灵活性相结合，我们将其与最先进的2D头发操作网络相结合。MOST-GAN实现了肖像图像的照片级逼真操作，对它们的物理属性进行完全分离的3D控制，实现了对照明，面部表情和姿势变化的极端操作，直到完整的轮廓视图。
2021-11-01 cs.AI cs.CV cs.GR
Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对现有扩散模型无法在单图场景中生成一致光照的真实感物体插入效果的问题，提出以个性化大扩散模型引导物理逆渲染，恢复光照与色调映射参数，实现真实感合成及材质、色调映射自动优化。
2024-08-19 cs.AI cs.CV cs.GR
See the Speaker: Crafting High-Resolution Talking Faces from Speech with Prior Guidance and Region Refinement
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Speech and Acoustic Laboratory, Joy Future Academy, Jingdong Corporation（语音与声学实验室、Joy Future Academy、京东公司）；Aarhus University（阿arhus大学）
本研究提出一种通过语音直接生成高分辨率说话面孔的方法，结合扩散模型与统计先验，实现高质量视频生成。
2025-10-28 cs.AI cs.CV cs.SD
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
我们提出了VoLux-GAN，这是一个生成框架，可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法，可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射，漫反射和镜面反射照明的贡献。此外，我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是，我们提出了一个数据增强技术，利用最新的进展，在单一图像的肖像重新照明，以执行一致的几何形状，反射，漫射和镜面反射组件。多个实验和与其他生成框架的比较表明，我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
