BGGAN: Bokeh-Glass Generative Adversarial Network for Rendering Realistic Bokeh
Nanjing University of Information Science & Technology（南京信息工程大学）；Southeast University（东南大学）；Nanjing University of Science & Technology（南京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing Artificial Intelligence Chip Research, Institute of Automation, Chinese Academy of Sciences (AiRiA)（中国科学院自动化研究所南京人工智能芯片创新研究院）
使用散景效果拍摄的照片通常意味着焦点对准的对象是清晰的，而焦点外的区域都是模糊的。DSLR可以很容易地自然呈现这种效果。然而，由于传感器的限制，智能手机无法直接捕捉具有景深效果的图像。在本文中，我们提出了一种名为Glass-Net的新型生成器，它不依赖于复杂的硬件来生成散景图像。同时，在模型的微调阶段，将基于GAN的方法和感知损失相结合，以渲染逼真的散景效果。此外，实例规范化（IN）在我们的网络中重新实现，这确保了我们的tflite模型与IN可以在智能手机GPU上加速。实验表明，我们的方法是能够呈现一个高品质的散景效果和处理一个$1024 \times 1536$像素的图像在1.9秒的所有智能手机芯片组。该方法在AIM 2020渲染真实散景挑战赛第1和第2轨道中排名第一。
2020-11-04 cs.CV eess.IV
BokehFlow: Depth-Free Controllable Bokeh Rendering via Flow Matching
针对现有散景渲染依赖深度输入、可控性与效率不足的问题，本文提出基于流匹配的无深度框架BokehFlow，支持文本控制聚焦区域与模糊强度，在渲染质量和效率上优于现有方法。
2025-11-19 cs.CV
Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance
School of Computer and Information Engineering, Jiangxi Normal University（江西师范大学计算机与信息工程学院）；School of Digital Industry, Jiangxi Normal University（江西师范大学数字产业学院）；School of Computer Science, National University of Defense Technology（国防科技大学计算机学院）
本文提出一种基于自定义焦平面与光圈提示的可控散景渲染方法，并构建可变光圈散景数据集 VABD，以 4.4M 参数量实现轻量且具竞争力的真实散景模拟。
2024-10-18 cs.CV
BokehMe: When Neural Rendering Meets Classical Rendering
Huazhong University of Science and Technology（华中科技大学）；Adobe Research（奥多比研究院）
我们提出了BokehMe，一个混合散景渲染框架，它将神经渲染器与经典的物理渲染器结合在一起。给定单个图像和可能不完美的视差图，BokehMe生成具有可调模糊大小、焦平面和光圈形状的高分辨率照片级真实散景效果。为此，我们分析了经典的基于散射的方法的误差，并推导出一个公式来计算误差图。基于这个公式，我们实现了经典的渲染器的散射为基础的方法，并提出了一个两阶段的神经渲染器，以修复错误的领域，从经典的渲染器。神经渲染器采用动态多尺度方案来有效地处理任意模糊大小，并且它被训练来处理不完美的视差输入。实验表明，我们的方法相比，优于以往的方法在合成图像数据和真实图像数据预测的视差。用户研究进一步进行了验证我们的方法的优点。
2022-06-25 cs.CV
Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors
Huazhong University of Science and Technology（华中科技大学）
本文提出 D2F 框架，利用散焦幻觉、辐射度虚拟化与分层融合，从单张全聚焦图像生成物理准确且保持清晰聚焦区域的真实散景，并在挑战赛中获亚军。
2023-06-07 cs.CV
MPIB: An MPI-Based Bokeh Rendering Framework for Realistic Partial Occlusion Effects
Huazhong University of Science and Technology（华中科技大学）；Adobe Research（Adobe研究院）
部分遮挡效应是指摄像机附近的模糊对象是半透明的，从而导致被遮挡背景的部分外观的现象。然而，现有的散景渲染方法具有挑战性，以模拟真实的部分遮挡效果，由于在一个全聚焦图像中的遮挡区域的丢失信息。受可学习的3D场景表示，多平面图像（MPI）的启发，我们试图通过引入一种新的基于MPI的高分辨率散景渲染框架（称为MPIB）来解决部分遮挡问题。为此，我们首先分析了如何将MPI表示应用于散景渲染。在此基础上，我们提出了一个MPI表示模块结合背景修复模块来实现高分辨率的场景表示。然后，该表示可以被重用以根据控制参数渲染各种散景效果。为了训练和测试我们的模型，我们还设计了一个基于光线跟踪的散景生成器来生成数据。在合成图像和真实图像上的大量实验验证了该框架的有效性和灵活性。
2022-07-18 cs.CV
Adaptive Mask-based Pyramid Network for Realistic Bokeh Rendering
Centre for Research and Technology Hellas (CERTH)（希腊研究与技术中心）；Samsung Research UK（三星英国研究院）
散景效果突出显示对象（或图像的任何部分），同时模糊图像的其余部分，并创建视觉上愉快的艺术效果。由于移动设备上基于传感器的限制，基于机器学习（ML）的散景渲染作为一种可靠的替代方案已受到关注。在本文中，我们专注于基于ML的散景渲染的几项改进; i）高分辨率图像的设备性能，ii）使用用户可编辑的蒙版指导散景生成的能力，iii）产生不同模糊强度的能力。为此，我们提出了自适应基于掩码的金字塔网络（AMPN），它由掩码引导散景生成器（MGBG）块和拉普拉斯金字塔细化（LPR）块组成。MGBG由两个相互堆叠的轻量级网络组成，以生成散景效果，LPR对MGBG的输出进行细化和上采样，以生成高分辨率的散景图像。我们实现了i）通过我们的轻量级，移动友好的设计选择，ii）通过MGBG的堆叠网络设计和弱监督掩模预测方案，iii）通过手动或自动编辑指导散景生成的掩模强度值。除了这些功能，我们的研究结果表明，AMPN产生竞争力或更好的结果相比，现有的方法对EBB！数据集，同时比替代品更快，更小。
2022-10-28 cs.CV
Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；vivo BlueImage Lab, vivo Mobile Communication Co., Ltd.（vivo BlueImage实验室，vivo移动通信有限公司）；Shenzhen University of Advanced Technology（深圳大学）
本文提出MagicBokeh框架，通过替代训练策略和聚焦感知的掩码注意力机制，联合优化bokeh渲染与超分辨率，提升可控性和视觉保真度，并引入降质感知深度模块以提高低质量输入的深度估计准确性。
2026-05-11 cs.CV
Boosting Monocular Metric Depth Estimation via Bokeh Rendering
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Beihang University（北航大学）
提出BokehDepth两阶段框架，利用物理生成模型产生校准散景堆栈作为无监督几何信号，通过散景感知聚合模块提升单目深度估计的度量精度。
2026-05-25 cs.CV
Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network
Nanyang Technological University（南洋理工大学）；New York University（纽约大学）；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；East China Normal University（华东师范大学）；Shanghai Industrial Control Safety Innovation Technology Co., LTD（上海工业控制安全创新科技有限公司）
本文提出混合数据驱动与物理感知的CoCNet，通过预测逐像素弥散圆参数实现自然散景渲染，并研究基于散景的对抗攻击以欺骗视觉模型。
2023-11-29 cs.CV
Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh
Sensebrain Technology（Sensebrain科技）
在本文中，我们解决了单目散景合成的问题，我们试图从一个单一的全聚焦图像渲染一个浅景深的图像。与DSLR相机不同，由于移动光圈的物理限制，这种效果无法直接在移动相机中捕获。因此，我们提出了一种基于网络的方法，能够从单个图像输入渲染逼真的单眼散景。为此，我们引入了三种新的边缘感知散景损失，它们基于预测的单目深度图，在模糊背景的同时锐化前景边缘。然后使用对抗性损失对该模型进行微调，以生成逼真的散景效果。实验结果表明，我们的方法是能够产生一个愉快的，自然的散景效果与尖锐的边缘，同时处理复杂的场景。
2022-08-25 cs.CV eess.IV
Bokeh Rendering Based on Adaptive Depth Calibration Network
Tsinghua University（清华大学）
散景渲染是一种流行且有效的技术，用于摄影中，以创建美观的效果。它被广泛用于模糊背景和突出前景中的主题，从而将观众的注意力吸引到图像的主要焦点上。在传统的数码单反相机（DSLR）中，这种效果是通过使用大光圈镜头来实现的。这使得相机能够捕捉具有浅景深的图像，其中只有图像的一小部分区域处于清晰对焦状态，而图像的其余部分则是模糊的。然而，手机中嵌入的硬件通常比数码单反相机中的小得多，也更有限。因此，移动电话无法捕获自然的浅景深照片，这可能是移动摄影的重大限制。为了应对这一挑战，在本文中，我们提出了一种使用视觉Transformer进行散景渲染的新方法，这是一种最新的强大的深度学习架构。我们的方法采用了自适应深度校准网络，作为一个置信水平，以补偿单目深度估计的错误。该网络用于结合深度信息监督渲染过程，从而以高分辨率生成高质量的散景图像。我们的实验表明，我们提出的方法优于国家的最先进的方法，实现约24.7%的LPIPS的改善，并获得更高的PSNR分数。
2023-02-21 cs.CV
The First Controllable Bokeh Rendering Challenge at NTIRE 2026
NTIRE 2026
本文介绍了NTIRE 2026首个可控制的光斑渲染挑战的结果，展示了最有效的提交方法，8支队伍在最终测试阶段提交了有效解决方案，所有提交均在未见过的图像上进行评估，重点是人物和复杂细致的主体。
2026-05-06 cs.CV
Depth-aware Blending of Smoothed Images for Bokeh Effect Generation
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
散景效果在摄影中用于捕捉图像，其中较近的物体看起来锐利，其他所有东西都保持焦点之外。散景照片通常使用单镜头反射相机使用浅景深捕获。大多数现代智能手机都可以通过利用双后置摄像头或良好的自动对焦硬件来拍摄散景图像。然而，对于没有良好自动对焦硬件的单后置摄像头的智能手机，我们必须依靠软件来生成散景图像。这种系统对于在已经捕获的图像中生成散景效果也是有用的。本文提出了一种端到端的深度学习框架，用于从图像中生成高质量的散景效果。在单目深度估计网络的帮助下，原始图像和不同版本的平滑图像被混合以生成散景效果。将所提出的方法与基于显著性检测的基线和AIM 2019散景效果合成挑战中提出的许多方法进行比较。广泛的实验，以了解所提出的算法的不同部分。该网络是轻量级的，可以在0.03秒内处理高清图像。这种方法在AIM 2019散景效果挑战赛-感知跟踪中排名第二。
2020-05-28 cs.AI cs.CV eess.IV
The RealDefocus Benchmark for Defocus Deblurring
该研究针对单图像散焦去模糊评估难的问题，基于RealBokeh数据集构建RealDefocus基准测试，提供配对数据、分割及评估框架，并概述跨数据集验证协议，用于评估重建质量与泛化能力，项目页面公开。
2026-07-24 cs.CV
Stacked Deep Multi-Scale Hierarchical Network for Fast Bokeh Effect Rendering from a Single Image
IIT Madras（印度理工学院马德拉斯分校）；Jadavpur University（贾达普大学）；IIT Jodhpur（印度理工学院焦特布尔分校）
散景效果是摄影中最理想的效果之一，用于渲染艺术和美学照片。通常，它需要一台具有不同光圈和快门设置的DSLR相机以及一定的摄影技巧来产生这种效果。在智能手机中，使用计算方法和附加传感器来克服物理透镜和传感器的限制以实现这种效果。现有的方法大多利用额外的传感器数据或预训练的网络对场景进行精细的深度估计，有时使用人像分割预训练的网络模块来分割图像中的显著对象。由于这些原因，网络具有许多参数，成为运行时密集型，无法在中档设备上运行。在本文中，我们使用了一个端到端的深度多尺度层次网络（DMSHN）模型，用于从单目相机捕获的图像的直接散景效果渲染。为了进一步提高这种效果的感知质量，还提出了由两个DMSHN模块组成的堆叠模型。我们的模型不依赖于任何预先训练的网络模块进行单目深度估计或显著性检测，从而显着减少了模型的大小和运行时间。堆叠式DMSHN在大规模EBB上实现了最先进的结果!与当前最先进的模型相比，在处理高清质量图像时，运行时间减少约6倍。
2021-05-15 cs.AI cs.CV
GBSD: Generative Bokeh with Stage Diffusion
University of Connecticut（康涅狄格大学）；Baidu Research（百度研究院）
针对现有散景渲染方法存在伪影、灵活性不足等问题，提出结合潜在扩散模型与两阶段条件算法的GBSD模型，可在语义对象上渲染散景，在文生图和图生图场景均有效。
2024-04-17 cs.AI cs.CV
Frequency-Decomposed Avatar Representation for Varying Camera Distances
Università degli Studi di Genova（热那亚大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
CloseUpAvatar通过多尺度纹理混合实现高保真可动画全身体素颜饰，能根据摄像机距离动态调整渲染质量，提升渲染效率和真实感。
2026-09-28 cs.CV
Any-to-Bokeh: Arbitrary-Subject Video Refocusing with Video Diffusion Model
Zhejiang University（浙江大学）；vivo Mobile Communication Co., Ltd（vivo移动通信有限公司）
本文提出首个一步式视频扩散框架，利用多平面图像表示和渐进式训练，实现时间连贯、深度感知的可控视频散景渲染，优于现有基线。
2025-10-10 cs.AI cs.CV
STR-GQN: Scene Representation and Rendering for Unknown Cameras Based on Spatial Transformation Routing
National Cheng Kung University（国立成功大学）；National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）
几何感知模块在最近的深度学习架构中被广泛应用于场景表示和渲染。然而，这些模块需要可能无法准确获得的内在相机信息。在本文中，我们提出了一个空间转换路由（STR）机制来建模的空间属性，而不应用任何几何先验。STR机制将空间变换视为消息传递过程，并通过端到端可训练的神经网络来建模视图姿态和路由权重之间的关系。此外，一个职业概念映射（OCM）的框架，提出了场景融合过程中提供解释的理由。我们在几个数据集上进行了实验，结果表明，所提出的STR机制提高了生成查询网络（GQN）的性能。可视化结果表明，路径选择过程可以将观测信息从某个视图的一个位置传递到另一个视图的关联位置，从而体现了该模型在空间认知方面的优势。
2021-08-06 cs.CV
A Real-world Display Inverse Rendering Dataset
POSTECH；Meta
针对显示器-相机系统缺乏公开真实世界逆渲染数据集的问题，本文构建并校准了含LCD显示器和立体偏振相机的系统，捕获多样物体的逐光（OLAT）模式数据及真实几何形状，提供合成工具并评估现有方法，提出更优基线。
2025-08-20 cs.CV cs.GR
OpenIllumination: A Multi-Illumination Dataset for Inverse Rendering Evaluation on Real Objects
UC San Diego（加州大学圣地亚哥分校）；Zhejiang University（浙江大学）；OPPO US Research Center（OPPO美国研究中心）；Adobe Research（奥多比研究中心）
本研究推出真实世界多光照数据集OpenIllumination，含64个不同材质物体的超10.8万张多视角多光照图像及配套标注，可用于真实物体逆渲染与材质分解方法的定量评估，并已测试对比了数种前沿方法的性能。
2024-02-01 cs.CV
Deep UAV Localization with Reference View Rendering
ETH Zurich（苏黎世联邦理工学院）
提出了一种基于深度学习的非结构化环境下无人机定位方法。介绍了一种实时渲染引擎，该引擎在给定六自由度（DoF）相机姿态、相机模型、地理参考正射图像和高程图的情况下生成光学和深度图像。渲染引擎嵌入到基于学习的六自由度逆组成卢卡斯-卡纳德（ICLK）算法中，该算法能够鲁棒地对齐无人机拍摄的渲染图像和真实图像。为了学习环境变化下的对齐，该架构使用高分辨率的多年地图进行训练。评估表明，深度6DoF-ICLK算法的性能大大优于其不可训练的同类算法。为了进一步支持这一领域的研究，实时渲染引擎和附带的数据集与本出版物一起发布。
2020-08-11 cs.CV cs.RO
DiffCamera: Arbitrary Refocusing on Images
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Tongyi Lab（通义实验室）
针对图像生成后景深效果固定难修改的问题，提出DiffCamera扩散Transformer模型，通过模拟数据训练和堆叠约束实现任意点、任意模糊度的灵活重对焦，效果稳定，为摄影和生成式AI提供更强景深控制能力。
2025-09-30 cs.CV
Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
Tensor4D通过分层四维张量分解将动态场景表示为紧凑的时空表示，并结合多尺度分解从粗到细学习运动与细节，实现稀疏视角甚至单目输入下的高质量动态重建与渲染。
2023-04-13 cs.CV
DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering
Shanghai AI Laboratory（上海人工智能实验室）；S-Lab, NTU（南洋理工大学S-Lab实验室）；CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）
本文提出大规模高保真神经演员数据仓库 DNA-Rendering，通过多样受试者、丰富标注资产和多视角采集系统，为以人为中心渲染建立定量基准并揭示未来方向。
2023-09-30 cs.CV
Bokeh Diffusion: Defocus Blur Control in Text-to-Image Diffusion Models
S-Lab, Nanyang Technological University（S实验室，南洋理工大学）
提出Bokeh Diffusion框架，通过物理散焦模糊参数条件化扩散模型，结合混合训练流程和接地自注意力机制，实现场景一致的散景模糊控制，支持双向模糊强度调整和真实图像编辑。
2026-06-05 cs.CV cs.GR
Out-of-focus: Learning Depth from Image Bokeh for Robotic Perception
Stanford University（斯坦福大学）
在这个项目中，我们提出了一种新的方法来估计RGB图像的深度。传统上，大多数工作使用单个RGB图像来估计深度，这本身就很困难，通常会导致性能低下，即使有数千个数据示例也是如此。在这项工作中，我们交替使用多个RGB图像，同时改变相机镜头的焦点。该方法利用与焦点图像序列中的不同清晰度/模糊模式相关的自然深度信息，这有助于区分不同深度处的对象。由于不存在用于学习这种映射的数据集，因此我们使用定制的硬件收集自己的数据集。然后，我们使用卷积神经网络从堆叠的焦点图像中学习深度。对标准RGBD数据集和我们自己的数据集（从单个和多个图像中学习）进行了比较研究，结果验证了堆叠的焦点图像比仅使用单个RGB图像产生更好的深度估计。
2017-05-02 cs.CV cs.RO
Multi-View Motion Synthesis via Applying Rotated Dual-Pixel Blur Kernels
York University（约克大学）
肖像模式在智能手机相机上广泛使用，以提供增强的摄影体验。应用于在肖像模式下捕获的图像的主要效果之一是合成的浅景深（DoF）。合成DoF（或散景效果）选择性地模糊图像中的区域，以模仿使用具有宽光圈的大镜头的效果。此外，许多应用现在结合了新的图像运动属性（NIMAT）来模拟背景运动，其中运动与每个像素处的估计深度相关。在这项工作中，我们遵循的趋势，呈现NIMAT效果，通过引入一个修改的模糊合成过程中的肖像模式。特别是，我们的修改通过应用旋转模糊内核，可以从单个图像中高质量地合成多视图散景。给定合成的多个视图，我们可以生成类似于NIMAT效果的美学上逼真的图像运动。与原始NIMAT效果和其他类似的图像运动（如Facebook 3D图像）相比，我们定性地验证了我们的方法。我们的图像运动演示了平滑的图像视图过渡，对象边界周围的伪影较少。
2021-11-15 cs.CV
LensStyle: Learning the Optical Aesthetics for Controllable Stylized Lens Effect Rendering
School of AIA, Huazhong University of Science and Technology（华中科技大学AIA学院）
提出LensStyle框架，通过双路径控制器解耦连续光学参数调制与离散镜头风格条件，结合MultiLens数据集训练，实现可控风格化镜头效果渲染，性能优于现有方法。
2026-09-07 cs.CV
DSR: Direct Self-rectification for Uncalibrated Dual-lens Cameras
SenseTime Research（商汤科技研究院）
随着双镜头相机模块的发展，代表所捕获场景的第三维的深度信息变得可用于智能手机。它是通过立体匹配算法来估计的，将双镜头相机在稍微不同的视点处捕获的两个视图作为输入。景深渲染（也称为合成散焦或散景）是基于深度的应用的趋势之一。然而，为了在智能手机上实现快速深度估计，首先需要校正立体声对。在本文中，我们提出了一个具有成本效益的解决方案来执行双镜头相机的立体校正称为直接自校正，简称DSR1。它消除了每对双镜头相机单独离线校准的需要。此外，所提出的解决方案对轻微的运动是鲁棒的，例如，由于碰撞，双镜头相机在制造后。与以往的自校正方法不同，本文提出的方法以一种新的方式计算单应性，并且主图像的几何畸变为零。它是通过直接最小化原始主图像和变换后的从图像之间对应点的垂直位移来实现的。我们的方法在真实的和合成的立体图像对上进行了评估，并与校准校正或其他自校正方法相比产生了更优的结果
2018-09-26 cs.CV
Apple's Synthetic Defocus Noise Pattern: Characterization and Forensic Applications
本文研究了苹果设备人像模式图像中的合成模糊噪声模式，分析其特征并提出估计方法，探讨其在相机来源验证中的应用，提升取证准确性。
2026-03-04 cs.CR cs.CV eess.IV
Toy-GS: Assembling Local Gaussians for Precisely Rendering Large-Scale Free Camera Trajectories
South China University of Technology（华南理工大学）
针对大规模自由相机轨迹3D渲染的不规则分布与高显存占用难题，提出Toy-GS方法，通过自适应空间划分并行训练局部高斯，结合多视图约束与PPAC优化及区域融合，在提升渲染质量的同时降低显存消耗，取得SOTA结果。
2024-12-13 cs.CV
FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow
EverEx；Yonsei University（延世大学）；Korea University（高丽大学）
FlashRender是一种少步生成渲染框架，通过RETA、MeanFlow及在线策略流图蒸馏互补技术，实现25倍低采样成本下媲美多步基线的视频质量与几何一致性，且相机可控性更优。
2026-09-04 cs.CV
Shallow camera pipeline for night photography rendering
University of Milano - Bicocca（米兰比可卡大学）
我们引入了一个相机管道，用于在低光条件下渲染视觉上令人愉悦的照片，作为NTIRE2022夜间摄影渲染挑战的一部分。鉴于任务的性质，其中目标是由专家摄影师口头定义的，而不是依赖于明确的地面实况图像，我们设计了一个手工制作的解决方案，其特征在于浅结构和低参数计数。我们的流水线利用局部光增强器作为高动态范围校正的一种形式，然后对图像直方图进行全局调整，以防止结果被冲掉。我们按比例将图像去噪应用于较暗的区域，在那里它更容易被感知，而不会丢失较亮区域的细节。该解决方案在比赛中获得第五名，优先投票数与其他参赛作品相当，基于深度卷积神经网络。代码可在www.github.com/AvailableAfterAcceptance上获得。
2022-04-19 cs.CV
$\text{DC}^2$: Dual-Camera Defocus Control by Learning to Refocus
Google（谷歌）；University of Maryland, College Park（马里兰大学帕克分校）
提出$\ ext{DC}^2$双摄像头散焦控制系统，利用图像重新聚焦作为代理任务，在散焦去模糊、散景渲染和图像重新聚焦上超越现有技术，实现拍摄后创意散焦控制。
2023-04-06 cs.CV
Gaussian Splatting in Mirrors: Reflection-Aware Rendering via Virtual Camera Optimization
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；ETH Zurich（苏黎世联邦理工学院）
针对3D-GS在含镜面场景中反射渲染模糊不一致的问题，提出基于物理虚拟相机建模与优化的反射感知渲染方法，在公开和自建数据集上实现更优或相当效果，且训练耗时显著降低。
2024-10-02 cs.CV
SplatAD: Real-Time Lidar and Camera Rendering with 3D Gaussian Splatting for Autonomous Driving
Zenseact（森赛科科技）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出SplatAD，首次将3DGS用于自动驾驶动态场景的相机与激光雷达实时联合渲染，并在三个数据集上取得更优质量和一个数量级的速度提升。
2025-03-13 cs.CV cs.GR
Unconstrained Large-scale 3D Reconstruction and Rendering across Altitudes
The Johns Hopkins University Applied Physics Laboratory（约翰·霍普金斯大学应用物理实验室）；Department of Computer Science, The Johns Hopkins University（约翰·霍普金斯大学计算机科学系）
针对灾难救援等场景中因图像有限、无位姿相机和跨海拔极端视角差异导致3D建模困难的问题，开发了首个基于多类相机的3D重建与新视图合成公共基准数据集，并评估了现有方法的基线性能。
2025-04-29 cs.CV eess.IV
EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
Sony Semiconductor Solutions Corporation（索尼半导体解决方案公司）；University of Toronto（多伦多大学）
针对快速运动场景下新视角合成的难题，提出EventSplat方法，结合事件相机特性、事件转视频先验与样条插值，基于3D高斯泼溅实现比现有事件NeRF方法视觉效果更好、渲染速度快一个数量级的实时渲染。
2025-05-21 cs.CV
NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras
ShanghaiTech University（上海科技大学）；Degene；Google（谷歌）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与影像工程研究中心）
人类活动的4D重建和渲染是沉浸式VR/AR体验的关键，但目前的研究进展仍然无法在稀疏多视角RGB相机输入图像中恢复精细的几何和纹理效果。在本文中，我们提出了NeuralHumanFVV，一个实时的【形】神经人类性能捕获和渲染系统，以生成高质量的几何形状和照片般逼真的纹理的人类活动在任意新颖的意见。我们提出了一种神经几何生成方案，采用分层采样策略进行实时的【形】隐式几何推理，以及一种新的神经混合方案来生成高分辨率（例如，1 k）和照片般逼真的纹理导致新颖的视图。此外，我们采用神经法线混合来增强几何细节，并将我们的神经几何和纹理渲染制定为多任务学习框架。大量的实验证明了我们的方法的有效性，以实现高品质的几何和照片逼真的自由视点重建具有挑战性的人类表现。
2021-03-13 cs.CV
FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）
当前的生成对抗网络（GANs）生成肖像图像的照片级真实感渲染。将真实图像嵌入到这种模型的潜在空间中可以实现高级图像编辑。虽然最近的方法提供了相当大的语义控制（重新）生成的图像，他们只能生成一组有限的观点，不能显式地控制相机。3D虚拟和混合现实应用需要这样的3D相机控制。在我们的解决方案中，我们使用几张人脸图像来执行3D重建，并引入了GAN相机流形的概念，这是一个关键元素，可以让我们精确定义GAN可以稳定再现的图像范围。我们训练一个小的面部特定的神经隐式表示网络映射到这个流形捕捉到的脸，并补充它与翘曲计划，以获得自由视点新颖的视图合成。我们展示了我们的方法-由于其精确的相机控制-如何将预训练的StyleGAN集成到标准的3D渲染管道中，例如，立体渲染或在合成3D环境中一致地插入面部。我们的解决方案提出了第一个真正的自由视点渲染的现实面孔在互动的速度，只使用少量的休闲照片作为输入，同时允许语义编辑功能，如面部表情或照明变化。
2021-09-20 cs.CV cs.GR
Superaccurate Camera Calibration via Inverse Rendering
Technical University of Denmark（丹麦技术大学）；University of Southern Denmark（南丹麦大学）
摄像机校准的最普遍的例程是基于检测的明确定义的特征点上的一个专门制作的校准工件。这些可以是棋盘鞍点、圆、环或三角形，通常印刷在平面结构上。首先检测出特征点，然后利用特征点进行非线性优化，估计出摄像机内部参数，提出了一种基于逆绘制原理的摄像机标定方法。而不是仅仅依赖于检测到的特征点，我们使用的内部参数和校准对象的姿态的估计，隐式地呈现一个非真实感等效的光学功能。这使我们能够计算图像域中的逐像素差异，而不会出现插值伪影。然后，我们可以通过最小化像素最小二乘差异来改进内部参数的估计。通过这种方式，我们的模型优化了图像空间中的一个有意义的度量，假设相机传感器的噪声特性为正态分布，我们证明使用合成和真实的相机图像，我们的方法提高了估计相机参数的准确性相比，目前国家的最先进的校准例程。我们的方法还估计这些参数更强大的存在噪声和校准图像的数量是有限的情况下。
2020-03-20 cs.CV
Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata
York University（约克大学）；Samsung AI Center – Toronto（三星人工智能中心多伦多分部）
大多数相机图像由相机硬件以标准RGB（sRGB）格式渲染和保存。由于相机内的照片整理例程，非线性sRGB图像对于假定像素值和场景辐射之间的直接关系的计算机视觉任务是不期望的。对于这样的应用，优选线性原始RGB传感器图像。以原始RGB格式保存图像仍然不常见，这是由于大量存储需求和许多成像应用程序缺乏支持。已经提出了几种“原始重建”方法，其利用在捕获时从原始RGB图像采样并嵌入到sRGB图像中的专用元数据。此元数据用于参数化映射函数，以便在需要时将sRGB图像反渲染回其原始原始RGB格式。现有的原始重建方法依赖于简单的采样策略和全局映射来执行去渲染。本文介绍了如何通过联合学习采样和重建来改善去渲染结果。我们的实验表明，我们学习的采样可以适应图像内容，以产生比现有方法更好的原始重建。我们还描述了一个在线微调策略的重建网络，以进一步改善结果。
2022-06-03 cs.CV eess.IV
CRISTAL: Real-time Camera Registration in Static LiDAR Scans using Neural Rendering
Hasselt University - Digital Future Lab - Flanders（哈塞尔特大学-数字未来实验室-弗拉芒）
CRISTAL通过神经渲染技术实现静态LiDAR扫描中的实时相机定位，提供无漂移且具有正确度量尺度的跟踪，优于现有SLAM流程。
2025-11-20 cs.CV cs.GR
Global Latent Neural Rendering
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对可泛化新视角合成中单光线渲染忽略像素关联的问题，提出基于5维平面扫描体的卷积全局潜在渲染器ConvGLR，在低分辨率潜空间全局渲染，多数据集实验效果显著优于现有方法。
2024-03-08 cs.CV
EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
Max Plank Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Maryland（马里兰大学）
我们介绍了EgoRenderer，这是一种用于渲染由可穿戴的、以自我为中心的鱼眼相机捕获的人的全身神经化身的系统，该相机安装在帽子或VR头戴式设备上。我们的系统呈现逼真的新观点的演员和她的运动从任意虚拟相机的位置。从这种以自我为中心的图像渲染全身化身带来了独特的挑战，因为自上而下的视图和大的失真。我们通过将渲染过程分解为几个步骤来解决这些挑战，包括纹理合成，姿势构建和神经图像转换。对于纹理合成，我们提出了自我DPNet，一个神经网络，推断输入鱼眼图像和一个底层的参数化身体模型之间的密集对应关系，并从自我中心的输入中提取纹理。此外，为了对动态外观进行编码，我们的方法还学习了一个隐式纹理堆栈，该堆栈可以捕获姿势和视点之间的详细外观变化。为了生成正确的姿势，我们首先使用参数模型从自我中心视图估计身体姿势。然后，我们合成一个外部的自由视点姿态图像投影的参数模型，用户指定的目标视点。接下来，我们将目标姿态图像和纹理组合成组合特征图像，使用神经图像转换网络将其转换为输出彩色图像。实验评估表明，EgoRenderer能够生成一个人戴着一个以自我为中心的相机的现实自由视点化身。与几个基线的比较证明了我们方法的优势。
2021-11-24 cs.CV
3DGEER: 3D Gaussian Rendering Made Exact and Efficient for Generic Cameras
Bosch Research North America（博世北美研究部）；Bosch Center for AI（博世人工智能中心）
3DGEER提出了一种几何精确且高效的3D高斯渲染框架，通过闭合表达式实现精确渲染和优化，并在通用相机上实现了实时高效和高精度的光场渲染。
2026-03-12 cs.CV cs.GR
Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering
University of Cambridge（剑桥大学）
本文提出SRENDER方法，通过稀疏扩散和3D渲染生成静态场景的高效视频，使视频生成速度提升40倍，保持高质量和稳定性。
2026-01-14 cs.CV
Flying with Photons: Rendering Novel Views of Propagating Light
Vector Institute（矢量研究所）；University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
提出基于瞬态场的神经体渲染框架，利用皮秒级超快成像数据集，从移动视角合成光线传播视频，并渲染散射、折射等复杂光学效应及相对论效应。
2024-08-22 cs.CV eess.IV
Vid-CamEdit: Video Camera Trajectory Editing with Generative Rendering from Estimated Geometry
KAIST AI（韩国科学技术院人工智能研究所）；Sony AI（索尼人工智能实验室）；Sony Group Corporation（索尼集团）
针对视频相机轨迹编辑中数据有限、极端轨迹难处理的问题，提出Vid-CamEdit框架，通过估计时间一致几何结合几何引导的生成式渲染与分解微调，在新视角尤其是极端外推场景下生成效果优于基线。
2025-06-16 cs.CV
ENTIRE: Learning-based Volume Rendering Time Prediction
本文提出ENTIRE方法，通过提取体积结构特征和渲染参数，实现快速准确的体积渲染时间预测，并在不同框架和数据集上验证其高效性和适应性。
2026-04-20 cs.CV cs.GR cs.LG
Robust Camera Pose Refinement for Multi-Resolution Hash Encoding
Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；AI Institute of Seoul National University（首尔国立大学人工智能研究院）
最近提出了多分辨率散列编码以减少神经渲染（例如NeRF）的计算成本。该方法需要精确的摄像机姿态用于给定场景的神经渲染。然而，与以前的方法联合优化相机姿态和3D场景相反，使用多分辨率哈希编码的朴素的基于梯度的相机姿态细化方法严重恶化了性能。我们提出了一个联合优化算法来校准摄像机的姿态，并学习使用高效的多分辨率哈希编码的几何表示。散列编码的振荡梯度流干扰相机姿态的配准，我们的方法通过利用平滑插值加权来稳定散列网格上射线采样的梯度振荡来解决这个问题。此外，课程训练过程有助于学习逐层哈希编码，进一步提高姿势细化。在新颖视图合成数据集上的实验验证了我们的学习框架实现了最先进的性能和神经渲染的快速收敛，即使初始相机姿态未知。
2023-02-03 cs.AI cs.CV cs.GR
Holoported Characters: Real-time Free-viewpoint Rendering of Humans from Sparse RGB Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Saarbrücken Research Center for Visual Computing, Interaction and AI（萨尔布吕肯视觉计算、交互与人工智能研究中心）
提出首个基于稀疏RGB相机输入的4K分辨率实时人体自由视点渲染方法，通过骨骼驱动网格重建、视点相关纹理生成和图像精炼网络三阶段实现高保真渲染。
2024-07-25 cs.CV
