Neural Hamiltonian Deformation Fields for Dynamic Scene Rendering
Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学)
NeHaD通过哈密顿力学建模动态高斯点漂,实现物理真实的动态场景渲染与流媒体能力。
2025-12-11 cs.GR
One algebra for all : Geometric Algebra methods for neurosymbolic XR scene authoring, animation and neural rendering
FORTH - ICS, University of Crete(希腊研究基金会-计算机科学研究所,克里特大学);University of Western Macedonia(西马其顿大学);FORTH - ICS / University of Crete(希腊研究基金会-计算机科学研究所/克里特大学)
本文提出将几何代数作为统一数学框架,解决传统CG/XR中几何变换表示的精度性能问题,打通神经表征与几何推理,优化动画、渲染、神经场景编辑等任务效果。
2025-11-19 cs.GR
Volumetric Inverse Rendering via Neural Radiative Transfer
Max-Planck-Institut für Informatik(马克斯·普朗克计算机科学研究所);University College London(伦敦大学学院)
研究体积逆渲染问题,提出结合物理光传输与神经优化的方法,将介质光学属性和光场表示为神经场并联合优化,可从多视图图像重建相关参数,还能支持学习参与介质生成模型。
2026-07-16 cs.GR
Neural Lumigraph Rendering
Raxium(拉克瑟姆公司);Stanford University(斯坦福大学)
新视点合成是一个具有挑战性的不适定逆绘制问题。神经渲染技术最近已经实现了这一任务的照片级逼真的图像质量。然而,现有技术(SOTA)神经体渲染方法训练缓慢并且需要数分钟的推断(即,渲染)时间以获得高图像分辨率。我们采用高容量的神经场景表示与定期激活,共同优化隐式表面和辐射场的场景监督专门与构成的2D图像。我们的神经渲染管道加速SOTA神经体渲染约两个数量级,我们的隐式表面表示是独一无二的,允许我们导出一个网格与视图相关的纹理信息。因此,与其他隐式表面表示一样,我们的方法与传统的图形管道兼容,实现了实时渲染速率,同时实现了与其他表面方法相比前所未有的图像质量。我们使用现有的数据集以及使用自定义多相机钻机捕获的高质量3D人脸数据来评估我们方法的质量。
2021-03-22 cs.CV cs.GR
Real-time Rendering with a Neural Irradiance Volume
Huawei Technologies(华为技术);Graz University of Technology(格拉茨工业大学)
本文提出神经辐照度体积(NIV)技术,通过紧凑模型实现高精度实时 diffuse 全局光照渲染,提升质量并降低内存消耗。
2026-02-13 cs.GR
Neural Appearance Model for Cloth Rendering
针对布料渲染中基于纤维的微外观模型内存耗时高的问题,提出结合光路径追踪与轻量神经网络的聚合BSDF建模框架,搭配新型重要性采样加速收敛,经对比验证兼具效果与效率优势。
2024-08-19 cs.GR
NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights, and Materials of Real Object
Sony Group Corporation(索尼集团公司)
逆渲染的目标是分解几何体,灯光和材质给定姿势多视图图像。为了实现这一目标,我们提出了神经直接和联合逆绘制,NDJIR。与以往依赖于绘制方程近似的方法不同,NDJIR直接解决绘制方程中的积分问题,并利用强大灵活的体渲染框架、体素网格特征和贝叶斯先验知识,将几何:有符号距离函数、灯光:环境和隐式灯光、材料:基色、粗糙度、镜面反射率联合分解。我们的方法直接使用基于物理的渲染,所以我们可以无缝地导出一个提取的网格与材料的DCC工具,并显示材料转换的例子。我们进行了大量的实验,以表明我们提出的方法可以分解语义以及摄影测量设置中的真实物体和什么因素有助于准确的逆绘制。
2023-02-02 cs.CV cs.GR
Anisotropic Neural Representation Learning for High-Quality Neural Rendering
Southern University of Science and Technology(南方科技大学)
提出一种可插入NeRF框架的各向异性神经表示学习方法,利用球谐函数引导的可学习视图依赖特征并引入能量正则化消除模糊,显著提升了多场景下的渲染质量。
2024-03-11 cs.CV cs.GR
Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects
Zhejiang University(浙江大学);Google(谷歌)
作为人类,我们可以从给定的单个图像的任意视角理解和描绘熟悉的场景,而这对计算机来说仍然是一个巨大的挑战。因此,我们提出了一种新的解决方案,模仿这样的人类感知能力的基础上的一个新的范例的非模态三维场景理解与神经渲染的封闭场景。具体来说,我们首先通过离线阶段学习封闭场景中对象的先验知识,这有助于在线阶段理解具有不可见家具布置的房间。在在线阶段,给定不同布局的场景全景图像,我们利用基于整体神经渲染的优化框架来有效地估计正确的3D场景布局并提供逼真的自由视点渲染。为了处理离线和在线阶段之间的域间隙,我们的方法利用组合神经渲染技术在离线训练中进行数据增强。合成和真实数据集上的实验表明,我们的两个阶段的设计实现了强大的3D场景理解,并优于竞争方法的大幅度提高,我们也表明,我们的现实自由视点渲染,使各种应用,包括场景游览和编辑。代码和数据可在项目网页上获得:https://zju3dv.github.io/nr_in_a_room/。
2022-05-05 cs.CV cs.GR
FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks
University of California at Davis(加州大学戴维斯分校)
体数据在许多重要的科学和工程应用中被发现。即使使用专业级硬件,以高质量和交互速率为诸如虚拟现实之类的要求苛刻的应用渲染这些数据以进行可视化仍然是不容易实现的。我们介绍FoVolNet -一种显着提高体数据可视化性能的方法。我们开发了一个具有成本效益的中央凹渲染管道,稀疏采样的体积周围的焦点和重建的全帧使用深神经网络。中心凹渲染是一种围绕用户焦点优先渲染计算的技术。这种方法利用人类视觉系统的特性,从而在用户视野的外围渲染数据时节省计算资源。我们的重建网络结合了直接和内核预测方法,以产生快速,稳定和令人信服的输出。通过超薄设计和量化的使用,我们的方法在端到端帧时间和视觉质量方面都优于最先进的神经重建技术。我们进行了广泛的评估系统的渲染性能,推理速度和感知特性,我们提供了竞争的神经图像重建技术的比较。我们的测试结果表明,FoVolNet一贯实现显着节省时间比传统的渲染,同时保持感知质量。
2022-09-20 cs.GR cs.LG
Neural Rendering and Its Hardware Acceleration: A Review
Zhejiang Lab(之江实验室);Jiangsu Key Laboratory of ASIC Design (Wuxi)(江苏省专用集成电路设计重点实验室(无锡))
该综述梳理了神经渲染的技术内涵、挑战与研究进展,分析其硬件加速的共性需求与现有架构特点,探讨相关处理器架构的设计挑战并展望未来发展趋势。
2024-01-06 cs.CV cs.GR eess.IV
Learning Neural Transmittance for Efficient Rendering of Reflectance Fields
University of California San Diego(加州大学圣迭戈分校);Adobe Research(Adobe 研究院);Fyusion Inc.(Fyusion 公司)
近年来,神经反射场等神经体表示方法被广泛应用于真实世界物体和场景在新的视角和光照条件下的再现。然而,在复杂的光照条件下(如环境贴图)渲染这种表示仍然具有挑战性和耗时性,这需要单独的光线向每个单一光线行进以计算每个采样点处的透射率。在本文中,我们提出了一种新的方法,基于预先计算的神经透射函数,以加速神经反射场的绘制。我们的神经透射率函数使我们能够有效地查询沿任意光线在空间中任意点处的透射率,而无需繁琐的光线行进,这有效地降低了渲染的时间复杂度。我们提出了一种新的配方的神经透射率函数,并训练它与神经反射场下拍摄的图像并置相机和光,同时执行单调性。在真实场景和合成场景上的结果表明,在环境地图下渲染的速度提高了近两个数量级,精度损失最小。
2021-10-25 cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research(谷歌研究院)
我们提出了一个神经渲染框架,将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用,现实地呈现我们的方法,尽管有一个粗略的表示作为输入。此外,我们的方法允许可控渲染:输入中的几何和外观修改准确地传播到输出。用户可以移动,旋转和缩放对象,更改其外观和纹理或修改灯光的位置,所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性,通过渲染不同外观的场景,从单一的颜色每个对象复杂的,高频纹理。我们表明,我们的重新渲染网络可以生成非常详细的图像,精确地表示输入场景的外观。我们的实验表明,与替代方案相比,我们的方法实现了更准确的图像合成结果,并且还可以处理低体素网格分辨率。最后,我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Uni-Render: A Unified Accelerator for Real-Time Rendering Across Diverse Neural Renderers
Georgia Institute of Technology(佐治亚理工学院)
针对神经渲染缺乏通用算法和专用加速器导致难以实时渲染的问题,提出统一加速器Uni-Render,基于可重构架构动态调整数据流,支持多种典型及混合渲染管线,首次在边缘设备上实现跨代表性管线的实时渲染。
2025-03-31 cs.AR cs.CV cs.GR
STAR-NT: Spatiotemporal Acceleration of Real-Time Neural Transparency Rendering
University of Ioannina(希腊伊奥安纳大学);Athens University of Economics and Business(雅典经济与商业大学);Huawei Ireland Research Center(华为爱尔兰研究中心)
提出时空加速框架,利用空间自适应四叉树细分和时间深度重投影,降低神经顺序无关透明渲染的几何开销,保持视觉质量。
2026-06-16 cs.GR cs.LG
Neural Microfacet Fields for Inverse Rendering
UC San Diego(加州大学圣迭戈分校);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文提出神经微面元场,在体积渲染中结合微面元反射模型与表面蒙特卡洛渲染,从图像高效恢复材质、几何和光照,逆渲染效果优于先前工作,新视图合成媲美最先进方法。
2023-10-15 cs.CV cs.GR
TermiNeRF: Ray Termination Prediction for Efficient Neural Rendering
Imperial College London(帝国理工学院)
使用神经场的体渲染在捕获和合成三维场景的新视图方面显示出了很大的前景。然而,这种类型的方法需要在沿着每个观察光线的多个点处查询体积网络以便渲染图像,从而导致非常慢的渲染时间。在本文中,我们提出了一种方法,克服了这一限制,通过学习直接映射从相机射线沿射线的位置,最有可能影响像素的最终外观。使用这种方法,我们能够渲染,训练和微调体积渲染的神经场模型的数量级比标准的方法更快。与现有方法不同,我们的方法适用于一般卷,并且可以进行端到端的训练。
2021-11-05 cs.CV cs.GR
Neural Volume Rendering: NeRF And Beyond
Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
除了COVID-19大流行和美国的政治动荡之外,2020年也是神经体渲染爆炸式发展的一年,这是由Mildenhall等人令人印象深刻的NeRF论文引发的。我们两个人都试图捕捉这种兴奋,弗兰克在一篇博客文章中(Dellaert,2020)和Yen-Chen在Github集合中(Yen-Chen,2020)。这篇笔记是相关论文的注释参考书目,我们将相关的bibtex文件发布到了资源库中。
2021-01-14 cs.CV cs.GR
Wavelet-Space Representations for Neural Super-Resolution in Rendering Pipelines
Department of Electronics and Computer Engineering, Thapathali Campus, Tribhuwan University(电子与计算机工程系,塔帕塔利校区,特里布文大学)
本研究将平稳小波变换(SWT)引入渲染管线的神经超分辨率任务,通过预测小波系数分离高低频分量,在仅增加少量开销的情况下提升重建保真度与感知质量,为高质量实时渲染提供了高效新方案。
2025-09-20 cs.CV cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
Human Performance Modeling and Rendering via Neural Animated Mesh
ShanghaiTech University(上海科技大学);NeuDim Digital Technology (Shanghai) Co.,Ltd.(纽迪姆数字科技(上海)有限公司);DGene Digital Technology Co., Ltd.(帝晶数字科技有限公司);KU Leuven(鲁汶大学)
最近,我们看到了用于照片真实人体建模和渲染的神经进步的巨大进步。然而,将它们集成到现有的基于网格的下游应用管道中仍然具有挑战性。在本文中,我们提出了一种全面的神经方法,用于高质量的重建,压缩和渲染密集的多视图视频中的人类表演。我们的核心直觉是将传统的动画网格工作流程与一类新的高效神经技术联系起来。我们首先介绍一个神经表面重建器,用于在几分钟内生成高质量的表面。它将截断有符号距离场(TSDF)的隐式体绘制与多分辨率哈希编码结合在一起。我们进一步提出了一个混合神经跟踪器来生成动画网格,它结合了显式非刚性跟踪与隐式动态变形的自监督框架。前者提供了回到规范空间的粗略扭曲,而后者隐式的使用4D哈希编码进一步预测位移,就像我们的重建器一样。然后,我们讨论了使用所获得的动画网格的渲染方案,从动态纹理到各种带宽设置下的lumigraph渲染。为了在质量和带宽之间取得复杂的平衡,我们提出了一个分层的解决方案,首先渲染6个虚拟视图,覆盖表演者,然后进行遮挡感知神经纹理混合。我们证明了我们的方法在各种基于网格的应用程序和各种平台上的照片般逼真的自由视图体验中的有效性,即,通过移动AR将虚拟人表演插入到真实环境中,或使用VR耳机沉浸式观看才艺表演。
2022-09-18 cs.CV cs.GR
Object-Centric Neural Scene Rendering
Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们提出了一种方法,用于组成逼真的场景从捕获的图像的对象。我们的工作建立在神经辐射场(NeRFs)的基础上,它隐含地模拟了场景的体积密度和定向发射的辐射。虽然NeRFs合成逼真的图片,但它们只对静态场景进行建模,并且与特定的成像条件密切相关。这个属性使得NeRF很难推广到新的场景,包括新的照明或新的对象排列。我们建议学习以对象为中心的神经散射函数(OSF),而不是像NeRF那样学习场景辐射场,OSF是一种使用照明和视图相关的神经网络隐式建模每个对象光传输的表示。这使得即使对象或灯光移动时也可以渲染场景,而无需重新训练。结合体积路径追踪程序,我们的框架是能够渲染内和对象间的光传输效果,包括闭塞,镜面反射,阴影,和间接照明。我们评估我们的方法在场景组成,并表明它概括到新的照明条件下,产生逼真的,物理上准确的多对象场景渲染。
2020-12-15 cs.CV cs.GR
Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The University of Hong Kong(香港大学);Stanford University(斯坦福大学)
使用神经网络合成逼真的人类视频由于其高效率而成为传统的基于图形的渲染流水线的流行替代方案。现有的作品通常将此公式化为2D屏幕空间中的图像到图像的转换问题,这会导致诸如过度平滑、丢失身体部位和精细尺度细节的时间不稳定性(诸如服装中的姿势依赖性皱纹)之类的伪像。在本文中,我们提出了一种新的人类视频合成方法,通过明确地将时间相干的精细尺度细节的学习与人类在2D屏幕空间中的嵌入分离开来,来接近这些限制因素。更具体地说,我们的方法依赖于两个卷积神经网络(CNN)的组合。给定姿态信息,第一CNN预测包含时间相干高频细节的动态纹理图,并且第二CNN根据第一CNN的时间相干输出来调节最终视频的生成。我们展示了我们的方法的几个应用,如人类重演和新的单目视频视图合成,在那里我们表现出显着的改进,在定性和定量的最先进的。
2021-07-05 cs.CV cs.GR
Fast and Accurate Neural Rendering Using Semi-Gradients
KRAFTON(克拉夫顿公司)
针对神经辐射缓存渲染中训练慢和渲染偏暗的问题,提出一种通过忽略右边偏导数实现无偏低方差梯度估计的新目标函数,在保持全局最优解的同时加快并提升了神经网络的训练速度与准确性。
2024-10-14 cs.CV cs.GR cs.LG
Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments
Meta Reality Labs Research(Meta现实实验室)
创建逼真的虚拟资产是一个耗时的过程:它通常涉及艺术家设计对象,然后花费大量精力调整其外观。复杂的细节和某些效果(如次表面散射)无法使用实时BRDF进行表示,因此无法完全捕捉某些对象的外观。受神经渲染的最新进展的启发,我们提出了一种方法来捕捉真实世界中的物体在日常环境中忠实和快速。我们使用一种新的神经表示来重建体积效果,如半透明的对象部分,并保留真实感对象的外观。为了在不影响渲染质量的情况下支持实时渲染,我们的模型使用了一个网格的功能和一个小的MLP解码器,该解码器被编译成具有交互式帧速率的高效着色器代码。这导致所提出的神经资产与现有网格环境和对象的无缝集成。由于使用标准着色器代码,渲染可以跨许多现有的硬件和软件系统移植。
2022-12-12 cs.AI cs.CV cs.GR
Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes
NVIDIA(英伟达);University of Toronto(多伦多大学);McGill University(麦吉尔大学);Vector Institute(向量研究所)
神经符号距离函数(SDF)正在成为3D形状的有效表示。最先进的方法通常用大的、固定大小的神经网络对SDF进行编码,以用隐式表面来近似复杂的形状。然而,使用这些大型网络进行渲染在计算上是昂贵的,因为它需要为每个像素通过网络进行多次前向传递,使得这些表示对于实时的【形】图形来说是不切实际的。我们引入了一种高效的神经表示,首次实现了高保真神经SDF的实时的【形】渲染,同时实现了最先进的几何重建质量。我们表示隐式曲面使用八叉树为基础的功能体积,自适应地适合形状与多个离散层次的细节(LOD),并使连续的LOD与SDF插值。我们进一步开发了一个有效的算法,直接渲染我们的新的神经SDF表示实时的【形】查询只有必要的LOD与稀疏八叉树遍历。我们表明,我们的表示是2-3个数量级更有效的渲染速度相比,以前的作品。此外,它产生了国家的最先进的重建质量的复杂形状下的3D几何和2D图像空间度量。
2021-01-26 cs.CV cs.GR
City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web
University of Science and Technology of China(中国科学技术大学);East China Normal University(华东师范大学)
City-on-Web 首次在网页端实现大规模场景实时神经渲染,通过基于块的体渲染和细节层次动态加载策略,在 RTX 3060 上达到约 32FPS 且质量接近现有最优方法。
2024-04-01 cs.CV cs.GR
NEPHELE: A Neural Platform for Highly Realistic Cloud Radiance Rendering
ShanghaiTech University(上海科技大学)
我们最近看到了神经渲染(NR)进展方面的巨大进展,即,NeRF,用于照片真实自由视图合成。然而,作为一种基于单台计算机/GPU的本地技术,即使是设计最好的Instant-NGP或i-NGP在高分辨率渲染时也无法达到实时性能,并且通常需要巨大的本地计算资源。在本文中,我们求助于云渲染,并提出NEPHELE,一个神经平台,高真实感的云辐射渲染。与现有的NR方法形成鲜明对比的是,我们的NEPHELE通过结合多个远程GPU来实现更强大的渲染功能,并通过允许多人同时查看相同的NeRF场景来促进协作。我们引入了i-NOLF,采用不透明光场以一种每射线一次查询的方式进行超快速神经辐射渲染。我们进一步类似于Lumigraph与几何代理快速光线查询,随后采用一个小的MLP模型的本地不透明度lumishperes高品质的渲染。在i-NOLF中采用了完美空间散列算法来提高缓存一致性。因此,我们的i-NOLF在效率方面比i-NGP实现了一个数量级的性能增益,特别是对于云渲染场景下的多用户多视点设置。我们进一步定制了一个任务调度器,并伴随着我们的i-NOLF表示,并通过一个全面的云平台展示了我们的方法设计的先进性,该平台由一系列合作模块组成,即,渲染农场、任务分配器、帧合成器和详细的流策略。使用这样一个兼容神经渲染的云平台,我们通过一系列应用进一步展示了我们的云辐射渲染的能力,从云VR/AR渲染。
2023-03-07 cs.CV cs.DC cs.GR
VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文针对VR系统中3D高斯溅射或神经点渲染存在的性能与视觉质量矛盾,提出注视点渲染混合方法,结合两者优势,在保证性能的同时提升细节与清晰度,增强VR沉浸式体验。
2025-04-15 cs.CV cs.GR
Advances in Neural Rendering
MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);Reality Labs Research(现实实验室研究院);MIT(麻省理工学院);Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
合成照片级逼真的图像和视频是计算机图形学的核心,也是几十年来研究的焦点。传统上,使用诸如光栅化或光线追踪之类的渲染算法来生成场景的合成图像,这些渲染算法将具体定义的几何和材料属性的表示作为输入。总的来说,这些输入定义了实际的场景和渲染的内容,并被称为场景表示(其中场景由一个或多个对象组成)。示例场景表示是具有伴随纹理的三角形网格(例如,由艺术家创建),点云(例如,来自深度传感器),体积网格(例如,来自CT扫描),或隐式表面函数(例如,截断的有符号距离字段)。使用可微分的渲染损失从观察重构这样的场景表示被称为逆图形或逆渲染。神经渲染是密切相关的,它结合了经典计算机图形学和机器学习的思想,创建了从现实世界的观察合成图像的算法。神经渲染是向合成照片级真实感图像和视频内容的目标的飞跃。近年来,我们已经看到了这一领域的巨大进步,通过数百个出版物展示了将可学习组件注入渲染管道的不同方法。这份关于神经渲染进展的最新报告重点介绍了将经典渲染原理与学习的3D场景表示(现在通常称为神经场景表示)相结合的方法。这些方法的一个关键优势是它们在设计上是3D一致的,从而实现了诸如捕获场景的新颖视点合成等应用。除了处理静态场景的方法外,我们还介绍了用于建模非刚性变形对象的神经场景表示。
2022-03-30 cs.CV cs.GR
NePF: Neural Photon Field for Single-Stage Inverse Rendering
School of Computer Science(计算机学院);Wuhan University(武汉大学)
提出单阶段逆向渲染框架NePF,通过统一恢复几何、材质和光照,并引入基于坐标的照明模型与次表面散射正则化,在真实与合成数据上实现了高保真几何与合理材质的恢复。
2023-11-20 cs.CV cs.GR
DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对经典PBR依赖难获取的精确场景表示的问题,提出DiffusionRenderer,依托视频扩散模型先验实现统一的神经逆向与正向渲染,性能优于SOTA,支持单视频的重光照等应用。
2025-03-22 cs.CV cs.GR
RenderFormer++: Scalable and Physics-Informed Feed-Forward Neural Rendering
University of Science and Technology of China(中国科学技术大学)
提出RenderFormer++框架,通过物理信息传输引导(PITG)和层次化对象中心分词(HOCT)解决现有Transformer神经渲染的物理一致性和可扩展性问题,实现大规模场景的高效全局光照渲染。
2026-08-10 cs.CV cs.GR cs.LG
Differentiable Rendering of Neural SDFs through Reparameterization
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Adobe Research(奥多比研究院);UC San Diego(加州大学圣地亚哥分校);UC Berkeley(加州大学伯克利分校)
我们提出了一种方法来自动计算正确的梯度相对于几何场景参数在神经SDF渲染。最近的基于物理的可微渲染技术的网格使用边缘采样来处理不连续性,特别是在对象轮廓,但SDF没有一个简单的参数形式服从采样。相反,我们的方法建立在面积采样技术,并开发了一个连续的扭曲函数的SDF考虑这些不连续性。我们的方法利用SDF中编码的表面距离,并使用球体跟踪点的正交来计算此扭曲函数。我们进一步表明,这可以通过对点进行二次采样来实现,以使该方法易于处理神经SDF。我们的可微分渲染器可用于优化多视图图像中的神经形状,并产生与最近基于SDF的逆渲染方法相当的3D重建,而无需2D分割掩模来指导几何优化,也无需对几何进行体积近似。
2022-06-10 cs.CV cs.GR
A Hybrid Neural-Microfacet BRDF Model for Real-Time Rendering
Ubisoft La Forge(育碧实验室);Inria(法国国家信息与自动化研究所)
本文提出一种结合GGX型微表面模型与神经模型的混合BRDF模型,以较小网络实现更优近似效果,兼具易用性,适用于离线与实时渲染。
2026-08-11 cs.CV cs.GR
KiloNeuS: A Versatile Neural Implicit Surface Representation for Real-Time Rendering
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);La Sapienza Università di Roma(罗马第一大学)
基于NeRF的技术将宽而深的多层感知器(MLP)拟合到可以从任何看不见的视点渲染的连续辐射场。然而,缺乏表面和法线定义和高渲染时间限制了它们在典型计算机图形应用中的使用。这些局限性最近已被单独克服,但共同解决这些问题仍然是一个悬而未决的问题。我们提出了KiloNeuS,这是一种神经表示,它从多视图图像中重建一个表示为符号距离函数(SDF)的隐式表面,并通过将空间划分为数千个快速推理的微小MLP来实现实时的【形】渲染。当我们使用独立模型局部学习隐式曲面时,导致全局一致的几何形状是不平凡的,需要在训练期间解决。我们评估了GPU加速的光线投射器与着色器内神经网络推理的渲染性能,在高分辨率下平均为46 FPS,证明了存储成本和渲染质量之间令人满意的权衡。事实上,我们对渲染质量和表面恢复的评估表明,KiloNeuS优于其单MLP对应。最后,为了展示KiloNeuS的多功能性,我们将其集成到一个交互式路径跟踪器中,充分利用其表面法线。我们认为我们的工作是实现全局光照下隐式神经表征的实时的【形】绘制的关键的第一步。
2022-11-21 cs.CV cs.GR cs.LG
NeARportation: A Remote Real-time Neural Rendering Framework
虽然真实感外观的呈现在增强虚拟环境中的沉浸感中起着重要作用,但显示真实对象的真实感外观仍然是一个具有挑战性的问题。摄影测量学的最新发展促进了将真实物体纳入虚拟空间。然而,真实感摄影测量需要专用的测量环境,并且在测量成本和质量之间存在权衡。此外,即使使用照片般逼真的外观测量,也存在渲染质量和帧速率之间的权衡。没有一个框架可以解决这些权衡并轻松地提供实时的【形】逼真的外观。我们的NeARportation框架结合了服务器-客户端双向通信和神经渲染来解决这些权衡。服务器上的神经渲染接收客户端的头部姿势并生成具有逼真外观再现的新颖视图图像,该图像被流传输到客户端的显示器上。通过将我们的框架应用于立体显示器,我们证实它可以根据用户的头部运动以35-40帧每秒(fps)的速度在全高清立体视频上显示高保真外观。
2022-10-22 cs.GR cs.HC
MultimodalStudio: A Heterogeneous Sensor Dataset and Framework for Neural Rendering across Multiple Imaging Modalities
University of Padova(帕多瓦大学)
本文提出MultimodalStudio,包含多模态数据集MMS-DATA和框架MMS-FW,用于跨多种成像模态的神经渲染,实验证明其能跨模态传递信息并提升渲染质量。
2025-03-25 cs.CV cs.GR
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
The University of Hong Kong(香港大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Texas A&M University(德州农工大学)
我们提出了一种新的神经表面重建方法,称为NeuS,用于从2D图像输入重建高保真的对象和场景。现有的神经表面重建方法,如DVR和IDR,需要前景掩模作为监督,容易陷入局部极小值,因此难以重建具有严重自遮挡或薄结构的对象。与此同时,最近的神经方法,如NeRF及其变种,新的视图合成,使用体渲染,以产生一个神经场景表示与鲁棒性的优化,即使是高度复杂的对象。然而,从这个学习的隐式表示中提取高质量的曲面是困难的,因为在表示中没有足够的曲面约束。在NeuS中,我们提出了一个表面表示为零级集的符号距离函数(SDF)和开发一个新的体渲染方法训练神经SDF表示。我们观察到,传统的体渲染方法会导致固有的几何误差(即偏见)的表面重建,因此提出了一种新的配方,是免费的偏见,在一阶近似,从而导致更准确的表面重建,即使没有掩模监督。在DTU数据集和BlendedMVS数据集上的实验表明,NeuS在高质量的表面重建方面优于现有技术,特别是对于具有复杂结构和自遮挡的物体和场景。
2023-02-01 cs.CV cs.GR
Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition
Heidelberg University(海德堡大学);Technical University Munich(慕尼黑工业大学);Google Research(谷歌研究院);Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));University of Tübingen(蒂宾根大学)
神经渲染技术承诺有效的照片级逼真的图像合成,同时通过学习物理图像形成过程提供对场景参数的丰富控制。虽然已经针对该任务提出了几种监督方法,但获取具有精确对齐的3D模型的图像数据集是非常困难的。这项工作的主要贡献是解除这一限制,通过训练一个神经渲染算法从不成对的数据。更具体地说,我们提出了一个自动编码器,用于从合成3D模型联合生成逼真的图像,同时将真实图像分解为它们的内在形状和外观属性。与传统的图形管道相比,我们的方法不需要手动指定所有场景属性,如材质参数和照明。相反,我们从一小组3D模型和一组较大的未对齐的真实图像中学习照片级真实感延迟渲染,这两者在实践中都很容易获得。同时,我们获得准确的内在分解的真实图像,而不需要配对的地面真理。我们的实验证实,渲染和分解的联合处理确实是有益的,我们的方法在定性和定量上都优于最先进的图像到图像的翻译基线。
2021-03-29 cs.CV cs.GR
State of the Art on Neural Rendering
MPI Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学);Facebook Reality Labs(Facebook现实实验室);Adobe Research(Adobe研究院);Google Inc(谷歌公司)
高效绘制真实感虚拟世界是计算机图形学的长期努力。现代图形技术已经成功地从手工制作的场景表示合成照片般逼真的图像。然而,自动生成的形状,材料,照明和场景的其他方面仍然是一个具有挑战性的问题,如果解决,将使照片逼真的计算机图形更广泛地访问。与此同时,计算机视觉和机器学习的进步催生了一种新的图像合成和编辑方法,即深度生成模型。神经渲染是将生成机器学习技术与来自计算机图形学的物理知识相结合的新的且迅速兴起的领域,例如,通过将可微分渲染集成到网络训练中。随着计算机图形学和视觉领域的大量应用,神经渲染有望成为图形学领域的一个新领域,但还没有对这个新兴领域的调查。这篇最新的报告总结了神经渲染的最新趋势和应用。我们专注于将经典计算机图形技术与深度生成模型相结合的方法,以获得可控和照片般逼真的输出。从基本的计算机图形学和机器学习概念的概述开始,我们讨论了神经渲染方法的关键方面。这份最先进的报告重点介绍了所述算法的许多重要用例,如新颖的视图合成,语义照片处理,面部和身体重演,重新照明,自由视点视频,以及为虚拟和增强现实远程呈现创建照片般逼真的化身。最后,我们总结了这种技术的社会影响的讨论,并调查开放的研究问题。
2020-04-08 cs.CV cs.GR
NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing
ShanghaiTech University(上海科技大学);Stereye Intelligent Technology Co.,Ltd.(视辰智能科技有限公司);Huazhong University of Science and Technology(华中科技大学)
Metaverse承诺提供的一些最令人兴奋的体验,例如,在虚拟环境中与虚拟角色的实时交互,需要实时照片逼真的渲染。用于渲染的3D重建方法(主动或被动)仍然需要大量的清理工作来修复网格或点云。在本文中,我们提出了一种神经体积成像技术,称为神经体积视频或NeuVV,以支持沉浸式,交互式和时空渲染的体积视频内容与照片现实主义和实时。NeuVV的核心是将动态神经辐射场(NeRF)有效地编码为可渲染和可编辑的基元。我们介绍了两种类型的因式分解方案:超球谐函数(HH)分解,用于模拟空间和时间上的平滑颜色变化,以及用于模拟运动引起的突然密度和颜色变化的可学习基础表示。NeuVV因子分解可以集成到类似于PlenOctree的视频八叉树(VOctree)中,以显着加速训练,同时减少内存开销。实时NeuVV渲染进一步支持一类沉浸式内容编辑工具。具体而言,NeuVV将每个VOctree视为图元,并实现基于体积的深度排序和alpha混合,以实现用于内容重新用途的时空组合。例如,我们演示了在不同的3D位置以不同的时间定位同一表演的各种表现形式,调整表演者服装的颜色/纹理,投射聚光灯阴影和合成距离衰减照明等,所有这些都以交互速度进行。我们进一步开发了一个混合神经光栅化渲染框架,以支持消费级VR头戴设备,从而使上述体积视频观看和编辑首次可以在虚拟3D空间中身临其境地进行。
2022-02-12 cs.CV cs.GR
Neural directional distance field object representation for uni-directional path-traced rendering
National Institute of Science Education and Research(国家科学教育与研究所);Homi Bhabha National Institute(霍米·巴巴国家研究所)
本文针对计算机图形学中路径追踪渲染的查询瓶颈,提出方向距离场作为物体的函数表示,将其存储为神经网络进行优化,并设计了修改后的路径追踪算法以实现该物体表示的快速渲染。
2023-06-28 cs.CV cs.GR
AutoInt: Automatic Integration for Fast Neural Volume Rendering
Stanford University(斯坦福大学)
数值积分是科学计算的基础技术,也是许多计算机视觉应用的核心。在这些应用中,神经体渲染最近被提出作为一个新的范例视图合成,实现逼真的图像质量。然而,使这些方法实用的一个根本障碍是极端的计算和内存要求所造成的所需的体积积分沿渲染光线在训练和推理。需要数百万条射线,每条射线需要通过神经网络进行数百次正向传递,以利用蒙特卡罗采样来近似这些积分。在这里,我们提出了自动集成,一个新的框架,学习有效的,封闭形式的解决方案,积分使用基于坐标的神经网络。为了训练,我们实例化对应于网络导数的计算图。将曲线拟合到要积分的信号。优化后,我们重新组合图以获得表示反导数的网络。根据微积分的基本定理,这使得可以在网络的两个评估中计算任何定积分。将这种方法应用于神经渲染,我们改进了渲染速度和图像质量之间的权衡:将渲染时间提高了10倍以上,但图像质量略有下降。
2021-05-23 cs.CV cs.GR cs.LG
STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering
University of Washington(华盛顿大学);Facebook Reality Labs Research(Facebook现实实验室研究部)
我们提出了STaR,一种新的方法,执行自监督跟踪和重建的动态场景与刚性运动从多视图RGB视频没有任何手动注释。最近的工作已经表明,神经网络在将场景的许多视图压缩成学习函数的任务中是令人惊讶地有效的,该学习函数经由体渲染从观察光线映射到观察到的辐射值。不幸的是,一旦场景中的任何对象移动,这些方法就失去了所有的预测能力。在这项工作中,我们明确建模刚性运动的辐射场的神经表示的背景下的对象。我们表明,没有任何额外的人类指定的监督,我们可以重建一个动态场景与一个单一的刚性物体在运动中,同时分解成两个组成部分,并编码每个与自己的神经表示。我们通过联合优化两个神经辐射场的参数和一组刚性姿态来实现这一点,这些刚性姿态在每个帧处对齐两个场。在合成和真实世界的数据集上,我们证明了我们的方法可以呈现逼真的新颖视图,其中新颖性是在空间和时间轴上测量的。我们的因子表示还可以实现看不见的对象运动的动画。
2020-12-22 cs.CV cs.GR
Point-Based Neural Rendering with Per-View Optimization
Inria, Université Côté d’Azur(法国国家信息与自动化研究所,蔚蓝海岸大学);Adobe Research(Adobe研究院)
最近人们对神经渲染绘制方法产生了极大的兴趣。一些方法使用利用多视图立体视觉(MVS)重建的3D几何结构,但是不能从该过程的错误中恢复,而其他方法直接学习体积神经表示,但是遭受昂贵的训练和推理。我们介绍了一种通用的方法,初始化与MVS,但允许进一步优化的场景属性的输入视图的空间,包括深度和重新投影功能,从而改善新颖的视图合成。我们的方法的一个关键要素是我们新的基于点的管道,基于双向椭圆加权平均飞溅,概率深度测试和有效的相机选择。我们在我们的神经渲染器中一起使用这些元素,在我们测试的几乎所有场景中,它在质量和速度方面都优于以前的所有方法。我们的管道可以应用于多视图的协调和风格化,除了新颖的视图合成。
2021-09-08 cs.CV cs.GR
NeUDF: Leaning Neural Unsigned Distance Fields with Volume Rendering
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Games(腾讯游戏)
针对SDF方法无法重建开曲面的问题,本文提出NeUDF框架,以UDF表示曲面并设计专用权重函数与法线正则化,在多视图重建中显著优于现有方法。
2023-04-20 cs.CV cs.GR
Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images
Technical University of Munich(慕尼黑工业大学)
体渲染是三维标量数据网格可视化的重要技术,通常用于科学和医学图像数据。直接体渲染(DVR)是一种成熟的高效体数据绘制算法。神经渲染使用深度神经网络来解决逆渲染任务,并应用类似于DVR的技术。然而,它还没有被成功地证明为科学体数据的渲染。在这项工作中,我们介绍了深度直接体渲染(DeepDVR),DVR的推广,允许深度神经网络集成到DVR算法。我们在潜在的颜色空间中概念化渲染,从而能够使用深度架构来学习用于特征提取和分类的隐式映射,取代显式特征设计和手工制作的传递函数。我们的推广服务,以获得新的体渲染架构,可以直接从图像空间中的例子端到端训练,避免了需要手动定义和微调多维传递函数,同时提供卓越的分类强度。我们进一步引入了一种新的步长退火方案来加速DeepDVR模型的训练,并在一组实验中验证了其有效性。我们在两个示例用例上验证了我们的架构:(1)从单个体积的手动调整参考图像中学习优化渲染,以及(2)学习高级可视化概念,如着色和语义着色,这些概念可以推广到不可见的体积数据。我们发现,具有DVR管道显式建模的深度体渲染架构有效地支持从目标图像中端到端学习科学体渲染任务。
2021-06-09 cs.GR cs.LG
Light Sampling Field and BRDF Representation for Physically-based Neural Rendering
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
本文提出光采样场和BRDF表示,用于构建基于物理的神经面部皮肤着色器,以消除设备依赖并提升PBR渲染质量与效率。
2023-04-11 cs.AI cs.CV cs.GR
LoC-IN: Real-Time Localization of Cameras in Neural Rendered Prior LiDAR Maps
Hasselt University - Digital Future Lab - Flanders(哈塞尔特大学-数字未来实验室-弗拉芒)
CRISTAL通过神经渲染技术实现静态LiDAR扫描中的实时相机定位,提供无漂移且具有正确度量尺度的跟踪,优于现有SLAM流程。
2026-11-17 cs.CV cs.GR
ControlGS: Conditioning Neural Gaussians for Downstream-Processing-Aware XR Rendering
提出ControlGS,一种面向XR的神经高斯渲染流程,将渲染输出与人眼间的下游处理(如后处理和显示光学)建模并整合进优化目标,并根据下游参数动态生成高斯图元,以提升端到端视觉质量,实验验证其在不同骨干和数据集上持续改善且开销极小。
2026-09-29 cs.CV cs.GR
PANDORA: Polarization-Aided Neural Decomposition Of Radiance
Rice University(莱斯大学)
从多幅图像重建物体的几何形状和外观,也称为逆绘制,是计算机图形学和视觉中的一个基本问题。逆渲染是固有的不适定,因为捕获的图像是一个复杂的功能未知的照明条件,材料属性和场景几何。基于坐标的神经网络表示场景属性的最新进展促进了神经逆绘制,导致令人印象深刻的几何重建和新颖的视图合成。我们的关键见解是,偏振是神经逆渲染的有用线索,因为偏振强烈依赖于表面法线,并且对于漫反射和镜面反射是不同的。随着商品、片上偏振传感器的出现,捕获偏振已经变得实用。因此,我们提出了PANDORA,一种基于隐式神经表示的极化逆绘制方法。从物体的多视图偏振图像中,PANDORA联合提取物体的3D几何形状,将出射辐射分为漫射和镜面反射,并估计入射到物体上的照明。我们表明,PANDORA优于国家的最先进的辐射分解技术。PANDORA输出无纹理伪影的干净表面重建,精确地建模强镜面反射,并在实际的非结构化场景下估计照明。
2022-03-25 cs.CV cs.GR
PlenOctrees for Real-time Rendering of Neural Radiance Fields
UC Berkeley(加州大学伯克利分校);USC Institute for Creative Technologies(南加州大学创意技术研究所);Pinscreen
我们介绍了一种使用PlenOctrees(一种基于八叉树的3D表示,支持视点相关效果)来实时的绘制神经辐射场(NeRFs)的方法。我们的方法可以以超过150 FPS的速度渲染800 x800的图像,比传统的NeRF快3000倍以上。我们这样做不会牺牲质量,同时保留了NeRFs对具有任意几何形状和视图相关效果的场景执行自由视点渲染的能力。实时的性能是通过将NeRF预先制表到PlenOctree中来实现的。为了保持与视角相关的效果,如镜面反射,我们通过封闭形式的球面基函数分解外观。具体而言,我们表明,它是可能的训练NeRF预测的辐射率的球谐表示,删除的观看方向作为输入到神经网络。此外,我们表明,PlenOctrees可以直接优化,以进一步减少重建损失,这导致与竞争方法相比质量相等或更好。此外,这个八叉树优化步骤可以用来减少训练时间,因为我们不再需要等待NeRF训练完全收敛。我们实时的神经渲染方法有可能实现新的应用,如6-DOF工业和产品可视化,以及下一代AR/VR系统。PlenOctrees也可以在浏览器中渲染;请访问项目页面以获得交互式在线演示以及视频和代码:https://alexyu.net/plenoctrees
2021-08-17 cs.CV cs.GR
Neural Free-Viewpoint Performance Rendering under Complex Human-object Interactions
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
人机交互的4D重建对于沉浸式VR/AR体验和人类活动理解至关重要。最近的进展仍然无法从稀疏RGB输入中恢复精细的几何和纹理结果,特别是在具有挑战性的人机交互场景下。在本文中,我们提出了一个神经人类性能捕获和渲染系统,以生成高质量的几何形状和照片般逼真的纹理的人和物体在具有挑战性的交互场景下,在任意新颖的意见,从只有稀疏的RGB流。为了处理复杂的遮挡所提出的人与物体的相互作用,我们采取了逐层场景解耦策略,并进行体积重建和神经渲染的人和物体的渲染。具体来说,对于几何重建,我们提出了一个交互感知的人-对象捕获方案,共同考虑人类重建和对象重建与它们的相关性。提出了遮挡感知的人体重建和鲁棒的人体感知的目标跟踪,以实现一致的4D人体-目标动态重建。对于神经纹理渲染,我们提出了一种分层的人-物体渲染方案,该方案结合了方向感知神经混合权重学习和时空纹理完成,以在遮挡场景中提供高分辨率和照片级真实感的纹理结果。大量的实验证明了我们的方法的有效性,以实现高质量的几何和纹理重建的自由视点具有挑战性的人与物体的互动。
2021-08-03 cs.AI cs.CV cs.GR