DHR+S: Distributed Hybrid Rendering with Realistic Real-time Shadows for Interactive Thin Client Metaverse and Game Applications
本文提出 DHR+S 分布式混合渲染方法,通过柔化光线追踪阴影边缘并重建环境光遮蔽来增强实时阴影真实感,仅用远程渲染 20-30% 带宽且可容忍 200 ms 延迟。
2024-06-11 cs.GR
State of the Art on Neural Rendering
MPI Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学);Facebook Reality Labs(Facebook现实实验室);Adobe Research(Adobe研究院);Google Inc(谷歌公司)
高效绘制真实感虚拟世界是计算机图形学的长期努力。现代图形技术已经成功地从手工制作的场景表示合成照片般逼真的图像。然而,自动生成的形状,材料,照明和场景的其他方面仍然是一个具有挑战性的问题,如果解决,将使照片逼真的计算机图形更广泛地访问。与此同时,计算机视觉和机器学习的进步催生了一种新的图像合成和编辑方法,即深度生成模型。神经渲染是将生成机器学习技术与来自计算机图形学的物理知识相结合的新的且迅速兴起的领域,例如,通过将可微分渲染集成到网络训练中。随着计算机图形学和视觉领域的大量应用,神经渲染有望成为图形学领域的一个新领域,但还没有对这个新兴领域的调查。这篇最新的报告总结了神经渲染的最新趋势和应用。我们专注于将经典计算机图形技术与深度生成模型相结合的方法,以获得可控和照片般逼真的输出。从基本的计算机图形学和机器学习概念的概述开始,我们讨论了神经渲染方法的关键方面。这份最先进的报告重点介绍了所述算法的许多重要用例,如新颖的视图合成,语义照片处理,面部和身体重演,重新照明,自由视点视频,以及为虚拟和增强现实远程呈现创建照片般逼真的化身。最后,我们总结了这种技术的社会影响的讨论,并调查开放的研究问题。
2020-04-08 cs.CV cs.GR
FIRE-3DV: Framework-Independent Rendering Engine for 3D Graphics using Vulkan
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院);Johns Hopkins University(约翰斯·霍普金斯大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出FIRE-3DV,一个基于Vulkan的轻量级渲染引擎,用于现代化机器人模拟框架(如AMBF)的渲染管线,通过PBR、抗锯齿和光线追踪阴影提升图像保真度,同时保持GPU计算时间在2毫秒内,可处理超过七百万三角形。
2024-12-13 cs.GR cs.RO cs.SE
Rendering Portals in Virtual Reality
University of Basel(巴塞尔大学)
本文提出了一种在虚拟现实中使门体过渡不可察觉的技术,并评估了渲染门体的性能影响及优化方法。
2026-01-28 cs.GR
Bezier Splatting for Fast and Differentiable Vector Graphics Rendering
Clemson University(克莱姆森大学);Adobe Research(Adobe研究院)
本文提出贝塞尔点绘方法,通过高效光栅化实现快速且高保真的向量图形渲染,同时支持SVG格式转换,显著提升渲染质量和优化效率。
2025-12-09 cs.CV cs.GR
Test Scene Design for Physically Based Rendering
基于物理的渲染是计算机图形学中的一门学科,其目的是再现真实世界中出现的某些光线和材料外观。复杂场景可能难以计算渲染算法。本文介绍了一个新的综合测试数据库的场景,处理不同的光设置与不同的材料,并讨论了其设计原则。许多研究都集中在开发新的算法上,这些算法可以有效地处理困难的光线条件和材料。该数据库为评估现有和新开发的渲染技术提供了全面的基础。最后的评估比较不同的渲染算法的所有场景的不同结果。
2020-08-30 cs.GR
Modular Primitives for High-Performance Differentiable Rendering
NVIDIA(英伟达);Aalto University(阿尔托大学)
我们提出了一个模块化的微分渲染器的设计,产生性能优于以前的方法,利用现有的,高度优化的硬件图形管道。我们的设计支持现代图形流水线中的所有关键操作:栅格化大量三角形,属性插值,过滤纹理查找,以及用户可编程的着色和几何处理,所有这些都是高分辨率的。我们的模块化原语允许直接在PyTorch或TensorFlow等自动微分框架内构建自定义的高性能图形管道。作为一个激励性的应用程序,我们制定了面部表现捕捉作为一个逆渲染问题,并表明它可以有效地解决使用我们的工具。我们的研究结果表明,这种简单而直接的方法实现了渲染结果和参考图像之间的良好几何对应。
2020-11-06 cs.CV cs.GR cs.LG
Differentiable Shadow Mapping for Efficient Inverse Graphics
TU Berlin(柏林工业大学)
针对三角形网格可微分渲染的阴影生成问题,提出将预滤波阴影映射与现有可微分光栅化器结合的方法,在逆向图形任务中实现了精度相当、速度快数个数量级的效果,解决了无阴影可微分光栅化难收敛的问题。
2023-08-21 cs.CV cs.GR
Anecdotal Survey of Variations in Path Stroking among Real-world Implementations
勾画路径是矢量图形标准中的两个基本渲染操作之一(例如,PDF,SVG)。我们调查路径笔画渲染结果从现实世界中的软件实现路径笔画的轶事证据表明,这种实现容易渲染的差异。虽然我们的调查是有限的和非正式的,我们收集的渲染结果表明,广泛的渲染变化简单,但有问题的笔画路径几十年前首次确定。我们的结论是矢量图形内容的创建者将受益于一个数学接地标准化的描边路径应如何光栅化。
2020-07-23 cs.DL cs.GR
Hair Color Digitization through Imaging and Deep Inverse Graphics
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Sorbonne Université, CNRS, LIP6(索邦大学法国国家科学研究中心LIP6实验室)
头发外观是一个复杂的现象,这是由于头发的几何形状和光线如何在不同的头发纤维上反弹。出于这个原因,在渲染环境中再现特定的头发颜色是一项具有挑战性的任务,需要人工工作和计算机图形学方面的专业知识来在视觉上调整结果。虽然当前的毛发捕获方法集中于毛发形状估计,但是许多应用可以受益于用于捕获物理毛发样本的外观的自动化方法,从增强/虚拟现实到毛发染色开发。基于使用深度神经网络的逆图形和材料捕获的最新进展,我们介绍了一种用于头发颜色数字化的新方法。我们提出的管道允许捕获物理头发样本的颜色外观,并呈现具有类似外观的头发的合成图像,模拟不同的发型和/或照明环境。由于真实感头发图像的绘制需要路径跟踪绘制,传统的基于可微绘制的逆图形方法难以处理。我们的方法是基于一个受控的成像设备,一个路径跟踪渲染器,和一个基于自监督机器学习的逆图形模型的组合,它不需要使用微分渲染进行训练。我们说明了我们的头发数字化方法在真实图像和合成图像上的性能,并表明我们的方法可以准确地捕获和渲染头发颜色。
2022-02-08 cs.AI cs.CV cs.GR
GAMORRA: An API-Level Workload Model for Rasterization-based Graphics Pipeline Architecture
需要帧渲染时间估计或动态频率缩放的应用程序的性能依赖于这些应用程序中使用的工作负载模型的准确性。现有的模型在其核心模型中缺乏足够的准确性。因此,它们需要对目标应用程序或硬件进行更改,以产生准确的结果。本文介绍了一种基于栅格化的图形应用编程接口(API)流水线,命名为GAMORRA,它的工作负载和复杂性的基础上,每个阶段的流水线的数学工作量模型。首先,GAMORRA根据流水线的操作复杂度和输入数据大小对流水线的各个阶段进行建模。然后,将计算出的各阶段的工作量作为解释变量输入到多元线性回归(MLR)模型中。提出了一种混合离线/在线训练方案,以及训练模型。一套基准测试也被设计来调整模型参数的基础上的目标系统的性能。实验在Direct 3D 11和两个不同的渲染平台上进行,将GAMORRA与自回归(AR)模型、帧复杂度模型(FCM)和基于频率的(FRQ)模型进行比较。实验表明,帧渲染时间估计的平均误差为1.27 ms(9.45%),而FCM的平均误差为1.87 ms(13.23%),这是三种方法中最好的方法。然而,与FCM相比,这是以时间复杂度增加0.54 ms(4.58%)为代价的。此外,与FCM相比,GAMMORA将帧时间低估提高了1.1%。
2022-04-26 cs.GR
Equalizer 2.0 - Convergence of a Parallel Rendering Framework
开发利用多个GPU和计算机进行交互式3D渲染任务的复杂的真实世界图形应用程序是一项复杂的任务。除了应用程序领域本身之外,它还需要分布式系统和并行渲染方面的专业知识。我们提出了一个成熟的并行渲染框架,它提供了大量的功能,算法和系统集成的广泛的现实世界的研究和工业应用。使用的并行渲染框架,我们展示了如何广泛的通用算法可以集成在框架中,以帮助应用程序的可扩展性和开发在许多不同的领域,突出具体的应用程序如何受益于不同的方面和用例的并行渲染。我们提出了新的并行渲染算法,强大的抽象大型可视化设置和虚拟现实,以及新的实验结果,并行渲染和数据分布。
2018-02-22 cs.GR
MeshSuite: A Unified Benchmark for Triangle- and Mesh-Based Neural Rendering
Nanjing University of Science and Technology(南京理工大学);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(先进工程机械智能制造国家重点实验室);University of Surrey(萨里大学)
MeshSplatBench是基于三角形的神经渲染统一基准,建立标准化评估协议,分层Unity部署协议,审计重建表面拓扑,揭示图形就绪性需多维度整体对齐,源代码将发布。
2026-10-30 cs.CV cs.GR
Blendify -- Python rendering framework for Blender
University of Tübingen(蒂宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
Blendify是一个与Blender无缝集成的轻量级Python渲染框架,通过高层API简化场景创建与渲染流程,为计算机视觉和图形学研究提供高效灵活的可视化工具。
2024-10-23 cs.CV cs.GR
Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
Huawei Technologies Japan K.K.(华为技术日本株式会社)
微分渲染(DR)通过使用渲染方程的导数的基于梯度的优化来实现各种计算机图形和计算机视觉应用。大多数基于光栅化的方法都是基于通用的自动微分(AD)库和使用CUDA手工制作的DR特定模块。这样的系统设计混合了DR算法实现和算法构建块,导致硬件依赖性和有限的性能。在本文中,我们提出了一个实用的硬件无关的微分渲染称为Dressi,这是基于一个新的全AD设计。Dressi的DR算法完全写在我们基于Vulkan的DR AD中,Dressi-AD,它支持DR的所有原始操作。Dressi-AD和我们的逆UV技术,它带来了硬件独立性和图形硬件加速。阶段打包,我们的运行时优化技术,可以适应硬件约束,并有效地执行复杂的计算图形的DR与反应缓存考虑渲染通过层次的Vulkan。HardSoftRas,我们的新渲染过程,是专为逆渲染与图形管道。在图形流水线的有限功能下,HardSoftRas可以将像素的梯度从屏幕空间传播到远距离三角形属性。我们的实验和应用表明,Dressi建立硬件独立性,高质量和鲁棒性的优化速度快,真实感渲染。
2022-04-04 cs.CV cs.GR
Deep Graphics Encoder for Real-Time Video Makeup Synthesis from Example
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI Télécom Paris Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Modiface(Modiface公司);Sorbonne Université CNRS LIP6(索邦大学CNRS LIP6实验室)
虽然化妆品虚拟试穿现在很普遍,但参数化用于合成给定化妆品产品的图像的计算机图形渲染引擎仍然是一项具有挑战性的任务。在本文中,我们介绍了一种逆计算机图形学方法自动化妆合成从参考图像,通过学习一个模型,映射一个例子的肖像图像与化妆的渲染参数的空间。这种方法可以被艺术家用来自动创建逼真的虚拟化妆品图像样本,或者被消费者用来虚拟地试穿从他们最喜欢的参考图像中提取的化妆品。
2021-05-12 cs.AI cs.CV cs.GR
DIST: Rendering Deep Implicit Signed Distance Function with Differentiable Sphere Tracing
ETH Zurich(苏黎世联邦理工学院);Tsinghua University(清华大学);Google(谷歌);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Microsoft(微软)
我们提出了一种可微球体跟踪算法,以弥补逆图形方法和最近提出的基于深度学习的隐式符号距离函数之间的差距。由于隐式函数的性质,渲染过程需要大量的函数查询,当函数表示为神经网络时,这尤其成问题。我们优化了渲染层的向前和向后传递,使其在商品图形卡上以合理的内存消耗高效运行。我们的渲染方法是完全可微的,这样可以直接在渲染的2D观察上计算损失,并且可以向后传播梯度以优化3D几何形状。我们表明,我们的渲染方法可以有效地重建准确的3D形状从各种输入,如稀疏的深度和多视图图像,通过逆优化。通过基于几何的推理,我们的3D形状预测方法显示出良好的泛化能力和对各种噪声的鲁棒性。
2020-06-11 cs.CV cs.GR
TBR: Transport-Based Rendering with Deposition Strokes for Inverse Graphics
Zelostech(泽洛科技);Huaxin Design Institute(华信设计院);Communication University of China(中国传媒大学)
针对数字大理石纹模型,提出利用重放伴随优化胶囊插入程序以近似目标图像,实现低内存高效恢复,支持程序级编辑重放。
2026-09-11 cs.CV cs.GR
Advances in Neural Rendering
MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);Reality Labs Research(现实实验室研究院);MIT(麻省理工学院);Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
合成照片级逼真的图像和视频是计算机图形学的核心,也是几十年来研究的焦点。传统上,使用诸如光栅化或光线追踪之类的渲染算法来生成场景的合成图像,这些渲染算法将具体定义的几何和材料属性的表示作为输入。总的来说,这些输入定义了实际的场景和渲染的内容,并被称为场景表示(其中场景由一个或多个对象组成)。示例场景表示是具有伴随纹理的三角形网格(例如,由艺术家创建),点云(例如,来自深度传感器),体积网格(例如,来自CT扫描),或隐式表面函数(例如,截断的有符号距离字段)。使用可微分的渲染损失从观察重构这样的场景表示被称为逆图形或逆渲染。神经渲染是密切相关的,它结合了经典计算机图形学和机器学习的思想,创建了从现实世界的观察合成图像的算法。神经渲染是向合成照片级真实感图像和视频内容的目标的飞跃。近年来,我们已经看到了这一领域的巨大进步,通过数百个出版物展示了将可学习组件注入渲染管道的不同方法。这份关于神经渲染进展的最新报告重点介绍了将经典渲染原理与学习的3D场景表示(现在通常称为神经场景表示)相结合的方法。这些方法的一个关键优势是它们在设计上是3D一致的,从而实现了诸如捕获场景的新颖视点合成等应用。除了处理静态场景的方法外,我们还介绍了用于建模非刚性变形对象的神经场景表示。
2022-03-30 cs.CV cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces
MIT(麻省理工学院);Google(谷歌公司);ETH Zurich(苏黎世联邦理工学院)
提出FaceFolds表示方法,通过学习离散辐射流形和单层网格实现动态人脸的高效体积渲染,在游戏引擎中达到媲美SOTA神经渲染的真实感与前所未有的帧率。
2024-04-22 cs.CV cs.GR
Comparative Study of Geometric and Image Based Modelling and Rendering Techniques
本文对传统的三维计算机图形学中的几何建模技术和基于图像的绘制技术进行了比较研究,讨论了这两种技术的分类和代表方法。研究表明,这两种技术之间有很强的连续性,两者的混合最适合进一步实施。这项混合研究正在进行中,以创建真实生活情况的模型,并提供灾害管理培训。
2014-09-01 cs.GR cs.HC
Immersive Neural Graphics Primitives
Universität Hamburg(汉堡大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所(DESY))
神经辐射场(NeRF),特别是其通过即时神经图形基元的扩展,是一种新的用于视图合成的绘制方法,它使用真实世界的图像来构建照片般逼真的沉浸式虚拟场景。尽管有潜力,但关于NeRF和虚拟现实(VR)结合的研究仍然很少。目前,还没有集成到典型的VR系统中,并且尚未评估NeRF实现的VR性能和适用性,例如,针对不同的场景复杂性或屏幕分辨率。在本文中,我们提出并评估了一个基于NeRF的框架,该框架能够在沉浸式VR中渲染场景,允许用户自由移动头部来探索复杂的现实世界场景。我们评估我们的框架基准测试三个不同的NeRF场景在不同的场景复杂度和分辨率的渲染性能。利用超分辨率,我们的方法可以产生每秒30帧的帧速率,分辨率为1280 x720像素/眼。我们讨论了我们的框架的潜在应用,并在线提供了一个开源的实现。
2022-11-24 cs.CV cs.GR cs.HC
A Benchmarking Framework for Interactive 3D Applications in the Cloud
随着云游戏和云虚拟现实(VR)的日益普及,交互式3D应用程序已成为云的主要工作负载类型。然而,尽管它们的重要性越来越大,但由于缺乏开放和可靠的研究基础设施,包括基准测试和性能分析工具,关于如何设计云系统以有效支持这些应用程序的公共研究有限。在各种系统/应用程序随机性下生成类似人类的输入以及剖析复杂图形系统的性能的挑战使得设计这样的基础设施非常困难。在本文中,我们提出了一种新的云图形绘制研究基础设施,Pictor的设计。Pictor使用人工智能来模拟人类与复杂3D应用程序的交互。它还可以为用于云3D图形渲染的复杂软件和硬件堆栈提供深入的性能测量。使用Pictor,我们设计了一个包含六个交互式3D应用程序的基准套件。使用这些基准进行性能分析,以描述云中的3D应用程序并揭示新的性能瓶颈。为了证明Pictor的有效性,我们还实现了两个优化,以解决在最先进的云3D图形渲染系统中发现的两个性能瓶颈,这将帧速率平均提高了57.7%。
2020-08-02 cs.DC cs.GR
Neural Rendering and Its Hardware Acceleration: A Review
Zhejiang Lab(之江实验室);Jiangsu Key Laboratory of ASIC Design (Wuxi)(江苏省专用集成电路设计重点实验室(无锡))
该综述梳理了神经渲染的技术内涵、挑战与研究进展,分析其硬件加速的共性需求与现有架构特点,探讨相关处理器架构的设计挑战并展望未来发展趋势。
2024-01-06 cs.CV cs.GR eess.IV
Machine Learning-Driven Volumetric Cloud Rendering: Procedural Shader Optimization and Dynamic Lighting in Unreal Engine for Realistic Atmospheric Simulation
本研究针对计算机图形学中实时体云渲染问题,在虚幻引擎中开发专用着色器,结合光线投射光照算法与双层程序化噪声模型,实现无2D天气纹理的程序化天空配置,渲染耗时35ms/帧且云真实感较传统2D技术提升15%,推进真实大气模拟。
2025-02-12 cs.GR
Fairy Lights in Femtoseconds: Aerial and Volumetric Graphics Rendered by Focused Femtosecond Laser Combined with Computational Holographic Fields
提出了一种利用飞秒激光绘制航空和立体图形的方法。高强度激光激发物理物质在任意3D位置发光。然后可以探索流行的应用,特别是因为飞秒激光诱导的等离子体比纳秒激光产生的更安全。在空气中使用飞秒激光绘制图形有两种方法:使用空间光调制技术制作全息图,以及通过电流镜扫描激光束。这里提出的系统的全息图和工作空间占据了高达1立方厘米的体积;然而,这个尺寸是可缩放的,这取决于光学设备及其设置。本文提供了详细的原则,系统设置,和实验评估,并讨论该系统的可扩展性,设计空间和应用。我们测试了两种激光源:可调(30-100 fs)激光器,其以高达7 mJ/脉冲的能量每秒投射高达1,000个脉冲,以及269 fs激光器,其以高达50 uJ/脉冲的能量每秒投射高达200,000个脉冲。我们证实,与这些激光源实现的体积显示器的时空分辨率是每秒4,000和200,000点。虽然我们主要讨论的是空气中的激光诱导等离子体,但这里的讨论也适用于其他的渲染原理,如固体/液体材料中的荧光和微气泡。
2015-06-22 cs.GR cs.HC physics.optics
A Distributed, Decoupled System for Losslessly Streaming Dynamic Light Probes to Thin Clients
我们提出了一个网络化的,高性能的图形系统,结合了动态的,高质量的,光线跟踪全局光照计算的服务器上的直接照明和主要的可见性计算的客户端。这种方法在低功耗和传统硬件上提供了实时光线追踪的许多图像质量优势,同时保持了低延迟响应和移动形状因子。我们的系统通过在远程机器上计算漫射全局光照来将图形管道分布在网络上。全局光照的计算使用最近的辐照体积表示与一种新颖的,无损的,基于HEVC的,硬件加速的编码,和感知动机的更新方案相结合。我们的实验实现每秒传输数千个辐照探针,需要不到50 Mbps的吞吐量,与传统的无损纹理压缩相比,以60 Hz的频率传输时,所消耗的带宽减少了99.4%。与通过视频流进行的最先进的远程渲染相比,这种带宽降低可以实现更高质量和更低延迟的图形。此外,我们的分割渲染解决方案将远程计算与本地渲染相结合,因此不会限制本地显示更新速率或分辨率。
2021-03-10 cs.DC cs.GR
MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization
Faculty of Mathematics and Computer Science, Jagiellonian University in Kraków(克拉科夫雅盖隆大学数学与计算机科学学院);Department of Engineering, University of Cambridge(剑桥大学工程系);IDEAS Research Institute(IDEAS研究所)
本文提出MeshSplats方法,将高斯溅射转化为网格格式,利用光线追踪实现高效渲染,同时通过优化算法提升质量,适用于计算机图形学和图像处理。
2026-03-29 cs.CV cs.GR
Instanced model simplification using combined geometric and appearance-related metric
3D图形和图形世界的发展带来了内容优化、实时处理、渲染和共享存储限制等问题。通常,不同的简化方法被用于使3D网格可用于渲染。然而,这些方法中的许多忽略了实例化的3D网格的顶点属性。在本文中,我们实现和评估一个简单的和改进的版本来简化实例化的3D纹理模型。该方法使用不同的顶点属性,除了几何简化网格实例。由此产生的简化模型表现出高效的时空要求和更好的视觉质量。
2021-01-07 cs.CC cs.GR
Real-Time Neural Rasterization for Large Scenes
Waabi;University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
针对大场景实时新视角合成的现有方法局限,提出结合中等质量支架网格、神经纹理场与着色器及标准图形管线的神经光栅化方法,实现大场景30倍以上提速且真实感相当或更优的实时渲染。
2023-11-09 cs.AI cs.CV cs.GR
CGVQM+D: Computer Graphics Video Quality Metric and Dataset
Intel Corporation, USA(英特尔公司)
针对合成内容与现代渲染伪影的质量感知研究不足的问题,研究团队构建了聚焦高级渲染失真的视频质量数据集,提出性能更优的全参考视频质量指标CGVQM,相关资源已开源。
2025-06-13 cs.CV cs.GR
Neural Hamiltonian Deformation Fields for Dynamic Scene Rendering
Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学)
NeHaD通过哈密顿力学建模动态高斯点漂,实现物理真实的动态场景渲染与流媒体能力。
2025-12-11 cs.GR
Rig-space Neural Rendering
电影制作使用高分辨率的3d角色和复杂的专有设备来创建最高质量的图像。不幸的是,这些3d资产通常与用于游戏、混合现实和实时预可视化的实时图形引擎不兼容。因此,3d角色需要重新建模和重新装配,以适应这些新的应用,这需要数周的工作和艺术批准。我们解决这个问题的方法是学习一个紧凑的基于图像的原始3d角色渲染,直接以装备参数为条件。我们的想法是以许多不同的姿势和视图渲染角色,并直接从钻机参数训练深度神经网络来渲染高分辨率图像。已经提出了许多神经渲染技术来从2D骨架或几何和UV贴图进行渲染。然而,这些需要手动工作,并且不保持与操纵装备部件的动画师工作流以及内插装备参数的实时游戏引擎流水线兼容。我们扩展我们的架构,以支持动态重新照明和组成与其他3d对象在场景中。我们设计了一个网络,有效地生成多个场景特征图,如法线,深度,阴影和遮罩,这些特征图与其他场景对象组成,形成最终的图像。
2020-03-22 cs.GR
Differentiable Transient Rendering
近年来,可微绘制技术已成为解决图形学和视觉中许多逆问题的关键工具。然而,现有的模型假设稳态光传输,即,无限光速虽然这对许多应用来说是一个安全的假设,但超快成像的最新进展利用了可以从光的确切飞行时间中提取的丰富信息。在这种情况下,基于物理的瞬态渲染允许有效地模拟和分析光传输,考虑到光速确实是有限的。在本文中,我们介绍了一种新的可微瞬态渲染框架,以帮助将可微方法的潜力带入瞬态状态。为了区分瞬时路径积分,我们需要考虑路径顶点处的散射事件不再独立;相反,跟踪光的飞行时间需要将路径顶点处的此类散射事件共同视为多维的、不断发展的流形。因此,我们转向广义输运定理,并引入一个新的相关重要性项,它将路径的时间积分贡献与其光吞吐量联系起来,并允许我们处理光和传感器功能中的不连续性。最后,我们提出的结果在几个具有挑战性的情况下,光的飞行时间起着重要的作用,如优化折射率,非视线跟踪与非平面中继墙,和非视线跟踪两个角落。
2022-06-13 cs.GR
Real-time High-resolution View Synthesis of Complex Scenes with Explicit 3D Visibility Reasoning
本文提出一种基于显式三维可见性推理的可泛化视图合成方法,通过可微可见性估计嵌入体渲染管线,实现稀疏视图下复杂静态与动态场景的高分辨率实时渲染,在质量与速度上均优于现有方法。
2024-02-20 cs.GR
Differentiable Visual Computing
MASSACHUSETTS INSTITUTE OF TECHNOLOGY(麻省理工学院);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
计算机图形学、图像处理和深度学习算法的衍生物在指导参数空间搜索或求解逆问题方面有着巨大的用途。随着算法变得越来越复杂,我们不再只需要区分简单的数学函数,而是必须处理编码数据的复杂转换的通用程序。本文介绍了三种工具,以解决复杂图形算法的导数获取和应用时出现的挑战。传统上,从业者被限制在用有限的运算符或手工派生的导数来编写程序。我们扩展了图像处理语言Halide的反向模式自动微分,并能够自动优化梯度计算。这使得自动生成任意Halide程序的梯度,在高性能,几乎没有程序员的努力。在3D渲染中,渐变需要与相机参数、几何体和外观等变量相关。然而,计算梯度是具有挑战性的,因为渲染积分包括不可微的可见性项。我们介绍,据我们所知,第一个通用的可微光线跟踪器,解决了完整的渲染方程,同时正确地考虑到几何不连续性。最后,我们证明了光路吞吐量的导数也可以用于引导前向渲染中的采样。由于难以对高贡献区域进行采样,因此在3D渲染中模拟存在多次反弹光泽效果和运动的光传输是具有挑战性的。我们提出了一个马尔可夫链蒙特卡罗渲染算法,扩展大都市光传输自动和明确地适应当地的被积函数,从而提高采样效率。
2019-05-27 cs.CV cs.GR
Dynamic Scene Reconstruction: Recent Advance in Real-time Rendering and Streaming
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Computer Science, Peking University(北京大学计算机学院)
本综述系统梳理了动态场景重建与渲染的演进,重点总结基于NeRF和3D Gaussian Splatting的方法、数据集、基准性能及未来方向,覆盖170余篇论文。
2025-03-11 cs.CV cs.GR
The Esports Frontier: Rendering for Competitive Games
实时图形通常被认为是超过30 fps的任何东西,其中应用程序的交互性变得足够流畅,可以进行高速率的交互。受电子竞技和竞技游戏的启发,玩家经常超过实时阈值10倍(电子竞技显示器通常达到360 Hz或更高),本演讲开始探索渲染如何有机会超越当前对图像质量或帧速率的关注。电子竞技游戏玩家经常拒绝几乎所有的选项,以提高图像质量,以换取最大的帧速率。然而,仍然有一个明显的机会超越对视频作为图像序列的关注,而是重新考虑管道以进行更连续的更新。
2022-08-30 cs.GR cs.HC
Towards Attention-aware Foveated Rendering
本文提出首个注意力感知的对比敏感度模型,通过用户研究发现注意力分配显著影响外围敏感度,预测可节省大量带宽,为注意力感知注视点渲染奠定基础。
2023-05-10 cs.GR cs.HC eess.IV
Fast Monte Carlo Rendering via Multi-Resolution Sampling
Portland State University(波特兰州立大学);Intel(英特尔)
蒙特卡罗绘制算法被广泛用于产生真实感计算机图形图像。然而,这些算法需要对每个像素的大量光线进行采样,以实现适当的全局光照,因此需要大量的计算。在本文中,我们提出了一种混合绘制方法,以加快蒙特卡罗绘制算法。我们的方法首先生成两个版本的渲染:一个是低分辨率和高采样率(LRHS),另一个是高分辨率和低采样率(HRLS)。然后,我们开发了一个深度卷积神经网络,将这两个渲染融合成一个高质量的图像,就好像它是以高分辨率和高采样率渲染的一样。具体来说,我们制定这个融合任务作为一个超分辨率的问题,从低分辨率输入(LRHS),辅助HRLS渲染生成一个高分辨率渲染。HRLS渲染提供了对于任何超分辨率方法都难以从LRHS恢复的关键高频细节。我们的实验表明,我们的混合渲染算法比最先进的蒙特卡洛去噪方法要快得多,同时在我们自己的BCR数据集和Gharbi数据集上进行测试时,渲染出高质量的图像。\url{https://github.com/hqqxyy/msspl}
2021-06-24 cs.CV cs.GR
Capture and Interact: Rapid 3D Object Acquisition and Rendering with Gaussian Splatting in Unity
IMDEA Networks Institute(IMDEA网络研究所)
提出一种利用3D高斯泼溅的端到端流水线,通过手机扫描、云端重建和Unity交互渲染,实现快速3D物体获取与实时可视化,平均150fps,处理约10分钟。
2025-10-08 cs.CV cs.GR
Vorion: A RISC-V GPU with Hardware-Accelerated 3D Gaussian Rendering and Training
University of Texas at Austin(德克萨斯大学奥斯汀分校)
Vorion是首个实现硬件加速3DGS渲染和训练的RISC-V GPU,通过可扩展架构和混合数据流,实现高效实时4D重建。
2025-11-20 cs.AR cs.GR
Hardware Acceleration of Neural Graphics
UIUC(伊利诺伊大学厄巴纳-香槟分校);Intel Corporation(英特尔公司)
本文针对神经图形在现有 GPU 上性能不足的问题,提出专用硬件架构 NGPC 加速输入编码与 MLP 内核,并结合 Vulkan 内核融合,实现最高 58 倍端到端性能提升,支持高分辨率实时神经渲染。
2023-04-12 cs.AR cs.GR cs.LG
Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The University of Hong Kong(香港大学);Stanford University(斯坦福大学)
使用神经网络合成逼真的人类视频由于其高效率而成为传统的基于图形的渲染流水线的流行替代方案。现有的作品通常将此公式化为2D屏幕空间中的图像到图像的转换问题,这会导致诸如过度平滑、丢失身体部位和精细尺度细节的时间不稳定性(诸如服装中的姿势依赖性皱纹)之类的伪像。在本文中,我们提出了一种新的人类视频合成方法,通过明确地将时间相干的精细尺度细节的学习与人类在2D屏幕空间中的嵌入分离开来,来接近这些限制因素。更具体地说,我们的方法依赖于两个卷积神经网络(CNN)的组合。给定姿态信息,第一CNN预测包含时间相干高频细节的动态纹理图,并且第二CNN根据第一CNN的时间相干输出来调节最终视频的生成。我们展示了我们的方法的几个应用,如人类重演和新的单目视频视图合成,在那里我们表现出显着的改进,在定性和定量的最先进的。
2021-07-05 cs.CV cs.GR
ReFrame: Layer Caching for Accelerated Inference in Real-Time Rendering
University of British Columbia(不列颠哥伦比亚大学)
针对实时渲染任务中神经网络推理的冗余计算问题,提出ReFrame层缓存框架,通过探索不同缓存策略优化质量与性能权衡,可适配多种编码器-解码器风格网络,实现平均1.4倍加速且质量损失可忽略。
2025-06-14 cs.GR cs.LG eess.IV
Neural directional distance field object representation for uni-directional path-traced rendering
National Institute of Science Education and Research(国家科学教育与研究所);Homi Bhabha National Institute(霍米·巴巴国家研究所)
本文针对计算机图形学中路径追踪渲染的查询瓶颈,提出方向距离场作为物体的函数表示,将其存储为神经网络进行优化,并设计了修改后的路径追踪算法以实现该物体表示的快速渲染。
2023-06-28 cs.CV cs.GR
DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院)
本文提出DiffSoup,一种利用少量三角形和神经纹理的辐射场表示,通过随机遮罩实现直接可微的二进制不透明度,从而在无需平滑着色的情况下实现高效的实时渲染。
2026-08-18 cs.CV cs.GR
Re-ReND: Real-time Rendering of NeRFs across Devices
KAUST(阿卜杜拉国王科技大学);Meta Research(Meta研究院)
提出了一种在资源受限的设备上实时的【形】绘制预先训练好的神经辐射场(NeRF)的新方法。我们介绍了Re-ReND,一种能够跨设备实时的【形】呈现NeRF的方法。Re-ReND旨在通过将NeRF转换为可以由标准图形管道有效处理的表示来实现实时的【形】性能。所提出的方法通过将学习到的密度提取到网格中来提取NeRF,而学习到的颜色信息被分解为一组表示场景光场的矩阵。因子分解意味着通过廉价的无MLP矩阵乘法来查询该场,而使用光场允许通过查询该场一次来渲染像素-而不是采用辐射场时的数百次查询。由于所提出的表示可以使用片段着色器来实现,因此它可以直接与标准光栅化框架集成。我们灵活的实现方式可以在实时的【形】呈现NeRF,内存要求低,并且可以在各种资源受限的设备上呈现,包括手机和AR/VR头显。值得注意的是,我们发现Re-ReND可以在渲染速度上实现超过2.6倍的提高,而不会在质量上有明显的损失。
2023-03-15 cs.CV cs.GR
SplatBus: A Gaussian Splatting Viewer Framework via GPU Interprocess Communication
Trinity College Dublin(都柏林三一学院)
SplatBus通过GPU进程间通信实现3D高斯溅射的可视化,解决了传统渲染管线整合难题,适用于自动驾驶和虚拟现实等应用。
2026-10-14 cs.CV cs.GR
Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes
NVIDIA(英伟达);University of Toronto(多伦多大学);McGill University(麦吉尔大学);Vector Institute(向量研究所)
神经符号距离函数(SDF)正在成为3D形状的有效表示。最先进的方法通常用大的、固定大小的神经网络对SDF进行编码,以用隐式表面来近似复杂的形状。然而,使用这些大型网络进行渲染在计算上是昂贵的,因为它需要为每个像素通过网络进行多次前向传递,使得这些表示对于实时的【形】图形来说是不切实际的。我们引入了一种高效的神经表示,首次实现了高保真神经SDF的实时的【形】渲染,同时实现了最先进的几何重建质量。我们表示隐式曲面使用八叉树为基础的功能体积,自适应地适合形状与多个离散层次的细节(LOD),并使连续的LOD与SDF插值。我们进一步开发了一个有效的算法,直接渲染我们的新的神经SDF表示实时的【形】查询只有必要的LOD与稀疏八叉树遍历。我们表明,我们的表示是2-3个数量级更有效的渲染速度相比,以前的作品。此外,它产生了国家的最先进的重建质量的复杂形状下的3D几何和2D图像空间度量。
2021-01-26 cs.CV cs.GR
KiloNeuS: A Versatile Neural Implicit Surface Representation for Real-Time Rendering
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);La Sapienza Università di Roma(罗马第一大学)
基于NeRF的技术将宽而深的多层感知器(MLP)拟合到可以从任何看不见的视点渲染的连续辐射场。然而,缺乏表面和法线定义和高渲染时间限制了它们在典型计算机图形应用中的使用。这些局限性最近已被单独克服,但共同解决这些问题仍然是一个悬而未决的问题。我们提出了KiloNeuS,这是一种神经表示,它从多视图图像中重建一个表示为符号距离函数(SDF)的隐式表面,并通过将空间划分为数千个快速推理的微小MLP来实现实时的【形】渲染。当我们使用独立模型局部学习隐式曲面时,导致全局一致的几何形状是不平凡的,需要在训练期间解决。我们评估了GPU加速的光线投射器与着色器内神经网络推理的渲染性能,在高分辨率下平均为46 FPS,证明了存储成本和渲染质量之间令人满意的权衡。事实上,我们对渲染质量和表面恢复的评估表明,KiloNeuS优于其单MLP对应。最后,为了展示KiloNeuS的多功能性,我们将其集成到一个交互式路径跟踪器中,充分利用其表面法线。我们认为我们的工作是实现全局光照下隐式神经表征的实时的【形】绘制的关键的第一步。
2022-11-21 cs.CV cs.GR cs.LG
A Distributed GPU-based Framework for real-time 3D Volume Rendering of Large Astronomical Data Cubes
我们提出了一个框架,以交互式体渲染三维数据立方体使用分布式光线投射和体积砖在一个或多个图形处理单元(GPU)和一个多核CPU的工作站集群。该框架的主要设计目标是提供一个核心可视化解决方案,能够提供TB级数据立方体的三维交互式视图。我们使用包含64个节点、总共128个GPU的计算集群测试了所提出的框架。该框架被证明是可扩展的,可以以平均每秒30帧的速度渲染204 GB的数据立方体。我们的性能分析还比较了使用NVIDIA Tesla 1060和2050 GPU架构以及增加可视化输出分辨率对渲染性能的影响。虽然我们最初的重点,并在这项工作中提出的例子,是体绘制的光谱数据立方体从射电天文学,我们认为,我们的方法具有适用性的其他学科接近实时体绘制的TB级的3D数据集是一个要求。
2012-05-01 astro-ph.IM cs.DC cs.GR
Windfoil: Closed-Form Coverage for Real-Time and Differentiable Vector Graphics
Creative Computing Institute(创意计算学院);University of the Arts London(伦敦艺术大学)
Windfoil通过闭式绕数实现GPU友好的实时可微分矢量图形渲染,在保真度和性能上优于Skia和Slug,并以低计算成本高效优化,支持数万形状的交互式处理。
2026-10-05 cs.CV cs.GR