Statistical Rendering for Visualization of Red Sea Eddy Simulation Data
分析海洋涡旋的影响对于了解能量和地球化学粒子的输运在海洋学中具有重要意义。我们提出了一个应用程序的统计可视化算法的分析红海涡模拟合奏。具体来说,我们展示了统计体渲染和统计莫尔斯复杂的摘要地图的应用程序的速度幅值场研究的涡流位置的流量数据集。在统计体渲染中,我们使用噪声模型(如参数和非参数)对每个体素数据的不确定性进行建模,并研究不确定性在体渲染管道中的传播。在统计莫尔斯复杂的摘要地图,我们推导出直方图特征的梯度流目的地的不确定性,以了解莫尔斯复杂的拓扑变化整个合奏。我们证明了我们的统计可视化的潜在的涡流位置和空间不确定性的有效分析的效用。
2021-06-23 cs.GR physics.ao-ph
DHR+S: Distributed Hybrid Rendering with Realistic Real-time Shadows for Interactive Thin Client Metaverse and Game Applications
本文提出 DHR+S 分布式混合渲染方法,通过柔化光线追踪阴影边缘并重建环境光遮蔽来增强实时阴影真实感,仅用远程渲染 20-30% 带宽且可容忍 200 ms 延迟。
2024-06-11 cs.GR
State of the Art on Neural Rendering
MPI Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学);Facebook Reality Labs(Facebook现实实验室);Adobe Research(Adobe研究院);Google Inc(谷歌公司)
高效绘制真实感虚拟世界是计算机图形学的长期努力。现代图形技术已经成功地从手工制作的场景表示合成照片般逼真的图像。然而,自动生成的形状,材料,照明和场景的其他方面仍然是一个具有挑战性的问题,如果解决,将使照片逼真的计算机图形更广泛地访问。与此同时,计算机视觉和机器学习的进步催生了一种新的图像合成和编辑方法,即深度生成模型。神经渲染是将生成机器学习技术与来自计算机图形学的物理知识相结合的新的且迅速兴起的领域,例如,通过将可微分渲染集成到网络训练中。随着计算机图形学和视觉领域的大量应用,神经渲染有望成为图形学领域的一个新领域,但还没有对这个新兴领域的调查。这篇最新的报告总结了神经渲染的最新趋势和应用。我们专注于将经典计算机图形技术与深度生成模型相结合的方法,以获得可控和照片般逼真的输出。从基本的计算机图形学和机器学习概念的概述开始,我们讨论了神经渲染方法的关键方面。这份最先进的报告重点介绍了所述算法的许多重要用例,如新颖的视图合成,语义照片处理,面部和身体重演,重新照明,自由视点视频,以及为虚拟和增强现实远程呈现创建照片般逼真的化身。最后,我们总结了这种技术的社会影响的讨论,并调查开放的研究问题。
2020-04-08 cs.CV cs.GR
FIRE-3DV: Framework-Independent Rendering Engine for 3D Graphics using Vulkan
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院);Johns Hopkins University(约翰斯·霍普金斯大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出FIRE-3DV,一个基于Vulkan的轻量级渲染引擎,用于现代化机器人模拟框架(如AMBF)的渲染管线,通过PBR、抗锯齿和光线追踪阴影提升图像保真度,同时保持GPU计算时间在2毫秒内,可处理超过七百万三角形。
2024-12-13 cs.GR cs.RO cs.SE
Rendering Portals in Virtual Reality
University of Basel(巴塞尔大学)
本文提出了一种在虚拟现实中使门体过渡不可察觉的技术,并评估了渲染门体的性能影响及优化方法。
2026-01-28 cs.GR
Bezier Splatting for Fast and Differentiable Vector Graphics Rendering
Clemson University(克莱姆森大学);Adobe Research(Adobe研究院)
本文提出贝塞尔点绘方法,通过高效光栅化实现快速且高保真的向量图形渲染,同时支持SVG格式转换,显著提升渲染质量和优化效率。
2025-12-09 cs.CV cs.GR
Arc Blanc: a real time ocean simulation framework
本文提出Arc Blanc实时海洋模拟框架,整合现有组件并详细描述其交互,模拟自由海面与固流耦合,同时提出计算任意深度流体实时速度等改进以增强物理真实感。
2025-04-29 cs.GR
A Survey on Physics-based Differentiable Rendering
本综述全面回顾了基于物理的可微渲染的最新进展,重点介绍了通用可微渲染理论、Monte Carlo 采样策略及计算效率的提升,为解决逆向渲染任务提供了理论与技术参考。
2025-04-02 cs.GR
Modular Primitives for High-Performance Differentiable Rendering
NVIDIA(英伟达);Aalto University(阿尔托大学)
我们提出了一个模块化的微分渲染器的设计,产生性能优于以前的方法,利用现有的,高度优化的硬件图形管道。我们的设计支持现代图形流水线中的所有关键操作:栅格化大量三角形,属性插值,过滤纹理查找,以及用户可编程的着色和几何处理,所有这些都是高分辨率的。我们的模块化原语允许直接在PyTorch或TensorFlow等自动微分框架内构建自定义的高性能图形管道。作为一个激励性的应用程序,我们制定了面部表现捕捉作为一个逆渲染问题,并表明它可以有效地解决使用我们的工具。我们的研究结果表明,这种简单而直接的方法实现了渲染结果和参考图像之间的良好几何对应。
2020-11-06 cs.CV cs.GR cs.LG
Differentiable Shadow Mapping for Efficient Inverse Graphics
TU Berlin(柏林工业大学)
针对三角形网格可微分渲染的阴影生成问题,提出将预滤波阴影映射与现有可微分光栅化器结合的方法,在逆向图形任务中实现了精度相当、速度快数个数量级的效果,解决了无阴影可微分光栅化难收敛的问题。
2023-08-21 cs.CV cs.GR
Anecdotal Survey of Variations in Path Stroking among Real-world Implementations
勾画路径是矢量图形标准中的两个基本渲染操作之一(例如,PDF,SVG)。我们调查路径笔画渲染结果从现实世界中的软件实现路径笔画的轶事证据表明,这种实现容易渲染的差异。虽然我们的调查是有限的和非正式的,我们收集的渲染结果表明,广泛的渲染变化简单,但有问题的笔画路径几十年前首次确定。我们的结论是矢量图形内容的创建者将受益于一个数学接地标准化的描边路径应如何光栅化。
2020-07-23 cs.DL cs.GR
Hair Color Digitization through Imaging and Deep Inverse Graphics
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Sorbonne Université, CNRS, LIP6(索邦大学法国国家科学研究中心LIP6实验室)
头发外观是一个复杂的现象,这是由于头发的几何形状和光线如何在不同的头发纤维上反弹。出于这个原因,在渲染环境中再现特定的头发颜色是一项具有挑战性的任务,需要人工工作和计算机图形学方面的专业知识来在视觉上调整结果。虽然当前的毛发捕获方法集中于毛发形状估计,但是许多应用可以受益于用于捕获物理毛发样本的外观的自动化方法,从增强/虚拟现实到毛发染色开发。基于使用深度神经网络的逆图形和材料捕获的最新进展,我们介绍了一种用于头发颜色数字化的新方法。我们提出的管道允许捕获物理头发样本的颜色外观,并呈现具有类似外观的头发的合成图像,模拟不同的发型和/或照明环境。由于真实感头发图像的绘制需要路径跟踪绘制,传统的基于可微绘制的逆图形方法难以处理。我们的方法是基于一个受控的成像设备,一个路径跟踪渲染器,和一个基于自监督机器学习的逆图形模型的组合,它不需要使用微分渲染进行训练。我们说明了我们的头发数字化方法在真实图像和合成图像上的性能,并表明我们的方法可以准确地捕获和渲染头发颜色。
2022-02-08 cs.AI cs.CV cs.GR
GAMORRA: An API-Level Workload Model for Rasterization-based Graphics Pipeline Architecture
需要帧渲染时间估计或动态频率缩放的应用程序的性能依赖于这些应用程序中使用的工作负载模型的准确性。现有的模型在其核心模型中缺乏足够的准确性。因此,它们需要对目标应用程序或硬件进行更改,以产生准确的结果。本文介绍了一种基于栅格化的图形应用编程接口(API)流水线,命名为GAMORRA,它的工作负载和复杂性的基础上,每个阶段的流水线的数学工作量模型。首先,GAMORRA根据流水线的操作复杂度和输入数据大小对流水线的各个阶段进行建模。然后,将计算出的各阶段的工作量作为解释变量输入到多元线性回归(MLR)模型中。提出了一种混合离线/在线训练方案,以及训练模型。一套基准测试也被设计来调整模型参数的基础上的目标系统的性能。实验在Direct 3D 11和两个不同的渲染平台上进行,将GAMORRA与自回归(AR)模型、帧复杂度模型(FCM)和基于频率的(FRQ)模型进行比较。实验表明,帧渲染时间估计的平均误差为1.27 ms(9.45%),而FCM的平均误差为1.87 ms(13.23%),这是三种方法中最好的方法。然而,与FCM相比,这是以时间复杂度增加0.54 ms(4.58%)为代价的。此外,与FCM相比,GAMMORA将帧时间低估提高了1.1%。
2022-04-26 cs.GR
MeshSuite: A Unified Benchmark for Triangle- and Mesh-Based Neural Rendering
Nanjing University of Science and Technology(南京理工大学);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(先进工程机械智能制造国家重点实验室);University of Surrey(萨里大学)
MeshSplatBench是基于三角形的神经渲染统一基准,建立标准化评估协议,分层Unity部署协议,审计重建表面拓扑,揭示图形就绪性需多维度整体对齐,源代码将发布。
2026-10-30 cs.CV cs.GR
Blendify -- Python rendering framework for Blender
University of Tübingen(蒂宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
Blendify是一个与Blender无缝集成的轻量级Python渲染框架,通过高层API简化场景创建与渲染流程,为计算机视觉和图形学研究提供高效灵活的可视化工具。
2024-10-23 cs.CV cs.GR
Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
Huawei Technologies Japan K.K.(华为技术日本株式会社)
微分渲染(DR)通过使用渲染方程的导数的基于梯度的优化来实现各种计算机图形和计算机视觉应用。大多数基于光栅化的方法都是基于通用的自动微分(AD)库和使用CUDA手工制作的DR特定模块。这样的系统设计混合了DR算法实现和算法构建块,导致硬件依赖性和有限的性能。在本文中,我们提出了一个实用的硬件无关的微分渲染称为Dressi,这是基于一个新的全AD设计。Dressi的DR算法完全写在我们基于Vulkan的DR AD中,Dressi-AD,它支持DR的所有原始操作。Dressi-AD和我们的逆UV技术,它带来了硬件独立性和图形硬件加速。阶段打包,我们的运行时优化技术,可以适应硬件约束,并有效地执行复杂的计算图形的DR与反应缓存考虑渲染通过层次的Vulkan。HardSoftRas,我们的新渲染过程,是专为逆渲染与图形管道。在图形流水线的有限功能下,HardSoftRas可以将像素的梯度从屏幕空间传播到远距离三角形属性。我们的实验和应用表明,Dressi建立硬件独立性,高质量和鲁棒性的优化速度快,真实感渲染。
2022-04-04 cs.CV cs.GR
Deep Graphics Encoder for Real-Time Video Makeup Synthesis from Example
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI Télécom Paris Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Modiface(Modiface公司);Sorbonne Université CNRS LIP6(索邦大学CNRS LIP6实验室)
虽然化妆品虚拟试穿现在很普遍,但参数化用于合成给定化妆品产品的图像的计算机图形渲染引擎仍然是一项具有挑战性的任务。在本文中,我们介绍了一种逆计算机图形学方法自动化妆合成从参考图像,通过学习一个模型,映射一个例子的肖像图像与化妆的渲染参数的空间。这种方法可以被艺术家用来自动创建逼真的虚拟化妆品图像样本,或者被消费者用来虚拟地试穿从他们最喜欢的参考图像中提取的化妆品。
2021-05-12 cs.AI cs.CV cs.GR
DIST: Rendering Deep Implicit Signed Distance Function with Differentiable Sphere Tracing
ETH Zurich(苏黎世联邦理工学院);Tsinghua University(清华大学);Google(谷歌);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Microsoft(微软)
我们提出了一种可微球体跟踪算法,以弥补逆图形方法和最近提出的基于深度学习的隐式符号距离函数之间的差距。由于隐式函数的性质,渲染过程需要大量的函数查询,当函数表示为神经网络时,这尤其成问题。我们优化了渲染层的向前和向后传递,使其在商品图形卡上以合理的内存消耗高效运行。我们的渲染方法是完全可微的,这样可以直接在渲染的2D观察上计算损失,并且可以向后传播梯度以优化3D几何形状。我们表明,我们的渲染方法可以有效地重建准确的3D形状从各种输入,如稀疏的深度和多视图图像,通过逆优化。通过基于几何的推理,我们的3D形状预测方法显示出良好的泛化能力和对各种噪声的鲁棒性。
2020-06-11 cs.CV cs.GR
TBR: Transport-Based Rendering with Deposition Strokes for Inverse Graphics
Zelostech(泽洛科技);Huaxin Design Institute(华信设计院);Communication University of China(中国传媒大学)
针对数字大理石纹模型,提出利用重放伴随优化胶囊插入程序以近似目标图像,实现低内存高效恢复,支持程序级编辑重放。
2026-09-11 cs.CV cs.GR
Advances in Neural Rendering
MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);Reality Labs Research(现实实验室研究院);MIT(麻省理工学院);Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
合成照片级逼真的图像和视频是计算机图形学的核心,也是几十年来研究的焦点。传统上,使用诸如光栅化或光线追踪之类的渲染算法来生成场景的合成图像,这些渲染算法将具体定义的几何和材料属性的表示作为输入。总的来说,这些输入定义了实际的场景和渲染的内容,并被称为场景表示(其中场景由一个或多个对象组成)。示例场景表示是具有伴随纹理的三角形网格(例如,由艺术家创建),点云(例如,来自深度传感器),体积网格(例如,来自CT扫描),或隐式表面函数(例如,截断的有符号距离字段)。使用可微分的渲染损失从观察重构这样的场景表示被称为逆图形或逆渲染。神经渲染是密切相关的,它结合了经典计算机图形学和机器学习的思想,创建了从现实世界的观察合成图像的算法。神经渲染是向合成照片级真实感图像和视频内容的目标的飞跃。近年来,我们已经看到了这一领域的巨大进步,通过数百个出版物展示了将可学习组件注入渲染管道的不同方法。这份关于神经渲染进展的最新报告重点介绍了将经典渲染原理与学习的3D场景表示(现在通常称为神经场景表示)相结合的方法。这些方法的一个关键优势是它们在设计上是3D一致的,从而实现了诸如捕获场景的新颖视点合成等应用。除了处理静态场景的方法外,我们还介绍了用于建模非刚性变形对象的神经场景表示。
2022-03-30 cs.CV cs.GR
Hand Shadow Art: A Differentiable Rendering Perspective
本文提出基于可微渲染的手部模型变形方法,使手影与目标图像及光照一致,并展示双手阴影及姿势插值效果。
2025-05-27 cs.GR
Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
Comparative Study of Geometric and Image Based Modelling and Rendering Techniques
本文对传统的三维计算机图形学中的几何建模技术和基于图像的绘制技术进行了比较研究,讨论了这两种技术的分类和代表方法。研究表明,这两种技术之间有很强的连续性,两者的混合最适合进一步实施。这项混合研究正在进行中,以创建真实生活情况的模型,并提供灾害管理培训。
2014-09-01 cs.GR cs.HC
Immersive Neural Graphics Primitives
Universität Hamburg(汉堡大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所(DESY))
神经辐射场(NeRF),特别是其通过即时神经图形基元的扩展,是一种新的用于视图合成的绘制方法,它使用真实世界的图像来构建照片般逼真的沉浸式虚拟场景。尽管有潜力,但关于NeRF和虚拟现实(VR)结合的研究仍然很少。目前,还没有集成到典型的VR系统中,并且尚未评估NeRF实现的VR性能和适用性,例如,针对不同的场景复杂性或屏幕分辨率。在本文中,我们提出并评估了一个基于NeRF的框架,该框架能够在沉浸式VR中渲染场景,允许用户自由移动头部来探索复杂的现实世界场景。我们评估我们的框架基准测试三个不同的NeRF场景在不同的场景复杂度和分辨率的渲染性能。利用超分辨率,我们的方法可以产生每秒30帧的帧速率,分辨率为1280 x720像素/眼。我们讨论了我们的框架的潜在应用,并在线提供了一个开源的实现。
2022-11-24 cs.CV cs.GR cs.HC
On-the-Fly Power-Aware Rendering
在台式计算机中,特别是在诸如移动电话的电池供电设备中,节能是普遍关注的问题。这使得对能够延长电池寿命同时保持良好质量的功耗感知图形应用的需求不断增长。在本文中,我们解决这个问题,提出了一个实时的节能渲染框架,能够动态地选择渲染配置在给定的功率预算内的最佳质量。与现有技术不同的是,我们的方法不需要预先计算整个相机视图空间,也不需要Pareto曲线来探索巨大的功率误差空间;因此,它也可以处理动态场景。我们的算法是基于两个关键组成部分:我们的新的功率预测模型,和我们的运行时质量误差估计机制。这些组件允许我们在运行时搜索最佳渲染配置,对用户透明。我们证明了我们的框架在两个不同的平台上的性能:一个台式计算机,和一个移动终端。在这两种情况下,我们都能产生接近最高质量的结果,同时实现显著的节能。
2018-07-31 cs.GR
Neural Rendering and Its Hardware Acceleration: A Review
Zhejiang Lab(之江实验室);Jiangsu Key Laboratory of ASIC Design (Wuxi)(江苏省专用集成电路设计重点实验室(无锡))
该综述梳理了神经渲染的技术内涵、挑战与研究进展,分析其硬件加速的共性需求与现有架构特点,探讨相关处理器架构的设计挑战并展望未来发展趋势。
2024-01-06 cs.CV cs.GR eess.IV
Machine Learning-Driven Volumetric Cloud Rendering: Procedural Shader Optimization and Dynamic Lighting in Unreal Engine for Realistic Atmospheric Simulation
本研究针对计算机图形学中实时体云渲染问题,在虚幻引擎中开发专用着色器,结合光线投射光照算法与双层程序化噪声模型,实现无2D天气纹理的程序化天空配置,渲染耗时35ms/帧且云真实感较传统2D技术提升15%,推进真实大气模拟。
2025-02-12 cs.GR
Fairy Lights in Femtoseconds: Aerial and Volumetric Graphics Rendered by Focused Femtosecond Laser Combined with Computational Holographic Fields
提出了一种利用飞秒激光绘制航空和立体图形的方法。高强度激光激发物理物质在任意3D位置发光。然后可以探索流行的应用,特别是因为飞秒激光诱导的等离子体比纳秒激光产生的更安全。在空气中使用飞秒激光绘制图形有两种方法:使用空间光调制技术制作全息图,以及通过电流镜扫描激光束。这里提出的系统的全息图和工作空间占据了高达1立方厘米的体积;然而,这个尺寸是可缩放的,这取决于光学设备及其设置。本文提供了详细的原则,系统设置,和实验评估,并讨论该系统的可扩展性,设计空间和应用。我们测试了两种激光源:可调(30-100 fs)激光器,其以高达7 mJ/脉冲的能量每秒投射高达1,000个脉冲,以及269 fs激光器,其以高达50 uJ/脉冲的能量每秒投射高达200,000个脉冲。我们证实,与这些激光源实现的体积显示器的时空分辨率是每秒4,000和200,000点。虽然我们主要讨论的是空气中的激光诱导等离子体,但这里的讨论也适用于其他的渲染原理,如固体/液体材料中的荧光和微气泡。
2015-06-22 cs.GR cs.HC physics.optics
A Distributed, Decoupled System for Losslessly Streaming Dynamic Light Probes to Thin Clients
我们提出了一个网络化的,高性能的图形系统,结合了动态的,高质量的,光线跟踪全局光照计算的服务器上的直接照明和主要的可见性计算的客户端。这种方法在低功耗和传统硬件上提供了实时光线追踪的许多图像质量优势,同时保持了低延迟响应和移动形状因子。我们的系统通过在远程机器上计算漫射全局光照来将图形管道分布在网络上。全局光照的计算使用最近的辐照体积表示与一种新颖的,无损的,基于HEVC的,硬件加速的编码,和感知动机的更新方案相结合。我们的实验实现每秒传输数千个辐照探针,需要不到50 Mbps的吞吐量,与传统的无损纹理压缩相比,以60 Hz的频率传输时,所消耗的带宽减少了99.4%。与通过视频流进行的最先进的远程渲染相比,这种带宽降低可以实现更高质量和更低延迟的图形。此外,我们的分割渲染解决方案将远程计算与本地渲染相结合,因此不会限制本地显示更新速率或分辨率。
2021-03-10 cs.DC cs.GR
MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization
Faculty of Mathematics and Computer Science, Jagiellonian University in Kraków(克拉科夫雅盖隆大学数学与计算机科学学院);Department of Engineering, University of Cambridge(剑桥大学工程系);IDEAS Research Institute(IDEAS研究所)
本文提出MeshSplats方法,将高斯溅射转化为网格格式,利用光线追踪实现高效渲染,同时通过优化算法提升质量,适用于计算机图形学和图像处理。
2026-03-29 cs.CV cs.GR
GPU-friendly Stroke Expansion
本文提出一种适合 GPU 计算着色器的完全并行描边扩展算法,通过矢量图元并行编码和基于欧拉螺线的平行曲线与渐屈线近似,以最少的线段或圆弧段生成输入路径的描边轮廓。
2024-06-29 cs.GR
CGVQM+D: Computer Graphics Video Quality Metric and Dataset
Intel Corporation, USA(英特尔公司)
针对合成内容与现代渲染伪影的质量感知研究不足的问题,研究团队构建了聚焦高级渲染失真的视频质量数据集,提出性能更优的全参考视频质量指标CGVQM,相关资源已开源。
2025-06-13 cs.CV cs.GR
Unified Gaussian Primitives for Scene Representation and Rendering
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Meta Reality Labs(Meta现实实验室);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出基于3D高斯分布的统一渲染基元,支持从光滑表面到模糊元素的外观,并实现基于物理的散射以进行全局光照,兼容蒙特卡洛路径追踪,可转换自网格和3D高斯泼溅,支持透射率优化。
2026-06-29 cs.GR
Neural Lumigraph Rendering
Raxium(拉克瑟姆公司);Stanford University(斯坦福大学)
新视点合成是一个具有挑战性的不适定逆绘制问题。神经渲染技术最近已经实现了这一任务的照片级逼真的图像质量。然而,现有技术(SOTA)神经体渲染方法训练缓慢并且需要数分钟的推断(即,渲染)时间以获得高图像分辨率。我们采用高容量的神经场景表示与定期激活,共同优化隐式表面和辐射场的场景监督专门与构成的2D图像。我们的神经渲染管道加速SOTA神经体渲染约两个数量级,我们的隐式表面表示是独一无二的,允许我们导出一个网格与视图相关的纹理信息。因此,与其他隐式表面表示一样,我们的方法与传统的图形管道兼容,实现了实时渲染速率,同时实现了与其他表面方法相比前所未有的图像质量。我们使用现有的数据集以及使用自定义多相机钻机捕获的高质量3D人脸数据来评估我们方法的质量。
2021-03-22 cs.CV cs.GR
Differentiable Visual Computing
MASSACHUSETTS INSTITUTE OF TECHNOLOGY(麻省理工学院);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
计算机图形学、图像处理和深度学习算法的衍生物在指导参数空间搜索或求解逆问题方面有着巨大的用途。随着算法变得越来越复杂,我们不再只需要区分简单的数学函数,而是必须处理编码数据的复杂转换的通用程序。本文介绍了三种工具,以解决复杂图形算法的导数获取和应用时出现的挑战。传统上,从业者被限制在用有限的运算符或手工派生的导数来编写程序。我们扩展了图像处理语言Halide的反向模式自动微分,并能够自动优化梯度计算。这使得自动生成任意Halide程序的梯度,在高性能,几乎没有程序员的努力。在3D渲染中,渐变需要与相机参数、几何体和外观等变量相关。然而,计算梯度是具有挑战性的,因为渲染积分包括不可微的可见性项。我们介绍,据我们所知,第一个通用的可微光线跟踪器,解决了完整的渲染方程,同时正确地考虑到几何不连续性。最后,我们证明了光路吞吐量的导数也可以用于引导前向渲染中的采样。由于难以对高贡献区域进行采样,因此在3D渲染中模拟存在多次反弹光泽效果和运动的光传输是具有挑战性的。我们提出了一个马尔可夫链蒙特卡罗渲染算法,扩展大都市光传输自动和明确地适应当地的被积函数,从而提高采样效率。
2019-05-27 cs.CV cs.GR
Video-Based Rendering Techniques: A Survey
INESC-ID
本文综述基于视频的渲染(VBR)及相关基于图像的技术,梳理三维视觉重建进展、开放问题与未来研究重点。
2023-12-08 cs.CV cs.GR
Towards Attention-aware Foveated Rendering
本文提出首个注意力感知的对比敏感度模型,通过用户研究发现注意力分配显著影响外围敏感度,预测可节省大量带宽,为注意力感知注视点渲染奠定基础。
2023-05-10 cs.GR cs.HC eess.IV
Physics Based Differentiable Rendering for Inverse Problems and Beyond
IEEE(电气和电子工程师协会);Bayer(拜耳);athenahealth(雅典娜健康);Apple(苹果公司)
本文综述基于物理的可微渲染(PBDR)技术,梳理其在逆问题中的原理、效能与局限,并探讨其在自主导航、场景重建和材料设计中的应用价值。
2025-01-09 cs.CV cs.GR
Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering
The Ohio State University(俄亥俄州立大学);Chongqing Changan Automobile Co Ltd(重庆长安汽车股份有限公司)
驾驶模拟器在开发和测试新的智能车辆系统方面发挥着重要作用。仿真的视觉逼真度对于构建基于视觉的算法和进行人类驾驶员实验至关重要。低视觉保真度破坏了人在环驾驶实验的沉浸感。传统的计算机图形流水线使用详细的3D模型、网格、纹理和渲染引擎来从3D场景生成2D图像。这些过程是劳动密集型的,并且它们不会生成逼真的图像。在这里,我们介绍了一个混合生成神经图形管道,用于提高驾驶模拟的视觉保真度。给定一个3D场景,我们只部分渲染感兴趣的重要对象,如车辆,并使用生成对抗过程来合成背景和图像的其余部分。为此,我们提出了一种新的图像形成策略,形成2D语义图像从3D场景组成的简单的对象模型没有纹理。然后,这些语义图像被转换为具有照片般真实感的RGB图像,并使用最先进的生成对抗网络(GAN)对真实驾驶场景进行训练。这取代了随机生成的重复性,但逼真的表面。最后,部分渲染的图像和GAN合成的图像用混合GAN混合。我们表明,与传统方法相比,所提出的方法生成的图像的逼真度更类似于现实世界的驾驶数据集,如Cityscapes和KITTI。这种比较是使用语义保持分析和Frechet起始距离(FID)测量。
2022-07-21 cs.CV cs.GR
Sound Synthesis, Propagation, and Rendering: A Survey
Tianjin University(天津大学);University of Maryland at College Park(马里兰大学帕克分校)
声音作为一种重要的感官通道,在提高虚拟环境的真实性和沉浸感方面起着至关重要的作用,仅次于视觉。声音可以提供重要的线索,如声音的方向性和空间大小。本文综述了虚拟现实、游戏、多媒体、计算机辅助设计中声音模拟的研究工作。我们首先调查各种声音合成方法,包括谐波合成,纹理合成,频谱分析,和基于物理的合成。然后,我们总结了流行的声音传播技术,即基于波的方法,基于几何的方法,和混合方法。接下来,对声音渲染方法进行了回顾。我们进一步展示了最新的基于深度学习的声音模拟方法。最后,我们指出了这一领域的一些未来发展方向。据我们所知,这是第一次尝试在计算机图形学领域提供一个全面的总结声音的研究。
2021-05-04 cs.GR cs.SD
Hardware Acceleration of Neural Graphics
UIUC(伊利诺伊大学厄巴纳-香槟分校);Intel Corporation(英特尔公司)
本文针对神经图形在现有 GPU 上性能不足的问题,提出专用硬件架构 NGPC 加速输入编码与 MLP 内核,并结合 Vulkan 内核融合,实现最高 58 倍端到端性能提升,支持高分辨率实时神经渲染。
2023-04-12 cs.AR cs.GR cs.LG
A Theory of Topological Derivatives for Inverse Rendering of Geometry
University of California San Diego(加州大学圣地亚哥分校)
提出用于可微曲面演化的拓扑导数理论,以密集信号替代稀疏轮廓梯度实现孔洞或相成核,并在二维曲线和三维曲面优化中验证其逆渲染能力。
2023-08-19 cs.CV cs.GR
DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院)
本文提出DiffSoup,一种利用少量三角形和神经纹理的辐射场表示,通过随机遮罩实现直接可微的二进制不透明度,从而在无需平滑着色的情况下实现高效的实时渲染。
2026-08-18 cs.CV cs.GR
SplatBus: A Gaussian Splatting Viewer Framework via GPU Interprocess Communication
Trinity College Dublin(都柏林三一学院)
SplatBus通过GPU进程间通信实现3D高斯溅射的可视化,解决了传统渲染管线整合难题,适用于自动驾驶和虚拟现实等应用。
2026-10-14 cs.CV cs.GR
KiloNeuS: A Versatile Neural Implicit Surface Representation for Real-Time Rendering
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);La Sapienza Università di Roma(罗马第一大学)
基于NeRF的技术将宽而深的多层感知器(MLP)拟合到可以从任何看不见的视点渲染的连续辐射场。然而,缺乏表面和法线定义和高渲染时间限制了它们在典型计算机图形应用中的使用。这些局限性最近已被单独克服,但共同解决这些问题仍然是一个悬而未决的问题。我们提出了KiloNeuS,这是一种神经表示,它从多视图图像中重建一个表示为符号距离函数(SDF)的隐式表面,并通过将空间划分为数千个快速推理的微小MLP来实现实时的【形】渲染。当我们使用独立模型局部学习隐式曲面时,导致全局一致的几何形状是不平凡的,需要在训练期间解决。我们评估了GPU加速的光线投射器与着色器内神经网络推理的渲染性能,在高分辨率下平均为46 FPS,证明了存储成本和渲染质量之间令人满意的权衡。事实上,我们对渲染质量和表面恢复的评估表明,KiloNeuS优于其单MLP对应。最后,为了展示KiloNeuS的多功能性,我们将其集成到一个交互式路径跟踪器中,充分利用其表面法线。我们认为我们的工作是实现全局光照下隐式神经表征的实时的【形】绘制的关键的第一步。
2022-11-21 cs.CV cs.GR cs.LG