GroomLight: Hybrid Inverse Rendering for Relightable Human Hair Appearance Modeling
Stanford University(斯坦福大学);Google(谷歌公司);ETH Zurich(苏黎世联邦理工学院)
本文提出 GroomLight,通过结合扩展头发 BSDF 与光照感知残差模型的混合逆渲染流程,从多视角图像实现高保真的头发重光照、视角合成与材质编辑。
2025-03-13 cs.CV cs.GR
A Practical Ply-Based Appearance Modeling for Knitted Fabrics
针织物的几何形状和外观建模一直具有挑战性,因为它们的复杂几何形状和与光的相互作用。以前的基于表面的模型很难捕捉细粒度的针织几何形状;另一方面,微观外观模型通常明确地存储单个织物纤维,并且生成和渲染成本很高。此外,这两种模型都没有与照片相匹配,以同时捕捉光的反射和透射。在本文中,我们介绍了一种有效的技术来生成针织模型与用户指定的针织图案。我们的模型存储单个针织层,使用法线和切线映射详细描述纤维级别。我们使用大量的编织图案来评估我们生成的模型。此外,我们将模型的渲染图与真实样本的照片进行了定性比较。
2021-05-06 cs.GR
Efficient Scene Appearance Aggregation for Level-of-Detail Rendering
University of California, Santa Barbara(加州大学圣芭芭拉分校);University of California, San Diego(加州大学圣地亚哥分校)
本文提出了一种基于ABSDF的高效体素表示方法,用于实现保持外观的细节层次渲染,能够在不增加内存和渲染成本的情况下提升渲染质量。
2024-08-19 cs.CV cs.GR
Controlling Material Appearance by Examples
尽管材质贴图在现代渲染管道中无处不在,但它们的编辑和控制仍然是一个挑战。在本文中,我们提出了一个基于实例的材料控制方法,以增加输入材料地图的基础上,用户提供的材料照片。我们训练MaterialGAN的可平铺版本,并在引导外观转移之前利用其材料,使用可区分渲染优化其潜在空间。我们的方法转移用户提供的目标照片的微观和介观结构纹理,同时保留输入的结构和输入材料的质量。我们展示了我们的方法可以控制现有的材质贴图,增加真实感或生成新的、视觉上吸引人的材质。
2022-06-30 cs.GR
NeARportation: A Remote Real-time Neural Rendering Framework
虽然真实感外观的呈现在增强虚拟环境中的沉浸感中起着重要作用,但显示真实对象的真实感外观仍然是一个具有挑战性的问题。摄影测量学的最新发展促进了将真实物体纳入虚拟空间。然而,真实感摄影测量需要专用的测量环境,并且在测量成本和质量之间存在权衡。此外,即使使用照片般逼真的外观测量,也存在渲染质量和帧速率之间的权衡。没有一个框架可以解决这些权衡并轻松地提供实时的【形】逼真的外观。我们的NeARportation框架结合了服务器-客户端双向通信和神经渲染来解决这些权衡。服务器上的神经渲染接收客户端的头部姿势并生成具有逼真外观再现的新颖视图图像,该图像被流传输到客户端的显示器上。通过将我们的框架应用于立体显示器,我们证实它可以根据用户的头部运动以35-40帧每秒(fps)的速度在全高清立体视频上显示高保真外观。
2022-10-22 cs.GR cs.HC
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research(谷歌研究院)
我们提出了一个神经渲染框架,将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用,现实地呈现我们的方法,尽管有一个粗略的表示作为输入。此外,我们的方法允许可控渲染:输入中的几何和外观修改准确地传播到输出。用户可以移动,旋转和缩放对象,更改其外观和纹理或修改灯光的位置,所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性,通过渲染不同外观的场景,从单一的颜色每个对象复杂的,高频纹理。我们表明,我们的重新渲染网络可以生成非常详细的图像,精确地表示输入场景的外观。我们的实验表明,与替代方案相比,我们的方法实现了更准确的图像合成结果,并且还可以处理低体素网格分辨率。最后,我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Deep Appearance Models for Face Rendering
Facebook Reality Labs(Facebook现实实验室)
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发,我们开发了一个数据驱动的渲染管道,该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器,捕捉复杂的非线性效应,同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果(如镜面反射)进行建模。此外,它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同,传统的图形管道需要高度精确的几何结构以及着色模型的所有元素,以通过物理启发的光传输来实现真实感。在实践中,获得如此高的准确度是困难的,特别是对于面部的复杂和复杂的部分,例如睫毛和口腔。我们的方法自然地处理这些问题,不依赖于几何形状的精确估计。相反,着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时,我们根据摄像机的视点来调节解码网络,以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎,通过动态纹理与平面照明。这种表示,再加上一种新的无监督技术,用于将图像映射到面部状态,导致系统自然适合于实时交互设置,如虚拟现实(VR)。
2018-08-01 cs.CV cs.GR
Appearance-Driven Automatic 3D Model Simplification
我们提出了一套技术,用于联合优化三角形网格和着色模型,以匹配参考场景的外观。此功能有许多用途,包括保持外观的极其复杂的资产的简化,渲染系统之间的转换,甚至几何场景表示之间的转换。我们遵循并扩展了经典的分析合成技术系列:通过高效的可微分渲染器和现代非线性优化算法,我们的结果能够在类似的观看和照明条件下渲染时最大限度地减少与目标场景的图像空间差异。由于驱动优化的唯一信号是渲染图像的差异,因此该方法具有高度通用性和通用性:它可以轻松支持许多不同的前向渲染模型,如法线映射,空间变化的BRDF,位移映射等。我们输出带有纹理材质的三角形网格,以确保模型在现代图形硬件上高效渲染,并受益于,例如,硬件加速光栅化、光线追踪和过滤纹理查找。我们的系统集成在一个小的Python代码库中,可以应用于高分辨率和大型模型。我们描述了几个用例,包括网格抽取,细节层次生成,无缝网格过滤和聚合几何的近似。
2021-04-08 cs.GR
Neural BSSRDF: Object Appearance Representation Including Heterogeneous Subsurface Scattering
提出一种神经BSSRDF方法,利用带跳跃连接的MLP表示异质半透明物体的外观,支持任意远距离光照下的全频率重照明,相比路径追踪更高效且能实现交互式渲染。
2023-12-25 cs.GR
Neural Strands: Learning Hair Geometry and Appearance from Multi-View Images
University of Bonn(波恩大学);Reality Labs Research(现实实验室研究部);Carnegie Mellon University(卡内基梅隆大学)
我们提出了神经链,一种新的学习框架,用于从多视图图像输入中建模精确的头发几何形状和外观。学习的头发模型可以从任何视点实时渲染,具有高保真的视图相关效果。我们的模型实现了直观的形状和风格的控制,不像体积的同行。为了使这些属性,我们提出了一种新的头发表示神经头皮纹理编码的几何形状和外观的各个股在每个纹素位置的基础上。此外,我们介绍了一种新的神经渲染框架的基础上光栅化的学习头发束。我们的神经渲染是股准确和抗锯齿,使渲染视图一致和照片级逼真。将外观与多视图几何先验相结合,我们第一次能够从多视图设置中联合学习外观和显式头发几何。我们证明了我们的方法在各种发型的保真度和效率方面的功效。
2022-07-28 cs.CV cs.GR
Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments
Meta Reality Labs Research(Meta现实实验室)
创建逼真的虚拟资产是一个耗时的过程:它通常涉及艺术家设计对象,然后花费大量精力调整其外观。复杂的细节和某些效果(如次表面散射)无法使用实时BRDF进行表示,因此无法完全捕捉某些对象的外观。受神经渲染的最新进展的启发,我们提出了一种方法来捕捉真实世界中的物体在日常环境中忠实和快速。我们使用一种新的神经表示来重建体积效果,如半透明的对象部分,并保留真实感对象的外观。为了在不影响渲染质量的情况下支持实时渲染,我们的模型使用了一个网格的功能和一个小的MLP解码器,该解码器被编译成具有交互式帧速率的高效着色器代码。这导致所提出的神经资产与现有网格环境和对象的无缝集成。由于使用标准着色器代码,渲染可以跨许多现有的硬件和软件系统移植。
2022-12-12 cs.AI cs.CV cs.GR
Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The University of Hong Kong(香港大学);Stanford University(斯坦福大学)
使用神经网络合成逼真的人类视频由于其高效率而成为传统的基于图形的渲染流水线的流行替代方案。现有的作品通常将此公式化为2D屏幕空间中的图像到图像的转换问题,这会导致诸如过度平滑、丢失身体部位和精细尺度细节的时间不稳定性(诸如服装中的姿势依赖性皱纹)之类的伪像。在本文中,我们提出了一种新的人类视频合成方法,通过明确地将时间相干的精细尺度细节的学习与人类在2D屏幕空间中的嵌入分离开来,来接近这些限制因素。更具体地说,我们的方法依赖于两个卷积神经网络(CNN)的组合。给定姿态信息,第一CNN预测包含时间相干高频细节的动态纹理图,并且第二CNN根据第一CNN的时间相干输出来调节最终视频的生成。我们展示了我们的方法的几个应用,如人类重演和新的单目视频视图合成,在那里我们表现出显着的改进,在定性和定量的最先进的。
2021-07-05 cs.CV cs.GR
Rendering Discrete Participating Media with Geometrical Optics Approximation
我们考虑由稀疏且随机分布的离散颗粒组成的参与介质中的光散射。预期颗粒尺寸的范围从波长的尺度到比波长大几个数量级的尺度,并且外观显示出与连续介质的光滑外观相反的明显的颗粒性。基于物理的合成这种外观的一个基本问题是确定每个局部区域中的必要光学特性。由于这些光学性质在空间上变化,我们诉诸几何光学近似(GOA),一个高效的替代严格的洛伦兹-米氏理论,定量表示单个粒子的散射。这使我们能够根据任何粒度分布快速计算体光学性质。然后,我们提出了一个实用的Monte Carlo渲染解决方案来解决离散参与介质中的能量传递。结果表明,第一次,我们提出的框架可以模拟广泛的离散参与介质具有不同程度的颗粒度和收敛到连续介质的颗粒浓度的增加。
2021-02-24 cs.GR physics.optics
Instanced model simplification using combined geometric and appearance-related metric
3D图形和图形世界的发展带来了内容优化、实时处理、渲染和共享存储限制等问题。通常,不同的简化方法被用于使3D网格可用于渲染。然而,这些方法中的许多忽略了实例化的3D网格的顶点属性。在本文中,我们实现和评估一个简单的和改进的版本来简化实例化的3D纹理模型。该方法使用不同的顶点属性,除了几何简化网格实例。由此产生的简化模型表现出高效的时空要求和更好的视觉质量。
2021-01-07 cs.CC cs.GR
Artemis: Articulated Neural Pets with Appearance and Motion synthesis
ShanghaiTech University(上海科技大学);Deemos Technology Co., Ltd.(德默斯科技有限公司);DGene Digital Technology Co., Ltd.(DGene数字科技有限公司);Huazhong University of Science and Technology(华中科技大学)
本文提出 ARTEMIS 神经建模与渲染流水线,结合八叉树表示、体渲染、着色网络及运动捕捉与神经角色控制,实现毛茸茸动物的实时交互动画与照片级真实渲染。
2022-06-17 cs.CV cs.GR
Layered Neural Rendering for Retiming People in Video
University of Oxford(牛津大学);Google Research(谷歌研究院)
我们提出了一种在普通的、自然的视频中对人进行重定时的方法--操纵和编辑视频中个人的不同运动发生的时间。我们可以在时间上对齐不同的动作,改变某些动作的速度(加速/减速,或者完全“冻结”人物),或者从视频中完全“删除”选定的人物。我们通过一个专用的基于学习的分层视频表示来实现这些效果,其中视频中的每一帧都被分解为单独的RGBA层,代表视频中不同人的外观。我们的模型的一个关键特性是,它不仅可以解开输入视频中每个人的直接运动,还可以自动将每个人与他们生成的场景变化相关联-例如,阴影、反射和宽松衣服的运动。这些层可以单独重定时并重新组合成一个新的视频,使我们能够为真实世界的视频实现逼真的,高质量的重定时效果渲染,这些视频描绘了复杂的动作,涉及多个人,包括跳舞,蹦床跳跃或团体跑步。
2021-10-01 cs.CV cs.GR
Rendering-Aware Sparse Sampling for BRDF Acquisition
Media and Information Technology, Department of Science and Technology, Linköping University(_linköping大学科学与技术学院媒体与信息科技系)
提出一种渲染感知的稀疏采样方法,通过可微渲染器优化采样方向,以最少BRDF测量实现高质量材质外观重建。
2026-07-01 cs.CV cs.GR
Hair Color Digitization through Imaging and Deep Inverse Graphics
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Sorbonne Université, CNRS, LIP6(索邦大学法国国家科学研究中心LIP6实验室)
头发外观是一个复杂的现象,这是由于头发的几何形状和光线如何在不同的头发纤维上反弹。出于这个原因,在渲染环境中再现特定的头发颜色是一项具有挑战性的任务,需要人工工作和计算机图形学方面的专业知识来在视觉上调整结果。虽然当前的毛发捕获方法集中于毛发形状估计,但是许多应用可以受益于用于捕获物理毛发样本的外观的自动化方法,从增强/虚拟现实到毛发染色开发。基于使用深度神经网络的逆图形和材料捕获的最新进展,我们介绍了一种用于头发颜色数字化的新方法。我们提出的管道允许捕获物理头发样本的颜色外观,并呈现具有类似外观的头发的合成图像,模拟不同的发型和/或照明环境。由于真实感头发图像的绘制需要路径跟踪绘制,传统的基于可微绘制的逆图形方法难以处理。我们的方法是基于一个受控的成像设备,一个路径跟踪渲染器,和一个基于自监督机器学习的逆图形模型的组合,它不需要使用微分渲染进行训练。我们说明了我们的头发数字化方法在真实图像和合成图像上的性能,并表明我们的方法可以准确地捕获和渲染头发颜色。
2022-02-08 cs.AI cs.CV cs.GR