Real-Time Neural Appearance Models
该研究提出实时神经外观渲染系统,结合分层纹理、带图形先验的神经解码器与硬件加速优化,实现复杂外观场景的实时路径追踪,性能远超非神经方案,助力实时应用达成电影级画质。
2024-06-24 cs.GR
A Micro-Ellipsoid Model for Wet Porous Materials Rendering
本文提出微椭球颗粒模型并扩展各向异性辐射传输方程,建立湿多孔介质的物理渲染理论,进而提出WetSpongeCake BSDF模型,可基于孔隙度和饱和度参数真实表现湿多孔材料的反射与透射外观。
2025-02-06 cs.GR
Neural Appearance Modeling From Single Images
William & Mary(威廉玛丽学院)
提出一种材质外观建模神经网络,仅用单张共置光照照片推断逐像素神经参数并渲染材质,能编码各向异性和全局光照信息,在31万合成样本上训练并集成至Mitsuba3验证有效性。
2024-06-08 cs.CV cs.GR
Procedural Multiscale Geometry Modeling using Implicit Functions
本文提出一种基于隐式函数与自适应球体追踪的过程化多尺度几何建模框架,可实时合成颗粒、纤维、多孔和层状体积材料,并支持从图像与SDF示例中重建材料。
2025-04-13 cs.GR
Deep Appearance Maps
我们提出了一种深层次的表象,即。例如,颜色、表面方向、观察者位置、材料和照明的关系。以前的方法使用深度学习来提取与反射模型参数(例如,例如,在一个实施例中,Phong)或照明(e.例如,在一个实施例中,HDR环境贴图)。我们建议直接表示外观本身作为一个网络,我们称之为深层外观地图(DAM)。这是一个在2D反射图上的4D概括,它保持了固定的视图方向。首先,我们展示了如何从图像或视频帧中学习DAM,然后在给定新的表面方向和观看者位置的情况下用于合成外观。其次,我们演示了如何使用另一个网络从图像或视频帧映射到DAM网络来重现这种外观,而不使用冗长的优化,如随机梯度下降(学习)。最后,我们展示了一个外观估计和分割任务的例子,从一个显示多种材料的图像映射到多个深度外观图。
2019-10-29 cs.CV cs.GR
Automatic inference of a anatomically meaningful solid wood texture from a single photograph
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Berufsakademie Sachsen(萨克森职业学院)
针对现有木材外观模型无法自动匹配样本、难重建解剖学体积信息的问题,提出基于弯曲Gabor滤波器的年轮检测初始化方案与相位损失函数,实现实木纹理的自动推断,适用于多类木材。
2025-10-02 cs.GR
A Hierarchical Architecture for Neural Materials
University of Manchester(曼彻斯特大学);University of California, Irvine(加州大学欧文分校);Luxion Inc(Luxion公司)
提出一种基于inception核心网络结构的神经外观模型,通过并行核多尺度捕捉材质外观、频率空间编码和自适应梯度损失,显著提升了具有强烈阴影和精细镜面高光材质的重现准确度。
2024-04-24 cs.CV cs.GR
A Controllable Appearance Representation for Flexible Transfer and Editing
Universidad de Zaragoza, I3A(萨拉戈萨大学,I3A)
本文提出一种基于自监督FactorVAE的可控外观表示,通过解耦的紧凑潜在空间实现材质外观迁移与细粒度编辑,并利用轻量级IP-Adapter驱动扩散流程完成灵活的外观迁移。
2025-07-17 cs.CV cs.GR
Guided Fine-Tuning for Large-Scale Material Transfer
Université Côté d’Azur, Inria(蔚蓝海岸大学,法国国家信息与自动化研究所);Imperial College London(帝国理工学院);Optis for Ansys
我们提出了一种方法来转移一个或几个样本SVBRDF的外观到一个目标图像表示类似的材料。我们的解决方案非常简单:我们在提供的样本上微调深度外观捕获网络,以便它学会从目标图像中提取类似的SVBRDF值。我们介绍了两种新的材料捕获和设计工作流程,展示了这种简单方法的优势。我们的第一个工作流程允许仅从几张图片中产生大规模对象的合理SVBRDF。具体来说,用户只需要拍摄一张大表面的单张照片和一些细节的特写闪光照片。我们使用现有的方法从特写镜头中提取SVBRDF参数,并将这些参数传输到整个表面,从而实现了对几米宽的表面(如壁画,地板和家具)的轻量级捕获。在我们的第二个工作流程中,我们为用户提供了一种强大的方法,通过转移现有的,预先设计的SVBRDF的外观,从互联网图片创建大型SVBRDF。通过选择不同的样本,用户可以控制分配给目标图像的材料,大大增强了深度外观捕捉提供的创造性可能性。
2020-07-08 cs.CV cs.GR
PhotoShape: Photorealistic Materials for Large-Scale Shape Collections
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
现有的在线3D形状存储库包含数千个3D模型,但缺乏照片般逼真的外观。我们提出了一种方法来自动分配高品质,逼真的外观模型,大规模的3D形状集合。其核心思想是联合利用三种类型的在线数据-形状集合,材料集合和照片集合,使用照片作为参考来指导材料分配给形状。通过生成大量的合成渲染图,我们训练一个卷积神经网络来对真实照片中的材料进行分类,并采用3D-2D对齐技术将材料转移到每个形状模型的不同部分。我们的系统产生逼真的,可重配的,3D形状(Photoshopes)。
2018-09-26 cs.CV cs.GR
Efficient Scene Appearance Aggregation for Level-of-Detail Rendering
University of California, Santa Barbara(加州大学圣芭芭拉分校);University of California, San Diego(加州大学圣地亚哥分校)
本文提出了一种基于ABSDF的高效体素表示方法,用于实现保持外观的细节层次渲染,能够在不增加内存和渲染成本的情况下提升渲染质量。
2024-08-19 cs.CV cs.GR
HAFMat: Hybrid Priors Guided Adaptive Fusion for Single-Image Human Material Estimation
School of Computer Science, Wuhan University(武汉大学计算机学院);Faculty of Engineering and IT, University of Technology Sydney(悉尼科技大学工程与信息技术学院)
提出HAFMat框架,通过混合先验(外观、几何、结构及预训练模型预测)引导自适应特征融合,解决单张图像人体PBR材质估计的病态问题,在合成和真实数据上达到最优性能。
2026-06-16 cs.CV cs.GR
GroomLight: Hybrid Inverse Rendering for Relightable Human Hair Appearance Modeling
Stanford University(斯坦福大学);Google(谷歌公司);ETH Zurich(苏黎世联邦理工学院)
本文提出 GroomLight,通过结合扩展头发 BSDF 与光照感知残差模型的混合逆渲染流程,从多视角图像实现高保真的头发重光照、视角合成与材质编辑。
2025-03-13 cs.CV cs.GR
Deep Appearance Prefiltering
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook Reality Labs(Facebook现实实验室)
复杂场景的基于物理的渲染的渲染可能是非常昂贵的,并且复杂性在渲染图像上的分布可能是无限的和不均匀的。理想的细节层次(LoD)方法的目标是使渲染成本与3D场景的复杂性无关,同时保留场景的外观。然而,当前的预过滤LoD方法由于依赖于近似模型和其他几何学而在它们可以支持的外观方面受到限制。我们提出了第一个全面的多尺度LoD框架,用于预过滤具有复杂几何形状和材料的3D环境(例如,Disney BRDF),同时保持相对于光线跟踪参照的外观。使用场景的多尺度层次结构,我们执行数据驱动的预过滤步骤,以获得每个尺度的外观相位函数和方向覆盖掩模。我们方法的核心是一种新的神经表示,它将这些信息编码成一种紧凑的潜在形式,这种形式很容易在基于物理的渲染器中解码。一旦场景被烘焙出来,我们的方法在渲染时不需要原始几何体、材质或纹理。我们证明,我们的方法相比,有利的国家的最先进的预过滤方法,并实现了相当大的节省内存的复杂场景。
2022-11-08 cs.GR cs.LG
Generative Detail Enhancement for Physically Based Materials
University of Maryland, College Park(马里兰大学学院公园分校);NVIDIA(英伟达)
本文提出利用现成扩散模型与逆向可微渲染增强物理材质细节,并通过UV空间一致噪声和投影注意力约束解决多视图一致性问题,无需训练且兼容任意材质模型。
2025-05-07 cs.AI cs.GR
VLMaterial: Procedural Material Generation with Large Vision-Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Columbia University(哥伦比亚大学);ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院)
针对由图像重建程序化材质成本高的问题,本文微调 VLM 生成对应 Python 程序,构建开源材质数据集并用 LLM 做程序级增强,在合成与真实数据上均优于既有方法。
2025-02-18 cs.CV cs.GR
NeuMIP: Multi-Resolution Neural Materials
University of California, San Diego(加州大学圣迭戈分校);Adobe Research(Adobe研究院)
我们提出了NeuMIP,一种神经方法,用于表示和渲染各种不同尺度的材料外观。经典的预过滤(mipmapping)方法可以很好地处理简单的材质属性,如漫反射颜色,但无法推广到法线,自阴影,纤维或更复杂的微观结构和反射率。在这项工作中,我们将传统的mipmap金字塔推广到神经纹理的金字塔,并结合了一个完全连接的网络。我们还介绍了神经偏移,一种新的方法,允许渲染材料与复杂的视差效果,而无需任何镶嵌。这概括了经典的视差映射,但在没有任何显式高度场监督的情况下进行训练。我们的系统中的神经材料支持7维查询,包括位置,传入和传出方向,以及所需的过滤器内核大小。这些材质的存储量很小(除了纹理通道较多外,与标准mipmapping的数量级相当),并且可以集成到常用的蒙特卡罗路径追踪系统中。我们在各种材料上演示了我们的方法,从而在不同细节层次上产生复杂的外观,并具有精确的视差,自阴影和其他效果。
2021-04-06 cs.GR cs.LG eess.IV
Overt visual attention on rendered 3D objects
这项工作涵盖了3D渲染上的明显视觉注意力的多个方面:测量,投影,可视化以及研究材料外观对外观行为的影响的应用。在这项工作的范围内,我们运行了一个眼动跟踪实验,其中观察者呈现旋转3D对象的动画。渲染对象以模拟不同的金属外观,特别是光滑(有光泽)、粗糙(无光泽)和涂层黄金。眼动追踪结果说明了材料外观本身如何影响观察者的注意力,而所有其他参数保持不变。为了使可视化的注意力地图更自然,也使分析更准确,我们开发了一种新的技术的投影的注视注视点的三维表面的图形本身,而不是传统的二维平面的屏幕。所提出的方法将有助于进一步研究的注意和显着性在计算机图形学领域。
2019-05-24 cs.GR cs.HC
Intrinsic Image Diffusion for Indoor Single-view Material Estimation
Technical University of Munich(慕尼黑工业大学);MIT(麻省理工学院)
提出Intrinsic Image Diffusion生成模型,利用扩散模型先验从概率角度解决室内单视图材质估计的模糊性问题,在合成与真实数据上均显著优于现有方法。
2024-03-21 cs.AI cs.CV cs.GR