Deferred Neural Rendering: Image Synthesis using Neural Textures
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
现代计算机图形管道可以以卓越的视觉质量合成图像;然而,它需要定义良好的高质量3D内容作为输入。在这项工作中,我们探索使用不完美的3D内容,例如,从具有噪声和不完整的表面几何形状的摄影测量重建中获得,同时仍然旨在产生照片级逼真的(重新)渲染。为了解决这个具有挑战性的问题,我们引入了延迟神经渲染,一种新的图像合成范例,将传统的图形管道与可学习的组件相结合。具体来说,我们提出了神经纹理,这是学习的特征图,作为场景捕捉过程的一部分进行训练。与传统纹理类似,神经纹理被存储为3D网格代理之上的映射;然而,高维特征映射包含更多的信息,这些信息可以由我们新的延迟神经渲染管道来解释。神经纹理和延迟神经渲染器都是端到端训练的,即使原始3D内容不完美,我们也能合成照片般逼真的图像。与传统的黑盒2D生成神经网络相比,我们的3D表示为我们提供了对生成输出的显式控制,并允许广泛的应用领域。例如,我们可以合成记录的3D场景的时间一致的视频重新渲染,因为我们的表示本质上嵌入在3D空间中。通过这种方式,神经纹理可以用于以实时速率在静态和动态环境中连贯地重新渲染或操纵现有视频内容。我们展示了我们的方法在几个实验中的有效性,新的视图合成,场景编辑和面部重演,并比较国家的最先进的方法,利用标准的图形管道以及传统的生成神经网络。
2019-04-28 cs.CV cs.GR
Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The University of Hong Kong(香港大学);Stanford University(斯坦福大学)
使用神经网络合成逼真的人类视频由于其高效率而成为传统的基于图形的渲染流水线的流行替代方案。现有的作品通常将此公式化为2D屏幕空间中的图像到图像的转换问题,这会导致诸如过度平滑、丢失身体部位和精细尺度细节的时间不稳定性(诸如服装中的姿势依赖性皱纹)之类的伪像。在本文中,我们提出了一种新的人类视频合成方法,通过明确地将时间相干的精细尺度细节的学习与人类在2D屏幕空间中的嵌入分离开来,来接近这些限制因素。更具体地说,我们的方法依赖于两个卷积神经网络(CNN)的组合。给定姿态信息,第一CNN预测包含时间相干高频细节的动态纹理图,并且第二CNN根据第一CNN的时间相干输出来调节最终视频的生成。我们展示了我们的方法的几个应用,如人类重演和新的单目视频视图合成,在那里我们表现出显着的改进,在定性和定量的最先进的。
2021-07-05 cs.CV cs.GR
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);POSTECH(浦项科技大学);Institute for Convergence Research and Education in Advanced Technology, Yonsei University(延世大学尖端技术融合研究与教育学院)
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法,利用SDS在15分钟内为3D网格生成高质量PBR纹理图,有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Radiance Textures for Rasterizing Ray-Traced Data
使用辐射纹理呈现3D表面的实时渲染,以快速合成复杂的入射变量效果和环境交互。这包括虹彩、视差遮挡和内部贴图、(镜面反射、规则反射、漫反射、全内部反射)反射和多次反弹、折射、次表面散射、透明度等。该方法将纹理划分为辐射桶矩阵,其中每个桶表示不同入射角下的一些数据。数据可以显示最终像素颜色,或延迟渲染环境遮挡,反射,阴影贴图等。最终合成输出的分辨率是辐射桶矩阵大小。技术可以用一个简单的片段着色器来实现。该技术的计算占用空间是简单的仅扩散图形,但具有复杂(离线)光线跟踪渲染的视觉保真度,代价是存储内存占用空间。通过对重复辐射场景纹理的可变压缩比,可以很容易地实现计算占用空间和存储占用空间之间的平衡。
2023-01-04 cs.GR
TextureSplat: Per-Primitive Texture Mapping for Reflective Gaussian Splatting
Inria France(法国国家信息与自动化技术研究院)
TextureSplat通过高斯点云衍生辐射场和GPU加速,实现高反射场景的高效纹理映射与渲染。
2025-12-05 cs.CV cs.GR
Hardware Accelerated Neural Block Texture Compression with Cooperative Vectors
本文扩展了神经纹理压缩方法,利用低动态范围块压缩格式和硬件矩阵乘法引擎,在Intel B580上以28MB显存、0.55ms实现1080p各向异性过滤的4K PBR纹理集渲染,提升了压缩比与质量。
2025-06-06 cs.GR
Neural Super-Resolution for Real-time Rendering with Radiance Demodulation
本文提出结合辐射解调、遮挡感知扭曲、帧循环网络与时间损失的实时渲染超分辨率方法,以增强纹理细节并抑制重影和时间闪烁。
2024-03-11 cs.GR
Neural Free-Viewpoint Performance Rendering under Complex Human-object Interactions
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
人机交互的4D重建对于沉浸式VR/AR体验和人类活动理解至关重要。最近的进展仍然无法从稀疏RGB输入中恢复精细的几何和纹理结果,特别是在具有挑战性的人机交互场景下。在本文中,我们提出了一个神经人类性能捕获和渲染系统,以生成高质量的几何形状和照片般逼真的纹理的人和物体在具有挑战性的交互场景下,在任意新颖的意见,从只有稀疏的RGB流。为了处理复杂的遮挡所提出的人与物体的相互作用,我们采取了逐层场景解耦策略,并进行体积重建和神经渲染的人和物体的渲染。具体来说,对于几何重建,我们提出了一个交互感知的人-对象捕获方案,共同考虑人类重建和对象重建与它们的相关性。提出了遮挡感知的人体重建和鲁棒的人体感知的目标跟踪,以实现一致的4D人体-目标动态重建。对于神经纹理渲染,我们提出了一种分层的人-物体渲染方案,该方案结合了方向感知神经混合权重学习和时空纹理完成,以在遮挡场景中提供高分辨率和照片级真实感的纹理结果。大量的实验证明了我们的方法的有效性,以实现高质量的几何和纹理重建的自由视点具有挑战性的人与物体的互动。
2021-08-03 cs.AI cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research(谷歌研究院)
我们提出了一个神经渲染框架,将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用,现实地呈现我们的方法,尽管有一个粗略的表示作为输入。此外,我们的方法允许可控渲染:输入中的几何和外观修改准确地传播到输出。用户可以移动,旋转和缩放对象,更改其外观和纹理或修改灯光的位置,所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性,通过渲染不同外观的场景,从单一的颜色每个对象复杂的,高频纹理。我们表明,我们的重新渲染网络可以生成非常详细的图像,精确地表示输入场景的外观。我们的实验表明,与替代方案相比,我们的方法实现了更准确的图像合成结果,并且还可以处理低体素网格分辨率。最后,我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
Simon Fraser University(西蒙菲莎大学);Amazon(亚马逊公司)
提出ShaDDR,一种基于示例的深度生成网络,通过多分辨率体素上采样和可微渲染对粗糙体素进行几何细节化与条件纹理生成,实现快速交互式高分辨率3D形状建模。
2023-11-22 cs.CV cs.GR cs.LG
Chord: Chain of Rendering Decomposition for PBR Material Estimation from Generated Texture Images
ETH Zürich(苏黎世联邦理工学院)
提出两阶段“生成与估计”框架Chord,通过微调扩散模型生成纹理,并利用链式分解方案依次预测SVBRDF通道,实现高质量、灵活可控的PBR材质生成与估计。
2025-09-12 cs.CV cs.GR
Deep Appearance Models for Face Rendering
Facebook Reality Labs(Facebook现实实验室)
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发,我们开发了一个数据驱动的渲染管道,该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器,捕捉复杂的非线性效应,同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果(如镜面反射)进行建模。此外,它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同,传统的图形管道需要高度精确的几何结构以及着色模型的所有元素,以通过物理启发的光传输来实现真实感。在实践中,获得如此高的准确度是困难的,特别是对于面部的复杂和复杂的部分,例如睫毛和口腔。我们的方法自然地处理这些问题,不依赖于几何形状的精确估计。相反,着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时,我们根据摄像机的视点来调节解码网络,以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎,通过动态纹理与平面照明。这种表示,再加上一种新的无监督技术,用于将图像映射到面部状态,导致系统自然适合于实时交互设置,如虚拟现实(VR)。
2018-08-01 cs.CV cs.GR
Global Parameterization-based Texture Space Optimization
Academy for Multidisciplinary Studies, Capital Normal University(首都师范大学交叉科学研究院);Beijing Advanced Innovation Center for Imaging Theory and Technology, Capital Normal University(首都师范大学北京成像理论与技术高精尖创新中心);Dalian University of Technology(大连理工大学);School of Software Technology, Dalian University of Technology(大连理工大学软件学院);State University of New York at Stony Brook(纽约州立大学石溪分校)
本文提出一种基于全局参数化的纹理空间优化方法,生成紧凑纹理映射,以提升存储与渲染效率,实验验证其有效性与高效性。
2024-06-06 cs.CV cs.GR
Stochastic Texture Filtering
Shiokara–Engawa Research(Shiokara–Engawa研究院);NVIDIA(英伟达)
该研究提出在光照计算后进行纹理过滤,并采用随机采样纹理过滤器的方法,以更精确地求解渲染方程,并在实时和离线渲染中实现高效高质量的纹理过滤。
2023-05-15 cs.CV cs.GR
MeshGen: Generating PBR Textured Mesh with Render-Enhanced Auto-Encoder and Generative Data Augmentation
MeshGen提出渲染增强自编码器、几何与生成式渲染数据增强及多视角PBR纹理生成技术,解决了图像到3D网格生成中潜在空间表示、数据稀缺和纹理一致性问题,在形状与PBR纹理生成质量上显著超越现有方法。
2025-05-07 cs.GR
3D Gaussian Model for Animation and Texturing
本文提出 3D Gaussian Model(3DGM),通过纹理空间绑定与隐式壳层映射,使 3D Gaussian Splatting 支持动画驱动、UV 纹理迁移和交互式编辑。
2024-02-29 cs.GR
NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
Zhejiang University(浙江大学);Google(谷歌)
近年来,神经隐式绘制技术得到了迅速发展,并在新的视图合成和三维场景重建方面显示出巨大的优势。然而,用于编辑目的的现有神经渲染方法提供有限的功能,例如,刚性变换,或不适用于日常生活中一般对象的细粒度编辑。在本文中,我们提出了一种新的基于网格的表示,通过编码的神经隐式字段与解纠缠的几何和纹理代码的网格顶点,这有利于一组编辑功能,包括网格引导的几何编辑,指定的纹理编辑与纹理交换,填充和绘画操作。为此,我们开发了几种技术,包括可学习的符号指示器,以放大基于网格表示的空间可扩展性,蒸馏和微调机制,使一个稳定的收敛,和空间感知的优化策略,以实现精确的纹理编辑。在真实数据和合成数据上的大量实验和编辑实例证明了该方法在表示质量和编辑能力上的优越性。代码可以在项目网页上找到:https://zju3dv.github.io/neumesh/。
2022-07-25 cs.CV cs.GR
Order-Independent Texture Synthesis
基于搜索的纹理合成算法对纹理样本的生成顺序很敏感,不同的合成顺序会产生不同的纹理。不幸的是,大多数多边形光栅化器和光线跟踪器不能保证曲面的采样顺序。为了避免这个问题,纹理是预先合成在某一最大分辨率和渲染使用纹理映射。我们描述了一种基于搜索的纹理合成算法,其中可以以任意顺序生成样本,但所得到的纹理保持一致。我们的算法的关键是一个金字塔表示,其中每个纹理样本只依赖于一个固定数量的相邻样本在金字塔的每一级。金字塔的底部(粗)层由噪声图像组成,该噪声图像很小并且是预定的。当渲染器请求采样时,它所依赖的所有采样都会立即生成。使用这种方法,可以以任何顺序生成样本。为了使算法的效率,我们建议存储纹理样本和它们的依赖在一个金字塔缓存。虽然前几个采样的生成代价很高,但有大量的重用,因此后续采样的代价更低。幸运的是,大多数渲染算法都表现出良好的一致性,因此缓存重用率很高。
2014-06-28 cs.GR
Implicit neural representation of textures
Department of Computer Science and Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
本文提出了一种基于隐式神经表示法的连续纹理生成方法,通过实验验证其在图像质量和计算效率上的表现,并探讨了其在实时渲染及后续任务中的应用。
2026-02-02 cs.AI cs.CV cs.GR
LDM: Large Tensorial SDF Model for Textured Mesh Generation
提出LDM框架,通过多视图扩散模型和基于transformer的张量SDF预测结合梯度优化,从单图或文本快速生成高保真、光照解耦的高质量3D纹理网格。
2024-10-14 cs.GR
Passing Multi-Channel Material Textures to a 3-Channel Loss
Unity Technologies(Unity科技公司)
我们的目标是计算纹理损失,可用于训练纹理生成器与多个材料通道通常用于基于物理的渲染,如粗糙度,正常,粗糙度,金属,环境遮挡等神经纹理损失往往建立在预训练的卷积神经网络的特征空间之上。不幸的是,这些预训练模型仅适用于3通道RGB数据,因此将神经纹理损失限制在这种格式。为了克服这一限制,我们表明,通过随机三元组的3通道损失提供了一个多通道的损失,可用于生成高品质的材料纹理。
2021-05-27 cs.CV cs.GR
A General Albedo Recovery Approach for Aerial Photogrammetric Images through Inverse Rendering
The Ohio State University(俄亥俄州立大学)
本文提出一种基于逆渲染的通用航空摄影测量图像反照率恢复方法,利用可估计的太阳光照和场景几何解决不适定问题,无需额外输入即优于现有方法,并能改善特征匹配等图像处理任务。
2024-09-20 cs.CV cs.GR
MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures
Google Research(谷歌研究院);Simon Fraser University(西蒙菲莎大学);University of Toronto(多伦多大学)
本文提出 MobileNeRF,将神经辐射场表示为带纹理多边形,利用传统光栅化管线与片段着色器中的小型 MLP 实现高效渲染,在手机等平台上达到交互式帧率。
2023-05-30 cs.CV cs.GR cs.LG
PAPR: Proximity Attention Point Rendering
APEX Lab(APEX实验室);School of Computing Science(计算科学学院);Simon Fraser University(西蒙菲莎大学)
针对点云表示中梯度消失及所需点数过多的问题,提出PAPR点基场景表示与可微渲染器,以精简点云实现准确几何和精细纹理,并支持四类编辑应用。
2023-12-07 cs.AI cs.CV cs.GR
Neural Lumigraph Rendering
Raxium(拉克瑟姆公司);Stanford University(斯坦福大学)
新视点合成是一个具有挑战性的不适定逆绘制问题。神经渲染技术最近已经实现了这一任务的照片级逼真的图像质量。然而,现有技术(SOTA)神经体渲染方法训练缓慢并且需要数分钟的推断(即,渲染)时间以获得高图像分辨率。我们采用高容量的神经场景表示与定期激活,共同优化隐式表面和辐射场的场景监督专门与构成的2D图像。我们的神经渲染管道加速SOTA神经体渲染约两个数量级,我们的隐式表面表示是独一无二的,允许我们导出一个网格与视图相关的纹理信息。因此,与其他隐式表面表示一样,我们的方法与传统的图形管道兼容,实现了实时渲染速率,同时实现了与其他表面方法相比前所未有的图像质量。我们使用现有的数据集以及使用自定义多相机钻机捕获的高质量3D人脸数据来评估我们方法的质量。
2021-03-22 cs.CV cs.GR
DiffTex: Differentiable Texturing for Architectural Proxy Models
CSSE, Shenzhen University(深圳大学计算机科学与工程系);Beijing Normal University(北京师范大学);The Hebrew University of Jerusalem(耶鲁大学);Tel Aviv University(特拉维夫大学)
针对建筑代理模型因几何简化丢失细节的问题,提出DiffTex可微分纹理生成方法,通过配准无序照片建立纹素-像素对应并优化混合参数,生成高保真无缝纹理。
2025-09-30 cs.CV cs.GR
Neural Parameterization for Dynamic Human Head Editing
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);City University of Hong Kong(香港城市大学)
隐式辐射函数作为一种强大的场景表示方法,用于重建和绘制三维场景的照片级真实感视图。然而,这些表示遭受差的可编辑性。另一方面,多边形网格等显式表示允许轻松编辑,但不适合重建动态人类头部的精确细节,例如精细的面部特征,头发,牙齿和眼睛。在这项工作中,我们提出了神经参数化(NeP),一种混合表示,提供了隐式和显式方法的优点。NeP能够进行照片级真实感渲染,同时允许对场景几何形状和外观进行细粒度编辑。我们首先通过将3D几何参数化到2D纹理空间来解开几何和外观。我们通过引入显式线性变形混合层来启用几何可编辑性。变形由一组稀疏的关键点控制,这些关键点可以显式和直观地位移以编辑几何形状。对于外观,我们开发了一个混合的2D纹理,包括一个显式的纹理图,易于编辑和隐式的视图和时间相关的残差模型的时间和视图的变化。我们将我们的方法与几种重建和编辑基线进行比较。结果表明,NeP实现了几乎相同水平的渲染精度,同时保持高的可编辑性。
2022-10-27 cs.CV cs.GR
A Generative Model for Volume Rendering
University of Arizona(亚利桑那大学)
我们提出了一种技术来合成和分析体绘制图像使用生成模型。我们使用生成对抗网络(GAN)框架从大量体渲染中计算模型,条件是(1)视点和(2)不透明度和颜色的传递函数。我们的方法有利于任务的体积分析,是具有挑战性的,以实现使用现有的渲染技术,如光线投射或基于纹理的方法。我们展示了如何通过量化输出图像中的预期变化来指导用户进行传递函数编辑。此外,生成模型将传递函数转换为专门设计用于合成体绘制图像的视图不变潜在空间。我们直接使用这个空间进行渲染,使用户能够探索体渲染图像的空间。由于我们的模型是独立的体渲染过程的选择,我们展示了如何分析体绘制图像产生的直接和全局光照,各种体积数据集。
2019-07-16 cs.CV cs.GR
TexPro: Text-guided PBR Texturing with Procedural Material Modeling
Zhejiang University(浙江大学);Pico, ByteDance Inc(字节跳动旗下Pico公司);Communication University of Zhejiang(浙江传媒学院)
该研究提出TexPro方法,结合文生图模型与可微程序化材质建模,实现文本引导的3D网格PBR纹理生成,解决多视角图像与网格不对齐问题,性能优于现有最优方法且支持重新打光。
2025-05-18 cs.CV cs.GR
CNN based texture synthesize with Semantic segment
深度学习算法在计算机视觉领域显示出强大的能力,近年来,CNN被用于解决图像生成子领域的问题,广泛应用于照片编辑、图像设计、计算机动画、大规模场景的实时渲染和电影视觉效果等领域。然而在纹理合成过程中。针对现有的CNN不能准确捕捉纹理在图像中的空间位置,导致纹理合成后失真严重的问题,提出了一种新的纹理生成方法,即在图像预处理中加入基于深度学习算法的语义分割步骤,并对结果进行了分析。
2016-05-16 cs.CV cs.GR cs.LG
GenesisTex: Adapting Image Denoising Diffusion to Texture Space
School of Software, Beihang University(北京航空航天大学软件学院);R&D Efficiency and Capability Department, Tencent IEG(腾讯互动娱乐事业群研发效能与能力部)
本文提出GenesisTex方法,通过纹理空间采样将预训练图像扩散模型适配至纹理空间,结合全局风格一致性与局部潜在纹理对齐机制,并利用密集视图修复细化纹理,克服了现有方法优化慢和不稳定的问题。
2024-03-26 cs.CV cs.GR
Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering
The Ohio State University(俄亥俄州立大学);Chongqing Changan Automobile Co Ltd(重庆长安汽车股份有限公司)
驾驶模拟器在开发和测试新的智能车辆系统方面发挥着重要作用。仿真的视觉逼真度对于构建基于视觉的算法和进行人类驾驶员实验至关重要。低视觉保真度破坏了人在环驾驶实验的沉浸感。传统的计算机图形流水线使用详细的3D模型、网格、纹理和渲染引擎来从3D场景生成2D图像。这些过程是劳动密集型的,并且它们不会生成逼真的图像。在这里,我们介绍了一个混合生成神经图形管道,用于提高驾驶模拟的视觉保真度。给定一个3D场景,我们只部分渲染感兴趣的重要对象,如车辆,并使用生成对抗过程来合成背景和图像的其余部分。为此,我们提出了一种新的图像形成策略,形成2D语义图像从3D场景组成的简单的对象模型没有纹理。然后,这些语义图像被转换为具有照片般真实感的RGB图像,并使用最先进的生成对抗网络(GAN)对真实驾驶场景进行训练。这取代了随机生成的重复性,但逼真的表面。最后,部分渲染的图像和GAN合成的图像用混合GAN混合。我们表明,与传统方法相比,所提出的方法生成的图像的逼真度更类似于现实世界的驾驶数据集,如Cityscapes和KITTI。这种比较是使用语义保持分析和Frechet起始距离(FID)测量。
2022-07-21 cs.CV cs.GR
HiNeuS: High-fidelity Neural Surface Mitigating Low-texture and Reflective Ambiguity
Li Auto Inc.(利自动公司)
提出统一框架HiNeuS,通过SDF引导光线追踪、平面共形正则化和物理Eikonal松弛,解决神经表面重建中的反射模糊、低纹理及结构退化问题,实现高保真重建。
2025-06-30 cs.CV cs.GR
3DGen: Triplane Latent Diffusion for Textured Mesh Generation
Meta AI
用于图像生成的潜空间扩散模型已经跨越了一个质量阈值,这使得它们能够实现大规模采用。最近,一系列的工作已经取得了进展,在3D领域复制这一成功,引入技术,如点云VAE,三平面表示,神经隐式表面和基于可微渲染的训练。我们沿着这个方向又迈出了一步,将这些发展结合在一个两步的管道中,该管道包括1)一个三平面VAE,它可以学习纹理网格的潜在表示,2)一个条件扩散模型,它生成三平面特征。这种架构首次允许在单个GPU上在几秒钟内有条件和无条件地生成多个不同类别的高质量纹理或无纹理3D网格。它大大优于以前的工作,图像条件和无条件生成网格质量以及纹理生成。此外,我们证明了我们的模型的可扩展性,以提高质量和多样性的大型数据集。我们将发布我们的代码和训练模型。
2023-03-27 cs.CV cs.GR
Unsupervised Learning of Style-Aware Facial Animation from Real Acting Performances
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University(洪堡大学)
提出一种基于混合形状、动态纹理和神经渲染的文本/语音驱动面部动画方法,通过VAE和条件CNN无监督学习解耦表演风格,并用U-Net优化渲染,显著提升质量。
2023-09-01 cs.CV cs.GR cs.LG
Neural Neural Textures Make Sim2Real Consistent
Stony Brook University(石溪大学)
不成对的图像平移算法可以用于sim 2 real任务,但许多算法无法生成时间一致的结果。我们提出了一种新的方法,结合可微渲染与图像翻译,以实现在不确定的时间尺度上的时间一致性,使用表面一致性损失和\emph{neural neural textures}。我们将此算法称为TRITON(纹理恢复图像翻译网络):一种无监督的,端到端的,无状态的sim 2 real算法,通过生成逼真的可学习神经纹理来利用输入场景的底层3D几何结构。通过为场景中的对象设置特定的纹理,我们可以无状态地确保帧之间的一致性。与以前的算法不同,TRITON并不局限于摄像机的移动--它还可以处理物体的移动,这使得它对机器人操作等下游任务很有用。
2022-12-15 cs.CV cs.GR cs.LG
Textured Gaussians for Enhanced 3D Scene Appearance Modeling
Stanford University(斯坦福大学);Meta;University of Maryland College Park(马里兰大学帕克分校)
针对3D高斯溅射单个高斯基元表达能力有限的问题,提出为高斯添加alpha、RGB或RGBA纹理图的广义外观表示方法,在更少或等量高斯下提升了3D重建渲染的图像质量。
2025-05-29 cs.AI cs.CV cs.GR
Gaussian Pixel Codec Avatars: A Hybrid Representation for Efficient Rendering
Meta Codec Avatars Lab(Meta 编码人像实验室);Meta Reality Labs(Meta 现实实验室);Stellon Labs(Stellon 实验室)
GPiCA通过结合三角网格和各向异性3D高斯,实现高效渲染的逼真头像生成
2025-12-17 cs.CV cs.GR
Material Palette: Extraction of Materials from a Single Image
Inria(法国国家信息与自动化研究所);University of Oxford(牛津大学)
本文提出Material Palette方法,通过扩散模型映射材质概念并生成纹理,再分解为SVBRDF,结合无监督域适应从单张真实图像中提取PBR材质,用于3D场景编辑。
2023-11-28 cs.CV cs.GR
Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling
The Hong Kong University of Science and Technology(香港科技大学);Huya Inc(虎牙公司)
我们提出了一种新的方法,Few-Shot人体运动转移,实现逼真的人体图像生成,只有少量的外观输入。尽管最近在单人运动转移方面取得了进展,但现有方法通常需要大量训练图像并且花费长的训练时间。其中一个很有前途的方向是进行Few-Shot人体运动的转移,它只需要几个源图像的外观转移。然而,获得令人满意的转移结果尤其具有挑战性。在本文中,我们解决这个问题,通过渲染一个人的纹理映射到一个表面的几何形状(表示为UV图),这是个性化的源人。我们的几何生成器结合了来自源图像的形状信息和来自2D关键点的姿态信息来合成个性化的UV地图。然后,纹理生成器生成以源图像的纹理为条件的纹理图,以填充不可见部分。此外,我们可以在测试时从几个源图像微调纹理生成器的流形上的纹理图,这提高了纹理图的质量,而没有过度拟合或伪影。大量的实验表明,所提出的方法优于国家的最先进的方法在定性和定量。我们的代码可在https://github.com/HuangZhiChao95/FewShotMotionTransfer上获得。
2021-03-26 cs.CV cs.GR
Convolutional Generation of Textured 3D Meshes
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
虽然最近的2D图像生成模型取得了令人印象深刻的视觉效果,但它们显然缺乏执行3D推理的能力。这严重限制了对生成对象的控制程度以及此类模型的可能应用。在这项工作中,我们利用最近的进展,微分渲染弥合这一差距。我们设计了一个框架,可以生成三角形网格和相关的高分辨率纹理图,只使用2D监督从单视图的自然图像。我们工作的一个关键贡献是将网格和纹理编码为2D表示,这些表示在语义上对齐,并且可以通过2D卷积GAN轻松建模。我们证明了我们的方法在Pascal3D+ Cars和CUB上的有效性,无论是在无条件设置中,还是在模型以类标签、属性和文本为条件的设置中。最后,我们提出了一个评估方法,分别评估网格和纹理质量。
2020-10-23 cs.CV cs.GR cs.LG