TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward
Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；hi-Lab, Xiaohongshu Inc（小红书实验室）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
TDM-R1通过非可微奖励强化少步扩散模型，提升文本到图像生成性能
2026-03-08 cs.AI cs.CV
Birth of a Painting: Differentiable Brushstroke Reconstruction
针对现有绘画合成方法缺乏明确笔触结构、无法生成平滑真实阴影的问题，提出可微分笔触重建框架，结合贝塞尔笔触优化、几何条件纹理合成与可微分涂抹算子，实现真实且富有表现力的数字绘画创作。
2025-11-17 cs.CV
Co-occurrence Based Texture Synthesis
Tel Aviv University（特拉维夫大学）；Cornell Tech, Cornell University（康奈尔科技学院，康奈尔大学）
随着图像生成技术的成熟，人们对易于理解和直观操作的可解释表示越来越感兴趣。在这项工作中，我们转向共现统计，长期以来一直用于纹理分析，学习一个可控的纹理合成模型。我们提出了一个完全卷积的生成对抗网络，以共现统计为条件，生成任意大的图像，同时对纹理外观进行局部可解释的控制。为了鼓励对输入条件的保真度，我们引入了一种新的可微同现损失，它以端到端的方式无缝集成到我们的框架中。我们证明，我们的解决方案提供了一个稳定的，直观的和可解释的纹理合成，它可以用来生成一个光滑的纹理变形之间的纹理合成的潜在表示。我们进一步展示了一个交互式纹理工具，它允许用户直接使用同现值来调整合成纹理图像的局部特征。
2020-07-22 cs.CV
CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading
HSE University（俄罗斯莫斯科高等经济大学）；Yandex Research（Yandex研究）
CasTex通过级联扩散模型实现文本到纹理合成，采用显式纹理参数化提升生成质量，优于现有优化方法。
2026-01-13 cs.CV
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
Imperial College London（帝国理工学院）；University of Middlesex（密德萨斯大学）
在过去的几年里，已经做了大量的工作，通过利用深度卷积神经网络（DCNN）的力量，从单个图像重建3D面部结构。在最近的作品中，微分渲染器，以学习的面部身份特征和参数的3D变形模型的形状和纹理之间的关系。纹理特征要么对应于线性纹理空间的分量，要么由自动编码器直接从野外图像中学习。在所有情况下，面部纹理重建的质量的国家的最先进的方法仍然是不能够在高保真度的纹理建模。在本文中，我们采取了一种完全不同的方法，利用生成对抗网络（GANs）和DCNN的强大功能，从单张图像中重建面部纹理和形状。也就是说，我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后，我们重新审视了原始的3D变形模型（3DMMs）拟合方法，利用非线性优化，以找到最佳的潜在参数，最好地重建测试图像，但在一个新的角度。我们通过我们的端到端可区分框架，在预训练的深度身份特征的监督下优化参数。我们在真实感和身份保持3D人脸重建中表现出出色的效果，并首次实现了高频细节的面部纹理重建。
2019-04-06 cs.CV
NeuTex: Neural Texture Mapping for Volumetric Neural Rendering
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Adobe Research（奥多比研究院）
最近的工作表明，体场景表示与可微分体渲染相结合，可以实现具有挑战性的场景，网格重建失败的照片级真实感渲染。然而，这些方法纠缠在一个“黑盒子”的体积，不能编辑的几何形状和外观。相反，我们提出了一种方法，明确解开几何-表示为一个连续的3D体积-从外观-表示为一个连续的2D纹理图。我们通过将3D到2D纹理映射（或表面参数化）网络引入体积表示来实现这一点。我们约束这个纹理映射网络使用一个额外的2D到3D的逆映射网络和一个新的循环一致性损失，使3D表面点映射到2D纹理点，映射回原来的3D点。我们证明，这种表示可以重建只使用多视图图像监督，并产生高质量的渲染结果。更重要的是，通过分离几何和纹理，我们允许用户通过简单地编辑2D纹理贴图来编辑外观。
2021-03-01 cs.CV
RewardFlow: Generate Images by Optimizing What You Reward
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony Research, India（索尼印度研究院）
RewardFlow通过多奖励Langevin动力学优化预训练扩散和流匹配模型，统一了语义对齐、感知保真度等不同可微奖励，并引入基于VQA的可微奖励提升语义监督。
2026-04-09 cs.AI cs.CV
VARD: Efficient and Dense Fine-Tuning for Diffusion Models with Value-based RL
Zhejiang University（浙江大学）；Westlake University（西湖大学）
针对扩散模型强化学习微调中稀疏奖励导致监督不足与训练不稳的问题，本文提出VARD方法，通过学习价值函数并结合KL正则化提供密集可微监督，从而提升训练效率并支持复杂不可微奖励。
2025-06-02 cs.CV cs.LG
Monocular Avatar Reconstruction via Cascaded Diffusion Priors and UV-Space Differentiable Shading
Beihang University（北航）；Great Wall Motors（长城汽车）；CUHK-Shenzhen（香港科技大学深圳研究院）；HKUST（香港科技大学）；Nanjing University（南京大学）；Wuhan University（武汉大学）；Zhejiang University（浙江大学）；KAUST（王国 Abdullah 基础科学研究院）；Tsinghua University（清华大学）
提出数据高效框架，利用统一预训练扩散模型的鲁棒先验，通过级联LoRA依次处理纹理补全、去光照和材质分解，结合UV空间可微分BRDF着色损失，从单张野外图像重建高保真可重光照3D虚拟人。
2026-06-29 cs.CV
Compositional Reward Models for Conditional Medical Image Generation
Yardi School of Artificial Intelligence（亚尔迪人工智能学院）；Indian Institute Of Technology, Delhi（德里印度理工学院）；Indian Institute of Science（印度科学学院）；Department of Computer Science and Engineering（计算机科学与工程系）
本研究提出PRISM组合奖励模型框架，通过分层约束传播机制优化条件医学图像生成，在三个医学成像数据集上训练下游模型时，多项指标较基准方法均有显著提升。
2026-09-07 cs.CV
Self-Corrected Image Generation with Explainable Latent Rewards
Carnegie Mellon University（卡内基梅隆大学）；Singapore Management University（新加坡管理大学）；William & Mary（威廉与玛丽学院）
本文提出xLARD框架，利用多模态大语言模型通过可解释性潜在奖励指导生成，改进语义对齐和视觉保真度，同时保持生成先验。
2026-03-26 cs.AI cs.CV
Controlling Geometric Abstraction and Texture for Artistic Images
Digital Masterpieces GmbH（Digital Masterpieces有限公司）
提出一种交互式控制艺术图像几何抽象与纹理的方法，通过空间分解输入为形状与参数化纹理表示，实现颜色、形状和绘画属性的独立编辑，并支持基于优化的风格迁移与实时纹理分解网络。
2023-07-31 cs.CV cs.GR
3DGen: Triplane Latent Diffusion for Textured Mesh Generation
Meta AI
用于图像生成的潜空间扩散模型已经跨越了一个质量阈值，这使得它们能够实现大规模采用。最近，一系列的工作已经取得了进展，在3D领域复制这一成功，引入技术，如点云VAE，三平面表示，神经隐式表面和基于可微渲染的训练。我们沿着这个方向又迈出了一步，将这些发展结合在一个两步的管道中，该管道包括1）一个三平面VAE，它可以学习纹理网格的潜在表示，2）一个条件扩散模型，它生成三平面特征。这种架构首次允许在单个GPU上在几秒钟内有条件和无条件地生成多个不同类别的高质量纹理或无纹理3D网格。它大大优于以前的工作，图像条件和无条件生成网格质量以及纹理生成。此外，我们证明了我们的模型的可扩展性，以提高质量和多样性的大型数据集。我们将发布我们的代码和训练模型。
2023-03-27 cs.CV cs.GR
Nonlinear 3D Face Morphable Model
Michigan State University（密歇根州立大学）
3DMM（3D Morphable Model）作为一种经典的三维人脸形状和纹理统计模型，在人脸分析中得到了广泛的应用，模型拟合、图像合成。传统的3DMM是从一组控制良好的2D面部图像与相关联的3D面部扫描中学习的，并由两组PCA基函数表示。由于训练数据的类型和数量以及线性基，3DMM的表示能力可能是有限的。为了解决这些问题，本文提出了一种创新的框架，从大量的无约束人脸图像中学习非线性3DMM模型，而无需收集3D人脸扫描。具体地，给定人脸图像作为输入，网络编码器估计投影、形状和纹理参数。两个解码器用作非线性3DMM，以分别从形状和纹理参数映射到3D形状和纹理。利用投影参数、三维形状和纹理，设计了一种新的解析可微渲染层来重建原始输入人脸。整个网络是端到端可训练的，只有弱监督。我们证明了我们的非线性3DMM的优越的表示能力，其线性对应，其贡献的脸对齐和三维重建。
2018-08-26 cs.CV
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
我们提出了一种新的管道，用于在野外使用单个智能手机获取纹理网格，该智能手机可以访问图像，深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构，它可以产生过滤后的深度图，并根据相应的深度来细化相机姿态。然后，我们采用神经隐式曲面重建方法，它允许高质量的网格，并开发了一个新的训练过程，用于应用经典的多视图立体视觉方法提供的正则化。此外，我们应用微分渲染微调不完整的纹理地图，并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象，而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果，并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
Generative Escher Meshes
University of Montreal（蒙特利尔大学）；Adobe Research（奥多比研究实验室）
本文提出文本引导的全自动方法，利用可微 Orbifold Tutte Embedding 与扩散模型联合优化二维网格几何和纹理，生成可无缝平铺平面的非方形对象图块。
2024-06-17 cs.AI cs.CG cs.CV
Directional Texture Editing for 3D Models
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对3D模型纹理编辑中文本描述模糊的问题，提出ITEM3D模型，利用扩散模型与可微渲染，并引入相对编辑方向优化目标，有效缓解语义模糊并提升纹理编辑质量。
2024-03-06 cs.CV
Differentiable Stereopsis: Meshes from multiple views using differentiable rendering
UC Berkeley（加州大学伯克利分校）；Meta AI
我们提出了微分立体，多视图立体视觉的方法，重建形状和纹理从几个输入视图和嘈杂的相机。我们配对传统的立体视觉和现代微分渲染，建立一个端到端的模型，预测纹理的3D网格的对象具有不同的拓扑结构和形状。我们将立体视觉视为一个优化问题，并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析，并与传统的多视图立体视觉技术和最先进的基于学习的方法进行了比较。我们展示了具有挑战性的现实世界场景的令人信服的重建，以及具有复杂形状，拓扑结构和纹理的丰富对象类型。项目网页：https://shubham-goel.github.io/ds/
2022-09-23 cs.CV
UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures
OPPO US Research Center, InnoPeak Technology, Inc.（OPPO美国研发中心，InnoPeak科技公司）；Westlake University（西湖大学）
本文提出UltrAvatar，通过漫反射颜色提取和真实感引导纹理扩散模型，生成几何保真、PBR纹理逼真且可驱动的3D头像，显著优于现有方法。
2024-09-30 cs.CV
Drifting Preference Optimization for One-Step Generative Models
Westlake University（西湖大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出 DrPO 方法，通过在线采样和排序构建非参数偶极偏好场及参考漂移，实现一步式生成模型的无梯度偏好微调。
2026-06-03 cs.CV cs.LG
Texturify: Generating Textures on 3D Shape Surfaces
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Apple（苹果公司）
3D物体上的纹理线索是引人注目的视觉表现的关键，有可能在不同视图之间创建具有内在空间一致性的高视觉保真度。由于纹理3D形状的可用性仍然非常有限，因此学习基于3D输入预测纹理的3D监督数据驱动方法非常具有挑战性。因此，我们提出了Texturify，这是一种基于GAN的方法，它利用对象类的3D形状数据集，并通过生成高质量的纹理来学习再现真实图像中观察到的外观分布。特别是，我们的方法不需要任何3D颜色监督或形状几何和图像之间的对应关系来学习3D对象的纹理。Texturify通过在分层4-RoSy参数化上引入面卷积运算符来直接在3D对象的表面上操作，以生成合理的对象特定纹理。采用可区分的渲染和对抗性损失，批评个别视图和跨视图的一致性，我们有效地学习高质量的表面纹理分布从现实世界的图像。对汽车和椅子形状集合的实验表明，我们的方法在FID分数上平均比最先进的方法高出22%。
2022-04-05 cs.CV cs.GR
Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions
Alibaba Group（阿里巴巴集团）；Nankai University（南开大学）
提出Z-Reward框架，通过教师-学生模型将推理型奖励内化为紧凑VLM的分数分布，实现高效且准确的文本到图像优化。
2026-07-15 cs.CV
CRAFT: Clinical Reward-Aligned Finetuning for Medical Image Synthesis
Department of Computer Science, Tulane University（路易斯安那大学计算机科学系）；School of Medicine, Tulane University（路易斯安那大学医学院）
本文提出CRAFT框架，通过临床对齐评分和奖励优化提升医学图像生成质量，减少幻觉生成，提升分类性能。
2026-05-12 cs.CV
Learning Generative Models of Textured 3D Meshes from Real-World Images
ETH Zurich（苏黎世联邦理工学院）
微分渲染的最新进展引发了人们对从图像集合中学习纹理3D网格生成模型的兴趣。这些模型原生地解开姿势和外观，使计算机图形学中的下游应用成为可能，并提高生成模型理解图像形成概念的能力。虽然之前已经有从2D图像集合中学习此类模型的工作，但这些方法需要利用注释关键点的精细姿态估计步骤，从而将其适用性限制在少数特定数据集上。在这项工作中，我们提出了一个GAN框架生成纹理三角形网格，而不依赖于这样的注释。我们表明，我们的方法的性能与依赖于地面实况关键点的先前工作相当，更重要的是，我们通过在ImageNet的更大类别集上设置新基线来证明我们方法的通用性-关键点不可用-没有任何类特定的超参数调整。我们在https://github.com/dariopavllo/textured-3d-gan上发布代码
2021-08-17 cs.CV cs.GR cs.LG
EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
本文提出 EucliDreamer，结合 SDS、可微渲染与深度条件 Stable Diffusion，从文本和网格生成高质量 3D 纹理，在 Objaverse 与用户研究中优于 Text2Tex，且收敛速度为 DreamFusion 的 2 倍。
2024-04-16 cs.CV
RIN: Textured Human Model Recovery and Imitation with a Single Image
由于GAN能够将人体姿势和身体内容区分开来，人体模仿最近成为热门话题。然而，最新的方法几乎不关注3D信息，并且为了避免自遮挡，需要大量的输入图像。在本文中，我们提出了RIN，一种新的基于体积的框架，用于从单个图片重建纹理3D模型，并模仿生成的模型的主题。具体来说，为了估计大部分的人类纹理，我们提出了一个类似于U-Net的前后翻译网络。与前面和后面的图像输入，纹理体积恢复模块允许我们的颜色体积的人。然后，一系列3D姿势通过可流动的解缠网络引导彩色体积，作为体积到体积的转换任务。为了在训练过程中将体积投影到2D平面，我们设计了一个可微分的深度感知渲染器。我们的实验表明，我们的基于体积的模型是足够的人类模仿，和后视图可以可靠地估计使用我们的网络。虽然基于2D姿势或语义图的先前工作通常会因为人类的不稳定外观而失败，但我们的框架仍然可以产生具体的结果，这与多视图输入的想象相比具有竞争力。
2021-08-14 cs.AI cs.CV
Convolutional Generation of Textured 3D Meshes
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
虽然最近的2D图像生成模型取得了令人印象深刻的视觉效果，但它们显然缺乏执行3D推理的能力。这严重限制了对生成对象的控制程度以及此类模型的可能应用。在这项工作中，我们利用最近的进展，微分渲染弥合这一差距。我们设计了一个框架，可以生成三角形网格和相关的高分辨率纹理图，只使用2D监督从单视图的自然图像。我们工作的一个关键贡献是将网格和纹理编码为2D表示，这些表示在语义上对齐，并且可以通过2D卷积GAN轻松建模。我们证明了我们的方法在Pascal3D+ Cars和CUB上的有效性，无论是在无条件设置中，还是在模型以类标签、属性和文本为条件的设置中。最后，我们提出了一个评估方法，分别评估网格和纹理质量。
2020-10-23 cs.CV cs.GR cs.LG
Adaptive Joint Optimization for 3D Reconstruction with Differentiable Rendering
City University of Hong Kong（香港城市大学）
由于在扫描和量化过程中不可避免地引入了噪声，通过RGB-D传感器进行的3D重建在几何和纹理方面都存在误差，从而导致诸如相机漂移、网格失真、纹理重影和模糊等伪影。给定一个不完美的重建3D模型，大多数以前的方法都集中在几何形状，纹理或相机姿态的细化。或者在以往的联合优化方法中，针对各部件的优化采用了不同的优化方案和目标，形成了一个复杂的系统。在本文中，我们提出了一种新的优化方法的基础上微分渲染，它集成了优化的相机姿态，几何和纹理到一个统一的框架，通过执行渲染结果和相应的RGB-D输入之间的一致性。基于统一的框架，我们引入了一个联合优化方法，充分利用几何，纹理和相机姿态之间的相互关系，并描述了一个自适应交错策略，以提高优化的稳定性和效率。使用可微分渲染，应用图像级对抗损失来进一步改进3D模型，使其更具照片真实感。使用定量和定性评估的合成和真实数据的实验证明了我们的方法在恢复精细尺度几何和高保真纹理方面的优越性。代码可在https://adjointopti.github.io/adjoin.github.io/获得。
2022-09-12 cs.CV
Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning
Northeastern University（东北大学）；Snap Inc.（Snap公司）
本文提出Diffusion-DRF框架，通过多维问题和密集VQA解释查询生成丰富反馈，实现稳定奖励微调，无需偏好数据集。
2026-11-04 cs.CV
Exemplar-Based 3D Portrait Stylization
City University of Hong Kong（香港城市大学）；University of Southern California（南加利福尼亚大学）；Snap Inc.（Snap公司）
基于范例的肖像风格化具有广泛的吸引力和高度的期望。尽管最近取得了成功，但它仍然具有挑战性，特别是在考虑纹理和几何风格时。在本文中，我们提出了第一个框架一次性三维肖像风格转移，它可以生成三维人脸模型与几何夸张和纹理风格化，同时保持身份从原始内容。它只需要一个任意样式的图像，而不是一个特定样式的训练样本的大集合，提供完全参数化和分离的几何和纹理输出，并使进一步的图形应用与3D表示。该框架包括两个阶段。在第一个几何风格转换阶段，我们使用面部标志平移来捕获粗糙的几何风格，并引导密集的3D人脸几何形状的变形。在第二个纹理风格转换阶段，我们专注于执行风格转换上的规范纹理，采用可微分渲染器优化纹理在多视图框架。实验结果表明，我们的方法取得了良好的效果，不同的艺术风格，并优于现有的方法。我们还通过各种2D和3D图形应用程序证明了我们的方法的优点。项目页面是https://halfjoe.github.io/projs/3DPS/index.html。
2021-04-29 cs.CV cs.GR
StyleUV: Diverse and High-fidelity UV Map Generative Model
Seoul National University（首尔大学）；Purdue University（普渡大学）；NAVER WEBTOON
近年来，利用3DMM（3D Morphable Model）重建野外三维人脸已成为一个热门的研究方向。虽然大多数先前的工作集中在估计更鲁棒和准确的几何形状，相对较少的注意力已经支付到提高纹理模型的质量。与此同时，随着生成对抗网络（GANs）的出现，在重建逼真的2D图像方面取得了很大进展。最近的工作表明，用丰富的高质量UV贴图训练的GANs可以产生优于现有方法产生的高保真纹理。然而，获取这种高质量的UV图是困难的，因为它们的获取成本很高，需要费力的过程来细化。在这项工作中，我们提出了一种新的UV贴图生成模型，该模型可以学习生成多样化和逼真的合成UV贴图，而无需高质量的UV贴图进行训练。我们提出的框架可以单独使用野外图像（即，不需要UV贴图）。定量和定性的评价表明，我们提出的纹理模型产生更多样化和更高保真度的纹理相比，现有的方法。
2020-11-25 cs.CV cs.GR
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
Graduate School of AI, KAIST, Korea（人工智能研究生院，韩国科学技术院）
提出奖励分数匹配（RSM）框架，统一了多种基于奖励的微调方法，通过分数匹配与值引导目标对齐，简化了设计空间并提高了效率。
2026-08-27 cs.AI cs.CV cs.LG
Latent Reward Registers for Diffusion Preference Alignment
针对扩散模型偏好对齐的时间信用分配挑战，提出Latent Reward Registers机制，结合RG-OPD和RGS策略，在高噪声下实现最优性能且大幅降低计算成本。
2026-08-17 cs.CV cs.LG
Training-free Diffusion Model Alignment with Sampling Demons
Academia Sinica（中央研究院）；Google DeepMind（谷歌DeepMind）
提出一种名为Demon的免训练随机优化方法，在推理时通过控制噪声分布引导扩散模型去噪过程，无需反向传播或重训练，实现与用户偏好对齐，显著提升文生图美学评分。
2025-02-27 cs.AI cs.CV cs.LG
TexPro: Text-guided PBR Texturing with Procedural Material Modeling
Zhejiang University（浙江大学）；Pico, ByteDance Inc（字节跳动旗下Pico公司）；Communication University of Zhejiang（浙江传媒学院）
该研究提出TexPro方法，结合文生图模型与可微程序化材质建模，实现文本引导的3D网格PBR纹理生成，解决多视角图像与网格不对齐问题，性能优于现有最优方法且支持重新打光。
2025-05-18 cs.CV cs.GR
Bridging Online and Offline Handwriting via Differentiable Physical Rendering
该研究提出统一在线-离线手写生成框架，通过物理画笔模型与可微渲染模块解决两类手写生成范式的缺陷，经实验验证实现了结构与视觉保真度。
2026-08-05 cs.CV cs.RO
Nabla-R2D3: Effective and Efficient 3D Diffusion Alignment with 2D Rewards
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Research（微软研究院）
针对三维扩散模型难以对齐人类偏好和指令的问题，提出Nabla-R2D3框架，利用二维奖励和Nabla-GFlowNet方法实现高效微调，在少量步骤内获得更高奖励并减少先验遗忘。
2025-06-18 cs.CV cs.GR cs.LG
Explicit Critic Guidance for Aligning Diffusion Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；The Chinese University of Hong Kong（香港中文大学）
提出一种状态对齐的潜在演员-评论家框架，通过将扩散模型自身作为时间步条件价值函数，实现轨迹级PPO训练和推理时引导，在单/多奖励基准上优于先前方法。
2026-05-26 cs.CV cs.LG
Multi-Scale Texture Loss for CT denoising with GANs
Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University, Sweden（诊断与介入部门、辐射物理、生物医学工程、乌梅大学，瑞典）；Bioinformatics, Department of Engineering, University Campus Bio-Medico of Rome, Italy（生物信息学、工程部门、罗马生物医学大学，意大利）
本文提出多尺度纹理损失方法，通过自注意力层动态聚合图像信息，提升GANs在低剂量CT去噪中的性能。
2025-01-21 cs.CV cs.LG eess.IV
Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL
Purdue University（普渡大学）；hi-lab, Xiaohongshu Inc.（小红书实验室，小红书公司）
针对一步生成器强化学习中奖励优化与生成动力学不匹配的问题，提出基于积分KL最小化的无数据轨迹级对齐框架DIDR，通过扩散奖励分数和代理估计器实现奖励驱动的校正，在一步SDXL和6B DiT骨干网络上取得帕累托优势。
2026-11-11 cs.AI cs.CV cs.LG
GeoFix: Geometry Fixing for 4D Consistent Generation
KAIST（韩国科学技术院）；ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）；EPFL（洛桑联邦理工学院）
GeoFix是一个统一框架，通过校准的单一几何奖励提升4D生成的几何一致性与视觉质量，在WorldScore 3D一致性和VBench质量得分上分别实现39%和4%的提升。
2026-10-14 cs.AI cs.CV cs.LG
TexTile: A Differentiable Metric for Texture Tileability
Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；SEDDI
提出 TexTile，一种基于二分类器的可微度量，通过架构修改与数据增强准确量化纹理可平铺性，可集成至现有合成方法并客观评估其性能。
2024-03-19 cs.AI cs.CV cs.GR
ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
Simon Fraser University（西蒙菲莎大学）；Amazon（亚马逊公司）
提出ShaDDR，一种基于示例的深度生成网络，通过多分辨率体素上采样和可微渲染对粗糙体素进行几何细节化与条件纹理生成，实现快速交互式高分辨率3D形状建模。
2023-11-22 cs.CV cs.GR cs.LG
Maximum entropy methods for texture synthesis: theory and practice
Centre de mathématiques et de leurs applications（数学及其应用中心）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；Institut Denis Poisson（德尼·泊松研究所）；Université d’Orléans（奥尔良大学）；Université de Tours（图尔大学）；Univ. Bordeaux（波尔多大学）；IMB（波尔多数学研究所）；Bordeaux INP（波尔多国立理工学院）
近年来，卷积神经网络技术在基于样本的图像合成中兴起。这些方法往往依赖于最小化的一些变分制定的图像空间的最小化被假定为综合问题的解决方案。在本文中，我们调查，从理论上和实验上，另一个框架来处理这个问题，使用交替采样/最小化方案。首先，我们使用信息几何的结果来评估，我们的方法产生一个概率测度，具有最大熵在某些约束下的期望。然后，我们转向我们的方法的分析，我们表明，使用最近的结果从马尔可夫链文献，它的错误可以明确有界的常数依赖多项式的维度，即使在非凸设置。这包括通过可微神经网络定义约束的情况。最后，我们提出了一个广泛的实验研究的模型，包括比较国家的最先进的方法和扩展到风格转移。
2019-12-03 cs.CV math.PR math.ST
PBR-SR: Mesh PBR Texture Super Resolution from 2D Image Priors
Technical University of Munich（慕尼黑技术大学）；Intel Labs（英特尔实验室）
PBR-SR提出一种零样本PBR纹理超分辨率方法，通过结合自然图像超分辨率先验与多视图可微渲染约束，并引入纹理域恒等约束，在不需额外训练的情况下为艺术家设计和AI生成的网格生成高保真PBR纹理，优于直接超分辨率应用和现有纹理优化方法。
2025-06-03 cs.CV
DiffTex: Differentiable Texturing for Architectural Proxy Models
CSSE, Shenzhen University（深圳大学计算机科学与工程系）；Beijing Normal University（北京师范大学）；The Hebrew University of Jerusalem（耶鲁大学）；Tel Aviv University（特拉维夫大学）
针对建筑代理模型因几何简化丢失细节的问题，提出DiffTex可微分纹理生成方法，通过配准无序照片建立纹素-像素对应并优化混合参数，生成高保真无缝纹理。
2025-09-30 cs.CV cs.GR
Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；McGill University（麦吉尔大学）；Aalto University（阿尔托大学）
许多机器学习模型对图像进行操作，但忽略了这样一个事实：图像是由3D几何形状与光线相互作用形成的2D投影，这个过程称为渲染。使ML模型能够理解图像形成可能是泛化的关键。然而，由于涉及离散赋值操作的基本光栅化步骤，渲染管道是不可微的，因此基于梯度的ML技术在很大程度上无法访问。在本文中，我们提出了{ \emph DIB-R}，一个微分渲染框架，它允许分析计算图像中所有像素的梯度。我们的方法的关键是将前景光栅化视为局部属性的加权插值，将背景光栅化视为基于距离的全局几何聚合。我们的方法允许通过各种照明模型对顶点位置、颜色、法线、光方向和纹理坐标进行精确优化。我们在两个机器学习应用中展示了我们的方法：单图像3D对象预测和3D纹理对象生成，两者都是专门使用2D监督进行训练的。我们的项目网址是：https://nv-tlabs.github.io/DIB-R/
2019-11-21 cs.CV
RePOSE: Fast 6D Object Pose Refinement via Deep Texture Rendering
Carnegie Mellon University（卡内基梅隆大学）；Tokyo Institute of Technology（东京工业大学）
我们提出了RePOSE，一个快速迭代细化方法的6D对象姿态估计。现有方法通过将放大的输入和渲染的RGB图像馈送到CNN中并直接回归细化姿态的更新来执行细化。由于CNN的计算成本，它们的运行时间很慢，这在多对象姿态细化中尤其突出。为了克服这个问题，RePOSE利用图像渲染，使用具有可学习纹理的3D模型进行快速特征提取。我们称之为深度纹理渲染，它使用浅层多层感知器直接回归对象的视图不变图像表示。此外，我们利用可微Levenberg-Marquardt（LM）优化，通过最小化输入和渲染图像表示之间的特征度量误差来快速准确地优化姿势，而无需放大。这些图像表示经过训练，使得可微LM优化在几次迭代内收敛。因此，RePOSE以92 FPS运行，并在Occlusion LineMOD数据集上实现了51.6%的最新准确度-比现有技术绝对提高了4.1%，并且在YCB-Video数据集上具有更快的运行时间。该代码可在https://github.com/sh8/repose上获得。
2021-08-19 cs.CV
Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Amazon（亚马逊）；ETAS GmbH, Bosch Group（博世集团ETAS有限公司）
基于学习的3D重建方法已经显示出令人印象深刻的结果。然而，大多数方法需要3D监督，这对于现实世界的数据集来说通常很难获得。最近，一些作品已经提出了微分绘制技术，训练重建模型从RGB图像。不幸的是，这些方法目前仅限于基于体素和网格的表示，遭受离散化或低分辨率。在这项工作中，我们提出了一个可微的隐式形状和纹理表示的渲染公式。隐式表示最近越来越流行，因为它们连续表示形状和纹理。我们的关键见解是，深度梯度可以推导出分析使用隐式微分的概念。这使我们能够直接从RGB图像中学习隐式形状和纹理表示。我们的实验表明，我们的单视图重建对手的学习与全3D监督。此外，我们发现，我们的方法可以用于多视图三维重建，直接导致水密网格。
2020-03-23 cs.CV cs.LG eess.IV
Vision-Language Models as Differentiable Semantic and Spatial Rewards for Text-to-3D Generation
Peking University（北京大学）；Xiaohongshu Inc（小红书公司）
本文提出VLM3D框架，将大型视觉-语言模型作为可微语义与空间先验引入得分蒸馏采样流程，以解决文本到3D生成中细粒度语义对齐不足和3D空间约束缺失的问题，并在GPTeval3D基准上显著提升了语义保真度、几何连贯性与空间正确性。
2025-09-19 cs.CV
Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives
LIGM, Ecole des Ponts, Univ Gustave Eiffel（LIGM，巴黎高科桥梁学校，古斯塔夫·埃菲尔大学）；UC Berkeley（加州大学伯克利分校）
提出可微积木世界方法，通过可微渲染将图像分解为带纹理超二次曲面图元，实现可解释、可编辑的三维表示，并在DTU等数据集上验证了其有效性和鲁棒性。
2023-12-26 cs.CV
Sampling Network Guided Cross-Entropy Method for Unsupervised Point Cloud Registration
PCA Lab, Nanjing University of Science and Technology（南京理工大学PCA实验室）
在本文中，通过将点云配准任务建模为马尔可夫决策过程，我们提出了一种嵌入交叉熵方法（CEM）的端到端深度模型，用于无监督3D配准。我们的模型包括一个采样网络模块和一个可微CEM模块。在我们的采样网络模块中，给定一对点云，采样网络学习变换空间上的先验采样分布。学习的采样分布可以用作可微CEM模块的“良好”初始化。在我们的可微CEM模块中，我们首先提出了一个基于最大一致性准则的对齐度量作为点云配准任务的奖励函数。基于奖励函数，对于每个状态，我们然后构建一个融合得分函数来评估采样的转换，其中我们对转换的当前和未来奖励进行加权。特别地，通过对变换后的状态执行迭代最近点（ICP）算法来获得采样变换的未来回报。通过选择得分最高的前k个变换，我们迭代地更新采样分布。此外，为了使CEM可微，我们使用sparsemax函数来代替硬顶- $k$选择。最后，我们制定了一个基于损失的Geman-McClure估计训练我们的端到端注册模型。大量的实验结果表明，我们的方法在基准数据集上具有良好的配准性能。
2021-09-15 cs.CV
RenderNet: A deep convolutional network for differentiable rendering from 3D shapes
University of Bath（巴斯大学）；Lambda Labs（Lambda实验室）
传统的计算机图形绘制流水线是为从3D形状高性能地生成2D质量图像而设计的。由于可见性计算等离散操作的不可微性，使得很难显式地将渲染参数与结果图像相关联，这对逆渲染任务构成了重大挑战。最近的工作可微渲染实现微分或者通过设计代理梯度的不可微的操作或通过一个近似的，但可微的渲染。然而，这些方法在处理遮挡时仍然受到限制，并且仅限于特定的渲染效果。我们提出了RenderNet，这是一个可微分的渲染卷积网络，具有一个新的投影单元，可以从3D形状渲染2D图像。空间遮挡和着色计算在网络中自动编码。我们的实验表明，RenderNet可以成功地学习实现不同的着色器，并可用于逆渲染任务，从单个图像中估计形状，姿势，光照和纹理。
2019-04-01 cs.CV
Efficient and Differentiable Shadow Computation for Inverse Problems
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
可微绘制在基于图像的反问题中受到越来越多的关注。它可以使传统的基于优化的反问题解决方案受益，但也允许基于学习的方法的自我监督，对于这些方法，难以获得具有地面真实注释的训练数据。然而，现有的可微分渲染器要么不对来自场景中的不同点的光源的可见性进行建模，造成图像中的阴影，要么太慢而不能用于在数千次迭代中训练深度架构。为此，我们提出了一个准确而有效的方法可微的可见性和软阴影计算。我们的方法是基于球面谐波近似的场景照明和可见性，其中的闭塞表面近似与球体。与基于光线追踪的方法相比，这允许显著更高效的阴影计算。由于我们的公式是可微的，它可以用来解决逆问题，如纹理，照明，刚体姿态，和几何变形恢复图像使用分析合成优化。
2021-04-01 cs.CV
