Hair Color Digitization through Imaging and Deep Inverse Graphics
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Sorbonne Université, CNRS, LIP6(索邦大学法国国家科学研究中心LIP6实验室)
头发外观是一个复杂的现象,这是由于头发的几何形状和光线如何在不同的头发纤维上反弹。出于这个原因,在渲染环境中再现特定的头发颜色是一项具有挑战性的任务,需要人工工作和计算机图形学方面的专业知识来在视觉上调整结果。虽然当前的毛发捕获方法集中于毛发形状估计,但是许多应用可以受益于用于捕获物理毛发样本的外观的自动化方法,从增强/虚拟现实到毛发染色开发。基于使用深度神经网络的逆图形和材料捕获的最新进展,我们介绍了一种用于头发颜色数字化的新方法。我们提出的管道允许捕获物理头发样本的颜色外观,并呈现具有类似外观的头发的合成图像,模拟不同的发型和/或照明环境。由于真实感头发图像的绘制需要路径跟踪绘制,传统的基于可微绘制的逆图形方法难以处理。我们的方法是基于一个受控的成像设备,一个路径跟踪渲染器,和一个基于自监督机器学习的逆图形模型的组合,它不需要使用微分渲染进行训练。我们说明了我们的头发数字化方法在真实图像和合成图像上的性能,并表明我们的方法可以准确地捕获和渲染头发颜色。
2022-02-08 cs.AI cs.CV cs.GR
Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video
University of Edinburgh(爱丁堡大学)
我们提出了一个模型,能够执行无监督的物理参数估计的系统从视频中,其中的微分方程控制的场景动态是已知的,但标记的状态或对象是不可用的。现有的物理场景理解方法要么需要对象状态监督,要么不与可微物理学集成以学习可解释的系统参数和状态。我们通过一个物理作为逆图形的方法来解决这个问题,该方法将视觉作为逆图形和可微物理引擎结合在一起,使对象和显式状态和速度表示能够被发现。该框架允许我们执行长期外推视频预测,以及基于视觉的模型预测控制。我们的方法在具有相互作用对象的系统(如球弹簧或三体引力系统)的长期未来帧预测中显着优于相关的无监督方法,因为它能够将动态构建到模型中作为归纳偏差。我们进一步展示了这种紧密的视觉-物理集成的价值,通过展示钟摆系统的视觉驱动基于模型的控制的数据高效学习。我们还表明,控制器的可解释性提供了独特的能力,目标驱动的控制和物理推理零数据适应。
2020-04-21 cs.AI cs.CV cs.LG
Re-Thinking Inverse Graphics With Large Language Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
提出IG-LLM框架,利用大型语言模型将视觉嵌入自回归解码为结构化3D场景表示,无需图像空间监督即可实现逆向图形学,为精确空间推理提供新可能。
2024-08-24 cs.CL cs.CV
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Massachusetts Institute of Technology(麻省理工学院)
提出4DCodeBench基准,通过代码生成实现4D逆向图形,评估智能体从视频重建动态场景的能力,发现静态重建强但动态重建弱,为追踪进展提供测试平台。
2026-10-05 cs.AI cs.CV cs.GR
Bringing NeRFs to the Latent Space: Inverse Graphics Autoencoder
Criteo AI Lab(Criteo人工智能实验室);CNRS(法国国家科学研究中心);I3S(信息、信号与智能系统实验室);LASTIG(地理信息科学与技术实验室);Université Gustave Eiffel(Gustave Eiffel大学);IGN-ENSG(法国地理学会-国立地理学校)
提出逆图形自编码器(IG-AE),通过将图像潜在空间与三维场景对齐,实现将NeRF引入潜在空间,提升质量并加速训练与渲染。
2025-02-24 cs.CV
FC2T2: The Fast Continuous Convolutional Taylor Transform with Applications in Vision and Graphics
University of Washington(华盛顿大学)
几个世纪以来,级数展开式一直是应用数学和工程学的基石。在本文中,我们从现代机器学习的角度重新审视泰勒级数展开。具体来说,我们介绍了快速连续卷积泰勒变换(FC2T2),快速多极子方法(FMM)的一个变体,它允许在连续空间中有效地近似低维卷积算子。我们建立在FMM,这是一个近似算法,减少了N体问题的计算复杂性从O(NM)到O(N+M),并发现在例如粒子模拟的应用。作为一个中间步骤,FMM产生一个系列的扩展网格上的每个单元格,我们引入的算法,直接作用于此表示。这些算法分析但近似地计算反向传播算法的前向和后向传递所需的量,因此可以用作神经网络中的(隐式)层。具体来说,我们引入了一个根隐式层,输出表面法线和物体距离,以及一个积分隐式层,输出给定3D姿态的辐射场的渲染。在机器学习的上下文中,$N$和$M$可以分别理解为模型参数和模型评估的数量,这意味着,对于需要重复功能评估的应用程序,这些应用程序在计算机视觉和图形学中很普遍,与常规神经网络不同,本文介绍的技术随着参数优雅地缩放。对于某些应用程序,与最先进的方法相比,这会导致FLOP减少200倍,但准确性损失合理或不存在。
2021-11-10 cs.AI cs.CV cs.LG
3D-Aware Scene Manipulation via Inverse Graphics
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们的目标是获得一个可解释的,富有表现力的,并解开场景表示,包含全面的结构和纹理信息,为每个对象。以前由神经网络学习的场景表示通常是不可解释的,仅限于单个对象,或者缺乏3D知识。在这项工作中,我们提出了3D场景去渲染网络(3D-SDN),以解决上述问题,将语义,几何和外观的解纠缠表示集成到一个深生成模型。我们的场景编码器执行逆图形,将场景转换为结构化的对象表示。我们的解码器有两个组成部分:一个微分形状渲染器和神经纹理生成器。语义、几何和外观的解纠缠支持3D感知场景操纵,例如,自由旋转和移动对象,同时保持一致的形状和纹理,并在不影响其形状的情况下改变对象外观。实验表明,我们的编辑方案的基础上3D-SDN是优于其2D对应。
2018-12-18 cs.CV cs.GR eess.IV
Vision-as-Inverse-Graphics Agent via Interleaved Multimodal Reasoning
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Impossible, Inc.(Impossible公司)
本文提出VIGA框架,通过符号逻辑与视觉感知的交叉验证,解决视觉语言模型在单次设置中重建图像的挑战,支持2D文档生成、3D重建等任务。
2026-04-06 cs.AI cs.CV cs.GR
Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
Microsoft Research(微软研究院)
最近的工作表明,只有非结构化的2D图像学习生成模型的3D形状的能力。然而,训练这样的模型需要通过渲染过程的光栅化步骤进行区分,因此过去的工作集中在开发定制的渲染模型,这些模型以各种方式平滑这种不可区分的过程。因此,这些模型无法利用游戏和图形行业构建的照片般逼真,功能齐全的工业渲染器。在本文中,我们介绍了第一个可扩展的训练技术,从2D数据,利用现成的不可微渲染器的3D生成模型。为了解释不可微性,我们引入代理神经渲染器来匹配不可微渲染器的输出。我们还提出了一种新的输出匹配方法,以确保神经渲染器学会适当地平滑光栅化。我们在从我们生成的3D形状渲染的图像上评估了我们的模型,并表明我们的模型可以在使用专门的非结构化2D图像进行训练时始终学习生成比现有模型更好的形状。
2020-02-28 cs.CV cs.LG
Structure from Duplicates: Neural Inverse Graphics from a Pile of Objects
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
提出SfD框架,利用单张图像中相同物体的重复性作为先验,联合估计6-DoF位姿并逆向推理几何、材质与光照,实现了优于现有方法的3D重建。
2024-01-10 cs.CV
TBR: Transport-Based Rendering with Deposition Strokes for Inverse Graphics
Zelostech(泽洛科技);Huaxin Design Institute(华信设计院);Communication University of China(中国传媒大学)
针对数字大理石纹模型,提出利用重放伴随优化胶囊插入程序以近似目标图像,实现低内存高效恢复,支持程序级编辑重放。
2026-09-11 cs.CV cs.GR
Real-time Virtual-Try-On from a Single Example Image through Deep Inverse Graphics and Learned Differentiable Renderers
L’Oréal Research and Innovation(欧莱雅研究与创新部);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎);Modiface;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
增强现实应用已经迅速在在线平台上传播,允许消费者虚拟地试穿各种产品,例如化妆品、染发剂或鞋子。然而,参数化渲染器来合成给定产品的逼真图像仍然是一项具有挑战性的任务,需要专业知识。虽然最近的工作已经引入了用于从示例图像虚拟试穿的神经渲染方法,但是当前的方法基于不能在移动设备上实时的【形】使用的大型生成模型。这就需要一种结合计算机图形学和神经渲染方法优点的混合方法。在本文中,我们提出了一种基于深度学习的新框架,用于构建实时的【形】逆图形编码器,该编码器学习将单个示例图像映射到给定增强现实渲染引擎的参数空间中。我们的方法利用了自监督学习,并且不需要标记的训练数据,这使得它可以扩展到许多虚拟试穿应用。此外,由于算法选择或实现约束,大多数增强现实渲染器在实践中是不可区分的,以在便携式设备上达到实时的【形】。为了放松对基于图形的可微渲染器的需求,我们引入了一个可训练的模仿器模块。我们的模仿器是一个生成网络,它学习准确地再现给定不可微渲染器的行为。我们提出了一种新的渲染灵敏度损失训练模仿者,这确保了网络学习每个渲染参数的准确和连续的表示。我们的框架支持新的应用程序,消费者可以从社交媒体上的灵感参考图像中虚拟地尝试新的未知产品。它也可以被图形艺术家用来从参考产品图像自动创建逼真的渲染。
2022-05-12 cs.CV
Regularizing linear inverse problems with convolutional neural networks
Technical University of Munich(慕尼黑工业大学)
在大型数据集上训练的深度卷积神经网络已经成为压缩图像和解决逆问题(如去噪和压缩感知)的有趣替代方案。然而,直到最近才意识到,即使没有训练,卷积网络也可以作为简洁的图像模型,从而正则化逆问题。在本文中,我们通过研究将几个权重参数映射到图像的卷积神经网络的变体,为这一发现提供了进一步的证据。我们考虑的网络仅由卷积运算组成,具有固定或参数化的滤波器,然后是ReLU非线性。我们证明,使用固定和参数化卷积滤波器,这些网络可以用很少的系数表示图像。更重要的是,欠参数化使逆问题的正则化,特别是从很少的观察恢复图像。我们表明,类似于标准的压缩感知保证,在模型参数的数量的顺序上,许多测量足以从压缩测量中恢复图像。最后,我们证明了使用未经训练的卷积网络的信号恢复优于磁共振成像(MRI)的标准l1和总变差最小化。
2019-07-06 cs.CV cs.IT cs.LG
3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation
Google DeepMind(谷歌DeepMind);MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出3D Neural Embedding Likelihood (3DNEL)概率逆图形学框架,通过结合RGB神经嵌入与深度信息进行6D位姿估计,在保持高性能的同时显著提升了严重遮挡等挑战场景下的鲁棒性。
2023-09-06 cs.CV
Adversarial Inverse Graphics Networks: Learning 2D-to-3D Lifting and Image-to-Image Translation from Unpaired Supervision
Carnegie Mellon University(卡内基梅隆大学)
研究人员已经开发出优秀的前馈模型,可以使用监督学习将图像映射到期望的输出,例如图像的潜在因素或其他图像。从未标记数据中学习这种映射,或者通过利用未标记数据来改进监督模型,仍然是难以捉摸的。我们认为,在没有注释的情况下学习有两个重要部分:(i)将预测与输入观测相匹配,以及(ii)将预测与已知先验相匹配。我们提出了对抗性逆图形网络(AIGN):弱监督神经网络模型,它结合了来自渲染其预测的反馈,并在其预测和地面实况因素集合之间进行分布匹配。我们将AIGN应用于3D人体姿态估计和3D结构和自运动估计,并且优于仅由成对注释监督的模型。我们进一步将AIGN应用于使用超分辨率和修复渲染器的面部图像变换,同时故意在地面实况数据集中添加偏差。我们的模型无缝地结合了这些偏见,将输入的面孔呈现给年轻,年老,女性,男性或汤姆克鲁斯一样的等价物(取决于所选择的偏见),或者在修复隐藏的嘴唇和鼻子时添加嘴唇和鼻子的增强。
2017-09-02 cs.CV
Bayesian Inverse Graphics for Few-Shot Concept Learning
University of Bremen(不来梅大学);DFKI GmbH(德国人工智能研究中心);University of Applied Sciences, Bonn-Rhein-Sieg(波恩-莱茵-锡格应用科学大学)
本研究提出一种贝叶斯逆图形学模型,仅需少量样本即可学习对象概念,通过可微渲染、MCMC采样及神经似然函数推断物理参数,在少样本分类等任务上性能优于纯神经方法,具备强泛化性与不确定性感知能力。
2024-09-12 cs.AI cs.CV
LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Jilin University(吉林大学)
加速深度卷积神经网络已经成为一个活跃的话题,并引发了学术界和工业界的兴趣。在本文中,我们提出了一个有效的低精度量化Winograd卷积算法,称为LANCE,它结合了快速卷积和量化技术的优点。通过将线性量化操作嵌入到Winograd域中,可以在图形处理单元上的低精度计算下有效地执行快速卷积。我们使用LANCE在代表性的图像分类数据集上测试神经网络模型,包括SVHN、CIFAR和ImageNet。实验结果表明,我们的8位量化Winograd卷积的性能提高了高达2.40倍的全精度卷积与微不足道的精度损失。
2020-07-28 cs.CV cs.LG cs.NE
Robust Inverse Graphics via Probabilistic Inference
Google(谷歌公司)
提出贝叶斯RIG框架,利用强场景先验与均匀退化先验,从单张退化图像联合推断三维场景和退化,仅用干净数据训练即优于点估计方法。
2024-06-11 cs.CV stat.CO
Multi-level Feature Learning on Embedding Layer of Convolutional Autoencoders and Deep Inverse Feature Learning for Image Clustering
Northern Arizona University(北亚利桑那大学)
本文介绍了多层特征学习以及卷积自动编码器的嵌入层(CAE-MLE),作为深度聚类的一种新方法。我们使用凝聚聚类作为多级特征学习,在潜在特征空间上提供层次结构。研究表明,应用多级特征学习可以大大改善基本的深度卷积嵌入聚类(DCEC)。CAE-MLE在考虑凝聚聚类的聚类损失的同时,也考虑了CAE的学习特性。在下面的反向特征学习中,我们证明了错误学习作为一种通用策略的表示可以应用于不同的深度聚类方法,并产生了有希望的结果。我们在CAE-MLE上开发了深度逆特征学习(deep IFL),作为一种新方法,它在同类方法中获得了最先进的结果。在MNIST和USPS两个著名数据集上的实验结果表明,CAE-MLE比基本方法DCEC的结果提高了7% -14%。此外,它表明,建议的深IFL改进的初步结果约9%-17%。因此,所提出的CAE-MLE方法和基于CAE-MLE的深度IFL方法与大多数现有技术相比可以导致显著的性能改善。所提出的方法虽然基于基本的卷积自编码器,但即使与变分自编码器或生成对抗网络相比,也会产生出色的结果。
2020-10-05 cs.CV cs.LG
Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping
DFKI GmbH
本文提出了一种可微神经图形模型,通过结合神经基础模型与基于物理的可微渲染,实现零样本场景重建和机器人抓取,无需额外3D数据或测试样本。
2026-02-04 cs.AI cs.CV cs.LG
Learning Multiscale Convolutional Dictionaries for Image Reconstruction
University of Basel(巴塞尔大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
卷积神经网络(CNN)在解决成像逆问题方面取得了巨大的成功。为了理解它们的成功,一个有效的策略是构建更简单,数学上更易于处理的卷积稀疏编码(CSC)模型,这些模型与CNN共享基本成分。然而,现有的CSC方法在具有挑战性的逆问题中表现不佳。我们假设性能差距可能部分归因于它们如何在不同的空间尺度上处理图像:虽然许多CNN使用多尺度特征表示,但现有的CSC模型主要依赖于单尺度字典。为了缩小性能差距,我们提出了一种多尺度卷积字典结构。所提出的字典结构来自U-Net,可以说是图像到图像学习问题中最通用和最广泛使用的CNN。我们表明,将所提出的多尺度字典纳入标准CSC框架中,在包括CT和MRI重建在内的一系列具有挑战性的逆问题中,与最先进的CNN相比,其性能具有竞争力。因此,我们的工作证明了多尺度CSC方法在解决具有挑战性的逆问题的有效性和可扩展性。
2022-05-19 cs.CV cs.LG eess.IV
Recent Advances in Convolutional Neural Networks
Nanyang Technological University(南洋理工大学)
在过去的几年里,深度学习在各种问题上都有很好的表现,比如视觉识别、语音识别和自然语言处理。在不同类型的深度神经网络中,卷积神经网络得到了最广泛的研究。随着标注数据量的快速增长和图形处理器性能的不断提高,卷积神经网络的研究迅速兴起,并在多个领域取得了令人瞩目的成果。本文对卷积神经网络的最新进展进行了广泛的综述。详细介绍了CNN在不同方面的改进,包括层设计、激活函数、损失函数、正则化、优化和快速计算。此外,我们还介绍了卷积神经网络在计算机视觉、语音和自然语言处理中的各种应用。
2017-10-19 cs.CV cs.LG cs.NE
Automated Scoring of Graphical Open-Ended Responses Using Artificial Neural Networks
Boston College(波士顿学院)
免费绘画或图像作为响应的自动评分尚未用于大规模的学生成绩评估。在这项研究中,我们提出了人工神经网络来分类这些类型的图形反应,从基于计算机的国际数学和科学评估。我们正在比较卷积和前馈方法的分类精度。我们的研究结果表明,卷积神经网络(CNN)在损失和准确性方面都优于前馈神经网络。CNN模型将高达97.71%的图像响应分类到适当的评分类别中,这与典型的人类评分员相当,如果不是更准确的话。最准确的CNN模型正确地分类了一些被人类评分员错误评分的图像反应,这一观察结果进一步加强了这些发现。作为一个额外的创新,我们概述了一种方法来选择人类额定响应的训练样本的基础上的应用程序的预期响应函数来自项目响应理论。本文认为,基于CNN的图像响应自动评分是一种高度准确的程序,可以替代第二个人类评分员进行大规模评估的工作量和成本,同时提高复杂构建响应项目评分的有效性和可比性。
2022-01-05 cs.AI cs.CV cs.LG
Inverse Graphics with Probabilistic CAD Models
MIT(麻省理工学院);Microsoft Research Cambridge(微软研究院剑桥实验室)
最近,基于计算机图形学的生成模型的概率反演的视觉问题的多种配方已经被提出。然而,从自然图像的3D感知的应用程序集中在低维的潜在场景,由于建模和推理的挑战。通过逼真的生成模型来解释3D对象形状和2D外观的巨大变化似乎很难,甚至将3D场景与2D图像链接的多对多计算的简单版本进行反演也是如此。本文提出并评估了解决这两个挑战的关键方面的方法。我们表明,它是可能的,以解决具有挑战性的,现实世界的3D视觉问题的近似推理生成模型的图像的基础上渲染的概率CAD(PCAD)程序的输出。我们的PCAD对象几何先验生成对应于合理对象的可变形3D网格,并应用仿射变换将它们放置在场景中。图像似然度基于特征空间中的相似性,该特征空间基于视觉文献中的标准中级图像表示。我们的推理算法集成了单站点和局部阻塞Metropolis-Hastings建议,Hamilton Monte Carlo和歧视性数据驱动的建议,从我们的模型生成的训练数据中学习。我们将这种方法应用于3D人体姿态估计和物体形状重建从单一的图像,实现定量和定性的性能改进超过国家的最先进的基线。
2014-07-04 cs.AI cs.CV stat.ML
Inverse Graphics: Unsupervised Learning of 3D Shapes from Single Images
University College London(伦敦大学学院)
将生成模型用于逆向图形是一个活跃的研究领域。然而,大多数工作集中在开发模型的监督和半监督的方法。在本文中,我们研究的问题,无监督学习的三维几何从单一的图像。我们的方法是使用生成模型,生成2-D图像作为潜在的3D体素网格的投影,我们训练作为变分自动编码器或使用对抗方法。我们的贡献如下:首先,我们展示了如何从MNIST和MNIST Fashion等一般数据集恢复3D形状和姿势。其次,我们比较了使用对抗和变分方法学习的形状。对抗方法提供了更密集的3D形状。第三,我们探索了将对象的姿态建模为均匀分布以从单个图像恢复3D形状的想法。我们对CelebA数据集\cite{liu2015faceattributes}的实验证明,当对象沿一个或多个轴对称时,我们可以从单个图像中恢复完整的3D形状,而使用ModelNet 40 \cite{wu20153d}获得的结果显示了潜在的副作用,其中模型学习3D形状,以便它可以从任何视点渲染相同的图像。第四,我们提出了一种通用的端到端的方法,通过将方位角等变化因素建模为独立的潜在变量,以完全无监督的方式从单个图像中学习3D形状。我们的方法对数据集没有任何假设,并且可以处理合成图像和真实图像(即真正意义上的无监督图像)。我们提出了我们的结果,通过使用$μ$ -VAE目标\cite{ucar2019bridging}和一个数据集训练模型,该数据集结合了来自MNIS…
2019-12-02 cs.CV cs.LG stat.ML
When to Use Convolutional Neural Networks for Inverse Problems
Carnegie Mellon University(卡内基梅隆大学);Argo AI
计算机视觉中的重建任务从根本上旨在从一组噪声测量中恢复不确定的信号。例子包括超分辨率、图像去噪和从运动中恢复非刚性运动恢复结构,所有这些都是通过深度学习取得的最新进展。然而,早期的工作广泛使用稀疏信号重建框架(例如卷积稀疏编码)。虽然这项工作最终被深度学习超越,但它建立在一个更发达的理论框架上。Papyan et.最近的工作al通过展示如何将卷积神经网络(CNN)视为卷积稀疏编码(CSC)问题的近似解决方案,提供了两种方法之间的桥梁。在这项工作中,我们认为,对于某些类型的逆问题的CNN近似故障导致性能不佳。我们认为,对于这些类型的问题,CSC的方法应该使用,而不是验证这一论点的经验证据。具体来说,我们将JPEG伪影减少和非刚性轨迹重建确定为CNN的具有挑战性的逆问题,并使用CSC方法展示了它们的最新性能。此外,我们还对该模型及其应用进行了一些实际改进,并展示了如何使用CSC模型的见解来使CNN在其朴素应用失败的任务中有效。
2020-03-30 cs.CV
Inverse Halftoning Through Structure-Aware Deep Convolutional Neural Networks
Kunsan National University(群山国立大学)
逆半色调中的主要问题是去除平坦区域上的噪声点并恢复图像结构(例如,线、图案)上的纹理区域。因此,本文提出了一种新的结构感知深度卷积神经网络,它包含两个子网络。一个子网络用于图像结构预测,而另一个子网络用于连续色调图像重建。首先,为了预测图像结构,训练包括连续色调补丁和通过数字半色调生成的相应半色调补丁的补丁对。随后,通过将梯度滤波器与连续色调补丁进行卷积来生成梯度补丁。使用小批量梯度下降算法训练用于图像结构预测的子网络,给定半色调补丁和梯度补丁,它们分别被馈送到子网络的输入层和损失层。接下来,包括图像结构的预测图通过融合层被堆叠在输入半色调图像的顶部,并被馈送到图像重建子网络中,使得整个网络被自适应地训练到图像结构。实验结果表明,本文提出的结构感知网络可以很好地去除平坦区域的噪声点图案,并在纹理区域清晰地恢复细节。此外,证明了所提出的方法超越了基于深度卷积神经网络和局部学习字典的传统最先进的方法。
2019-08-05 cs.CV cs.GR eess.IV
Deep Vessel Segmentation By Learning Graphical Connectivity
我们提出了一种新的基于深度学习的血管分割系统。使用CNN的现有方法主要依赖于在规则图像网格上学习的局部外观,而不考虑血管形状的图形结构。为了解决这个问题,我们将图卷积网络纳入统一的CNN架构中,通过组合不同类型的特征来推断最终的分割。所提出的方法可以应用于扩展任何类型的基于CNN的血管分割方法,以提高性能。实验结果表明,该方法优于目前国家的最先进的方法在两个视网膜图像数据集以及冠状动脉X射线血管造影数据集。
2018-06-06 cs.CV
An analytic theory of convolutional neural network inverse problems solvers
IRIT \& CBI, CNRS \& Université Toulouse, France;Toulouse School of Economics, Université Toulouse Capitole, France
通过最小均方误差估计器引入平移等变性和有限感受野的归纳偏置,推导出局部等变MMSE的解析公式,并在多种逆问题、数据集和架构上验证其与神经网络输出高度一致。
2026-05-26 cs.CV cs.LG
Latent Intrinsics Emerge from Training to Relight
University of Chicago(芝加哥大学);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出一种完全数据驱动的图像重照明方法,将内蕴属性和照明表示为潜在变量,在标准指标下达到SOTA,且无需示例即可恢复具竞争力的反照率。
2025-04-07 cs.CV
Improving Dense Crowd Counting Convolutional Neural Networks using Inverse k-Nearest Neighbor Maps and Multiscale Upsampling
The Graduate Center of the City University of New York(纽约城市大学研究生中心);Borough of Manhattan Community College - CUNY(纽约城市大学曼哈顿社区学院);The City College of New York - CUNY(纽约城市大学纽约城市学院)
成千上万到数百万人的聚集经常发生在各种各样的事件中,这些高密度人群的自动计数对于安全,管理和测量事件的重要性是有用的。在这项工作中,我们证明了用于训练深度神经网络的人群密度图的常规标记方案不如我们的替代逆k最近邻(i $k$ NN)图有效,即使直接用于现有的最先进的网络结构。我们还提供了一种新的网络架构MUD-i $k$ NN,其通过转置卷积使用多尺度上采样以充分利用所提供的i $k$ NN标记。与i个$k$ NN图组合的该上采样进一步提高了人群计数准确度。我们的新的网络架构表现良好,与国家的最先进的。然而,我们的标签和上采样技术通常适用于现有的人群计数架构。
2019-03-29 cs.CV cs.LG stat.ML
Deep Graphics Encoder for Real-Time Video Makeup Synthesis from Example
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI Télécom Paris Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);Modiface(Modiface公司);Sorbonne Université CNRS LIP6(索邦大学CNRS LIP6实验室)
虽然化妆品虚拟试穿现在很普遍,但参数化用于合成给定化妆品产品的图像的计算机图形渲染引擎仍然是一项具有挑战性的任务。在本文中,我们介绍了一种逆计算机图形学方法自动化妆合成从参考图像,通过学习一个模型,映射一个例子的肖像图像与化妆的渲染参数的空间。这种方法可以被艺术家用来自动创建逼真的虚拟化妆品图像样本,或者被消费者用来虚拟地试穿从他们最喜欢的参考图像中提取的化妆品。
2021-05-12 cs.AI cs.CV cs.GR
Deep Convolutional Neural Network for Inverse Problems in Imaging
EPFL(洛桑联邦理工学院);Dassault Aviation(达索航空)
在本文中,我们提出了一种新的基于深度卷积神经网络(CNN)的算法来解决不适定的逆问题。在过去的几十年里,正则化迭代算法已经成为求解不适定反问题的标准方法。这些方法产生了很好的结果,但由于包括向前和伴随算子的高计算成本以及超参数选择的困难在内的因素,在实践中部署可能具有挑战性。我们的工作的出发点是观察到,展开迭代法具有CNN(滤波后逐点非线性)的形式时,正常运营商(H*H,伴随的H乘以H)的前向模型是卷积。基于这一观察,我们建议使用直接反演,然后使用CNN来解决正态卷积逆问题。直接反演封装了系统的物理模型,但当问题不适定时会导致伪影; CNN结合了多分辨率分解和残差学习,以便学习在保留图像结构的同时去除这些伪影。我们证明了所提出的网络在稀疏视图重建(下至50个视图)的性能在合成幻影平行束X射线计算机断层扫描,以及在真正的实验正弦图。所提出的网络优于总变分正则化迭代重建更逼真的幻影,并需要不到一秒钟的时间来重建一个512 × 512的图像在GPU上。
2016-11-11 cs.CV
Differentiable SAR Renderer and SAR Target Reconstruction
Fudan University(复旦大学)
海浪散射和雷达成像机理的正演模拟是合成孔径雷达(SAR)图像信息抽取的关键。与光域逆图形学一样,一种内在集成的正逆方法将有望用于SAR高级信息检索和目标重建。本文对合成孔径雷达图像的逆图形进行了尝试。提出了一种可微分SAR渲染器(DSR),它将SAR成像机制的映射和投影算法重新表达为概率图的可微分形式。一阶梯度的建议DSR,然后分析得出,可以从渲染图像/剪影的目标几何形状和散射属性的反向传播。提出了一种基于SAR图像的目标三维逆重建算法。利用合成数据和地面雷达实测逆合成孔径雷达(ISAR)数据进行了有背景和无背景目标的仿真和重建实验。结果表明,所提出的DSR及其逆方法的有效性。
2022-05-14 cs.CV eess.IV
Deep disentangled representations for volumetric reconstruction
Radboud University(拉德堡德大学);Microsoft Research(微软研究院)
我们介绍了一个卷积神经网络推断一个紧凑的解纠缠的图形描述的对象从2D图像,可用于体积重建。该网络包括一个编码器和一个双尾解码器。编码器生成解纠缠的图形代码。第一解码器生成体积,并且第二解码器使用新颖的训练机制来重建输入图像,该训练机制允许图形代码学习3D对象的单独表示以及其照明和姿态条件的描述。我们证明了这种方法,从图像和视频的脸和椅子生成量和解开图形描述。
2016-10-12 cs.CV
Automated airway segmentation by learning graphical structure
University College London(伦敦大学学院)
本课题在已有的卷积神经网络(CNN)和图神经网络(GNN)的基础上,提出了一种改进的气道分割方法。该方法起源于血管分割,但我们对其进行了改进,使新模型能够更好地处理计算机断层扫描(CT)数据集。目前的气道分割方法只考虑规则网格。无论详细模型是什么,包括三维CNN还是三个方向上的二维CNN,都没有考虑整体图结构。在该模型中,考虑了气道的邻域,结合了图的结构,与传统的CNN方法相比,改善了气道的分割。我们在胸部CT扫描上进行实验,其中地面真值分割标签是手动产生的。实验结果表明,与仅使用CNN的方法相比,CNN和GNN相结合的方法具有更好的性能,在大多数情况下可以检测到胸部CT扫描中的支气管。此外,我们提出的模型具有广泛的扩展性,因为该架构在其他数据集中实现类似目标时也是实用的。因此,国家的最先进的模式是非常重要的意义和高度适用于我们的日常生活。关键词:气道分割,卷积神经网络,图神经网络
2021-09-30 cs.CV cs.LG eess.IV
A Review of Convolutional Neural Networks for Inverse Problems in Imaging
EPFL(洛桑联邦理工学院)
在这篇综述论文中,我们回顾了最近使用卷积神经网络(CNN)来解决成像中的逆问题。最近,在大型图像数据库上训练深度CNN已经变得可行,并且它们在对象分类和分割任务上表现出出色的性能。在这些成功的推动下,研究人员已经开始将CNN应用于逆问题的解决,如去噪,去卷积,超分辨率和医学图像重建,并且他们已经开始报告对最先进方法的改进,包括基于稀疏性的技术,如压缩感知。在这里,我们回顾了最近在这些领域的实验工作,重点是关键的设计决策:训练数据来自哪里?CNN的架构是什么?学习问题是如何形成和解决的?我们还汇集了一些关键的理论论文,这些论文提供了关于为什么CNN适合逆问题的观点,并指出了该领域的一些后续步骤。
2017-10-11 cs.CV eess.IV
Adaptive Graphical Model Network for 2D Handpose Estimation
University of California, Irvine(加利福尼亚大学欧文分校);Tencent(腾讯);Southeast University(东南大学)
针对单目RGB图像的2D手部姿态估计任务,提出一种图模型参数可自适应输入图像的AGMN架构,在两个公开数据集上性能优于现有最优方法。
2023-04-28 cs.CV
Image Companding and Inverse Halftoning using Deep Convolutional Neural Networks
University of Nottingham Ningbo China(宁波诺丁汉大学);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
在本文中,我们引入深度学习技术来解决两个传统的低级图像处理问题,即压扩和逆半调。我们做出了两个主要贡献。首先,据作者所知,这是第一个成功开发基于深度学习的解决方案来解决这两个传统的低级图像处理问题的工作。这不仅介绍了解决众所周知的图像处理问题的新方法,还展示了深度学习在解决传统信号处理问题方面的强大力量。其次,我们基于对图像视觉质量属性和深度卷积神经网络(CNN)内部表示属性的洞察,开发了一种有效的深度学习算法。我们训练深度CNN作为非线性变换函数,以将低位深度图像映射到高位深度或从半色调图像映射到连续色调图像。我们还使用另一个预训练的深度CNN作为特征提取器来导出视觉上重要的特征,以构建用于训练映射CNN的目标函数。我们提出的实验结果证明了新的基于深度学习的解决方案的有效性。
2017-07-21 cs.CV
UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学学院公园分校)
针对大基线单视频城市场景逆渲染中几何与材质估计差的问题,提出UrbanIR模型,通过新型损失函数提升推断精度,支持可控编辑与真实感渲染,性能显著优于现有方法。
2025-01-14 cs.CV
Using Deep Convolutional Neural Networks to Detect Rendered Glitches in Video Games
KTH Royal Institute of Technology(KTH皇家理工学院);SEED - Electronic Arts (EA)(EA(美国艺电)SEED工作室)
提出用DCNN对游戏渲染截图进行五分类,基于生成数据训练ShuffleNetV2,并结合置信度与图像聚合,以86.8%准确率和8.7%误报率检测四类纹理故障。
2024-06-12 cs.AI cs.CV
Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems
Korea Advanced Institute of Science and Technology(韩国科学技术院);Bio Imaging and Signal Processing Lab.(生物成像与信号处理实验室);Department of Bio and Brain Engineering(生物与脑工程系)
最近,具有各种网络架构的深度学习方法在各种成像问题中比现有的迭代重建方法实现了显着的性能改进。然而,目前还不清楚为什么这些深度学习架构适用于特定的逆问题。为了解决这些问题,在这里,我们证明了长期寻找的缺失环节是卷积小框架,用于通过卷积局部和非局部基来表示信号。卷积小框架最初是为了推广低秩汉克尔矩阵反问题方法的理论而开发的,本文进一步扩展了这一思想,以便我们可以使用多层卷积小框架在直线线性单元非线性(ReLU)下获得深度神经网络。我们的分析还表明,流行的深度网络组件,如残差块,冗余过滤器通道和级联ReLU(CReLU)确实有助于实现PR,而池化和解池化层应使用高通分支进行扩展以满足PR条件。此外,通过改变滤波器通道数和偏置,我们可以控制神经网络的收缩行为。这一发现使我们提出了一种新的深度卷积小框架神经网络理论。通过各种逆问题的数值实验,我们证明了我们的深度卷积小框架网络与现有的深度架构相比表现出了一致的改进。这一发现表明,深度学习的成功不是来自黑盒子的神奇力量,而是来自一种新的信号表示的力量,这种信号表示使用了非局部基与数据驱动的局部基相结合,这实际上是经典信号处理理论的自然扩展。
2018-01-25 cs.CV cs.IT cs.LG
Explainable Deep Convolutional Candlestick Learner
National Taiwan University(台湾大学);Soochow University(东吴大学)
蜡烛图是一段时间内价格变动的图形表示。交易者可以通过查看烛台模式来发现资产的趋势。尽管深度卷积神经网络在识别烛台模式方面取得了巨大成功,但它们的推理隐藏在一个黑匣子中。交易者无法确定模型学到了什么。在这篇文章中,我们提供了一个框架,用来解释确定时间序列特定烛台模式的学习模型的推理。基于本地搜索对抗攻击,我们证明了学习模型以类似于人类交易员的方式感知烛台的模式。
2020-05-29 cs.CV cs.LG stat.ML
Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs
MIT(麻省理工学院);Siberian Federal University(西伯利亚联邦大学)
计算机视觉作为计算机图形学的贝叶斯逆问题的想法有着悠久的历史和吸引人的优雅,但它已被证明难以直接实现。相反,大多数视觉任务是通过复杂的自下而上的处理管道来完成的。在这里,我们表明,它是可以编写简短,简单的概率图形程序,定义灵活的生成模型,并自动反转它们来解释现实世界的图像。生成概率图形程序包括一个随机场景生成器,基于图形软件的渲染器,连接渲染器的输出和数据的随机似然模型,以及调整渲染器的保真度和似然模型的容限的潜变量。计算机图形学的表示和算法最初是为了产生高质量的图像而设计的,现在被用作高度近似和随机生成模型的确定性支柱。该公式结合了概率编程、计算机图形学和近似贝叶斯计算,并且仅依赖于通用的自动推理技术。我们描述两个应用程序:读取退化和不利模糊的字母数字字符序列,并从车载摄像机图像推断3D道路模型。我们提出的每一个概率图形程序都依赖于不到20行的概率代码,并支持对模糊的真实世界图像进行准确的近似贝叶斯推断。
2013-06-29 cs.AI cs.CV stat.ML
Pattern Spotting in Historical Documents Using Convolutional Models
University of Chile(智利大学);Orand S.A.(奥兰德股份公司);Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院)
模式定位包括使用图像查询在历史文档图像的集合中搜索图形对象的出现。与目标检测相反,没有给出关于查询的先验信息或预定义类,因此训练对象的模型是不可行的。在本文中,一个卷积神经网络的方法来解决这个问题。我们使用RetinaNet作为特征提取器来获得文档区域的多尺度嵌入,并用于查询。在DocExplore数据集上进行的实验表明,我们的建议是更好地定位模式,需要更少的存储空间索引图像比国家的最先进的系统,但在检索包含多个查询实例的一些页面失败。
2019-06-20 cs.CV
Convolutional Pose Machines
Carnegie Mellon University(卡内基梅隆大学)
Pose Machines提供了一个顺序预测框架,用于学习丰富的隐式空间模型。在这项工作中,我们展示了如何将卷积网络纳入姿势机器框架的系统设计,以学习图像特征和图像相关的空间模型,用于姿势估计任务。本文的贡献是隐式建模变量之间的长期依赖关系的结构化预测任务,如关节姿势估计。我们通过设计一个由卷积网络组成的顺序架构来实现这一点,该架构直接对前一阶段的置信图进行操作,从而为零件位置产生越来越精确的估计,而无需显式的图形模型式推理。我们的方法通过提供一个自然的学习目标函数来实现中间监督,从而补充反向传播的梯度并调节学习过程,从而解决了训练过程中梯度消失的特征困难。我们展示了最先进的性能,并在标准基准(包括MPII,LSP和FLIC数据集)上优于竞争方法。
2016-04-12 cs.CV
Border-SegGCN: Improving Semantic Segmentation by Refining the Border Outline using Graph Convolutional Network
ETH Zurich(苏黎世联邦理工学院)
我们提出了边界SegGCN,一种新的架构,以改善语义分割通过细化边界轮廓使用图卷积网络(GCN)。语义分割网络(如Unet或DeepLabV 3+)用作基础网络以具有预分割输出。该输出被转换成图形结构并馈送到GCN中以改进预分割输出的边界像素预测。我们探索和研究的因素,如边界厚度,一个节点的边缘数,并通过实验的特征的数量被送入GCN。我们在CamVid和Carla数据集上证明了Border-SegGCN的有效性,在CamVid数据集上实现了81.96%的测试集性能,而无需任何后处理。它比CamVid数据集上报告的最新mIoU高0.404%
2021-09-11 cs.AI cs.CV
Two-Stage Deformable-Convolutional Inverse Design of Nanophotonic Absorbers from Optical Spectra
University of Electronic Science and Technology of China(电子科技大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿产大学)
该研究提出两阶段可变形卷积框架,结合监督初始化与对抗优化,从80维吸收光谱重构金属-绝缘体-金属谐振器几何,在多指标上优于多种卷积方法,实现了更优的光谱条件下几何重构。
2026-08-13 cs.AI cs.CV physics.optics