SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving
The Johns Hopkins University(约翰斯·霍普金斯大学)
道路提取是构建自主导航系统的关键步骤。检测路段是具有挑战性的,因为它们具有不同的宽度,在整个图像中分叉,并且经常被地形,云或其他天气条件遮挡。仅使用卷积神经网络(ConvNets)来解决这个问题是无效的,因为它在捕获图像中的道路段之间的距离依赖性方面是低效的,而距离依赖性对于提取道路连通性是必不可少的。为此,我们提出了一个空间和交互空间图推理(SPIN)模块,当插入到一个ConvNet执行推理的图形上构建的空间和交互空间投影的特征图。空间上的推理提取不同空间区域和其他上下文信息之间的依赖关系。在投影的交互空间上进行推理有助于从图像中存在的其他地形中适当地描绘道路。因此,SPIN提取道路段之间的长距离依赖关系,并有效地从其他语义中划分道路。我们还引入了一个SPIN金字塔,它在多个尺度上执行SPIN图推理,以提取多尺度特征。我们提出了一个网络的基础上堆叠的沙漏模块和SPIN金字塔的道路分割,实现了更好的性能相比,现有的方法。此外,我们的方法计算效率高,在训练过程中大大提高了收敛速度,使其适用于大规模高分辨率航空图像。代码可在:https://github.com/wgcban/SPIN_RoadMapper.git获得。
2021-09-16 cs.CV cs.LG cs.RO
JoJoGAN: One Shot Face Stylization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
样式映射器将某些固定的样式应用于其输入图像(例如,将面部应用于卡通)。本文描述了一个简单的过程-- JoJoGAN --从单个样式示例学习样式映射器。JoJoGAN使用GAN反演过程和StyleGAN的样式混合属性来从单个示例样式生成大量配对数据集。然后使用配对的数据集来微调StyleGAN。然后,图像可以通过GAN反演进行样式映射,然后进行微调的StyleGAN。JoJoGAN只需要一个参考和30秒的训练时间。JoJoGAN可以成功地使用极端的风格参考(比如动物脸)。此外,可以控制使用样式的哪些方面以及应用样式的多少。定性和定量评估表明,JoJoGAN生成的高质量高分辨率图像大大优于当前最先进的图像。
2022-03-06 cs.CV
Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations
ETH Zürich(苏黎世联邦理工学院)
我们提出了一个框架,在2D图像视图和3D对象形状之间进行转换。深度学习的最新进展使我们能够从场景中学习结构感知表示。然而,现有的文献假设图像和3D形状对可用于在完全监督下的训练。在本文中,我们提出了SIST,一个自我监督的图像到形状转换框架,它可以完成三个任务:(i)从单个图像重建3D形状;(ii)学习形状,外观和视点的解纠缠表示;以及(iii)从这些独立因素生成逼真的RGB图像。与现有的方法相比,我们的方法不需要图像形状对进行训练。相反,它使用来自同一对象类的未配对图像和形状数据集,并联合训练图像生成器和形状重建网络。我们的翻译方法取得了令人鼓舞的结果,在定量和定性方面与完全监督方法所取得的最先进水平相当。
2021-01-29 cs.CV
Spectral Response Function Guided Deep Optimization-driven Network for Spectral Super-resolution
高光谱图像对于许多研究工作至关重要。光谱超分辨率(SSR)是一种用于从高分辨率(HR)多光谱图像获得高空间分辨率(HR)高光谱图像的方法。传统的SSR方法包括模型驱动算法和深度学习。通过展开变分方法,本文提出了一种优化驱动的卷积神经网络(CNN)与深空间谱先验,导致物理上可解释的网络。与完全数据驱动的CNN不同,利用辅助光谱响应函数(SRF)来引导CNN对具有光谱相关性的频带进行分组。此外,通道注意模块(CAM)和重新制定的频谱角映射损失函数的应用,以实现一个有效的重建模型。最后,在自然图像和遥感图像两种数据集上进行实验,验证了该方法的光谱增强效果。在遥感数据集上的分类结果也验证了该方法增强信息的有效性。
2020-12-08 cs.CV eess.IV
Rethinking Reprojection: Closing the Loop for Pose-aware ShapeReconstruction from a Single Image
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
计算机视觉中的一个新兴问题是从单个图像重建物体的3D形状和姿态。目前,这个问题已经通过应用规范的深度学习方法从图像直接回归到3D形状和姿势标签来解决。然而,这些方法从两个角度来看是有问题的。首先,他们最大限度地减少了3D形状和姿势标签之间的误差-在将形状重新投影回图像时,很少考虑这种标签误差的性质。其次,它们依赖于手工标记自然图像的3D形状和姿势的繁重和不适定的任务。在本文中,我们定义了一个新的任务,姿态感知的形状重建从一个单一的图像,我们主张,可以利用更便宜的2D注释的自然图像中的物体轮廓。我们设计了姿态感知形状重建的架构,该架构使用预测的姿态将预测的形状重新投影到图像上。我们对几个对象类别的评估表明,我们的方法预测姿态感知的3D形状从自然图像的优越性。
2017-07-26 cs.CV
From Images to 3D Shape Attributes
University of California Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
我们在本文中的目标是调查的3D形状,可以从一个单一的图像确定的属性。我们定义了3D形状属性--捕捉曲率、接触和占用空间的形状的一般属性。我们的第一个目标是从单个图像中推断这些3D形状属性。第二个目标是推断3D形状嵌入-表示3D形状的低维向量。我们研究了如何通过训练卷积神经网络(CNN)来从单个图像中获得3D形状属性和嵌入。我们从合成图像开始,以便可以控制各种线索和滋扰参数的贡献。然后,我们转向真实图像,并介绍了一个大规模的雕塑图像数据集,包含143 K图像,涵盖2197件作品,来自242位艺术家。对于在雕塑数据集上训练的CNN,我们展示了以下内容:(i)CNN使用成像雕塑的哪些区域来推断3D形状属性;(ii)形状嵌入可以用于匹配以前看不见的雕塑,这在很大程度上与视点无关;以及(iii)3D属性推广到其他(非雕塑)对象类的图像。
2017-12-03 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland(马里兰大学)
我们提出了一个可扩展的神经网络框架,从多视角图像重建人体的三维网格,在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题,提高服装下三维人体的重建精度。我们的实验表明,该方法受益于从我们的管道生成的合成数据集,因为它具有良好的变量控制的灵活性,并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像,特别是形状估计。
2019-08-26 cs.CV
Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation
ShanghaiTech University(上海科技大学);Tencent PCG(腾讯平台与内容事业群);Fudan University(复旦大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海高效节能定制人工智能芯片工程研究中心)
本文提出Michelangelo框架,通过SITA-VAE和ASLDM在形状-图像-文本对齐空间中实现高质量、多样化的跨模态条件3D形状生成。
2023-07-03 cs.CV
Recognition of Regular Shapes in Satelite Images
这篇论文已经被作者ali pourmohammad撤回。
2010-01-08 cs.CV
Probabilistic 3D Human Shape and Pose Estimation from Multiple Unconstrained Images in the Wild
University of Cambridge(剑桥大学)
本文研究了从RGB图像中估计三维人体形状和姿态的问题。该领域的最新进展集中在单图像、视频或多视图图像作为输入。相比之下,我们提出了一个新的任务:从一组多个图像的人类主体的形状和姿态估计,不受约束的主题姿势,相机的观点或背景条件之间的图像组。我们的解决方案,这个任务预测分布在SMPL的身体形状和姿势参数的输入图像组中的条件。我们从每个图像中概率地组合预测的体型分布,以获得最终的多图像形状预测。我们发现,多图像输入组中存在的额外的体形信息与SSP-3D数据集和磁带测量的人类的私人数据集上的单图像输入相比,提高了3D人体形状估计指标。此外,预测3D物体上的分布使我们能够量化姿态预测的不确定性,这在面对具有显著遮挡的具有挑战性的输入图像时非常有用。我们的方法在3DPW数据集上展示了有意义的姿势不确定性,并且在姿势估计度量方面与最先进的方法具有竞争力。
2021-03-30 cs.CV
Image Segmentation of Multi-Shaped Overlapping Objects
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
在这项工作中,我们提出了一种新的分割算法,包含凸对象存在于多个形状的高度重叠的图像。该算法分两步进行,首先识别可见轮廓,使用凹点分割它们,最后将属于同一对象的段分组。下一步是为这些分组的轮廓段分配形状标识。对于包含多个形状的对象的图像,我们首先识别轮廓的形状类,然后将形状实体分配给这些类。我们提供了一个全面的实验,我们的算法在两个晶体图像数据集。一个数据集包括包含彼此重叠的多个形状的对象的图像,另一个数据集包含具有以单个形状存在的对象的标准图像。我们测试我们的算法对两个基线,我们提出的算法优于这两个基线。
2017-11-06 cs.CV
Super-resolution 3D Human Shape from a Single Low-Resolution Image
University of Surrey(萨里大学)
我们提出了一种新的框架,从一个单一的低分辨率输入图像重建超分辨率人体形状。该方法克服了现有方法的局限性,从一个单一的图像重建三维人体形状,这需要高分辨率的图像与辅助数据,如表面法线或参数模型,以重建高细节的形状。建议的框架表示重建的形状与高细节的隐式功能。类似于二维图像超分辨率的目标,该方法学习从低分辨率形状到其高分辨率对应物的映射,并将其应用于从低分辨率图像重建三维形状细节。该方法采用一种新的损失函数进行端到端的训练,该函数估计相同3D表面形状的低分辨率和高分辨率表示之间的信息损失。通过对一幅服装人体图像的重建实验表明,该方法能够在不需要辅助数据的情况下,从低分辨率图像重建出高细节的人体表面。大量的实验表明,所提出的方法可以估计超分辨率人体几何形状与显着更高的细节水平比以前的方法时,应用于低分辨率图像。
2022-08-23 cs.CV
Improving Shape Deformation in Unsupervised Image-to-Image Translation
Brown University, USA(美国布朗大学);University of Bath, UK(英国巴斯大学)
无监督的图像到图像的翻译技术能够映射两个域之间的局部纹理,但它们通常是不成功的域时,需要更大的形状变化。受语义分割的启发,我们引入了一个具有膨胀卷积的神经网络,它能够使用整个图像的信息来训练一个更具上下文感知的生成器。这与多尺度感知损失相结合,该多尺度感知损失能够更好地表示对象的底层形状中的错误。我们证明,这种设计更能够表示具有挑战性的玩具数据集中的形状变形,再加上人类,玩偶和动漫脸之间以及猫和狗之间的复杂映射,数据集差异很大。
2019-01-17 cs.CV
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University(大阪大学)
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而,尽管最近在生成对抗网络(GANs)方面取得了进展,但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点,并且仅对对象类别给予有限的控制。在这项工作中,我们提出了SCGAN,一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估,我们证明了我们方法的有效性。
2018-11-29 cs.CV
3D Colored Shape Reconstruction from a Single RGB Image through Diffusion
Nanchang Hangkong University(南昌航空大学)
提出了一种新的基于扩散模型的RGB图像三维彩色形状重建方法。扩散模型在高质量三维形状生成方面显示出巨大的发展潜力。然而,现有的基于扩散模型的研究大多只关注于几何形状的生成,既不能从单幅图像中实现三维重建,也不能生成具有颜色信息的三维几何形状。在这项工作中,我们提出了一种新的条件扩散模型,从一个单一的RGB图像重建的三维彩色形状。所提出的扩散模型的逆过程由三个模块组成,形状预测模块,颜色预测模块和NeRF类渲染模块。在形状预测模块中,首先将参考RGB图像编码为一个高级形状特征,然后将该形状特征作为条件预测扩散模型中的反向几何噪声。颜色预测模块对形状预测模块中更新的每个三维点进行颜色预测。最后,设计了一个NeRF类渲染模块,将前两个模块预测的彩色点云渲染到二维图像空间,以指导仅以参考图像为条件的训练。据作者所知,该方法是第一个扩散模型的三维彩色形状重建从一个单一的RGB图像。实验结果表明,该方法在彩色三维形状重建方面具有较好的性能,烧蚀实验验证了颜色预测模块在提高三维几何点云重建质量方面的积极作用。
2023-02-11 cs.CV
Generating a Fusion Image: One's Identity and Another's Shape
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
在生成对抗网络(GANs)的研究中,通过操纵两幅输入图像生成新图像是一个有趣的研究问题。我们提出了一种新的基于GAN的网络,该网络生成具有输入图像x的身份和输入图像y的形状的融合图像。我们的网络可以同时训练两个以上的图像数据集在一个无监督的方式。我们定义了一个身份损失LI来捕捉图像x的身份,并定义了一个形状损失LS来获得y的形状。此外,我们提出了一种新的训练方法,称为Min-Patch训练,将生成器集中在图像的关键部分,而不是整个图像。我们展示了VGG Youtube Pose数据集,Eye数据集(MPIIGaze和UnityEyes)和Photo-Sketch-Cartoon数据集的定性结果。
2022-01-26 cs.CV
Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs
The Chinese University of Hong Kong(香港中文大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab);The University of Hong Kong(香港大学)
自然图像是3D对象在2D图像平面上的投影。虽然像GANs这样的最先进的2D生成模型在建模自然图像流形方面表现出前所未有的质量,但目前还不清楚它们是否隐含地捕获了底层的3D对象结构。如果是这样,我们如何利用这些知识来恢复图像中物体的3D形状?为了回答这些问题,在这项工作中,我们首次尝试直接从仅在RGB图像上训练的现成2D GAN中挖掘3D几何线索。通过我们的调查,我们发现这样一个预训练的GAN确实包含了丰富的3D知识,因此可以用于以无监督的方式从单个2D图像中恢复3D形状。我们的框架的核心是一个迭代的策略,探索和利用不同的观点和照明变化的GAN图像流形。该框架不需要2D关键点或3D注释,也不需要对对象形状进行强假设(例如形状是对称的),但它成功地恢复了人脸,猫,汽车和建筑物的3D形状。恢复的3D形状立即允许高质量的图像编辑,如重新照明和对象旋转。我们定量地证明了我们的方法相比,以前的方法在三维形状重建和人脸旋转的有效性。我们的代码可在https://github.com/XingangPan/GAN2Shape上获得。
2021-03-12 cs.CV
Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers
University of Virginia(弗吉尼亚大学)
可变形形状提供了图像中呈现的对象的重要且复杂的几何特征。然而,这样的信息往往是失踪或未充分利用作为隐含的知识在许多图像分析任务。本文介绍了Geo-SIC,这是第一个在变形空间中学习可变形形状的深度学习模型,用于提高图像分类的性能。我们引入了一个新设计的框架,(i)同时从图像和潜在的形状空间与大类内变化的功能;(ii)通过允许直接存取图像数据的底层几何特征,获得增加模型的可解释性。特别是,我们开发了一个提升的分类网络,配备了一个无监督学习的几何形状表示,其特征在于每个类内的同构变换。与以前使用预提取形状的方法相比,我们的模型提供了一种更基本的方法,通过与图像分类器一起自然学习最相关的形状特征。我们证明了我们的方法在模拟的2D图像和真实的3D脑磁共振(MR)图像上的有效性。实验结果表明,我们的模型大大提高了图像分类的准确性,增加了模型的可解释性的额外好处。我们的代码可在https://github.com/jw4hv/Geo-SIC上公开获取
2022-10-25 cs.CV
Pix2Repair: Implicit Shape Restoration from Images
Clarkson University(克拉克森大学)
Pix2Repair从断裂物体图像自动生成可3D打印的修复形状,引入新形状函数和含11,653张图像的数据集,优于形状补全方法。
2023-12-20 cs.CV
Image2SSM: Reimagining Statistical Shape Models from Images with Radial Basis Functions
Scientific Computing and Imaging Institute, Kahlert School of Computing, University of Utah(犹他大学卡尔特计算学院科学计算与影像研究所)
Image2SSM提出一种基于深度学习和径向基函数的统计形状建模方法,直接从图像学习紧凑形状表示,无需用户辅助,实验证明优于现有对应关系方法。
2023-12-29 cs.CV
3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow
Tsinghua University(清华大学);Kuaishou Technology(快手科技);Wuhan University(武汉大学);Wayne State University(韦恩州立大学)
从一幅二维图像重建三维形状是一个具有挑战性的任务,它需要根据二维图像的语义属性来估计详细的三维结构。到目前为止,大多数以前的方法仍然难以提取三维重建任务的语义属性。由于单个图像的语义属性通常是隐含的,并且彼此纠缠,因此利用输入图像所表示的详细语义结构来重建3D形状仍然具有挑战性。为了解决这个问题,我们提出了3DAttriFlow,通过输入图像中不同的语义层次来解开和提取语义属性。这些解纠缠后的语义属性将被整合到三维形状重构过程中,为三维形状上特定属性的重构提供一定的指导。因此,3D解码器可以在网络的底部显式地捕获高级语义特征,并在网络的顶部利用低级特征,这允许重建更准确的3D形状。请注意,显式解缠是在没有额外标签的情况下学习的,其中我们训练中使用的唯一监督是输入图像及其相应的3D形状。我们在ShapeNet数据集上进行的全面实验表明,3DAttriFlow的性能优于最先进的形状重建方法,并且我们还验证了它在形状完成任务上的泛化能力。
2022-03-29 cs.CV
Assessing Shape Bias Property of Convolutional Neural Networks
University of Washington(华盛顿大学)
众所周知,人类在对新项目进行分类时会表现出“形状偏差”,即,他们更喜欢根据物体的形状而不是颜色来分类。卷积神经网络(CNN)也被设计为考虑图像数据的空间结构。事实上,在由探针图像、形状匹配和颜色匹配组成的三重图像数据集上的实验表明,一次性学习模型也显示出形状偏差。在本文中,我们研究了CNN的形状偏差特性。为了进行大规模的实验,我们建议使用模型精度的图像与反转的亮度作为度量来评估形状偏差属性。这种图像称为负像,包含与原始图像具有相同形状但具有不同颜色的对象。通过广泛的系统实验,我们研究了不同因素,如训练数据,模型架构,初始化和正则化技术,对CNN的形状偏差属性的作用。我们表明,可以设计不同的CNN,在原始图像上实现相似的精度,但在负像上表现显著不同,这表明CNN本质上不显示形状偏差。然后,我们证明了当模型被正确初始化或数据被正确扩充时,以及如果使用批量归一化,CNN能够学习和概括结构。
2018-03-21 cs.CV
3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets
University of Oxford(牛津大学);Adobe Research(Adobe研究院)
3DMiner提出一种从大规模无标注图像中挖掘三维形状的流程,通过自监督聚类、图像对应关系估计和渐进式光束法平差重建神经占用场,在Pix3D和LAION-5B上验证了其优于现有无监督方法的效果。
2023-10-29 cs.CV
Rigid and Non-rigid Shape Evolutions for Shape Alignment and Recovery in Images
Nanyang Technological University(南洋理工大学)
不同图像中的同一类型的对象可能由于刚性和非刚性形状变形而在它们的形状上变化,遮挡前景以及杂乱背景。在这项工作中所关注的问题是在这种具有挑战性的情况下的形状提取。我们通过形状对齐和恢复来实现形状提取。提出了一种基于确定性能量最小化的形状对齐和恢复方法。我们的想法是使用形状变形的一般模型在最小化活动轮廓能量。给出形状变形的\emph{a priori}形式,我们展示了如何导出对应于形状变形的曲线演化方程。这种曲线演化称为先验变异形状演化(PVSE)。我们还推导出能量最小化PVSE最小化活动轮廓能量。对于形状恢复,我们建议使用的PVSE变形的形状,同时保持其形状特征。为了选择这种形状保持的PVSE,建立了PVSE的形状相似性理论。实验结果验证了理论和公式的正确性,证明了该方法的有效性。
2014-12-29 cs.CV
3D Human Shape Reconstruction from a Polarization Image
University of Alberta(阿尔伯塔大学);Simon Fraser University(西蒙菲莎大学);China University Of Geosciences(中国地质大学);University of Guelph(圭尔夫大学)
本文研究了从单一偏振的二维图像(即偏振图像)中估计穿着衣服的人的三维体型的问题。偏振图像能够捕获偏振反射光,从而保留物体的丰富几何线索,这激发了其最近在重建感兴趣物体的表面法线中的应用。受单色图像中人体形状估计的最新进展的启发,在本文中,我们试图通过利用单极化图像中的几何线索来估计人体形状。提出了一种专用的两阶段深度学习方法SfP:给定偏振图像,第一阶段旨在推断精细细节的身体表面法线;第二阶段用于重建服装细节的3D身体形状。合成数据集(SURREAL)以及现实世界的数据集(PHSPD)的实证评估表明,我们的方法在估计人体姿势和形状的定性和定量性能。这表明偏振相机是用于人体形状估计的更传统的颜色或深度成像的有前途的替代方案。此外,从偏振成像推断的法线图在准确恢复穿着衣服的人的身体形状方面起着重要作用。
2020-07-17 cs.CV
ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Hunan University(湖南大学)
文本引导的3D形状生成仍然具有挑战性,由于缺乏大量的成对文本形状数据,这两种模式之间的大量语义差距,以及3D形状的结构复杂性。本文提出了一种新的框架,称为图像作为垫脚石(ISS)的任务,通过引入二维图像作为垫脚石连接两种模式,并消除了对文本形状数据的需要。我们的主要贡献是一种两阶段特征空间对齐方法,该方法通过利用具有多视图监督的预训练单视图重建(SVR)模型将CLIP特征映射到形状:首先将CLIP图像特征映射到SVR模型中细节丰富的形状空间,然后将CLIP文本特征映射到形状空间,并通过鼓励输入文本和渲染图像之间的CLIP一致性来优化映射。此外,我们制定了一个文本引导的形状风格化模块,打扮输出的形状与新的纹理。除了现有的从文本生成3D形状的工作,我们的新方法是一般的创建形状在广泛的类别,而不需要配对的文本形状数据。实验结果表明,我们的方法优于国家的最先进的和我们的基线方面的保真度和一致性与文本。此外,我们的方法可以styphiles生成的形状与现实和幻想的结构和纹理。
2023-02-24 cs.CV
ShapeClipper: Scalable 3D Shape Learning from Single-View Images via Geometric and CLIP-based Consistency
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
ShapeClipper利用CLIP编码一致性和现成法线几何约束,从单视图分割图像中重建三维形状,无需多视图或姿态标注,并在多个真实数据集上超越现有方法。
2023-04-13 cs.CV
Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image
Google Research, Brain Team(谷歌研究院,大脑团队);Technical University of Munich(慕尼黑工业大学)
从RGB图像输入的物体形状的3D感知是语义场景理解的基础,在我们的空间三维现实世界环境中基于图像的感知。为了实现对象的图像视图和3D形状之间的映射,我们利用现有的大型数据库中的CAD模型先验,并提出了一种新的方法来构建一个联合嵌入空间之间的2D图像和3D CAD模型在一个补丁明智的方式-建立一个对象的图像视图的补丁和补丁的CAD几何形状之间的对应关系。这使得能够进行零件相似性推理,以检索与新图像视图相似的CAD,而无需在数据库中进行精确匹配。我们的补丁嵌入提供了更强大的CAD检索的形状估计在我们的端到端的CAD模型的形状和姿态的估计在一个单一的输入图像中检测到的对象。在野外,复杂的图像从ScanNet的实验表明,我们的方法是更强大的比最先进的在现实世界中的场景没有任何确切的CAD匹配。
2021-08-20 cs.CV
Shape-Texture Debiased Neural Network Training
Johns Hopkins University(约翰霍普金斯大学);Google Brain(谷歌大脑);Shanghai Jiaotong University(上海交通大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
形状和纹理是识别物体的两个突出和互补的线索。尽管如此,卷积神经网络往往偏向于纹理或形状,这取决于训练数据集。我们的消融表明,这种偏见退化模型的性能。出于这一观察,我们开发了一个简单的算法的形状纹理去偏学习。为了防止模型在表示学习中只关注单个线索,我们用具有冲突形状和纹理信息的图像(例如,黑猩猩形状但具有柠檬纹理的图像)来增强训练数据,最重要的是,同时提供来自形状和纹理的相应监督。实验表明,该方法成功地提高了模型在几个图像识别基准测试中的性能和对抗鲁棒性。例如,通过在ImageNet上进行训练,它帮助ResNet-152在ImageNet(+1.2%)、ImageNet-A(+5.2%)、ImageNet-C(+8.3%)和Stylized-ImageNet(+11.1%)上实现了实质性的改进,并在ImageNet上防御FGSM对抗性攻击(+14.4%)。我们的方法还声称与其他先进的数据增强策略兼容,例如Mixup和CutMix。代码可以在这里找到:https://github.com/LiYingwei/ShapeTextureDebiasedTraining。
2021-03-30 cs.CV
Learning Spatial Relationships between Samples of Patent Image Shapes
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
基于二值图像的智能文档分类和检索是一个非常具有挑战性的问题。二进制图像生成机制的变化,这是受文档工匠设计师,包括绘画风格,视点,包括多个图像组件是合理的原因,增加了问题的复杂性。在这项工作中,我们提出了一种适用于二值图像的方法,该方法将深度学习(DL)的一些成功联系起来,以减轻上述变化带来的问题。该方法包括从二值图像中提取感兴趣的形状,并应用非欧几何神经网络架构来学习形状的局部和全局空间关系。实证结果表明,我们的方法在某种意义上是不变的图像生成机制的变化,并取得优于现有的方法在专利图像数据集基准的结果。
2020-04-27 cs.CV
Single-View 3D Object Reconstruction from Shape Priors in Memory
School of Electrical and Data Engineering, University of Technology Sydney(悉尼科技大学电气与数据工程学院);Harbin Institute of Technology(哈尔滨工业大学)
用于单视图3D对象重建的现有方法直接学习将图像特征变换成3D表示。然而,这些方法是脆弱的图像包含嘈杂的背景和严重的闭塞,因为提取的图像特征不包含足够的信息来重建高质量的3D形状。人类通常使用来自图像的不完整或嘈杂的视觉线索来从他们的记忆中检索类似的3D形状并重建物体的3D形状。受此启发,我们提出了一种新的方法,名为Mem 3D,明确地构造形状先验,以补充图像中缺失的信息。具体地说,形状先验是以“图像-体素”对的形式存在于记忆网络中,在训练过程中通过精心设计的写入策略存储。我们还提出了一个体素三元组损失函数,有助于检索精确的三维形状,高度相关的输入图像从形状先验。引入基于LSTM的形状编码器从检索的3D形状中提取信息,这对于恢复严重遮挡或复杂环境中的对象的3D形状是有用的。实验结果表明,Mem 3D显着提高了重建质量,并在ShapeNet和Pix 3D数据集上与最先进的方法相比表现良好。
2021-03-04 cs.CV
Probabilistic Reconstruction Networks for 3D Shape Inference from a Single Image
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室)
我们研究了从图像,特别是从单个图像进行3D形状推断的端到端学习策略。在这个方向上的几种方法已经研究,探索不同的形状表示和合适的学习架构。相反,我们关注的是所涉及的底层概率机制,并贡献了一个更有原则的基于概率推理的重建框架,我们将其称为概率重建网络。这个框架表示图像条件的三维形状推理通过一个家庭的潜变量模型,并自然从推理本身的形状表示的选择。此外,它提出了不同的选项的图像调节,并允许在两个制度的训练,使用蒙特卡洛或变分近似的边缘似然。使用我们的概率重建网络,我们获得了单个图像的3D重建结果,这些结果在ShapeNet数据集上的交集和推土机的距离评估指标方面开创了新的技术水平。有趣的是,我们使用基本的体素网格表示来获得这些结果,改进了基于更精细的点云或基于网格的表示的最近的工作。
2019-08-20 cs.CV
Content-Based Image Retrieval Using Multiresolution Analysis Of Shape-Based Classified Images
ZAGAZIG University(扎加齐格大学);BSU University(BSU大学)
基于内容的图像检索(CBIR)系统已被广泛应用于广泛的应用,如艺术收藏,预防犯罪和知识产权。本文提出了一种基于内容的图像检索系统,它利用图像的视觉内容(颜色、纹理和形状)来检索图像。该系统构建了三个特征向量,并将其存储到MySQL数据库中。第一特征向量使用描述性统计来描述图像的RGB通道中的每个通道中的数据的分布。第二特征向量使用在图像的每个通道(红色、绿色和蓝色通道)中应用四级2D DWT之后生成的39个子带的特征值来描述纹理。这些小波子带完美地描述了图像多分辨率分析中存在的水平、垂直和对角边缘。第三个特征向量描述了存在于图像的黑白表示的非对称化版本中的基本形状。实验结果的私人MYSQL数据库,由10000图像,使用颜色,纹理,形状和存储的相关反馈,平均正确检索率为96.4%,在一个有效的恢复时间。
2016-10-08 cs.CV
Human Pose and Shape Estimation from Single Polarization Images
University of Alberta(阿尔伯塔大学);University of Manitoba(曼尼托巴大学)
本文研究了一个新的问题,即从单偏振图像中估计人体的姿态和形状。已知偏振相机能够捕获保留物体表面的丰富几何线索的反射光的偏振。受偏振图像表面法线重建应用的启发,本文尝试利用偏振诱导的几何线索从单偏振图像中估计人体姿态和形状。提出了一个专用的两阶段流水线:给定一个单一的偏振图像,第一阶段(Polar 2Normal)专注于精细详细的人体表面法线估计;第二阶段(Polar 2Shape)然后从偏振图像和估计的表面法线重建穿着的人体形状。为了从经验上验证我们的方法,构建了一个专用数据集(PHSPD),由超过50万帧组成,具有准确的姿势和参数化形状注释。对这个真实世界的数据集以及合成数据集SURREAL的实证评估证明了我们方法的有效性。它建议偏振相机作为一个有前途的替代更传统的RGB相机的人体姿态和形状估计。
2022-03-22 cs.CV
PT43D: A Probabilistic Transformer for Generating 3D Shapes from Single Highly-Ambiguous RGB Images
Technical University of Munich(慕尼黑工业大学)
提出基于Transformer的自回归模型,从单张高度模糊RGB图像生成三维形状概率分布,利用模拟训练对和交叉注意力,在合成及真实数据上超越现有方法。
2024-11-04 cs.CV
Birds of a Feather: Capturing Avian Shape Models from Images
University of Pennsylvania(宾夕法尼亚大学)
动物的形状多种多样,但由于缺乏3D数据,为新物种构建可变形形状模型并不总是可能的。我们提出了一种方法来捕捉新的物种,使用一个明确的模板和该物种的图像。在这方面,我们主要关注鸟类。虽然鸟类的物种数量几乎是哺乳动物的两倍,但没有精确的形状模型。为了捕获新物种,我们首先将铰接模板与每个训练样本相匹配。通过解开姿势和形状,我们学习一个形状空间,从图像证据中捕捉物种之间和每个物种内部的变化。我们从CUB数据集学习多个物种的模型,并提供新的物种特异性和多物种形状模型,这些模型对下游重建任务很有用。使用低维嵌入,我们表明,我们学到的3D形状空间更好地反映了鸟类之间的系统发育关系比学到的感知功能。
2021-05-19 cs.CV
Shape from Shading through Shape Evolution
University of Michigan(密歇根大学)
在本文中,我们通过使用合成图像训练深度网络来解决阴影恢复形状问题。与传统的结合深度学习和合成图像的方法不同,我们提出了一种不需要任何外部形状数据集来渲染合成图像的方法。我们的方法由两个协同过程组成:从简单的图元演化复杂的形状,以及训练一个用于从阴影中提取形状的深度网络。进化生成由网络训练引导的更好的形状,而训练通过使用进化的形状来改进。我们表明,我们的方法实现了国家的最先进的性能从阴影的形状基准。
2017-12-08 cs.CV
Revisiting Complex Moments For 2D Shape Representation and Image Normalization
在比较2D形状时,一个关键问题是它们的归一化。平移和缩放很容易通过去除均值和归一化能量来处理。然而,定义和计算2D形状的方向并不那么简单。事实上,尽管对于细长形状,主轴可用于定义两种可能的取向之一,但对于一般形状没有这样的工具。正如我们在论文中所示,以前的方法无法计算简单形状的无噪声观测的方向。我们解决这个问题。在本文中,我们展示了如何唯一地定义任意2D形状的方向,我们称之为它的主矩。我们表明,这些时刻的一个小的子集足以代表潜在的二维形状,并提出了一种新的方法来有效地计算形状的方向:主矩分析。最后,我们讨论了如何将这种方法进一步应用于灰度图像的归一化。除了正确性的理论证明,我们描述了实验证明对噪声的鲁棒性,并说明了与真实图像的方法。
2010-10-18 cs.CV
Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble
UC Merced(加州大学默塞德分校);Waymo(Waymo公司);Google Research(谷歌研究院);Yonsei University(延世大学)
自动估计三维骨架,形状,相机的观点,和部分关节稀疏在野生图像集成是一个严重的约束不足和具有挑战性的问题。大多数现有方法依赖于大规模图像数据集,密集的时间对应关系或人类注释,如相机姿势,2D关键点和形状模板。我们提出了Hi-LASSIE,它只从20-30个在线图像中进行3D关节重建,而不需要任何用户定义的形状或骨架模板。我们遵循LASSIE最近的工作,解决了类似的问题设置,并取得了两个重大进展。首先,我们不依赖于手动注释的3D骨架,而是从所选的参考图像自动估计特定于类别的骨架。其次,我们使用新的特定于实例的优化策略来改进形状重建,这些策略允许重建忠实地适合每个实例,同时保留在所有图像中学习的特定于类别的先验。在野外图像合奏的实验表明,Hi-LASSIE获得更高的保真度最先进的3D重建,尽管需要最少的用户输入。
2023-03-25 cs.CV
ShapeMoiré: Channel-Wise Shape-Guided Network for Image Demoiréing
National University of Singapore(新加坡国立大学);Beijing university of posts and telecommunications(北京邮电大学);Institute for Infocomm Research (I 2 R), A*STAR(资讯通信研究院(I2R),A*STAR);Alibaba Group(阿里巴巴集团)
本文针对显示器拍摄图像中跨 RGB 通道且重复出现的摩尔纹问题,提出 ShapeMoiré,利用 ShapeConv 与全局 Shape-Architecture 建模摩尔纹形状,在无推理额外开销下取得四个基准上的 SOTA 去摩尔纹性能。
2025-06-09 cs.CV
Hand Shape and Gesture Recognition using Multiscale Template Matching, Background Subtraction and Binary Image Analysis
Graduate School of Arts & Sciences(文理研究生院);Boston University(波士顿大学)
本文提出一种结合多尺度模板匹配与背景减除的手形分类方法,通过提取二值图像特征实现基础手势识别,在受控环境中验证了其在人机交互场景中的有效性。
2024-02-15 cs.CV
Asynchronous Cellular Operations on Gray Images Extracting Topographic Shape Features and Their Relations
Yes San Francisco LLC(Yes San Francisco 有限责任公司)
介绍了元胞自动机在灰度图像上的各种操作。所有操作都是在稳态中完成的波前性质。它们被用来提取对各种模式失真具有鲁棒性的形状恢复灰色对象。使用的地形术语有:“湖泊”、“山谷”、“山谷的山谷”。它示出了如何相互对象的关系,如“以上”可以表示在灰度图像分析方面,以及它如何可以用于字符分类和灰度模式分解。算法可以用并行异步架构来实现。保留字:模式识别,数学形态学,元胞自动机,波前算法,灰度图像分析,地形形状描述符,异步并行处理器,孔,腔,凹,图形。
2013-03-20 cs.CV
Image Co-segmentation via Multi-scale Local Shape Transfer
Beihang University(北京航空航天大学);Lenovo Research(联想研究院)
图像共分割是计算机视觉中一个具有挑战性的任务,其目标是从预定义的语义类别中分割出对象的所有像素。然而,在现实世界的情况下,常见的前景对象往往在外观上变化很大,使得它们的全局形状在图像中高度不一致,难以分割。为了解决这个问题,本文提出了一种新的联合分割方法,转移补丁级的局部对象的形状,出现在不同的图像更一致。在我们的框架中,一个多尺度补丁邻域系统首先生成使用建议流的任意图像对,这是进一步细化局部线性嵌入。基于补丁的关系,我们提出了一个有效的算法,联合分割的对象在每个图像中,同时转移其局部形状在不同的图像。大量的实验表明,该方法可以鲁棒和有效地分割常见的目标从图像集。在iCoseg,MSRC和Coseg-Rep数据集上,所提出的方法的性能与最先进的方法相当或更好,而在更具挑战性的基准Fashionista数据集上,我们的方法实现了显着的改进。
2018-05-15 cs.CV
Learning to Regress 3D Face Shape and Expression from an Image without 3D Supervision
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
从单个图像中估计3D人脸形状必须对照明、头部姿势、表情、面部毛发、化妆和遮挡的变化具有鲁棒性。鲁棒性需要大量的野外图像训练集,这些图像缺乏真实的3D形状。为了训练一个没有任何2D到3D监督的网络,我们提出了RingNet,它可以从单个图像中学习计算3D人脸形状。我们的主要观察是,无论表情、姿势、照明等如何,个人的脸部形状在图像中是恒定的。RingNet利用了一个人的多个图像和自动检测的2D脸部特征。它使用了一种新的损失,鼓励脸的形状是相似的,当身份是相同的,不同的人。我们通过使用FLAME模型来表示人脸,从而实现表情的不变性。训练完成后,我们的方法将获取单个图像并输出FLAME的参数,这些参数可以很容易地进行动画处理。此外,我们还创建了一个新的面部数据库,其中包含3D头部扫描和各种条件下受试者的高分辨率图像。我们评估了公开的方法,发现RingNet比使用3D监督的方法更准确。数据集、模型和结果可在http://ringnet.is.tuebingen.mpg.de上获得。
2019-05-16 cs.CV
Image Segmentation with Pseudo-marginal MCMC Sampling and Nonparametric Shape Priors
Sabanci University(萨班哲大学);ARM Ltd.(ARM公司);University of Utah(犹他大学);University of Rochester(罗切斯特大学)
在本文中,我们提出了一个有效的伪边缘马尔可夫链蒙特卡罗(MCMC)抽样方法来提取样本的后验形状分布的图像分割。所提出的方法的计算时间是独立于用于学习的形状先验分布非参数的训练集的大小。因此,它可以很好地扩展非常大的数据集。我们的方法能够通过其样本来表征形状空间中的后验概率密度,并返回多个解决方案,可能来自多模态概率密度的不同模式,这将遇到,例如,从多个形状类别中分割对象。实验结果证明了所提出的方法的潜力。
2018-09-03 cs.CV
String Methods for Stochastic Image and Shape Matching
Imperial College(帝国理工学院);University of Copenhagen(哥本哈根大学)
图像的匹配和形状差异的分析传统上通过用于匹配形状对象的变形路径的能量最小化来进行。在大变形超纯度量映射(LDDMM)框架中,匹配泛函上的迭代梯度下降导致非正式地称为Beg算法的匹配算法。当引入随机性来模拟形状的随机可变性并提供观察到的形状数据的更真实的模型时,相应的匹配问题可以用随机Beg算法来解决,类似于在罕见事件采样中使用的有限温度弦方法。在本文中,我们应用一个随机模型兼容的几何LDDMM框架,以获得一个随机模型的图像,我们推导出随机版本的乞讨算法,我们比较字符串的方法和期望最大化优化后验似然。随机LDDMM地标和图像的算法和统计推断的使用进行了测试。
2018-10-20 cs.CV
3D Shape Reconstruction from a Single 2D Image via 2D-3D Self-Consistency
National Taiwan University(台湾大学)
三维形状重建是从二维图像中推断三维形状的一种方法,已经引起了计算机视觉和深度学习领域研究人员的极大关注。然而,假设2D输入图像及其相关联的地面真实3D形状在训练期间总是可用的是不切实际的。在本文中,我们提出了一个半监督三维重建的框架。这是通过我们引入的2D-3D自一致性来实现的,该自一致性将预测的3D模型和投影的2D前景分割掩模对齐。此外,我们的模型不仅可以用相应的2D掩模恢复3D形状,还可以联合分解和预测相机姿态信息,即使在训练期间也无法进行这种监督。在实验中,我们定性和定量地证明了我们的模型的有效性,该模型在监督或半监督设置中对最先进的方法表现良好。
2018-11-29 cs.CV
Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models
ARC Lab(ARC实验室);ShanghaiTech University(上海科技大学);Tencent PCG(腾讯平台与内容事业群);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心)
首次将显式3D形状先验引入CLIP引导的3D优化,利用文本到图像扩散模型生成高质量3D形状并优化神经辐射场,显著提升了零样本文本到3D合成的视觉质量与形状准确性。
2023-04-03 cs.CV
Monocular Human Shape and Pose with Dense Mesh-borne Local Image Features
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);M2S(M2S实验室)
我们提出了改进基于图卷积的方法,用于从单目输入进行人体形状和姿态估计,使用像素对齐的局部图像特征。给定单个输入彩色图像,现有的基于图卷积网络(GCN)的用于人类形状和姿态估计的技术使用单个卷积神经网络(CNN)生成的全局图像特征,该全局图像特征等同地附加到所有网格顶点以初始化GCN阶段,该GCN阶段将模板T姿态网格变换为目标姿态。相比之下,我们第一次提出了使用每个顶点的局部图像特征的想法。这些特征是通过利用使用DensePose生成的像素到网格对应关系从CNN图像特征映射中采样的。我们对标准基准测试的定量和定性结果表明,使用局部特征改善了全局特征,并导致了与最先进技术相比具有竞争力的性能。
2021-11-11 cs.CV
Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images
KTH(瑞典皇家理工学院);Stanford University(斯坦福大学)
我们开发了一个系统,从RGB图像,显示了一只手,这是持有一个新的对象从一个已知的类别在3D建模手对象的相互作用。我们设计了一个卷积神经网络(CNN)用于手持物体的姿态和形状估计,称为HOPS-Net,并利用以前的工作来估计手的姿态和配置。我们利用的洞察力,手的信息,促进对象的姿态和形状的估计,将手到对象的姿态和形状的训练和推理,以及估计的姿态的细化。该网络在与人手交互的对象的大型合成数据集上进行训练。为了弥合真实图像和合成图像之间的差距,我们采用了一种图像到图像的转换模型(增强CycleGAN),该模型在合成渲染的情况下生成逼真的纹理对象。这提供了一种可扩展的方法来生成用于训练HOPS-Net的注释数据。我们的定量实验表明,即使是嘈杂的手参数显着帮助对象的姿态和形状估计。定性的实验结果表明,由一只手“在野外”举行的对象的姿态和形状估计。
2019-11-11 cs.CV
Shape Reconstruction from Thoracoscopic Images using Self-supervised Virtual Learning
Kyoto University(京都大学)
术中从内窥镜摄像机图像重建器官形状是图像引导手术中一项复杂但不可或缺的技术。为了解决从单视点遮挡图像重建整个形状的不确定性,我们提出了一个框架,用于生成虚拟学习的形状重建,使用模拟图像和真实图像之间的共同潜变量的图像平移。由于难以准备足够量的数据来学习内窥镜图像和器官形状之间的关系,因此使用从统计形状模型生成的模拟图像来执行自监督虚拟学习。然而,虚拟图像和真实图像之间的小差异可以降低估计性能,即使模拟图像被认为是等同的人。为了解决这个问题,使用变分自编码器将真实图像和模拟图像转换为相同的合成图像。在这项研究中,我们的目标是从胸腔镜图像中重建塌陷肺的形状,并证实虚拟学习可以提高真实图像和模拟图像之间的相似性。此外,形状重建误差可以改善16.9%。
2023-01-25 cs.CV eess.IV
StylePart: Image-based Shape Part Manipulation
The University of Tokyo(东京大学);National Taiwan University(国立台湾大学);National Taipei University(国立台北大学)
由于缺乏基于图像的“零件控制器”,对人造形状图像的形状操作,例如更换椅子的靠背或更换杯柄是不直观的。为了解决这个问题,我们提出了StylePart,这是一个框架,它可以通过利用图像和3D形状的生成模型来直接对图像进行形状操作。我们的主要贡献是一个形状一致的潜在映射函数,连接图像生成的潜在空间和三维人造形状属性的潜在空间。我们的方法“向前映射”的图像内容,其相应的3D形状属性,形状的一部分,可以很容易地操纵。然后将经操纵的3D形状的属性代码“反向映射”到图像潜码以获得最终的经操纵的图像。我们通过各种操作任务,包括部分替换,部分切除和视点操作,展示了我们的方法,并通过广泛的消融研究评估其有效性。
2022-04-07 cs.CV cs.GR
Image-to-Graph Convolutional Network for Deformable Shape Reconstruction from a Single Projection Image
Kyoto University(京都大学)
从二维X射线图像中重建可变形器官的形状是图像引导介入治疗的关键技术。在本文中,我们提出了一个图像到图形卷积网络(IGCN)的变形形状重建从单视点投影图像。IGCN基于变形映射方案学习形状/变形可变性与深度图像特征之间的关系。在针对腹部器官呼吸运动的实验中,我们证实了所提出的具有正则化损失函数的框架可以从单个数字重建的X射线照片中重建肝脏形状,平均距离误差为3.6mm。
2021-08-31 cs.CV eess.IV
Image Collage on Arbitrary Shape via Shape-Aware Slicing and Optimization
National Cheng-Kung University(国立成功大学)
本文提出一种基于中轴和二叉切片树的 Shape-Aware Slicing 算法与优化方案,通过最大化图像显著区域,实现任意形状上的高效图像拼贴,视觉效果优于现有方法。
2023-11-17 cs.CV cs.GR