Texture Synthesis Guided Deep Hashing for Texture Image Retrieval
Nanyang Technological University(南洋理工大学);Institute of Engineering & Management(工程与管理学院);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
随着互联网上的图像和视频的大规模爆炸,已经开发了有效的哈希方法来促进相似图像的存储器和时间有效检索。然而,没有现有的作品使用哈希来解决纹理图像检索主要是因为缺乏足够大的纹理图像数据库。我们的工作通过开发一种新颖的深度学习架构来解决这个问题,该架构为输入纹理图像生成二进制哈希码。为此,我们首先预训练纹理合成网络(TSN),该网络将纹理补丁作为输入,并通过注入更新的纹理内容来输出纹理的放大视图。因此,这意味着TSN在其中间层中对学习的纹理特定信息进行编码。在下一阶段,第二个网络使用通道注意力从TSN的中间层收集多尺度特征表示,以渐进的方式将它们组合成密集的连续表示,最终在个体和成对标签信息的帮助下将其转换为二进制哈希码。新的放大纹理块也有助于数据增强,以缓解纹理数据不足的问题,并用于训练网络的第二阶段。三个公开的纹理图像检索数据集上的实验表明,我们的纹理合成引导哈希方法优于当前国家的最先进的方法。
2019-06-05 cs.CV
A Review on Image Texture Analysis Methods
Najafabad Branch, Islamic Azad University(伊斯兰阿扎德大学纳杰法巴德分校)
纹理分类是图像处理中的一个活跃的研究课题,在图像检索、检测系统、人脸识别、医学图像处理等领域有着重要的应用。目前,在灰度图像中提取纹理特征的方法有很多,如局部二值模式、灰度共生矩阵、统计特征、骨架、尺度不变特征变换等,纹理分析方法可以分为4类:统计方法、结构方法、基于滤波器的方法和基于模型的方法。在许多相关的研究中,作者试图联合提取颜色和纹理特征。在这方面,组合方法被认为是有效的图像分析描述符。在图像纹理分析中最重要的挑战是旋转敏感性,灰度变化,噪声敏感性,照明和亮度条件等,在本文中,我们回顾了最有效的和最先进的图像纹理分析方法。此外,一些纹理分类方法也幸存下来。
2018-03-13 cs.CV
Texture Generation Using Dual-Domain Feature Flow with Multi-View Hallucinations
Seoul National University(首尔大学);Gachon University(嘉泉大学)
我们提出了一个双域生成模型来估计从一个单一的图像着色的三维人体模型的纹理图。在估计纹理贴图时,单个图像是不够的,因为它仅显示3D对象的一个面。为了提供足够的信息来估计一个完整的纹理图,所提出的模型同时产生多视图幻觉在图像域和估计的纹理图在纹理域。在生成过程中,每个域生成器通过基于流的局部注意力机制交换特征。以这种方式,所提出的模型可以估计利用丰富的多视图图像特征的纹理映射,从其中生成多视图幻觉。因此,估计的纹理贴图在整个区域上包含一致的颜色和图案。实验结果表明,该模型在估计可直接绘制的纹理图方面具有优越性,适用于三维动画绘制。此外,我们的模型还提高了在图像域的姿态和视点转移任务的整体生成质量。
2022-03-14 cs.CV
Conditional Generative ConvNets for Exemplar-based Texture Synthesis
Wuhan University(武汉大学);Paris Descartes University(巴黎笛卡尔大学)
基于样本的纹理合成的目标是生成与给定样本在视觉上相似的纹理图像。最近,通过依赖于在大规模图像数据集上预训练的卷积神经网络(ConvNets)的方法,已经报道了有希望的结果。然而,这些方法在合成具有非局部结构的图像纹理和扩展到动态或声音纹理方面存在困难。在本文中,我们提出了一个条件生成ConvNet(cgCNN)模型,它结合了深度统计和生成ConvNet(gCNN)模型的概率框架。给定一个纹理样本,cgCNN模型使用ConvNet的深度统计定义一个条件分布,并通过从条件分布中采样来合成新的纹理。与以前的深度纹理模型相比,所提出的cgCNN不依赖于预先训练的ConvNets,而是学习每个输入样本的ConvNets的权重。因此,cgCNN模型可以以统一的方式合成高质量的动态,声音和图像纹理。我们还探讨了我们的模型和其他纹理模型之间的理论联系。进一步的研究表明,cgCNN模型可以很容易地推广到纹理扩展和修复。大量的实验表明,我们的模型可以实现更好的或至少可比的结果比国家的最先进的方法。
2019-12-17 cs.CV
Lightweight texture transfer based on texture feature preset
Guilin University of Electronic Technology(桂林电子科技大学)
针对纹理迁移中纹理特征高度重复导致模型冗余的问题,提出基于纹理特征预设的轻量级方法,通过预设通用纹理特征图避免重复编码,在保持高质量结果的同时大幅减小模型规模并加速推理。
2024-01-01 cs.CV eess.IV
Robust Adaptive Median Binary Pattern for noisy texture classification and retrieval
INSA Centre Val de Loire(卢瓦尔河谷国立应用科学学院);Université d’Orléans(奥尔良大学);Laboratoire PRISME EA 4229(PRISME实验室EA 4229)
纹理是不同计算机视觉任务和应用的重要线索。局部二进制模式(LBP)被认为是最好的纹理描述符之一。然而,LBP有一些明显的局限性,主要是对噪声的敏感性。在本文中,我们解决这些标准,通过引入一种新的纹理描述符,鲁棒自适应中值二进制模式(RAMBP)。RAMBP算法基于噪声像素的分类过程、自适应分析窗口、尺度分析和图像区域中值比较。该方法处理高噪声纹理图像,并通过捕获微观和宏观结构纹理信息来提高鉴别性能。该方法已被评估流行的纹理数据集的分类和检索任务,并在不同的高噪声条件下。没有任何训练或噪声类型的先验知识,RAMBP实现了最好的分类相比,国家的最先进的技术。它在$50\%$脉冲噪声密度下的得分高于$90\%$,在具有标准差$σ= 5$的高斯噪声纹理下的得分高于$95\%$,在具有标准差$σ= 1.25$的高斯模糊纹理下的得分高于$99\%$。该方法产生了竞争力的结果和高性能的最佳描述符之一,在无噪声纹理分类。此外,RAMBP也表现出高性能的噪声纹理检索的问题,提供高分数的召回率和精度的措施,纹理与高水平的噪音。
2018-05-15 cs.CV
Image decomposition with anisotropic diffusion applied to leaf-texture analysis
Physics Institute of São Carlos (IFSC)(圣卡洛斯物理研究所(IFSC));University of São Paulo (USP)(圣保罗大学(USP))
纹理分析是计算机视觉领域的一个重要研究领域。提出了一种基于偏微分方程(PDE)的纹理建模方法。每个图像$f$被分解成一系列导出的子图像。将$f$分割为利用各向异性扩散获得的$u$分量和通过原始图像与$u$分量之间的差计算的$v$分量。在增强图像的纹理属性$v$之后,计算Gabor特征作为描述符。我们验证了所提出的方法在两个纹理数据集具有高变异性。我们还评估了我们的方法在一个重要的现实世界中的应用:叶纹理分析。实验结果表明,我们的方法可以用来产生较高的分类率,并可以成功地用于不同的纹理应用。
2012-01-19 cs.CV
Describing Textures using Natural Language
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
自然图像中的纹理可以通过颜色、形状、其中元素的周期性以及可以使用自然语言描述的其他属性来表征。在本文中,我们研究的问题,描述纹理的视觉属性在一个新的数据集包含丰富的纹理描述,并进行了系统的研究,目前的生成和判别模型接地语言的图像在这个数据集上。我们发现,虽然这些模型捕捉纹理的一些属性,他们未能捕捉几个组成的属性,如点的颜色。我们通过生成具有不同描述的合成但逼真的纹理来对现有模型进行批判性分析。我们的数据集还允许我们训练可解释的模型,并生成基于语言的解释,说明深度网络学习了哪些区分特征,以进行细粒度分类,其中纹理起着关键作用。我们提出了几个细粒度域的可视化,并表明在我们的数据集上学习的纹理属性提供了对Caltech-UCSD Birds数据集上专家设计的属性的改进。
2020-08-03 cs.CV
Fractal Descriptors of Texture Images Based on the Triangular Prism Dimension
提出了一种基于分形几何的纹理图像描述子及其在图像分析中的应用。该描述子是通过加权指数参数估计不同尺度下的三棱柱分形维数,然后使用Karhunen-Loève变换进行降维得到的。两个著名的纹理数据集,即Brodatz和Vistex,无论是分类和图像检索的效率进行了测试所提出的描述符。新的方法也测试有关的不变性的情况下,当纹理旋转或高斯噪声的影响。所得到的结果优于其他经典和国家的最先进的描述符在文献中,并证明了三角形描述符在这些任务中的权力,建议他们在实际应用中使用的图像分析的纹理特征的基础上。
2016-12-19 cs.CV
Vehicle Reconstruction and Texture Estimation Using Deep Implicit Semantic Template Mapping
Tsinghua University(清华大学);Jilin University(吉林大学)
我们介绍VERTEX,一个有效的解决方案,以恢复3D形状和内在纹理的车辆从未校准的单目输入在现实世界的街道环境。为了充分利用车辆的模板先验知识,提出了一种基于隐式语义模板映射的几何和纹理联合表示方法。与现有的表示推断3D纹理分布相比,我们的方法显式地约束模板的2D表面上的纹理分布,以及避免固定的分辨率和拓扑结构的限制。此外,通过将全局和局部特征融合在一起,我们的方法能够在可见和不可见区域生成一致和详细的纹理。我们还贡献了一个新的合成数据集,包含830个精心制作的纹理汽车模型标记稀疏的关键点和渲染使用基于物理的渲染(PBRT)系统与测量HDRI天空图,以获得高度逼真的图像。实验证明了我们的方法在测试数据集和野外图像上的优越性能。此外,所提出的技术,使额外的应用,如3D车辆纹理转移和材料识别。
2021-03-29 cs.CV
Fingerprint Feature Extraction by Combining Texture, Minutiae, and Frequency Spectrum Using Multi-Task CNN
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);Biometrics Research Laboratories, NEC Corporation(NEC公司生物识别研究所)
虽然大多数指纹匹配方法利用指纹图像的细节点和/或纹理作为指纹特征,但是频谱也是有用的特征,因为指纹由具有其固有频带的脊图案组成。我们提出了一种新的基于CNN的方法提取指纹特征的纹理,细节,和频谱。为了从细节点周围的局部区域提取有效的纹理特征,该方法引入了细节点关注模块。我们还提出了新的数据增强方法,该方法考虑了指纹图像的特征,以增加训练过程中的图像数量,因为我们在训练中只使用公共数据集,其中包括一些指纹类。通过一组使用FVC 2004 DB 1和DB2的实验,我们证明了所提出的方法具有有效的性能指纹验证相比,商业指纹匹配软件和传统的方法。
2020-08-27 cs.CV
Combined statistical and model based texture features for improved image classification
University of Sussex(萨塞克斯大学)
本文旨在提高纹理分类的准确性的基础上提取的纹理特征,使用五种不同的纹理方法和分类的模式使用朴素贝叶斯分类器。采用三种基于几何的方法和两种基于模型的方法从八幅不同的纹理图像中提取纹理特征,并对每种方法单独使用和成对使用后的准确性进行了排序。当基于模型的高斯马尔可夫随机场(GMRF)和分数布朗运动(fBM)一起使用时,与单独使用五种不同方法中的每一种所达到的最高精度相比,准确率提高了97.01%;并且与统计方法相比,在分类方面被证明更好。此外,使用基于统计的方法,如灰度共生矩阵(GLCM)和游程长度矩阵(RLM)的GMRF,提高了整体准确率分别为96.94%和96.55%。
2015-12-29 cs.CV
Semantic Image Translation for Repairing the Texture Defects of Building Models
Southwest Jiaotong University(西南交通大学)
提出一种规律感知的多域语义图像翻译方法,结合频率信息、角点图与SEAN块,修复建筑模型纹理缺陷并合成结构化立面纹理,实验证明其优于现有方法。
2023-04-01 cs.CV
Texture variation adaptive image denoising with nonlocal PCA
Shanghai Jiao Tong University(上海交通大学);Nanchang University(南昌大学)
图像纹理作为一种局部变化,为人类视觉系统提供了重要的信息。许多图像纹理,特别是小尺度或随机纹理,具有丰富的高频变化,难以保存。现有的去噪算法通常采用非局部方法,包括图像块分组和分组去噪滤波。为了实现更好的图像去噪,同时保持纹理的变化,我们首先自适应分组高相关图像补丁具有相同种类的纹理元素(纹素)通过自适应聚类方法。这种自适应聚类方法应用在过聚类和迭代合并方法中,其中其噪声鲁棒性通过与噪声水平和聚类大小相关的自定义合并阈值来提高。对于每个簇的纹理保持去噪,考虑到纹理的变化不仅包含在PCA变换系数的维间能量变化中,还包含在维内变化中,我们进一步提出了一种PCA变换域变化自适应滤波方法来保持纹理的局部变化.对自然图像的实验结果表明,本文提出的变换域变分自适应滤波方法优于传统的PCA硬阈值或软阈值滤波方法。整体而言,该方法在定量和视觉上都具有较好的纹理保持性能,特别是对于随机纹理,并在相机原始图像去噪中得到了进一步验证。
2018-10-26 cs.CV
Texture Transform Attention for Realistic Image Inpainting
LG Electronics(LG电子)
在过去的几年中,通过使用深度神经网络,修复以填充缺失区域的性能已经显示出显著的改进。大多数修复工作创建了一个视觉上合理的结构和纹理,然而,由于它们经常产生模糊的结果,最终的结果看起来不切实际,并使感觉异质性。为了解决这个问题,现有的方法使用基于补丁的解决方案与深度神经网络,然而,这些方法也不能正确地转移纹理。出于这些观察,我们提出了一个补丁为基础的方法。纹理变换注意力网络(TTA-Net),可以更好地生成具有精细细节的缺失区域修复。该任务是一个单一的细化网络,并采取了U-Net架构的形式,通过跳跃连接将编码器的精细纹理特征转换为解码器的粗糙语义特征。纹理转换注意力用于创建一个新的重组纹理地图,使用精细的纹理和粗糙的语义,可以有效地传递纹理信息的结果。为了稳定训练过程,我们使用了一个VGG特征层的地面真相和补丁。我们使用公开的数据集CelebA-HQ和Places 2对我们的模型进行了端到端的评估,并证明了可以通过现有的最先进的方法获得更高质量的图像。
2020-12-08 cs.CV
Texture Classification in Extreme Scale Variations using GANet
University of Oulu(奥卢大学);University of Waterloo(滑铁卢大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
纹理识别的研究往往集中在识别纹理类内的变化,如光照,旋转,视点和小尺度的变化。相比之下,在现实世界的应用程序中,规模的变化可能会对纹理外观产生巨大的影响,以至于从一个纹理类别完全改变到另一个纹理类别。因此,由于比例变化而产生的纹理变化是最难处理的。在这项工作中,我们进行了第一次研究的分类纹理与极端变化的规模。为了解决这个问题,我们首先提出,然后减少占主导地位的纹理模式的基础上规模的建议。出于这个问题所带来的挑战,我们提出了一个新的GANet网络,我们使用遗传算法来改变网络训练过程中隐藏层中的单元,以促进学习更多的信息语义纹理模式。最后,我们采用了一个FVCNN(Fisher向量池的卷积神经网络滤波器组)的全局纹理表示的特征编码器。由于极端尺度变化不一定存在于大多数标准纹理数据库中,为了支持纹理理解的极端尺度方面,我们正在开发一个新的数据集,极端尺度变化纹理(ESVaT),以测试我们的框架的性能。结果表明,该框架显着优于黄金标准的纹理特征ESVaT超过10%。我们还测试了我们提出的方法在KTHTIPS2b和OS数据集上的性能,以及从Forrest合成的另一个数据集,与最先进的技术相比,表现出优越的性能。
2018-02-13 cs.CV
Texture Based Classification of High Resolution Remotely Sensed Imagery using Weber Local Descriptor
Geo-informatics and Space Technology Development Agency (GISTDA)(地理信息与空间技术发展局)
传统的图像分类技术在应用于高空间分辨率数据时常常产生不令人满意的结果,因为高分辨率图像中的类在光谱上不是均匀的。纹理提供了一个替代的信息来源,这些图像进行分类。本文评估了最近开发的,计算简单的纹理度量称为韦伯局部描述符(WLD)用于分类高分辨率QuickBird全色数据。我们比较了WLD与最先进的纹理描述符(TD),包括本地二进制模式(LBP)及其旋转不变版本LBPRIU。我们还研究了结合VAR(一种捕获亮度变化的TD)是否会提高LBPRIU和WLD的准确性。我们发现WLD通常比我们检查的其他TD产生更准确的分类结果,并且对不同的参数也更鲁棒。我们已经实现了一个优化的算法来计算WLD,这使得该技术在计算时间方面是实用的。总体而言,我们的研究结果表明,WLD是一个很有前途的方法进行分类的高分辨率遥感数据。
2021-04-18 cs.CV
Texture Deformation Based Generative Adversarial Networks for Face Editing
Institute of Computer Vision(计算机视觉研究所);Shenzhen University(深圳大学)
尽管在图像到图像的转换和基于潜在表征的面部属性编辑和表情合成方面取得了显著的成功,但现有方法在细节的清晰度、清晰的图像转换和身份保持方面仍然存在局限性。为了解决这些问题,我们提出了一种基于纹理变形的GAN,即TDB-GAN,从原始图像中分离纹理,并根据提取的纹理转移域。该方法利用纹理来传递面部属性和表情,而不考虑对象的姿态。这导致合成的面部的形状细节和更明显的视觉效果。此外,它在训练过程中带来了更快的收敛速度。所提出的方法的有效性进行了验证,通过广泛的消融研究。我们也对我们的方法在人脸属性和表情合成上进行了定性和定量的评估。CelebA和RaFD数据集上的结果表明,基于纹理变形的GAN实现了更好的性能。
2018-12-24 cs.CV
Remote Sensing Image Super-Resolution for Imbalanced Textures: A Texture-Aware Diffusion Framework
Nanjing University(南京大学)
本文提出TexADiff框架,通过估计相对纹理密度图来解决遥感图像中纹理不平衡问题,改进模型的空间感知能力,提升超分辨率的定量和定性性能。
2026-04-15 cs.CV
Image Inpainting Guided by Coherence Priors of Semantics and Textures
National Institute of Informatics(国立信息学研究所);Wuhan University(武汉大学);National Tsing Hua University(国立清华大学)
现有的修复方法在修复特定场景的缺陷图像方面取得了很好的效果。然而,填补涉及多个语义类别的漏洞仍然具有挑战性,由于模糊的语义边界和不同的语义纹理的混合。在本文中,我们引入语义和纹理之间的相干先验,这使得有可能集中精力完成单独的纹理在语义明智的方式。具体而言,我们采用多尺度联合优化框架,首先建模的一致性先验,然后相应地交错优化图像修补和语义分割在一个由粗到细的方式。一个语义明智的注意力传播(SWAP)模块的设计,以完善完成跨尺度的图像纹理探索非局部语义一致性,有效地减轻混淆的纹理。我们还提出了两个一致性损失约束的语义和修复图像的整体结构和详细的纹理之间的一致性。实验结果表明,我们提出的方法的优越性,具有复杂的孔挑战性的情况下。
2020-12-15 cs.CV
MVPainter: Accurate and Detailed 3D Texture Generation via Multi-View Diffusion with Geometric Control
AMAP
针对3D纹理生成研究不足的问题,提出MVPainter方法,通过数据增强、ControlNet几何控制及PBR属性提取,在纹理对齐等三维度达最优效果,并开源完整流程。
2025-05-19 cs.CV
Towards Imperceptible Universal Attacks on Texture Recognition
Arizona State University(亚利桑那州立大学);Lebanese American University(黎巴嫩美国大学)
虽然深度神经网络(DNN)已被证明容易受到对自然图像分类问题的图像不可知对抗攻击,但这种攻击对基于DNN的纹理识别的影响尚未被探索。作为我们工作的一部分,我们发现,在空间域中限制扰动的$l_p$规范可能不是一个合适的方式来限制纹理图像的普遍对抗扰动的感知。基于人的感知受局部视觉频率特性影响的事实,我们提出了一种频率调谐的通用攻击方法,在频域中计算通用扰动。我们的实验表明,与现有的通用攻击技术相比,我们提出的方法可以在各种DNN纹理分类器和纹理数据集上产生更少的可感知扰动,但具有类似或更高的白盒欺骗率。我们还表明,我们的方法可以提高对防御模型的攻击鲁棒性,以及纹理识别问题的跨数据集可转移性。
2020-11-24 cs.CV
TextureCrop: Enhancing Synthetic Image Detection through Texture-based Cropping
CERTH - ITI
针对现有合成图像检测方法因图像预处理方式限制高分辨率伪影检测效果的问题,提出可即插即用的TextureCrop纹理裁剪预处理组件,聚焦高频伪影区域,在多个数据集上显著提升各类检测器的AUC表现。
2025-01-16 cs.CV
Manifold Regularized Slow Feature Analysis for Dynamic Texture Recognition
South China University of Technology(华南理工大学);University of Technology, Sydney(悉尼科技大学)
动态纹理以各种形式存在,例如,火灾、烟雾和交通堵塞,但由于复杂的时间变化,识别动态纹理具有挑战性。在本文中,我们提出了一种新的方法源于慢特征分析(SFA)的动态纹理识别。SFA从快变信号中提取慢变特征。幸运的是,SFA能够从动态纹理中提取不变表示。然而,复杂的时间变化需要高层次的语义表示,以充分实现时间慢,因此,它是不切实际的学习从动态纹理直接通过SFA的高级表示。为了学习一个强大的低级别功能,以解决动态纹理的复杂性,我们提出了流形正则化的SFA(MR-SFA)通过探索每个时间转换的初始状态的邻居关系,并保持其变化的局部性。因此,学习的特征不仅是缓慢变化的,而且是部分可预测的。提出了一种用于动态纹理识别的MR-SFA方法,其步骤如下:1)通过MR-SFA学习特征提取函数作为卷积滤波器; 2)通过卷积和池化提取局部特征;在动态纹理和动态场景识别数据集上的实验结果验证了该方法的有效性。
2017-06-09 cs.CV
Performance Evaluation of Different Techniques for texture Classification
VIT, Pune(浦那VIT)
纹理是用于表征给定物体或现象的表面的术语,并且是用于图像处理和模式识别的重要特征。我们的目的是比较各种纹理分析方法,并比较基于时间复杂度和分类精度的结果。该项目描述了纹理分类使用小波变换和共生矩阵。将样本纹理的特征与不同纹理的数据库进行比较。在小波变换中,我们使用Haar,Symlets和Daubechies小波。我们发现,thee Haar小波被证明是最有效的方法,在性能评估参数的上述。Haar小波和共生矩阵分类法的比较也有利于Haar。虽然后一种方法的时间要求很高,但除了图像旋转外,它的分类精度很好。
2012-10-29 cs.CV
Texture-Aware Superpixel Segmentation
Bordeaux INP, Univ. Bordeaux, CNRS, IMS, UMR 5218, F-33400 Talence, France(波尔多INP、波尔多大学、国家科学研究中心、IMS、UMR 5218、法国塔伦斯);Bordeaux INP, Univ. Bordeaux, CNRS, LaBRI, UMR 5800, F-33400 Talence, France(波尔多INP、波尔多大学、国家科学研究中心、LaBRI、UMR 5800、法国塔伦斯);CNRS, Univ. Bordeaux, IMB, UMR 5251, F-33400 Talence, France(国家科学研究中心、波尔多大学、IMB、UMR 5251、法国塔伦斯)
针对现有超像素算法难以平衡空间与颜色特征且无法有效分组相似纹理像素的问题,提出TASP方法,通过自动调整空间约束并提出新的基于块的距离,显著提升了分割精度。
2025-09-17 cs.CV
Affine-Gradient Based Local Binary Pattern Descriptor for Texture Classiffication
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种新的基于仿射梯度的局部二值模式(AGLBP)纹理分类描述子。用单一类型的信息很难描述复杂的纹理,如局部二值模式(LBP),它只利用像素与其局部邻域之间的差异的符号信息。我们的描述符有三个特点:1)为了充分利用纹理中包含的信息,仿射梯度,这是不同于欧几里德梯度和仿射变换不变性,被纳入AGLBP。2)提出了一种改进的旋转不变性方法,该方法依赖于参考方向相对于局部邻域的计算。3)同时考虑训练数据的统计频率和类内方差的特征选择方法也被应用于描述子的降维。在Outex 12、Outex 10和KTH-TIPS 2三个标准纹理数据集上进行实验,评估AGLBP算法的性能。实验结果表明,与现有的旋转纹理描述子相比,本文提出的描述子在纹理分类中具有更好的性能。
2017-05-19 cs.CV
StyleAugment: Learning Texture De-biased Representations by Style Augmentation without Pre-defined Textures
NAVER AI Lab(NAVER AI实验室);Yonsei University(延世大学)
最近的强大的视觉分类器偏向于纹理,而形状信息被忽略的模型。一个简单的尝试是使用艺术风格转移方法(称为Stylized ImageNet)来增强训练图像,可以减少纹理偏差。然而,Stylized ImageNet方法在保真度和多样性方面存在两个缺点。首先,由于自然图像和艺术绘画之间存在明显的语义鸿沟,生成的图像显示出较低的图像质量。此外,Stylized ImageNet训练样本在训练之前进行了预先计算,导致每个样本缺乏多样性。我们提出了一个StyleAugment,通过从mini-batch中增加样式。StyleAugment不依赖于预定义的样式引用,而是通过引用的mini-batch中的自然图像动态生成增强图像。因此,StyleAugment通过动态增强策略让模型观察到每个图像的大量混淆线索,而增强图像比艺术风格转换的图像更真实。我们在ImageNet数据集中使用鲁棒性基准验证了StyleAugment的有效性,例如纹理去偏精度,腐败鲁棒性,自然对抗样本和遮挡鲁棒性。在我们的实验中,StyleAugment比以前的无监督去偏置方法和最先进的数据增强方法表现出更好的泛化性能。
2021-08-24 cs.CV
Texture Characterization by Using Shape Co-occurrence Patterns
State Key Lab. LIESMARS, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);CNRS LTCI, Telecom ParisTech(法国国家科学研究中心LTCI实验室,巴黎高等电信学院);Electronic Information School, Huazhong University of Science and Technology(华中科技大学电子信息学院)
纹理描述是图像理解和模式识别中的一个关键问题。在本文中,我们提出了一个灵活的基于形状的纹理表示形状共生模式。更准确地说,纹理图像首先表示的形状,其中每一个是与几个几何和辐射属性的树。然后,根据形状在树中的层次关系,学习四种典型的形状同现模式作为码字。研究了三种不同的编码方法来学习码字,利用这些码字,任何给定的纹理图像都可以被编码成一个描述向量。与现有的工作相比,所提出的方法不仅继承了强大的能力来描绘纹理的几何方面和高鲁棒性的成像条件的变化,从基于形状的方法,但也提供了一种灵活的方式来考虑形状关系和计算高阶统计的树。据我们所知,这是第一次使用显式形状的同现模式作为纹理分析的工具。在不同纹理数据集和场景数据集上的实验证明了该方法的有效性。
2017-02-10 cs.CV
Discrete Schroedinger Transform For Texture Recognition
提出了一种基于离散薛定谔变换的灰度纹理图像特征提取方法。这是一种非线性变换,其中图像被映射为波函数的初始概率分布,并且这种分布按照量子力学中的薛定谔方程随时间演化。这些特征由在不同时间测量的分布的统计矩提供。将所提出的方法应用于用于基准的三个纹理数据库的分类,并与文献中其他众所周知的纹理描述符(例如纹理元、局部二元模式、多重分形等)进行比较。所有这些都优于所提出的方法在正确分类的图像的百分比。该建议也适用于识别植物物种使用扫描图像的叶子,再次优于其他纹理方法。对受高斯噪声和"椒盐"噪声影响的图像进行了测试,也取得了Schroedinger描述子的最佳性能。
2016-12-08 cs.CV physics.data-an
A Generative Model of Textures Using Hierarchical Probabilistic Principal Component Analysis
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);University of Electro-Communication(电气通信大学)
自然图像纹理建模是建立自然图像微观模型的一项重要任务。Portilla和Simoncelli提出了一种生成式纹理模型,该模型基于大脑视觉系统的机制,具有一组纹理特征和一个特征匹配。另一方面,Portillas模型中使用的纹理特征在其来自典型自然纹理的分量之间存在冗余。在本文中,我们提出了一个压缩的纹理模型,它提供了一个降维的Portillas的功能。该模型是基于一个层次的主成分分析,使用已知的组结构的功能。在实验中,我们发现描述纹理的有效维度比原始描述更少。此外,我们还展示了如何以及纹理可以合成从收缩的纹理表示。
2018-10-16 cs.CV cs.LG
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research(Zalando 研究院)
生成对抗网络(GANs)是最近训练数据生成模型的方法,已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量,我们创建了一个具有非常适合纹理合成任务的属性的架构,我们称之为空间GAN(SGAN)。据我们所知,这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点,这使它成为一个国家的最先进的纹理合成算法:高图像质量的生成纹理,非常高的可扩展性w.r.t.输出纹理大小,快速实时向前生成,在复杂纹理中融合多个不同源图像的能力。为了说明这些功能,我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制,它可以合成的纹理图像的类型,并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
TEXTure: Text-Guided Texturing of 3D Shapes
Tel Aviv University(特拉维夫大学)
在本文中,我们提出了纹理,一种新的方法,用于文本引导的生成,编辑和三维形状的纹理传输。利用预训练的深度到图像扩散模型,TEXTure应用迭代方案,从不同的视点绘制3D模型。然而,虽然深度到图像模型可以从单个视点创建看似合理的纹理,但生成过程的随机性可能会在纹理化整个3D对象时导致许多不一致。为了解决这些问题,我们动态地定义了一个三分图分区的渲染图像分为三个进展状态,并提出了一种新的详细扩散采样过程,使用这种三分图表示从不同的视图生成无缝纹理。然后,我们可以将生成的纹理映射到新的3D几何形状,而不需要显式的表面到表面的映射,以及从一组图像中提取语义纹理,而不需要任何显式的重建。最后,我们表明,TEXTure不仅可以用来生成新的纹理,但也编辑和完善现有的纹理使用文本提示或用户提供的涂鸦。我们证明,我们的纹理方法擅长生成,传输和编辑纹理,通过广泛的评估,并进一步缩小2D图像生成和3D纹理之间的差距。
2023-02-03 cs.CV cs.GR
NeRF-Texture: Synthesizing Neural Radiance Field Textures
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);VAST;ARC Lab, Tencent PCG(腾讯PCG ARC实验室);School of Computer Science & Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
针对真实世界含3D介观结构纹理难以用2D方法建模的问题,提出NeRF-Texture方法,通过解耦介观结构与基础形状、潜在特征块匹配及聚类约束,实现平面和曲面的高质量NeRF纹理合成。
2024-12-13 cs.CV cs.GR
Learning Texture Manifolds with the Periodic Spatial GAN
Zalando Research(Zalando 研究院)
本文介绍了一种基于生成对抗网络(GAN)的纹理合成新方法(Goodfellow et al.,2014年)。我们通过构造具有不同类型维度的张量来扩展输入噪声分布的结构。我们称这种技术为周期性空间GAN(PS GAN)。PSGAN有几个新的能力,超越了目前的纹理合成技术。首先,我们可以从一个或多个复杂的大图像的数据集中学习多个纹理。其次,我们证明了使用PSGAN生成的图像具有纹理流形的特性:我们可以在结构化噪声空间中的样本之间平滑插值,并生成新的样本,这些样本在感知上位于原始数据集的纹理之间。此外,我们还可以准确地学习周期性纹理。我们做了多次实验,表明PSGAN可以灵活地处理不同的纹理和图像数据源。我们的方法是高度可扩展的,它可以生成任意大尺寸的输出图像。
2017-09-08 cs.CV stat.ML
Texture for Colors: Natural Representations of Colors Using Variable Bit-Depth Textures
Google, Inc.(谷歌公司)
已经提出了许多方法来将彩色和灰度图像转换为它们的每像素单个比特的二进制对应物。通常,目标是增强原始图像的特定属性,使其更适合分析。然而,当所得到的二值化图像旨在供人类观看时,美学也必须考虑。二值化技术,如半色调,点画,和阴影,已被广泛用于模拟原始图像的强度分布。我们提出了一种自动化的方法来将图像转换为一组二进制纹理,不仅代表强度,而且还代表原始的颜色。我们的方法的基础是信息保存:创建一组纹理,允许仅从二值化表示重建原始图像的颜色。我们提出的技术,以确保所创建的纹理在视觉上不会分散注意力,保留图像的强度配置文件,并且是自然的,因为它们映射的颜色集是感知相似的模式是相似的。该方法使用深度神经网络,并且完全是自我监督的;不需要好的和坏的二进制化的例子。该系统产生美观的二进制图像进行测试时,对各种图像源。
2021-05-04 cs.CV cs.GR cs.LG
Deep Transfer Learning for Texture Classification in Colorectal Cancer Histology
Robert Bosch(罗伯特·博世公司)
组织的显微镜检查或组织病理学是检测结直肠癌的诊断程序之一。参与这种检查的病理学家通常基于纹理分析来识别组织类型,特别是关注肿瘤-间质比率。在这项工作中,我们使用深度迁移学习自动执行结直肠癌组织学样本中的组织分类任务。我们使用单周期策略进行区分性微调,并应用结构保持颜色归一化来提高我们的结果。我们还提供了深度神经网络对纹理分类的决策的视觉解释。在达到96.2%的最先进测试准确率后,我们还开始为内存有限的硬件使用称为SqueezeNet的部署友好架构。
2020-04-03 cs.CV cs.LG eess.IV
Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校)
用于纹理合成的传统CNN由一系列(去)卷积和上/下采样层组成,其中每个层都在本地操作,并且缺乏捕获纹理合成所需的长期结构依赖性的能力。因此,它们通常只是简单地放大输入纹理,而不是执行合理的合成。作为一种妥协,许多最近的方法通过在相同的单个(或固定的一组)纹理图像上进行训练和测试来牺牲可推广性,从而导致对不可见图像的巨大重新训练时间成本。在这项工作中,基于传统纹理合成中的组装/缝合操作类似于转置卷积操作的发现,我们提出了一种新的使用转置卷积操作的方法。具体来说,我们直接将输入纹理的整个编码特征图作为转置卷积滤波器,并将捕获自相关信息的特征的自相似性图作为转置卷积的输入。这样的设计允许我们的框架,一旦训练,是可推广的,以执行合成看不见的纹理与一个单一的前向通过在近实时。我们的方法实现了国家的最先进的纹理合成质量的基础上,各种指标。虽然自相似性有助于保持输入纹理的规则结构模式,但我们的框架还可以将不规则输入纹理的随机噪声映射而不是自相似性映射作为转置卷积输入。它允许获得更多样化的结果,并通过在单次通过中直接采样大噪声贴图来生成任意大的纹理输出。
2020-07-14 cs.CV cs.GR
Pyramid Texture Filtering
Sun Yat-sen University(中山大学);South China University of Technology(华南理工大学)
提出一种基于高斯金字塔最粗层级上采样引导的纹理滤波方法,在保留结构的同时平滑纹理,适用于细节增强、图像抽象等多种任务。
2023-05-11 cs.CV cs.GR
Wavelet Convolutional Neural Networks for Texture Classification
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿公司)
纹理分类是图像处理应用中的一个重要且具有挑战性的问题。虽然卷积神经网络(CNN)在图像分类方面取得了显著的成功,但纹理分类仍然是一个困难的问题,因为纹理通常不包含关于对象形状的足够信息。在图像处理中,纹理分类传统上是通过利用许多纹理中的重复结构的谱分析来研究的。由于CNN在空间域中处理图像,而频谱分析在频域中处理图像,因此这些模型在性能方面具有不同的特征。我们提出了一种新的CNN架构,小波CNN,它集成了频谱分析到CNN。我们的见解是,池化层和卷积层可以被视为频谱分析的有限形式。基于这一认识,我们推广这两个层进行小波变换的频谱分析。小波CNN允许我们利用在传统CNN中丢失但在纹理分类中有用的光谱信息。实验表明,我们的模型取得了更好的准确性,在纹理分类比现有的模型。我们还表明,我们的模型具有比CNN少得多的参数,使我们的模型更容易用更少的内存进行训练。
2017-07-24 cs.CV cs.LG
TextureMeDefect: LLM-based Defect Texture Generation for Railway Components on Mobile Devices
University of Ottawa(渥太华大学);Queen’s University(女王大学)
本文提出TextureMeDefect,利用基于LLM的AI推理引擎在iOS和Android移动设备上交互式生成铁路部件逼真缺陷纹理,并通过多平台评估证明其在纹理质量、速度、成本和可用性方面优于传统工具。
2024-10-07 cs.AI cs.CV cs.GR
A Two-Stage Combined Classifier in Scale Space Texture Classification
University of Waterloo(滑铁卢大学);Delft University of Technology(代尔夫特理工大学)
纹理往往表现出多尺度特性,因此多尺度技术被认为是有用的纹理分析。尺度空间理论作为一种生物学方法,可以用来构造多尺度纹理。本文研究了不同尺度特征的组合方法,用于小图像块的纹理分类。我们使用的N-jet的衍生工具,以二阶在不同的尺度上生成不同的模式表示(DPR)的特征子集。DPR中的每个特征子集被赋予两阶段组合分类器的基分类器(BC)。由这些BC做出的决策在尺度和导数上被组合在两个阶段中。讨论了各种组合系统及其意义和区别。学习曲线用于评估性能。我们发现,对于小样本量的组合分类器的性能显着优于组合特征空间(CFS)。在多尺度纹理分类中,组合分类器的性能优于CFS上的支持向量机。
2012-07-17 cs.CV cs.LG
Texture Matching GAN for CT Image Enhancement
Purdue University(普渡大学)
提出纹理匹配生成对抗网络(TMGAN),通过并行生成器分离解剖特征与纹理,实现CT图像增强并匹配目标纹理,提升图像质量且利于临床应用。
2023-12-20 cs.CV cs.LG eess.IV
Perception Driven Texture Generation
Ocean University of China(中国海洋大学);Qingdao Agricultural University(青岛农业大学)
本文研究了一个新的任务,从感知描述生成纹理图像。以前的工作纹理生成集中在合成的例子或从程序模型生成。从感知属性生成纹理还没有得到很好的研究。同时,方向性、规则性和粗糙度等感知属性也是人类观察者描述纹理的重要因素。在本文中,我们提出了一种联合深度网络模型,该模型结合了对抗性训练和感知特征回归来生成纹理,而只需要随机噪声和用户定义的感知属性作为输入。在该模型中,初步训练的卷积神经网络本质上与对抗框架集成,该框架可以驱动生成的纹理具有给定的感知属性。所提出的模型的一个重要方面是,如果我们改变一个输入的感知特征,相应的外观生成的纹理也将被改变。我们设计了几个实验来验证所提出的方法的有效性。实验结果表明,该方法可以产生高质量的纹理图像与所需的感知特性。
2017-03-24 cs.AI cs.CV cs.LG
3D Human Texture Estimation from a Single Image with Transformers
Nanyang Technological University(南洋理工大学)
我们提出了一个基于transformer的框架,从一个单一的图像三维人体纹理估计。所提出的Transformer能够有效地利用输入图像的全局信息,克服了现有方法仅基于卷积神经网络的局限性。此外,我们还提出了一个面具融合策略,结合基于RGB和基于纹理流的模型的优点。我们进一步引入了一个部分风格的损失,以帮助重建高保真的颜色,而不会引入不愉快的文物。大量的实验表明,所提出的方法对国家的最先进的三维人体纹理估计方法的有效性定量和定性。
2021-09-06 cs.AI cs.CV cs.GR