How well does CLIP understand texture?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们调查如何以及CLIP理解纹理描述的自然图像的自然语言。为此，我们分析了CLIP的能力：（1）在各种纹理和材料分类数据集上执行零样本学习;（2）在可描述纹理细节（DTDD）数据集上表示纹理的组成属性，如红点或黄色条纹;（3）通过其身体部位的颜色和纹理描述照片中的鸟类，帮助进行细粒度分类。
2022-11-05 cs.CV
A Generative Model of Natural Texture Surrogates
Werner Reichardt Center for Integrative Neuroscience and Institute of Theoretical Physics, University of Tübingen（图宾根大学维尔纳·赖夏特综合神经科学中心与理论物理研究所）；Bernstein Center for Computational Neuroscience Tübingen（图宾根伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
自然图像可以被视为不同纹理的拼凑，其中局部图像统计在一个小邻域内大致稳定，但在其他方面因区域而异。为了对这种变化进行建模，我们首先将Portilla和Simoncelli的参数纹理算法应用于自然图像的大型数据库中的64 X64像素的图像补丁，使得每个图像补丁然后由655个纹理参数来描述，这些纹理参数指定某些统计数据，例如该补丁内的小波系数或系数幅度的方差和协方差。为了对这些纹理参数的统计数据进行建模，我们开发了合适的参数非线性变换，使我们能够用多元高斯分布拟合它们的联合统计数据。我们发现，前200个主成分包含超过99%的方差，足以生成感知上非常接近所有655个组件生成的纹理。我们从几个方面证明了该模型的有用性：（1）我们对纹理补丁的集合进行采样，这些纹理补丁可以直接与来自自然图像数据库的补丁样本进行比较，并且可以在很大程度上再现它们的感知外观。(2)我们进一步开发了一种图像压缩算法，该算法以低至0.14比特/像素的比特率生成令人惊讶的精确图像。最后，（3）我们展示了如何使用我们的方法对自然图像的概率模型生成的样本进行有效和客观的评估。
2015-05-28 cs.CV
StyleAugment: Learning Texture De-biased Representations by Style Augmentation without Pre-defined Textures
NAVER AI Lab（NAVER AI实验室）；Yonsei University（延世大学）
最近的强大的视觉分类器偏向于纹理，而形状信息被忽略的模型。一个简单的尝试是使用艺术风格转移方法（称为Stylized ImageNet）来增强训练图像，可以减少纹理偏差。然而，Stylized ImageNet方法在保真度和多样性方面存在两个缺点。首先，由于自然图像和艺术绘画之间存在明显的语义鸿沟，生成的图像显示出较低的图像质量。此外，Stylized ImageNet训练样本在训练之前进行了预先计算，导致每个样本缺乏多样性。我们提出了一个StyleAugment，通过从mini-batch中增加样式。StyleAugment不依赖于预定义的样式引用，而是通过引用的mini-batch中的自然图像动态生成增强图像。因此，StyleAugment通过动态增强策略让模型观察到每个图像的大量混淆线索，而增强图像比艺术风格转换的图像更真实。我们在ImageNet数据集中使用鲁棒性基准验证了StyleAugment的有效性，例如纹理去偏精度，腐败鲁棒性，自然对抗样本和遮挡鲁棒性。在我们的实验中，StyleAugment比以前的无监督去偏置方法和最先进的数据增强方法表现出更好的泛化性能。
2021-08-24 cs.CV
Texture Classification Network Integrating Adaptive Wavelet Transform
Xinqiao Hospital（新桥医院）
针对Graves病超声诊断中CNN纹理特征捕捉不足的问题，提出在ResNet18中加入基于Lifting Scheme的并行可学习小波分支，同时建模空间域与频率域纹理，并在超声及自然纹理数据集上验证了性能提升。
2024-04-08 cs.CV
One-shot Texture Segmentation
University of Tübingen（图宾根大学）
我们介绍一次纹理分割：分割的任务，包含多个纹理的输入图像给定一个补丁的参考纹理。这项任务的目的是把基于纹理的感知分组的问题变成一个客观的基准。我们表明，这是直截了当地产生大的合成数据集，这个任务从一个相对较少的自然纹理。特别是，这个任务可以被视为一个自我监督的问题，从而减轻了对传统分割任务所需的大量手动注释数据的需求。在本文中，我们介绍和研究两个具体的数据集：一个密集的拼贴纹理（CollTex）和一个杂乱的纹理Omniglot数据集。我们发现，在这些合成数据上训练的基线模型能够推广到自然图像和视频，而无需进一步微调，这表明学习的图像表示对于更高级别的视觉任务是有用的。
2018-07-07 cs.CV
Local Higher-Order Statistics (LHS) describing images with statistics of local non-binarized pixel patterns
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Université de Caen Basse-Normandie（卡昂诺曼底大学）
我们提出了一种新的图像表示纹理分类和面部分析，依靠使用高阶局部差分统计作为特征。最近已经表明，小的局部像素图案分布可以是高度区分的，同时计算效率极高，这与基于图像的全局结构的模型形成对比。出于这样的工作，我们建议使用高阶统计的局部非二值化像素模式的图像描述。所提出的模型不需要（i）用户指定的空间（像素模式）的量化或（ii）任何用于丢弃空间的低占用体积的算法。我们建议使用一个数据驱动的软量化的空间，参数混合模型，结合高阶统计，基于Fisher分数。我们证明，这导致了一个更有表现力的表示，当与区分学习的分类器和指标相结合时，在低复杂度的设置中，在具有挑战性的纹理和面部分析数据集上实现了最先进的性能。此外，它是对更高复杂性特征的补充，并且当与它们组合时可以提高性能。
2015-10-02 cs.CV
A Study for Universal Adversarial Attacks on Texture Recognition
Arizona State University（亚利桑那州立大学）；Lebanese American University（黎巴嫩美国大学）
鉴于卷积神经网络（CNN）在自然图像分类和对象识别问题上取得的突出进展，表明深度学习方法可以在许多纹理数据集上实现非常好的识别性能。然而，虽然用于自然图像分类/对象识别任务的CNN已被发现非常容易受到各种类型的对抗攻击方法的攻击，但用于纹理识别的深度学习方法的鲁棒性还有待研究。在我们的论文中，我们证明了存在小的图像不可知/通用扰动，可以欺骗深度学习模型，在所有测试的纹理数据集上的测试欺骗率超过80%。在测试数据集上使用各种攻击方法计算的扰动通常是准不可感知的，包含具有低，中和高频分量的结构化模式。
2020-10-04 cs.CV
Invariant texture analysis through Local Binary Patterns
Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Instituto de Óptica（光学研究所）
在许多图像处理应用中，如分割和分类，鲁棒的特征描述符的选择是至关重要的，以提高在现实世界的情况下的歧视能力。特别地，众所周知，图像纹理构成用于特征提取和分类的功率视觉线索。在过去的几年中，局部二值模式（LBP）方法，一种由Ojala等人提出的纹理描述方法，由于其计算简单性以及更重要的是用于编码用于描述纹理的强大签名而获得了越来越多的接受。然而，原始算法提出了一些限制，如噪声敏感性和缺乏旋转不变性，这导致了许多建议或扩展，以克服这些限制。在本文中，我们进行了定量研究的Ojala的原始LBP的建议连同其他最近提出的LBP扩展中存在的旋转，照明和噪声的变化。在实验中，我们考虑了两个不同的数据库：Brodatz和CURET，用于不同大小的LBP掩码。实验结果表明，所描述的纹理描述符的有效性和鲁棒性的图像受到几何或辐射变化。
2011-11-30 cs.CV
Unwarping Screen Content Images via Structure-texture Enhancement Network and Transformation Self-estimation
提出结构-纹理增强网络（STEN）结合变换自估计，用于屏幕内容图像去扭曲，通过B样条隐式神经表示和自校正算法，显著优于现有方法。
2025-04-21 cs.CV
Asian Stamps Identification and Classification System
Multimedia University（多媒体大学）
在本文中，我们解决的问题，邮票识别。目标是将给定的邮票分类到某个国家，并确定其出版的年份。提出了一种基于颜色信息和纹理信息描述邮票图像的邮票识别方法。对于颜色信息，我们使用整个图像的颜色直方图，对于纹理，我们使用两个特征。基于局部特征描述子的SIFT和基于稠密纹理描述子的HOG。因此，我们总共有三种不同类型的功能。我们的初步评估表明，给这些信息，我们能够以合理的准确度分类的图像。
2017-09-15 cs.CV
Remote Sensing Image Super-Resolution for Imbalanced Textures: A Texture-Aware Diffusion Framework
Nanjing University（南京大学）
本文提出TexADiff框架，通过估计相对纹理密度图来解决遥感图像中纹理不平衡问题，改进模型的空间感知能力，提升超分辨率的定量和定性性能。
2026-04-15 cs.CV
TexturePose: Supervising Human Mesh Estimation with Texture Consistency
University of Pennsylvania（宾夕法尼亚大学）
这项工作解决了基于模型的人体姿态估计的问题。最近的方法已经取得了显着的进展，直接从图像回归参数化人体模型的参数。由于缺乏具有3D形状基础事实的图像，相关方法依赖于2D注释或复杂的架构设计。在这项工作中，我们主张有更多的线索，我们可以利用，这是免费提供的自然图像，即，而无需获得更多注释或修改网络架构。我们提出了一种自然形式的监督，利用一个人在不同的框架（或观点）之间的外观恒定性。这个看似无关紧要且经常被忽视的线索对于基于模型的姿势估计有很大的帮助。我们采用的参数模型允许我们计算每帧的纹理图。假设人的纹理在帧之间没有显著变化，我们可以应用新的纹理一致性损失，这强制纹理图中的每个点在所有帧中具有相同的纹理值。由于纹理是在这个公共纹理映射空间中传输的，因此不需要相机运动计算，甚至不需要假设帧之间的平滑度。这使得我们提出的监督适用于各种设置，从单目视频，多视图图像。我们将我们的方法与强大的基线进行基准测试，这些基线需要与我们所做的相同甚至更多的注释，并且我们始终优于它们。同时，我们在不同的基准之间的基于模型的姿态估计方法取得了最先进的结果。包含视频、结果和代码的项目网站可以在https://seas.upenn.edu/~pavlakos/projects/texturepose上找到。
2019-10-24 cs.CV
TRIG: Toward Measuring Texture Realism in Image Generation
Futurewei Technologies（未来移动通信技术公司）
本文提出TRIG指标，采用纹理数据集预训练GAN的判别器作为主干网络，结合微调的合理性头与分布距离计算，在生成图像纹理真实度评估上比基线指标更贴合人类评分。
2026-10-14 cs.CV
TexVerse: A Universe of 3D Objects with High-Resolution Textures
Shanghai Innovation Institute（上海创新研究院）；Jilin University（吉林大学）；Fudan University（复旦大学）；Tongji University（同济大学）
本研究推出大规模高分辨率纹理3D数据集TexVerse，含超85.8万个独特模型（总计160万实例）及骨骼、动画等专门子集与详细标注，填补相关数据空白，可支撑纹理合成等多类3D任务。
2025-09-03 cs.CV
Super-resolution Using Constrained Deep Texture Synthesis
Brown University（布朗大学）；Georgia Institute of Technology（佐治亚理工学院）
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功，并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成，以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
A Generative Model of Textures Using Hierarchical Probabilistic Principal Component Analysis
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Electro-Communication（电气通信大学）
自然图像纹理建模是建立自然图像微观模型的一项重要任务。Portilla和Simoncelli提出了一种生成式纹理模型，该模型基于大脑视觉系统的机制，具有一组纹理特征和一个特征匹配。另一方面，Portillas模型中使用的纹理特征在其来自典型自然纹理的分量之间存在冗余。在本文中，我们提出了一个压缩的纹理模型，它提供了一个降维的Portillas的功能。该模型是基于一个层次的主成分分析，使用已知的组结构的功能。在实验中，我们发现描述纹理的有效维度比原始描述更少。此外，我们还展示了如何以及纹理可以合成从收缩的纹理表示。
2018-10-16 cs.CV cs.LG
Improved texture image classification through the use of a corrosion-inspired cellular automaton
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）；São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）；Ghent University（根特大学）
在本文中，分类合成和自然纹理图像的问题。为了解决这个问题，提出了一种创新的方法，结合腐蚀建模和元胞自动机的概念来生成纹理描述符。金属（点蚀）腐蚀的核心过程被确定，并适用于纹理图像，通过将腐蚀的基本机制中的过渡函数的元胞自动机。在应用元胞自动机的转换函数之前和期间分析图像的表面形态。在每次迭代中，获得腐蚀产品的累积质量以构造纹理描述符的每个属性。在最后的步骤中，通过应用线性判别分析，该纹理描述符用于图像分类。该方法在著名的Brodatz和Vistex数据库上进行了测试。此外，为了验证该方法的鲁棒性，测试了其对噪声和旋转的不变性。为此，通过对图像添加噪声和旋转，获得了原始两个数据库的不同变体。结果表明，该方法是有效的纹理分类根据在所有情况下获得的高成功率。这表明在其他领域采用受自然现象启发的方法的潜力。
2014-12-26 cs.CV
Texture for Colors: Natural Representations of Colors Using Variable Bit-Depth Textures
Google, Inc.（谷歌公司）
已经提出了许多方法来将彩色和灰度图像转换为它们的每像素单个比特的二进制对应物。通常，目标是增强原始图像的特定属性，使其更适合分析。然而，当所得到的二值化图像旨在供人类观看时，美学也必须考虑。二值化技术，如半色调，点画，和阴影，已被广泛用于模拟原始图像的强度分布。我们提出了一种自动化的方法来将图像转换为一组二进制纹理，不仅代表强度，而且还代表原始的颜色。我们的方法的基础是信息保存：创建一组纹理，允许仅从二值化表示重建原始图像的颜色。我们提出的技术，以确保所创建的纹理在视觉上不会分散注意力，保留图像的强度配置文件，并且是自然的，因为它们映射的颜色集是感知相似的模式是相似的。该方法使用深度神经网络，并且完全是自我监督的;不需要好的和坏的二进制化的例子。该系统产生美观的二进制图像进行测试时，对各种图像源。
2021-05-04 cs.CV cs.GR cs.LG
Superpixel based Class-Semantic Texton Occurrences for Natural Roadside Vegetation Segmentation
Central Queensland University（中央昆士兰大学）
从路边数据中分割植被是一个领域，在目前的研究中得到了相对较少的关注，但可以在广泛的现实世界中的应用，如道路安全评估和植被状况监测的巨大潜力。在本文中，我们提出了一种新的方法，产生类语义的颜色纹理元和聚合超像素的纹理元发生自然路边图像中的植被分割。像素级的类语义textons首先学习生成两个单独的集的词袋视觉词典的颜色和滤波器组纹理特征分别为每个对象类使用手动裁剪的训练数据。对于测试图像，首先将其过分割成一组均匀的超像素。提取每个超像素中所有像素的颜色和纹理特征，并使用最近距离度量将其进一步映射到学习的纹理基元之一，从而产生颜色和纹理纹理基元发生矩阵。使用线性混合方法在每个超像素上聚合颜色和纹理纹理基元的出现，并且使用简单而有效的多数投票策略最终实现分割。两个公共图像数据集的视频收集的交通运输部和主要道路（DTMR），昆士兰州，澳大利亚，和公共路边草数据集的评估显示所提出的方法的高精度。我们还证明了在现实世界的情况下，植被分割的方法的有效性。
2018-02-24 cs.CV
Deep Texture and Structure Aware Filtering Network for Image Smoothing
Research School of Engineering, Australian National University（澳大利亚国立大学工程研究学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所（Data61, CSIRO））
图像平滑是计算机视觉中的一项基本任务，其目的是保留显著的结构并去除不重要的纹理。在本文中，我们的目标是解决现有的图像平滑方法，它不能正确区分纹理和结构相似的低层次的外观的根本缺点。虽然深度学习方法已经开始探索通过图像平滑来保持结构，但现有的工作还没有适当地解决纹理问题。为此，我们通过将自然纹理与干净的仅结构图像混合来生成一个大型数据集，然后构建一个纹理预测网络（TPN）来预测纹理的位置和大小。然后，我们将TPN与语义结构预测网络（SPN）相结合，以便最终的纹理和结构感知过滤网络（TSAFN）能够识别要删除的纹理（“纹理感知”）和要保留的结构（“结构感知”）。该模型易于理解和实现，并在野外的真实图像以及我们生成的数据集上显示出出色的性能。
2018-05-08 cs.CV
A Novel Bio-Inspired Texture Descriptor based on Biodiversity and Taxonomic Measures
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
纹理可以被定义为图像强度的变化，形成重复的图案，由物体的粗糙度或表面反射的差异的物理特性引起。考虑到纹理以非确定性的方式形成复杂的模式系统，生物多样性概念可以帮助图像中的纹理表征。本文提出了一种新的方法，能够量化这样一个复杂的系统的多样性模式，通过物种多样性和丰富性和分类的独特性。该方法将每个图像通道视为一个物种生态系统，并计算物种多样性和丰富度的措施，以及分类措施来描述纹理。该方法利用生态模式的不变性特征，建立了一个置换、旋转和平移不变的描述子。在三组自然纹理图像和两组病理组织图像上的实验结果表明，该纹理描述子优于几种纹理描述子和深度方法.
2021-10-04 cs.CV
Diffusion-based Holistic Texture Rectification and Synthesis
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Waseda University（早稻田大学）
针对自然图像纹理样本的遮挡与畸变，本文提出带遮挡感知潜在变换器的条件LDM框架，并通过几何变换与自由掩码生成训练数据，实现整体纹理校正与合成。
2023-09-26 cs.CV cs.GR
Vastextures: Vast repository of textures and PBR materials extracted from real-world images using unsupervised methods
本研究构建了含50万份纹理与PBR材质的无监督提取资源库Vastextures，通过图像网格筛选均匀纹理、随机关联属性生成材质，满足AI训练对多样资产的需求，且其上训练的神经网络性能优于手工资产训练的模型。
2025-06-11 cs.CV
Towards Imperceptible Universal Attacks on Texture Recognition
Arizona State University（亚利桑那州立大学）；Lebanese American University（黎巴嫩美国大学）
虽然深度神经网络（DNN）已被证明容易受到对自然图像分类问题的图像不可知对抗攻击，但这种攻击对基于DNN的纹理识别的影响尚未被探索。作为我们工作的一部分，我们发现，在空间域中限制扰动的$l_p$规范可能不是一个合适的方式来限制纹理图像的普遍对抗扰动的感知。基于人的感知受局部视觉频率特性影响的事实，我们提出了一种频率调谐的通用攻击方法，在频域中计算通用扰动。我们的实验表明，与现有的通用攻击技术相比，我们提出的方法可以在各种DNN纹理分类器和纹理数据集上产生更少的可感知扰动，但具有类似或更高的白盒欺骗率。我们还表明，我们的方法可以提高对防御模型的攻击鲁棒性，以及纹理识别问题的跨数据集可转移性。
2020-11-24 cs.CV
Segmentation of Natural Images by Texture and Boundary Compression
Coordinated Science Lab, University of Illinois（伊利诺伊大学协调科学实验室）；HRL Laboratories, LLC（HRL 有限责任公司实验室）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的算法分割的自然图像，利用最小描述长度（MDL）的原则。我们的方法是基于观察，一个均匀的纹理区域的自然图像可以很好地模拟高斯分布和区域边界可以有效地编码的自适应链码。图像的最佳分割是一个最短的编码长度编码的图像中的所有纹理和边界，并通过一个凝聚聚类过程应用到一个层次的窗口大小递减的多尺度纹理特征。最佳分割还提供了对整体编码长度的准确估计，从而提供了图像的真实熵。我们测试我们的算法上公开可用的伯克利分割数据集。与其他现有方法相比，它实现了最先进的分割结果。
2010-06-18 cs.CV cs.IT cs.LG
Quantification of Ultrasonic Texture heterogeneity via Volumetric Stochastic Modeling for Tissue Characterization
University of Oxford（牛津大学）；University of Jordan（约旦大学）
图像纹理的强度变化可以提供有关生物组织物理特性的强大定量信息。然而，组织模式可以根据所使用的成像系统而变化，并且与分析的尺度内在地相关。在超声的情况下，Nakagami分布是在各种散射条件和密度下的超声后向散射包络的一般模型，其中它可以用于表征图像纹理，但是由于它在单个空间尺度下工作，因此难以通过该模型捕获给定质量内的细微内部异质性。本文提出了一种局部自适应的三维多分辨率Nakagami的分形特征描述符，扩展Nakagami的纹理分析，以适应微妙的斑点空间频率组织强度变化的体积扫描。局部纹理分形描述符-这是不变的仿射强度变化-从体积补丁中提取不同的空间分辨率从体素网格为基础的生成的形状和规模Nakagami参数。使用超声射频数据集，我们发现，在应用自适应分形分解标签转移方法的顶部生成的Nakagami体素，组织表征结果优于最先进的。在真正的3D超声临床前和临床数据集的实验结果表明，通过这个描述符描述肿瘤内异质性可能有助于改善治疗反应和疾病表征的预测。
2016-01-14 cs.CV
Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images "In the Wild"
IMATI-CNR（意大利国家研究委员会信息与远程技术研究所）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了第一种从野外获取的图像中自动捕获动物3D姿势、形状和纹理的方法。特别是，我们专注于捕获的3D信息的Grevy的斑马从收集的图像的问题。格雷维斑马是非洲最濒危的物种之一，目前只剩下几千只。捕捉这些动物的形状和姿势可以为生物学家和环保主义者提供有关动物健康和行为的信息。与人类姿态、形状和纹理估计的研究相比，濒危物种的训练数据有限，动物处于具有遮挡的复杂自然场景中，它们自然地被包围，成群地行进，并且彼此看起来相似。为了克服这些挑战，我们将最近的SMAL动物模型集成到一个基于网络的回归管道中，我们对合成生成的图像进行端到端的训练，这些图像具有姿势、形状和背景变化。超越了最先进的人类形状和姿势估计方法，我们的方法在训练过程中学习了斑马的形状空间。仅使用光度损失从图像学习这样的形状空间是新颖的，并且该方法可以用于在具有有限3D监督的其他设置中学习形状。此外，我们将3D姿态和形状预测与纹理合成任务相结合，从单个图像中获得动物的完整纹理图。我们表明，预测的纹理映射允许一种新的每实例无监督优化的网络功能。这种方法SMALST（SMAL与学习的形状和纹理）超越了以前的工作，假设手动关键点和/或分割，直接从像素回归到3D动物形状，姿势和纹理。代码和数据可在https://github.com/silviazuffi/smalst上获得。
2019-09-17 cs.CV
Physically Realizable Natural-Looking Clothing Textures Evade Person Detectors via 3D Modeling
Tsinghua University（清华大学）；Beijing Institute of Fashion Technology（北京服装学院）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
针对现有对抗衣物视角受限或显眼的问题，提出基于3D建模的对抗性迷彩纹理AdvCaT，利用Voronoi图和Gumbel-softmax优化参数，结合TopoProj和TPS增强，实现多视角下自然外观且高成功率逃避人体检测器。
2024-11-08 cs.AI cs.CR cs.CV
Texture-Aware Superpixel Segmentation
Bordeaux INP, Univ. Bordeaux, CNRS, IMS, UMR 5218, F-33400 Talence, France（波尔多INP、波尔多大学、国家科学研究中心、IMS、UMR 5218、法国塔伦斯）；Bordeaux INP, Univ. Bordeaux, CNRS, LaBRI, UMR 5800, F-33400 Talence, France（波尔多INP、波尔多大学、国家科学研究中心、LaBRI、UMR 5800、法国塔伦斯）；CNRS, Univ. Bordeaux, IMB, UMR 5251, F-33400 Talence, France（国家科学研究中心、波尔多大学、IMB、UMR 5251、法国塔伦斯）
针对现有超像素算法难以平衡空间与颜色特征且无法有效分组相似纹理像素的问题，提出TASP方法，通过自动调整空间约束并提出新的基于块的距离，显著提升了分割精度。
2025-09-17 cs.CV
Texture variation adaptive image denoising with nonlocal PCA
Shanghai Jiao Tong University（上海交通大学）；Nanchang University（南昌大学）
图像纹理作为一种局部变化，为人类视觉系统提供了重要的信息。许多图像纹理，特别是小尺度或随机纹理，具有丰富的高频变化，难以保存。现有的去噪算法通常采用非局部方法，包括图像块分组和分组去噪滤波。为了实现更好的图像去噪，同时保持纹理的变化，我们首先自适应分组高相关图像补丁具有相同种类的纹理元素（纹素）通过自适应聚类方法。这种自适应聚类方法应用在过聚类和迭代合并方法中，其中其噪声鲁棒性通过与噪声水平和聚类大小相关的自定义合并阈值来提高。对于每个簇的纹理保持去噪，考虑到纹理的变化不仅包含在PCA变换系数的维间能量变化中，还包含在维内变化中，我们进一步提出了一种PCA变换域变化自适应滤波方法来保持纹理的局部变化.对自然图像的实验结果表明，本文提出的变换域变分自适应滤波方法优于传统的PCA硬阈值或软阈值滤波方法。整体而言，该方法在定量和视觉上都具有较好的纹理保持性能，特别是对于随机纹理，并在相机原始图像去噪中得到了进一步验证。
2018-10-26 cs.CV
A survey of exemplar-based texture synthesis
Universitat Pompeu Fabra（庞培法布拉大学）；École normale supérieure Paris-Saclay（巴黎萨克雷高等师范学校）
基于样本的纹理合成是从输入样本生成任意大小的新纹理图像的过程，并且这些新纹理图像在感知上与样本等价。两种主要的方法是基于几何学的方法和补丁重排方法。在第一类中，纹理的特征在于统计签名;然后，以该签名为条件的随机采样产生真正不同的纹理图像。第二个类归结为一个聪明的“复制-粘贴”过程，它将样本的大区域缝合在一起。混合方法试图将两种方法的思想结合起来，以避免它们的障碍。最近的方法，使用卷积神经网络适合这种分类，一些是统计和其他执行补丁重新安排在特征空间。他们在各种纹理上产生令人印象深刻的合成。然而，我们发现大多数真实的纹理是在多个尺度上组织的，在粗尺度上显示出全局结构，在细尺度上显示出高度变化的细节。因此，当面对大的自然图像的纹理的国家的最先进的方法的结果迅速退化，和建模它们的问题仍然是敞开的。
2017-11-24 cs.CV
Unsupervised High-Fidelity Facial Texture Generation and Reconstruction
Technion（以色列理工学院）；University of Haifa（海法大学）
多年来，已经提出了许多方法来解决从单个图像中恢复面部3D几何和纹理的任务。这些方法通常无法在训练期间提供高保真度纹理而不依赖于3D面部扫描。相比之下，3D面部生成的补充任务并没有得到太多的关注。与2D纹理域相反，GANs已被证明可以产生高度逼真的面部图像，更具挑战性的3D几何域尚未达到相同的真实感和多样性水平。在本文中，我们提出了一种新的统一管道的任务，生成的几何和纹理，并恢复高保真纹理。我们的纹理模型是学习的，在一个无监督的方式，从自然图像，而不是扫描的纹理图。据我们所知，这是第一个独立于扫描纹理的统一框架。我们的新型训练管道结合了预训练的2D面部生成器以及深度特征操作方法。通过应用精确的3DMM拟合，我们可以将建模的纹理无缝集成到合成生成的背景图像中，从而形成具有背景，头发，牙齿和身体的纹理模型的逼真组合。这使我们能够从2D图像生成领域应用迁移学习，从而大大受益于在该领域获得的令人印象深刻的结果。我们提供了一个全面的研究，最近的几种方法比较我们的模型在生成和重建任务。作为广泛的定性，以及定量分析，证明，我们实现了国家的最先进的结果，这两项任务。
2021-10-10 cs.CV
Text2Human: Text-Driven Controllable Human Image Generation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
生成高质量和多样化的人体图像是视觉和图形学中一项重要但具有挑战性的任务。然而，现有的生成模型往往不符合服装形状和纹理的高度多样性。此外，甚至期望生成过程对于外行用户是直观可控的。在这项工作中，我们提出了一个文本驱动的可控框架，Text2Human，高品质和多样化的人类一代。我们从一个给定的人体姿势开始合成全身人体图像，有两个专门的步骤。1)对于一些描述衣服形状的文本，首先将给定的人体姿势转换为人体解析图。2)然后通过向系统提供关于衣服纹理的更多属性来生成最终的人类图像。具体来说，为了对服装纹理的多样性进行建模，我们构建了一个分层的纹理感知码本，该码本存储了每种类型纹理的多尺度神经表示。粗层次的码书包含纹理的结构表示，而细层次的码书则关注纹理的细节。为了利用学习的分层码书来合成所需的图像，基于扩散的Transformer采样器与混合专家模型首先被用来从码书的粗层次采样索引，然后被用来预测码书的索引在更精细的水平。在不同级别的预测索引翻译成人类图像的解码器学习伴随着分层码本。混合专家的使用允许以细粒度文本输入为条件的生成图像。对更精细层次指数的预测细化了服装纹理的质量。广泛的定量和定性评估表明，我们提出的框架可以生成更多样化和逼真的人类图像相比，国家的最先进的方法。
2022-05-31 cs.CV
TexSliders: Diffusion-Based Texture Editing in CLIP Space
Universidad de Zaragoza（萨拉戈萨大学）；I3A（高等工程研究院）；Adobe Research（奥多比研究院）；Adobe（奥多比公司）
本文提出TexSliders方法，通过操纵CLIP图像嵌入而非注意力图来实现基于扩散模型的纹理编辑，仅用自然语言提示即可生成保持身份特征的任意编辑滑块，无需标注数据。
2024-05-01 cs.CV cs.GR
Global Texture Enhancement for Fake Face Detection in the Wild
University of Oxford（牛津大学）；The University of Hong Kong（香港大学）
生成对抗网络（GANs）可以生成逼真的假人脸图像，很容易欺骗人类，而普通的卷积神经网络（CNN）可以达到99.9%以上的真假图像识别准确率。在本文中，我们对假/真人脸进行了实证研究，并有两个重要的观察结果：首先，假人脸的纹理与真实人脸有很大的不同;其次，全局纹理统计对图像编辑更具鲁棒性，并且可以从不同的GANs和数据集转移到假人脸。受上述观察的启发，我们提出了一种新的架构，称为Gram-Net，它利用全局图像纹理表示进行鲁棒的假图像检测。在几个数据集上的实验结果表明，我们的Gram-Net优于现有的方法。特别是，我们的Gram-Netis更强大的图像编辑，如下采样，JPEG压缩，模糊和噪声。更重要的是，我们的Gram-Net在从训练阶段看不到的GAN模型中检测假面孔方面有更好的泛化能力，并且在检测假自然图像方面表现出色。
2020-03-19 cs.CV
Noise-Level Estimation from Single Color Image Using Correlations Between Textures in RGB Channels
The University of Tokyo（东京大学）；Morpho, Inc.（莫尔福公司）
我们提出了一种简单的方法来估计噪声水平从一个单一的彩色图像。在大多数图像去噪算法中，准确的噪声水平估计会导致良好的去噪性能;然而，从单个图像估计噪声水平是困难的，因为它是一个不适定问题。我们通过使用纹理在RGB通道之间高度相关并且噪声与其他信号不相关的先验知识来解决这个问题。我们还将我们的方法扩展到RAW图像，因为它们几乎可以在所有的数码相机中使用，并且经常在实际情况中使用。实验表明，我们的方法在合成噪声图像的高噪声估计性能。我们还将我们的方法应用于自然图像，包括RAW图像，并取得了比传统方法更好的噪声估计性能。
2019-04-04 cs.CV
Interactive Cartoonization with Controllable Perceptual Factors
NAVER WEBTOON AI（NAVER WEBTOON人工智能研究院）；Yonsei University（延世大学）
卡通化是将自然照片渲染成卡通风格的任务。以前的深度卡通化方法只关注端到端的翻译，这可能会阻碍可编辑性。相反，我们提出了一种新的解决方案，基于卡通创作过程的纹理和颜色的编辑功能。为了做到这一点，我们设计了一个模型架构，具有单独的解码器，纹理和颜色，以解耦这些属性。在纹理解码器中，我们提出了一个纹理控制器，它使用户能够控制笔划风格和抽象生成不同的卡通纹理。我们还引入了HSV颜色增强，诱导网络生成多样和可控的颜色翻译。据我们所知，我们的工作是第一个深入的方法来控制推理的卡通化，同时显示出对基线的深刻质量改进。
2023-03-08 cs.CV
PBR-SR: Mesh PBR Texture Super Resolution from 2D Image Priors
Technical University of Munich（慕尼黑技术大学）；Intel Labs（英特尔实验室）
PBR-SR提出一种零样本PBR纹理超分辨率方法，通过结合自然图像超分辨率先验与多视图可微渲染约束，并引入纹理域恒等约束，在不需额外训练的情况下为艺术家设计和AI生成的网格生成高保真PBR纹理，优于直接超分辨率应用和现有纹理优化方法。
2025-06-03 cs.CV
Texture and Structure Two-view Classification of Images
Technion Institute of Technology（以色列理工学院）
纹理和结构特征可以被重新分级为“双视图”特征集。受多视图学习最新进展的启发，我们提出了一种新的两视图分类方法，该方法对每个特征集进行建模，并有效地优化了合并这些视图的过程。这种方法在现实世界的数据分类的实施例，特别强调医学图像。我们首先将完全纹理图像分解为两层表示，分别对应于自然随机纹理（NST）和结构层。结构，边缘和曲线型，信息主要是由本地的空间相位，而，纯NST具有随机相位，其特征在于高斯性和自相似性。因此，NST是由2D自相似过程，分数布朗运动（fBM）。Hurst参数是fBm的特征，它指定纹理的粗糙度或不规则度。这导致我们沿着从结构层提取的其他特征对其进行估计和实现，以构建用于我们的分类方案的“双视图”特征集。一个浅层神经网络（NN）被用来执行合并这些特征集的过程，在一个简单而有效的方式。
2019-08-25 cs.CV
SinGAN: Learning a Generative Model from a Single Natural Image
Technion（以色列理工学院）；Google Research（谷歌研究院）
我们介绍了SinGAN，这是一种无条件生成模型，可以从单个自然图像中学习。我们的模型经过训练，可以捕捉图像中补丁的内部分布，然后能够生成高质量的、多样化的样本，这些样本携带与图像相同的视觉内容。SinGAN包含一个完全卷积的GANs金字塔，每个GAN负责学习图像不同尺度下的补丁分布。这允许生成任意大小和纵横比的新样本，这些样本具有显著的可变性，但保持训练图像的全局结构和精细纹理。与以前的单图像GAN方案相比，我们的方法不限于纹理图像，并且不是有条件的（即它从噪声中生成样本）。用户研究证实，生成的样本通常被混淆为真实图像。我们说明了实用的SinGAN在广泛的图像处理任务。
2019-09-04 cs.CV
TEXTRIX: Latent Attribute Grid for Native Texture Generation and Beyond
Nanjing University（南京大学）；DreamTech；HKU（香港大学）；OriginArk
TEXTRIX通过构建潜在3D属性网格和稀疏注意力扩散变换器，实现高保真纹理合成及精确3D分割。
2025-12-02 cs.CV
End-to-End Fine-Tuning of 3D Texture Generation using Differentiable Rewards
Mila – Quebec AI Institute（魁北克AI研究所）；Concordia University（康科迪亚大学）
本文提出了一种端到端的可微框架，通过可微奖励函数优化3D纹理生成，提升对3D结构的理解和生成质量。
2025-12-09 cs.CV
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
CUHK - SenseTime Joint Lab（香港中文大学-商汤联合实验室）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
尽管卷积神经网络（CNN）最近已经证明了高质量的重建单图像超分辨率（SR），恢复自然和逼真的纹理仍然是一个具有挑战性的问题。在本文中，我们表明，它是可能的，以恢复纹理忠实于语义类。特别是，我们只需要在语义分割概率图的条件下调整单个网络中几个中间层的特征。这是通过一个新的空间特征变换（SFT）层，生成仿射变换参数的空间方式的功能调制。SFT层可以使用相同的损失函数与SR网络一起进行端到端训练。在测试过程中，它接受任意大小的输入图像，并生成一个高分辨率的图像，只有一个单一的前向传递条件的分类先验。我们的最终结果表明，与最先进的SRGAN和EnhanceNet相比，配备SFT的SR网络可以生成更逼真和视觉上令人愉悦的纹理。
2018-04-09 cs.CV
Self-supervised Learning of 3D Objects from Natural Images
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出了一种方法来学习的3D形状，姿态和纹理的物体从分类的自然图像中的自监督的方式单视图重建。由于这是一个严重不适定的问题，因此仔细设计训练方法并引入约束是必不可少的。为了避免同时训练所有元素的困难，我们建议首先训练具有固定姿势分布和简单纹理的特定类别的基本形状，然后使用获得的形状训练姿势和纹理。另一个困难是，形状和背景有时会变得过于复杂，从而错误地重建物体表面的纹理。为了抑制它，我们建议使用强正则化和对象表面和背景图像上的约束。通过这两种技术，我们证明了我们可以使用自然图像集（如CIFAR-10和PASCAL对象）进行训练，这表明有可能在合成数据集之外的各种对象类别上实现3D对象重建。
2019-11-20 cs.CV cs.LG eess.IV
Towards Arbitrary-scale Histopathology Image Super-resolution: An Efficient Dual-branch Framework based on Implicit Self-texture Enhancement
Fudan University（复旦大学）
针对病理图像固定倍数超分辨率性能受限的问题，提出一种基于隐式自纹理增强的双分支框架，首次实现病理图像任意尺度超分辨率，并在两个公开数据集上优于现有方法。
2023-04-09 cs.CV eess.IV
ConTEXTure: Consistent Multiview Images to Texture
Sogang University（西江大学）；SwatchOn Co., Ltd（SwatchOn有限公司）；Sookmyung Women’s University（淑明女子大学）；RECON Labs Inc.（RECON实验室公司）
本研究提出生成式网络ConTEXTure，基于Zero123++生成的多视角一致图像，同时从所有视角为3D网格学习纹理图集，解决了以往方法非正面视角图像不准确的问题。
2024-07-15 cs.CV cs.LG
Noise-Aware Texture-Preserving Low-Light Enhancement
University of Southern California（南加州大学）
提出了一种基于噪声感知的纹理保持retinex模型的简单有效的弱光图像增强方法。新的方法，称为NATLE，试图通过一个低复杂度的解决方案，在噪声去除和自然纹理保护之间取得平衡。它的成本函数包括一个估计的分段平滑照明图和一个无噪声的纹理保持反射率图。之后，调节照明以形成增强图像以及反射率图。在常见的弱光图像增强数据集上进行了大量实验，以证明NATLE的优越性能。
2020-09-02 cs.CV eess.IV
Is Texture Predictive for Age and Sex in Brain MRI?
Imperial College London（帝国理工学院）
深度学习为许多医学图像分析任务奠定了基础，在这些任务中，神经网络通常被设计为具有较大的感受野，以包含长空间依赖性。最近的工作表明，大的感受野并不总是自然图像上的计算机视觉任务所必需的。我们探讨这是否转化为某些医学成像任务，如年龄和性别预测从T1加权脑MRI扫描。
2019-07-25 cs.CV eess.IV
Separation Surfaces in the Spectral TV Domain for Texture Decomposition
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们介绍了一种新的概念分离面的图像分解。一个表面被嵌入在频谱全变分（TV）的三维域和编码的空间变化的分离尺度。该方法可以很好地分离纹理逐渐变化的图案大小，图案对比度或照明。最近提出的全变分光谱框架被用来分解成一个连续的纹理尺度的图像。通过将表面拟合到谱域中的局部最大响应来找到尺度范围内的期望纹理。表面上方和下方的带称为\textit{Texture Stratum}，为每个像素定义纹理的自适应缩放范围。基于该分解，提出了一种应用，该应用可以以非常自然和视觉上令人信服的方式衰减或增强图像中的纹理。
2015-11-15 cs.CV math.SP
Generator Pyramid for High-Resolution Image Inpainting
OPPO Research（OPPO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
修复具有大孔洞的高分辨率图像对现有的基于深度学习的图像修补方法提出了挑战。本文提出了一种新的高分辨率图像修补框架-- PyramidFill，它明确地将内容补全和纹理合成分离开来。PyramidFill尝试在较低分辨率的图像中完成未知区域的内容，并逐步合成较高分辨率图像中未知区域的纹理。因此，我们的模型由一个完全卷积的GANs金字塔组成，其中内容GAN负责完成最低分辨率掩码图像中的内容，每个纹理GAN负责合成更高分辨率图像中的纹理。由于完成内容和合成纹理需要生成器具有不同的能力，因此我们为内容GAN和纹理GAN定制了不同的架构。在包括CelebA-HQ、Places 2和具有不同分辨率的新自然风景数据集（NSHQ）在内的多个数据集上的实验表明，PyramidFill生成的修复结果比最先进的方法质量更高。为了更好地评估高分辨率图像修补方法，我们将发布NSHQ，高分辨率1920 $\times$ 1080的高质量自然风景图像。
2020-12-04 cs.CV eess.IV
TextureSAM: Towards a Texture Aware Foundation Model for Segmentation
Tel Aviv University（特拉维夫大学）；University of Maryland, College Park（马里兰大学College Park分校）；Stanford University（斯坦福大学）；Technion（技术学院）
针对SAM模型偏向形状而非纹理的问题，提出纹理感知基础模型TextureSAM，通过纹理增强微调和ADE20K纹理交替数据集，在自然和合成纹理分割上显著优于SAM-2。
2025-05-22 cs.AI cs.CV
Learning a Neural 3D Texture Space from 2D Exemplars
University College London（伦敦大学学院）；Adobe Research（奥多比研究院）
我们提出了一个生成模型的2D和3D自然纹理的多样性，视觉保真度和高计算效率。这是通过一系列方法实现的，这些方法将思想从经典的随机过程纹理（柏林噪声）扩展到学习的，深度的非线性。其关键思想是一个硬编码的，可调的和可微的步骤，将多个变换的随机2D或3D字段馈送到可以在无限域上采样的MLP中。我们的模型从一组不同的纹理中编码所有样本，而不需要为每个样本重新训练。应用程序包括纹理插值，并从2D样本学习3D纹理。
2020-04-02 cs.CV cs.GR cs.LG
Texture Synthesis Using Convolutional Neural Networks
Centre for Integrative Neuroscience, University of Tübingen（图宾根大学整合神经科学中心）；Bernstein Center for Computational Neuroscience, Tübingen（图宾根伯恩斯坦计算神经科学中心）；Graduate School of Neural Information Processing, University of Tübingen（图宾根大学神经信息处理研究生院）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Baylor College of Medicine（贝勒医学院）
在这里，我们介绍了一种新的自然纹理模型的基础上优化的对象识别的卷积神经网络的特征空间。来自该模型的样本具有高感知质量，证明了以纯粹区分方式训练的神经网络的生成能力。在模型中，纹理由网络的几层中的特征图之间的相关性表示。我们表明，跨层的纹理表示越来越多地捕捉自然图像的统计特性，同时使对象信息越来越明确。该模型为神经科学提供了一种新的刺激生成工具，并可能为卷积神经网络学习的深层表示提供见解。
2015-11-06 cs.CV cs.NE q-bio.NC
Locally Adaptive Structure and Texture Similarity for Image Quality Assessment
City University of Hong Kong（香港城市大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
全参考图像质量评估（IQA）的最新进展涉及基于深度表示的统一结构和纹理相似性。然而，由此产生的深度图像结构和纹理相似性（DISTS）度量，使相当全球的质量测量，忽略了自然摄影图像是局部结构化和纹理跨空间和规模的事实。在本文中，我们描述了一个局部自适应的结构和纹理相似性指数的全参考IQA，我们的术语A-DISTS。具体来说，我们依赖于一个单一的统计特征，即分散指数，本地化纹理区域在不同的尺度。估计的概率（一个补丁是纹理）反过来又被用来自适应池的局部结构和纹理测量。由此产生的A-DISTS是适应本地图像内容，是免费的监督训练昂贵的人类感知分数。我们展示了A-DISTS在与十个IQA数据库上的人体数据相关性和单图像超分辨率方法的优化方面的优势。
2021-10-16 cs.CV eess.IV
