Self-supervised Auxiliary Learning for Texture and Model-based Hybrid Robust and Fair Featuring in Face Analysis
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出将自监督掩码自编码器作为辅助任务,融合纹理特征与主任务,以提升人脸分析(属性、情感、深度伪造检测)的鲁棒性和公平性。
2024-11-05 cs.CV
Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures
Boston University(波士顿大学);NVIDIA(英伟达)
提出PT$^2$方法,通过补丁级纹理置换实现自驱动人体姿态迁移,在DeepFashion和Market-1501上超越自驱动及部分全监督方法,用户偏好率达68%。
2023-08-30 cs.CV
Self-Supervised Texture Image Anomaly Detection By Fusing Normalizing Flow and Dictionary Learning
Ningxia University(宁夏大学);Collaborative Innovation Center for Ningxia Big Data and Artificial Intelligence Co-founded by Ningxia Municipality and Ministry of Education(宁夏回族自治区与教育部共建宁夏大数据与人工智能协同创新中心)
基于纹理背景的工业图像异常检测是异常识别中的一个常用研究领域。纹理图像的干扰和纹理异常的微小性是许多现有模型无法检测到异常的主要原因。基于上述问题,我们提出了一种结合字典学习和规范化流的异常检测策略。我们的方法增强了已经在使用的两阶段异常检测方法。为了改进基线方法,在表示学习中加入归一化流程,并将深度学习和字典学习相结合。经过实验验证,改进的算法在所有MVTec AD纹理类型数据上的$\%$检测准确率超过95。它表现出很强的鲁棒性。基线方法对地毯数据的检测准确率为67.9%。文章进行了升级,检测准确率提高到99.7%。
2022-09-19 cs.CV
Robust Facial Landmark Localization Based on Texture and Pose Correlated Initialization
Wuhan University of Technology(武汉理工大学);Griffith University(格里菲斯大学)
鲁棒的面部地标定位仍然是一个具有挑战性的任务时,面部部分遮挡。近年来,级联姿态回归算法由于其在人脸标志点定位和遮挡检测方面的优异性能而受到越来越多的关注。然而,这种方法对初始化敏感,其中不正确的初始化可以严重降低性能。在本文中,我们提出了一个鲁棒的级联姿态回归(RICPR)提供纹理和姿态相关的初始形状的测试脸。通过检测测试人脸和训练人脸的局部二值模式直方图的相关性,选择与测试人脸相关性最高的训练人脸形状作为纹理相关初始化。为了使初始化对各种姿态更具鲁棒性,我们根据多任务级联卷积网络定位的五个基准点来估计测试人脸的粗略姿态。然后利用平均人脸形状和粗测试人脸姿态构造姿态相关的初始形状。最后,纹理相关和姿态相关的初始形状连接在一起作为鲁棒初始化。我们评估了具有挑战性的COFW数据集上的RICPR。实验结果表明,该方法在人脸标志点定位和遮挡检测方面取得了比现有方法更好的性能。
2018-05-15 cs.CV
TexVocab: Texture Vocabulary-conditioned Human Avatars
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
TexVocab通过构建纹理词汇并将姿态与纹理图关联,结合逐身体部位编码策略,从多视角RGB视频中生成细节丰富且动态的可动画人体化身,性能优于现有方法。
2024-03-31 cs.CV
Coordinate-based Texture Inpainting for Pose-Guided Image Generation
Samsung AI Center(三星人工智能中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
我们提出了一种新的深度学习方法来指导人体照片的姿势再合成。新方法的核心是基于一张照片估计完整的身体表面纹理。由于输入的照片总是只观察到表面的一部分,我们提出了一种新的修复方法,完成了人体的纹理。修复网络不是直接处理纹理元素的颜色,而是为身体表面的每个元素估计输入图像中的适当源位置。输入图像和纹理之间的该对应字段然后基于期望的姿态被进一步扭曲到目标图像坐标系中,从而即使在姿态变化剧烈时也有效地建立源视图和目标视图之间的对应。然后,最终的卷积网络使用建立的对应关系和所有其他可用信息来合成输出图像。使用具有由估计的对应字段引导的可变形跳过连接的全卷积架构。我们展示了姿态引导图像合成的最新结果。此外,我们展示了我们的系统的性能服装转移和姿势引导的人脸重新合成。
2019-07-19 cs.CV
Semi-Supervised Representative Region Texture Extraction of Façade
通过对立面的分析和解析,利用语义信息丰富立面模型的三维特征,其主要思想是以牺牲重建精度为代价,生成具有相似形状和纹理的高分辨率组件,从而提高整体分辨率。虽然这种方法适用于门窗等组件,但目前还没有针对立面背景的解决方案。在本文中,我们引入了代表性区域纹理的概念,它可以用于上述建模方法,通过平铺周围的立面区域的代表性纹理,并提出了一种半监督的方法来做代表性区域纹理提取从立面图像。只要给出语义信息,我们的方法不需要任何额外的标记数据来进行训练,而传统的端到端模型需要大量的数据来提高其性能。我们的方法可以从任何重复的图像中提取纹理,而不仅仅是立面,这在端到端模型中是不可能的,因为它依赖于训练集的分布。引入加权距离聚类,进一步提高了对噪声或不精确分割的鲁棒性,使提取的纹理具有更高的分辨率,更适合拼接。我们在各种立面图像上验证了我们的方法,结果表明,我们的方法相比于仅在立面上随机裁剪具有显着的性能提高。我们还展示了一些应用场景,并提出了一个立面建模工作流程的代表性区域纹理,它有一个更好的视觉分辨率为一个普通的立面。
2022-12-05 cs.CV
Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images "In the Wild"
IMATI-CNR(意大利国家研究委员会信息与远程技术研究所);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了第一种从野外获取的图像中自动捕获动物3D姿势、形状和纹理的方法。特别是,我们专注于捕获的3D信息的Grevy的斑马从收集的图像的问题。格雷维斑马是非洲最濒危的物种之一,目前只剩下几千只。捕捉这些动物的形状和姿势可以为生物学家和环保主义者提供有关动物健康和行为的信息。与人类姿态、形状和纹理估计的研究相比,濒危物种的训练数据有限,动物处于具有遮挡的复杂自然场景中,它们自然地被包围,成群地行进,并且彼此看起来相似。为了克服这些挑战,我们将最近的SMAL动物模型集成到一个基于网络的回归管道中,我们对合成生成的图像进行端到端的训练,这些图像具有姿势、形状和背景变化。超越了最先进的人类形状和姿势估计方法,我们的方法在训练过程中学习了斑马的形状空间。仅使用光度损失从图像学习这样的形状空间是新颖的,并且该方法可以用于在具有有限3D监督的其他设置中学习形状。此外,我们将3D姿态和形状预测与纹理合成任务相结合,从单个图像中获得动物的完整纹理图。我们表明,预测的纹理映射允许一种新的每实例无监督优化的网络功能。这种方法SMALST(SMAL与学习的形状和纹理)超越了以前的工作,假设手动关键点和/或分割,直接从像素回归到3D动物形状,姿势和纹理。代码和数据可在https://github.com/silviazuffi/smalst上获得。
2019-09-17 cs.CV
A self-supervised learning approach to deep filter banks for texture recognition
Institute of Mathematics and Statistics of the University of Sao Paulo(圣保罗大学数学与统计学研究所);Institute of Mathematics, Statistics and Scientific Computing of the University of Campinas(坎皮纳斯大学数学、统计与科学计算研究所)
针对纹理识别中训练数据有限的问题,提出一种基于卷积自编码器的自监督预训练框架,结合深度滤波器和Fisher向量池化,在不显著增加计算负担的情况下提升识别性能。
2026-05-27 cs.CV
Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images
Jiangnan University(江南大学);Engineering Research Center of Intelligent Technology for Healthcare, Ministry of Education(教育部医疗智能技术工程研究中心)
提出一种遮挡感知的自监督单目深度估计框架,通过遮挡掩码数据增强和非负矩阵分解引导的语义分割生成伪标签,在弱纹理内窥镜图像上实现最先进的深度估计性能,并展现出良好的跨数据集泛化能力。
2025-04-24 cs.CV
Kaleidoscopic Background Attack: Disrupting Pose Estimation with Multi-Fold Radial Symmetry Textures
University of Science and Technology Beijing(北京科技大学);Tsinghua University(清华大学)
针对稀疏输入场景下背景纹理影响相机位姿估计的问题,提出万花筒背景攻击(KBA),利用多重径向对称圆盘跨视点保持高相似性进行攻击,并结合投影方向一致性损失优化纹理片段,有效提升了对抗位姿估计模型的攻击效果。
2025-07-14 cs.CV
Self-supervised Deformation Modeling for Facial Expression Editing
Stony Brook University(石溪大学)
深度生成模型的最新进展在照片级逼真的面部图像合成和编辑方面取得了令人印象深刻的结果。面部表情本质上是肌肉运动的结果。然而,现有的基于神经网络的方法通常只依赖于纹理生成来编辑表情,而在很大程度上忽略了运动信息。在这项工作中,我们提出了一种新的端到端网络,将面部编辑任务分解为两个步骤:“运动编辑”步骤和“纹理编辑”步骤。在“运动编辑”步骤中,我们通过图像变形明确地对面部运动建模,将图像扭曲成所需的表情。在“纹理编辑”步骤中,我们生成必要的纹理,如牙齿和阴影效果,以获得照片般逼真的效果。我们基于物理的任务分解系统设计允许每一步学习一个集中的任务,消除了生成纹理以产生幻觉运动的需要。我们的系统以自我监督的方式进行训练,不需要地面真实变形注释。使用动作单元[8]作为面部表情的表示,我们的方法在定性和定量评估方面提高了最先进的面部表情编辑性能。
2019-11-05 cs.CV
SurfSurg6D: Geometry Consistent Dense Correspondence for Textureless Surgical Instrument Pose Estimation
National University of Singapore(国立新加坡大学);Chinese University of Hong Kong(香港中文大学)
针对无纹理手术器械位姿估计中的数据稀缺和几何一致性挑战,本文构建了SynSurg6D数据集并提出SurfSurg6D密集对应框架,在多个数据集上实现了优于现有方法的RGB-only位姿估计。
2026-05-25 cs.CV
RePOSE: Fast 6D Object Pose Refinement via Deep Texture Rendering
Carnegie Mellon University(卡内基梅隆大学);Tokyo Institute of Technology(东京工业大学)
我们提出了RePOSE,一个快速迭代细化方法的6D对象姿态估计。现有方法通过将放大的输入和渲染的RGB图像馈送到CNN中并直接回归细化姿态的更新来执行细化。由于CNN的计算成本,它们的运行时间很慢,这在多对象姿态细化中尤其突出。为了克服这个问题,RePOSE利用图像渲染,使用具有可学习纹理的3D模型进行快速特征提取。我们称之为深度纹理渲染,它使用浅层多层感知器直接回归对象的视图不变图像表示。此外,我们利用可微Levenberg-Marquardt(LM)优化,通过最小化输入和渲染图像表示之间的特征度量误差来快速准确地优化姿势,而无需放大。这些图像表示经过训练,使得可微LM优化在几次迭代内收敛。因此,RePOSE以92 FPS运行,并在Occlusion LineMOD数据集上实现了51.6%的最新准确度-比现有技术绝对提高了4.1%,并且在YCB-Video数据集上具有更快的运行时间。该代码可在https://github.com/sh8/repose上获得。
2021-08-19 cs.CV
Real-time Background-aware 3D Textureless Object Pose Estimation
Imperial College London(帝国理工学院)
在这项工作中,我们提出了一种改进的模糊决策森林实时的【形】三维物体姿态估计的基础上典型的模板表示。在决策森林框架中增加了一个抢占式背景拒绝节点,以尽可能早地终止对背景位置的检测,从而显著提高了检测效率。我们的方法也是可扩展的大型数据集,因为树结构自然地提供了一个对数时间复杂度的对象的数量。最后,我们进一步减少验证阶段的快速宽度优先计划。结果表明,我们的方法优于国家的最先进的效率,同时保持相当的准确性。
2019-07-22 cs.CV
Robust Pose Invariant Shape and Texture based Hand Recognition
School of Computer Science and Software Engineering, The University of Western Australia(西澳大学计算机科学与软件工程学院)
本文提出了一种新的个人身份识别和验证系统,利用信息提取的手的形状和纹理。该系统有两个主要的组成模块:一个全自动和强大的peg自由分割和姿态归一化模块,和一个识别模块。在第一个模块中,手从其背景分割使用阈值技术的基础上大津的方法结合肤色检测器。然后提出了一套全自动的算法来分割手掌和手指。在这些算法中,估计手和手指的骨架和轮廓,并用于确定手的全局姿态和每个单独手指的姿态。最后,手掌和手指被裁剪,姿势校正和标准化。在识别模块中,提取各种基于形状和纹理的特征并用于匹配目的。采用改进的Hausdorff距离、迭代最近点(ICP)和独立分量分析(ICA)算法对手指的形状和纹理特征进行提取。对于掌纹,我们使用离散余弦变换(DCT),方向线特征和ICA。识别(识别和验证)测试进行融合策略的基础上的手指和手掌的相似性分数。实验结果表明,该系统在560个不同受试者的数据库中,手部识别和验证的准确率(出错率相等)超过98%,具有较好的性能.
2019-12-22 cs.CV
UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose rendering, Geometry and Texture Editing
The University of Sydney(悉尼大学)
本文提出统一体积化身UVA,通过分离的神经场与锚节点潜在编码实现化身几何和纹理的局部独立编辑,同时保持新视图合成与新姿态渲染的竞争性能。
2023-04-14 cs.CV
Supervised learning for crop/weed classification based on color and texture features
Centre de Developpement de Technologies Avancees(先进技术开发中心)
最近,计算机视觉技术引起了人们对精准农业的极大兴趣。所有基于计算机视觉的精确农业任务的共同目标是检测感兴趣的对象(例如,作物,杂草),并从背景中区分它们。杂草是生长在作物之间的有害植物,它们争夺养分、水分和阳光,导致作物产量损失。杂草检测和绘图对于特定地点的杂草管理至关重要,以减少劳动力成本和除草剂的影响。本文研究了利用颜色和纹理特征来区分大豆作物和杂草。采用两种颜色空间(RGB、HSV)、灰度共生矩阵(GLCM)和局部二值模式(LBP)的特征提取方法对支持向量机(SVM)分类器进行训练。实验是在公开的无人机拍摄的大豆作物图像数据集上进行的。实验结果表明,颜色特征与LBP特征相结合的识别效果最好,准确率达到96%以上。
2021-06-19 cs.CV
Robust Low-Light Human Pose Estimation through Illumination-Texture Modulation
Nanjing University of Posts and Telecommunications(南京邮电大学);Surrey Institute for People-Centred Artificial Intelligence(萨里以人为本人工智能研究所);University of Surrey(萨里大学)
针对极低光照图像下人体姿态估计精度低的问题,提出基于分治原则的频域框架,分别对高低频分量做光照校正和低秩去噪,在多种低光照场景下性能优于现有最优方法。
2025-01-14 cs.CV
Where is the Fake? Patch-Wise Supervised GANs for Texture Inpainting
CMLA, ENS Paris-Saclay(巴黎萨克雷高等师范学院CMLA);Schlumberger AI Lab(斯伦贝谢人工智能实验室);Etudes et Productions Schlumberger(斯伦贝谢研究与生产公司)
我们解决了纹理修复的问题,其中输入图像是具有缺失值的纹理以及指示应该生成的区域的遮罩。图像修补的目标是实现图像的全局和局部一致性。但这些作品在处理纹理时仍然受到限制。实际上,需要使用待完成图像中的局部信息,以便实现局部连续性和视觉上逼真的纹理修复。为此,我们提出了一个新的分段器,它执行分片真/假分类,并由输入掩码进行监督。在训练过程中,它的目的是定位假信号,从而将一致的信号反向传播到生成器。我们在公开的DTD数据集上测试了我们的方法,结果表明,它实现了最先进的性能,并且比现有方法更好地处理了局部一致性。
2020-03-09 cs.CV eess.IV
Self-Supervised Material and Texture Representation Learning for Remote Sensing Tasks
Rutgers University(罗格斯大学);Kitware Inc(Kitware公司)
自监督学习的目标是在不使用人工标注标签的情况下学习图像特征表示。它通常被用作获得有用的初始网络权重的先驱步骤,这有助于更快的收敛和下游任务的卓越性能。虽然自监督允许在不使用标签的情况下减少监督学习和无监督学习之间的域差距,但自监督目标仍然需要对下游任务的强烈归纳偏差,以实现有效的迁移学习。在这项工作中,我们提出了我们的材料和纹理为基础的自监督方法命名为物质(MATTExture和TExture表示学习),这是灵感来自经典的材料和纹理的方法。材料和纹理可以有效地描述任何表面,包括其触觉特性,颜色和镜面反射。通过扩展,材料和纹理的有效表示可以描述与所述材料和纹理强关联的其他语义类。MATTER利用不变区域上的多时相、空间对齐的遥感图像来学习照明和视角的不变性,作为实现材料和纹理表示一致性的机制。我们表明,我们的自我监督预训练方法允许在无监督和微调设置中提高高达24.22%和6.33%的性能,并且在变化检测,土地覆盖分类和语义分割任务上的收敛速度提高高达76%。
2021-12-03 cs.AI cs.CV eess.IV
K-textures, a self-supervised hard clustering deep learning algorithm for satellite image segmentation
University of California, Los Angeles(加州大学洛杉矶分校);NASA-Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室);California Institute of Technology(加州理工学院);National Institute for Space Research – INPE(国家空间研究院);University of São Paulo—USP(圣保罗大学)
仍然缺乏深度学习自监督算法,这些算法可以将图像分割为固定数量的硬标签,例如k均值算法,并且仅依赖于深度学习技术。在这里,我们介绍了k-纹理算法,它提供了一个$k$的类数的4波段图像(RGB-NIR)的自监督分割。给出了它在高分辨率行星卫星图像上的应用实例。我们的算法表明,离散搜索是可行的,使用卷积神经网络(CNN)和梯度下降。该模型检测在模型中表示为$k$离散二进制掩码及其相关联的$k$独立生成的纹理的$k$硬聚类类,其组合是原始图像的模拟。相似性损失是原始图像和模拟图像特征之间的均方误差,两者都是从Keras 'imagenet'预训练VGG-16模型的倒数第二个卷积块和使用Planet数据制作的自定义特征提取器中提取的。k-纹理模型的主要进展是:首先,在模型内部使用梯度下降获得$k$离散二元掩模。该模型允许使用硬S形激活函数的新方法生成离散二进制掩模。其次,它提供了硬聚类类--每个像素只有一个类。最后,与独立考虑每个像素的k均值相比,这里还考虑了上下文信息,并且每个类别不仅与颜色通道中的相似值相关联,而且还与纹理相关联。我们的方法旨在简化卫星图像分割的训练样本的生成,并且可以调整k纹理架构以支持不同数量的波段和更复杂的任务,例如对象自分割。型号代码和重量可在https://doi.org/10.5281/zenodo.6359859上获得
2022-05-27 cs.CV
I2V: Towards Texture-Aware Self-Supervised Blind Denoising using Self-Residual Learning for Real-World Images
Korea University(高丽大学)
虽然自监督盲去噪的进步在合成噪声场景中明显优于没有清洁监督的传统方法,但由于空间相关噪声损坏,它在真实世界的图像中显示出较差的质量。最近,已经提出像素重排下采样(PD)来消除噪声的空间相关性。结合盲点网络(BSN)和非对称PD(AP)的研究成功地证明了自监督盲去噪适用于真实世界的噪声图像。然而,基于PD的推断可能会在测试阶段降低纹理细节,因为高频细节(例如,边缘)在下采样图像中被破坏。为了避免这样的问题,我们提出了没有PD过程的自残差学习来保持纹理信息。我们还提出了一个顺序变化的PD约束,噪声先验损失,和一个有效的推理方案(渐进随机替换细化($\text{PR}^3$)),以提高整体性能。大量实验结果表明,该方法在真实sRGB图像的PSNR、SSIM、LPIPS和DISTS等方面优于现有的自监督盲去噪方法,包括几种监督学习方法.
2023-02-21 cs.CV eess.IV
Supervised Texture Classification Using a Novel Compression-Based Similarity Measure
基于像素的监督纹理分类通常在特征空间中进行。我们建议在(DIS)相似性空间中通过引入新的基于压缩的(DIS)相似性度量来执行此任务。该方法利用二维的MPEG-1编码器,考虑了图像中像素的空间局部性和连通性。所提出的配方已经精心设计的MPEG编码器功能的基础上。为此,通过设计,它只使用P帧编码来找到补丁/图像之间的(不)相似性。我们表明,建议的措施工作正常的小和大的补丁大小。实验结果表明,该方法显着提高了监督基于像素的纹理分类Brodatz和室外图像的性能相比,其他压缩为基础的相异性措施,以及在特征空间中进行的方法。与竞争对手相比,它还将计算速度提高了约40%。
2013-11-26 cs.CV cs.LG
A Backbone Benchmarking Study on Self-supervised Learning as a Auxiliary Task with Texture-based Local Descriptors for Face Analysis
Machine Intelligence Group, Department of CS&IS(机器智能组,计算机科学与信息学系)
本文研究不同骨干网络对自监督学习作为辅助任务在人脸分析中的影响,通过实验验证骨干网络对性能的影响及不同任务的最佳选择。
2026-03-23 cs.CV
Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances
Fraunhofer Heinrich Hertz Institute, HHI(弗劳恩霍夫海因里希赫兹研究所(HHI));Humboldt University of Berlin(柏林洪堡大学);Johannes Kepler University Linz(约翰开普勒林茨大学)
本文提出一个基于NeRF的框架,通过将辐射场围绕SMPL网格扭曲并结合骨骼关节参数实现人体表演的姿态依赖渲染,引入重映射过程优化坐标映射,实现了高质量的新视角与新姿态合成。
2023-11-06 cs.CV
TexturePose: Supervising Human Mesh Estimation with Texture Consistency
University of Pennsylvania(宾夕法尼亚大学)
这项工作解决了基于模型的人体姿态估计的问题。最近的方法已经取得了显着的进展,直接从图像回归参数化人体模型的参数。由于缺乏具有3D形状基础事实的图像,相关方法依赖于2D注释或复杂的架构设计。在这项工作中,我们主张有更多的线索,我们可以利用,这是免费提供的自然图像,即,而无需获得更多注释或修改网络架构。我们提出了一种自然形式的监督,利用一个人在不同的框架(或观点)之间的外观恒定性。这个看似无关紧要且经常被忽视的线索对于基于模型的姿势估计有很大的帮助。我们采用的参数模型允许我们计算每帧的纹理图。假设人的纹理在帧之间没有显著变化,我们可以应用新的纹理一致性损失,这强制纹理图中的每个点在所有帧中具有相同的纹理值。由于纹理是在这个公共纹理映射空间中传输的,因此不需要相机运动计算,甚至不需要假设帧之间的平滑度。这使得我们提出的监督适用于各种设置,从单目视频,多视图图像。我们将我们的方法与强大的基线进行基准测试,这些基线需要与我们所做的相同甚至更多的注释,并且我们始终优于它们。同时,我们在不同的基准之间的基于模型的姿态估计方法取得了最先进的结果。包含视频、结果和代码的项目网站可以在https://seas.upenn.edu/~pavlakos/projects/texturepose上找到。
2019-10-24 cs.CV
Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising
本文提出Frames2Residual框架,通过将自监督训练分为盲时序一致性建模和非盲空间纹理恢复两个阶段,解决视频去噪中时空一致性与空间特异性整合难题,提升去噪效果。
2026-06-29 cs.CV
Non-Destructive Detection of Sub-Micron Imperceptible Scratches On Laser Chips Based On Consistent Texture Entropy Recursive Optimization Semi-Supervised Network
School of Automation, Central South University(中南大学自动化学院)
针对激光芯片亚微米级不可见划痕难检测、标注数据不足的问题,提出 TexRecNet 半监督递归优化网络,利用纹理熵和递归一致性约束实现无损检测,性能显著优于 Unet。
2025-03-17 cs.CV
Pose-variant 3D Facial Attribute Generation
NEC Laboratories America(美国NEC实验室);University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
我们解决了具有挑战性的问题,在不受约束的姿态使用一个单一的图像生成面部属性。与之前主要考虑在2D近正面图像上生成的工作相比,我们提出了一个基于GAN的框架,直接在UV纹理和位置图给出的密集3D表示上生成属性,从而产生逼真的,几何一致的和身份保持的输出。从一个自闭塞的UV纹理图,通过应用现成的3D重建方法,我们提出了两个新的组件。首先,纹理完成生成对抗网络(TC-GAN)完成部分UV纹理图。第二,3D属性生成GAN(3DA-GAN)合成目标属性,同时获得与3D面部几何形状一致的外观并保持身份。CelebA,LFW和IJB-A上的大量实验表明,我们的方法比以前的方法,更高程度的定性照片真实感和保留人脸身份信息,实现了更好的属性生成精度。
2019-07-24 cs.CV
Neural Active Structure-from-Motion in Dark and Textureless Environment
Kyushu University(九州大学);Fujitsu Defense & National Security Limited(富士通防务与国家安全有限公司)
本文提出Active SfM方法,利用神经符号距离场对结构光系统进行体素形状全优化,在无纹理暗环境中仅凭稀疏投影图案同时实现场景重建与系统位姿估计。
2024-10-20 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute(丰田工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对静止图像中的人体姿态估计,本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计,但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案,这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中,只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高,所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态,但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
Learning Visual Representations for Transfer Learning by Suppressing Texture
University of Maryland, College Park(马里兰大学学院公园分校);Johns Hopkins University(约翰霍普金斯大学);Yonsei University(延世大学);Axogyan AI
最近的文献表明,从CNN的监督训练中获得的特征可能会过度强调纹理,而不是编码高级信息。特别是在自监督学习中,纹理作为低级线索可以提供阻止网络学习更高级表示的捷径。为了解决这些问题,我们建议使用基于各向异性扩散的经典方法来使用具有抑制纹理的图像来增强训练。这种简单的方法有助于保留重要的边缘信息,同时抑制纹理。我们的经验表明,我们的方法在监督或自监督学习任务(如MoCoV 2和Jigsaw)中使用八个不同的数据集实现了目标检测和图像分类的最新结果。我们的方法对于迁移学习任务特别有效,我们在五个标准迁移学习数据集上观察到了性能的提高。在Sketch-ImageNet数据集、DTD数据集和使用显着图的额外视觉分析上的大幅改进(高达11.49%)表明,我们的方法有助于学习更好的表示,从而更好地传递。
2023-01-27 cs.CV cs.LG
Self-Supervised Learning of a Biologically-Inspired Visual Texture Model
Center for Neural Science(神经科学中心);New York University(纽约大学);Courant Inst. of Mathematical Sciences(库朗数学科学研究所);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
我们开发了一个模型,用于表示在低维特征空间的视觉纹理,随着一个新的自监督学习目标,用于训练它的一个未标记的纹理图像数据库。受灵长类视觉皮层架构的启发,该模型使用第一阶段的定向线性滤波器(对应于皮层区域V1),由整流单元(简单细胞)和合并的相位不变单元(复杂细胞)组成。这些响应由第二阶段(类似于皮层区域V2)处理,该第二阶段由卷积滤波器组成,随后是半波整流和汇集以生成V2“复合细胞”响应。第二阶段的过滤器上训练的一组未标记的均匀纹理图像,使用一种新的对比目标,最大化的V2响应的分布之间的距离,以个别图像和所有图像的响应的分布。当对纹理分类进行评估时,经过训练的模型比各种深度分层模型架构实现了更高的数据效率。此外,我们还发现,学习模型与灵长类动物V2中记录的神经种群的纹理响应具有比预训练的深度CNN更强的代表性相似性。
2020-06-30 cs.CV cs.LG q-bio.NC
Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment
Korea Advanced Institute of Science and Technology(韩国科学技术院)
由于发型的复杂性和微妙性,编辑发型是独特而具有挑战性的。虽然最近的方法显着改善了头发的细节,这些模型往往会产生不希望的输出时,源图像的姿态是相当不同的目标头发图像,限制了他们的现实世界的应用。HairFIT是一种姿态不变的发型转移模型,它克服了这一限制,但在保持精致的头发纹理方面仍然表现出令人不满意的质量。为了解决这些限制,我们提出了一个高性能的姿态不变发型转移模型,该模型配备了潜在优化和新提出的局部风格匹配损失。在StyleGAN2潜在空间中,我们首先探索目标头发的姿势对齐的潜在代码,并基于局部风格匹配保留详细的纹理。然后,我们的模型考虑对齐的目标头发对源的遮挡进行修补,并混合两个图像以产生最终输出。实验结果表明,我们的模型具有优势,在更大的姿势差异下转移发型和保持局部发型纹理。
2022-08-16 cs.CV
Self-supervised Visual Attribute Learning for Fashion Compatibility
Boston University(波士顿大学)
许多自监督学习(SSL)方法已经成功地通过解决借口任务来学习语义上有意义的视觉表示。然而,SSL中的先前工作集中在对象识别或检测等任务上,这些任务旨在学习对象形状,并假设特征应该对颜色和纹理等概念保持不变。因此,这些SSL方法在这些概念提供关键信息的下游任务上执行得很差。在本文中,我们提出了一个SSL框架,使我们能够学习颜色和纹理感知功能,而无需在训练过程中的任何标签。我们的方法包括三个自我监督的任务,旨在捕捉在以前的工作中被忽略的不同概念,我们可以根据下游任务的需要进行选择。我们的任务包括学习预测颜色直方图,并从每个实例中区分不成形的局部补丁和纹理。我们使用Polyvore Outfits和Deepfashion的店内服装检索来评估我们的时尚兼容性方法,比之前的SSL方法提高了9.5- 16%,甚至在Polyvore Outfits上的一些监督方法中表现更好,尽管没有使用标签。我们还表明,我们的方法可以用于迁移学习,证明我们可以在一个数据集上进行训练,同时在不同的数据集上实现高性能。
2021-08-12 cs.CV
Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, CASIA(中国科学院自动化研究所脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
面部正面化是指从给定的轮廓合成面部的正面视图的过程。由于自遮挡和外观失真在野外,这是非常具有挑战性的恢复忠实的结果,并保留纹理细节在一个高分辨率。本文提出了一种高保真姿态不变模型(HF-PIM),以产生摄影和身份保持的结果。HF-PIM通过一种新颖的纹理扭曲过程对轮廓进行正面化,并利用密集的对应字段来绑定2D和3D表面空间。我们将变形的先决条件分解为稠密对应场估计和面部纹理图恢复,这两个问题都可以通过深度网络很好地解决。与那些依赖于3D数据的重建方法不同,我们还提出了对抗残差字典学习(ARDL)来监督人脸纹理图的恢复。在受控和非受控环境下的详尽实验表明,该方法不仅提高了姿态不变人脸识别的性能,而且显着提高了高分辨率的正面化外观。
2018-10-06 cs.CV
Liver Fibrosis and NAS scoring from CT images using self-supervised learning and texture encoding
Rutgers University(罗格斯大学);Rutgers Robert Wood Johnson Medical School(罗格斯罗伯特·伍德·约翰逊医学院)
非酒精性脂肪性肝病(NAFLD)是慢性肝病(CLD)最常见的原因之一,可进展为肝癌。NAFLD的严重程度和治疗由NAFLD活动评分(NAS)和肝纤维化阶段确定,其通常从肝活检获得。然而,活检本质上是侵入性的,并且涉及手术并发症的风险。目前从非侵入性CT图像预测纤维化和NAS评分的方法在很大程度上依赖于大型注释数据集或使用预训练网络的转移学习。然而,无法始终确保大型注释数据集的可用性,并且在使用迁移学习时可能会发生域转移。在这项工作中,我们提出了一种自监督学习方法来解决这两个问题。由于NAFLD导致肝脏纹理的变化,我们还建议使用纹理编码输入来提高模型的性能。考虑到一个相对较小的数据集,有30名患者,我们采用了一个自监督网络,它比通过迁移学习训练的网络性能更好。该代码可在www.example.com上公开获取。
2021-03-15 cs.CV eess.IV
ClipFace: Text-guided Editing of Textured 3D Morphable Models
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出 ClipFace,通过可微渲染、对抗训练与 CLIP 损失自监督联合预测三维可变形人脸模型的纹理和表情潜码,实现文本引导的高质量三维人脸编辑及动态纹理生成。
2023-04-24 cs.CV cs.GR
Crowd Counting by Self-supervised Transfer Colorization Learning and Global Prior Classification
The Hong Kong University of Science and Technology(香港科技大学)
标记的人群场景图像是昂贵且稀缺的。为了显着降低对标记图像的要求,我们提出了ColorCount,这是一种新的基于CNN的方法,通过结合自监督转移着色学习和全局先验分类来利用大量可用的未标记数据。自监督着色分支通过使用其颜色分量作为伪标签来学习图像的语义和表面纹理。分类分支通过学习图像簇之间的相关性来提取全局组先验。它们融合的结果判别特征(全局先验、语义和纹理)为计数提供了充足的先验,从而显著降低了对标记图像的要求。我们对四个具有挑战性的基准进行了广泛的实验。与其他无监督方法相比,ColorCount实现了更好的性能。它的性能接近监督基线,具有显著更少的标记数据(原始数据的10%)。
2021-05-20 cs.CV
TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes
Department of Computer Science, The University of Texas at Dallas(计算机科学系,德克萨斯大学达拉斯分校)
TexHOI提出一种从单目视频重建手物交互场景中未知物体高保真纹理的方法,通过辐射场复合渲染、手物姿态优化和物理渲染参数细化,首次显式建模手对光照与阴影的影响,超越现有最优方法。
2025-02-04 cs.CV
EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
Max Plank Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);University of Maryland(马里兰大学)
我们介绍了EgoRenderer,这是一种用于渲染由可穿戴的、以自我为中心的鱼眼相机捕获的人的全身神经化身的系统,该相机安装在帽子或VR头戴式设备上。我们的系统呈现逼真的新观点的演员和她的运动从任意虚拟相机的位置。从这种以自我为中心的图像渲染全身化身带来了独特的挑战,因为自上而下的视图和大的失真。我们通过将渲染过程分解为几个步骤来解决这些挑战,包括纹理合成,姿势构建和神经图像转换。对于纹理合成,我们提出了自我DPNet,一个神经网络,推断输入鱼眼图像和一个底层的参数化身体模型之间的密集对应关系,并从自我中心的输入中提取纹理。此外,为了对动态外观进行编码,我们的方法还学习了一个隐式纹理堆栈,该堆栈可以捕获姿势和视点之间的详细外观变化。为了生成正确的姿势,我们首先使用参数模型从自我中心视图估计身体姿势。然后,我们合成一个外部的自由视点姿态图像投影的参数模型,用户指定的目标视点。接下来,我们将目标姿态图像和纹理组合成组合特征图像,使用神经图像转换网络将其转换为输出彩色图像。实验评估表明,EgoRenderer能够生成一个人戴着一个以自我为中心的相机的现实自由视点化身。与几个基线的比较证明了我们方法的优势。
2021-11-24 cs.CV
ORTexME: Occlusion-Robust Human Shape and Pose via Temporal Average Texture and Mesh Encoding
National University of Singapore(新加坡国立大学);CtrsVision
本文提出 ORTexME,通过平均纹理学习和人体网格引导 NeRF 不透明度场更新,利用时序信息正则化遮挡部位,在 3DPW 数据集上将 P-MPJPE 误差降低 1.8,显著优于现有渲染方法。
2023-09-21 cs.CV
Partially Supervised Multi-Task Network for Single-View Dietary Assessment
ARTORG Center for Biomedical Engineering Research, University of Bern(伯尔尼大学ARTORG生物医学工程研究中心)
食物体积估计是膳食评估流程中必不可少的一步,需要精确估计食物表面和台面的深度估计。现有的基于计算机视觉的方法要么需要多幅图像输入,要么需要额外的深度图,降低了实现的便利性和实际意义。尽管最近在从单个图像进行无监督深度估计方面取得了进展,但在大的无纹理区域的情况下所实现的性能需要改进。在本文中,我们提出了一种网络架构,联合执行几何理解(即,深度预测和3D平面估计)以及对单个食物图像的语义预测,从而实现稳健且准确的食物体积估计,而不管目标平面的纹理特性如何。对于网络的训练,只需要具有语义地面实况的单眼视频,而不再需要深度图和3D平面地面实况。在两个独立的食物图像数据库上的实验结果表明,该方法在无纹理的情况下表现稳健,优于无监督网络和基于运动恢复结构运动恢复结构的方法,同时它实现了与全监督方法相当的性能。
2020-07-15 cs.CV
Iterative Optimisation with an Innovation CNN for Pose Refinement
Australian National University(澳大利亚国立大学);University of Technology(悉尼科技大学)
由于光照条件和视点的变化,从单个RGB图像中估计物体的姿态是一个具有挑战性的问题。最准确的姿态估计网络通过已知的纹理化3D模型的重投影来实现姿态细化,然而,如果没有观察到的对象的高质量3D模型,则不能应用这样的方法。在这项工作中,我们提出了一种方法,即创新CNN,对象姿态估计的改进,克服了重新投影纹理3D模型的要求。我们的方法通过在随机梯度下降(SGD)框架中迭代地应用创新CNN来逐步改进初始姿态估计。我们在流行的LINEMOD和Occlusion LINEMOD数据集上评估了我们的方法,并在这两个数据集上获得了最先进的性能。
2021-01-22 cs.CV
PIXIE: A Zero-Shot texture-invariant 6D pose estimation framework for unseen objects with assembly defects
Carl Zeiss AG(卡尔蔡司股份公司);Carl Zeiss Digital Innovation(卡尔蔡司数字创新公司)
PIXIE是用于有装配缺陷的未见物体的零样本纹理不变6D姿态估计框架,仅用无纹理3D模型从RGB图像估计姿态,通过合成深度和法线图匹配关键点,基于PnP估计姿态,对光照和纹理变化鲁棒,在基准测试中取得好结果并引入新数据集。
2026-07-21 cs.CV cs.RO
Self-Supervised Monocular Depth Estimation of Untextured Indoor Rotated Scenes
Delft University of Technology(代尔夫特理工大学)
自监督深度学习方法已经利用立体图像来训练单眼深度估计。虽然这些方法在室外数据集(如KITTI)上显示出很强的结果,但它们在室内环境中的监督方法与摄像机旋转的性能不匹配。室内,旋转场景是常见的较少限制的应用程序,并提出了两个原因的问题:丰富的低纹理区域和旋转下的图像的深度线索的复杂性增加。为了将自监督学习扩展到更一般的环境中,我们提出了两个补充。首先,我们提出了一种新的填充视差损失项,纠正无纹理区域中图像重建误差损失的模糊性。具体来说,我们插值视差在无纹理区域,使用周围的纹理区域的估计视差,并使用L1损失来纠正原来的估计。我们的实验表明,深度估计是大大提高了低纹理场景,没有任何损失的纹理场景,相比Monodepth由戈达尔等人。其次,我们表明,训练与应用程序的代表性旋转,在俯仰和滚动,是足以显着提高性能在整个范围内的预期旋转。我们证明,深度估计是成功地推广的性能不会丢失时,没有相机旋转的测试集上进行评估。这些发展一起使得能够更广泛地使用用于复杂环境的单目深度估计的自监督学习。
2021-06-25 cs.CV cs.LG
A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image
Lancaster University(兰卡斯特大学);St John’s College of the University of Oxford(牛津大学圣约翰学院)
针对单RGB图像3D手部重建现有方法的缺陷,提出融合先验网络、AMVUR模型和遮挡感知纹理回归的概率模型,可在监督/弱监督场景下实现SOTA的手部及纹理重建精度。
2023-04-27 cs.CV
Consistent 3D Hand Reconstruction in Video via self-supervised Learning
Wuhan University(武汉大学);Technical University of Munich(慕尼黑工业大学);Tencent AI Lab(腾讯人工智能实验室);University at Buffalo(布法罗大学)
我们提出了一种方法重建准确和一致的3D手从单目视频。我们观察到,检测到的2D手部关键点和图像纹理提供了关于3D手部的几何形状和纹理的重要线索,这可以减少甚至消除对3D手部标注的要求。因此,我们提出了${\rm {S}^{2}HAND}$,一个自我监督的3D手部重建模型,它可以通过监督易于访问的2D检测到的关键点,从单个RGB输入联合估计姿势,形状,纹理和相机视点。我们利用未标记的视频数据中包含的连续手部运动信息,提出了${\rm {S}^{2}HAND(V)}$,它使用一组共享的权重${\rm {S}^{2}HAND}$来处理每一帧,并利用额外的运动,纹理和形状一致性约束,以促进更准确的手部姿势和更一致的形状和纹理。在基准数据集上的实验表明,与目前的全监督方法相比,该方法在单帧输入下具有相当的手部重建性能,并且在使用视频训练数据时显著提高了重建精度和一致性.
2023-03-20 cs.AI cs.CV
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS(NAVER实验室);University of Maryland(马里兰大学)
我们提出了一种新的管道,用于在野外使用单个智能手机获取纹理网格,该智能手机可以访问图像,深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构,它可以产生过滤后的深度图,并根据相应的深度来细化相机姿态。然后,我们采用神经隐式曲面重建方法,它允许高质量的网格,并开发了一个新的训练过程,用于应用经典的多视图立体视觉方法提供的正则化。此外,我们应用微分渲染微调不完整的纹理地图,并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象,而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果,并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
Towards Texture- And Shape-Independent 3D Keypoint Estimation in Birds
Department of Computer and Information Science, University of Konstanz, Germany(康斯坦茨大学计算机与信息科学系);Centre for the Advanced Study of Collective Behaviour, University of Konstanz, Germany(康斯坦茨大学集体行为高级研究所以);Department of Collective Behavior, Max Planck Institute of Animal Behavior, Germany(动物行为马克斯·普朗克研究所集体行为系);Department of Biology, University of Konstanz, Germany(康斯坦茨大学生物学系)
本文提出一种与纹理无关的鸟类三维关键点估计方法,基于3D-MuPPET框架利用轮廓分割估计二维关键点并三角化,在鸽子上精度相当,且无需微调即可推广到其他鸟类。
2025-05-22 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);IWR, Heidelberg University(海德堡大学跨学科科学计算中心)
人体姿势分析目前由深度卷积网络主导,该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要,我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合,作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签,因此我们的方法采用了课程学习的思想,即从最可靠的数据样本开始训练,并逐渐增加难度。为了进一步完善训练过程,我们挖掘了单个视频中的重复姿势,这些姿势提供了可靠的标签,同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征,可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会,利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Exploring Localization for Self-supervised Fine-grained Contrastive Learning
Westlake University(西湖大学);Zhejiang University(浙江大学)
自监督对比学习在学习视觉表征方面表现出巨大的潜力。尽管它们在诸如图像分类和目标检测等各种下游任务中取得了成功,但用于细粒度场景的自监督预训练尚未得到充分探索。我们指出,目前的对比方法是容易记忆的背景/前景纹理,因此有一个局限性,在定位前景物体。分析表明,学习提取有区别的纹理信息和定位对于细粒度的自监督预训练同样重要。基于我们的研究结果,我们介绍了跨视图显着性对齐(CVSA),一个对比学习框架,首先作物和交换显着区域的图像作为一个新的视图生成,然后引导模型本地化前景对象通过跨视图对齐损失。在小规模和大规模细粒度分类基准上的大量实验表明,CVSA显着提高了学习的表示。
2022-10-11 cs.CV
Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
Mercedes-Benz AG(梅赛德斯-奔驰集团);Universität Ulm(乌尔姆大学)
我们提出了一个自监督学习算法的三维人体姿态估计的一个人的基础上的多视图摄像机系统和二维人体姿态估计为每个视图。为了训练我们的模型,由深度神经网络表示,我们提出了一种四损失函数学习算法,其不需要任何2D或3D身体姿势地面实况。所提出的损失函数利用多视图几何来重建3D身体姿态估计并在相机视图上施加身体姿态约束。我们的方法在训练期间利用所有可用的相机视图,而推理是单视图。在我们的评估中,我们在Human3.6M和HumanEva基准测试中表现出了良好的性能,同时我们还对MPI-INF-3DHP数据集进行了泛化研究,以及几个消融结果。总的来说,我们优于所有的自监督学习方法,并达到监督和弱监督学习方法的可比结果。我们的代码和模型是公开的
2021-08-17 cs.CV