Learning CLIP Guided Visual-Text Fusion Transformer for Video-based Pedestrian Attribute Recognition
Anhui University(安徽大学)
针对静态图像 PAR 在遮挡和模糊等场景下不可靠的问题,提出 CLIP 引导的视觉-文本融合 Transformer,利用视频时间信息与属性语义实现行人属性预测。
2023-04-20 cs.CV cs.MM
A Demographic Attribute Guided Approach to Age Estimation
Xidian University(西安电子科技大学)
基于人脸的年龄估计在公安监控、人机交互等领域有着广泛的应用,引起了极大的关注。随着深度学习的蓬勃发展,基于深度神经网络的年龄估计成为主流。但寻求更适合年龄变化特征的问题范式、设计相应的损失函数以及设计更有效的特征提取模块仍有待研究。此外,人脸年龄的变化还与种族和性别等人口统计学属性有关,不同年龄组的动态也有很大差异。这个问题至今没有得到足够的重视。如何利用人口统计学属性信息来提高年龄估计的性能还有待进一步探索。针对这些问题,本研究充分利用人脸属性的辅助信息,提出了一种新的具有属性指导模块的年龄估计方法。我们首先设计了一个多尺度注意力残差卷积单元(MAMCU)来提取鲁棒的面部特征,而不是简单地使用其他标准特征模块,如VGG和ResNet。然后,在通过全连接(FC)层进行特别处理后,面部人口统计属性通过1*1卷积层进行加权求和,并最终通过全局FC层与年龄特征合并。最后,我们提出了一个新的错误压缩排名(ECR)损失,以更好地收敛年龄回归值。在UTKFace,LAP 2016和Morph三个公共数据集上的实验结果表明,与其他最先进的方法相比,我们提出的方法具有更好的性能。
2022-05-20 cs.CV cs.HC cs.MM
SSPNet: Scale and Spatial Priors Guided Generalizable and Interpretable Pedestrian Attribute Recognition
Jiangsu University(江苏大学);Jiangsu University of Science and Technology(江苏科技大学);University of North Texas(北德克萨斯大学);Southeast University(东南大学)
本文提出 SSPNet,通过 AFSS 自适应选择尺度先验并利用 PLE 挖掘空间位置先验,以提升行人属性识别的泛化性、可解释性及弱监督定位性能。
2023-12-11 cs.CV
Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting
Google Research(谷歌研究院)
本文提出Imagen Editor级联扩散模型,通过训练时目标检测器提议掩码提升文本引导图像修复的忠实度,并构建EditBench基准,经人工评估验证其在文本-图像对齐上优于DALL-E 2和Stable Diffusion。
2023-04-12 cs.AI cs.CV
Pedestrian Attribute Recognition via Hierarchical Cross-Modality HyperGraph Learning
School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学)
本文针对行人属性识别中属性知识与上下文信息利用不足的问题,提出构建多模态知识图谱,并引入知识图谱引导的跨模态超图学习框架,在多个PAR基准数据集上验证了其有效性。
2025-09-26 cs.AI cs.CV
ClothFit: Cloth-Human-Attribute Guided Virtual Try-On Network Using 3D Simulated Dataset
RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道莱茵兰-普法尔茨技术大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Shapematchr GmbH(Shapematchr有限公司)
本文提出ClothFit虚拟试穿方法,结合服装实际尺寸与人体属性,利用U-Net架构合成真实试穿图像,显著提升了照片级真实感。
2023-06-24 cs.CV
Gaze-Guided Learning: Avoiding Shortcut Bias in Visual Classification
Tianjin Normal University(天津师范大学)
本文针对视觉分类中因特征定位不准导致的捷径偏差问题,提出结合人类注视时间序列数据集 Gaze-CIFAR-10 与双序列注视编码器,并通过跨模态融合 ViT 视觉序列来纠正定位,实验证明可显著提升分类准确率。
2025-04-08 cs.CV
Resampled Datasets Are Not Enough: Mitigating Societal Bias Beyond Single Attributes
Sony AI(索尼人工智能);Osaka University(大阪大学);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学)
针对图文数据集中传统偏见缓解方法仅处理标注属性、忽略未标注属性偏见的问题,提出结合文本引导修复模型与数据过滤的方法,实现受保护群体与全属性独立,在多任务多模型上有效降偏见且保性能。
2024-07-11 cs.CV
Attribute-Guided Face Generation Using Conditional CycleGAN
The Hong Kong University of Science and Technology(香港科技大学);Tencent Youtu(腾讯优图)
我们感兴趣的是属性引导的人脸生成:给定一个低分辨率的人脸输入图像,可以从高分辨率图像(属性图像)中提取的属性向量,我们的新方法为满足给定属性的低分辨率输入生成高分辨率的人脸图像。为了解决这个问题,我们调节CycleGAN并提出条件CycleGAN,其被设计为1)处理未配对的训练数据,因为训练低/高分辨率和高分辨率属性图像可能不一定彼此对齐,以及2)允许通过输入属性轻松控制生成的面部的外观。我们在属性引导的条件CycleGAN上展示了令人印象深刻的结果,它可以合成逼真的人脸图像,其外观可以通过用户提供的属性(例如,性别、化妆、发色、眼镜)。使用属性图像作为身份来产生相应的条件向量,并通过结合人脸验证网络,属性引导网络成为身份引导条件CycleGAN,它在身份转移方面产生了令人印象深刻和有趣的结果。我们展示了三个身份引导条件CycleGAN的应用:身份保持人脸超分辨率,人脸交换和正面人脸生成,这始终显示了我们的新方法的优势。
2018-11-14 cs.CV cs.LG stat.ML
Localization Guided Learning for Pedestrian Attribute Recognition
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
行人属性识别在监控视频的场景理解和人物分析中有着广泛的应用,因此受到了人们的广泛关注。现有方法尝试使用额外的姿势、零件或视角信息来补充属性分类的全局特征表示。然而,这些方法在定位对应于不同属性的区域时面临困难。为了解决这个问题,我们提出了一种新的本地化引导网络,它分配属性特定的权重的基础上的建议预提取的建议和属性位置之间的亲和力的本地功能。我们的模型的优点是,我们的本地功能自动学习每个属性,并强调与全球功能的相互作用。我们证明了我们的本地化引导网络的有效性两个行人属性基准(PA-100 K和RAP)。我们的结果在两个数据集的所有五个指标上都超过了以前的最先进水平。
2018-08-28 cs.CV
PAGER: Progressive Attribute-Guided Extendable Robust Image Generation
University of Southern California(南加州大学)
本文提出了一种基于连续子空间学习的生成式建模方法。与文献中的大多数生成模型不同,我们的方法不利用神经网络来分析潜在的源分布和合成图像。由此产生的方法,称为渐进属性引导的可扩展的鲁棒图像生成(PAGER)模型,具有数学透明性,渐进的内容生成,较低的训练时间,更少的训练样本的鲁棒性能,和条件图像生成的可扩展性的优势。PAGER由三个模块组成:核心生成器,分辨率增强器和质量增强器。核心生成器学习低分辨率图像的分布并执行无条件图像生成。分辨率增强器通过条件生成来增加图像分辨率。最后,质量提升器为生成的图像添加更精细的细节。在MNIST、Fashion-MNIST和CelebA数据集上进行了广泛的实验,以证明PAGER的生成性能。
2022-08-23 cs.AI cs.CV cs.LG
TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Nanjing University of Science and Technology(南京理工大学);Fudan University(复旦大学);Institute of North Electronic Equipment(北方电子设备研究所);Peng Cheng Laboratory(鹏城实验室);Sea AI Lab(Sea人工智能实验室);Terminus Group(特斯联集团)
零样本学习(Zero-shot learning,简称ZRL)通过将语义知识从可见的类转移到不可见的类来解决新的类识别问题。现有的基于注意力的模型仅使用单向注意力来学习单个图像中的劣区域特征,这忽略了视觉特征的可转移性和区分性属性定位。在本文中,我们提出了一个跨属性引导的Transformer网络,称为transZero++,细化视觉特征,并学习准确的属性定位语义增强的视觉嵌入表示在CNOL。TransZero++由属性$\rightarrow$可视Transformer子网(AVT)和属性$\rightarrow$可视Transformer子网(VAT)组成。具体而言,AVT首先采用特征增强编码器来缓解跨数据集问题,并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可传递性。然后,一个属性$\rightarrow$视觉解码器被用来本地化的图像区域最相关的每个属性在一个给定的图像基于属性的视觉特征表示。类似地,VAT使用相似特征增强编码器来细化视觉特征,其进一步应用于视觉$\rightarrow$属性解码器中以学习基于视觉的属性特征。通过进一步引入语义协作损失,这两个属性引导的Transformers通过语义协作学习来相互学习语义增强的视觉嵌入。大量的实验表明,TransZero++在三个具有挑战性的BTL基准测试中取得了最新的结果。代码可在以下网址获得:\url{https…
2022-12-13 cs.AI cs.CV
GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing
Shenzhen University(深圳大学)
虽然无条件生成对抗网络(GANs)在合成高质量和视觉逼真的人脸图像方面取得了重大进展,但仍然缺乏对生成过程的控制,以实现语义人脸编辑。此外,在编辑目标属性时保持其他人脸信息不变仍然是非常具有挑战性的。在本文中,我们提出了一个新的学习框架,称为GuidedStyle,通过用知识网络指导图像生成过程,在StyleGAN上实现语义人脸编辑。此外,我们允许在StyleGAN生成器中的注意力机制自适应地选择单个层进行样式操作。因此,我们的方法能够沿着各种属性执行分离和可控的编辑,包括微笑,眼镜,性别,胡子和头发颜色。定性和定量的结果表明,我们的方法优于其他竞争方法的语义人脸编辑。此外,我们表明,我们的模型也可以应用于不同类型的真实和艺术的人脸编辑,表现出很强的泛化能力。
2020-12-22 cs.CV
Attribute-guided Feature Extraction and Augmentation Robust Learning for Vehicle Re-identification
Beihang University(北京航空航天大学);Xidian University(西安电子科技大学)
车辆重识别是智能交通系统和智慧城市的核心技术之一,但类内差异性和类间相似性大给现有方法带来了巨大挑战。在本文中,我们提出了一种多引导学习方法,利用属性的信息,同时引入两个新的随机增广,以提高在训练过程中的鲁棒性。此外,本文还提出了属性约束方法和组重排序策略来细化匹配结果。我们的方法在CVPR 2020 AI城市挑战赛中实现了66.83%的mAP和76.05%的rank-1准确率。
2020-05-13 cs.CV
Attribute-Centered Loss for Soft-Biometrics Guided Face Sketch-Photo Recognition
West Virginia University(西弗吉尼亚大学)
面部草图能够捕捉面部的空间拓扑,同时缺少一些面部属性,如种族、皮肤或头发颜色。现有的素描照片识别方法大多忽略了面部属性的重要性。在本文中,我们提出了一个新的损失函数,称为属性中心损失,训练深度耦合卷积神经网络(DCCNN)的面部属性引导草图照片匹配。具体来说,提出了一种以属性为中心的损失,它在共享的嵌入空间中学习几个不同的中心,用于具有不同属性组合的照片和草图。DCCNN同时被训练成围绕其关联中心映射照片和成对的已证实属性以及相应的法医草图,同时保留空间拓扑信息。重要的是,这些中心学会了彼此保持相对距离,这与它们相互矛盾的属性的数量有关。复合(E-PRIP)和半法医(IIIT-D半法医)数据库进行了广泛的实验。所提出的方法显着优于最先进的。
2018-04-09 cs.CV
AKGNet: Attribute Knowledge-Guided Unsupervised Lung-Infected Area Segmentation
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
针对现有肺部感染区域分割方法依赖人工标注的问题,提出无监督框架AKGNet,通过属性知识学习、交叉注意力融合及伪标签自训练实现无掩码标注的精准分割,性能优于现有无监督分割技术。
2024-04-17 cs.AI cs.CV
Attribute-Guided Deep Polarimetric Thermal-to-visible Face Recognition
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一个属性引导的深度耦合学习框架,以解决将偏振热人脸照片与可见人脸库进行匹配的问题。耦合框架包含两个子网络,一个专用于可见光谱,第二子网络专用于偏振热光谱。每个子网络由生成对抗网络(GAN)架构组成。提出了一种新的属性引导耦合生成对抗网络(AGC-GAN)结构,利用人脸属性来提高热-可见人脸识别性能。所提出的AGC-GAN利用面部属性,并利用多个损失函数,以便在一个共同的嵌入子空间中学习丰富的判别特征。为了在保留鉴别信息的同时实现逼真的照片重建,我们还将感知损失项添加到耦合损失函数中。进行烧蚀研究以显示不同损失函数对于优化所提出的方法的有效性。此外,该模型的优越性相比,国家的最先进的模型证明使用极化数据集。
2019-07-27 cs.CV
Attribute-guided Feature Learning Network for Vehicle Re-identification
Dalian Maritime University(大连海事大学)
车辆再识别(reID)在城市监控视频的自动分析中起着重要作用,近年来已成为一个研究热点。然而,由于车辆视角的多样性、照明的多样性和环境的复杂性,这就提出了一个严峻而具有挑战性的问题。目前,大多数车辆识别方法都是通过学习度量或集成来获得更好的表示,这些方法只考虑车辆的标识标签。然而,包含详细描述的车辆属性有利于训练reID模型。因此,本文提出了一种新的属性引导网络(AGNet),它可以学习全局表示与丰富的属性特征,在一个端到端的方式。特别地,在AGNet中提出了一个属性引导模块来生成属性掩码,该属性掩码可以反向引导类别分类中的鉴别特征的选择。此外,在我们提出的AGNet中,基于属性的标签平滑(ALS)损失,提出了更好的训练的reID模型,它可以加强车辆reID模型的区别能力,根据属性规则化AGNet模型。综合实验结果清楚地表明,我们的方法在VehicleID数据集和VeRi-776数据集上都取得了优异的性能。
2020-01-12 cs.CV
High Diversity Attribute Guided Face Generation with GANs
Intel(英特尔)
在这项工作中,我们专注于基于GAN的解决方案,用于属性引导的人脸合成。以前的作品利用GANs来生成照片级逼真的人脸图像,并且没有注意到所生成图像的多样性问题。所提出的解决方案又引入了单位复数的新潜在空间,能够提供比训练数据集的大小高3倍的“生日悖论”分数的多样性。需要强调的是,我们的结果是在相对较小的数据集上显示的(20k样本vs 200k样本),同时在显着更高的分辨率上保留了生成的人脸的照片般逼真的特性(128x128,而以前的作品为32x32)。
2018-06-28 cs.CV
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research(百度研究院)
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而,不利用任何明确的部分信息,他们不能准确地找到多个独特的区域。在这项工作中,我们引入了一个属性引导的注意力定位方案,局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略,我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明,该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
CVE-SAI: Counterfactual Visual Evidence-Guided Selective Attribute Indexing for Risk-Controlled E-commerce Search
Sun Yat-Sen University(中山大学);Nanyang Technological University(南洋理工大学);Tencent(腾讯)
本研究提出CVE-SAI方法,将电商属性推断与索引准入分离,通过反事实视觉证据控制风险,在5%不安全准入预算下,于Amazon Berkeley Objects数据集上实现了更优的属性补全与检索性能。
2026-08-27 cs.AI cs.CV
TransZero: Attribute-guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Chinese Academy of Sciences(中国科学院大学)
零样本学习(Zero-shot learning,ZRL)的目标是通过将语义知识从可见类转移到不可见类来识别新类。语义知识是从不同类别之间共享的属性描述中学习的,这些属性描述充当用于局部化表示有区别的区域特征的对象属性的强先验,从而实现显著的视觉-语义交互。虽然一些基于注意力的模型已经尝试在单个图像中学习这样的区域特征,但是视觉特征的可转移性和区分性属性定位通常被忽略。在本文中,我们提出了一个属性引导的Transformer网络,称为transZero,细化视觉特征和学习属性定位的歧视性视觉嵌入表示在CNOL。具体而言,TransZero采用特征增强编码器来减轻ImageNet和BML基准之间的跨数据集偏差,并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可转移性。为了学习局部增强的视觉特征,TransZero采用视觉语义解码器,在语义属性信息的指导下,对给定图像中与每个属性最相关的图像区域进行局部化。然后,局部增强的视觉特征和语义向量进行有效的视觉语义嵌入网络中的视觉语义交互。大量的实验表明,TransZero在三个测试基准上达到了最新的技术水平。代码可在以下网址获得:\url{https://github.com/shiming-chen/TransZero}。
2021-12-03 cs.AI cs.CV
Attribute-Guided Coupled GAN for Cross-Resolution Face Recognition
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一种新的属性引导的交叉分辨率(低分辨率到高分辨率)的人脸识别框架,利用耦合生成对抗网络(GAN)结构与对抗训练,以找到隐藏的低分辨率和高分辨率图像之间的关系在潜在的共同嵌入子空间。耦合GAN框架由两个子网组成,一个专用于低分辨率域,另一个专用于高分辨率域。每个子网络的目标是找到一个投影,最大化两个特征域之间的成对相关性在一个共同的嵌入子空间。除了将图像投影到一个公共的子空间,耦合网络还预测人脸属性,以提高跨分辨率人脸识别。具体来说,我们提出的耦合框架利用面部属性,通过在训练过程中隐式地匹配低分辨率和高分辨率图像的面部属性,进一步最大化成对相关性,这导致更具鉴别力的嵌入子空间,从而提高跨分辨率人脸识别的性能。使用LFWA,Celeb-A,SCFace和UCCS数据集证明了我们的方法与最先进的方法相比的有效性。
2019-08-05 cs.CV cs.LG eess.IV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute(印度统计研究所);Østfold University College(东福尔德大学学院)
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能,但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中,我们提出了一个属性引导注意生成对抗网络,它采用新的属性引导注意(AGA)模块,以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后,我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明,我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时,每个属性描述符是未知的,从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
MUSE: Textual Attributes Guided Portrait Painting Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);DiDi Labs(滴滴实验室)
我们提出了一种新的方法,缪斯,说明文本属性通过肖像生成视觉。除了从主题照片中提取的面部特征作为输入外,MUSE还需要一组以文本形式编写的属性。我们提出了11个属性类型来表示灵感从一个主题的个人资料,情感,故事和环境。我们提出了一种新的堆栈神经网络架构,通过扩展图像到图像生成模型接受文本属性。实验表明,我们的方法显着优于几个国家的最先进的方法,不使用文本属性,与初始分数增加了6%和Fréchet初始距离(FID)分数下降了11%,分别。我们还提出了一个新的属性重建指标,以评估是否生成的肖像保持主体的属性。实验表明,我们的方法可以准确地说明78%的文本属性,这也有助于MUSE捕捉主题在一个更有创意和表现力的方式。
2021-09-20 cs.CV
Explainable Person Re-Identification with Attribute-guided Metric Distillation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院);Ryerson University(瑞尔森大学)
尽管随着卷积神经网络的采用,人的重新识别(ReID)取得了很大的进步,但是当前的ReID模型是不透明的,并且仅输出两个人之间的标量距离。很少有方法为用户提供语义上可理解的解释,为什么两个人是同一个或不是。在本文中,我们提出了一个事后的方法,命名为属性引导度量蒸馏(AMD),以解释现有的ReID模型。这是探索属性的第一种方法来回答:1)属性使两个人不同的是什么和哪里,以及2)每个属性对差异的贡献有多大。在AMD中,我们为目标模型设计了一个可插入的解释器网络,以生成属性的定量贡献,并可视化最具区分力的属性的准确注意力地图。为了实现这一目标,我们提出了一个度量蒸馏损失,解释器学习分解的距离两个人的属性组件与知识蒸馏从目标模型。此外,我们提出了一个属性先验损失,使解释器产生属性引导的注意力地图,并消除不平衡的属性分布所造成的偏见。这一损失可以引导口译员将注意力集中在两个人的排他性和歧视性属性上,而不是大面积但共同的属性。综合实验表明,该解释器可以生成有效的和直观的解释不同的模型和跨域环境下的推广。作为副产品,目标模型的准确性可以通过我们的解释器进一步提高。
2021-08-17 cs.CV
Attribute-guided image generation from layout
University of British Columbia(不列颠哥伦比亚大学);Bank of Montreal(蒙特利尔银行)
最近的方法在从结构化输入生成图像方面取得了巨大成功,语义分割、场景图或布局。虽然这些方法允许在图像级指定对象及其位置,但它们缺乏在实例级指定这些对象的视觉外观的保真度和语义控制。为了解决这个问题,我们提出了一种新的图像生成方法,使实例级属性控制。具体来说,我们的属性引导生成模型的输入是一个元组,它包含:(1)对象边界框,(2)对象类别和(3)每个对象的(可选)属性集。输出是生成的图像,其中所请求的对象位于所需位置并具有规定的属性。几个损失协同工作,以鼓励准确,一致和多样化的图像生成。在Visual Genome数据集上的实验表明,该模型能够有效地控制生成图像中的对象级属性,并验证了从布局任务生成图像时对象-属性分离表示的可行性。此外,从我们的模型生成的图像具有更高的分辨率,对象分类精度和一致性,与以前的最先进的。
2020-08-27 cs.CV
Multi-Attribute Guided Painting Generation
NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室);School of AI, UCAS(中国科学院大学人工智能学院);Fosafer(福赛科技);CASIA-LLVision Joint Lab(中国科学院自动化研究所-联创视界联合实验室)
可控的绘画生成在图像风格化中起着举足轻重的作用。目前,风格迁移的控制方式主要是基于范例的参照或随机的独热矢量引导。很少有工作集中在解耦绘画的内在属性作为控制条件,例如,艺术家,流派和时期。在这种情况下,我们提出了一种新的框架,采用多个属性的绘画控制风格化的结果。采用非对称的循环结构来保持逼真度,结合风格保持和属性回归损失来保持域之间颜色和纹理的唯一区别。几个定性和定量的结果证明了多属性的组合效果,并取得了令人满意的性能。
2020-02-26 cs.CV
Z-Magic: Zero-shot Multiple Attributes Guided Image Creator
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出Z-Magic框架,从条件概率视角建模多属性依赖并结合多任务学习,在零样本设置下提升图像生成的属性连贯性并降低计算成本。
2025-03-15 cs.CV
ArGue: Attribute-Guided Prompt Tuning for Vision-Language Models
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对软提示调优在分布偏移下的局限,提出属性引导提示调优(ArGue),利用LLM生成的属性、属性采样和负向提示,显著提升新类预测和分布外泛化性能。
2024-03-13 cs.CV
AGA: Attribute Guided Augmentation
UC San Diego(加州大学圣迭戈分校);University of Salzburg(萨尔茨堡大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们考虑数据增强的问题,即,生成人工样本以扩展训练数据的给定语料库。具体来说,我们提出了属性引导增强(AGA),它学习一个映射,允许合成数据,使得合成样本的属性处于所需的值或强度。这在没有属性注释的数据很少可用于学习的情况下特别有趣,但我们可以访问大量外部语料库的大量注释样本。虽然以前的作品主要是在图像空间中进行增强,但我们建议在特征空间中进行增强。我们将我们的方法实现为深度编码器-解码器架构,该架构以端到端的方式学习合成函数。我们证明了我们的方法在以下问题上的实用性:(1)在转移学习设置中的一次性对象识别,其中我们没有新类的先验知识,以及(2)基于对象的一次性场景识别。作为外部数据,我们利用来自SUN RGB-D数据集的3D深度和姿态信息。我们的实验表明,高级CNN特征的属性引导增强大大提高了这两个问题的一次性识别性能。
2017-08-26 cs.CV
SMILE: Semantically-guided Multi-attribute Image and Layout Editing
Computer Vision Lab ETH Zürich(苏黎世联邦理工学院计算机视觉实验室);KU Leuven(鲁汶大学)
自生成对抗网络(GANs)引入以来,属性图像处理一直是一个非常活跃的话题。由于面部图像的多个和相互包容的性质,在变换中探索解纠缠的属性空间是一项非常具有挑战性的任务,其中不同的标签(眼镜、帽子、头发、身份等)可以同时共存。几项工作解决了这个问题,或者通过利用每个域/属性的模态使用条件随机向量噪声,或从示例性图像中提取模态。然而,现有的方法不能同时处理多个属性的随机和引用转换,这限制了解决方案的通用性。在本文中,我们成功地利用了多模态表示,处理所有属性,无论是随机噪声或样本图像的指导下,而只使用目标域的基础域信息。我们提出了广泛的定性和定量结果的面部数据集和几个不同的属性,显示了我们的方法的优越性。此外,我们的方法能够通过使用图像作为参考或通过探索风格分布空间来添加,删除或更改细粒度或粗粒度属性,并且可以很容易地扩展到头部交换和面部重现应用程序,而无需在视频上进行训练。
2020-10-05 cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University(高丽大学);Drexel University(德雷塞尔大学)
图像修补是一种完成缺失像素的技术,如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中,面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入,因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制,我们提出了一种替代的用户引导修复架构,使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图,其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估,我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Super-class guided Transformer for Zero-Shot Attribute Classification
Korea University(高丽大学)
针对零样本属性分类中可见与不可见属性关系利用不足及属性规模带来的可扩展性问题,提出 SugaFormer,通过超类查询、多上下文解码和 VLM 知识迁移实现最先进性能。
2025-01-16 cs.CV
Face Animation with an Attribute-Guided Diffusion Model
Beihang University(北京航空航天大学);Shenzhen Institutes of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术研究院);Zhongguancun Laboratory(中关村实验室)
针对GAN人脸动画易扭曲伪影的问题,提出属性引导扩散模型框架FADM,通过AGCN融合外观与运动条件引导扩散过程,有效纠正伪影并丰富面部细节。
2023-04-06 cs.CV
Mask-Guided Multi-Task Network for Face Attribute Recognition
Shanghai University of Engineering Science(上海工程技术大学)
本文提出基于掩码的多任务网络MGMTN,通过自适应掩码学习和组-全局特征融合提升人脸属性识别的准确性和效率。
2026-01-04 cs.CV
PrefGen: Preference Guided Image Generation with Relative Attributes
Georgia Institute of Technology(佐治亚理工学院)
本文提出PrefGen系统,通过简单的配对比较查询估计用户偏好,结合主动查询选择策略与StyleGAN2及CLIP,实现偏好引导的图像编辑与生成。
2023-04-01 cs.AI cs.CV cs.LG
Neural Photometry-guided Visual Attribute Transfer
SEDDI(SEDDI 公司);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
我们提出了一种基于深度学习的方法,用于将空间变化的视觉材料属性(例如纹理图或图像样式化)传播到相同或相似材料的更大样本。对于训练,我们利用在多种照明下拍摄的材料图像和专用的数据增强策略,使传输对新的照明条件和仿射变形具有鲁棒性。我们的模型依赖于一个有监督的图像到图像的翻译框架,是不可知的转移域,我们展示了一个语义分割,正常的地图,和风格化。在图像类比方法之后,该方法仅要求训练数据包含与输入引导相同的视觉结构。我们的方法以交互速率工作,使其适合材料编辑应用程序。我们在一个受控的设置中彻底评估我们的学习方法,提供量化的绩效指标。最后,我们证明了在单一材料上训练模型足以推广到相同类型的材料,而不需要大量的数据集。
2021-12-05 cs.AI cs.CV cs.GR
GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Meituan(美团);GuangDong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Research Institute, Sun Yat-sen University(中山大学深圳研究院)
GUIDED通过分解框架解决细粒度提示中主体与属性的语义纠缠问题,通过分离定位与识别任务提升细粒度开放词汇物体检测性能。
2026-03-27 cs.CV
Boosting Ultrasound Image Classification via Attribute-Guided Dual-Branch Framework
School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University(武汉大学计算机学院、国家多媒体软件工程技术研究中心、人工智能研究院、湖北省多媒体与网络通信工程重点实验室)
提出属性引导双分支框架,引入领域无关的医学属性先验,通过基线分支和属性引导分支的融合,提升超声图像分类的准确性和可解释性。
2026-07-03 cs.CV
Attributes-Guided and Pure-Visual Attention Alignment for Few-Shot Recognition
Zhejiang University(浙江大学);Westlake University(西湖大学)
Few-Shot识别的目的是识别每个类别中具有有限数量的标记示例的新类别。为了鼓励从补充的角度学习,最近的方法已经将辅助语义模态引入到有效的度量学习框架中,该框架旨在学习训练样本(支持集)和测试样本(查询集)之间的特征相似性。然而,这些方法只增加了可用语义的样本的表示,而忽略了查询集,这失去了改进的潜力,并可能导致模态组合和纯视觉表示之间的转变。在本文中,我们设计了一个属性引导的注意力模块(AGAM),以利用人类注释的属性,并学习更多的判别特征。该即插即用模块使视觉内容和相应的属性能够集中在支持集的重要通道和区域上。对于只有视觉信息而没有属性信息的查询集,也实现了特征选择。因此,来自两个集合的表示以细粒度的方式得到改进。此外,提出了一种注意力对齐机制,将知识从属性的指导下提取到无属性样本的纯视觉分支。大量的实验和分析表明,我们提出的模块可以显着改善简单的基于度量的方法,以实现最先进的性能在不同的数据集和设置。
2021-02-03 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University(天津大学);Lancaster University(兰卡斯特大学)
Zero-Shot Hashing旨在学习一种哈希模型,该模型仅由可见类别的实例训练,但可以很好地生成未见过类别的实例。通常,它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索,特别是基于图像的图像检索(IBIR)。然而,作为散列领域的一个热点研究课题,跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希(CMSHH)检索任务,我们提出了一种新的属性引导网络(AgNet),它不仅可以执行IBIR,但也基于文本的图像检索(TBIR)。特别是,AgNet将不同的模态数据对齐到语义丰富的属性空间中,这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略,利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集(AwA,SUN和ImageNet)上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Attribute-Guided Multi-Level Attention Network for Fine-Grained Fashion Retrieval
The University of Tokyo(东京大学)
提出属性引导的多级注意力网络AG-MAN,通过增强预训练特征提取器、设计属性分类方案和改进注意力模块缓解特征间隙问题,在多个时尚数据集上性能显著提升。
2024-04-26 cs.AI cs.CV cs.IR
FOCUS: Fine-grained Optimization with Semantic Guided Understanding for Pedestrian Attributes Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);Peng Cheng Laboratory(鹏城实验室);Wuhan AI Research(武汉人工智能研究院);Objecteye Inc.(Objecteye公司)
针对行人属性识别中区域特征损害细粒度模式且无法泛化到未见属性的问题,提出FOCUS方法,通过多粒度混合标记、属性引导视觉特征提取模块和区域感知对比学习,自适应提取细粒度属性级特征,显著提升了识别性能与泛化能力。
2025-06-28 cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA,通过掩码引导注意力调制和一致特征传播,在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
Attribute Guided Sparse Tensor-Based Model for Person Re-Identification
Lane Department of Computer Science and Electrical Engineering(莱恩计算机科学与电气工程系);West Virginia University(西弗吉尼亚大学)
人的视觉感知容易受到诸如相机参数、姿态和视点变化等许多因素的影响。这些变化使人的重新识别(ReID)成为一个具有挑战性的问题。然而,人类的属性通常是这种变化的强大视觉特性。在本文中,我们提出了一种新的方法来利用人的ReID属性的特征。我们的模型使用一个张量来非线性地融合身份和属性特征,然后强制损失函数中的张量参数来生成ReID的区分性融合特征。由于基于张量的方法通常包含大量参数,因此训练所有这些参数变得非常缓慢,并且过拟合的机会也会增加。为了解决这个问题,我们提出了两种基于结构稀疏学习(SSL)和张量分解(TD)方法的新技术,以创建一个准确和稳定的学习问题。我们在几个标准行人数据集上进行了实验,实验结果表明,我们基于张量的方法显着提高了人的ReID基线,并且优于最先进的方法。
2021-07-29 cs.CV
MALeR: Improving Compositional Fidelity in Layout-Guided Generation
Adobe Research(Adobe研究)
MALeR针对布局引导图像生成中的主体越界、分布外伪影和属性泄漏问题,提出布局约束与掩码属性感知绑定机制,显著提升复杂组合场景下的组合准确性与属性绑定效果。
2025-11-08 cs.CV
Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer
Seoul National University(首尔国立大学)
Durian通过双参考图像引导的方法,实现跨身份属性迁移的面部动画生成,利用自重建机制避免显式配对数据,提升模型泛化能力。
2026-04-06 cs.CV
Using Deep Cross Modal Hashing and Error Correcting Codes for Improving the Efficiency of Attribute Guided Facial Image Retrieval
West Virginia University(西弗吉尼亚大学)
基于散列的图像检索方法具有查询速度快、存储开销小等优点,受到了研究界的广泛关注。在本文中,我们提出了一种新的纠错深度交叉模式哈希(CMH-ECC)方法,该方法使用指定某些面部属性的位图作为输入查询,从数据库中检索相关的人脸图像。在这种架构中,我们使用端到端的深度学习模块生成紧凑的哈希码,该模块有效地捕获了人脸和属性模态之间的内在关系。我们还将我们的深度学习模块与前向纠错码相结合,以进一步缩短同一主题的不同模态之间的距离。具体而言,深度哈希和前向纠错码的属性被用来设计具有高检索性能的跨模态哈希框架。使用两个标准数据集的人脸属性图像模态的实验结果表明,我们的CMH-ECC人脸图像检索模型优于目前大多数基于属性的人脸图像检索方法。
2019-02-11 cs.CV cs.IR cs.LG
RAP: Fast Feedforward Rendering-Free Attribute-Guided Primitive Importance Score Prediction for Efficient 3D Gaussian Splatting Processing
Shanghai Jiao Tong University(上海交通大学);University of Missouri–Kansas City(密苏里大学-堪萨斯城分校)
RAP通过属性引导和高效算法,实现3DGS中原始形体重要性分数的快速预测,提升重建、压缩和传输效率。
2026-02-23 cs.CV cs.GR
DiffInf: Influence-Guided Diffusion for Supervision Alignment in Facial Attribute Learning
Departement of Electrical and Computer Engineering(电气与计算机工程系);Departement of Biomedical Engineering(生物医学工程系)
DiffInf通过自影响引导的扩散方法,修复面部属性学习中的标注不一致,提升分类泛化能力。
2026-09-01 cs.CV
Attributes Guided Feature Learning for Vehicle Re-identification
Anhui University(安徽大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Edinburgh Napier University(爱丁堡纳皮尔大学)
车辆Re-ID最近因其在智慧城市和城市监控中的潜在应用而引起了热烈的关注。然而,它遭受大的类内变化所造成的视图变化和光照变化,和类间的相似性,特别是对于不同的身份与相似的外观。为了解决这些问题,在本文中,我们提出了一种新的深度网络架构,该架构由有意义的属性(包括相机视图,车辆类型和车辆Re-ID的颜色)指导。特别是,我们的网络是端到端训练的,包含三个由相应属性嵌入的深度特征子网络(即,摄像机视图、车辆类型和车辆颜色)。此外,为了克服多视角车辆图像有限的缺点,设计了一种视角指定的生成对抗网络来生成多视角车辆图像。对于网络训练,我们在VeRi-776数据集上标注视图标签。请注意,我们可以直接在其他只有ID信息的数据集上采用预先训练好的视图(以及类型和颜色)子网络,这证明了我们模型的泛化能力。在基准数据集VeRi-776和VehicleID上的大量实验表明,所提出的方法实现了有前途的性能,并产生了一个新的国家的最先进的车辆Re-ID。
2021-11-10 cs.CV
Att2CPC: Attention-Guided Lossy Attribute Compression of Point Clouds
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Computing and Mathematics, Charles Sturt University(查尔斯斯特大学计算与数学学院)
本文提出Att2CPC,首次将注意力机制引入基于点的有损点云属性压缩,通过外部交叉注意力与多尺度重建,在BD-PSNR上显著优于Deep-PCAC。
2024-10-23 cs.CV cs.LG eess.IV
COMBINER: Composed Image Retrieval Guided by Attribute-based Neighbor Relations
School of Software, Shandong University(山东大学软件学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
针对组合图像检索中视觉相似但属性不同的样本问题,提出基于属性原型的跨模态统一表示方法COMBINER,通过自适应语义解耦、统一原型组合和双重关系建模提升检索准确性。
2026-06-03 cs.CV