Deep learning for identification and face, gender, expression recognition under constraints
Mutah University(穆塔大学);Ministry of environment(环境部);Eötvós Loránd University(罗兰大学);University of Tabuk(塔布克大学);Islamic University of Madinah(麦地那伊斯兰大学);Cranfield University(克兰菲尔德大学);University of Cincinnati(辛辛那提大学)
基于全脸的生物特征识别是一个广泛的研究领域。然而,仅使用部分可见的面部,例如在戴面纱的人的情况下,是一项具有挑战性的任务。深度卷积神经网络(CNN)在这项工作中使用的面纱的人的面部图像提取的特征。我们发现,VGG19网络结构中的第六和第七个全连接层(分别为FC6和FC7)提供了鲁棒的特征,这两个层中的每一个都包含4096个特征。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力,不仅识别人,而且识别性别,年龄和面部表情,如眼睛微笑。我们的实验结果表明,我们获得了高精度的所有任务。最好的记录准确率值是高达99.95%的识别人,99.9%的性别识别,99.9%的年龄识别和80.9%的面部表情(眼睛微笑)识别。
2021-11-02 cs.CV
'Person' == Light-skinned, Western Man, and Sexualization of Women of Color: Stereotypes in Stable Diffusion
University of Washington(华盛顿大学)
本文通过136个提示词分析Stable Diffusion的刻板印象,发现其将“人”默认为欧洲/北美男性、抹去原住大洋洲人民并过度性化部分有色人种女性,揭示了该模型延续西方偏见与物化的问题。
2023-11-10 cs.CV
Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models
图像描述的任务隐含地涉及性别识别。然而,由于数据中的性别偏见,图像描述模型的性别识别受到影响。此外,由于逐词预测,性别活动偏差会影响字幕预测中的其他词,从而导致众所周知的标签偏差问题。在这项工作中,我们研究了COCO字幕数据集中的性别偏见,并表明它不仅来自上下文的性别统计分布,而且来自人类注释者的有缺陷的注释。我们在训练模型中研究这种偏见造成的问题。我们提出了一种技术,以摆脱偏见的任务分为2个子任务:性别中立的图像描述和性别分类。通过这种脱钩,可以消除性别背景的影响。我们训练性别中立的图像描述模型,即使在对具有与训练数据类似的偏差的数据集进行评估时,该模型也可以给出与性别化模型相当的结果。有趣的是,这个模型对没有人类的图像的预测也明显不同于对性别字幕训练的预测。我们使用可用的限界框和基于掩码的图像中的人的注释来训练性别分类器。这使我们能够摆脱背景,专注于人来预测性别。通过将性别替换到性别中立的字幕中,我们得到最终的性别预测。我们的预测与使用性别训练的模型具有相似的性能,同时没有性别偏见。最后,我们的主要结果是,在反刻板的数据集上,我们的模型优于一个流行的图像描述模型,该模型是用性别训练的。
2019-12-02 cs.CV
Anti-Persona: Disrupting Unauthorized Identity Binding and Recognition in Personalized Vision--Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Michigan State University(密歇根州立大学)
针对个性化视觉-语言模型中的身份绑定与识别隐私风险,提出基于身份原型扰动破坏的图像级防御方法Anti-Persona,在保持视觉保真度下实现高达95%的保护率。
2026-10-02 cs.CV
Real-time Emotion and Gender Classification using Ensemble CNN
Indian Institute Of Information Technology ,Allahabad Prayagraj , Uttar Pradesh , India
分析人的面部表情在识别人的情绪和行为方面起着非常重要的作用。自动识别这些表达式会产生自然人机界面的关键组成部分。因此,该领域的研究在生物计量认证、监控系统、各种社交媒体平台中的情感到表情符号等方面具有广泛的应用。另一个应用包括进行客户满意度调查。正如我们所知,大公司投入巨资获得反馈和调查,但未能得到公平的反应。通过面部手势进行情感和性别识别是一种技术,旨在通过他们的评价来监控客户对特定产品或服务人员的行为,从而提高产品和服务性能。在过去的几年里,在特征提取机制、人脸检测和表情分类技术方面取得了广泛的进展。本文是一个嵌入式CNN的实现,用于构建一个实时的【形】系统,可以检测人的情感和性别。实验结果表明,在FER-2013数据集上,情绪分类为7类(愤怒,恐惧,悲伤,快乐,惊讶,中性,厌恶)的准确率为68%,在IMDB数据集上,性别分类(男性或女性)的准确率为95%。我们的工作可以预测情绪和性别的单人脸图像以及多个人脸图像。此外,当通过网络摄像头输入时,我们的实时的【形】系统的完整管道可以在不到0.5秒的时间内生成结果。
2021-11-15 cs.CV
Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation
Black Forest Labs(黑森林实验室)
研究个性化人物图像生成中面部保真度与外观一致性权衡问题,提出双分支基线及动态平衡缩放策略DBS,由自适应时间门控和区域感知优化组成,实验表明DBS比现有基线更好,为整体身份建模提供可控框架。
2026-07-29 cs.CV
Identity Encoder for Personalized Diffusion
本文提出基于身份编码器的个性化扩散模型方法,用少量参考图像即可生成任意身份的新图像,显著降低计算与存储开销,并在生成和重建任务上优于微调方法。
2023-04-14 cs.CV
Towards Privacy-Preserving Person Re-identification via Person Identify Shift
近年来,行人身份识别(ReID)中的隐私问题越来越受到人们的关注,如何保护ReID中行人图像的隐私变得至关重要。去身份化(DeID)方法通过去除ReID数据的身份相关来减轻隐私问题。然而,大多数现有的DeID方法往往会删除所有与个人身份相关的信息,并损害ReID任务中去识别数据的可用性。在本文中,我们的目标是开发一种技术,可以实现一个很好的折衷之间的隐私保护和数据的可用性的人ReID。为了实现这一点,我们提出了一种新的去识别方法,明确设计的人ReID,命名为人识别转移(PIS)。PIS在保持图像对之间身份关系的同时,去除了行人图像中的绝对身份。通过利用变分自动编码器的插值特性,PIS将每个行人图像从当前身份转移到另一个具有新身份的身份,从而使图像仍然保持相对身份。实验结果表明,与现有的去身份方法相比,该方法在隐私保护和模型性能之间具有更好的权衡,能够抵御人类和模型对数据隐私的攻击。
2022-07-15 cs.CV
ID-EA: Identity-driven Text Enhancement and Adaptation with Textual Inversion for Personalized Text-to-Image Generation
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
提出ID-EA框架,通过ID-Enhancer和ID-Adapter引导文本嵌入与视觉身份嵌入对齐,显著提升个性化肖像生成的身份保持能力,且生成速度比现有方法快约15倍。
2025-07-16 cs.CV
AnyPhoto: Multi-Person Identity Preserving Image Generation with ID Adaptive Modulation on Location Canvas
AnyPhoto通过定位画布和身份自适应调制实现多人身份保持生成,提升可控性和多样性。
2026-03-16 cs.CV
ArcFace Knows the Gender, Too!
Machine Learning Section, Hooshmand-Negaran Dadeh-Pardaz Arian Company(Hooshmand-Negaran Dadeh-Pardaz Arian 公司机器学习部)
本文的主要思想是,如果一个模型可以识别一个人,当然,它也必须能够知道这个人的性别。因此,本文没有定义一个新的性别分类模型,而是使用ArcFace特征来确定性别,基于面部特征。将人脸图像提供给ArcFace,并获得人脸的512个特征。然后,在传统机器学习模型的帮助下,确定性别。判别方法,如支持向量机(SVM),线性判别,和逻辑回归很好地证明,从ArcFace提取的特征创建一个显着的性别类别之间的区别。在性别分类数据集上的实验表明,基于ArcFace特征的高斯核SVM能够以96.4%的准确率进行性别分类。
2021-12-19 cs.CV cs.LG
Improved Hard Example Mining by Discovering Attribute-based Hard Person Identity
Sun Yat-Sen University(中山大学);Anhui University(安徽大学)
在本文中,我们提出了硬人物身份挖掘(HPIM),试图细化硬的例子挖掘,以提高探索效率的人重新识别。它的动机是以下观察:一些人共享的属性越多,就越难区分他们的身份。基于这一观察,我们通过转移属性描述器开发了HPIM,这是一个从源噪声人属性数据集训练的深度多属性分类器。我们将每个图像编码到目标人re-ID数据集中的属性概率描述中。然后在属性码空间中,我们将每个人视为一个分布,在不同的实际场景中生成他的视图特定的属性码。因此,我们估计个人特定的统计矩从零阶到高阶,这是进一步用于计算人之间的中心矩差异。这种差异是选择硬身份来组织适当的小批量的基础,而不考虑度量学习中的人表示变化。它作为硬示例挖掘的补充工具,有助于在由随机抽样身份构建的小批量中探索全局而不是局部硬示例约束。在两个人身份重识别基准上的实验验证了该算法的有效性。
2019-08-05 cs.CV
X-ReID: Cross-Instance Transformer for Identity-Level Person Re-Identification
School of Software, Tsinghua University(清华大学软件学院);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心)
目前,大多数现有的人的重新识别方法使用实例级特征,这是从一个单一的图像提取。然而,这些实例级特征很容易忽略的歧视性信息,由于每个身份的外观在不同的图像中变化很大。因此,有必要利用身份级别的功能,这些功能可以在每个身份的不同图像之间共享。在本文中,我们提出了提升实例级功能的身份级功能,采用交叉注意力,将信息从一个图像到另一个相同的身份,从而更统一和区分行人信息可以获得。我们提出了一个新的训练框架X-ReID。具体而言,跨身份内验证模块(IntraX)融合不同的身份内实例,以传递身份级知识,并使实例级特征更加紧凑。跨身份识别模块(InterX)涉及硬正面和硬负面实例,以改善对相同身份而不是不同身份的注意响应,从而最小化身份内变化并最大化身份间变化。在基准数据集上的大量实验表明,我们的方法优于现有的作品。特别是,在具有挑战性的MSMT 17上,与第二名相比,我们提出的方法获得了1.1%的mAP改进。
2023-02-04 cs.CV
Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification
Beihang University(北京航空航天大学)
基于视频的人物再识别(Re-ID)是计算机视觉的一项重要任务。在基于视频的人Re-ID中经常使用的批量硬三重丢失遭受不同阳性之间的距离方差(DVDP)问题。在本文中,我们通过引入一种新的度量学习方法来解决这个问题,该方法称为属性感知的身份硬三重损失(AITL),通过计算属性距离来减少正样本之间的类内变化。为了实现一个完整的基于视频的人的Re-ID模型,一个多任务框架与属性驱动的时空注意力(ASTA)机制也被提出。在MARS和DukeMTMC-VID数据集上的大量实验表明,AITL和ASTA都是非常有效的。通过它们的增强,即使是一个简单的轻量级的基于视频的人Re-ID基线也可以胜过现有的最先进的方法。这些准则已公布在https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information上。
2020-06-13 cs.CV
T-Person-GAN: Text-to-Person Image Generation with Identity-Consistency and Manifold Mix-Up
Anhui University(安徽大学);Hefei University of Technology(合肥工业大学);Northwestern Polytechnical University(西北工业大学);Monash University(莫纳什大学)
提出T-Person-GAN生成模型,通过身份保持网络与流形混合机制,解决文本生成高分辨率人物图像中的身份一致性与视觉模糊问题,显著提升了生成质量。
2023-07-02 cs.CV
Identity-Aware Multi-Sentence Video Description
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);University of California, Berkeley(加州大学伯克利分校)
标准的视频和电影描述任务从人的身份中抽象出来,因此无法将句子中的身份联系起来。我们提出了一个多句子的身份感知视频描述任务,它克服了这一限制,并需要重新识别本地的一组连续的剪辑内的人。我们引入了一个辅助任务的填写身份,其目的是预测一致的人的身份在一组剪辑,当视频描述。我们提出的这个任务的方法利用了一个Transformer架构,允许多个ID的相干联合预测。其中一个关键组成部分是一个性别意识的文本表示,以及一个额外的性别预测目标的主要模型。这个辅助任务使我们能够提出一个两阶段的方法来识别视频描述。我们首先生成多句视频描述,然后应用我们的填充身份模型来建立预测的人实体之间的联系。为了能够解决这两个任务,我们增加了大规模电影描述挑战(LSMDC)基准与新的注释适合我们的问题陈述。实验表明,我们提出的填充身份模型优于几个基线和最近的作品,并允许我们生成本地重新识别的人的描述。
2020-08-22 cs.CV
LIPE: Learning Personalized Identity Prior for Non-rigid Image Editing
Tsinghua University(清华大学);VIVO(维沃(VIVO))
本文提出两阶段框架LIPE,通过学习个性化身份先验解决非刚性图像编辑中身份特征缺失导致结果不一致的问题,并在定性和定量实验中超越现有方法。
2024-06-25 cs.CV
Learning Disentangled Representation for Robust Person Re-identification
Yonsei University(延世大学)
我们解决的问题的人重新识别(reID),也就是说,从一个大的数据集检索人的图像,给定的查询图像的人的兴趣。一个关键的挑战是学习对类内变化鲁棒的人表示,因为不同的人可以具有相同的属性,并且同一个人的外观随着视点的变化而不同。最近的reID方法专注于学习区别性特征,但仅对特定的变化因素(例如,人体姿势),这需要相应的监控信号(例如,姿势注释)。为了解决这个问题,我们建议解开身份相关和无关的功能,从人的图像。身份相关特征包含用于指定特定人的信息(例如,服装),而身份无关的人持有其他因素(例如,人体姿势、比例变化)。为此,我们引入了一个新的生成对抗网络,称为\emph{identity shuffle GAN}(IS-GAN),它使用标识标签分解这些特征,而不需要任何辅助信息。我们还提出了一个身份洗牌技术,以规范的解开功能。实验结果证明了IS-GAN的有效性,在包括Market-1501,CUHK 03和DukeMTMC-reID在内的标准reID基准测试中,IS-GAN的性能明显优于最先进的技术。我们的代码和模型可在线获取:https://cvlab-yonsei.github.io/projects/ISGAN/。
2019-11-01 cs.CV
Identity-Guided Human Semantic Parsing for Person Re-Identification
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shenzhen Infinova Limited(深圳英飞拓科技股份有限公司)
现有的基于语法分析的方法必须采用预先训练的人类语法分析模型来实现像素级对齐,并且不能识别个人物品(例如,在本文中,我们提出了身份引导的人类语义解析方法(ISP),以定位在像素级的人体部位和个人物品的对齐的人重新识别只有人的身份标签。我们设计了特征图上的级联聚类来生成人体部位的伪标签。具体来说,对于一个人的所有图像的像素,我们首先将它们分组为前景或背景,然后将前景像素分组为人体部位。聚类分配随后用作人体部位的伪标签以监督部位估计,并且ISP迭代地学习特征图并将其分组。最后,根据自学习的局部估计,得到人体部位和随身物品的局部特征,并只利用可见部位的特征进行检索。在三个广泛使用的数据集上进行的大量实验验证了ISP方法相对于许多最先进方法的优越性。我们的代码可在https://github.com/CASIA-IVA-Lab/ISP-reID上获得。
2020-07-27 cs.CV
MasterWeaver: Taming Editability and Face Identity for Personalized Text-to-Image Generation
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);Tomorrow Advancing Life;Pazhou Lab Huangpu(黄埔琶洲实验室)
本文提出 MasterWeaver,一种测试时免微调的个性化文本到图像生成方法,通过编码器提取身份特征、引入编辑方向损失和面部增强数据集,在保持身份保真度的同时提升了文本可控性与可编辑性。
2024-07-28 cs.CV
Person Re-Identification in Identity Regression Space
Boston University(波士顿大学);Vision Semantics Limited(Vision Semantics有限公司);Queen Mary University of London(伦敦玛丽女王大学)
大多数现有的人重新识别(re-id)方法是不适合现实世界的部署,由于两个原因:不可扩展性大人口规模,随着时间的推移不适应。在这项工作中,我们提出了一个统一的解决方案来解决这两个问题。具体来说,我们建议构建一个身份回归空间(IRS)的基础上嵌入不同的训练人的身份(类),并制定re-id作为一个回归问题解决身份回归在IRS。IRS方法的特点是具有高学习效率的封闭式解决方案和具有人在回路的固有增量学习能力。在四个基准数据集(VIPeR,CUHK 01,CUHK 03和Market-1501)上的广泛实验表明,IRS模型不仅优于最先进的re-id方法,而且通过快速更新模型和主动选择信息样本,减少人工标记工作,更具有可扩展性以适应大的re-id群体规模。
2018-06-25 cs.CV
Identity-Aware Hand Mesh Estimation and Personalization from RGB Images
University of California - Irvine(加州大学欧文分校);Reality Labs at Meta(Meta现实实验室)
基于单目RGB图像的手部三维网格重建在AR/VR领域有着巨大的应用潜力,因此受到了越来越多的关注。大多数最先进的方法都试图以匿名的方式处理此任务。具体而言,即使在用户在连续记录会话中不变的实际应用中实际上可用,也会忽略对象的身份。在本文中,我们提出了一个身份感知的手网格估计模型,它可以纳入由主体的内在形状参数所表示的身份信息。我们证明了身份信息的重要性,通过比较所提出的身份感知模型的基线,对待主题匿名。此外,为了处理测试对象不可见的用例,我们提出了一种新的个性化管道,仅使用对象的几个未标记的RGB图像来校准固有形状参数。在两个大规模公共数据集上的实验验证了我们所提出的方法的最新性能。
2022-09-22 cs.CV
IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models
Peking University(北京大学);InsightFace;DeepGlint
提出无调优方法IDAdapter,通过结合文本与视觉注入、人脸身份损失及多参考图像混合特征,从单张人脸图像生成兼具高身份保真度与多样性的个性化肖像。
2024-03-21 cs.CV
PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization
Xiamen University(厦门大学);Tencent(腾讯);Nanjing University(南京大学)
针对扩散模型个性化需微调、身份失真及表情单一的问题,提出无需微调的 PortraitBooth,结合人脸识别主体嵌入、动态身份保持与情感感知交叉注意力,实现高效、高保真且表情可编辑的单/多主体文本生成图像。
2023-12-11 cs.CV
Identity as Presence: Towards Appearance and Voice Personalized Joint Audio-Video Generation
Tencent Inc.(腾讯公司);Peking University(北京大学)
本文提出一个统一的框架,实现身份感知的音频视频生成,通过数据整理管道和灵活的身份注入机制,提升生成内容的高保真度和一致性。
2026-08-10 cs.CV
Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm
University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学)
针对现有身份保持个性化方法中图像与文本信息纠缠的问题,提出Infinite-ID解耦范式,通过身份增强训练和特征交互机制,提升身份保真度与语义一致性,并支持风格控制。
2024-03-18 cs.CV
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification
Queen Mary University of London(伦敦玛丽女王大学);Vision Semantics Ltd(视觉语义有限公司)
大多数现有的人员重新识别(re-id)方法需要从每个相机对的单独的大量成对标记的训练数据中进行监督模型学习。这大大限制了它们在现实世界的大规模部署中的可扩展性和可用性,需要在许多相机视图中执行re-id。为了解决这个可扩展性问题,我们开发了一种新的深度学习方法,用于将现有数据集的标记信息转移到一个新的看不见的(未标记的)目标域,用于人员re-id,而无需在目标域中进行任何监督学习。具体来说,我们引入了可转移联合属性-身份深度学习(TJ-AIDL),用于同时学习属性语义和身份判别特征表示空间,该空间可转移到任何新的(看不见的)目标域,用于重新识别任务,而不需要从目标域收集新的标记训练数据(即目标域中的无监督学习)。广泛的比较评估验证了这种新的TJ-AIDL模型在VIPeR,PRID,Market-1501和DukeMTMC-ReID等四个具有挑战性的基准上的无监督人员re-id的优越性。
2018-03-26 cs.CV
Identity-Guided Collaborative Learning for Cloth-Changing Person Reidentification
Shandong Artificial Intelligence Institute(山东人工智能研究院);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Tianjin University of Technology(天津理工大学);Monash University(莫纳什大学);Tongji University(同济大学);Hefei University of Technology(合肥工业大学)
提出身份引导协作学习方案IGCL,通过衣物注意力退化、人体语义注意力和身份增强等多流联合优化,在换衣行人重识别任务上显著超越现有方法。
2023-11-17 cs.CV
Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined
School of Behavioral and Brain Sciences(行为与脑科学学院);The University of Texas at Dallas(得克萨斯大学达拉斯分校);UMIACS(马里兰大学信息与计算机科学学院);University of Maryland(马里兰大学)
为人脸识别而训练的深度卷积神经网络(DCNN)开发了在可变图像上泛化的表示,同时保留主题(例如,性别)和图像(例如,观点)信息。身份,性别和观点代码进行了研究,在“神经元”和合奏水平的人脸识别网络。在单元级别,识别,性别分类和观点估计通过删除单元来测量,以在顶部网络层创建可变大小的随机采样子空间。随着维度从512个单位降低到16(0.95)、4(0.80)和2(0.72)个单位,3,531个身份的识别率仍然很高(ROC下的面积约为1.0)。每个顶层单元上的个人身份都是统计分离的。跨单位的反应是最低限度的相关性,表明单位代码非冗余的身份线索。这种“分布式”代码只需要稀疏的随机样本就可以准确地识别人脸。随着维度的减少,性别分类逐渐下降,观点估计急剧下降。个别单位弱预测性别和观点,但合奏证明有效的预测。因此,分布式和稀疏码共存于网络单元中,以表示不同的人脸属性。在集成水平上,人脸表征的主成分分析表明,身份,性别和观点信息分离到高维子空间,解释方差排序。身份,性别和观点信息有助于所有个人单位的反应,削弱了面部属性的神经调节类比。从DCNN解释神经类代码,并通过类比,高级视觉代码,不能从单个单元响应推断。相反,“意义”是由高维空间中的方向编码的。
2020-03-01 cs.CV cs.LG
Learnable PINs: Cross-Modal Embeddings for Person Identity
我们提出并研究了一种身份敏感的人脸和语音的联合嵌入。这样的嵌入使得能够实现从语音到面部以及从面部到语音的跨模态检索。我们做了以下四个贡献:第一,我们表明,嵌入可以学习从视频的说话的脸,而不需要任何身份标签,使用一种形式的跨模态自我监督;第二,我们制定了一个课程学习时间表,针对这一任务的硬负面挖掘,这是必不可少的学习成功进行;第三,我们展示和评估了跨模态检索的身份看不见和听不见的训练过程中,在许多情况下,并建立了一个基准,为这个新的任务;最后给出了联合嵌入在电视剧字符自动检索和标注中的应用。
2018-07-26 cs.CV
Inject Where It Matters: Training-Free Spatially-Adaptive Identity Preservation for Text-to-Image Personalization
iFLYTEK;Aegon THTF
SpatialID通过无需训练的空间自适应方法,有效提升文本到图像个性化中的身份保持与文本一致性。
2026-02-15 cs.CV
Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization
多人跟踪在监控视频分析中起着至关重要的作用。然而,大多数现有的工作集中在短期(例如,分钟长或小时长)的视频序列。因此,我们提出了一个多人跟踪算法非常长期(例如长达一个月)的多摄像机监控场景。长期跟踪是具有挑战性的,因为1)同一个人的服装/外观将在多天内变化很大,以及2)一个人将多次离开和重新进入场景。为了应对这些挑战,我们利用人脸识别信息,这是强大的服装变化,自动重新初始化我们的跟踪器在多天的记录。不幸的是,识别的面孔往往不可用。因此,我们的跟踪器传播身份信息的帧没有识别的脸,通过揭露的外观和空间流形形成的人检测。我们在23天的15台摄像机数据集(总共4,935小时)上测试了我们的算法,我们能够在53.2%的时间内以69.8%的精度定位一个人。我们进一步进行视频摘要实验,我们的跟踪输出的基础上。对116.25小时视频的分析结果表明,我们能够为不同的人生成合理的视觉日记(即一个人所做的事情的摘要),从而为每天生成的大量监控视频的自动摘要打开了大门。
2017-04-11 cs.CV
Women also Snowboard: Overcoming Bias in Captioning Models (Extended Abstract)
UC Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
已知大多数机器学习方法捕获和利用训练数据的偏差。虽然有些偏见对学习有益,但其他偏见是有害的。具体地,图像描述模型倾向于夸大存在于训练数据中的偏差。由于过度依赖于学习的先验和图像上下文,这可能导致在期望或需要无偏字幕的领域中出现不正确的字幕。我们调查生成的性别特定的字幕词(例如,男人,女人)的基础上的人的外观或图像上下文。我们引入了一个新的模型,确保平等的性别概率时,性别证据被遮挡的场景和自信的预测时,性别证据存在。由此产生的模型被迫看一个人,而不是使用上下文线索来做出性别特定的预测。组成我们模型的损失,外观混淆损失和置信损失是通用的,可以添加到任何描述模型中,以减轻描述数据集中不必要的偏差的影响。我们提出的模型在与人描述图像并提及其性别时的错误率低于先前的工作,并且更接近包含女性的句子与包含男性的句子的地面真值比率。
2018-07-02 cs.CV
Identity-aware Feature Decoupling Learning for Clothing-change Person Re-identification
Beihang University(北京航空航天大学);School of Artificial Intelligence(人工智能学院)
针对换衣行人重识别中ID相关信息提取不足的问题,提出IFD双流框架,通过衣物掩蔽注意力和衣物偏置消减模块强化身份特征,并在多个CC Re-ID数据集上超过基线模型。
2025-01-10 cs.CV
FlexIP: Dynamic Control of Preservation and Personality for Customized Image Generation
Tencent AIPD(腾讯 AIPD)
FlexIP框架通过个性化适配器和保真适配器解耦风格操控与身份维护,实现推理阶段灵活参数化控制,突破身份保真与个性化编辑之间的性能权衡。
2025-04-10 cs.CV
From Poses to Identity: Training-Free Person Re-Identification via Feature Centralization
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
本文提出免训练的特征中心化ReID框架Pose2ID,通过身份引导生成和邻域特征中心化聚合同身份特征以抑制噪声,在多个ReID任务中取得领先性能。
2025-03-11 cs.CV
A Data Perspective on Enhanced Identity Preservation for Diffusion Personalization
University of British Columbia(不列颠哥伦比亚大学);Adobe(奥多比公司)
本文提出一种数据中心的正则化数据集生成策略,在文本和图像层面增强扩散模型个性化中的身份保持,实现架构无关的最先进性能。
2024-11-06 cs.CV
Finer-Personalization Rank: Fine-Grained Retrieval Examines Identity Preservation for Personalized Generation
The Ohio State University(俄亥俄州立大学);MIT(麻省理工学院)
本文提出Finer-Personalization Rank评估协议,用于细粒度检验个性化生成中的身份保持,揭示现有方法中的身份漂移问题。
2025-12-22 cs.AI cs.CV
No Way To Steal My Face: Proactive Defense Against Identity-Preserving Personalized Generation
Nanjing University of Information Science and Technology(南京信息工程大学)
针对扩散模型个性化生成的人脸隐私问题,提出可防御两类个性化方法的IDGuardian框架,通过破坏身份提取与注入阶段实现身份保护,且具备鲁棒性与泛化性。
2026-10-14 cs.CR cs.CV
The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出PST框架系统评估双主体T2I生成中的性别偏见,并设计FairCritic框架通过LLM评判模型检测偏见并自适应反馈,在PST上实现近乎完美的公平性。
2025-06-02 cs.AI cs.CV cs.CY
Identity-Conditioned Score Fusion for Open-Set Person Re-Identification
Amazon(亚马逊);University of California, Riverside(加州大学河滨分校)
提出身份条件化分数融合框架,无需训练即可为每个库身份定制权重,通过对比身份内一致性与跨身份冒充者提取身份画像,在三个换衣行人重识别基准上优于基线,误非识别率最高降低8.8%。
2026-10-07 cs.CV cs.LG
Latent-Identity Tuning in Text-to-Image Personalization Models
Tel Aviv University(特拉维夫大学);Cornell University(康奈尔大学)
研究文本到图像个性化模型中细粒度身份调整问题,利用预训练冻结编码器潜在空间,无需额外训练,通过揭示潜在语义方向实现局部、细粒度且语义连贯的面部编辑,经实验验证有效。
2026-07-14 cs.CV cs.GR
ID-Cloak: Crafting Identity-Specific Cloaks Against Personalized Text-to-Image Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
针对个性化文本到图像生成的隐私问题,提出ID-Cloak方法,首次建模身份子空间并设计身份特定伪装,保护特定身份的所有图像,为现实隐私保护提供有效通用方案。
2025-02-12 cs.CR cs.CV
Disentangled Representations for Short-Term and Long-Term Person Re-Identification
Yonsei University(延世大学)
本文提出 IS-GAN,仅用身份标签将行人特征解耦为身份相关与无关因素,在短期及长期 reID 多个基准上取得最先进结果。
2024-09-09 cs.AI cs.CV
Semantic Consistency and Identity Mapping Multi-Component Generative Adversarial Network for Person Re-Identification
Queensland University of Technology (QUT)(昆士兰科技大学)
在真实世界环境中,由于照明条件、视角、姿势和遮挡的变化,人重新识别(Re-ID)是一项具有挑战性的任务。尽管最近的性能提高,目前的人的Re-ID算法仍然受到严重影响时,遇到这些变化。为了解决这个问题,我们提出了一个语义一致性和身份映射的多组件生成对抗网络(SC-IMGAN),它提供从一个到多个域的风格适应。为了确保变换后的图像尽可能真实,我们提出了新的身份映射和语义一致性损失,以保持身份在不同的领域。对于Re-ID任务,我们提出了一个联合验证-识别四元组网络,该网络使用生成的和真实的图像进行训练,然后进行有效的四元组丢失验证。我们提出的方法在六个具有挑战性的人Re-ID数据集上的性能优于最先进的技术:CUHK 01,CUHK 03,VIPeR,PRID 2011,iLIDS和Market-1501。
2021-04-28 cs.AI cs.CV cs.LG
Identity Decoupling for Multi-Subject Personalization of Text-to-Image Models
KAIST(韩国科学技术院)
本文提出 MuDI 框架,利用 Segment Anything 的分割主体进行训练增强与生成初始化,以解耦多主体身份,并引入新评估指标,显著降低身份混合。
2024-10-28 cs.AI cs.CV
This Person (Probably) Exists. Identity Membership Attacks Against GAN Generated Faces
University of Caen Normandie(卡昂诺曼底大学);ENSI Caen(卡昂国立高等工程师学院)
最近,生成对抗网络(GANs)已经实现了惊人的现实主义,甚至愚弄了人类观察者。事实上,流行的开玩笑网站{ \small \url{ http://thispersondoesnotexist.com} }用GAN生成的图像嘲笑用户,这些图像看起来太真实了,令人难以置信。另一方面,GANs确实会泄漏有关其训练数据的信息,最近文献中的成员攻击证明了这一点。在这项工作中,我们挑战的假设,GAN面临着真的是新颖的创作,通过构建一个成功的成员攻击的一种新的。与以前的作品不同,我们的攻击可以准确地识别与训练样本共享相同身份的样本,而不是相同的样本。我们在几个流行的人脸数据集和GAN训练过程中展示了我们的攻击兴趣。值得注意的是,我们表明,即使存在显着的数据集的多样性,一个过度代表的人可以构成隐私问题。
2021-07-13 cs.AI cs.CV
Dual-Granularity Cross-Modal Identity Association for Weakly-Supervised Text-to-Person Image Matching
Kunming University of Science and Technology(昆明理工大学)
针对弱监督文本到人物图像匹配中复杂一对多身份关系难以预测的问题,提出局部与全局双粒度身份关联机制及信息不对称样本对构建方法,显著提升跨模态匹配精度。
2025-07-09 cs.CV cs.LG cs.MM