OrthoMAD: Morphing Attack Detection Through Orthogonal Identity Disentanglement
INESC TEC（葡萄牙工程与计算机系统研究所）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Fraunhofer Institute for Computer Graphics Research (IGD)（弗劳恩霍夫计算机图形学研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）
变形攻击是不断影响深度人脸识别系统的众多威胁之一。它包括从不同的个体中选择两张面孔，并将它们融合成包含两者身份信息的最终图像。在这项工作中，我们提出了一个新的正则化项，考虑到存在的身份信息，在这两个，并促进创建两个正交的潜在向量。我们在FRLL数据集中的五种不同类型的变形中评估了我们提出的方法（OrthoMAD），并评估了我们的模型在五个不同数据集上训练时的性能。以小型ResNet-18为骨干，我们在大多数实验中获得了最先进的结果，并在其他实验中获得了具有竞争力的结果。本文的代码将公开提供。
2022-08-23 cs.CV
Reinforced Disentanglement for Face Swapping without Skip Connection
针对人脸替换中身份泄露和非身份属性保留不足的问题，提出无跳跃连接框架WSC-swap，采用双目标编码器分离属性，结合GAN身份移除损失与3DMM非身份保留损失强化解耦，在多项指标上显著超越现有方法。
2023-08-03 cs.CV
An Identity-Preserved Framework for Human Motion Transfer
Southern University of Science and Technology（南方科技大学）
针对人体运动迁移中个性化运动信息丢失的问题，本文提出身份保持网络IDPres，通过融合目标骨架与个性化运动信息，并引入三种训练方案和ID-Score指标及Dancer101数据集，在重建精度、运动真实感与身份保持上超越现有方法。
2024-02-22 cs.CV
Set-Based Face Recognition Beyond Disentanglement: Burstiness Suppression With Variance Vocabulary
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文针对集合人脸识别中的质量与突发性问题，提出轻量级解耦框架分离身份与方差特征，并设计基于词汇的突发抑制方法VBS，在SFR基准上取得新最优性能。
2023-04-13 cs.CV
Unsupervised Disentanglement GAN for Domain Adaptive Person Re-Identification
Polytechnique Montréal（蒙特利尔理工学院）；Arcturus Networks（阿克图鲁斯网络公司）
虽然最近的人重新识别（ReID）方法在监督设置中实现了高准确性，但它们对未标记域的推广仍然是一个悬而未决的问题。在本文中，我们引入了一种新的无监督解纠缠生成对抗网络（UD-GAN）来解决有监督人ReID的领域自适应问题。我们的框架联合训练了一个ReID网络，用于使用身份注释在源标记域中进行区分特征提取，并通过学习该域上的解纠缠潜在表示来将ReID模型适应于未标记的目标域。目标域中与身份无关的特征从潜在特征中提取。因此，ReID特征更好地涵盖了无监督域中的人的身份。我们在Market 1501、DukeMTMC和MSMT 17数据集上进行了实验。结果表明，ReID中的无监督领域自适应问题是非常具有挑战性的。尽管如此，我们的方法显示出在一半的域转移的改善，并实现国家的最先进的性能，其中之一。
2020-07-30 cs.CV
Anonymizing medical case-based explanations through disentanglement
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；INESC TEC（INESC TEC 科技与科学研究所）
针对医学图像因隐私问题无法作为病例解释共享的问题，提出身份与医学特征解耦的匿名化方法，结合合成隐私身份模型，生成保医学内容的真实匿名图像，还可生成反事实图像。
2023-11-08 cs.CV
Dual Gaussian-based Variational Subspace Disentanglement for Visible-Infrared Person Re-Identification
Leiden University（莱顿大学）；KU Leuven University（鲁汶大学）
可见-红外人员再识别是夜间智能监控系统中一项具有挑战性的重要任务。除了RGB-RGB人重新识别主要克服的模态内方差之外，VI-ReID还遭受由固有的异质间隙引起的额外模态间方差。为了解决这个问题，我们提出了一个精心设计的双高斯变分自动编码器（DG-VAE），它解开身份可辨别和身份模糊的跨模态特征子空间，以下混合高斯（MoG）先验和标准高斯分布先验，分别。解开跨模态的身份可辨别的功能，导致更强大的检索VI-ReID。为了实现像传统VAE那样的高效优化，我们从理论上推导了监督设置下的MoG先验的两个变分推理项，这不仅限制了身份可区分的子空间，使模型显式地处理跨模态身份内方差，而且还使MoG分布能够避免后验崩溃。此外，我们提出了一个三重态交换重建（TSR）策略，以促进上述解纠缠过程。大量的实验表明，我们的方法优于两个VI-ReID数据集上的最先进的方法。
2020-08-06 cs.CV
StyleID: Identity Disentanglement for Anonymizing Faces
Linköping University（林雪平大学）
机器学习模型的隐私是阻碍人工智能（AI）广泛采用的剩余挑战之一。本文认为这个问题的背景下，图像数据集包含的面孔。由于这些数据集在自动驾驶汽车训练中的核心作用以及监控系统生成的大量数据，这些数据集的分析变得越来越重要。虽然大多数先前的工作通过修改像素空间中的身份特征来对面部图像进行去识别，但我们将图像投影到生成对抗网络（GAN）模型的潜在空间上，找到提供最大身份解开的特征，然后在潜在空间，像素空间或两者中操纵这些特征。本文的主要贡献是设计了一个特征保持匿名化框架StyleID，它保护了个人的身份，同时尽可能多地保留了图像数据集中原始人脸的特征。作为贡献的一部分，我们提出了一种新的解纠缠度量，三个互补的解纠缠方法，和新的见解身份解纠缠。StyleID提供了可调的隐私，具有低计算复杂性，并显示出优于当前最先进的解决方案。
2022-12-28 cs.AI cs.CR cs.CV
LEED: Label-Free Expression Editing via Disentanglement
Nanyang Technological University（南洋理工大学）
近年来，人脸表情编辑的研究取得了可喜的进展。另一方面，现有的方法面临的约束，需要大量的表情标签，这往往是昂贵的和耗时的collect.This本文提出了一种创新的无标签的表情编辑通过解开（LEED）框架，能够编辑的正面和侧面的面部图像的表情，而不需要任何表情标签。其思想是解开表情流形中面部图像的身份和表情，其中中性面部捕获身份属性，中性图像和表情图像之间的位移捕获表情属性。设计了两种新的损失最佳表达解纠缠和一致的合成，包括相互表达信息损失，旨在提取纯表达相关的功能和连体损失，旨在提高合成图像和参考图像之间的表达相似性。在两个公开的面部表情数据集上的实验表明，LEED在定性和定量上都实现了卓越的面部表情编辑。
2020-07-17 cs.CV
Reconstruction-Based Disentanglement for Pose-invariant Face Recognition
NEC Laboratories America（NEC美国实验室）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
在大规模数据集上训练的深度神经网络（DNN）最近在人脸识别方面取得了令人印象深刻的进步。但是一个持续的挑战仍然是开发能够处理在训练数据中相对代表性不足的大姿态变化的方法。本文提出了一种方法，用于学习的特征表示，是不变的姿态，而不需要广泛的姿态覆盖在训练数据。我们首先建议从一个正面的脸，以增加训练数据的多样性，同时保留准确的面部细节，是至关重要的身份歧视产生非正面的意见。我们的下一个贡献是寻求一个丰富的嵌入，编码身份特征，以及非身份的，如姿势和地标位置。最后，我们提出了一个新的特征重建度量学习明确地解开身份和姿态，通过要求通过各种组合的身份和姿态特征，这是从同一主题的两个图像获得的特征重建之间的对齐。在MultiPIE、300WLP和轮廓视图数据库CFP等受控和野生人脸数据集上的实验表明，我们的方法始终优于最先进的方法，特别是在头部姿势变化较大的图像上。详细结果和资源请参阅https://sites.google.com/site/xipengcshomepage/iccv2017
2017-08-16 cs.CV
Heterogeneous Face Recognition via Face Synthesis with Identity-Attribute Disentanglement
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
异构人脸识别（HFR）旨在跨不同域（例如，可见的近红外图像），其已广泛应用于认证和取证场景。然而，HFR是一个具有挑战性的问题，因为大的跨域差异，有限的异构数据对，和大的变化的面部属性。为了解决这些问题，我们从异构数据增强的角度提出了一种新的HFR方法，命名为人脸合成与身份属性解纠缠（FSIAD）。首先，身份-属性解纠缠（IAD）将人脸图像分解为身份相关和身份无关两种表示（称为属性），降低身份和属性之间的相关性。其次，我们设计了一个人脸合成模块（FSM）来生成大量的图像与随机组合的解开身份和属性，以丰富合成图像的属性多样性。利用原始图像和合成图像对HFR网络进行训练，以应对挑战，提高HFR的性能。在五个HFR数据库上的实验验证了FSIAD比以前的HFR方法具有更好的性能。特别地，FSIAD在LAMP-HQ（迄今为止最大的HFR数据库）上的VR@FAR=0.01%方面比现有技术水平提高了4.8%。
2022-06-10 cs.AI cs.CV
Unsupervised Geometric Disentanglement for Surfaces via CFAN-VAE
Rensselaer Polytechnic Institute（伦斯勒理工学院）
几何解纠缠，内在（即身份）和外在（即姿态）几何的潜在代码的分离，是非欧几里德数据的生成模型，如3D可变形模型的一个突出任务。它为潜在空间提供了更大的可解释性，并导致了对生成的更多控制。这项工作介绍了一个网格功能，共形因子和正常功能（CFAN），用于网格卷积自动编码器。我们进一步提出CFAN-VAE，一种新的架构，解开身份和构成使用CFAN功能。CFAN-VAE在训练过程中不需要身份或姿态的标签信息，以无监督的方式实现几何解纠缠。我们的综合实验，包括重建，插值，生成和身份/姿态转移，证明CFAN-VAE实现了最先进的性能无监督的几何解纠缠。我们还成功地检测到网格卷积自动编码器中的几何解纠缠水平，该编码器通过将其潜在空间注册到CFAN-VAE的潜在空间来直接编码xyz坐标。
2020-12-10 cs.CG cs.CV cs.GR
MLSD-GAN -- Generating Strong High Quality Face Morphing Attacks using Latent Semantic Disentanglement
Advanced Technology Development Centre, IIT Kharagpur（印度理工学院克勒格布尔分校先进技术发展中心）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Department of Computer Science and Engineering, IIT Kharagpur（印度理工学院克勒格布尔分校计算机科学与工程系）
提出MLSD-GAN方法，利用StyleGAN潜在语义解缠和球形插值生成高质量人脸变形攻击，并在两种深度学习人脸识别系统上验证其显著威胁性。
2024-04-19 cs.CR cs.CV
Multi-Domain Brain Vessel Segmentation Through Feature Disentanglement
Data Science Department, EURECOM（EURECOM数据科学部门）；Department of Medicine, Surgery and Neuroscience, University of Siena（锡耶纳大学医学、外科与神经科学系）；e-Health Center, Universitat Oberta de Catalunya（加泰罗尼亚开放大学e-健康中心）；Centre for Medical Image Computing (CMIC), Department of Medical Physics and Biomedical Engineering, University College London（伦敦大学学院医学影像计算中心）；Queen Square MS Centre, Department of Neuroinflammation, UCL Queen Square Institute of Neurology, Faculty of Brain Sciences, University College London（伦敦大学学院Queen Square多发性硬化中心）；Sorbonne Université, Paris Brain Institute, CNRS, Inria, Inserm, AP-HP, Hôpital de la Pitié Salpêtrière（巴黎大学巴黎脑研究所）；School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与成像科学学院）
针对现有脑血管分割模型多依赖单模态、跨域适配难的问题，提出基于特征解耦的图像转换框架，保留空间信息同时适配血管外观，实现多域血管精准分割，验证了方法鲁棒性与通用性。
2025-10-02 cs.CV cs.LG
Face Identity Disentanglement via Latent Space Mapping
Tel-Aviv University（特拉维夫大学）；Alibaba Cloud Intelligence Business Group（阿里云智能事业群）
学习数据的解纠缠表示是人工智能的一个基本问题。具体来说，解纠缠的潜在表征允许生成模型控制和合成的解纠缠的因素在合成过程中。然而，目前的方法需要广泛的监督和培训，或者相反，明显损害质量。在本文中，我们提出了一种学习如何以一种解脱的方式表示数据的方法，只需最少的监督，仅使用可用的预训练网络。我们的关键见解是通过采用领先的预训练无条件图像生成器（如StyleGAN）来解耦解纠缠和合成的过程。通过学习映射到其潜在空间，我们利用其最先进的质量，以及其丰富和富有表现力的潜在空间，而无需训练它。我们展示了我们在人类头部的复杂和高维域上的方法。我们评估我们的方法定性和定量，并展示其成功与去识别操作和时间身份的一致性图像序列。通过大量的实验，我们证明了我们的方法成功地将身份从其他面部属性中分离出来，超越了现有的方法，尽管它们需要更多的训练和监督。
2020-10-19 cs.CV cs.GR cs.LG
Face Identity-Aware Disentanglement in StyleGAN
Jagiellonian University（雅盖隆大学）；IDEAS NCBR（IDEAS国家生物医学影像中心）；University of Edinburgh（爱丁堡大学）
本文提出 StyleGAN 插件 PluGeN4Faces，利用电影帧中同一人物的多姿态图像和对比损失实现人脸属性与身份解耦，使属性编辑对身份等其余特征的干扰显著低于现有方法。
2023-09-21 cs.CV cs.LG
Disentanglement-based Cross-Domain Feature Augmentation for Effective Unsupervised Domain Adaptive Person Re-identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
无监督域自适应（UDA）人物再识别（ReID）的目的是将已标记的源域的知识转移到未标记的目标域进行人物匹配。一个挑战是如何生成具有可靠标签的目标域样本用于训练。为了解决这个问题，我们提出了一种基于解纠缠的跨域特征增强（DCDFA）策略，其中增强的特征很好地表征了目标和源域数据分布，同时继承了可靠的身份标签。特别地，我们将每个样本特征分解为鲁棒的域不变/共享特征和域特定特征，并执行跨域特征重组以增强训练中使用的样本的多样性，并限制跨域ReID损失和域分类损失。因此，基于域不变特征（其使得能够可靠地继承身份）和来自域特定特征（其使得能够近似真实分布）的增强而获得的每个重组特征是“理想的”增强。大量的实验结果表明，我们的方法的有效性，达到了国家的最先进的性能。
2021-03-25 cs.CV
Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition
本文提出VLEED方法，通过变分自编码器解耦人脸嵌入中的身份信息与性别、种族等属性，提升隐私和公平性。
2026-04-13 cs.CV
Mutual Information Maximization on Disentangled Representations for Differential Morph Detection
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的差分形态检测框架，利用地标和外观解纠缠。在我们的框架中，人脸图像表示在嵌入域中使用两个解开，但互补的表示。该网络由三张人脸图像训练，其中中间图像继承了一张图像的地标和另一张图像的外观。使用对比表示为每个数据集进一步训练这个初始训练的网络。我们证明，通过采用外观和地标解纠缠，所提出的框架可以提供最先进的差分形态检测性能。此功能是通过在界标、外观和ID域中使用距离来实现的。所提出的框架的性能进行评估，使用不同的方法生成的三个变形数据集。
2020-12-02 cs.CV
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London（伦敦大学学院）
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时，这个问题尤其严重。在本文中，我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器（VAE），鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明，国家的最先进的方法，潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成，同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
Seeing Your Speech Style: A Novel Zero-Shot Identity-Disentanglement Face-based Voice Conversion
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出ID-FaceVC方法，通过身份感知对比学习模块和互信息双重解耦模块，实现零样本基于人脸的语音转换，支持音频或文本输入及可控情感与语速，在自然度、相似度和多样性上达到最先进水平。
2024-09-01 cs.AI cs.CV cs.SD
Capture Artifacts via Progressive Disentangling and Purifying Blended Identities for Deepfake Detection
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；School of Electronic and Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
针对现有Deepfake检测方法过度依赖全局特征导致泛化性差的问题，提出一种基于渐进式解耦和净化混合身份的检测方法，通过粗细粒度解耦结合IACC模块和对比损失分离纯净伪影特征，提升检测器泛化能力。
2024-10-15 cs.CV
Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）
人脸反欺骗（FAS）在防止人脸识别系统遭受呈现攻击方面起着至关重要的作用。现有的人脸反欺骗数据集缺乏多样性，由于身份不足和不显著的方差，这限制了FAS模型的泛化能力。在本文中，我们提出了双重欺骗解纠缠生成（DSDG）框架来解决这个挑战，通过“反欺骗通过生成”。根据变分自编码器（VAE）中的可解释的因子分解潜在解纠缠，DSDG学习潜在空间中的身份表示和欺骗模式表示的联合分布。然后，可以从随机噪声中生成大规模成对的实时和欺骗图像，以提高训练集的多样性。然而，由于VAE的固有缺陷，一些生成的人脸图像部分失真。这样的噪声样本很难预测精确的深度值，因此可能会阻碍广泛使用的深度监督优化。为了解决这个问题，我们进一步引入了一个轻量级的深度不确定性模块（DUM），它通过深度不确定性学习来消除噪声样本的不利影响。DUM是在没有额外依赖的情况下开发的，因此可以灵活地与任何深度监督网络集成，用于面部反欺骗。我们评估了所提出的方法的有效性五个流行的基准，并达到国家的最先进的结果下，内部和内部测试设置。这些代码可在https://github.com/JDAI-CV/FaceX-Zoo/tree/main/addition_module/DSDG上获得。
2021-12-01 cs.CV
AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
UC San Diego（加州大学圣迭戈分校）；Qualcomm Technologies, Inc.（高通技术公司）
针对多AU强度标注数据稀缺问题，本文提出双分支AUEditNet，仅用18名受试者即可隐式解耦身份与属性，实现12个AU的精确强度操控。
2024-04-10 cs.CV
Make Your Actor Talk: Generalizable and High-Fidelity Lip Sync with Motion and Appearance Disentanglement
Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出 MyTalk，通过解耦语音驱动的唇部运动与外观生成，并结合关键点身份损失及分编码器融合，实现对未知和域外人物均具高保真度与泛化性的唇形同步。
2024-06-17 cs.CV
Optimizing ID Consistency in Multimodal Large Models: Facial Restoration via Alignment, Entanglement, and Disentanglement
National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心）；School of Computer Science, Wuhan University（武汉大学计算机学院）
EditedID通过引入对齐、解纠缠和纠缠机制，提升多模态大模型中面部身份一致性的修复能力。
2026-02-21 cs.CV cs.GR
Disentangle Before Anonymize: A Two-stage Framework for Attribute-preserved and Occlusion-robust De-identification
提出解耦先于匿名化的两阶段框架DBAF，通过CID和KRIA模块实现身份解耦与匿名化，并引入MAAR模块增强遮挡鲁棒性，在属性保留和脱敏质量上超越现有方法。
2025-05-01 cs.CV
Disentanglement for Discriminative Visual Recognition
Harvard University（哈佛大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）
最近基于深度学习的识别的成功依赖于维护与主任务标签相关的内容。然而，如何明确地消除噪声信号，以更好地推广在可控的方式仍然是一个悬而未决的问题。例如，诸如身份特定属性、姿态、光照和表情的各种因素影响面部图像的外观。解开身份特异性因素对面部表情识别（FER）有潜在的好处。本章系统地总结了任务相关/非相关语义变异和非特定潜在变异这两个影响翻译质量的因素。在本章中，这些问题被转换为深度度量学习问题或潜在空间中的对抗性极大极小博弈。对于前一种选择，一个广义的自适应（N+M）-元组集群损失函数与身份感知的硬否定挖掘和在线积极挖掘方案可以用于身份不变的FER。通过联合优化，在统一的两个全连接层分支框架中结合深度度量损耗和softmax损耗，可以获得更好的FER性能。对于后一种解决方案，可以为端到端条件对抗网络配备将输入样本分解为三个互补部分的能力。区分性表征继承了由任务的先验知识引导的期望的不变性属性，该属性与任务相关/不相关的语义和潜在变化无关。该框架在光照、化妆、伪装容忍人脸识别和人脸属性识别等一系列任务上都取得了很好的性能。本章系统地总结了目前流行的实用解纠缠方法，以实现更具区分力的视觉识别。
2020-06-14 cs.CV cs.LG eess.IV
MorphUNet: Alpha-Controlled Biometric Transport for Diffusion-Based Face Morphing Attacks
研究针对人脸变形攻击威胁，提出MorphUNet框架，将双亲生成设为α控制生物特征传输，用可训练双亲分离双交叉注意力，经实验评估其在多个指标上表现出色，在变形攻击潜力等方面优于基线，且难被检测。
2026-07-29 cs.CV
Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
Korea Advanced Institute of Science and Technology（韩国科学技术院）
可见光-红外人脸识别是夜间监控中的一项重要任务，因为可见光摄像机在恶劣的光照条件下很难捕捉到有效的外观信息。与仅处理模态内差异的传统人员重新识别相比，VI-ReID遭受由不同类型的成像系统引起的额外的跨模态差异。为了减少内部和跨模态的差异，我们提出了一个分层的跨模态解开（Hi-CMD）的方法，它自动解开ID的歧视性因素和ID排除的因素从可见光热图像。我们只使用ID判别因子进行鲁棒的跨模态匹配，而不使用ID排除因子，如姿势或照明。为了实现我们的方法，我们引入了一个ID保持的人的图像生成网络和分层特征学习模块。我们的生成网络通过生成具有不同姿势和照明的新的跨模态图像来学习解纠缠表示，同时保留一个人的身份。同时，特征学习模块使我们的模型能够显式地提取可见光-红外图像之间的共同ID鉴别特征。大量的实验结果表明，我们的方法优于最先进的方法在两个VI-ReID数据集。源代码可在https://github.com/bismex/HiCMD上获得。
2020-03-14 cs.CV
Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models
通过形态学描述符和提示层面的音感结构，研究揭示了文本到图像扩散模型中身份盆地的系统性导航梯度，展示了身份稳定性和新视觉概念的生成。
2026-02-20 cs.CV
Diff-ID: Identity Consistent Facial Image Generation and Morphing via Diffusion Models
University of Surrey（萨里大学）；Jiangnan University（江南大学）
研究针对面部图像合成中高分辨率下身份保持难题，提出Diff-ID框架，通过自定义数据集、集成嵌入及新损失函数实现，实验表明其在身份-真实感权衡上表现出色，还展示了基于DDIM的变形管道，强调联合评估身份保持与真实感。
2026-07-29 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect（Hyperconnect公司）
当目标身份和驾驶员身份之间存在不匹配时，面部再现的结果质量会严重下降，特别是在Few-Shot设置中。身份保留问题是最常见的失败模式，其中模型丢失了目标的详细信息，导致有缺陷的输出。这个问题有几个潜在的来源，例如由于身份不匹配导致的驾驶员身份泄露，或者处理看不见的大姿势。为了克服这些问题，我们引入了解决上述问题的组件：图像注意力块，目标特征对齐和地标Transformer。通过参加和扭曲的相关功能，拟议的架构，称为MarioNETte，产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外，地标Transformer通过地标解纠缠隔离表达式几何，极大地简化了身份保存问题。进行了全面的实验，以验证所提出的框架可以生成高度逼真的面孔，优于所有其他基线，即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
Self-supervised Feature Disentanglement and Augmentation Network for One-class Face Anti-spoofing
National Tsinghua University（国立清华大学）
本文提出了一种自监督特征解耦与增强网络（UFDANet），通过解耦活体特征和领域特征，提升单类面部反伪装的泛化能力，实验表明其优于现有单类方法并可与双类方法媲美。
2026-06-03 cs.CV
Landmark Enforcement and Style Manipulation for Generative Morphing
West Virginia University（西弗吉尼亚大学）
变形图像通过呈现为多个个体来威胁面部识别系统（FRS），允许对手与另一个主体交换身份。使用生成对抗网络（GANs）生成的变形导致高质量的变形不受基于地标的方法引起的空间伪影的影响，但与标准的基于GAN的变形方法的一致性明显丧失。在本文中，我们提出了一种新的StyleGAN变形生成技术，通过引入一个地标强制执行的方法来解决这个问题。考虑到这种方法，我们的目标是强制变形图像的地标，以表示真正的面孔和随后的变形图像继承的几何身份的两个真正的面孔的地标的空间平均。我们的模型的潜在空间的探索是使用主成分分析（PCA）进行的，以强调变形的潜在表示上的真实面孔的影响，并解决与潜在域平均的身份丢失问题。此外，为了改善变形中的高频重建，我们研究了StyleGAN2模型的噪声输入的可训练性。
2022-10-18 cs.CV
Colors See Colors Ignore: Clothes Changing ReID with Color Disentanglement
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
提出仅依赖RGB的CSCI方法，利用前景和背景颜色作为免标注代理，通过S2A自注意力将颜色外观偏差与身份特征解耦，有效缓解换衣行人重识别中的外观偏差并显著提升性能。
2025-07-09 cs.CV
Face Swapping as A Simple Arithmetic Operation
Hanoi University of Science and Technology（河内科技大学）；Applied Artificial Intelligence Institute (A2I2), Deakin University（迪肯大学应用人工智能研究所（A2I2））
我们提出了一种新的高保真人脸交换方法，称为“算术人脸交换”（AFS），它明确地将预训练的StyleGAN的中间潜在空间W+分解为“身份”和“风格”子空间，使得W+中的潜在代码是相应子空间中的“身份”代码和“风格”代码的总和。通过我们的解纠缠，面交换（FS）可以被视为W+中的简单算术运算，即，源“身份”代码和目标“风格”代码的总和。这使得AFS比其他FS方法更直观和优雅。此外，我们的方法可以推广到标准的人脸交换，以支持其他有趣的操作，例如，将一个源的身份与多个目标的风格相结合，反之亦然。我们通过学习一个将潜在代码映射到“风格”代码的神经网络来实现我们的身份风格解开。我们为这个网络提供了一个条件，该条件在理论上保证了即使在一系列的人脸交换操作之后源人脸的身份保留。大量的实验证明了我们的方法在产生高质量的交换面的国家的最先进的FS方法的优势。我们的源代码在https://github.com/truongvu2000nd/AFS上公开
2023-02-03 cs.AI cs.CV
Causal Disentanglement for Robust Long-tail Medical Image Generation
School of Electrical and Information Engineering, Tianjin University, China（天津大学电气与信息工程学院）；Department of Information Engineering and Computer Science, University of Trento, Italy（特伦托大学信息工程与计算机科学系）；Fondazione Bruno Kessler, Italy（布鲁诺·克塞勒基金会）
针对医学图像数据稀缺和类别不平衡问题，本文提出基于因果解缠的生成框架，分离病理与结构特征，结合文本引导的扩散模型和大语言模型，生成高质量、结构稳定的反事实医学图像，并优化长尾类别性能。
2025-04-24 cs.CV
The Influence of the Other-Race Effect on Susceptibility to Face Morphing Attacks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
在两个身份之间创建的面部变形类似于用于创建变形的两个面部。因此，人类和机器很容易将两个身份的变形误认为是用于创建变形的任何一张脸。此漏洞已被利用在安全场景中的“变形攻击”中。在这里，我们询问了“其他种族效应”（ORE）-人类识别自己与其他种族面孔的优势-是否加剧了人类的变形攻击易感性。我们还询问了深度卷积神经网络（DCNN）中的人脸识别性能是否会受到变形人脸种族的影响。高加索（CA）和东亚（EA）的参与者进行了一个面孔身份匹配任务对CA和EA的脸在两种条件下的图像。在变形条件下，不同身份对由身份“A”的图像和身份“A”和“B”的图像之间的50/50变形组成。在基线条件下，不同身份的变体从未出现。正如预期的那样，变形被错误地识别比原始面部图像更频繁。此外，CA的参与者表现出的优势，CA的脸相比，EA的脸（部分ORE）。主要的兴趣，变形识别是大大不如跨种族的脸比自己的种族的脸。与人类相似，DCNN对原始人脸图像的表现比变形图像对更准确。值得注意的是，在这两种情况下，深度网络都比人类更准确。结果表明，当呈现变形人脸时，DCNN可能有助于提高人脸识别准确性。它们还表明了ORE在应用环境中对变形攻击敏感性的重要性。
2022-04-26 cs.CV
BlendFace: Re-designing Identity Encoders for Face-Swapping
The University of Tokyo（东京大学）；CyberAgent AI Lab（CyberAgent人工智能实验室）
针对换脸任务中现有身份编码器存在身份-属性纠缠的问题，提出新型身份编码器BlendFace，通过在混合人脸图像上训练减轻属性偏差，在保持量化性能的同时提升解耦效果。
2023-07-20 cs.CV
MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Michigan State University（密歇根州立大学）
生成对抗网络（GANs）的最新进展在人脸图像合成方面取得了显着成就。虽然使用基于样式的GANs的方法可以生成惊人的照片级真实感人脸图像，但通常很难以有意义和分离的方式控制生成的人脸的特征。现有方法的目的是在先前训练的GAN的潜在空间内实现这种语义控制和解纠缠。相比之下，我们提出了一个框架，先验模型的物理属性的脸，如3D形状，pendo，姿势和照明明确，从而提供解纠缠的设计。我们的方法MOST-GAN将基于样式的GANs的表现力和逼真度与非线性3D变形模型的物理解缠和灵活性相结合，我们将其与最先进的2D头发操作网络相结合。MOST-GAN实现了肖像图像的照片级逼真操作，对它们的物理属性进行完全分离的3D控制，实现了对照明，面部表情和姿势变化的极端操作，直到完整的轮廓视图。
2021-11-01 cs.AI cs.CV cs.GR
Arc2Morph: Identity-Preserving Facial Morphing with Arc2Face
Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
Arc2Morph基于Arc2Face提出的新方法，通过深度学习技术在面部变形攻击检测中实现了与传统关键点方法相当的性能，有效保持身份信息。
2026-02-18 cs.CR cs.CV
An Assessment of GANs for Identity-related Applications
Ecole Centrale de Lyon（里昂中央理工学院）；IDEMIA（IDEMIA公司）
生成对抗网络（GANs）现在能够生成具有极高视觉质量的合成人脸图像。在开发GANs本身的同时，也在努力开发客观评估合成图像特征的指标，主要关注视觉质量和图像的多样性。然而，在评估GANs的过拟合及其生成新身份的能力方面，几乎没有做过什么工作。在本文中，我们将最先进的生物识别网络应用于各种合成图像数据集，并对其身份相关特征进行全面评估。我们的结论是，GANs确实可以用于生成新的、想象的身份，这意味着图像集的匿名化和使用干扰图像增强训练数据集等应用是可行的应用。我们还评估了GANs从其他图像特征中分离身份的能力，并提出了一种新的GAN三重态损失，我们证明了这种分离。
2020-12-18 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法，但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络（FD-GAN）来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像（包含罪犯的身份）和存储在电子护照系统中的变形图像（包含罪犯和共犯的身份），FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
MIPGAN -- Generating Strong and High Quality Morphing Attacks Using Identity Prior Driven GAN
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）
人脸变形攻击的目标是通过采用从多个数据主体（例如，同谋和恶意行为者）。变形的图像可以以合理的成功率针对贡献的数据主体进行验证，因为它们具有高度的面部相似性。变形攻击的成功与否直接取决于生成的变形图像的质量。我们提出了一种新的方法来生成强大的攻击扩展我们以前的框架生成人脸变形。我们提出了一种新的方法，使用身份先验驱动的生成对抗网络，我们称之为MIP GAN（通过身份先验驱动的GAN变形）。建议MIPGAN是来自StyleGAN与新制定的损失函数利用感知质量和身份因素，以产生一个高品质的变形的面部图像，最小的文物和高分辨率。我们通过评估其对商业和基于深度学习的人脸识别系统（FRS）的脆弱性，证明了所提出的方法在生成强变形攻击方面的适用性，并证明了攻击的成功率。进行了广泛的实验，以评估FRS的脆弱性对三种类型的数据，如数字图像，重新数字化（打印和扫描）的图像，并重新数字化后，从新生成的MIPGAN人脸形态数据集压缩图像的变形人脸生成技术。实验结果表明，所提出的变形生成方法对FRS构成了很大的威胁。
2021-04-07 cs.CR cs.CV
DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping
UNC Charlotte（北卡罗来纳大学夏洛特分校）
本研究提出DiffSwap++，一种融入3D人脸潜在特征的扩散人脸交换方法，可在保留源身份的同时维持目标姿态表情，在多数据集实验及评估中性能优于现有方法。
2026-08-25 cs.CV
Identity-Expression Ambiguity in 3D Morphable Face Models
Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Yale University（耶鲁大学）
3D变形模型是一类通常用于对面部建模的生成模型。它们通常应用于不适定问题，例如从2D数据进行3D重建。对该问题成像过程中的几个模糊性进行了研究。我们证明了身份和表达的变化的非正交性会导致3D变形模型中的身份表达模糊性，并且在实践中表达和身份远非正交，并且可以很好地解释彼此。虽然以前报告的歧义只出现在逆渲染设置，身份表达的歧义出现在3D形状生成过程本身。我们直接使用3D形状以及通过反向渲染任务来演示这种效果，并使用两种由高质量3D扫描构建的流行模型以及由大量2D图像和视频构建的模型。我们探讨这个问题的影响，逆渲染和观察，它不能解决一个纯粹的统计身份和表情变形之前。
2021-09-29 cs.CV cs.GR
Facial De-morphing: Extracting Component Faces from a Single Morph
International Institute of Information Technology Hyderabad (IIIT-H)（海得拉巴国际信息技术学院（IIIT-H））；Michigan State University（密歇根州立大学）
通过策略性地组合对应于多个身份的两个或更多个面部图像来创建面部变形。意图是使变形图像与多个身份匹配。目前的变形攻击检测策略可以检测变形，但无法恢复创建它们时使用的图像或身份。从变形的面部图像推导个体面部图像的任务被称为\textit{de-morphing}。去变形中的现有工作假设与一个身份有关的参考图像的可用性，以便恢复共犯的图像-即，另一个身份。在这项工作中，我们提出了一种新的去变形方法，可以同时从一个单一的变形的人脸图像恢复两个身份的图像，而不需要一个参考图像或先验信息的变形过程。我们提出了一个生成对抗网络，它实现了基于单个图像的去变形，具有令人惊讶的高度视觉真实感和与原始人脸图像的生物特征相似性。我们证明了我们的方法的性能基于地标的变形和生成模型的变形与有前途的结果。
2022-09-07 cs.CV
Exploring Explicit Domain Supervision for Latent Space Disentanglement in Unpaired Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；University of Rochester（罗切斯特大学）
图像到图像的翻译任务已经被生成对抗网络（GANs）广泛研究。然而，现有的方法大多是设计在一个无监督的方式，而很少注意到未配对数据中的域信息。在本文中，我们把领域信息作为显式监督，并设计了一个不成对的图像到图像的翻译框架，域监督GAN（DosGAN），这迈出了第一步，探索显式域监督。与使用不同的生成器或域代码表示域特征相比，我们预先训练分类网络来显式地对图像的域进行分类。在预训练之后，该网络用于提取每幅图像的特定领域特征。这些特征与由另一个编码器提取的域独立特征（跨不同域共享）一起用于生成目标域中的图像。在多个人脸属性翻译、多个身份翻译、多个季节翻译和条件边缘到鞋/手袋的翻译上的大量实验证明了该方法的有效性。此外，我们可以将在Facescrub数据集上获得的特定于域的特征提取器与域监督信息转移到看不见的域，例如CelebA数据集中的人脸。我们还成功地实现了CelebA中任意两个图像的条件翻译，而像StarGAN这样的以前的模型无法处理这个任务。
2019-10-22 cs.CV
GAN-Control: Explicitly Controllable GANs
Amazon（亚马逊）
我们提出了一个训练GANs的框架，对生成的图像进行显式控制。我们能够通过设置确切的属性（如年龄，姿势，表情等）来控制生成的图像。大多数编辑GAN生成的图像的方法都是通过利用潜在的空间解纠缠属性来实现部分控制的，这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度，但不显式地设置它们的值。最近提出的方法，旨在显式控制人脸，利用变形的3D人脸模型，以允许在GANs细粒度的控制能力。与这些方法不同的是，我们的控制是不受约束的变形三维人脸模型参数，并可扩展到人类面部以外的领域。使用对比学习，我们获得了具有显式解纠缠潜在空间的GANs。这种解纠缠被用来训练控制编码器，将人类可解释的输入映射到合适的潜在向量，从而允许显式控制。在人脸领域，我们展示了对身份，年龄，姿势，表情，头发颜色和照明的控制。我们还展示了我们的框架在绘画肖像和狗图像生成领域的控制能力。我们证明了我们的方法在定性和定量上都达到了最先进的性能。
2021-10-03 cs.CV
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI（电信与图像处理实验室）；Télécom Paris（巴黎电信学院）
针对现有GAN图像编辑方法解耦性不足的问题，提出一种基于主成分分析压缩潜在空间的自动编码器，重构StyleGAN潜在空间以实现属性解耦编辑，训练快、解耦效果优且保持图像身份保真度，架构易实现。
2023-12-13 cs.CV
TimeMachine: Fine-Grained Facial Age Editing with Identity Preservation
本文提出基于扩散的 TimeMachine 框架，通过多交叉注意力注入年龄信息并结合潜在空间年龄分类器引导，实现保持身份不变的细粒度面部年龄编辑，并构建了百万级 HFFA 数据集。
2025-08-18 cs.CV
Beyond Inference Intervention: Identity-Decoupled Diffusion for Face Anonymization
School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）；School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息学院）
针对现有扩散人脸匿名化依赖推理干预导致属性纠缠、保真度低的问题，提出训练为核心的ID²Face框架，通过身份解耦潜空间与正交映射实现高质量匿名化，性能优于现有方法。
2025-10-28 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性，个人身份信息的安全和隐私成为前所未有的挑战。与此同时，先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此，重要的是要使用人脸图像，同时仔细考虑保护人们的身份。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指生成另一张具有相似外观和相同背景的图像，而真实身份被隐藏。虽然已经做出了广泛的努力，但现有的人脸去识别技术要么在照片真实性方面不足，要么无法很好地平衡隐私和实用性。在本文中，我们专注于解决这些挑战，以提高人脸去识别。我们提出了IdentityDP，这是一个将数据驱动的深度神经网络与差分隐私（DP）机制相结合的人脸匿名化框架。该框架包括三个阶段：面部表征解纠缠，$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息，保持显着的视觉相似性，并生成高质量的图像，可用于身份不可知的计算机视觉任务，如检测，跟踪等，与以往的方法不同，我们可以调整隐私和实用性的平衡，通过隐私预算根据实际需求，并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
