HS-Diffusion: Semantic-Mixing Diffusion for Head Swapping
ByteDance Inc（字节跳动公司）；Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；Dalian University of Technology（大连理工大学）
本文提出HS-Diffusion，通过语义混合扩散模型和语义布局生成器实现高质量头部替换，并构建新基准与专属指标验证其优越性。
2023-08-03 cs.CV
SwapAnyone: Consistent and Realistic Video Synthesis for Swapping Any Person into Any Video
Peking University（北京大学）；Rabbitpre Intelligence（睿兔智能）；National University of Singapore（新加坡国立大学）
本文提出端到端视频身体交换模型 SwapAnyone，以视频修复方式实现身份、运动和环境一致性，并引入 EnvHarmony 训练策略和 HumanAction-32K 数据集，在开源方法中达到 SOTA 性能。
2025-03-12 cs.CV
NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
Zhejiang University（浙江大学）；Google（谷歌）
近年来，神经隐式绘制技术得到了迅速发展，并在新的视图合成和三维场景重建方面显示出巨大的优势。然而，用于编辑目的的现有神经渲染方法提供有限的功能，例如，刚性变换，或不适用于日常生活中一般对象的细粒度编辑。在本文中，我们提出了一种新的基于网格的表示，通过编码的神经隐式字段与解纠缠的几何和纹理代码的网格顶点，这有利于一组编辑功能，包括网格引导的几何编辑，指定的纹理编辑与纹理交换，填充和绘画操作。为此，我们开发了几种技术，包括可学习的符号指示器，以放大基于网格表示的空间可扩展性，蒸馏和微调机制，使一个稳定的收敛，和空间感知的优化策略，以实现精确的纹理编辑。在真实数据和合成数据上的大量实验和编辑实例证明了该方法在表示质量和编辑能力上的优越性。代码可以在项目网页上找到：https://zju3dv.github.io/neumesh/。
2022-07-25 cs.CV cs.GR
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China（中国科学技术大学）；Central Media Technology Institute, Huawei（华为中央媒体技术研究所）；Nanjing University（南京大学）
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画，提升动画质量和可控性。
2025-12-17 cs.CV
OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting
University of Rochester（罗切斯特大学）；Adobe Research（奥多比研究院）
本文提出统一框架OmniPaint，将对象移除与插入建模为相互依赖的过程，结合扩散先验、渐进式训练和CycleFlow无配对细化，并引入CFD无参考评估指标，实现高保真且场景一致的图像编辑。
2025-03-12 cs.CV
Progressive Disentangled Representation Learning for Fine-Grained Controllable Talking Head Synthesis
我们提出了一种新颖的一次性说话头部合成方法，实现了对嘴唇运动，眼睛凝视和眨眼，头部姿势和情感表达的分离和细粒度控制。我们代表不同的运动，通过解开潜在的表示和利用图像生成器合成说话的头从他们。为了有效地解开每个运动因素，我们提出了一个渐进的解开表示学习策略，通过分离的因素，在一个由粗到细的方式，我们首先提取统一的运动特征的驱动信号，然后隔离每个细粒度的运动从统一的功能。针对非情感运动引入运动相关的对比学习和回归，针对情感表达引入特征级的去相关和自重构，充分利用非结构化视频数据中各运动因子的固有属性实现解纠缠。实验表明，我们的方法提供了高质量的语音和嘴唇运动同步，以及精确和分离的控制多个额外的面部运动，这是很难实现的以前的方法。
2022-11-26 cs.CV
DiffFit: Disentangled Garment Warping and Texture Refinement for Virtual Try-On
China Jiliang University（中国嘉兴大学）
提出DiffFit，一种两阶段潜在扩散框架，通过解耦几何感知服装形变与跨模态纹理精修，解决了虚拟试衣中细节保留、对齐与泛化问题，实现了高保真且优于现有方法的视觉效果。
2025-06-29 cs.CV
Cross-domain Microscopy Cell Counting by Disentangled Transfer Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）
来自不同成像条件、器官和组织的显微镜图像通常具有在一系列背景上具有各种形状的许多细胞。因此，设计一个深度学习模型来计数源域中的细胞在将它们转移到新的目标域时变得不稳定。为了解决这个问题，在不同领域训练基于深度学习的细胞计数模型时，手动注释成本通常是常态。在本文中，我们提出了一种跨域细胞计数方法，只需要弱的人类注释的努力。首先，我们实现了一个细胞计数网络，从细胞图像中的领域不可知知识中分离出特定领域的知识，它们分别涉及领域风格图像和细胞密度图的创建。然后，我们设计了一种图像合成技术，能够生成大量的合成图像，建立在几个目标域的图像已被标记。最后，我们使用一个公共数据集组成的合成细胞作为源域，其中没有手动注释成本，训练我们的细胞计数网络，随后，我们只转移域不可知的知识，一个新的目标域的真实细胞图像。通过使用合成的目标域图像和几个真实的注释图像逐步改进训练模型，我们提出的跨域细胞计数方法与依赖于目标域中完全注释的训练图像的最新技术相比，具有良好的性能。我们评估了我们的跨域方法在实际显微镜细胞的两个目标域数据集上的有效性，证明了在新域中仅需要对少数图像进行注释的可行性。
2023-03-20 cs.CV
FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio
Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanjing University（南京大学）
本文提出FaceChain-ImagineID，通过渐进式音频解耦和可控连贯帧生成，在单一模型中从音频生成高保真、多样化且音频同步的说话人脸视频。
2024-04-01 cs.CV
On Hallucinating Context and Background Pixels from a Face Mask using Multi-scale GANs
Affectiva（Affectiva公司）；University of Notre Dame（圣母大学）
我们提出了一个多尺度GAN模型，从一个单一的输入面具自动幻觉现实背景（额头，头发，脖子，衣服）和背景像素。我们的模型不是将人脸交换到现有的图片上，而是根据所提供的人脸蒙版的特征直接生成逼真的上下文和背景像素。与面部修复算法不同，即使对于大量缺失的像素，它也可以生成逼真的幻觉。我们的模型由GAN块的级联网络组成，每个块的任务是在特定分辨率下对丢失的像素进行超分辨率处理，同时指导下一个GAN块的合成过程。通过在网络的每个块处使用重建、感知、对抗和身份保持损失的组合，使幻觉化的全脸图像具有照片般的真实感。通过一组广泛的实验，我们证明了我们的模型在从与我们的训练数据不相交的多个数据集收集的不同面部姿势，表情和照明的面罩中产生幻觉的上下文和背景像素中的有效性。我们还比较了我们的方法与两个流行的人脸交换和人脸补全方法的视觉质量和识别性能。此外，我们分析了我们的级联流水线，并将其与最近提出的GANs的渐进增长进行比较。
2020-01-12 cs.CV
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London（伦敦大学学院）
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时，这个问题尤其严重。在本文中，我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器（VAE），鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明，国家的最先进的方法，潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成，同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
DSRGAN: Explicitly Learning Disentangled Representation of Underlying Structure and Rendering for Image Generation without Tuple Supervision
Sun Yat-sen University（中山大学）；NUDT（国防科技大学）
我们专注于明确学习自然图像生成的解纠缠表示，其中底层空间结构和结构上的渲染可以分别独立控制，但不使用元组监督。该设置非常重要，因为元组监督成本很高，有时甚至不可用。然而，该任务是高度不受约束的，因此是不适定的。为了解决这个问题，我们建议引入一个辅助域，它与目标域共享一个共同的底层结构空间，我们做了一个部分共享的潜在空间假设。其关键思想是鼓励部分共享的潜变量来表示两个域中相似的潜在空间结构，而两个域特定的潜变量将被可替换地安排来分别呈现两个域的渲染。这是通过设计两个并行的生成网络与一个共同的渐进渲染架构（PRA），这限制了两个生成网络的行为，以模型共享的底层结构和模型之间的空间依赖关系渲染和底层结构。因此，我们提出DSRGAN（GANs for Disentangling Underlying Structure and Rendering）来实例化我们的方法。我们还提出了一个定量标准（归一化解缠）来量化解缠。与最先进的方法的比较表明，DSRGAN可以显着优于他们在解缠。
2019-09-30 cs.CV cs.GR cs.LG
Lung Swapping Autoencoder: Learning a Disentangled Structure-texture Representation of Chest Radiographs
Stony Brook University（石溪大学）；Newark Beth Israel Medical Center（纽瓦克贝斯以色列医疗中心）；University Hospitals Cleveland Medical Center（克利夫兰大学医院医疗中心）
由于标注成本高，很难获得标记良好的胸片数据集。因此，希望以无监督的方式学习鲁棒且可转移的表示，以使缺乏标记数据的任务受益。与自然图像不同，医学图像具有其自身的领域先验;例如，我们观察到许多肺部疾病，例如COVID-19，表现为肺组织纹理而不是解剖结构的变化。因此，我们假设只研究纹理而不考虑结构变化的影响，这对下游的预测和预测建模任务是有利的。在本文中，我们提出了一个生成框架，肺交换自动编码器（LSAE），学习分解表示的CXR解开纹理因素的结构因素。具体而言，通过对抗训练，LSAE被优化以生成混合图像，该混合图像保留一个图像中的肺形状，但继承另一个图像的肺纹理。为了证明解纠缠纹理表示的有效性，我们评估了ChestX-ray 14（N= 112，120）上LSAE中的纹理编码器$Enc^t$，以及我们自己的多机构COVID-19结果预测数据集COVOC（N=340（子集-1）+53（子集-2））。在这两个数据集上，我们通过在LSAE中微调$Enc^t$达到或超过最先进的水平，比基线Inception v3小77%。此外，在具有类似模型预算的半监督和自监督设置中，LSAE中的$Enc^t$也与最先进的MoCo竞争。通过“重新混合”纹理和形状因子，我们生成有意义的混合图像，可以增强训练集。这种数据增强方法可以进一步提高COVOC预测性能。即使我们直接在Subset-2上评估Subset-1…
2022-01-18 cs.CV eess.IV
SMILE: Semantically-guided Multi-attribute Image and Layout Editing
Computer Vision Lab ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；KU Leuven（鲁汶大学）
自生成对抗网络（GANs）引入以来，属性图像处理一直是一个非常活跃的话题。由于面部图像的多个和相互包容的性质，在变换中探索解纠缠的属性空间是一项非常具有挑战性的任务，其中不同的标签（眼镜、帽子、头发、身份等）可以同时共存。几项工作解决了这个问题，或者通过利用每个域/属性的模态使用条件随机向量噪声，或从示例性图像中提取模态。然而，现有的方法不能同时处理多个属性的随机和引用转换，这限制了解决方案的通用性。在本文中，我们成功地利用了多模态表示，处理所有属性，无论是随机噪声或样本图像的指导下，而只使用目标域的基础域信息。我们提出了广泛的定性和定量结果的面部数据集和几个不同的属性，显示了我们的方法的优越性。此外，我们的方法能够通过使用图像作为参考或通过探索风格分布空间来添加，删除或更改细粒度或粗粒度属性，并且可以很容易地扩展到头部交换和面部重现应用程序，而无需在视频上进行训练。
2020-10-05 cs.CV
ExtSwap: Leveraging Extended Latent Mapper for Generating High Quality Face Swapping
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出ExtSwap换脸方法，利用预训练StyleGAN分别提取身份与属性特征以解耦语义，并将其映射至扩展隐空间，在定性与定量上均优于现有最先进方法。
2023-10-19 cs.CV
GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data
Megvii Inc.（旷视科技）；Peking University（北京大学）
对象变形将图像中的对象替换为第二个图像中的另一个对象。例如，它可以执行类似于“将图像A中的那些眼镜准确地放在图像B中的人的鼻子上”的任务。范例图像的使用允许更精确地指定所需的修改，并提高了条件图像生成的多样性。然而，依赖于特征空间操作的先前方法需要成对的数据和/或外观模型来训练或从背景中分离对象。在这项工作中，我们提出了一个模型，可以从两组不成对的图像中学习对象变形：一组包含“有”这种对象的图像，另一组是相反的，有一个温和的约束，即对象大致位于同一个地方。例如，训练数据可以是具有眼镜的一组参考面部图像和不具有眼镜的另一组图像，这两组图像都通过面部界标在空间上对准。尽管0/1标签很弱，但我们的模型可以学习一个“眼镜”子空间，其中包含不同类型眼镜的多个代表。因此，我们可以对生成的图像进行细粒度控制，比如通过交换“眼镜”子空间中的投影组件来交换两个图像中的眼镜，以创建戴眼镜的人的新图像。总的来说，我们的确定性生成模型通过对抗训练从弱标记数据中学习解纠缠的属性子空间。CelebA和Multi-PIE数据集上的实验验证了该模型在真实世界数据上的有效性，在生成具有指定眼镜，微笑，发型和照明条件等的图像时，代码可在线获得。
2017-05-14 cs.CV cs.GR
BAPose: Bottom-Up Pose Estimation with Disentangled Waterfall Representations
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了BAPose，一种新的自自底向上的【形】的方法，实现了国家的最先进的多人姿态估计的结果。我们的端到端可训练框架利用了一个分离的多尺度瀑布架构，并结合了自适应卷积，以在具有遮挡的拥挤场景中更精确地推断关键点。通过BAPose中的解纠缠瀑布模块获得的多尺度表示利用级联架构中渐进式过滤的效率，同时保持与空间金字塔配置相当的多尺度视场。我们在具有挑战性的COCO和CrowdPose数据集上的结果表明，BAPose是一个有效和强大的多人姿势估计框架，在最先进的准确性方面取得了显着的改进。
2021-12-20 cs.CV
FlashFace: Human Image Personalization with High-fidelity Identity Preservation
The University of Hong Kong（香港大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
FlashFace通过高保真身份保留和解耦整合策略，实现高效的人像个性化与虚拟角色真实化
2026-01-30 cs.CV
Controllable and Expressive One-Shot Video Head Swapping
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
提出一种基于扩散模型的多条件可控视频换头框架，通过身份保持上下文融合与表情感知地标重定向，实现无缝换头并支持表情编辑。
2025-06-20 cs.CV
LatentSwap3D: Semantic Edits on 3D Image GANs
ETH Zürich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Google Switzerland（谷歌瑞士）
提出LatentSwap3D，一种基于潜在空间发现和随机森林特征排序的3D GAN语义编辑方法，通过维度交换实现解耦编辑，在多个3D GAN和数据集上优于现有方法。
2023-09-04 cs.CV
Extremely low-bitrate Image Compression Semantically Disentangled by LMMs from a Human Perception Perspective
Xidian University（西安电子科技大学）
提出SEDIC框架，利用LMMs提取语义组件并基于预训练ControlNet的ORAG模型逐物体渐进恢复，实现极低码率下高感知质量和语义一致性的图像压缩。
2025-10-14 cs.CV
Towards Generalized Proactive Defense against Face Swapping with Contour-Hybrid Watermark
Xidian University（西安电子科技大学）；City University of Macau（澳门城市大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对未知换脸技术，提出基于面部轮廓的混合水印（CMark）主动防御方法，无需训练时接触换脸技术，在8种换脸数据集上超越现有被动与主动检测器。
2025-05-27 cs.CV
VQ-Style: Disentangling Style and Content in Motion with Residual Quantized Representations
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（华特迪士尼研究与工作室）
本文提出VQ-Style方法，通过残差量化表示解构运动中的风格与内容，实现无需微调的风格迁移和多种运动应用。
2026-02-26 cs.AI cs.CV cs.LG
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
State Key Lab of CAD&CG, College of Computer Science, Zhejiang University（浙江大学计算机科学学院CAD&CG国家重点实验室）；Ant Research（蚂蚁研究院）；Google（谷歌）；ByteDance（字节跳动）
提出一种基于网格顶点的解耦神经辐射场表示，实现几何、纹理和语义引导的高效体积编辑，包括网格引导几何编辑、纹理交换填充绘制及语义编辑。
2026-06-18 cs.CV
SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder
KAIST AI（韩国科学技术院人工智能学院）
本文提出基于形状无关掩码自编码器（SAMAE）的自监督换脸方法，结合目标导向与源导向优势，解决身份泄漏和光照肤色失真，实现最先进性能。
2024-07-22 cs.AI cs.CV
Disentangled Representation Learning in Cardiac Image Analysis
University of Edinburgh（爱丁堡大学）；Edinburgh Imaging Facility QMRI（爱丁堡影像设施QMRI）；Centre for Cardiovascular Science（心血管科学中心）；Cedars Sinai Medical Center（西达赛奈医疗中心）；The Alan Turing Institute（艾伦·图灵研究所）
通常，医学图像提供关于通过成像特定特性调制的解剖结构（和病理学）的空间信息。包括磁共振成像（MRI）和计算机断层扫描（CT）在内的许多成像方式都可以以这种方式进行解释。我们可以进一步大胆地考虑，医学图像自然地分解为描述解剖结构的一些空间因素和表示成像特征的因素。在这里，我们明确地学习这种成像数据的分解（解纠缠）表示，特别关注心脏图像。我们提出了空间分解网络（SDNet），它将二维医学图像分解为空间解剖因素和非空间模态因素。我们证明，这种高层次的表示非常适合于几个医学图像分析任务，如半监督分割，多任务分割和回归，图像到图像的合成。具体来说，我们证明了我们的模型可以匹配完全监督分割模型的性能，只使用一小部分标记的图像。重要的是，我们表明，我们的因子分解表示也受益于监督时，我们使用辅助任务训练模型在多任务设置（例如回归到已知的心脏指数），或当聚合来自不同来源的多模态数据（例如汇集在一起MRI和CT数据）。为了探索学习的因式分解的特性，我们执行潜在空间算法，并表明我们可以通过交换模态因子来从MR合成CT，反之亦然。我们还表明，持有图像的特定信息的因素可以用来预测输入模态具有高精度。代码将在https://github.com/agis85/anatomy_modality_decomposition上提供。
2019-09-16 cs.CV
TIGER: Taming Identity, Geometry, and Generative Priors for High-Quality Face Video Restoration
MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出TIGER框架，融合身份、几何和生成先验，通过解耦3D参数空间和一步整流流，解决人脸视频恢复中的身份偏移、视角纠缠和感知真实性问题，实现高保真、时间一致且高效的恢复。
2026-07-01 cs.CV
Are Disentangled Representations Helpful for Abstract Visual Reasoning?
IDSIA（IDSIA研究所）；USI（瑞士意大利语区大学）；SUPSI（瑞士应用科学大学）；ETH Zurich（苏黎世联邦理工学院）；MPI-IS（马克斯·普朗克智能系统研究所）；NNAISENSE（NNAISENSE公司）；Google Research, Brain Team（谷歌研究院大脑团队）
解纠缠表示独立地编码关于数据中变化的显著因素的信息。虽然人们经常认为这种表征格式在学习解决许多现实世界的下游任务方面是有用的，但很少有经验证据支持这种说法。在本文中，我们进行了一项大规模的研究，调查是否解开表示更适合抽象推理任务。使用两个类似于乌鸦的渐进矩阵的新任务，我们评估了360个最先进的无监督解纠缠模型所学习的表示的有用性。基于这些表示，我们训练了3600个抽象推理模型，并观察到解纠缠表示实际上确实会导致更好的下游性能。特别是，它们可以使用更少的样本进行更快的学习。
2020-01-07 cs.CV cs.LG cs.NE
Disentangled Textual Priors for Diffusion-based Image Super-Resolution
State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China（新型软件技术国家重点实验室，南京大学，南京）
DTPSR通过解耦文本先验提升基于扩散的图像超分辨率性能，引入空间层次和频率语义两个维度，实现高感知质量和强泛化能力。
2026-03-08 cs.CV
One Stone with Two Birds: A Null-Text-Null Frequency-Aware Diffusion Models for Text-Guided Image Inpainting
提出NTN-Diff扩散模型，通过频率感知分解和两阶段去噪，同时保持未掩码区域并实现文本引导修复的语义一致性，优于现有方法。
2025-10-27 cs.CV
MotionSwap
BITS Pilani, Hyderabad Campus（比斯·皮尔尼学院海得拉巴校区）
人脸交换技术在学术研究和商业应用中都得到了极大的关注。本文介绍了我们的实现和增强SimSwap，一个高效的框架，高保真人脸交换。我们介绍了几个改进的原始模型，包括自我和交叉注意力机制的发电机架构，动态损失加权，余弦退火学习率调度的集成。这些增强功能在身份保留、属性一致性和整体视觉质量方面都有显著改进。我们的实验结果，跨越400，000次训练迭代，证明了生成器和可重构性能的逐步改进。与基线相比，增强的模型实现了更好的身份相似性，更低的FID分数和明显优越的定性结果。消融研究证实了每一个架构和培训改进的重要性。最后，我们确定了未来的关键方向，例如集成StyleGAN3，改善嘴唇同步，结合3D面部建模，并为基于视频的应用程序引入时间一致性。
2025-08-08 cs.CV
Learning Fair Face Representation With Progressive Cross Transformer
Nanjing University of Science and Technology（南京理工大学）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
由于深度卷积神经网络的进步，人脸识别（FR）取得了非凡的进展。然而，不同种族群体之间的人口统计学偏见仍然对实际的人脸识别系统提出了挑战。种族因素已被证明是公平FR（FFR）的一个困境，因为与主题相关的特定属性会导致分类偏见，同时携带一些有用的FR线索。为了减轻种族偏见并同时保持强大的FR，我们将人脸身份相关表示抽象为信号去噪问题，并提出了一种渐进的交叉变换器（PCT）方法用于公平人脸识别。Transformer（PCT）方法。从信号分解理论出发，我们试图将人脸表示解耦为i）身份相关分量和ii）由种族引起的噪声/身份无关分量。作为信号子空间分解的扩展，我们将人脸解耦描述为一个广义的函数表达式模型来交叉预测人脸身份和种族信息。通过设计双交叉变换器提取身份相关成分和抑制种族噪声，进一步实现了人脸表情模型的具体化。为了改进人脸表征，我们采用渐进式人脸解耦的方法来学习身份/种族转换，从而更好地解决由种族引起的身份无关成分。我们在公开公平的人脸识别基准（BFW，RFW）上评估了拟议的PCT，并验证了PCT能够在实现最先进的FR性能的同时减轻人脸识别中的偏见。此外，可视化结果还表明，PCT中的注意力地图可以很好地揭示种族相关/偏见的面部区域。
2021-08-11 cs.CV
DRPT: Disentangled and Recurrent Prompt Tuning for Compositional Zero-Shot Learning
Hong Kong Polytechnic University（香港理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对组合式零样本学习中视觉语言模型提示调优易因耦合陷入局部最优的问题，提出DRPT解耦循环提示调优框架，通过渐进式独立优化状态和物体令牌等策略，在多个基准上实现准确率与效率的提升。
2023-05-02 cs.AI cs.CV
UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos
The Chinese University of Hong Kong（香港中文大学）；Qwen Applications Business Group of Alibaba（阿里巴巴通义千问应用业务集团）
UniSwap是首个流音频-视觉身份替换框架，通过多阶段适配技术解决现有方法音视频一致性差等问题，实现高效稳定的说话视频身份替换。
2026-08-14 cs.CV cs.SD
Cluster-based Contrastive Disentangling for Generalized Zero-Shot Learning
Sichuan University（四川大学）
广义零样本学习（Generalized Zero-Shot Learning，GSML）通过只训练可见类来识别可见类和不可见类，其中不可见类的实例倾向于偏向可见类。在本文中，我们提出了一个基于对比分解（CCD）的方法，以改善GREML减轻语义差距和领域转移的问题。具体来说，我们首先对批处理数据进行聚类，形成包含相似类的几个集合。然后，将视觉特征分解为语义非特定和语义匹配变量，并根据聚类结果将语义匹配变量进一步分解为类共享和类唯一变量。具有随机交换和语义视觉对齐的分离学习模块弥合了语义鸿沟。此外，我们引入对比学习语义匹配和类唯一的变量，学习高的集内和类内的相似性，以及集间和类间的可区分性。然后，生成的视觉特征符合一般图像的底层特征，具有较强的区分信息，这很好地解释了域转移问题。我们在四个数据集上评估了我们提出的方法，并在常规和广义设置中获得了最先进的结果。
2022-03-05 cs.CV
CoDeFont: One-Shot Font Generation via Multi-Scale Factor-Specific Representation Learning
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
CoDeFont是一种与脚本无关的一次性字体生成框架，通过多尺度因子特定表示学习实现风格-内容解耦，在孟加拉语和拉丁语脚本的可见与不可见字体风格生成上，性能优于现有最先进方法。
2026-11-04 cs.CV
Latents2Semantics: Leveraging the Latent Space of Generative Models for Localized Style Manipulation of Face Images
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出Latents2Semantics自编码器（L2SAE），通过分离结构表示和风格表示并切片结构张量，实现无需额外监督的人脸图像局部风格编辑，优于现有方法。
2023-12-22 cs.CV
