Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
Med-K2N: Flexible K-to-N Modality Translation for Medical Image Synthesis
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute of Biomedical Engineering and Technology（苏州生物医学工程与技术研究所）；Chinese Academy of Sciences（中国科学院）；The Third Affiliated Hospital of Sun Yat-sen University（中山大学第三附属医院）
针对医学图像K到N模态生成的三大挑战，受SAM2与临床工作流启发提出Med-K2N框架，通过三个协同模块实现自适应模态融合，并借CMIM保障模态身份一致性，性能在多基准上显著优于SOTA方法。
2025-10-03 cs.CV
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
The HongKong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
现有的图像到图像转换（I2IT）方法要么被限制为低分辨率图像，要么由于其对高分辨率特征图的卷积的沉重计算负担而导致推理时间长。在本文中，我们专注于加速高分辨率的真实感I2IT任务的基础上，封闭形式的拉普拉斯金字塔分解和重建。具体来说，我们揭示了属性变换，如照明和颜色操作，涉及更多的低频分量，而内容细节可以自适应地细化高频分量。因此，我们提出了一个拉普拉斯金字塔翻译网络（LPTN），同时执行这两项任务，在那里我们设计了一个轻量级的网络，用于翻译低频分量，降低分辨率和渐进的掩蔽策略，以有效地改善高频。我们的模型避免了处理高分辨率特征图所消耗的大部分繁重计算，并忠实地保留了图像细节。在不同任务上的大量实验结果表明，该方法可以使用一个普通的GPU实现实时的【形】4K图像的转换，同时实现与现有方法相当的转换性能。数据集和代码可在https://github.com/csjliang/LPTN获得。
2021-05-19 cs.CV
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
基于单幅人脸图像的真实感正面图合成在人脸识别领域有着广泛的应用。尽管已经提出了数据驱动的深度学习方法来通过从大量的人脸数据中寻求解决方案来解决这个问题，但是这个问题仍然具有挑战性，因为它本质上是不适定的。本文提出了一种双通道生成对抗网络（TP-GAN），通过同时感知全局结构和局部细节来实现真实感正面视图的合成。除了常用的全局编码解码器网络之外，还提出了四个地标定位的补丁网络来处理局部纹理。除了新颖的架构，我们使这个不适定的问题，以及通过引入对抗损失，对称性损失和身份保持损失的组合约束。组合的损失函数利用正面面部分布和预先训练的区分性深度面部模型两者来引导从轮廓对正面视图的身份保持推断。与之前主要依赖中间特征进行识别的深度学习方法不同，我们的方法直接利用合成的身份保留图像进行人脸识别和属性估计等下游任务。实验结果表明，我们的方法不仅提出了令人信服的感知结果，但也优于国家的最先进的大姿态人脸识别的结果。
2017-08-04 cs.CV
Deep Translation Prior: Test-time Training for Photorealistic Style Transfer
Korea University（高丽大学）
解决深度卷积神经网络（CNN）内的照片级真实感风格转换的最新技术通常需要从大规模数据集进行密集训练，因此对不可见的图像或风格具有有限的适用性和较差的泛化能力。为了克服这个问题，我们提出了一个新的框架，称为深度翻译先验（DTP），通过测试时训练在给定的输入图像对上使用未经训练的网络，学习图像对特定的翻译先验，从而获得更好的性能和泛化能力，以实现逼真的风格转换。量身定制的风格转移这样的测试时训练，我们提出了新的网络架构，有两个子模块的对应和生成模块，和损失函数组成的对比内容，风格和周期一致性损失。我们的框架不需要离线训练阶段进行风格迁移，这是现有方法的主要挑战之一，但网络只在测试时学习。实验结果表明，我们的框架具有更好的泛化能力，看不见的图像对，甚至优于国家的最先进的方法。
2022-01-17 cs.CV
Multi-Curve Translator for High-Resolution Photorealistic Image Translation
Zhejiang University（浙江大学）
主要的图像到图像转换方法是基于全卷积网络，它提取和转换图像的特征，然后重建图像。然而，当处理高分辨率图像时，它们具有不可接受的计算成本。为此，我们提出了多曲线转换器（MCT），它不仅预测相应的输入像素的翻译像素，而且为他们的相邻像素。如果将高分辨率图像下采样到其低分辨率版本，则丢失的像素是剩余像素的相邻像素。因此，MCT使得只向网络提供下采样图像来执行全分辨率图像的映射成为可能，这可以显着降低计算成本。此外，MCT是一种插件方法，它利用现有的基础模型，只需要替换它们的输出层。实验表明，MCT变体可以实时处理4K图像，并在各种逼真的图像到图像转换任务中实现与基础模型相当甚至更好的性能。
2022-07-09 cs.CV
3D-Aware Multi-Class Image-to-Image Translation with NeRFs
Nankai University（南开大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Linkoping University（林雪平大学）；Beijing Jiaotong University（北京交通大学）
3D感知生成模型（3D感知GANs）与神经辐射场（NeRF）相结合的最新进展取得了令人印象深刻的结果。然而，没有先前的作品调查3D感知GANs用于3D一致的多类图像到图像（3D感知I2 I）转换。天真地使用2D-I2 I转换方法会遭受不切实际的形状/身份改变。为了执行3D感知的多类I2 I转换，我们将该学习过程解耦为多类3D感知的GAN步骤和3D感知的I2 I转换步骤。在第一步中，我们提出了两个新的技术：一个新的条件架构和一个有效的训练策略。第二步，基于训练良好的多类3D感知GAN架构，保持视图一致性，我们构建了一个3D感知的I2 I翻译系统。为了进一步减少视图一致性问题，我们提出了几种新的技术，包括一个U-网一样的适配器网络设计，分层表示约束和相对正则化损失。在两个数据集上进行的大量实验中，定量和定性结果表明，我们成功地执行了具有多视图一致性的3D感知I2 I翻译。
2023-03-27 cs.CV
ISF-GAN: An Implicit Style Function for High-Resolution Image-to-Image Translation
University of Trento（特伦托大学）；Tencent AI Lab（腾讯人工智能实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
近来，对采用预先训练的无条件图像生成器（例如，StyleGAN）。然而，应用这些方法将图像转换到多个视觉域仍然具有挑战性。现有的作品通常不保留图像的域不变部分（例如，人脸翻译中的身份），它们通常不处理多个域，或者不允许多模式翻译。这项工作提出了一种隐式风格函数（ISF），可以直接从预训练的无条件生成器实现多模态和多域图像到图像的翻译。ISF操纵输入潜码的语义，以使从其生成的图像位于期望的视觉域中。我们在人脸和动物操作中的结果显示，与基线相比，结果有了显着改善。我们的模型使用预训练的无条件GANs以高分辨率实现具有成本效益的多模态无监督图像到图像的翻译。代码和数据可从以下网址获得：\url{https://github.com/yhlleo/stylegan-mmuit}。
2022-02-23 cs.CV
Multi-Attribute guided Thermal Face Image Translation based on Latent Diffusion Model
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生院）
提出一种基于潜在扩散模型的多属性引导方法，从热红外图像生成高质量可见光人脸图像，同时保留关键身份特征，解决异质人脸识别中的域偏移和特征丢失问题。
2025-12-24 cs.CV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology（国立屏东科技大学）；National Tsing Hua University（国立清华大学）；National Institute of Informatics（国立信息学研究所）
尽管生成对抗网络（GANs）可以从低分辨率（LR）人脸中产生逼真的高分辨率（HR）人脸，但它们不能保证保留幻觉HR人脸的身份，使HR人脸难以识别。为了解决这个问题，我们提出了一个暹罗GAN（SiGAN）重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上，所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数，不仅实现了真实感人脸重建，而且保证了重建信息对身份识别有用。实验结果表明，SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs，同时实现了照片级真实感重建。此外，对于未包括在训练中的未知身份的输入LR面部，SiGAN仍然可以做得很好。
2018-07-22 cs.CV
A Novel BiLevel Paradigm for Image-to-Image Translation
Toyota Motor Europe（丰田汽车欧洲公司）；National University of Singapore（新加坡国立大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；ETH Zurich（苏黎世联邦理工学院）
图像到图像（I2I）转换是一种像素级映射，需要大量成对的训练数据，并且图像场景中存在高度多样性和强类别偏差问题。为了解决这些问题，我们提出了一种新的BiLevel（BiL）学习范式，交替学习两个模型，分别在特定实例（IS）和通用（GP）级别。在每个场景中，IS模型学习维护特定的场景属性。它由GP模型初始化，从所有的场景中学习，以获得可泛化的翻译知识。该GP初始化为IS模型提供了一个有效的起点，从而使其能够快速适应具有稀缺训练数据的新场景。我们在人脸和街景数据集上进行了广泛的I2I翻译实验。定量结果验证了我们的方法可以显着提高经典的I2I翻译模型，如PG2和Pix2Pix的性能。我们的可视化结果显示了更高的图像质量和更合适的特定于实例的细节，例如，一个人的翻译形象在身份方面看起来更像那个人。
2019-04-18 cs.CV
MangaGAN: Unpaired Photo-to-Manga Translation Based on The Methodology of Manga Drawing
Beihang University（北京航空航天大学）；Zhengzhou University（郑州大学）
漫画是一种世界流行的漫画形式，起源于日本，通常采用黑白笔画线和几何夸张来描述人类的外观，姿势和动作。在本文中，我们提出了Manga GAN，这是第一种基于生成对抗网络（GAN）的非配对照片到漫画翻译方法。Manga GAN的灵感来自于经验丰富的漫画艺术家绘制漫画的方式，通过设计的GAN模型生成漫画人脸的几何特征，并通过量身定制的多GAN架构将每个面部区域精细地转换到漫画领域。为了训练MangaGAN，我们从一个流行的漫画作品中收集了一个新的数据集，包含漫画的面部特征，地标，身体，等等。此外，为了产生高质量的漫画脸，我们进一步提出了一个结构平滑损失，以平滑笔画线和避免噪声像素，和一个相似性保持模块，以提高照片和漫画之间的相似性。大量的实验表明，MangaGAN可以产生高质量的漫画脸，既保留了面部相似性和流行的漫画风格，并优于其他相关的国家的最先进的方法。
2020-12-17 cs.CV
Exploring Explicit Domain Supervision for Latent Space Disentanglement in Unpaired Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；University of Rochester（罗切斯特大学）
图像到图像的翻译任务已经被生成对抗网络（GANs）广泛研究。然而，现有的方法大多是设计在一个无监督的方式，而很少注意到未配对数据中的域信息。在本文中，我们把领域信息作为显式监督，并设计了一个不成对的图像到图像的翻译框架，域监督GAN（DosGAN），这迈出了第一步，探索显式域监督。与使用不同的生成器或域代码表示域特征相比，我们预先训练分类网络来显式地对图像的域进行分类。在预训练之后，该网络用于提取每幅图像的特定领域特征。这些特征与由另一个编码器提取的域独立特征（跨不同域共享）一起用于生成目标域中的图像。在多个人脸属性翻译、多个身份翻译、多个季节翻译和条件边缘到鞋/手袋的翻译上的大量实验证明了该方法的有效性。此外，我们可以将在Facescrub数据集上获得的特定于域的特征提取器与域监督信息转移到看不见的域，例如CelebA数据集中的人脸。我们还成功地实现了CelebA中任意两个图像的条件翻译，而像StarGAN这样的以前的模型无法处理这个任务。
2019-10-22 cs.CV
Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data
NCT/UCC Dresden（德累斯顿国家肿瘤疾病中心/大学癌症中心）；CeTI, TU Dresden（德累斯顿工业大学触觉互联网卓越中心）；University Hospital Dresden（德累斯顿大学医院）
不成对视频翻译的研究主要集中在通过调节相邻帧的短期时间一致性。然而，对于从模拟到真实感序列的转移，关于底层几何结构的可用信息提供了实现跨视图的全局一致性的可能性。我们提出了一种新的方法，它结合了不成对的图像翻译与神经渲染转移模拟到逼真的外科手术腹部场景。通过引入全局可学习的纹理和光照不变的视图一致性损失，我们的方法产生任意视图的一致性翻译，从而实现长期一致的视频合成。我们设计和测试我们的模型，以生成视频序列的微创手术腹部场景。由于标记的数据通常在该域中受到限制，因此保留来自模拟域的地面真实信息的照片级真实感数据尤其相关。通过将现有的基于图像的方法扩展到查看一致的视频，我们的目标是影响模拟训练和评估环境在外科应用中的适用性。代码和数据：http://opencas.dkfz.de/video-sim2real。
2021-08-19 cs.CV
Photo-realistic Facial Texture Transfer
Rutgers University（罗格斯大学）
近年来，通过使用卷积神经网络，风格转移方法取得了显著的成功。然而，这些方法中的许多集中于艺术风格转移，对输出图像外观几乎没有约束。我们解决了具有挑战性的问题，从一个风格的脸图像到内容的脸图像，在真实感的方式，而不改变原来的内容图像的身份。我们的面部纹理传输框架（FaceTex）通过一种新型的面部语义正则化来增强MRF-CNN的先前工作，该正则化包含面部先验正则化，平滑地抑制面部细观结构（例如眼睛、鼻子和嘴巴）周围的变化，以及面部结构损失函数，该函数隐含地保留了面部结构，以便可以在不改变原始身份的情况下传输面部纹理。我们在人脸图像上展示了结果，并将我们的方法与最近的最先进的方法进行了比较。我们的研究结果表明，由于能够保持原始人脸图像的身份优越的纹理转移。
2017-06-14 cs.CV
Exploring Unlabeled Faces for Novel Attribute Discovery
Korea University（高丽大学）；Kakao Corp.（Kakao公司）
尽管在不成对的图像到图像的翻译中取得了显著的成功，但现有的系统仍然需要大量的标记图像。这是它们在现实世界中应用的瓶颈;在实践中，在标记CelebA数据集上训练的模型对于来自不同分布的测试图像效果不佳-极大地限制了它们对大量未标记图像的应用。在本文中，我们试图减轻这种必要性标记的数据在面部图像翻译域。我们的目标是探索您可以从未标记的面部中发现新属性并执行高质量翻译的程度。为此，我们使用视觉世界的先验知识作为指导，发现新的属性，并通过一种新的归一化方法将它们转移。实验表明，我们在未标记数据上训练的方法可以产生高质量的翻译，保留身份，并且在感知上与在标记数据上训练的最先进的方法一样好，甚至更好。
2019-12-06 cs.CV
IDProtector: An Adversarial Noise Encoder to Protect Against ID-Preserving Image Generation
National University of Singapore（新加坡国立大学）
本文提出IDProtector对抗性噪声编码器，通过单次前向传播向人像施加不可察觉噪声，以抵御InstantID等基于编码器的身份保持生成，并具备对常见图像变换的鲁棒性和对未知模型及闭源模型的泛化能力。
2025-02-04 cs.CV
Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
Diff-ID: Identity Consistent Facial Image Generation and Morphing via Diffusion Models
University of Surrey（萨里大学）；Jiangnan University（江南大学）
研究针对面部图像合成中高分辨率下身份保持难题，提出Diff-ID框架，通过自定义数据集、集成嵌入及新损失函数实现，实验表明其在身份-真实感权衡上表现出色，还展示了基于DDIM的变形管道，强调联合评估身份保持与真实感。
2026-07-29 cs.CV
HyPER-GAN: Hybrid Patch-Based Image-to-Image Translation for Real-Time Photorealism Enhancement in Game Engines
organization= School of Informatics , addressline= Aristotle University of Thessaloniki (AUTH) , city= Thessaloniki , postcode= 54124 , country= Greece
HyPER-GAN通过轻量U-Net生成器和混合训练策略提升游戏引擎中实时逼真度，实现每秒6倍的帧率提升且不显著影响语义一致性。
2026-06-29 cs.CV
IDDM: Identity-Decoupled Personalized Diffusion Models with a Tunable Privacy-Utility Trade-off
The Hong Kong Polytechnic University（香港理工大学）
本文提出IDDM模型，通过在个性化流程中集成身份解耦，实现授权个性化的同时降低公开生成的身份可链接性，可调隐私-效用权衡。
2026-06-07 cs.CV
Multi-Density Sketch-to-Image Translation Network
City University of Hong Kong（香港城市大学）；Brion-ASML（布里昂阿斯麦公司）
草图到图像（S2I）转换在图像合成和处理任务中起着重要作用，例如照片编辑和着色。一些特定的S2I翻译，包括草图到照片和草图到绘画，可以作为艺术设计行业的强大工具。然而，以前的方法仅支持具有单一密度水平的S2I转换，这为用户控制输入草图提供了较少的灵活性。在这项工作中，我们提出了第一个多层次的密度草图到图像的翻译框架，它允许输入草图，以涵盖从粗糙的对象轮廓到微观结构的广泛范围。此外，为了解决多层次密度输入草图的非连续表示问题，我们将密度水平投影到一个连续的潜在空间中，然后可以通过参数线性控制。这允许用户方便地控制输入草图的密度和图像的生成。此外，我们的方法已经在不同应用程序的各种数据集上成功验证，包括面部编辑，多模式草图到照片翻译和动画着色，为这些应用程序提供从粗到细的控制级别。
2020-06-18 cs.CV
Multi-View Image-to-Image Translation Supervised by 3D Pose
Sony Semiconductor Israel（索尼半导体以色列公司）
我们解决的任务，多视图图像到图像的翻译的人的图像生成。我们的目标是合成照片般逼真的多视图图像，并在所有视图中保持姿势一致性。我们提出的端到端框架是基于多个不成对的图像到图像的翻译模型的联合学习，每个摄像机视点一个。通过对共享的3D人体姿势的约束来施加联合学习，以鼓励所有视图中的2D姿势投影是一致的。CMU-Panoptic数据集上的实验结果证明了所建议的框架在生成具有新姿势的人的照片级逼真图像方面的有效性，与标准图像到图像基线相比，这些图像在所有视图中更加一致。代码可在以下网址获得：www.example.com
2021-04-12 cs.CV
Image-to-Image Translation via Group-wise Deep Whitening-and-Coloring Transformation
Korea University（高丽大学）；LG Electronics（LG电子）；Hanyang University（汉阳大学）
最近，无监督的基于样本的图像到图像的翻译，条件是一个给定的样本没有配对的数据，已经取得了实质性的进展。为了将信息从样本转移到输入图像，现有方法通常使用归一化技术，例如，自适应实例归一化，其控制特定层处的输入激活图的通道方式统计，诸如均值和方差。同时，风格传递本质上接近于图像翻译，通过使用高阶统计量（如通道间的协方差）来表示风格，表现出优越的性能。详细地说，它通过白化（给定零均值输入特征，将其协方差矩阵转换为恒等式）来工作。然后着色（将白化特征的协方差矩阵改变为样式特征的协方差矩阵）。然而，由于昂贵的时间复杂度及其非平凡的反向传播，将这种方法应用于图像翻译是计算密集型的并且容易出错。作为回应，本文提出了一种端到端的方法，专门为图像翻译，有效地近似这种变换与我们的新的正则化方法。我们进一步扩展我们的方法，以组明智的形式，内存和时间效率以及图像质量。大量的定性和定量实验表明，我们提出的方法是快速的，无论是在训练和推理，并高度有效地反映一个样本的风格。最后，我们的代码可以在https://github.com/WonwoongCho/GDWCT上找到。
2019-06-09 cs.CV
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异，例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现，越来越多的方法被提出用于草图到图像的合成。然而，这些模型仍然受到限制，例如训练所需的大量配对数据，所生成图像的低分辨率或所生成图像的不真实外观。在本文中，我们提出了一种方法，用于将输入的面部素描转换为彩色照片，而不需要任何配对的数据集。为此，我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片，并采用优化程序来保持对输入草图的高保真度。我们训练一个网络，将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外，我们还研究了不同的优化标准，并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655，rank-1人脸识别率为97.59%，且具有较高的图像质量。
2021-10-23 cs.CV
InfiniteYou: Flexible Photo Recrafting While Preserving Your Identity
ByteDance Intelligent Creation Project（字节跳动智能创作项目）
针对现有身份保留图像生成方法存在的身份相似度低、图文对齐差等问题，提出基于DiT的InfiniteYou框架，通过InfuseNet残差注入身份特征与多阶段训练实现SOTA性能，且具备即插即用兼容性。
2025-07-29 cs.CV cs.LG
PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models
ByteDance（字节跳动）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）
本文提出PhotoVerse方法，通过在文本和图像域引入双分支条件机制及面部身份损失，实现仅凭单张照片且无需测试时微调的高质量个性化图像定制，兼顾身份保持与可编辑性。
2023-09-11 cs.AI cs.CV
Generating a Fusion Image: One's Identity and Another's Shape
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
在生成对抗网络（GANs）的研究中，通过操纵两幅输入图像生成新图像是一个有趣的研究问题。我们提出了一种新的基于GAN的网络，该网络生成具有输入图像x的身份和输入图像y的形状的融合图像。我们的网络可以同时训练两个以上的图像数据集在一个无监督的方式。我们定义了一个身份损失LI来捕捉图像x的身份，并定义了一个形状损失LS来获得y的形状。此外，我们提出了一种新的训练方法，称为Min-Patch训练，将生成器集中在图像的关键部分，而不是整个图像。我们展示了VGG Youtube Pose数据集，Eye数据集（MPIIGaze和UnityEyes）和Photo-Sketch-Cartoon数据集的定性结果。
2022-01-26 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
From Synthetic to Real: Toward Identity-Consistent Makeup Transfer with Synthetic and Real Data
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院）
本文提出ConsistentBeauty和RealBeauty方法，通过合成数据筛选和强化学习提升化妆转移的逼真度与身份一致性，并建立多样化基准测试以评估模型在复杂真实场景中的性能。
2026-07-31 cs.CV
StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation
KAIST, Visual Media Lab（韩国科学技术院，视觉媒体实验室）
StyleMM提出通过文本引导的图像翻译风格化人脸图像来微调3DMM生成模型，在保留身份、对齐和表情属性的同时实现可控、可动画化的风格化三维人脸生成，并在多样性和风格化能力上优于现有方法。
2025-08-15 cs.AI cs.CV cs.GR
Frequency Domain Decomposition Translation for Enhanced Medical Image Translation Using GANs
Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究院）；Biomedical Engineering Department, Peking University（北京大学生物医学工程系）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；National Engineering Research Center of Oral Biomaterials and Digital Medical Devices（国家口腔生物材料与数字医疗器械工程研究中心）；NMPA Key Laboratory for Dental Materials（国家药监局牙科材料重点实验室）；Beijing Laboratory of Biomedical Materials（北京生物医学材料实验室）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；Department of Geriatric Dentistry, Peking University School and Hospital of Stomatology（北京大学口腔医学院老年口腔科）
针对GAN类医学图像翻译方法忽略频域信息导致生成图像失真的问题，提出频域分解翻译FDDT方法，通过高低频分量分频段对齐保留身份与风格信息，在多项指标上优于现有方法。
2023-11-06 cs.CV eess.IV
CariGANs: Unpaired Photo-to-Caricature Translation
Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft AI Perception and Mixed Reality（微软人工智能感知与混合现实部门）
面部漫画是一种以夸张的方式描绘面部以传达幽默或讽刺的艺术形式。在本文中，我们提出了第一个生成对抗网络（GAN），用于不成对的照片到漫画的翻译，我们称之为“CariGAN”。它使用两个组件显式地对几何夸张和外观样式化进行建模：CariGeoGAN，它只对从脸部照片到漫画的几何到几何的转换进行建模，CariStyGAN，它将样式外观从漫画转移到脸部照片而没有任何几何变形。通过这种方式，一个困难的跨域翻译问题被解耦为两个更容易的任务。感知研究表明，与最先进的方法相比，我们的CariGAN生成的漫画更接近手绘漫画，同时更好地坚持了身份。此外，我们的CariGAN允许用户通过调整参数或给出示例漫画来控制形状夸张程度并更改颜色/纹理风格。
2018-11-02 cs.AI cs.CV cs.GR
Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization
Arizona State University（亚利桑那州立大学）；Mila – Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Mayo Clinic（梅奥诊所）
生成式对抗网络（GANs）带来了图像到图像翻译的革命。GANs的发展和扩散提出了一个有趣的问题：我们能否训练一个GAN从图像中删除一个对象（如果存在），同时保留图像？具体来说，GAN是否可以通过将健康状况未知（患病或健康）的医学图像转换为健康图像，从而通过减去这两个图像来显示患病区域，从而“虚拟治愈”任何人？这样的任务需要GAN识别用于域平移的目标像素的最小子集，我们称之为定点平移的能力，GAN还没有配备。因此，我们提出了一种新的GAN，称为固定点GAN，通过以下方式进行训练：（1）通过有条件的身份丢失来监督同域翻译，以及（2）通过修订的对抗性，域分类和循环一致性丢失来正则化跨域翻译。基于固定点翻译，我们进一步推导出一个新的框架，疾病检测和定位，仅使用图像级注释。定性和定量的评价表明，该方法优于最先进的多域图像到图像的翻译，它超越了主要的弱监督定位方法在疾病检测和定位。可在https://github.com/jlianglab/Fixed-Point-GAN上获得实现。
2019-08-29 cs.CV eess.IV
Cyclegan Network for Sheet Metal Welding Drawing Translation
Xi'an Technological University（西安工业大学）
在智能制造中，机器翻译工程图纸的质量将直接影响其制造精度。目前，大部分工作都是人工翻译，大大降低了生产效率。提出了一种基于循环生成对抗网络（CycleGAN）的焊接结构工程图自动翻译方法。采用非成对迁移学习的CycleGAN网络模型对实际焊接工程图进行特征映射学习，实现工程图的自动翻译。U-Net和PatchGAN分别是发电机和逆变器的主要网络。在去除恒等映射函数的基础上，提出了一种高维稀疏网络来代替传统的密集网络用于Cyclegan生成器，以提高对噪声的鲁棒性。增加残差块隐藏层以提高生成图形的分辨率。实验验证了改进和微调的网络模型，计算真实数据和生成数据之间的差距。满足焊接工程精度标准，解决了焊接制造过程中图纸识别效率低的主要问题。结果显示。经过该模型的训练，焊接工程图的PSNR、SSIM和MSE分别达到约44.89%、99.58%和2.11，在训练速度和准确性上均优于传统网络。
2022-09-28 cs.CV cs.LG
Frequency Routing and Identity Conditioning for Thermal-to-Visible Face Translation
Monash University, Monash Suzhou Research Institute（莫纳什大学、莫纳什大学苏州研究院）；Southeast University, School of Computer Science and Engineering（东南大学计算机科学与工程学院）；Monash University, Faculty of Information Technology（莫纳什大学信息技术学院）
针对热图像到可见光人脸转换的挑战，提出参数高效框架FreqID-Control，结合频率路由低秩适配与共享跨光谱身份条件控制，在MCXFace和SpeakingFaces数据集上实现了高图像保真度与身份保留。
2026-10-14 cs.CV
Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations
ETH Zurich（苏黎世联邦理工学院）；Uppsala University（乌普萨拉大学）
从模拟的标签映射生成真实感图像在几种情况下是必要的，例如用于虚拟现实中的医学训练。使用传统的深度学习方法，该任务需要与语义注释配对的图像，这通常是不可用的。我们引入了一个对比学习框架，通过从两者的未配对集合中学习，从模拟标签映射生成逼真的图像。由于真实图像和标签映射之间潜在的较大场景差异，现有的不成对图像平移方法导致合成图像中场景修改的伪影。我们利用模拟图像作为对比损失的替代目标，同时通过利用反向翻译网络的特征来确保一致性。我们的方法实现了双向标签图像翻译，这在各种场景和数据集中得到了证明，包括腹腔镜检查、超声和驾驶场景。通过与最先进的不成对翻译方法的比较，我们所提出的方法被证明可以生成逼真和场景准确的翻译。
2023-02-21 cs.CV cs.LG
A Hybrid Model for Identity Obfuscation by Face Replacement
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
随着越来越多的个人照片在社交媒体上被分享和标记，避免意外识别等隐私风险变得越来越具有挑战性。我们提出了一种新的混合方法来混淆身份的照片头部替换。我们的方法结合了最先进的参数化人脸合成与生成对抗网络（GAN）的最新进展，用于数据驱动的图像合成。一方面，我们的方法的参数化部分使我们能够控制面部参数，并允许显式操纵身份。另一方面，数据驱动方面允许添加精细的细节和整体真实感，以及无缝融合到场景环境中。在我们的实验中，我们展示了我们的系统的高度逼真的输出，该系统在混淆率方面比以前的最新技术有所提高，同时保持与原始图像内容的更高相似性。
2018-07-24 cs.CR cs.CV
Structure-Preserving Unpaired Image Translation to Photometrically Calibrate JunoCam with Hubble Data
本文提出了一种保持结构的未配对图像翻译方法，用于利用哈勃数据校准朱诺相机，以解决分辨率差异问题并提升遥感数据处理效果。
2025-11-27 astro-ph.EP astro-ph.IM cs.CV
AGTGAN: Unpaired Image Translation for Photographic Ancient Character Generation
South China University of Technology（华南理工大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Swiss Federal Institute of Technology（苏黎世联邦理工学院）；CRRC Institute（中车研究院）；The Hong Kong Polytechnic University（香港理工大学）；Anyang Normal University（安阳师范学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
古文字研究具有重要的考古学和文献学价值。材料的基本形式是摄影字符，但手动摄影字符识别极其耗时且依赖于专业知识。因此，非常需要自动分类。然而，由于缺乏注释数据，目前的性能有限。数据生成是解决数据稀缺问题的一种廉价但有用的解决方案。然而，摄影古文字的形状多样，背景纹理复杂，使得生成任务困难，导致现有方法的效果并不理想。在本文中，我们提出了一个无监督的生成对抗网络，称为AGTGAN。通过显式的全局和局部仿形风格建模，然后是笔画感知的纹理传输，以及相关的对抗学习机制，我们的方法可以生成具有不同字形和真实纹理的字符。我们评估我们的方法上的照片古字符数据集，例如，OBC306和CSDD。我们的方法在各种指标上都优于最先进的方法，并且在生成样本的多样性和真实性方面表现得更好。在最大的甲骨文图像数据集上的实验表明，该方法可以显著提高分类精度，最高可达16.34%。
2023-03-13 cs.AI cs.CV
NAMESAKES: Probing Identity Memorization in Text-to-Image Models
Carnegie Mellon University（卡内基梅隆大学）；Tel Aviv University（特拉维夫大学）；Cornell University（康奈尔大学）
提出一种黑盒行为探针，无需参考照片或训练数据，即可区分文本到图像模型生成的图像是记忆还是虚构，并在NAMESAKES数据集上验证其有效性。
2026-07-20 cs.CL cs.CV
InstaGAN: Instance-aware Image-to-Image Translation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）；AItrics
由于最近基于生成对抗网络（GANs）的令人印象深刻的进展，无监督图像到图像的翻译得到了相当大的关注。然而，先前的方法在具有挑战性的情况下通常失败，特别是当图像具有多个目标实例并且翻译任务涉及形状的显著变化时，例如，把裤子变成裙子的时尚形象为了解决这些问题，我们提出了一种新的方法，创造的实例感知GAN（InstaGAN），它结合了实例信息（例如，对象分割掩模）并改进多实例变换。所提出的方法翻译图像和相应的一组实例属性，同时保持置换不变性的实例。为此，我们引入了上下文保持损失，鼓励网络在目标实例之外学习身份函数。我们还提出了一种顺序小批量推理/训练技术，该技术可以用有限的GPU内存处理多个实例，并增强网络，以便更好地泛化多个实例。我们的比较评估表明，所提出的方法对不同的图像数据集，特别是在上述具有挑战性的情况下的有效性。代码和结果可在https://github.com/sangwoomo/instagan上获得
2019-01-02 cs.CV cs.LG stat.ML
Quality Guided Sketch-to-Photo Image Synthesis
West Virginia University（西弗吉尼亚大学）
艺术家绘制的面部素描广泛用于视觉识别应用，主要用于执法机构，但这些素描的质量取决于艺术家清晰复制所有关键面部特征的能力，这些特征有助于捕捉主体的真实身份。最近的工作试图将这些草图合成为合理的视觉图像，以提高视觉识别和识别。然而，事实证明，从草图合成照片级逼真的图像是一项更具挑战性的任务，特别是对于嫌疑人识别等敏感应用。在这项工作中，我们提出了一种新的方法，采用生成对抗网络，将单个草图合成为具有独特属性（如头发颜色，性别等）的多个合成图像。质量引导编码器，其最小化在不同层处的合成图像和真实图像的潜在空间嵌入的感知相异性以及在整个训练过程中保持合成图像的身份的身份保持网络。我们的方法旨在提高合成图像的视觉吸引力，同时将多个属性分配给生成器，而不会损害合成图像的身份。我们使用XDOG过滤器为CelebA，WVU Multi-modal和CelebA-HQ数据集合成草图，并从CUHK，IIT-D和FERET数据集的草图上训练的辅助生成器合成草图。与目前的技术水平相比，我们的结果令人印象深刻。
2020-04-20 cs.CV eess.IV stat.ML
Time-of-Day Neural Style Transfer for Architectural Photographs
Hong Kong University of Science and Technology（香港科技大学）；VinAI Research（VinAI研究院）
建筑摄影是一种摄影类型，专注于捕捉前景中的建筑物或结构，背景中有戏剧性的灯光。受到最近图像到图像翻译方法的成功的启发，我们的目标是为建筑照片进行风格转换。然而，建筑摄影中的特殊构图对这类照片的风格转换提出了很大的挑战。现有的神经风格转换方法将建筑图像视为单个实体，这将产生不匹配的色度并破坏原始建筑的几何特征，产生不真实的照明，错误的颜色再现以及诸如重影，外观失真或颜色不匹配的视觉伪影。在本文中，我们专门研究了建筑摄影的神经风格转移方法。我们的方法解决了建筑照片中的前景和背景的组成，在一个两个分支的神经网络，分别考虑前景和背景的风格转移，分别。我们的方法包括一个分割模块，一个基于学习的图像到图像的翻译模块，和一个图像混合优化模块。我们用一天中不同神奇时间拍摄的无约束户外建筑照片的新数据集训练了图像到图像转换神经网络，利用额外的语义信息进行更好的色度匹配和几何保留。实验结果表明，该方法在前景和背景上都能产生真实感的光照效果和色彩还原效果，并且在定量和定性上都优于一般的图像间平移和任意风格的平移基线。我们的代码和数据可在https://github.com/hkust-vgd/architectural_style_transfer上获得。
2022-10-28 cs.CV cs.GR cs.MM
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida（中佛罗里达大学）；Hacettepe University（哈塞特佩大学）
人脸表情识别是一项具有挑战性的任务，由于两个主要问题：在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中，我们提出了一种新型的人到动画条件生成对抗网络（HA-GAN），通过使用多个（人脸）到一个（动画人脸）映射来克服这两个问题。具体来说，对于任何给定的输入人类表情图像，我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库（FERGDB）的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数，可以减少面部表情识别（FER）中主体间变化的影响。我们还认为，在生成的动画图像中的表情是纯表情，因为FER是在这些生成的图像上进行，面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明，使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络，并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
Similarity-preserving Image-image Domain Adaptation for Person Re-identification
Australian National University（澳大利亚国立大学）；University of Technology Sydney（悉尼科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文在“翻译学习”框架下研究了人的再识别中的领域自适应问题，包括两个部分：1）以无监督的方式将标记图像从源域翻译到目标域; 2）使用翻译后的图像学习再识别模型。目标是在图像翻译后保留底层的人类身份信息，以便翻译后的带有标签的图像对于目标域上的特征学习是有效的。为此，我们提出了一个保持相似性的生成对抗网络（SPGAN）及其端到端可训练版本eSPGAN。两者都旨在保持相似性，SPGAN通过启发式约束来执行此属性，而eSPGAN通过优化促进re-ID模型学习来实现此属性。更具体地说，SPGAN分别承担了“通过翻译学习”框架中的两个组成部分。它首先保留两种类型的无监督相似性，即，翻译前后的图像的自相似性，以及翻译的源图像和目标图像的域相异度。然后，它使用现有网络学习re-ID模型。相比之下，eSPGAN无缝集成了图像翻译和re-ID模型学习。在eSPGAN的端到端训练过程中，re-ID学习指导图像翻译，以保留图像的底层身份信息。同时，图像翻译通过提供目标领域风格的身份保持训练样本来改善re-ID学习。在实验中，我们证明了SPGAN和eSPGAN生成的假图像的身份得到了很好的保护。在此基础上，我们报告了新的国家的最先进的领域自适应结果在两个大规模的人重新ID数据集。
2020-01-05 cs.CV
MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（新一代人工智能技术及其交叉应用重点实验室（东南大学））；Monash University（莫纳什大学）
针对热红外到可见光面部翻译的挑战，提出MTVDiff框架，通过双分支交叉注意力融合等三个核心技术，整合深度和文本信息，在多指标上优于现有方法，提升图像质量和面部验证性能，推动跨光谱面部图像翻译发展。
2026-07-23 cs.CV
Unsupervised Contrastive Photo-to-Caricature Translation based on Auto-distortion
Anhui University（安徽大学）；University of Chinese Academy of Sciences（中国科学院大学）
照片转漫画翻译的目的是通过素描、铅笔笔画或其他艺术绘画将漫画合成为渲染图像，夸大特征。风格渲染和几何变形是照片转漫画翻译中最重要的两个方面。考虑到这两点，我们提出了一个无监督的对比照片到漫画翻译架构。考虑到现有方法中的直观伪像，我们提出了一种对比风格损失的风格渲染，以加强渲染的照片和漫画之间的风格的相似性，同时增强其差异的照片。为了以非成对/无监督的方式获得夸张的变形，我们提出了一个失真预测模块（Distortion Prediction Module，简称DTS），用于在固定一些控制点的同时预测每个输入图像的一组位移向量，然后通过薄板样条插值进行翘曲。该模型在未配对的照片和漫画上进行训练，同时可以通过输入照片或漫画来提供双向合成。大量的实验表明，与现有的竞争对手相比，所提出的模型是有效的，以生成手绘漫画。
2020-11-10 cs.CV
Identity-preserving Face Recovery from Portraits
Australian National University（澳大利亚国立大学）；Data61/CSIRO（数据61/联邦科学与工业研究组织）
从艺术肖像中恢复潜在的真实感人脸有助于人类感知和面部分析。然而，恢复过程中，可以保持身份是具有挑战性的，因为真实的面孔的细节可能会扭曲或失去风格化的图像。在本文中，我们提出了一个新的身份保持人脸恢复从肖像（IFRP）恢复潜在的真实感人脸未对齐风格化的肖像。我们的IFRP方法由两个部分组成：风格去除网络（SRN）和判别网络（DN）。SRN被设计成将风格化图像的特征图转换为对应的真实感人脸的特征图。通过将空间Transformer网络嵌入到SRN中，该方法可以自动补偿风格化人脸的错位，并输出对齐的真实人脸图像。DN的作用是强制恢复的人脸与真实人脸相似。为了确保身份保护，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的VGG网络中提取的恢复的和地面真实的面孔的特征。我们评估我们的方法上的大规模合成数据集的真实和风格化的人脸对，并达到最先进的结果。此外，我们的方法可以从以前看不见的风格化的肖像，原始绘画和人类绘制的草图恢复逼真的面孔。
2018-02-05 cs.CV
Identity-preserving Face Recovery from Stylized Portraits
Data61/CSIRO（联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
给定一幅艺术肖像，恢复保留主体身份的潜在照片级真实面部是具有挑战性的，因为面部细节在艺术肖像中经常被扭曲或完全丢失。我们开发了一种保留身份的肖像人脸恢复（IFRP）方法，该方法利用了风格去除网络（SRN）和判别网络（DN）。我们的SRN，由一个自动编码器与残留块嵌入跳过连接，被设计为将特征图的风格化图像的特征图的相应的照片级真实感的脸。由于空间Transformer网络（STNN），SRN自动补偿风格化肖像的未对齐，以输出对齐的逼真人脸图像。为了确保身份保留，我们通过距离度量来促进恢复的和地面真实的面孔共享相似的视觉特征，该距离度量比较从预训练的FaceNet网络中提取的恢复的和地面真实的面孔的特征。DN具有多个卷积层和全连接层，其作用是强制恢复的人脸与真实人脸相似。因此，我们可以从未对齐的肖像中恢复高质量的照片级真实感人脸，同时保留图像中人脸的身份。通过对大规模合成数据集和手绘草图数据集进行广泛的评估，我们证明了我们的方法实现了卓越的人脸恢复，并达到了最先进的结果。此外，我们的方法可以恢复逼真的脸从看不见的风格化的肖像，艺术绘画，手绘草图。
2019-04-07 cs.CV
Efficient Facial Representations for Age, Gender and Identity Recognition in Organizing Photo Albums using Multi-output CNN
Samsung-PDMI Joint AI Center, St. Petersburg Department of Steklov Institute of Mathematics（三星-PDMI联合人工智能中心，斯捷克洛夫数学研究所圣彼得堡分部）；National Research University Higher School of Economics（国立研究型高等经济学院）
本文主要研究从相册和视频中自动提取人物及其属性（性别、出生年份）。我们提出了两个阶段的方法，其中，首先，卷积神经网络同时预测年龄/性别从所有的照片，并额外提取适合人脸识别的面部表示。我们修改了MobileNet，它被初步训练来执行面部识别，以便额外识别年龄和性别。在我们的方法的第二阶段中，提取的脸进行分组使用层次凝聚聚类技术。每个聚类中的人的出生年份和性别是使用对单个照片的预测的聚合来估计的。我们通过实验证明，我们的面部聚类质量与最先进的神经网络相比具有竞争力，尽管我们的实现在计算上要便宜得多。此外，我们的方法的特点是更准确的基于视频的年龄/性别识别相比，公开可用的模型。
2019-06-13 cs.CV
DP^2-VL: Private Photo Dataset Protection by Data Poisoning for Vision-Language Models
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）；Donghua University（东华大学）；Shanghai Normal University（上海师范大学）；East China Normal University（华东师范大学）；Hefei University of Technology（合肥工业大学）
本文提出DP2-VL框架，通过数据污染保护隐私照片，分析视觉语言模型在身份关联泄露中的脆弱性，并展示其在不同保护比例下的有效性。
2026-03-25 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性，个人身份信息的安全和隐私成为前所未有的挑战。与此同时，先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此，重要的是要使用人脸图像，同时仔细考虑保护人们的身份。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指生成另一张具有相似外观和相同背景的图像，而真实身份被隐藏。虽然已经做出了广泛的努力，但现有的人脸去识别技术要么在照片真实性方面不足，要么无法很好地平衡隐私和实用性。在本文中，我们专注于解决这些挑战，以提高人脸去识别。我们提出了IdentityDP，这是一个将数据驱动的深度神经网络与差分隐私（DP）机制相结合的人脸匿名化框架。该框架包括三个阶段：面部表征解纠缠，$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息，保持显着的视觉相似性，并生成高质量的图像，可用于身份不可知的计算机视觉任务，如检测，跟踪等，与以往的方法不同，我们可以调整隐私和实用性的平衡，通过隐私预算根据实际需求，并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
