Safe Fakes: Evaluating Face Anonymizers for Face Detectors
Eindhoven University of Technology（埃因霍温理工大学）；ViNotion B.V.（ViNotion公司）；University of Amsterdam（阿姆斯特丹大学）
自GDPR和CCPA立法出台以来，公共和私人面部图像数据集都受到越来越多的审查。一些数据集已经完全离线，有些已经匿名。然而，目前还不清楚匿名化如何影响人脸检测性能。据我们所知，本文提出了第一个实证研究的图像匿名化的监督训练的人脸检测器的效果。我们通过在匿名数据上训练现成的人脸检测器，将传统的人脸匿名器与三种最先进的基于生成对抗网络（GAN）的方法进行比较。我们的实验研究了匿名化方法对保持人脸检测器性能的适用性，检测器过度训练对匿名化伪影的影响，训练匿名器的数据集大小，以及匿名化GANs训练时间的影响。最后一个实验研究了常见的GAN评估指标和训练的人脸检测器的性能之间的相关性。尽管所有测试的匿名化方法都会降低训练的人脸检测器的性能，但使用GANs匿名化的人脸造成的性能下降远小于传统方法。作为最重要的发现，性能最好的GAN DeepPrivacy删除了在匿名数据上训练的人脸检测器的可识别人脸，导致从91.0到88.3 mAP的适度下降。在过去的几年里，GAN生成的人脸的真实感有了快速的提高。我们预计，GAN研究的进一步进展将允许使用Deep Fake技术来保护隐私安全假，而不会降低训练人脸检测器的性能。
2021-04-23 cs.CV
Challenges and Solutions in DeepFakes
深度学习已经成功地应用于解决大数据分析到计算机视觉领域的各种复杂问题。最近出现的一个深度学习驱动的应用程序是Deep Fake。它有助于创建虚假的图像和视频，人类无法将它们与真实的图像和视频区分开来，并且是最近的现成操作技术，允许在单个视频中交换两个身份。技术是一项有争议的技术，有许多影响社会的广泛问题。因此，为了解决这个新出现的问题，我们引入了一个包含140k真实和虚假人脸的数据集，其中包含来自Nvidia收集的Flickr数据集的70k真实人脸，以及从风格GAN生成的100万个虚假人脸中采样的70k虚假人脸。我们将在数据集中训练我们的模型，以便我们的模型可以识别真实或虚假的面孔。
2021-09-26 cs.CV
FakeLocator: Robust Localization of GAN-Based Face Manipulations
East China Normal University（华东师范大学）；Shanghai Industrial Control Safety Innovation Technology Co., LTD（上海工业控制安全创新科技有限公司）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；Zhejiang Sci-Tech University（浙江理工大学）
基于生成对抗网络（GANs）及其变体的全脸合成和部分脸操作已经引起了广泛的关注。在多媒体取证领域，检测并最终定位伪造图像已成为一项迫切的任务。在这项工作中，我们研究了现有的基于GAN的人脸操作方法的体系结构，并观察到其中上采样方法的不完善性可以作为GAN合成的假图像检测和伪造定位的重要资产。基于这一基本观察，我们提出了一种新的方法，称为FakeObserver，以获得高定位精度，在全分辨率下，在操纵的面部图像。据我们所知，这是第一次尝试用灰度虚假图来解决基于GAN的虚假定位问题，该图保留了更多虚假区域的信息。为了提高Fakeprostry在各种面部属性上的通用性，我们引入了一个注意力机制来指导模型的训练。为了提高不同DeepFake方法之间的Faketranks的通用性，我们提出了部分数据增强和训练图像上的单样本聚类。在流行的FaceForensics++、DFFD数据集和七种不同的基于GAN的人脸生成方法上的实验结果表明了我们方法的有效性。与基线相比，我们的方法在各种指标上表现更好。此外，所提出的方法是对各种现实世界的人脸图像退化，如JPEG压缩，低分辨率，噪声和模糊鲁棒性。
2021-11-23 cs.CV cs.LG
DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images
Sungkyunkwan University（成均馆大学）
由于生成对抗网络（GAN）、自动编码器和其他人工智能技术的进步，创建“Deepfakes”等虚假图像变得更加容易。最近的研究已经引入了少样本学习，它使用少量的训练数据来更有效地产生假图像和视频。因此，生成被操纵的图像的容易性和区分这些图像的困难性可能对我们的社会造成严重威胁，例如传播虚假信息。然而，由于上述原因，检测最新人工智能技术生成的逼真假图像具有挑战性。在这项工作中，我们提出了双注意力虚假检测微调网络（DA-FDFtNet）从真实的人脸数据中检测操纵的虚假人脸图像。我们的DA-FDFtNet将预训练模型与Fine-Tune Transformer、MBblockV 3和通道注意力模块集成在一起，以提高不同类型假图像的性能和鲁棒性。特别是，微调Transformer由多个基于图像的自注意模块和下采样层组成。通道注意模块还与预训练模型连接以捕获假图像特征空间。我们使用FaceForensics++数据集和各种GAN生成的数据集对DA-FDFtNet进行了实验，结果表明我们的方法优于以前的基线模型。
2021-12-22 cs.CV
Detection of fake faces in videos
RV College of Engineering（RV工程学院）
深度学习方法已被用于创建可能对隐私、民主和国家安全造成威胁的应用程序，并可能被用于进一步放大恶意活动。最近，深度学习驱动的应用之一是名人的合成视频。据《福布斯》报道，生成对抗网络（GANs）生成的虚假视频每年呈指数级增长，被称为Deeptrace的组织估计，从2018年到2019年，deepfakes增加了84%。它们被用来生成和修改人脸，其中大多数现有的假视频都是未经同意的，其中估计约有96%，有些是为了网络犯罪而进行的冒充人格。本文通过识别视频数据集，使用预训练的BlazeFace模型进行人脸检测，并在此基础上训练ResNet和Xception集成架构的神经网络，实现视频中虚假人脸的检测。该模型在损失值和对数损失值上进行优化，并在其F1得分上进行评估。在数据样本上，观察到病灶丢失提供更好的准确性、F1分数和丢失，因为病灶丢失的伽马变成超参数。这在训练周期的峰值处提供了约91%的k折精度，而真实世界的精度随着模型的衰减而随时间变化。
2022-01-28 cs.CV
Generated Faces in the Wild: Quantitative Comparison of Stable Diffusion, Midjourney and DALL-E 2
Quintic AI（昆蒂克人工智能公司）
本文定量比较Stable Diffusion、Midjourney与DALL-E 2生成野外真实感人脸的能力，依据FID发现Stable Diffusion表现最佳，并发布含15,076张人脸的GFW数据集。
2023-06-05 cs.CV
FaceController: Controllable Attribute Editing for Face in the Wild
Baidu（百度）
人脸属性编辑的目的是生成具有一个或多个所需人脸属性的人脸，同时保留其他细节。与之前的工作，如GAN反演，这有一个昂贵的反向映射过程，我们提出了一个简单的前馈网络来生成高保真的操纵面。通过简单地利用一些现有的和容易获得的先验信息，我们的方法可以控制，传输和编辑的各种属性的脸在野外。因此，所提出的方法可以应用于各种应用，如面部交换，面部重新照明，化妆转移。在我们的方法中，我们解耦的身份，表达，姿态和照明使用3D先验;分离纹理和颜色使用区域明智的风格代码。所有信息都通过我们的身份风格规范化模块嵌入到对抗学习中。提出了去纠缠损失，以提高发电机提取信息独立于每个属性。已经进行了全面的定量和定性评价。在一个单一的框架中，我们的方法在各种人脸应用程序中获得了最佳或有竞争力的分数。
2021-02-23 cs.CV
Towards Large-Pose Face Frontalization in the Wild
NEC Laboratories America（NEC美国实验室）；Michigan State University（密歇根州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
尽管最近在使用深度学习的人脸识别方面取得了进展，但在不受约束的环境中，对于大的姿势变化，观察到严重的准确性下降。学习姿态不变特征是一种解决方案，但需要昂贵的标记大规模数据和精心设计的特征学习算法。在这项工作中，我们专注于在各种头部姿势下，包括极端的侧面视图下，在野外正面化面部。提出了一种新的基于深度3D变形模型（3DMM）的人脸正面化生成对抗网络（GAN），简称为FF-GAN，用于生成中性头部姿态人脸图像。我们的框架不同于传统的GANs和基于3DMM的建模。将3DMM扩展到GAN结构中提供了形状和外观先验，用于以更少的训练数据快速收敛，同时还支持端到端训练。3DMM条件下的GAN不仅采用了对称性和发生器损失，而且还采用了一种新的掩蔽对称性损失，以保持视觉质量的遮挡下，除了身份损失，以恢复高频信息。人脸识别，地标定位和三维重建的实验一致表明，我们的正面化方法的优势，在野生数据集的人脸。
2017-08-17 cs.CV
GAN Prior Embedded Network for Blind Face Restoration in the Wild
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
从严重退化的人脸图像中进行盲人脸恢复是一个非常具有挑战性的问题。由于问题的高度病态性和复杂的未知退化，直接训练深度神经网络（DNN）通常不能得到可接受的结果。现有的基于生成对抗网络（GAN）的方法可以产生更好的结果，但往往会产生过度平滑的结果。在这项工作中，我们提出了一种新的方法，首先学习一个GAN来生成高质量的人脸图像，并将其嵌入到U形DNN中作为先验解码器，然后用一组合成的低质量人脸图像来微调GAN先验嵌入的DNN。GAN块被设计为确保输入到GAN的潜在代码和噪声可以分别从DNN的深特征和浅特征生成，从而控制重构图像的全局人脸结构、局部人脸细节和背景。所提出的GAN先验嵌入式网络（GPEN）易于实现，并且可以生成视觉上照片般逼真的结果。我们的实验表明，所提出的GPEN实现显着优于国家的最先进的BFR方法的定量和定性的结果，特别是在野外严重退化的人脸图像的恢复。源代码和模型可以在https://github.com/yangxy/GPEN上找到。
2021-05-13 cs.CV
FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network
Sungkyunkwan University（成均馆大学）
由于生成对抗网络（GANs）的进步，创建像“Deepfake”这样的虚假图像和视频变得更加容易。此外，最近的研究，如少样本学习，可以创建高度逼真的个性化假图像，只有几个图像。因此，Deepfake被用于各种恶意目的的威胁变得普遍，例如传播虚假图像和视频。检测这些机器生成的假图像比以往任何时候都更具挑战性。在这项工作中，我们提出了一个轻量级的强大的微调神经网络为基础的分类器架构，称为假检测微调网络（FDFtNet），它能够检测许多新的假脸图像生成模型，可以很容易地与现有的图像分类网络和微调几个数据集。与许多现有方法相比，我们的方法旨在重用流行的预训练模型，仅使用少量图像进行微调，以有效地检测假图像。我们的方法的核心是引入一个基于图像的自我注意模块，称为微调Transformer，只使用注意模块和下采样层。该模块被添加到预训练的模型中，并对一些数据进行微调，以搜索新的特征空间集来检测虚假图像。我们在基于GAN的数据集（Progressive Growing GAN）和基于Deepfake的数据集（Deepfake和Face2Face）上使用FDFtNet进行了实验，其小输入图像分辨率为64x64，使检测变得复杂。我们的FDFtNet在检测基于GANs的数据集生成的虚假图像方面达到了90.29%的整体准确率，优于最先进的技术。
2020-08-10 cs.CV
Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN
University of Copenhagen（哥本哈根大学）；University of Electronic Science and Technology of China（电子科技大学）
Mask-FPAN 框架通过半监督去遮挡模块、3D 可变形人脸模型与 UV GAN 提升野外遮挡和大幅姿态下的人脸解析精度，并发布两个新数据集，MIOU 从 0.7353 提升至 0.9013。
2023-05-30 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS（新里斯本大学计算机科学与信息学实验室）；Universidad Autonoma de Madrid（马德里自治大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统，深入分析相关文献，评估现有检测方法在无约束场景下的性能，并发布iFakeFaceDB数据库，指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
On Learning 3D Face Morphable Model from In-the-wild Images
Michigan State University（密歇根州立大学）
3DMM（3D Morphable Model）作为一种经典的三维人脸形状和表情统计模型，在人脸分析中得到了广泛的应用，模型拟合、图像合成。传统的3DMM是从一组具有相关联的良好控制的2D面部图像的3D面部扫描中学习的，并且由两组PCA基函数表示。由于训练数据的类型和数量以及线性基，3DMM的表示能力可能是有限的。为了解决这些问题，本文提出了一个创新的框架，从大量的野外人脸图像中学习非线性3DMM模型，而无需收集3D人脸扫描。具体地，给定面部图像作为输入，网络编码器估计投影、照明、形状和轮廓参数。两个解码器用作非线性3DMM，以分别从形状和参数映射到3D形状和参数。结合投影参数、光照、三维形状和纹理，设计了一种新的解析可微渲染层来重建原始输入人脸。整个网络是端到端可训练的，只有弱监督。我们展示了我们的非线性3DMM的优越的表示能力，其线性对应，其贡献的脸对齐，3D重建，和面对编辑。
2019-07-14 cs.CV
A new face swap method for image and video domains: a technical report
Sber AI（Sber人工智能研究院）；Samara National Research University（萨马拉国立研究大学）；MSU（莫斯科国立大学）
深度伪造技术在过去几年中成为研究的热点领域。研究人员研究了复杂的生成对抗网络（GAN），自动编码器和其他方法，以建立精确和强大的人脸交换算法。实现的结果表明，深度假无监督合成任务在生成数据的视觉质量方面存在问题。这些问题通常导致专家分析时的高假检测精度。第一个问题是，现有的图像到图像方法不考虑视频域特异性，并且逐帧处理导致面部抖动和其他清晰可见的失真。另一个问题是所生成的数据分辨率，由于高计算复杂性，对于许多现有方法而言，所生成的数据分辨率较低。第三个问题出现在源面具有较大比例（如较大的脸颊）时，并且在替换后，它在面边界上变得可见。我们的主要目标是开发这样一种方法，可以解决这些问题，并在许多线索指标上优于现有的解决方案。我们引入了一个新的面孔交换管道，它是基于FaceShifter架构，并解决了上述问题。通过新的眼睛损失函数，超分辨率块和基于高斯的面部掩模生成导致质量的改善，这在评估期间得到了证实。
2022-02-07 cs.CV
Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
Finding AI-Generated Faces in the Wild
LinkedIn（领英）；University of California Berkeley（加州大学伯克利分校）
本文研究真实场景中 AI 生成人脸的检测问题，提出仅聚焦人脸以捕捉通用且稳健的伪影，实现跨 GAN、diffusion 引擎及低分辨率图像的识别。
2024-04-05 cs.AI cs.CV
Defending against GAN-based Deepfake Attacks via Transformation-aware Adversarial Faces
Duke University（杜克大学）；Accenture Labs（埃森哲实验室）
Deepfake代表了一类利用自动编码器或生成对抗网络等机器学习模型的面部交换攻击。虽然换脸的概念并不新鲜，但其最近的技术进步使得虚假内容（例如，图像、视频）更真实，人类无法察觉。已经探索了各种针对Deepfake攻击的检测技术。然而，这些方法是针对Deepfakes的被动措施，因为它们是在生成高质量虚假内容后的缓解策略。更重要的是，我们希望通过强大的防御来领先于攻击者。这项工作旨在采取攻击性措施，阻止高质量虚假图像或视频的生成。具体来说，我们建议使用新的变换感知的对抗性扰动面孔作为对基于GAN的Deepfake攻击的防御。与朴素的对抗性人脸不同，我们提出的方法在生成过程中利用了可微的随机图像变换。我们还建议使用基于集成的方法来增强黑盒设置下对基于GAN的Deepfake变体的防御鲁棒性。我们发现，使用对抗性人脸训练Deepfake模型可能会导致合成人脸的质量显着下降。这种退化是双重的。一方面，合成人脸的质量随着更多的视觉伪影而降低，使得合成人脸更明显地是假的或对人类观察者更不可信。另一方面，可以基于各种度量容易地检测合成的面部。
2020-06-12 cs.CR cs.CV eess.IV
Face Presentation Attack Detection in Learned Color-liked Space
Northwestern Polytechnical University（西北工业大学）；University of Cagliari（卡利亚里大学）
人脸呈现攻击检测（PAD）已经成为生物识别系统中的一个棘手问题，人们提出了许多解决方法，但大多数方法都是在现有的颜色空间（如RGB、HSV和YCbCr）中直接提取特征描述符并区分真假人脸。不幸的是，我们不知道哪种颜色空间是最好的，或者如何将不同的空间组合在一起。更糟糕的是，真实和虚假的脸在现有的颜色空间中重叠。因此，在本文中，一个学习可区分的颜色喜欢的空间来处理人脸PAD的问题。更具体地说，我们提出了一个端到端的深度学习网络，可以将现有的颜色空间映射到一个新的学习颜色空间。受生成对抗网络（GAN）生成器的启发，该网络由空间生成器和特征提取器组成。在训练类颜色空间时，提出了一种新的点到中心的三元组组合机制，以最大化类间距离和最小化类内距离，并在真实人脸和呈现的假人脸之间保持安全的边界。在两个标准的人脸PAD数据库上进行了广泛的实验，即，中继攻击和OULU-NPU，表明我们提出的基于颜色空间分析的对策显着优于国家的最先进的方法，并显示出良好的泛化能力。
2018-11-12 cs.CV
AffWild Net and Aff-Wild Database
Imperial College London（伦敦帝国学院）
情绪识别是对人的情绪进行识别的任务。它通常是通过分析人的面部表情来实现的。情绪的表征方法有两种：范畴方法和维度方法，分别使用效价和唤醒值。效价显示了一种情绪的消极或积极程度，而唤醒显示了它被激活的程度。最近的深度学习模型，与情绪识别有关，正在使用第二种方法，效价和唤醒。此外，一个更有趣的概念，这是在现实生活中有用的是“在野外”的情绪识别。“在野外”意味着为识别任务分析的图像来自真实生活来源（在线视频，在线照片等）。而不是从阶段性实验中获得的。因此，他们在图像中引入了不可预测的情况，必须进行建模。该项目的目的是研究以前为“野外”情感识别概念所做的工作，设计一个新的数据集，该数据集将“野外”数据库作为标准，实现新的深度学习模型并评估结果。首先，介绍现有的数据库和深度学习模型。然后，受他们的启发，创建了一个新的数据库，其中包括来自106个视频的507.208帧，这些视频是从在线来源收集的。然后，在基于CNN-M架构的CNN模型中测试数据，以确定其可用性。其次，实现了本项目的主要模型。这是一个回归GAN，它可以同时执行无监督学习和监督学习。更具体地说，它保留了GANs的主要功能，即生成看起来和真实图像一样好的假图像，同时它还可以预测真实和假图像的效价和唤醒值。最后，将前面创建的数据库应用于该模型，并对结果进行了介绍和评估。
2019-12-13 cs.CV cs.HC cs.LG
AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild"
Imperial College London（帝国理工学院）
在过去的几年里，随着生成对抗网络（GANs）的出现，许多人脸分析任务已经实现了惊人的性能，其应用包括但不限于从单个"野外"图像生成人脸和3D人脸重建。然而，据我们所知，没有一种方法可以从“野外”图像中产生高分辨率逼真的3D人脸，这可以归因于：（a）用于训练的可用数据稀缺，以及（b）缺乏可以成功应用于非常高分辨率数据的鲁棒方法。在本文中，我们介绍了AvatarMe，第一种能够从单个“野外”图像重建逼真的3D人脸的方法，其细节水平不断提高。为了实现这一目标，我们捕获了一个大型的面部形状和反射数据集，并建立在最先进的3D纹理和形状重建方法的基础上，并不断完善其结果，同时生成逼真渲染所需的每像素漫射和镜面反射分量。正如我们在一系列定性和定量实验中所展示的那样，AvatarMe的表现远远优于现有技术，并从一张低分辨率图像中重建了真实的4K × 6K分辨率3D人脸，这是第一次跨越恐怖谷。
2020-03-30 cs.CV cs.GR
Detecting High-Quality GAN-Generated Face Images using Neural Networks
Sabanci University（萨班哲大学）；University of Padua（帕多瓦大学）；Florida International University（佛罗里达国际大学）
在过去的几十年里，在计算机视觉中过度使用上一代GAN（生成对抗网络）模型，使得人工人脸图像的创建在视觉上与真实人脸图像无法区分。这些图像特别用于对抗性环境中，以创建虚假的社交媒体帐户和其他虚假的在线个人资料。此类恶意活动可能会对用户身份的可信度产生负面影响。另一方面，GAN模型的最新发展可以创建高质量的人脸图像，而没有空间伪影的证据。因此，重新组装均匀的颜色通道相关性是一个具有挑战性的研究问题。为了应对这些挑战，我们需要开发能够区分虚假和真实人脸图像的有效工具。在本章中，我们提出了一种新的策略，通过利用光谱带差异来区分GAN生成的图像和真实图像，重点是人工人脸图像合成。特别是，我们使数字保存的人脸图像使用跨波段共生矩阵和空间共生矩阵。然后，我们实现这些技术，并将它们馈送到卷积神经网络（CNN）架构中，以识别真实的人工人脸。此外，我们表明，性能提升是特别显着的，并在不同的后处理环境中达到92%以上。最后，我们提供了几个研究观察表明，这种策略改进了一个可比的检测方法，只基于带内空间同现。
2022-03-03 cs.CR cs.CV cs.LG
Interpretable Deep Neural Networks for Facial Expression and Dimensional Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）
在这个项目中，我们创建了一个数据库，其中包含两种用于情感识别领域的注释：动作单元和效价唤醒，以尝试比只有一个模型获得更好的结果。该方法的独创性也基于用于执行情感预测的架构类型：分类生成对抗网络。由于其生成网络，这种双网络可以基于新数据集的图片生成图像，并由于其判别网络决定图像是假还是真，以及由于其分类性质而有助于预测动作单位和价唤醒的注释。GANs仅在动作单元模型上训练，然后仅在价唤醒模型上训练，然后在动作单元模型和价唤醒模型上训练，以测试不同的参数并了解它们的影响。GANs的生成和判别方面已经取得了有趣的结果。
2019-12-13 cs.CV cs.LG stat.ML
Dynamic texture analysis for detecting fake faces in video sequences
University of Trento（特伦托大学）；Universität Innsbruck（因斯布鲁克大学）
在过去几年中，涉及人类角色的操纵多媒体内容的创建已经达到了前所未有的真实性，需要自动化技术来暴露图像和视频中合成生成的面部。这项工作探讨了时空纹理动态的视频信号的分析，其目标是表征和区分真正的和假的序列。我们建议建立一个二元决策的多个时间段的联合分析，并在以前的方法相比，利用纹理动态的空间和时间维度。这是通过使用三个正交平面上的局部导数模式（LDP-TOP）来实现的，LDP-TOP是一种紧凑的特征表示，已知是检测面部欺骗攻击的重要资产。对最先进的操纵视频数据集的实验分析表明，这些描述符在分离真实和虚假序列以及识别所使用的创建方法方面具有辨别力。使用线性支持向量机（SVM），尽管复杂度较低，但其产生与先前提出的用于虚假内容检测的深度模型相当的性能。
2020-07-30 cs.CV cs.MM
Mining Generalized Features for Detecting AI-Manipulated Fake Faces
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对现有AI伪造人脸检测方法在跨未见篡改技术时泛化性差的问题，提出挖掘CDI与SI内在特征、结合OctConv与注意力融合及偏差对齐的框架，在多数据集和跨篡改场景下取得优异性能。
2020-10-27 cs.CV cs.MM
Exploiting Human Social Cognition for the Detection of Fake and Fraudulent Faces via Memory Networks
Queensland University of Technology（昆士兰科技大学）
计算机视觉的进步使我们有能力合成逼真的假内容。这种做法被视为虚假信息和不信任的来源，并引起世界各国政府的严重关切。卷积神经网络（CNN）在检测由特定类型的操作产生的假图像时表现出令人鼓舞的结果。然而，这种成功并没有过渡到看不见的操作类型，导致防线上存在重大差距。我们提出了一个层次记忆网络（HMN）架构，它能够成功地检测到伪造的面孔，利用存储在神经记忆中的知识以及视觉线索的原因感知的脸，并预测其未来的语义嵌入。这呈现了一个可推广的面部篡改检测框架。实验结果表明，该方法实现了优越的性能相比，国家的最先进的虚假和欺诈性的人脸检测。
2019-11-17 cs.CV cs.LG cs.MM
TrueFake: A Real World Case Dataset of Last Generation Fake Images also Shared on Social Networks
University of Trento（特伦托大学）；Truebees srl（Truebees公司）
本文提出大规模基准数据集TrueFake，包含60万张图像，涵盖顶尖生成技术及三种社交网络共享，用于严格评估最先进伪造图像检测器在真实条件下的性能，并分析社交媒体共享对检测的影响及有效训练策略。
2025-04-29 cs.AI cs.CV cs.MM
Detecting Deep-Fake Videos from Appearance and Behavior
Facebook Research（脸书研究院）
合成生成的音频和视频--所谓的深度伪造--继续吸引着计算机图形和计算机视觉社区的想象力。与此同时，能够制作任何人说任何话的复杂操纵视频的技术的民主化仍然令人担忧，因为它有能力破坏民主选举，进行小规模到大规模的欺诈，助长虚假信息运动，并制作未经同意的色情作品。我们描述了一种基于生物识别的法医技术，用于检测面部交换深度伪造。该技术将基于面部识别的静态生物特征与基于面部表情和头部运动的时间行为生物特征相结合，其中使用具有度量学习目标函数的CNN来学习行为嵌入。我们展示了这种方法在几个大规模视频数据集上的有效性，以及在野外的深度伪造。
2020-04-29 cs.CV cs.LG cs.MM
Attention-Based Lip Audio-Visual Synthesis for Talking Face Generation in the Wild
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
说话人脸的生成是近年来视听研究的热点，具有重要的现实意义。如何实现准确的唇同步是一个长期的挑战，有待进一步研究。受xxx的启发，本文提出了一种AttnWav 2Lip模型，该模型将空间注意力模块和通道注意力模块结合到唇同步策略中。AttnWav 2Lip模型不关注人脸图像中不重要的区域，而是能够更多地关注嘴唇区域的重建。据我们所知，这是首次尝试将注意力机制引入到说话人脸生成方案中。一个广泛的实验已经进行了评估所提出的模型的有效性。与通过LSE-D和LSE-C度量测量的基线相比，在基准唇部合成数据集（包括LRW、LRS 2和LRS 3）上已经证明了优越的性能。
2022-03-08 cs.CV cs.MM eess.IV
Tu crois que c'est vrai ? Diversite des regimes d'enonciation face aux fake news et mecanismes d'autoregulation conversationnelle
Université Paris Cité（巴黎西岱大学）；Sciences Po（巴黎政治学院）；Université de Genève（日内瓦大学）；Sciences Po Lille（里尔政治学院）；Sciences Po Paris（巴黎政治学院）；EHESS（社会科学高等学院）；Paris II Panthéon Assas（巴黎第二大学先贤祠-阿萨斯大学）；CNRS（法国国家科学研究中心）
本研究探讨了虚假新闻在社交媒体中的传播机制及用户回应策略，揭示了政治极化现象与批判距离在对话中的作用。
2025-11-23 cs.CL cs.CY cs.HC
Turn Fake into Real: Adversarial Head Turn Attacks Against Deepfake Detection
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Xi’an Jiaotong University（西安交通大学）
提出首个针对深度伪造检测器的三维对抗性头部转动攻击AdvHeat，通过单视角图像合成面部视角，在黑盒场景下实现高攻击成功率，并优于传统攻击。
2023-09-03 cs.CR cs.CV cs.LG
