Open Set Synthetic Image Source Attribution
Drexel University（德雷塞尔大学）
针对现有合成图像来源溯源多为闭集、无法应对未知生成器的问题，提出基于度量学习的可迁移嵌入方法，结合相机识别预训练提升迁移性，实现开放集下的合成图像来源溯源。
2023-08-22 cs.CV eess.IV
Synthetic Image Detection with CLIP: Understanding and Assessing Predictive Cues
Institute for Data Science I4DS（数据科学研究所）；University of Applied Sciences FHNW（应用科学大学）；FHNW Brugg-Windisch AG（FHNW布吕克-温迪施公司）
本文提出SynthCLIC数据集，通过分析CLIP-based检测器的学习机制，揭示其在合成图像检测中依赖于高级摄影属性而非生成器特定伪影，并强调了持续更新和广泛训练的重要性。
2026-08-18 cs.CV
FIX-CLIP: Dual-Branch Hierarchical Contrastive Learning via Synthetic Captions for Better Understanding of Long Text
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
针对CLIP文本编码器输入长度受限、长文本处理能力弱的问题，提出含双分支训练等三个模块的FIX-CLIP，用合成长文本字幕训练，在长短文本检索基准上达SOTA，还可即插即用提升长文本扩散模型性能。
2025-07-29 cs.CV
Proto-LeakNet: Towards Signal-Leak Aware Attribution in Synthetic Human Face Imagery
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Catania（卡塔尼亚大学）
提出Proto-LeakNet，利用扩散模型中的信号泄漏痕迹，结合闭集分类与密度开集评估，实现可解释的生成器归因，在闭集上训练后对未见生成器也有效。
2026-06-12 cs.AI cs.CV
ProMark: Proactive Diffusion Watermarking for Causal Attribution
Adobe Research（奥多比研究院）；Michigan State University（密歇根州立大学）；University of Surrey（萨里大学）
提出ProMark主动水印技术，将概念信息嵌入训练图像并训练扩散模型保留水印，实现生成图像的因果归因，支持多达2^16个水印且优于相关性方法。
2024-03-14 cs.CV
Source Generator Attribution via Inversion
Honeywell ACST（霍尼韦尔ACST）
随着生成对抗网络（GANs）的进步，合成图像和视频得到了极大的改进，对将传统取证扩展到这一新类别图像的算法的需求越来越大。虽然GANs已被证明在许多计算机视觉应用中很有帮助，但还有其他一些有问题的用途，例如“深度伪造”，这需要进行取证。使用各种线索的源相机归属算法已经解决了对相机捕获的图像的这种需求，但是合成图像的选项较少。我们解决的问题，归因于一个特定的生成器在白盒设置的合成图像，通过反转的过程中产生。这使我们能够同时确定生成器是否生成了图像，并恢复与合成图像密切匹配的输入。
2019-06-13 cs.CV cs.LG eess.IV
Extract Free Dense Misalignment from CLIP
NAVER Cloud AI（NAVER 云AI）；NAVER AI Lab（NAVER AI实验室）
提出CLIP4DM方法，通过改进基于梯度的归因计算和F-CLIPScore聚合分数，从预训练CLIP中高效检测图像与文本间的密集不一致性，在零样本模型中实现最先进性能。
2024-12-24 cs.CV cs.LG
MARBLE: Material Recomposition and Blending in CLIP-Space
University of Oxford（牛津大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Stability AI
MARBLE 通过在 CLIP 空间中定位材质嵌入并识别 UNet 中负责材质归因的模块，实现基于示例的材质混合与细粒度属性（如粗糙度、金属感、透明度、发光）的参数化控制编辑。
2025-06-05 cs.CV
Motion Attribution for Video Generation
NVIDIA；Princeton University（普林斯顿大学）；MIT（麻省理工学院）；University of Michigan（密歇根大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究视频生成模型中数据对运动影响，提出基于梯度的运动归因框架Motive，通过运动加权损失掩码分离静态外观和时间动态，用于研究微调剪辑对时间动态的影响及指导数据策划，提升视频运动质量。
2026-07-07 cs.AI cs.CV cs.LG
RepMix: Representation Mixing for Robust Attribution of Synthesized Images
University of Surrey（萨里大学）；Salesforce Research（赛富时研究院）；Adobe Research（奥多比研究院）
生成对抗网络（GANs）的快速发展为图像属性提出了新的挑战;检测图像是否是合成的，如果是，则确定哪种GAN架构创建了它。独特的是，我们提出了一种解决方案，能够1）匹配不受其语义内容影响的图像; 2）对良性变换（质量，分辨率，形状等的变化）具有鲁棒性。这在图像被重新分享到网上时很常见。为了使我们的研究正式化，我们收集了一个具有挑战性的基准，Attribution 88，以实现强大而实用的图像归因。然后，我们提出了RepMix，我们的GAN指纹技术的基础上表示混合和一种新的损失。我们验证了它跟踪GAN生成的图像的来源的能力，该图像对图像的语义内容不变，并且对扰动具有鲁棒性。我们表明，我们的方法显着改善现有的GAN指纹作品的语义泛化和鲁棒性。数据和代码可在https://github.com/TuBui/image_attribution上获得。
2022-07-12 cs.CV
SynthCLIP: Are We Ready for a Fully Synthetic CLIP Training?
KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
SynthCLIP提出完全基于合成数据训练CLIP模型，利用TTI和LLM生成大规模数据集，并分析数据策略与扩展趋势，发布SynthCI-30M数据集及开源资源。
2024-07-18 cs.AI cs.CV cs.LG
Visual Feature Attribution using Wasserstein GANs
ETH Zurich（苏黎世联邦理工学院）
在计算机视觉中，将输入图像的像素归属于某个类别是一个重要且研究得很好的问题，其应用范围从弱监督定位到理解数据中的隐藏效应。近年来，基于解释先前训练的神经网络分类器的方法已经成为事实上的最先进技术，并且通常用于医学以及自然图像数据集。在本文中，我们讨论了这些方法的局限性，这可能会导致只有一个子集的类别特定的功能被检测到。为了解决这个问题，我们开发了一种新的特征归因技术的基础上Wasserstein生成对抗网络（WGAN），不受此限制。我们表明，我们提出的方法在合成数据集和轻度认知障碍（MCI）和阿尔茨海默病（AD）患者的真实3D神经成像数据上的视觉归因方面的表现明显优于最先进的方法。对于AD患者的方法产生令人信服的现实的疾病影响地图是非常接近观察到的效果。
2018-06-26 cs.CV
Evaluating Data Attribution for Text-to-Image Models
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究院）
本文通过定制方法构建受示例影响的合成图像数据集，评估并微调DINO、CLIP和ViT等模型以解决文本到图像模型的数据归因问题，并引入软归因分数处理不确定性。
2023-08-08 cs.CV cs.LG
Scaling Laws of Synthetic Images for Model Training ... for Now
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
本文研究文本生成合成图像训练分类器与 CLIP 的缩放定律，发现提示、引导尺度和生成模型类型影响显著，并明确其有效适用场景。
2023-12-07 cs.CV
Hybrid Semantic and Spectral Ensemble for Robust Synthetic Image Source Attribution
Chittagong University of Engineering and Technology（吉大港工程技术大学）
针对文本到图像模型发展带来的合成图像源归属问题，提出融合语义深度学习与数学取证特征提取的双分支集成框架，经实验验证准确率高且计算高效，突出数学取证在实际部署中的优势。
2026-07-28 cs.AI cs.CV cs.GR
Zero-shot video highlight detection based on text descriptions and synthetic images
Samsung AI Center（三星人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
提出一种结合CLIP、大语言模型和扩散模型的零样本框架，利用视频元数据生成文本描述和合成图像，实现无需标注的帧级高光检测，在TVSum和SumMe上表现优异。
2026-09-15 cs.CV
Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier
College of Engineering, Ocean University of China（中国海洋大学工程学院）；School of Information and Control Engineering, Qingdao University of Technology（青岛理工大学信息与控制工程学院）
本文提出CLIP-UIE框架，利用颜色迁移生成合成水下图像并结合CLIP训练分类器来联合微调扩散模型，同时提出针对高频区域的快速微调策略，实现更自然的水下图像增强。
2024-06-07 cs.CV
Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features
Sungkyunkwan University（成均馆大学）
本文针对持续涌现的生成模型归因问题，提出将少样本类增量学习与CLIP-ViT多层特征相结合，并设计自适应集成模块AIM来加权融合特征，从而高效识别新型生成式AI模型。
2025-03-11 cs.CV
StableRep: Synthetic Images from Text-to-Image Models Make Strong Visual Representation Learners
Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 StableRep 方法，将同一文本提示生成的多张合成图像作为互为正样本进行多正样本对比学习，仅用合成图像即可超越基于真实图像训练的 SimCLR 和 CLIP，并证明加入语言监督后可用更少数据取得更高准确率。
2023-10-26 cs.CV
WOUAF: Weight Modulation for User Attribution and Fingerprinting in Text-to-Image Diffusion Models
Intel Labs（英特尔实验室）；Arizona State University（亚利桑那州立大学）
提出WOUAF方法，通过用户数字指纹对文本到图像扩散模型进行权重调制，实现近乎完美的归因准确率且对输出质量影响极小，有效应对模型滥用。
2024-04-24 cs.CV
VPN: Video Provenance Network for Robust Content Attribution
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了VPN -一种内容归属方法，用于从在线共享的视频中恢复出处信息。平台和用户经常将视频转换为不同的质量，编解码器，大小，形状等，或者稍微编辑其内容，例如添加文本或表情符号，因为它们在网上重新分发。我们学习了一个强大的搜索嵌入匹配这样的视频，这些变换不变，使用全长或截断的视频查询。一旦与视频剪辑的可信数据库匹配，就向用户呈现关于剪辑的来源的相关联的信息。我们使用一个倒排索引来匹配视频的时间块，使用后期融合来结合视觉和音频特征。在这两种情况下，特征都是通过使用对比学习在原始和增强视频剪辑的数据集上训练的深度神经网络来提取的。我们在10万个视频的语料库中展示了高准确率的召回率。
2021-09-21 cs.CV
Fine-tuning CLIP Text Encoders with Two-step Paraphrasing
Korea University（高丽大学）；Adobe Research（奥多比研究院）
本文提出ParaCLIP，通过两步改述生成增强CLIP文本编码器对改述查询的表示能力，在改述检索和语义相似度等任务上显著优于基线CLIP。
2024-02-23 cs.AI cs.CV cs.LG
Transferable Class-Modelling for Decentralized Source Attribution of GAN-Generated Images
Monash University Malaysia（莫纳什大学马来西亚分校）；Monash University（莫纳什大学）
作为一种数字图像类型，GAN生成的deepfake作为艺术表达和恶意欺骗形式的催化剂正在获得越来越多的支持，因此要求系统强制执行和认可其道德使用。用于合成图像的源属性的现有技术使用功能和可扩展性有限的多类分类神经网络来识别微妙的内在指纹。因此，我们将deepfake检测和源属性问题重新定义为一系列相关的二进制分类任务。我们利用迁移学习快速适应伪造检测网络的多个独立的属性问题，通过提出一个半分散的模块化设计，以解决他们同时和有效地。类激活映射也被证明是一种有效的方法，模型解释的功能本地化。我们的模型是通过实验确定的，与当前的基准相比具有竞争力，并且能够在理想条件下在人体肖像上表现出色。分散的指纹为基础的归因被发现在新的来源的存在下保留有效性，但更容易受到II型错误，加剧与图像扰动和属性的不确定性。我们描述了我们的概念框架和模型原型，以便在调查反应式deepfake归因的技术限制时进一步增强。
2022-03-18 cs.CV cs.LG
Concept-TRAK: Understanding how diffusion models learn concepts through concept-level attribution
University of Pennsylvania（宾夕法尼亚大学）；SONY AI（索尼人工智能）；Sony Group Corporation（索尼集团）
Concept-TRAK通过概念层面归因方法，提升扩散模型对特定概念的解释能力，适用于图像生成中的版权与透明性问题。
2026-03-02 cs.CV cs.LG
IntroStyle: Training-Free Introspective Style Attribution using Diffusion Features
University of California, San Diego（加州大学圣地亚哥分校）
本文提出无需训练的IntroStyle框架，仅利用扩散模型特征进行风格归因，并引入ArtSplit数据集，在WikiArt和DomainNet上大幅超越现有方法。
2025-08-05 cs.CV eess.IV
GazeCLIP: Gaze-Guided CLIP with Adaptive-Enhanced Fine-Grained Language Prompt for Deepfake Attribution and Detection
Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shenzhen University（深圳大学）；National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University（深圳大学大数据系统计算技术国家工程实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University（深圳大学广东省智能信息处理重点实验室）；Great Bay University（大湾区大学）
本文提出 GazeCLIP，通过自适应增强细粒度语言提示提升深度伪造属性和检测性能，通过设计 gaze-aware 模型和语言精炼编码器，在细粒度基准测试中实现了 6.56% ACC 和 5.32% AUC 的提升。
2026-10-22 cs.CV
Which Model Generated This Image? A Model-Agnostic Approach for Origin Attribution
University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
针对生成图像来源归属问题，提出一种与模型无关的少样本单类分类框架OCC-CLIP，利用CLIP实现来源识别，实验验证其有效性和现实适用性。
2024-07-18 cs.CV
Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning
Guangxi University（广西大学）；Guangxi Key Laboratory of Multimedia Communications and Network Technology（广西多媒体通信与网络技术重点实验室）
针对纯文本图像字幕生成中模态鸿沟与训练推理不一致的问题，提出结合合成图文对、优化伪特征、引入显著物体辅助的方法，实现了基准数据集上的SOTA性能。
2023-12-14 cs.CL cs.CV
Explaining Caption-Image Interactions in CLIP Models with Second-Order Attributions
University of Stuttgart（斯图加特大学）
本文提出一种二阶归因方法解释CLIP模型的双编码器输入交互，揭示其标题与图像区域间的细粒度对应能力及不同类别间的性能差异与失败模式。
2025-08-13 cs.AI cs.CL cs.CV
Diversity and Diffusion: Observations on Synthetic Image Distributions with Stable Diffusion
Google Research（谷歌研究院）
本文通过分析Stable Diffusion等文本到图像系统生成的合成图像与自然图像的语义差异，揭示出歧义性、提示遵循、多样性不足和概念表示缺失四个限制因素，并提供了关于CLIP嵌入几何的新见解。
2023-10-31 cs.AI cs.CV cs.LG
CLIPS: An Enhanced CLIP Framework for Learning with Synthetic Captions
UC Santa Cruz（圣克鲁兹大学）；University of Edinburgh（爱丁堡大学）
针对合成标题学习中的反向效应，提出CLIPS框架，通过仅输入部分合成标题并整合自回归标题生成器，显著提升跨模态检索零样本性能，增强LLaVA视觉能力并创MSCOCO和Flickr30K新SOTA。
2024-11-25 cs.CV
SYNC-CLIP: Synthetic Data Make CLIP Generalize Better in Data-Limited Scenarios
本文提出 SYNC-CLIP，通过分离真实与合成领域提示、共享视觉提示并对齐跨域特征，利用合成数据提升 CLIP 在数据受限开放词汇场景下的新类泛化能力。
2023-12-06 cs.CV
Understanding the Vulnerability of CLIP to Image Compression
Institute for Mathematical Innovation（数学创新研究所）；University of Bath（巴斯大学）
本文揭示了CLIP模型在图像压缩下易受影响的脆弱性，利用Integrated Gradients方法定量定性分析压缩对零样本识别准确率的影响，并在CIFAR-10和STL-10上评估，为提升视觉语言模型鲁棒性提供基础。
2023-11-23 cs.CV cs.LG
Face-Trace: Open-Set Attribution and Progressive Discovery of Synthetic Face Generators
Department of Computer, Control and Management Engineering (DIAG), Sapienza University of Rome（罗马第一大学计算机、控制与管理工程系（DIAG））
针对合成面部图像逼真带来的多媒体取证挑战，提出结合已知生成器分类、异常检测拒绝及未知生成器发现的开放集归因管道，实验验证其在封闭集和开放集设置下的有效性及增量设置下的渐进式发现能力，跨数据集实验显示可超越原数据集分布。
2026-07-30 cs.CV
BOSC: A Backdoor-based Framework for Open Set Synthetic Image Attribution
Department of Information Engineering and Mathematics, University of Siena（信息工程与数学系，锡耶纳大学）
针对封闭集合成图像溯源无法应对未知生成架构的问题，提出基于后门攻击的BOSC开放集分类框架，通过注入类别触发器构建带拒绝选项的分类器，性能超越现有最优方法且具通用性。
2025-09-04 cs.CV
Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution
New York University（纽约大学）
针对视觉-语言预训练模型可解释性不足的问题，提出多模态信息瓶颈M2IB归因方法，无需真实标签即可提升归因准确率，在定性定量上均优于现有归因方法。
2024-06-22 cs.AI cs.CV cs.LG
EKILA: Synthetic Media Provenance and Attribution for Generative Art
University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
提出去中心化框架EKILA，结合视觉归属技术与C2PA标准解决合成图像溯源问题，并引入ORA代币化关系，使创作者在GenAI中获得署名与版税奖励。
2023-04-10 cs.AI cs.CV
Zero-Shot Class Unlearning in CLIP with Synthetic Samples
University of Bath（巴斯大学）
针对CLIP模型的类别遗忘需求，提出结合Lipschitz正则化、合成样本生成与选择性层更新的零样本遗忘方法，在多个标准数据集上验证有效并完成消融对比。
2024-12-11 cs.CV
Enhancing Authorship Attribution with Synthetic Paintings
本研究通过结合真实和合成数据提升绘画作者归属的准确率和泛化能力。
2026-03-04 cs.CV cs.LG
LoRAX: LoRA eXpandable Networks for Continual Synthetic Image Attribution
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Yale University（耶鲁大学）
针对持续合成图像溯源中模型难以泛化到新生成模型的问题，本文提出参数高效的类增量算法 LoRAX，通过低秩适配训练任务特定特征提取器，在 Continual Deepfake Detection 基准上以不到 3% 的可训练参数取得领先性能。
2025-04-10 cs.CV
Unsupervised Synthetic Image Attribution: Alignment and Disentanglement
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Sydney（悉尼大学）
本文提出无监督合成图像属性识别方法，通过对比自监督学习和信息最大化损失实现概念对齐与解耦，优于监督方法。
2026-01-30 cs.AI cs.CV
Autonomous and Self-Adapting System for Synthetic Media Detection and Attribution
Drexel University（德雷塞尔大学）
提出一种自主自适应合成媒体识别系统，通过可演化的嵌入空间和开放集识别策略，自动检测并归因已知与未知生成器，显著优于现有方法。
2026-06-23 cs.AI cs.CV
WILD: a new in-the-Wild Image Linkage Dataset for synthetic image attribution
University of Siena, Department of Information Engineering an Mathematics, Italy（西尔维亚大学信息工程与数学系，意大利）；Politecnico di Milano, Department of Electronics, Informatics, and Bioengineering, Italy（米兰理工学院电子、信息技术与生物工程系，意大利）；University of Trento, Department of Information Engineering and Computer Science, Italy（特伦托大学信息工程与计算机科学系，意大利）；University of Catania, Department of Mathematics and Computer Science, Italy（卡塔尼亚大学数学与计算机科学系，意大利）；Sapienza University of Rome - Departement of Computer, Control and Management Engineering, Italy（罗马萨皮恩扎大学计算机、控制与管理工程系，意大利）
WILD是一种用于合成图像归因的新型数据集，包含10个闭集和10个开集生成器各10,000张图像，支持闭集/开集识别、验证及鲁棒归因测试，并评估了七种基线方法。
2025-04-29 cs.AI cs.CV cs.MM
Model Synthesis for Zero-Shot Model Attribution
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Computer Science, Faculty of Engineering, University of Sydney（悉尼大学工程学院计算机科学学院）
针对现有生成模型归因方法无法适配未知模型的问题，提出基于模型合成技术的通用指纹提取器，仅用合成模型训练即可实现零样本归因，大幅提升未知模型的识别与验证准确率。
2025-01-17 cs.CV
Forensic Self-Descriptions Are All You Need for Zero-Shot Detection, Open-Set Source Attribution, and Clustering of AI-generated Images
Drexel University（德雷塞尔大学）
本文提出一种基于法医微结构建模的自监督方法，通过提取多尺度残差形成图像自描述，实现零样本检测、开放集来源归属与聚类，性能优于现有技术。
2025-03-26 cs.CV
FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach
Aalborg University（奥尔堡大学）
针对真菌零样本分类，提出FungalZSL方法，利用LLM生成文本和合成图像增强CLIP，通过共享表示空间对齐并研究知识迁移以细化分类。
2025-02-26 cs.CV
CLIP-FLow: Contrastive Learning by semi-supervised Iterative Pseudo labeling for Optical Flow Estimation
OPPO US Research Center（OPPO美国研究中心）；Innopeak Technology（Innopeak科技公司）
合成数据集通常用于预训练端到端光流网络，因为缺乏大量标记的真实场景数据。但是，当从合成场景移动到真实场景时，准确性会发生重大下降。我们如何更好地将从合成领域学到的知识转移到真实领域？为此，我们提出了CLIP-FLow，一个半监督迭代伪标记框架，将预训练知识转移到目标实域。我们利用大规模的、未标记的真实数据来促进迁移学习，并监督迭代更新的伪真实标签，弥合合成和真实之间的领域差距。此外，我们提出了一个对比流损失的参考功能和扭曲功能的伪地面真相流，以进一步提高准确的匹配和抑制由于运动，遮挡，或嘈杂的伪标签的不匹配。我们采用RAFT作为主干，并获得4.11%的F1-所有误差，即从RAFT（5.10%）减少19%的误差，并在KITTI 2015基准提交时排名2位$^{nd}$。我们的框架也可以扩展到其他模型，例如CRAFT，在KITTI 2015基准上将F1-all误差从4.79%降低到4.66%。
2022-12-03 cs.CV
Representation and Reference Selection in Training-Free Synthetic Image Attribution
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Department of Information Engineering and Mathematics, University of Siena（锡耶纳大学信息工程与数学系）
研究无训练合成图像归因中表示与参考选择的相互作用，利用CLIP和DINOv2不同层表示及三种参考选择方法，发现归因准确性在中间表示层达峰值，语义约束参考可提升归因，重新合成在低参考量时有用，语义对齐参考在中等参考池时权衡较好。
2026-10-30 cs.AI cs.CR cs.CV
ImageAttributionBench: How Far Are We from Generalizable Attribution?
Fudan University（复旦大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出ImageAttributionBench，一个涵盖多种语义领域的综合数据集，用于评估图像归因方法在真实场景下的性能，揭示现有方法在鲁棒性和泛化能力上的不足。
2026-05-13 cs.CV
A Training-free Synthetic Data Selection Method for Semantic Segmentation
China University of Petroleum (East China)（中国石油大学（华东））；XJTLU（西交利物浦大学）
本文提出一种基于CLIP的免训练合成数据选择策略（SDS），通过PCS和ASF模块剔除低质量图像与标注样本，在将数据规模减半的同时提升了语义分割器的性能。
2025-01-25 cs.CV
CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
Hong Kong University of Science and Technology（香港理工大学）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；University of Copenhagen（哥本哈根大学）
本文提出CultureCLIP，通过构建合成文化数据集CulTwin并采用定制对比学习微调CLIP，显著提升了模型对视觉相似但文化含义不同概念的细粒度识别能力，同时保持了原有泛化性能。
2025-07-16 cs.CL cs.CV
Synthetic Image Verification in the Era of Generative AI: What Works and What Isn't There Yet
University Federico II of Naples（那不勒斯费德里科二世大学）；NVIDIA（英伟达）
本文综述了生成式AI时代合成图像检测与溯源的主要方法，分析其优缺点，并指出当前热点与未来研究方向。
2024-04-30 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种方法，允许自动分割图像到语义有意义的区域，而无需人工监督。衍生区域在不同的图像中是一致的，并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下，我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中，我们使用预训练的StyleGAN2生成模型：生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别，就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后，在合成数据集上训练分割模型，并能够推广到真实图像。此外，通过使用CLIP，我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法，并展示了最先进的结果。
2021-11-18 cs.CV
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
TripletCLIP通过合成困难负样本对，增强CLIP的组合推理能力，在SugarCrepe上提升超9%，并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
