Leveraging Disentangled Representations to Improve Vision-Based Keystroke Inference Attacks Under Low Data
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
击键推断攻击是侧信道攻击的一种形式,其中攻击者利用各种技术来在用户将信息输入到某个显示器(例如,同时发送文本消息或输入她的PIN)。通常,这些攻击利用机器学习方法,但评估威胁空间的真实性已经落后于机器学习进步的步伐,部分原因是管理大型现实生活数据集的挑战。我们的目标是通过引入视频领域自适应技术,能够利用合成数据,通过监督分离学习,以克服具有有限数量的实际数据的挑战。具体来说,对于一个给定的域,我们将观察到的数据分解为两个变化因素:风格和内容。这样做提供了四种学习表示:现实生活风格,合成风格,现实生活内容和合成内容。然后,我们将它们组合成来自跨域的样式-内容配对的所有组合的特征表示,并在这些组合表示上训练模型以对内容进行分类(即,标签)的一个给定的数据点在另一个域的风格。我们使用各种指标来量化攻击者能够恢复的信息量,从而评估我们在现实数据上的方法。我们表明,我们的方法可以防止我们的模型过度拟合到一个小的真实训练集,这表明我们的方法是一种有效的数据增强形式,从而使反推理攻击更实用。
2022-04-05 cs.CR cs.CV
Harnessing Machine Learning for Discerning AI-Generated Synthetic Images
Cornell University(康奈尔大学)
本研究利用CIFAKE数据集,通过迁移学习优化ResNet、VGGNet和DenseNet等深度学习模型,并与SVM和CNN基线比较,DenseNet达到97.74%准确率,显著优于传统方法,为数字媒体完整性提供有力保障。
2024-05-23 cs.CV
LOKI: A Comprehensive Synthetic Data Detection Benchmark using Large Multimodal Models
Sun Yat-sen University(中山大学);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
LOKI是一个综合基准,用于评估大型多模态模型在视频、图像、3D、文本和音频模态下检测合成数据的能力,包含18K个问题,并评估了28个模型,揭示了它们的潜力和局限性。
2025-04-21 cs.CV
Forensic Analysis of Synthetically Generated Western Blot Images
Politecnico di Milano(米兰理工大学);University Federico II of Naples(那不勒斯费德里科二世大学);University of Notre Dame(圣母大学);University of Campinas(坎皮纳斯大学);Purdue University(普渡大学)
合成内容的广泛传播是一个严重的威胁,需要采取紧急对策。事实上,合成内容的生成并不局限于视频、照片或音频序列等多媒体数据,而是涵盖了一个非常广阔的领域,其中也可以包括生物图像,例如蛋白质印迹和显微图像。在本文中,我们专注于检测合成生成的蛋白质印迹图像。这些图像在生物医学文献中得到了很大程度的研究,并且已经表明它们可以很容易地被伪造,很少有希望通过目视检查或使用标准的法医检测器来发现操纵。为了克服这项任务缺乏公开数据的问题,我们创建了一个新的数据集,包括超过14K的原始蛋白质印迹图像和24K的合成蛋白质印迹图像,这些图像是使用四种不同的最先进的生成方法生成的。我们研究了不同的策略来检测合成蛋白质印迹,探索二元分类方法以及一类检测器。在这两种情况下,我们从未在训练阶段利用合成的蛋白质印迹图像。所获得的结果表明,合成生成的蛋白质印迹图像可以以良好的准确性被发现,即使所利用的检测器没有在这些科学图像的合成版本上进行优化。我们还测试了所开发的检测器对通常在科学图像上进行的后处理操作的鲁棒性,表明我们可以对JPEG压缩具有鲁棒性,并且一些生成模型很容易识别,尽管编辑的应用可能会改变它们留下的伪影。
2022-06-01 cs.AI cs.CV
SocialDF: Benchmark Dataset and Detection Model for Mitigating Harmful Deepfake Content on Social Media Platforms
Indraprastha Institute of Information Technology(印度普拉斯塔信息技术学院)
本文提出SocialDF数据集和基于LLM的多因素检测方法,通过融合人脸识别、语音转录和多智能体交叉验证来识别社交媒体上的有害深度伪造内容。
2025-06-05 cs.LG cs.MM
Negative Entity Suppression for Zero-Shot Captioning with Synthetic Images
针对零样本图像描述(ZIC)跨域泛化差、易产生幻觉的问题,提出负实体抑制(NES)方法,通过合成图像检索一致性、负实体过滤及注意力抑制,提升跨域性能并降低幻觉率,取得ZIC新SOTA。
2025-11-12 cs.CV
A Survey on Detection of LLMs-Generated Content
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);NEC Laboratories America, Princeton(NEC美国实验室(普林斯顿))
本文是首篇关于LLMs生成内容检测的全面综述,详细梳理了现有检测策略与基准,分析了关键挑战与前景,并呼吁开发更具适应性和鲁棒性的模型及多方位防御方法以应对合成内容带来的威胁。
2023-10-24 cs.AI cs.CL cs.CY
GTA-HDR: A Large-Scale Synthetic Dataset for HDR Image Reconstruction
Monash University(莫纳什大学);TCS Research(塔塔咨询服务研究中心);Flinders University(弗林德斯大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文提出GTA-HDR,一个从GTA-V游戏采样的大规模照片级真实感HDR图像合成数据集,以解决HDR图像重建中数据集缺乏多样场景与图像特征的问题,显著提升了现有重建方法性能并助力多种视觉任务。
2024-03-26 cs.CV cs.GR cs.LG
Comprehensive Dataset of Synthetic and Manipulated Overhead Imagery for Development and Evaluation of Forensic Tools
Drexel University(德雷塞尔大学)
本文提出了一种综合性合成与 manipulated 天顶影像数据集,用于开发和评估取证工具,支持可控生成多种操纵类别及任务基准性能。
2023-05-09 cs.CR cs.CV
REALIS: A Curated Dataset for Studying the Challenges of AI Image Detection
REALIS是一个包含143万张图像、由42个生成器创建的数据集,用于评估AI图像检测器在内容多样性和后处理下的鲁棒性,并引入专家子集和变换协议,最佳检测器ROC-AUC从0.550提升至0.752。
2026-09-29 cs.AI cs.CV
Course-Correction: Safety Alignment Using Synthetic Preferences
Alibaba Group(阿里巴巴集团);Central South University(中南大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
本文提出 C²-Eval 基准评估 LLM 自主航向修正能力,并利用包含 75 万对偏好的合成数据集 C²-Syn 进行偏好学习微调,在不损害通用性能的同时提升安全性与抗越狱能力。
2024-10-26 cs.AI cs.CL cs.LG
MimicLM: Zero-Shot Voice Imitation through Autoregressive Modeling of Pseudo-Parallel Speech Corpora
Tsinghua University(清华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
MimicLM通过自回归建模伪并行语音语料,利用合成语音作为训练源,保留真实录音作为目标,提升语音模仿的自然度和准确性。
2026-04-19 cs.CL cs.SD
Generating Synthetic Invoices via Layout-Preserving Content Replacement
BEO AI Address(BEO AI)
针对发票处理模型训练数据获取难的问题,提出一种利用OCR提取布局、LLM生成内容并修复替换的合成发票生成流水线,可自动扩充数据集,提升模型鲁棒性。
2025-08-04 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University(延世大学)
在本文中,我们解决了语义分割的无监督领域自适应(UDA),其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题,我们专注于将图像中的信息分为内容和风格。在这里,只有内容具有语义分割的线索,而风格则构成了域间隙。因此,即使在利用合成数据进行学习时,图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果,我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割,另一个主要挑战,类不平衡问题,仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明,该方法在两种主要的UDA设置下,均达到了最佳的语义分割性能。
2020-12-23 cs.CV
Attribute Descent: Simulating Object-Centric Datasets on the Content Level and Beyond
Australian National University(澳大利亚国立大学);QCraft;Capital One(第一资本);Curtin University(科廷大学);Óbuda University(欧布达大学)
本文提出属性下降方法,通过自动优化图形引擎属性缩小合成数据与真实数据在内容层面的域差距,并在以对象为中心的分类与重识别任务中验证了其有效性。
2023-11-29 cs.CV
When Synthetic Traces Hide Real Content: Analysis of Stable Diffusion Image Laundering
Politecnico di Milano(米兰理工大学)
针对Stable Diffusion图像洗白会掩盖真实内容痕迹、干扰内容真实性取证及相机模型识别的问题,提出两阶段检测流水线,可有效区分原始、洗白与全合成图像,且鲁棒性良好。
2024-07-15 cs.AI cs.CV cs.MM
AIGCs Confuse AI Too: Investigating and Explaining Synthetic Image-induced Hallucinations in Large Vision-Language Models
Beijing Jiaotong University(北京交通大学);Pengcheng Laboratory(鹏城实验室)
本文研究AI合成图像在大型视觉语言模型中引发的幻觉现象,发现合成图像会导致对象幻觉数量更多且位置分布更均匀,并揭示其源于视觉投影后的token偏差。
2024-09-03 cs.CV
Towards a Universal Synthetic Video Detector: From Face or Background Manipulations to Fully AI-Generated Content
Google, Mountain View, USA(谷歌(Mountain View, USA));University of California, Riverside(加州大学河滨分校)
针对现有DeepFake检测仅聚焦人脸、难以应对全AI生成视频与背景篡改的问题,提出基于Transformer的UNITE模型,结合SigLIP-So400M特征、多数据训练与注意力多样性损失,实现跨场景通用合成视频检测,性能优于现有最优方法。
2025-09-03 cs.CV
DISC-GAN: Disentangling Style and Content for Cluster-Specific Synthetic Underwater Image Generation
KLE Technological University(KLE技术大学)
提出 DISC-GAN 框架,通过 K-means 聚类划分风格域,利用独立编码器与 AdaIN 解耦并融合风格与内容,针对各簇独立训练以生成逼真水下图像,在 SSIM、PSNR 和 FID 指标上达到 SOTA。
2025-10-12 cs.AI cs.CV
DeepFakes: Detecting Forged and Synthetic Media Content Using Machine Learning
University of Louisiana(路易斯安那大学);Southern Utah University(南犹他大学);Dixie State University(迪克西州立大学);Charles Darwin University(查尔斯达尔文大学);Ahsanullah University of Science & Technology(阿赫萨努拉科技大学)
深度学习的快速发展使得区分真实和操纵的面部图像和视频片段变得前所未有的困难。通过深度生成方法操纵面部外观的底层技术,被称为DeepFake,最近通过推广大量恶意面部操纵应用程序而出现。因此,需要其他类型的技术来评估数字视觉内容的完整性,以减少DeepFake创作的影响。对DeepFake创建和检测进行的大量研究创造了一个相互推动的范围,超越了当前的状态。本研究通过回顾DeepFake领域的显着研究,提出了与DeepFake创建和检测技术相关的挑战,研究趋势和方向,以促进更强大的方法的开发,这些方法可以在未来处理更先进的DeepFake。
2021-09-07 cs.CV cs.IR
Advancing Reliable Synthetic Video Detection: Insights from the SAFE Challenge
STR;Drexel University(德鲁伊大学);Aptima, Inc.(Aptima公司);UL Research Institutes(UL研究机构)
本文介绍了SAFE挑战的设计、数据集构建及评估方法,揭示了当前合成视频检测方法在跨生成器泛化和抗后处理攻击方面的进展与不足。
2026-05-07 cs.CV
The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media
The Partnership on AI(人工智能合作组织);XPRIZE Foundation(XPRIZE基金会);Syntiant Corp(Syntiant公司);Thoughtful Technology Project(深思技术项目)
合成媒体检测技术将媒体标记为合成或非合成,并且越来越多地被记者、网络平台和公众用于识别错误信息和其他形式的有问题内容。随着资源丰富的组织和非技术性的公众产生更复杂的合成媒体,有问题内容的提供者适应的能力引发了\newterm{detection dilemma}:随着检测方法变得更容易获得,它们变得更容易规避。本文介绍了来自学术界、技术平台、媒体实体和民间社会组织的多利益相关者群体如何积极参与合成媒体检测及其社会技术影响,评估检测困境。具体而言,我们提供了对检测环境和对手能力的评估,这些能力来自更广泛的全球人工智能和媒体诚信社区,这些社区关注如何减轻有害合成媒体的传播。人物角色的集合说明了在他们的技术能力背景下,不成熟和资源丰富的错误信息赞助商之间的交集。这项工作的结论是,有没有“最好的”方法来导航检测器的困境,但从多利益相关者的输入,以更好地通知检测过程中的决策和政策,在实践中得出一组的影响。
2021-02-11 cs.CV cs.CY cs.LG
Generative AI for learning: Investigating the potential of synthetic learning videos
UCL Knowledge Lab(伦敦大学学院知识实验室);Metropolitan State University(都会州立大学);EIT InnoEnergy(欧洲创新能源研究所)
本研究针对AI合成教育视频现实教育价值研究不足的问题,通过混合方法对比实验发现,AI合成学习视频在学习效果与体验上与传统讲师视频相当,有望成为在线教育中传统视频的可行替代品,提升优质教育内容的可及性。
2023-05-03 cs.AI cs.CV cs.LG
Self-Attending Task Generative Adversarial Network for Realistic Satellite Image Creation
KBR(KBR公司);Air Force Research Laboratory(空军研究实验室)
我们介绍了一个自我参加的任务生成对抗网络(SATGAN),并将其应用于增强合成高对比度的居民空间物体的科学图像与现实的噪声模式和传感器的特点,从收集的数据。由于必须保留的数据中的语义内容的高度本地化性质,增强这些合成数据具有挑战性。真实收集的图像用于训练网络,给定类别的传感器图像应该是什么样子。然后,经过训练的网络充当无噪声上下文图像的过滤器,并输出语义内容未改变的逼真假图像。该架构受到条件GANs的启发,但经过修改,包括一个通过增强来保留语义信息的任务网络。此外,该架构示出,以减少幻觉对象或混淆的语义内容的上下文图像表示空间观察场景的实例。
2021-11-18 cs.CV cs.LG
Focus on Content not Noise: Improving Image Generation for Nuclei Segmentation by Suppressing Steganography in CycleGAN
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡FAU大学)
本文提出基于DCT的低通滤波方法去除CycleGAN生成图像中的隐写术(隐藏捷径信息),提高掩码与生成图像的连贯性,在下游细胞核分割任务中F1分数较普通CycleGAN提升5.4个百分点。
2023-08-03 cs.CV eess.IV
Style Transfer with Diffusion Models for Synthetic-to-Real Domain Adaptation
ISAE-Supaero, University of Toulouse, France(ISAE-苏帕埃罗大学、图卢兹大学、法国);Airbus, France(空客公司、法国)
本文提出基于扩散模型的类别感知风格迁移方法 CACTI 和 CACTIF,在保留语义边界的同时弥合合成到真实域差距,实验表明其能生成更高质量图像并提升分割模型性能。
2025-09-18 cs.CV cs.LG
VERITAS: Verification and Explanation of Realness in Images for Transparency in AI Systems
Indian Institute of Technology, Madras(印度理工学院马德拉斯学院)
本文提出VERITAS框架,针对小尺寸图像实现AI生成检测,并通过伪影定位与语义推理提供人类可读的解释,提升零样本合成图像检测的透明度。
2025-07-07 cs.CV cs.LG
DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data
MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Adobe Research(Adobe研究)
本文提出DreamSim指标,通过合成数据训练,在图像布局、对象姿态和语义内容等中高层面上对齐人类感知,并在检索和重建任务中优于现有指标。
2023-12-08 cs.CV cs.LG
Towards Syn-to-Real IQA: A Novel Perspective on Reshaping Synthetic Data Distributions
Xidian University(西安电子科技大学)
本文提出SynDR-IQA框架,通过重塑合成数据分布提升盲图像质量评估的泛化能力。
2026-01-01 cs.CV
RewriteNet: Reliable Scene Text Editing with Implicit Decomposition of Text Contents and Styles
Clova AI Research, NAVER Corp.(NAVER公司Clova AI研究院);Upstage AI Research, Upstage(Upstage公司Upstage AI研究院)
场景文本编辑(STE)将场景图像中的文本转换为所需的文本,同时保留原始样式,由于文本和样式之间的复杂干预,因此是一项具有挑战性的任务。在本文中,我们提出了一种新的STE模型,称为RewriteNet,它将文本图像分解为内容和风格特征,并在原始图像中重写文本。具体来说,RewriteNet通过引入场景文本识别来隐式地区分内容和风格。此外,独立于合成示例的精确监督,我们提出了一种用于未标记真实世界图像的自监督训练方案,该方案弥合了合成数据和真实数据之间的领域差距。我们的实验表明,RewriteNet实现更好的生成性能比其他比较。进一步的分析证明了RewriteNet的特征分解,并通过各种实验证明了其可靠性和鲁棒性。我们的实现可在\url{https://github.com/clovaai/rewritenet}上公开获取
2022-05-02 cs.CV
Explainable Artifacts for Synthetic Western Blot Source Attribution
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Loyola University Chicago(芝加哥洛约拉大学);Politecnico di Milano(米兰理工大学);Purdue University(普渡大学)
本文研究如何识别最先进生成模型在合成蛋白质印迹图像中留下的可解释伪影,并利用这些伪影实现开放集识别与模型来源归因,以应对论文工厂滥用生成技术传播虚假科学信息的问题。
2024-10-04 cs.CV
Knowing the Distance: Understanding the Gap Between Synthetic and Real Data For Face Parsing
Datagen(Datagen公司)
使用合成数据训练计算机视觉算法已变得越来越流行,因为它的成本效益,可扩展性和提供准确的多模态标签的能力。虽然最近的研究表明,当仅在合成数据上训练网络时,结果令人印象深刻,但合成数据和真实数据之间仍然存在性能差距,这通常归因于缺乏真实感。本研究的目的是调查的差距更详细的面孔解析任务。我们区分了三种类型的差距:分布差距,标签差距,和照相现实主义差距。研究结果表明,分配差距是造成绩效差距的最大因素,占绩效差距的50%以上。通过解决这一差距并考虑标签差距,我们证明了在合成数据上训练的模型与在类似数量的真实数据上训练的模型取得了相当的结果。这表明,合成数据是真实数据的一种可行的替代方法,特别是当真实数据有限或难以获得时。我们的研究强调了合成数据集中内容多样性的重要性,并挑战了以下观点:照片真实感差距是影响在合成数据上训练的计算机视觉模型性能的最关键因素。
2023-03-27 cs.CV cs.LG
GAN-based Content-Conditioned Generation of Handwritten Musical Symbols
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
针对OMR真实标注数据不足的问题,本文提出音乐符号级GAN并用Smashcima组装合成手写乐谱,实验表明生成符号具有高度真实感。
2025-10-16 cs.CV
DiffSign: AI-Assisted Generation of Customizable Sign Language Videos With Enhanced Realism
Amazon Prime Video(亚马逊Prime视频)
本文提出DiffSign框架,结合参数化三维头像与扩散生成模型,并通过视觉适配器实现外观可控的逼真手语视频生成,提升时间一致性并支持多样性定制与匿名化。
2024-12-05 cs.CV
Localization of Synthetic Manipulations in Western Blot Images
Politecnico di Milano(米兰理工大学);Loyola University Chicago(芝加哥洛约拉大学)
本文提出一种基于小块的合成检测器,通过聚合小块贡献生成篡改热图,实现Western Blot图像中合成篡改的定位,并在多个数据集上验证了其有效性和鲁棒性。
2024-08-25 cs.AI cs.CV cs.MM
Stroke-Based Scene Text Erasing Using Synthetic Data for Training
Tohoku University(东北大学)
场景文本擦除是将自然图像中的文本区域替换为合理的内容,近年来在计算机视觉界引起了极大的关注。在场景文本擦除中有两个潜在的子任务:文本检测和图像修补。这两个子任务都需要大量的数据来实现更好的性能;然而,缺乏大规模的真实世界场景文本删除数据集并不允许现有的方法实现其潜力。为了弥补成对真实世界数据的不足,我们在额外增强后大量使用了合成文本,随后仅在改进的合成文本引擎生成的数据集上训练我们的模型。我们提出的网络包含一个笔划掩码预测模块和背景修复模块,可以从裁剪的文本图像中提取文本笔划作为一个相对较小的洞,以保持更多的背景内容,以获得更好的修复效果。该模型可以部分地擦除场景图像中的文本实例与限界框或与现有的场景文本检测器自动场景文本擦除。对SCUT-Syn、ICDAR 2013和SCUT-EnsText数据集进行定性和定量评估的实验结果表明,即使在真实数据上进行训练,我们的方法也明显优于现有的最先进方法。
2021-12-03 cs.CV
Content and Style Aware Generation of Text-line Images for Handwriting Recognition
Shantou University(汕头大学);Helsing AI(赫尔辛AI);AllRead MLT(AllRead机器学习技术公司);Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学);omni:us(omni:us公司)
手写文本识别在公共基准测试中取得了令人印象深刻的表现。然而,由于手写风格之间的高类间和类内可变性,需要使用大量的手动标记的训练数据来训练这样的识别器。为了缓解这个耗费人力的问题,在训练循环中经常使用用TrueType字体生成的合成数据来增加容量并增强手写风格的可变性。然而,有一个显着的风格偏差之间的合成和真实的数据,这阻碍了识别性能的提高。为了解决这些问题,我们提出了一种手写文本行图像的生成方法,该方法以视觉外观和文本内容为条件。我们的方法是能够产生不同的手写风格的长文本行样本。一旦经过适当的训练,我们的方法也可以通过仅访问未标记的文本行图像来模仿手写样式并生成具有任何文本内容的图像来适应新的目标数据。大量的实验已经做了利用生成的样本,以提高手写体文本识别性能。定性和定量的结果表明,所提出的方法优于目前的最先进的。
2022-04-12 cs.CV
TextureCrop: Enhancing Synthetic Image Detection through Texture-based Cropping
CERTH - ITI
针对现有合成图像检测方法因图像预处理方式限制高分辨率伪影检测效果的问题,提出可即插即用的TextureCrop纹理裁剪预处理组件,聚焦高频伪影区域,在多个数据集上显著提升各类检测器的AUC表现。
2025-01-16 cs.CV
Synthetic Image Generation in Cyber Influence Operations: An Emergent Threat?
Institute for Data Science I4DS(数据科学研究所I4DS);University of Applied Sciences FHNW(FHNW应用科学大学);Cyber-Defence Campus(网络防御园区);armasuisse S+T(瑞士Armasuisse科技公司)
该报告评估生成式深度学习模型在制造合成图像用于网络影响力行动中的潜力与局限,指出照片级写实仍受计算资源和人工优化制约,并提出防御与政策建议。
2024-03-18 cs.AI cs.CV cs.CY
En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data
Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
提出En3D零样本3D生成方案,通过物理建模从合成2D数据学习,结合3D生成、几何雕刻和纹理模块,生成高质量、逼真且多样的3D人体,支持动画编辑与风格适配。
2024-01-02 cs.CV
Generating Seamless Virtual Immunohistochemical Whole Slide Images with Content and Color Consistency
University of Washington(华盛顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
针对分块虚拟染色WSI边界存在内容、纹理和颜色不一致的问题,本文提出CC-WSI-Net,通过内容与颜色一致性监督生成无缝IHC全切片图像,并经质量、检测及病理学家评估验证。
2024-10-01 cs.CV eess.IV q-bio.QM
Toward Generalized Detection of Synthetic Media: Limitations, Challenges, and the Path to Multimodal Solutions
Leading University(领先大学)
本研究综述24项AI生成媒体检测工作,梳理现有方法的局限与挑战,提出以多模态深度学习模型为核心的研究方向,助力构建更鲁棒通用的合成媒体检测防御体系。
2025-11-14 cs.CV cs.NE
Can We Challenge Open-Vocabulary Object Detectors with Generated Content in Street Scenes?
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services 德国分公司)
本研究提出利用stable diffusion生成合成数据并设计自动化流水线,系统评估并揭示了开放词汇目标检测器在忽略物体及过度依赖物体位置上的系统性失败模式。
2025-06-30 cs.CV
"Humor, Art, or Misinformation?": A Multimodal Dataset for Intent-Aware Synthetic Image Detection
Department of Electrical & Computer Engineering, Aristotle University of Thessaloniki(电气与计算机工程系,阿基米德大学塞萨洛尼基分校);Information Technology Institute, Centre for Research & Technology Hellas(信息科技研究所,希腊研究中心)
针对AI生成图像意图被忽视的问题,提出S-HArM多模态数据集及三种提示策略,比较多种模型,发现图像和多模态引导数据泛化更好,但整体性能有限。
2025-09-09 cs.CV cs.MM
Deepfake Style Transfer Mixture: a First Forensic Ballistics Study on Synthetic Images
University of Catania(卡塔尼亚大学);iCTLab Spinoff of University of Catania(卡塔尼亚大学iCTLab衍生公司);Banca d’Italia(意大利银行)
最近基于生成架构的风格转移技术能够获得合成多媒体内容,或通常称为deepfakes,几乎没有伪影。研究人员已经证明,合成图像包含的模式不仅可以确定它是否是deepfake,还可以确定用于创建图像数据本身的生成架构。这些痕迹可以用来研究在deepfakes背景下从未解决过的问题。为此,本文提出了第一种方法来研究受风格转移操作影响的深度伪造图像的图像弹道学。具体来说,本文描述了一种研究,检测多少次的数字图像已处理的生成架构的风格转移。此外,为了准确地解决和研究deepfake图像上的法医弹道学,研究了样式转移操作的一些数学性质。
2022-03-18 cs.CV cs.LG eess.IV
Self-Supervised Real-to-Sim Scene Generation
NVIDIA(英伟达)
合成数据正在成为有监督深度学习可扩展性问题的一个有前途的解决方案,特别是当真实数据难以获取或难以注释时。然而,当领域专家不得不手动地、煞费苦心地监督该过程时,合成数据生成本身可能是极其昂贵的。此外,由于域间隙,在合成数据上训练的神经网络通常在真实数据上表现不佳。为了解决这些挑战,我们提出了Sim 2SG,一种自监督自动场景生成技术,用于匹配真实数据的分布。重要的是,Sim 2SG不需要来自真实世界数据集的监督,从而使其适用于难以获得此类注释的情况。Sim 2SG旨在通过匹配真实数据的内容以及匹配源域和目标域中的特征来弥合内容和外观之间的差距。我们选择场景图(SG)生成作为下游任务,由于有限的可用性标记的数据集。实验表明,在几个合成数据集以及真实世界的KITTI数据集上,在定性和定量减少域差距方面,领先的基线有了显着的改进。
2021-08-18 cs.CV
Content-Consistent Generation of Realistic Eyes with Style
ETH Zürich(苏黎世联邦理工学院);NVIDIA(英伟达)
准确标记的真实世界训练数据可能是稀缺的,因此最近的工作适应,修改或生成图像,以提高目标数据集。然而,在生成的图像中保留来自输入数据的相关细节是具有挑战性的,并且失败可能对最终任务的性能至关重要。在这项工作中,我们合成的人特定的眼睛图像,满足给定的语义分割掩模(内容),而下面的一个指定的人的风格,从只有几个参考图像。我们介绍了两种方法,(a)一种用于在ICCV 2019上赢得OpenEDS合成眼生成挑战赛,(b)一种原则性的方法来解决涉及在多个尺度上同时注入样式和内容信息的问题。我们的实现可以在https://github.com/mcbuehler/Seg2Eye上获得。
2019-11-08 cs.CV
HydraPrompt: An Adaptive and Asymmetric Framework of Vision-Language Models for Synthetic Image Detection
Beijing University of Posts and Telecommunications(北京邮电大学);School of Advanced Interdisciplinary Sciences (SAIS), University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences(中国科学院深圳先进技术研究所);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS);University of Barcelona(巴塞罗那大学)
提出一种非对称提示框架HydraPrompt,通过动态调整类别中心对齐细粒度图像线索,结合条件监督对比学习,实现合成图像检测的SOTA性能。
2026-05-26 cs.CV
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
Imperial College London(帝国理工学院)
本研究提出ViTAMINS方法,将合成难负样本用于视觉Transformer预训练,经多任务基准测试,该方法性能优于竞争模型且资源效率更高,推动对比学习成为主流生成式与自蒸馏方法的替代方案。
2026-09-02 cs.AI cs.CV cs.LG
Mask-guided Style Transfer Network for Purifying Real Images
Dalian Maritime University(大连海事大学)
近年来,合成学习的进展提出了一种合成图像的训练模型,可以有效地降低人力和物力的成本。然而,由于合成图像与真实图像相比的不同分布,无法实现期望的性能。为了解决这个问题,以前的方法学习了一个模型来提高合成图像的真实感。与以往的方法不同,本文试图通过提取具有鉴别力和鲁棒性的特征来净化真实图像,将室外真实图像转换为室内合成图像。在本文中,我们首先引入分割掩码来构造RGB掩码对作为输入,然后我们设计了一个掩码引导的风格转移网络,分别从关注和bkgd(背景)区域学习风格特征,并从完整和关注区域学习内容特征。此外,我们提出了一种新的区域级任务引导的损失,以抑制从风格和内容学习的功能。使用混合研究(定性和定量)的方法进行实验,以证明在复杂的方向净化真实图像的可能性。我们在各种公共数据集上评估了所提出的方法,包括LPW,COCO和MPIIGaze。实验结果表明,该方法是有效的,达到了最先进的结果。
2019-03-19 cs.CV
Ensembles of GANs for synthetic training data generation
Linköping University(林雪平大学);Center for Medical Image Science and Visualization, Linköping University(林雪平大学医学影像科学与可视化中心);Sectra AB(Sectra公司)
训练数据不足是大多数深度学习实践的主要瓶颈,尤其是在医学成像领域,由于伦理和隐私问题,数据难以收集,公共数据集稀缺。这项工作研究了使用生成对抗网络(GANs)创建的合成图像作为训练数据的唯一来源。我们证明,对于这个应用程序,利用多个GANs来提高生成数据的多样性,即充分覆盖数据分布是非常重要的。虽然单个GAN可以生成看似多样化的图像内容,但在大多数情况下,对这些数据进行训练会导致严重的过度拟合。我们测试了集成GANs对合成2D数据以及常见图像数据集(SVHN和CIFAR-10)的影响,并使用DCGAN和渐进增长的GANs。作为一个特定的用例,我们专注于合成数字病理学补丁,以提供匿名的训练数据。
2021-04-23 cs.CV cs.LG eess.IV
AvatarShield: Visual Reinforcement Learning for Human-Centric Synthetic Video Detection
Peking University(北京大学);South China University of Technology(华南理工大学);RabbitPre AI
针对以人为中心的全身合成视频检测的研究空白,提出AvatarShield多模态检测框架,结合离散视觉塔与残差提取器,引入FakeHumanVid基准数据集,在域内和跨域检测中均优于现有方法。
2025-09-23 cs.AI cs.CV
Learning to simulate complex scenes
Zhejiang University(浙江大学);Australian National University(澳大利亚国立大学)
像Unity这样的数据模拟引擎正在成为一个越来越重要的数据源,使我们能够方便地获取地面真实标签。此外,我们可以灵活地编辑引擎中图像的内容,例如对象(位置,方向)和环境(照明,遮挡)。当使用模拟数据作为训练集时,可以利用其可编辑内容来模拟真实世界数据的分布,从而减少合成域和真实域之间的内容差异。本文探讨了内容自适应的背景下,语义分割,其中复杂的街道场景是完全合成使用19类虚拟对象从第一人称驾驶员的角度和控制的23个属性。为了优化属性值并获得与真实世界数据相似的训练集,我们提出了一种可扩展的离散化和松弛(SDR)方法。在强化学习框架下,我们使用神经网络将属性优化表示为随机到优化的映射问题。我们的方法有三个特点。1)而不是编辑单个对象的属性,我们专注于全局属性,有很大的影响场景结构,如对象密度和照明。2)将属性量化为离散值,以减少搜索空间和训练复杂度。3)相关属性在一个组中联合优化,以避免无意义的场景结构,并找到更好的收敛点。实验表明,我们的系统可以产生合理的和有用的场景,从我们获得了良好的现实世界的分割精度相比,现有的合成训练集。
2020-06-25 cs.CV
Meta-simulation for the Automated Design of Synthetic Overhead Imagery
Duke University(杜克大学);University of Montana(蒙大拿大学)
近年来,使用合成(或模拟)数据来训练机器学习模型的增长迅速。合成数据的生成速度通常比真实世界的数据快得多,成本也更低。然而,使用合成图像的一个挑战是场景设计:例如,内容的选择、特点和空间布局。为了有效,这种设计不仅必须是现实的,而且必须适合于目标域,而目标域(根据假设)是未标记的。在这项工作中,我们提出了一种方法来自动选择基于未标记的真实世界的图像的合成图像的设计。我们的方法,称为神经元伴随元模拟(NAMS),建立在开创性的最近的元模拟方法。与目前最先进的方法相比,我们的方法可以离线预先训练,然后为新的目标图像提供快速的设计推理。使用合成和现实世界的问题,我们表明,NAMS推断合成设计,匹配域内和域外的目标图像,并与NAMS设计的图像训练分割模型产生更好的结果相比,天真的随机设计和国家的最先进的元模拟方法。
2022-10-26 cs.CV