FPGAN-Control: A Controllable Fingerprint Generator for Training with Synthetic Data
Amazon(亚马逊);Technion - Israel Institute of Technology(以色列理工学院)
本文提出FPGAN-Control可控指纹生成框架,通过外观损失实现身份与外观解耦,生成的合成数据训练识别模型可达到或超越真实数据训练的准确率。
2023-10-29 cs.CV
Motion-Based Generator Model: Unsupervised Disentanglement of Appearance, Trackable and Intrackable Motions in Dynamic Patterns
University of California, Los Angeles(加州大学洛杉矶分校);Hikvision Research Institute(海康威视研究院)
动态模式的特点是复杂的空间和运动模式。理解动态模式需要一个分离阶乘成分的分解表示模型。动态模式的常用模型是状态空间模型,其中状态根据转换模型随时间演变,并且状态根据发射模型生成观察到的图像帧。为了明确地对运动进行建模,模型自然基于像素的运动或位移场。因此,在发射模型中,我们让隐藏状态生成位移场,该位移场扭曲前一图像帧中的可跟踪分量以生成下一帧,同时添加同时发射的残差图像以解释变形无法解释的变化。前一幅图像的变形是关于图像帧变化的可跟踪部分,而残差图像是关于图像的可跟踪部分。我们使用最大似然算法来学习模型,该模型在推断驱动过渡模型的潜在噪声向量和更新给定推断的潜在向量的参数之间迭代。同时,我们采用一个正则化项来惩罚残差图像的范数,以鼓励模型通过可跟踪运动来解释图像帧的变化。与现有的动态模式方法不同,我们在没有地面真实位移场的无监督环境中学习我们的模型。此外,我们的模型定义了一个概念的intrackability在每帧图像中的翘曲分量和残留分量的分离。实验结果表明,该方法可以合成真实的动态图案,并能将外观、可跟踪和可插入的运动分离出来。学习的模型对于运动转移是有用的,并且很自然地采用它来定义和测量动态模式的可插入性。
2019-11-26 cs.CV
Generating Furry Cars: Disentangling Object Shape & Appearance across Multiple Domains
University of California, Davis(加州大学戴维斯分校)
我们考虑了跨多个域学习对象形状和外观的解纠缠表示的新任务(例如,狗和汽车)。我们的目标是学习一个生成模型,该模型学习一个中间分布,该中间分布从每个域借用一个属性子集,从而能够生成不专门存在于任何域中的图像。这个具有挑战性的问题需要从每个域中准确地解开对象形状、外观和背景,以便可以互换来自两个域的外观和形状因子。我们增强了现有的方法,可以在一个单一的领域内解开因素,但努力做到跨域。我们的关键技术贡献是用视觉特征的可区分直方图来表示对象外观,并优化生成器,使得具有相同潜在外观因子但不同潜在形状因子的两个图像产生相似的直方图。在多个多域数据集上,我们证明了我们的方法可以实现跨域的准确和一致的外观和形状转移。
2021-04-05 cs.CV cs.GR cs.LG
Context-Aware Layout to Image Generation with Enhanced Object Appearance
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学);University of Twente(特温特大学)
布局到图像(L2 I)生成模型的目的是生成一个复杂的图像包含多个对象(事物)对自然背景(东西),条件下,给定的布局。基于生成对抗网络(GANs)的最新进展,现有的L2 I模型已经取得了很大的进展。然而,仔细检查他们生成的图像揭示了两个主要的局限性:(1)对象到对象以及对象到填充物的关系经常被打破,(2)每个对象的外观通常是扭曲的,缺乏与对象类相关的关键定义特征。我们认为,这是由于缺乏上下文感知的对象和东西的特征编码在其生成器,和位置敏感的外观表示在其鉴别。为了解决这些限制,在这项工作中提出了两个新的模块。首先,在生成器中引入上下文感知特征变换模块,以确保生成的对象或填充物的特征编码知道场景中共存的其他对象/填充物。第二,而不是馈送位置不敏感的图像特征的图像处理器,我们使用的Gram矩阵计算从生成的对象图像的特征图,以保持位置敏感的信息敏感信息,从而大大增强对象的外观。大量的实验表明,该方法实现了最先进的性能COCO-Thing-Stuff和Visual Genome基准。
2021-03-22 cs.CV
Unconstrained Facial Expression Transfer using Style-based Generator
Facebook AI(脸书人工智能研究院)
人脸表情转移与再现在人脸编辑、图像处理、合成视频等领域有着广泛的应用,是一个重要的研究课题。我们提出了一种新的方法,基于图像的面部表情转移,利用最近的风格为基础的GAN是非常有效的创建逼真的图像。给定两张人脸图像,我们的方法可以创建合理的结果,将一张图像的外观和另一张图像的表情结合起来。为了实现这一点,我们首先提出了一个基于StyleGAN的优化过程,从图像中推断出分层的风格向量,从而解开面部的不同属性。我们进一步引入了一个线性组合方案,融合了两个给定图像的风格向量,并生成一个新的面孔,结合了表情和外观的输入。我们的方法可以创建高质量的合成与准确的面部重现。与许多现有的方法不同,我们不依赖于几何注释,并且可以应用于任何身份的无约束面部图像,而无需重新训练,从而可以生成大规模的表情转移结果。
2019-12-12 cs.CV
StructureFlow: Image Inpainting via Structure-aware Appearance Flow
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent America(腾讯美国)
最近,通过使用深度神经网络,图像修补技术已经显示出显著的改进。然而,他们中的大多数可能无法重建合理的结构或恢复细粒度的纹理。为了解决这个问题,本文提出了一个两阶段模型,将修复任务分为两个部分:结构重建和纹理生成。在第一阶段中,边缘保持的平滑图像被用来训练结构重建器,该结构重建器完成输入的缺失结构。在第二阶段,基于重建的结构,使用外观流的纹理生成器的设计,以产生图像的细节。在多个公开数据集上的实验表明了该网络的优越性能。
2019-08-11 cs.CV
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University(安徽大学)
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络(MsCGAN),旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像,其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络,由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像,另一个是通过局部增强网络来增强合成人物图像的细节质量。然后,两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面,合成图像被下采样到多个分辨率,作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征,可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验,定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
Pivotal Tuning for Latent-based Editing of Real Images
Tel Aviv University(特拉维夫大学)
最近,已经提出了一系列先进的面部编辑技术,这些技术利用了预先训练的StyleGAN的生成能力。要成功地以这种方式编辑图像,必须首先将图像投影(或反转)到预训练的生成器的域中。然而,事实证明,StyleGAN的潜在空间在失真和可编辑性之间产生了固有的权衡,即在保持原始外观和令人信服地改变其某些属性之间。实际上,这意味着它仍然是具有挑战性的应用ID保持面部潜在空间编辑的脸是在生成器的域。在本文中,我们提出了一种方法来弥合这一差距。我们的技术稍微改变了生成器,使域外图像忠实地映射到域内的潜在代码。关键的想法是关键的调整-一个简短的训练过程,保留域内潜在区域的编辑质量,同时改变其描绘的身份和外观。在预调反转(PTI)中,初始反转的潜在代码充当枢轴,生成器围绕该枢轴进行微调。同时,正则化项保持附近恒等式不变,以局部包含效果。这种外科手术式的训练过程最终会改变主要代表身份的外观特征,而不会影响编辑功能。我们通过反演和编辑度量来验证我们的技术,并显示出比最先进的方法更好的分数。我们进一步定性地展示了我们的技术,通过应用先进的编辑(如姿势,年龄或表情),以众多的知名和可识别的身份的图像。最后,我们展示了对更困难的情况的适应能力,包括浓妆,精心制作的发型和/或头饰,否则无法通过最先进的方法成功地反转和编辑。
2021-06-10 cs.CV
Leveraging GANs For Active Appearance Models Optimized Model Fitting
本文提出用U-Net生成器和PatchGAN判别器构建GAN增强的主动外观模型拟合框架,以应对非线性外观变化和遮挡问题,实验表明其比经典AAM方法准确率更高、收敛更快。
2025-04-07 cs.AI cs.CV cs.LG
SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Darmstadt(达姆施塔特工业大学)
SCULPT提出一种无配对学习框架,结合3D扫描与2D图像,生成姿态相关、穿衣且有纹理的人体网格,并通过属性标签条件缓解姿态与服装的纠缠。
2024-05-06 cs.AI cs.CV cs.GR
SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator
ShanghaiTech University(上海科技大学);Shanghai Ninth People’s Hospital(上海第九人民医院);Deemos Technology Co., Ltd.(迪莫斯科技有限公司)
近年来,由于三维人脸建模在数字人、角色生成和动画制作等方面的广泛应用,人们对三维人脸建模的兴趣越来越大。现有的人脸建模方法主要侧重于人脸的外部形状、纹理和皮肤属性,而忽略了人脸内部骨骼结构与外观之间的内在联系。在本文中,我们提出了SCULPTOR,3D人脸创建与骨架一致性使用学习参数面部generaTOR,旨在通过混合参数-物理表示方便地创建解剖学上正确的和视觉上令人信服的人脸模型。SCULPTOR的核心是LUCY,这是与整形外科医生合作的第一个大规模形状骨骼人脸数据集。我们的LUCY数据集以已知最古老的人类祖先之一的化石命名,包含正颌手术前后完整人类头部的高质量计算机断层扫描(CT)扫描,对于评估手术结果至关重要。LUCY由72名受试者(31名男性和41名女性)的144次扫描组成,其中每名受试者在正颌手术前后进行两次CT扫描。基于我们的LUCY数据集,我们学习了一种新的骨架一致性参数面部生成器SCULPTOR,它可以创建独特而细致入微的面部特征,帮助定义角色,同时保持生理健全。我们的SCULPTOR在统一的数据驱动框架下联合建模头骨,面部几何和面部外观,通过将3D面部的描述分离为形状混合形状,姿势混合形状和面部表情混合形状。与现有方法相比,SCULPTOR在面部生成任务中保留了解剖正确性和视觉真实性。最后,我们展示了SCULPTOR在各种新奇应用中的鲁棒性和有效性。
2022-12-02 cs.CV
RA-Det: Towards Universal Detection of AI-Generated Images via Robustness Asymmetry
Jiangnan University(江南大学);Fudan University(复旦大学)
RA-Det通过鲁棒性不对称性检测AI生成图像,实现通用且高效的检测方法。
2026-07-30 cs.CV
Generative Adversarial Networks using Adaptive Convolution
University of Alberta(阿尔伯塔大学)
大多数现有的生成图像的GANs架构使用转置卷积或大小卷积作为其在生成器中从较低分辨率到较高分辨率特征图的上采样算法。我们认为,这种固定操作对于GANs对具有非常不同视觉外观的对象进行建模是有问题的。我们提出了一种新的自适应卷积方法,该方法基于每个位置的局部上下文来学习上采样算法,以解决这个问题。我们通过在生成器中用自适应卷积替换正常卷积来修改基线GANs架构。在CIFAR-10数据集上的实验表明,改进后的模型在很大程度上改善了基线模型。此外,我们的模型在无监督设置下在CIFAR-10和STL-10数据集上实现了最先进的性能。
2018-01-25 cs.CV stat.ML
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University(台湾大学)
对抗性样本是故意制作的数据,目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时,我们通常指的是基于扰动的方法,该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观,但DNN模型可能完全无法识别,这反过来又导致了完全误导的预测。然而,在本文中,我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架,从类条件生成对抗网络中生成原生对抗样本。因此,生成的数据不会与任何现有数据相似,从而扩大了样本的多样性,提高了对抗防御的难度。然后,我们将这个框架扩展到预训练的条件GANs,在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验,并取得了令人满意的结果,表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Generator Versus Segmentor: Pseudo-healthy Synthesis
Xiamen University(厦门大学);Deepwise Inc.(深睿公司)
本文研究了伪健康图像的合成问题,将其定义为从病理图像中合成特定对象的无病理图像。最近的方法基于生成对抗网络(GAN)已经开发了这个任务。然而,这些方法将不可避免地陷入保持对象特定的身份和生成健康的外观之间的权衡。为了克服这一挑战,我们提出了一种新的对抗性训练机制,Generator versus Segmentor(GVS),通过分治策略来减轻这种权衡。我们进一步考虑了在整个训练过程中分割器的泛化性能不断恶化,并通过对经过良好变换的像素进行静音来提高像素加权损失。此外,我们提出了一种新的度量标准来衡量合成图像的健康程度。在公共数据集BraTS上的定性和定量实验表明,该方法优于现有方法。此外,我们还证明了我们的方法在数据集LITS的有效性。我们的实施和预先训练的网络可在www.example.com上公开获取。
2021-07-15 cs.CV
Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion
ETH Zurich(苏黎世联邦理工学院);Google(谷歌);TU Munich(慕尼黑工业大学)
神经辐射场(NeRF)与GANs耦合代表了从单个视图进行3D重建领域的一个有前途的方向,因为它们能够有效地对任意拓扑结构进行建模。然而,该领域最近的工作主要集中在合成数据集上,其中精确的地面真实姿态是已知的,并且忽略了姿态估计,这对于某些下游应用(例如增强现实(AR)和机器人)是重要的。我们介绍了一个原则性的端到端的自然图像重建框架,准确的地面实况构成不可用。我们的方法从对象的单个图像中恢复SDF参数化的3D形状,姿势和外观,而无需在训练期间利用多个视图。更具体地说,我们利用了一个无条件的3D感知生成器,我们应用了一个混合反演方案,其中一个模型产生了解决方案的第一个猜测,然后通过优化进行了细化。我们的框架可以在短短10个步骤中对图像进行反渲染,使其能够在实际场景中使用。我们在各种真实和合成基准上展示了最先进的结果。
2023-03-20 cs.AI cs.CV cs.GR
Avatar Fingerprinting for Authorized Use of Synthetic Talking-Head Videos
NVIDIA(英伟达)
针对合成说话头像可能未经授权使用他人外貌的问题,本文提出 avatar fingerprinting,构建真实/合成视频通话数据集,并通过与外貌无关的运动特征识别表情驱动身份,实现 0.85 AUC 且可泛化到新生成器。
2024-08-05 cs.CV
XingGAN for Person Image Generation
University of Trento(特伦托大学);University of Oxford(牛津大学);Huawei Research Ireland(华为爱尔兰研究院)
我们提出了一种新型的生成对抗网络(XingGAN或CrossingGAN)用于人物图像生成任务,即,将给定的人的姿势转换为期望的姿势。建议兴发电机由两个生成分支,分别模拟人的外观和形状信息。此外,我们提出了两个新的块,以交叉的方式有效地传输和更新人的形状和外观嵌入,以相互改进,这是任何其他现有的基于GAN的图像生成工作都没有考虑过的。在两个具有挑战性的数据集上进行了广泛的实验,即,Market-1501和DeepFashion的实验结果表明,XingGAN在客观量化分数和主观视觉真实度方面都提高了最先进的性能。源代码和训练模型可在https://github.com/Ha0Tang/XingGAN上获得。
2020-07-17 cs.CV cs.LG eess.IV
Stochastic Conditional Generative Networks with Basis Decomposition
Duke University(杜克大学)
虽然生成对抗网络(GANs)已经彻底改变了机器学习,但仍有一些悬而未决的问题需要完全理解它们并利用它们的力量。这些问题之一是如何有效地实现多模式数据空间的适当多样性和采样。为了解决这个问题,我们引入了BasisGAN,一个随机条件多模式图像生成器。通过利用卷积滤波器可以很好地近似为一小组基本元素的线性组合的观察结果,我们学习了一个即插即用的基础生成器来随机生成基本元素,只需几百个参数,将随机性完全嵌入卷积滤波器。通过对基本元素而不是滤波器进行采样,我们大大降低了参数空间建模的成本,而不会牺牲图像的多样性或保真度。为了说明这种即插即用的框架,我们基于最先进的条件图像生成网络构建BasisGAN的变体,并通过简单地插入基础生成器来训练网络,而无需额外的辅助组件,超参数或训练目标。实验成功的补充与理论结果表明如何引入的扰动所提出的采样的基本元素可以传播到生成的图像的外观。
2020-02-24 cs.CV cs.LG eess.IV
Multimodal-driven Talking Face Generation via a Unified Diffusion-based Generator
Zhejiang University(浙江大学);Tencent(腾讯)
提出统一扩散生成器TGDM,利用文本情感控制与纹理几何感知去噪,实现多模态驱动的高保真说话人脸生成及人脸交换。
2023-05-09 cs.CV
3D-Aware Scene Manipulation via Inverse Graphics
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们的目标是获得一个可解释的,富有表现力的,并解开场景表示,包含全面的结构和纹理信息,为每个对象。以前由神经网络学习的场景表示通常是不可解释的,仅限于单个对象,或者缺乏3D知识。在这项工作中,我们提出了3D场景去渲染网络(3D-SDN),以解决上述问题,将语义,几何和外观的解纠缠表示集成到一个深生成模型。我们的场景编码器执行逆图形,将场景转换为结构化的对象表示。我们的解码器有两个组成部分:一个微分形状渲染器和神经纹理生成器。语义、几何和外观的解纠缠支持3D感知场景操纵,例如,自由旋转和移动对象,同时保持一致的形状和纹理,并在不影响其形状的情况下改变对象外观。实验表明,我们的编辑方案的基础上3D-SDN是优于其2D对应。
2018-12-18 cs.CV cs.GR eess.IV
AG3D: Learning to Generate 3D Avatars from 2D Image Collections
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);ETH Zürich(苏黎世联邦理工学院)
针对3D人体生成模型依赖稀缺昂贵3D训练数据的问题,提出AG3D对抗生成模型,从2D图像集合生成真实3D虚拟化身,通过整体3D生成器、关节运动模块及多判别器结合几何线索提升效果,性能优于现有方法。
2023-05-03 cs.CV
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors
Sun Yat-sen University(中山大学);Xidian University(西安电子科技大学);The University of Hong Kong(香港大学)
提出两阶段框架,用Transformer生成地标并利用外观先验渲染视频,实现逼真、唇同步且保持身份的说话人脸生成。
2023-05-15 cs.CV cs.MM
SynCity: Training-Free Generation of 3D Worlds
University of Oxford(牛津大学)
针对文本生成3D世界的难题,提出无需训练优化的SynCity方法,结合预训练3D生成模型的几何精度与2D生成器的艺术多样性,通过基于瓦片的上下文生成与融合,实现可扩展、细粒度控制的高质量3D世界生成。
2025-03-20 cs.CV
SynthDistill: Face Recognition with Knowledge Distillation from Synthetic Data
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université de Lausanne (UNIL)(洛桑大学)
针对轻量级人脸识别模型训练依赖大规模标注数据和性能差距问题,提出SynthDistill框架,利用合成数据蒸馏教师模型知识,采用动态采样策略,在LFW上达99.52%准确率,显著缩小真实与合成数据训练差距。
2023-08-28 cs.CV
TRACE: Trajectory Representation and Consistency Estimation for AI-Generated Video Detection
Zhejiang University(浙江大学);University of the Chinese Academy of Sciences(中国科学院大学);Nanjing University of Information Science and Technology(南京信息工程大学);Zhejiang Gongshang University(浙江工商大学)
针对AI生成视频检测泛化性差的问题,提出TRACE框架,利用预训练视频DiT的速度响应作为可迁移取证线索,结合跨帧一致性建模与真实中心轨迹优化,在AIGVDBench上显著超越现有方法。
2026-09-23 cs.CV
AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation
ByteDance(字节跳动);National Tsing Hua University(国立清华大学);Shenzhen University(深圳大学)
在本文中,我们提出了一个新的框架,将一个肖像照片脸到动画外观。我们的目标是合成动画的脸是风格一致的给定的参考动画脸。然而,与典型的翻译任务不同,这种动画面部翻译是具有挑战性的,因为动画面部之间的外观的复杂变化。现有的方法往往无法转移的风格的参考动画的脸,或引入显着的文物/扭曲的局部形状,其生成的脸。我们提出了AniGAN,一种新型的基于GAN的翻译器,可以合成高质量的动画面部。具体而言,提出了一种新的生成器架构,同时传输颜色/纹理风格和转换局部面部形状到动画类似的对应物的基础上的风格的参考动画脸,同时保持全局结构的源照片脸。我们提出了一个双分支学习的分布和域共享的分布,帮助生成视觉上令人愉快的动画脸,并有效地减轻文物。大量的实验selfie 2anime和一个新的face 2anime数据集定性和定量地证明了我们的方法比国家的最先进的方法的优越性。新的数据集可在https://github.com/bing-li-ai/AniGAN上获得。
2021-03-29 cs.AI cs.CV