EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields
Fudan University(复旦大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);University of Science and Technology of China(中国科学技术大学);DeepCybo(深瞳)
EA-WM通过结构化运动-视觉动作场闭环连接运动控制与视觉感知,提升机器人空间几何和细粒度交互动态的生成精度。
2026-09-24 cs.AI cs.CV cs.RO
Providing Actionable Feedback in Hiring Marketplaces using Generative Adversarial Networks
Hired, Inc.(Hired公司)
机器学习预测器越来越多地应用于生产环境中,包括世界上最大的招聘平台之一Hired,以提供更好的候选人和招聘人员体验。提供可操作反馈的能力对于候选人来说是可取的,以提高他们在市场上取得成功的机会。然而,直到最近,旨在提供可操作的反馈的方法在现实性和延迟方面受到限制。在这项工作中,我们展示了如何通过应用基于生成对抗网络(GANs)的新引入方法,我们能够克服这些限制,并在生产环境中实时为候选人提供可操作的反馈。我们的实验结果强调了在我们的数据集上使用基于GAN的方法相对于其他两种最先进的方法(包括超过1000倍的延迟增益)的显著优势。我们还详细说明了这种方法的潜在影响,两个真正的候选人配置文件的例子。
2020-10-06 cs.AI cs.LG
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University(首尔大学)
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络(GAN)成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型,它揭示了具有多个生成器的图像的复杂结构,其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如,它可以在人脸数据集上训练后,使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的,没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性,通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
提出循环生成重放(REGEN)框架,利用世界行动模型(WAM)生成伪重放轨迹,使机器人策略在不存储原始演示的情况下复习先前任务,在仿真和真实实验中减少50%灾难性遗忘,接近真实重放性能。
2026-06-26 cs.CV cs.RO
ArticFlow: Generative Simulation of Articulated Mechanisms
Creative Machines Lab, Columbia University(创意机器实验室,哥伦比亚大学)
ArticFlow通过两阶段流匹配框架实现关节机构的生成与模拟,以高精度运动学和形状质量生成多样化关节结构。
2025-11-22 cs.CV cs.RO
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
Generative Diffusion From An Action Principle
Kavli Institute for Cosmological Physics(卡夫利宇宙物理研究所);University of Chicago(芝加哥大学)
本文从作用量原理推导得分匹配,将逆向扩散视为最优控制问题,揭示不同扩散模型间的联系。
2023-10-06 cs.LG physics.class-ph
Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network
Saarland University(萨尔大学)
使用照片编辑工具更改图像的内容对于没有经验的用户来说是一项繁琐的任务。特别是,当修改图像中的特定对象的视觉属性而不影响其他成分,如背景等,以简化图像操作的过程,并提供更多的控制给用户,最好是利用一个更简单的接口,如自然语言。因此,在本文中,我们解决的挑战,操纵图像使用自然语言描述。我们提出了双边缘注意条件生成对抗网络(TEA-cGAN)来生成语义操纵的图像,同时保留其他内容,如背景完整。TEA-cGAN在基于生成对抗网络(GAN)的框架的生成器和搜索引擎中以不同的尺度使用细粒度注意力。实验结果表明,TEA-cGAN生成的128 x128和256 x256分辨率图像在CUB和Oxford-102数据集上的定量和定性性能均优于现有方法。
2019-12-16 cs.CL cs.CV cs.LG
Lung image segmentation by generative adversarial networks
School of Applied Mathematics, Xiamen University of Technology(厦门理工学院应用数学学院)
肺部图像分割在肺部疾病的计算机辅助诊断和治疗中起着重要的作用。提出了一种基于生成对抗网络的肺部图像分割方法。我们采用了各种生成对抗网络,并利用其图像翻译能力来执行图像分割。采用生成对抗网络将原始肺部图像转换为分割图像。基于生成对抗网络的分割方法在真实肺部图像数据集上进行了测试。实验结果表明,该方法是有效的,优于最先进的方法。
2019-07-30 cs.CV eess.IV
Generative Imaging and Image Processing via Generative Encoder
National University of Singapore(新加坡国立大学)
本文介绍了一种新的生成式编码器(GE)模型,用于生成式成像和图像处理,并将其应用于压缩感知和成像、图像压缩、去噪、修复、去模糊和超分辨率等领域。GE模型由预训练阶段和求解阶段组成。在预训练阶段,我们分别训练两个深度神经网络:生成对抗网络(GAN),其生成器$\G$捕获给定图像集的数据分布,以及自动编码器(AE)网络,其编码器$\EN$根据GAN的估计分布压缩图像。在求解阶段,给定噪声图像$x=\mathcal{P}(x^*)$,其中$x^*$是目标未知图像,$\mathcal{P}$是添加加性或乘性或卷积噪声的算子,或者等效地给定压缩域中的这种图像$x$,即,给定$m=\EN(x)$,我们通过$\hat{x}:=\G(z^*)\approx x^*$以生成方式解决优化问题\[ z^*=\underset{z}{\mathrm{argmin}} \|\EN(\G(z))-m\|_2^2+λ\|z\|_2^2 \]以恢复图像$x^*$,其中$λ>0$是超参数。GE模型将GANs的生成能力和AE的稳定性统一在上述优化框架中,而不是将GANs和AE堆叠到单个网络中或将它们的损失函数组合到一个网络中。数值实验表明,该模型的性能优于几个国家的最先进的算法。
2019-05-23 cs.CV cs.LG eess.IV
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.(Happy Finish有限公司)
自出现以来,生成对抗网络(GANs)在AI社区中引起了很大的兴趣。在图像生成方面,有几个项目展示了GANs如何能够生成逼真的图像,但到目前为止,结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络(DCGAN)的优化图像生成过程,以创建逼真的高分辨率图像(高达1024x1024像素)。此外,该系统提供了有限的图像数据集,不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
Pose-guided Generative Adversarial Net for Novel View Action Synthesis
CRCV, University of Central Florida(中佛罗里达大学计算机视觉研究中心);National University of Singapore(新加坡国立大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
我们关注的问题,新颖的观点人类的行动合成。给定一个动作视频,目标是从一个看不见的视点生成相同的动作。当然,新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间相干性的真实帧。此外,将不同的动作转换为新的目标视图需要同时意识到动作类别和视角变化。为了应对这些挑战,我们提出了一个新的框架,名为姿势引导的动作可分离生成对抗网络(PAS-GAN),它利用姿势来减轻这项任务的难度。首先,我们提出了一个经常性的姿势转换模块,从源视图到目标视图的动作转换,并在2D坐标空间中生成新的视图姿势序列。第二,一个良好的转换姿态序列使我们能够分离的目标视图中的动作和背景。我们采用了一种新的局部-全局空间变换模块,有效地生成序列的视频功能,在目标视图中使用这些动作和背景功能。最后,生成的视频特征被用来合成人体动作的帮助下的3D解码器。此外,针对视频中的动态动作,提出了一种新的多尺度动作可分离损失,进一步提高了视频质量。我们在两个大规模的多视角人体动作数据集NTU-RGBD和PKU-MMD上进行了大量的实验,证明了PAS-GAN的有效性,优于现有的方法。
2021-12-09 cs.CV
A Review on Generative AI For Text-To-Image and Image-To-Image Generation and Implications To Scientific Images
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文综述了生成式AI中文本到图像和图像到图像生成的最新进展,比较了VAE、GAN和扩散模型三种架构,并探讨了其在科学图像理解中的优势、局限及未来研究方向。
2025-03-10 cs.CV
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,深度学习技术,特别是生成对抗网络(GANs),显著改善了图像修复和图像到图像的翻译任务。据我们所知,将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中,我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估,以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
与CNN相比,生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具,而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法,并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络(GANs)的动机进行了基本介绍,并通过抽象基本任务和工作机制,以及推导早期实用方法的困难,追溯了它们的成功之路。将显示更稳定的训练方法,以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs,但对抗训练范式本身并不特定于图像,也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前,图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Generative Action Tell-Tales: Assessing Human Motion in Synthesized Videos
Boston University(波士顿大学);Belmont High School(贝利蒙高中);Canyon Crest Academy(坎波尔峡谷学院);Runway
研究视频生成模型中评估复杂人类动作指标难的问题,提出融合骨骼与外观特征的评估指标,经多方面基准验证,该指标相比现有方法有显著改进,与人类感知相关性强,揭示了当前模型局限性并建立新标准。
2026-07-10 cs.CV
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的翻译,而无需配对数据。尽管最近在图像翻译模型方面取得了进展,但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中,我们提出了一个新的框架,生成先验指导的无监督图像到图像翻译(GP-UNIT),以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验(例如,BigGAN)来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案:我们首先提取生成之前捕获一个强大的粗层次的内容表示,可以在抽象的语义层次上链接对象,在此基础上,细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大,高质量和多样化的翻译方面优于最先进的方法,即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
GameFactory: Creating New Games with Generative Interactive Videos
The University of Hong Kong(香港大学);Kuaishou Technology(快手科技)
该研究提出GameFactory框架,通过构建无偏差标注数据集、动作控制模块、自回归生成及解耦式多阶段训练,实现了场景泛化的开放域动作可控游戏视频生成,推动AI游戏生成发展。
2025-10-30 cs.CV
Early Action Prediction with Generative Adversarial Networks
Northwestern Polytechnical University(西北工业大学)
动作预测的目的是尽可能早地确定视频中正在发生的动作,这对于许多在线应用至关重要,例如在交通事故发生之前预测交通事故并检测监控系统中的恶意行为。在这项工作中,我们通过开发一种端到端的架构来解决这个问题,该架构通过将部分观察到的视频的特征同化为完整视频的特征来提高部分观察到的视频的特征的可辨别性。为此,引入生成对抗网络来解决动作预测问题,通过缩小部分观察视频与完整视频的特征差异,提高了部分观察视频的识别精度。具体地说,它的生成器包括两个网络:用于特征提取的CNN和用于估计部分观察视频和完整视频的特征之间的残差的LSTM,然后来自CNN的特征加上来自LSTM的残差,这被认为是欺骗竞争对手的增强特征。同时,生成器使用额外的感知目标进行训练,这迫使部分观察视频的增强特征对于动作预测具有足够的区分性。在UCF 101、BIT和UT-Interaction数据集上的大量实验结果表明,我们的方法优于最先进的方法,特别是对于观察到的帧的比例小于50%的视频。
2019-04-30 cs.CV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院);Univ. Lille(里尔大学);Inserm(法国国家健康与医学研究院);CHU Lille(里尔大学医院)
通过生成对抗网络(GANs)对三维(3D)医学图像进行图像合成具有巨大的潜力,可以扩展到许多医学应用,例如图像增强和疾病进展建模。然而,当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中,我们扩展了最先进的StyleGAN 2模型,该模型本身适用于二维图像,以实现3D图像合成。除了图像合成之外,我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性,这些风格向量非常适合医学应用:(i)潜在空间投影和重建看不见的真实图像,以及(ii)风格混合。我们使用~ 12,000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性,尽管它可以应用于任何3D体积图像。此外,我们探索了不同的超参数配置,以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得:https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Improving Deep Generative Models on Many-To-One Image-to-Image Translation
University of Maryland(马里兰大学)
本文针对图像到图像转换中常被忽视的多对一关系,提出彩色化 MNIST 数据集与 Color-Recall 评估指标,并设计非对称框架改进 StarGAN V2,在无监督和半监督设置下均提升多对一转换性能。
2024-02-22 cs.CV cs.LG
StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University(罗格斯大学);Lehigh University(理海大学);The Chinese University of Hong Kong(香港中文大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
虽然生成对抗网络(GANs)在各种任务中取得了显着的成功,但它们在生成高质量图像方面仍然面临挑战。在本文中,我们提出了堆叠生成对抗网络(StackGAN),旨在生成高分辨率的照片般逼真的图像。首先,我们提出了一个两阶段的生成对抗网络架构StackGAN-v1,用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色,产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入,并生成具有照片般逼真细节的高分辨率图像。其次,提出了一种先进的多阶段生成对抗网络架构StackGAN-v2,用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布,显示出比StackGAN-v1更稳定的训练行为。大量的实验表明,所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
Melon Fruit Detection and Quality Assessment Using Generative AI-Based Image Data Augmentation
Seoul National University(首尔大学);Korea University(高丽大学);Research Institute of Agriculture and Life Sciences, Seoul National University(首尔大学农业与生命科学研究院)
本研究利用MidJourney和Firefly生成甜瓜图像,通过PSNR/SSIM评估及YOLOv9检测,证明生成式AI可有效增强数据,用于果实检测与品质评估。
2024-07-15 cs.AI cs.CV
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University(卡尔顿大学)
我们提出了一种自动编码器生成对抗网络(GANs)的训练和评估方法,特别是边界平衡生成对抗网络(BEGAN),基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准,利用三个距离函数:一个$l_1$分数,梯度幅度相似性平均值(GMSM)分数,和色度分数。我们发现,每个不同的距离函数捕捉图像空间中的一组略有不同的属性,因此,需要自己的评估标准,以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
The Infinite Index: Information Retrieval on Generative Text-To-Image Models
Leipzig University(莱比锡大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
条件生成模型(如DALL-E和稳定扩散)基于用户定义的文本(提示)生成图像。寻找和提炼产生所需图像的提示已经成为提示工程的艺术。生成模型不为用户通过提示表达的信息需求提供内置的检索模型。在广泛的文献回顾的光,我们重新构建提示工程的生成模型作为交互式的基于文本的检索上的一种新的“无限索引”。我们首次将这些见解应用于与专家一起进行的游戏设计图像生成案例研究中。最后,我们设想如何主动学习可能有助于指导检索生成的图像。
2023-01-21 cs.CL cs.CV cs.IR
Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation
当前的方法在图像到图像的翻译任务上取得了很大的进展,这得益于图像合成方法的成功,特别是生成对抗网络(GANs)。然而,现有的方法仅限于处理两个物种之间的翻译任务,同时保持语义层面上的内容匹配。一个更具挑战性的任务是在两个以上物种之间进行翻译。为了探索这一新领域,我们提出了一种简单而有效的多分支结构,用于增强任意生成对抗架构(GAN),称为GAN-MBD。该算法利用Boosting策略将一个通用的神经网络分解为多个参数较少的小神经网络,有效地提高了GANs的生成和综合能力。综合实验表明,提出的多分支神经网络可以显着提高流行的GANs的跨物种图像到图像翻译任务的性能,同时减少了计算参数的数量。随函附上有关守则及部分数据,作为补充资料,以供参考。
2019-01-24 cs.CV cs.LG
Annotated Hands for Generative Models
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
针对生成式模型手部图像生成效果差的问题,提出新增三个手部标注通道的训练框架,在GAN与扩散模型、合成及真实手部数据集上验证,有效提升生成手部的质量。
2024-01-26 cs.AI cs.CV cs.GR
TGAN: Deep Tensor Generative Adversarial Nets for Large Image Generation
Imperial College London(帝国理工学院);Columbia University(哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学)
深度生成模型已成功应用于许多应用。然而,现有的作品在生成大图像时遇到限制(文献通常生成小图像,例如32 * 32或128 * 128)。在本文中,我们提出了一种新的方案,称为深度张量对抗生成网络(TGAN),通过探索张量结构来生成大型高质量图像。本质上,TGAN的对抗过程发生在张量空间中。首先,我们施加张量结构简洁的图像表示,这是优越的捕获像素的邻近信息和图像中的基本对象的空间模式,在现有的作品中的矢量化预处理。其次,我们提出了TGAN,它以级联方式集成了深度卷积生成对抗网络和张量超分辨率,以从随机分布中生成高质量的图像。更具体地说,我们设计了一个张量超分辨率过程,包括张量字典学习和张量系数学习。最后,在三个数据集上,与最先进的对抗性自动编码器相比,所提出的TGAN生成具有更真实纹理的图像。生成的图像的大小增加了8.5倍以上,在PASCAL 2中为374 * 374。
2019-03-04 cs.CV cs.LG
Adversarial Attack Against Images Classification based on Generative Adversarial Networks
George Washington University(乔治华盛顿大学)
针对图像分类系统的安全问题,本文受生成对抗网络启发,提出一种新颖的对抗攻击方法,通过对抗学习生成小扰动对抗样本,在经典数据集上成功欺骗多种先进分类器并保持样本自然性,有效揭示了系统弱点以提升抗攻击能力。
2024-12-24 cs.AI cs.CV
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London(帝国理工学院);Indian Institute of Technology(印度理工学院)
自动将图像从其原始形式转换为某种合成形式(样式,部分内容等)非常有用,同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题,并提出了一种基于深度卷积和条件生成对抗网络(GANs)的通用方法来实现它,自2014年以来,该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中,我们开发了一种两步(无监督)学习方法,通过使用未标记的图像在不同的域之间转换图像,而不指定它们之间的任何对应关系,从而避免了获取标记数据的成本。与以往的工作相比,我们证明了我们的模型的通用性,通过这种能力,翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Mechanisms of Generative Image-to-Image Translation Networks
本文提出架构更简单的生成式图像到图像翻译网络,研究GANs与自动编码器关系,解释仅用GAN组件的有效性,证明无额外复杂损失惩罚的对抗性训练结果可比现有方法,并阐明原理、验证发现。
2024-11-15 cs.AI cs.CV eess.IV
Generative Adversarial Networks Synthesize Realistic OCT Images of the Retina
RETINA-AI Health, Inc.(视网膜人工智能健康公司)
据我们所知,我们报告了生成对抗网络(GANs)的第一个端到端应用,用于合成视网膜的光学相干断层扫描(OCT)图像。生成模型最近受到关注,因为它们可以合成越来越逼真的图像,给定数据类型的采样。在本文中,我们将GANs应用于视网膜OCT的采样分布。我们观察了真实OCT图像的合成,这些图像描绘了可识别的病理,例如黄斑裂孔、脉络膜新生血管膜、近视变性、黄斑囊样水肿和中心性浆液性视网膜病变等。这是此类报告中的第一份。这项新技术的潜在应用包括手术模拟、治疗计划、疾病诊断以及加速治疗视网膜疾病的新药和手术程序的开发。
2019-02-18 cs.CV cs.LG
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City(印度信息技术学院斯里城校区);Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德校区)
生成对抗网络(GANs)为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中,我们介绍了一种新的图像到图像变换网络,称为循环判别生成对抗网络(CDGAN),填补了上述空白。建议的CDGAN生成高质量和更逼真的图像,通过将额外的循环图像,除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析,并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Semantic-Guided Generative Image Augmentation Method with Diffusion Models for Image Classification
Harbin Institute of Technology(哈尔滨工业大学)
针对图像增强中多样性与语义一致性难以兼顾的问题,提出 SGID,利用扩散模型并以标签和描述引导生成增强图像,在多种骨干网络上提升分类性能。
2024-01-18 cs.CV cs.LG
Coupled Generative Adversarial Network for Continuous Fine-grained Action Segmentation
Queensland University of Technology(昆士兰科技大学)
我们提出了一种新的条件GAN(cGAN)模型连续细粒度的人体动作分割,利用多模态数据和学习场景上下文信息。所提出的方法利用两个GANs:称为动作GAN和辅助GAN,其中动作GAN被训练为在当前RGB帧上操作,而辅助GAN利用补充信息,例如深度或光流。两个GANs的目标都是生成类似的“动作代码”,即当前动作的矢量表示。为了促进这一过程的上下文提取器,结合数据和最近的输出,从两种模式被用来提取上下文信息,以帮助识别。其结果是一个经常性的GAN架构,学习任务特定的损失函数从多个功能模态。对所提出的模型的变体进行了广泛的评估,以显示在所提出的网络中利用不同信息流(如上下文和辅助信息)的重要性;并表明我们的模型能够在三个广泛使用的数据集上表现优于最先进的方法:50沙拉,MERL购物和佐治亚理工学院以自我为中心的活动,包括静态和动态相机设置。
2019-09-20 cs.CV
Generative Adversarial Imitation from Observation
University of Texas at Austin(德克萨斯大学奥斯汀分校);U.S. Army Research Laboratory(美国陆军研究实验室)
从观察中模仿(IfO)是直接从只有状态的演示中学习而不接触演示者的行为的问题。行动信息的缺乏既将IfO与模仿学习中的大多数文献区分开来,也将其作为一种方法区分开来,这种方法可以使代理从大量以前不适用的资源(如互联网视频)中学习。在本文中,我们提出了一个一般框架的IfO方法,也是一个新的IfO方法的基础上生成的对抗网络生成对抗网络称为生成对抗模仿观察(GAIfO)。我们在两种不同的环境中进行实验:(1)当演示由低维,手动定义的状态特征组成时,以及(2)当演示由高维,原始视觉数据组成时。我们证明,我们的方法执行传统的模仿学习方法(可以访问演示者的行动),并显着优于现有的模仿从观察方法在高维仿真环境。
2019-06-18 cs.AI cs.LG stat.ML
Manifold-valued Image Generation with Wasserstein Generative Adversarial Nets
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);VISICS KU Leuven(比利时鲁汶大学VISICS)
自然图像的生成式建模是机器学习最基本的问题之一。然而,很少有现代生成模型,包括Wasserstein生成对抗网(WGAN),在现实世界应用中经常遇到的流形值图像上进行研究。为了填补这一空白,本文首先阐述了流形值图像的生成问题,并利用三个典型的例子:色调-饱和度-值(HSV)彩色图像生成,色度-亮度(CB)彩色图像生成和扩散张量(DT)图像生成。对于所提出的生成建模问题,我们引入了一个最优传输定理,推导出完整流形上数据分布的新Wasserstein距离,使我们能够在WGAN框架下实现一个易于处理的目标。此外,我们推荐了三个基准数据集,分别是CIFAR-10 HSV/CB彩色图像,ImageNet HSV/CB彩色图像,UCL DT图像数据集。在这三个数据集上,我们通过实验证明了所提出的流形感知WGAN模型可以生成比其竞争对手更合理的流形值图像。
2019-01-03 cs.CV stat.ML
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen(哥本哈根大学);Rigshospitalet(哥本哈根大学国立医院)
生成对抗网络(GANs)和变分自编码器(VAE)等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而,到目前为止,由于监督数据的要求,他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力,通过在胸部CT扫描上训练GAN和VAE,并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换,如旋转或乳房大小。此外,这些方向表明,生成模型捕捉3D结构,尽管只呈现2D数据。结果表明,在GANs中发现可解释方向的无监督方法可推广到VAE,并可应用于医学图像。这打开了一个广泛的未来的工作,使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Generative Image Translation for Data Augmentation of Bone Lesion Pathology
Courant Institute, New York University(纽约大学库朗研究所);Imagen Technologies(伊马根科技公司)
在开发用于罕见疾病分类的机器学习模型时,训练数据不足和严重的类别不平衡往往是限制因素。在这项工作中,我们解决了从X射线图像中的骨病变的分类问题,通过增加少量的阳性样本的训练集。我们提出了一种基于周期一致的生成对抗网络的生成数据增强方法,该网络在没有病理的图像上合成骨病变。我们提出的生成任务作为一个图像补丁的翻译问题,我们专门针对不同的骨骼(肱骨,胫骨,股骨)进行优化。在实验结果中,我们确认所描述的方法减轻了骨病变检测的二进制分类任务中的类不平衡问题。我们表明,增强的训练集,使训练的优秀分类器实现更好的性能上举行了测试集。此外,我们证明了迁移学习的可行性,并将在一个身体部位上训练的生成模型应用于另一个身体部位。
2019-02-06 cs.CV cs.LG stat.ML
Improving image generative models with human interactions
Google Brain(谷歌大脑)
GANs提供了一个框架,用于训练模拟数据分布的生成模型。然而,在许多情况下,我们希望训练这些生成模型来优化它生成的数据中的一些辅助目标函数,例如制作更美观的图像。在某些情况下,这些目标函数很难评估,例如,它们可能需要人工交互。在这里,我们开发了一个系统,用于有效地改善GAN,以针对涉及人类交互的目标,特别是生成图像,增加积极的用户交互率。为了改进生成模型,我们从一组相对较小的交互中构建目标域中的人类行为模型,然后使用该行为模型作为辅助损失函数来改进生成模型。我们表明,该系统是成功的,至少在模拟数据,提高积极的相互作用率,并表征一些影响其性能的因素。
2017-09-29 cs.CV cs.LG cs.NE
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,基于深度学习的技术,如生成对抗网络(GANs),已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中,我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复,给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题,并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Exploring the Power of Generative Deep Learning for Image-to-Image Translation and MRI Reconstruction: A Cross-Domain Review
Center for Translational Research in Neuroimaging and Data Science (TReNDS)(神经影像与数据科学转化研究中心(TReNDS))
近年来,深度学习已经成为计算机视觉和图像处理领域中的重要计算建模工具。本研究全面分析了自然和医学成像领域用于图像到图像翻译和重建的不同深度学习方法。我们研究了著名的深度学习框架,如卷积神经网络和生成对抗网络及其变体,深入研究了每个框架的基本原理和难点。在自然计算机视觉领域,我们研究了各种深度学习生成模型的开发和扩展。相比之下,我们研究了深度学习在生成医学成像问题中的可能应用,包括医学图像翻译、MRI重建和多对比度MRI合成。这篇全面的综述为生成计算机视觉和医学成像领域的学者和从业者提供了有用的见解,以总结过去的工作并深入了解未来的研究路径。
2023-03-16 cs.CV eess.IV
Interpreting Generative Adversarial Networks for Interactive Image Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
用于图像生成的生成对抗网络(GANs)的进步已经取得了重大进展。然而,人们对如何通过GANs的深度表示从随机向量生成逼真的图像缺乏足够的理解。本章总结了最近关于解释深层生成模型的工作。方法分为监督,无监督和嵌入指导的方法。我们将看到如何识别在学习表示中出现的人类可理解的概念,并将其用于交互式图像生成和编辑。
2022-02-02 cs.CV
Pipeline Generative Adversarial Networks for Facial Images Generation with Multiple Attributes
Ocean University of China(中国海洋大学)
生成对抗网络被证明是有效的各种图像生成任务。然而,如果我们想要精确地生成图像,这仍然是一个挑战。如何生成具有单一属性的图像是众多研究者关注的焦点。但多属性下的图像生成仍然是一项艰巨的工作。在本文中,我们尝试使用流水线过程在多个约束下生成各种人脸图像。我们提出的Pip-GAN(管道生成对抗网络)采用管道网络结构,可以使用中性人脸图像逐步生成复杂的人脸图像。我们将我们的方法应用于两个人脸图像数据库,并证明了它能够在多种条件下生成令人信服的新图像。
2017-11-29 cs.CV
Generative Guiding Block: Synthesizing Realistic Looking Variants Capable of Even Large Change Demands
KAIST(韩国科学技术院)
真实感图像合成是生成与实际图像在感知上难以区分的图像。生成具有大变化的逼真的图像(例如,大的空间变形和大的姿态变化)是非常具有挑战性的。处理大的变化,以及保持外观需要考虑在现实的图像生成。在本文中,我们提出了一种新的逼真的图像合成方法,特别是在大变化的需求。为了做到这一点,我们设计了生成引导块。所提出的生成引导块包括真实感外观保持块和自然主义变化变换块。通过将所提出的生成式引导块引入生成式模型,增强了生成式模型层的潜在特征,以合成真实感和目标变化图像。通过实验中的定性和定量评价,我们证明了所提出的生成引导块的有效性,与最先进的。
2019-07-02 cs.CV
RIGen: Beyond Action Following with Reciprocal Interaction in Generative Gameplay
The Hong Kong University of Science and Technology(香港科技大学);Vivix Group Limited(维维克斯集团有限公司)
该研究提出RIG框架,结合持久状态、交互推理与动作条件生成,构建Xonotic数据集训练生成器,开发RIGArena原型,实现生成式游戏玩法中更可靠的战斗结果与互惠交互。
2026-10-27 cs.CV
Generative Adversarial Network Applications in Creating a Meta-Universe
The University of Georgia(佐治亚大学)
生成对抗网络(GANs)是机器学习方法,用于许多重要和新颖的应用。例如,在成像科学中,GANs被有效地用于生成图像数据集、人脸照片、图像和视频描述、图像到图像转换、文本到图像转换、视频预测和3D对象生成等。在本文中,我们讨论了如何使用GANs来创建人工世界。更具体地说,我们讨论了GANs如何帮助利用图像/视频描述方法来描述图像,以及如何在我们想要的主题中使用图像到图像转换框架将图像转换为新图像。我们阐述了GANs如何影响创建一个定制的世界。
2022-01-23 cs.CV cs.LG eess.IV
Generative Hierarchical Features from Synthesizing Images
The Chinese University of Hong Kong(香港中文大学)
生成对抗网络(GANs)最近通过学习观察数据的底层分布来推进图像合成。然而,从解决图像生成任务中学到的特征如何适用于其他视觉任务仍然很少探索。在这项工作中,我们表明,学习合成图像可以带来显着的分层视觉功能,在广泛的应用中是可推广的。具体来说,我们认为预先训练的StyleGAN生成器作为一个学习的损失函数,并利用其逐层表示训练一个新的分层编码器。我们的编码器产生的视觉特征,称为生成层次特征(GH-Feat),具有很强的可移植性,生成和歧视性的任务,包括图像编辑,图像协调,图像分类,人脸验证,地标检测和布局预测。大量的定性和定量实验结果表明,吸引人的性能GH-Feat。
2021-04-03 cs.CV
Understanding the (un)interpretability of natural image distributions using generative models
概率密度估计是一个经典的和研究的问题,但标准的密度估计方法历来缺乏建模复杂和高维图像分布的能力。最近的生成模型利用神经网络的能力来隐式地学习和表示复杂图像上的概率模型。我们描述了从GANs中提取显式概率密度估计的方法,并探索了这些图像密度函数的属性。我们进行健全检查实验,以提供证据,这些概率是合理的。然而,我们也表明,自然图像的密度函数是难以解释的,因此在使用中受到限制。我们研究这种缺乏可解释性的原因,并表明,我们可以得到可解释性回来做密度估计的图像的潜在表示。
2019-02-25 cs.CV cs.LG stat.ML
Leveraging Image-based Generative Adversarial Networks for Time Series Generation
Humboldt University of Berlin(柏林洪堡大学)
本文提出扩展跨期回报图(XIRP)作为时间序列的二维图像表示,利用WGAN-GP生成合成数据,在预测能力上显著优于基于RNN的生成模型,并引入改进的随机反演提升模拟质量。
2023-08-31 cs.CV cs.LG stat.ML
Deep Generative Models for 3D Medical Image Synthesis
University of Basel(巴塞尔大学);Technical University Darmstadt(达姆施塔特工业大学)
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标,并指出当前挑战。
2024-10-23 cs.CV eess.IV
Explainable Medical Image Segmentation via Generative Adversarial Networks and Layer-wise Relevance Propagation
University of Oslo(奥斯陆大学)
本文通过提出基于生成对抗网络的模型来分割内窥镜图像中的息肉和器械,从而有助于自动化医学图像分割。这项工作的一个主要贡献是提供解释的预测使用逐层相关性传播方法指定哪些输入图像像素是相关的预测,并在何种程度上。在息肉分割任务中,模型的准确率达到0.84,Jaccard指数为0.46。在乐器分割任务中,模型的准确率达到0.96,Jaccard指数达到0.70。该代码可在https://github.com/Awadelrahman/MedAI上获得。
2021-11-02 cs.CV cs.LG eess.IV
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Courant Institute(库朗研究所);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
在本文中,我们介绍了一个生成参数模型能够产生高质量的自然图像样本。我们的方法使用拉普拉斯金字塔框架内的卷积网络级联,以粗到细的方式生成图像。在金字塔的每一层,使用生成对抗网络(GAN)方法(Goodfellow等人)训练单独的生成convnet模型。从我们的模型中提取的样本的质量明显高于其他方法。在人类评估人员的定量评估中,我们的CIFAR10样本在大约40%的时间内被误认为是真实图像,而从GAN基线模型中提取的样本只有10%。我们还展示了在LSUN场景数据集的高分辨率图像上训练的模型的样本。
2015-06-18 cs.CV
Image Generation and Editing with Variational Info Generative AdversarialNetworks
Indian Institute of Science(印度科学院)
最近,人们对深度学习中的图像生成模型产生了极大的兴趣。为了实现这一目标,生成对抗网络(GAN)和变分自动编码器(VAE)已经成为两个最突出和最流行的模型。虽然VAE往往会产生出色的重建但模糊的样本,但GANs会产生清晰但略有失真的图像。在本文中,我们提出了一个新的模型称为变分InfoGAN(ViGAN)。我们有两个目标:(i)以视觉描述为条件生成新的图像,以及(ii)通过固定图像的潜在表示和改变视觉描述来修改图像。我们评估了我们的模型在野生标记的面孔(LFW),celebA和MNIST数据集的修改版本,并证明了我们的模型生成新图像的能力,以及通过改变属性来修改给定的图像。
2017-01-17 cs.CV