Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Qihoo 360 Artificial Intelligence Institute(奇虎360人工智能研究院);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
文体综合是近年来文体研究的热点,但对文体综合的双重问题“文体分离”却鲜有研究。在本文中,我们提出了风格分离和合成生成对抗网络(S3-GAN),以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设,采用S3-GAN建立流形与特征向量空间之间的映射,实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像,就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明,S3-GAN具有同时进行风格分离和合成的能力,可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University(约翰内斯·古腾堡大学)
本文研究了生成马尔可夫随机场(MRF)模型和区分训练的深度卷积神经网络(dCNN)的组合,用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别,在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感(艺术品)合成任务。MRF正则化器可防止过度激励伪影,并减少先前dCNN反演方法中常见的不可信特征混合,从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同,组合系统可以匹配和适应具有相当大的可变性的局部特征,产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Unpaired Brain MR-to-CT Synthesis using a Structure-Constrained CycleGAN
Xi’an Jiaotong University(西安交通大学);Johns Hopkins University(约翰斯·霍普金斯大学)
CycleGAN正在成为医学图像合成中一种有影响力的方法。然而,由于输入图像和合成图像之间缺乏直接约束,cycleGAN无法保证这两幅图像之间的结构一致性,而这种一致性在医学成像中极其重要。为了克服这一点,我们提出了一个结构约束的cycleGAN脑MR到CT合成使用不成对的数据,定义了一个额外的结构一致性损失的基础上的模态独立的邻域描述符,以约束结构的一致性。此外,我们使用基于位置的选择策略来选择训练图像,而不是完全随机的选择方案。对脑MR图像合成CT图像的实验结果表明,该方法优于传统的cycleGAN,并且近似于用配对数据训练的cycleGAN。
2018-09-12 cs.CV
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
我们提出了VoLux-GAN,这是一个生成框架,可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法,可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射,漫反射和镜面反射照明的贡献。此外,我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是,我们提出了一个数据增强技术,利用最新的进展,在单一图像的肖像重新照明,以执行一致的几何形状,反射,漫射和镜面反射组件。多个实验和与其他生成框架的比较表明,我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University(哈佛大学)
生成对抗网络(GANs)中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可,但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中,我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作,我们的合成图像生成器优化感知损失函数,测量像素,功能激活,纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比,一些最突出的现有工作。
2017-08-30 cs.CV
Behavior-Driven Synthesis of Human Dynamics
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);IWR Heidelberg University(海德堡大学跨学科科学计算中心)
生成和表示人类行为对于各种计算机视觉应用是非常重要的。通常,人类视频合成将行为表示为姿势序列,同时直接预测其可能的进展或仅仅改变所描绘的人的外观,因此不能在合成过程期间对他们的实际行为进行控制。相比之下,个体之间的受控行为合成和转移需要对身体动力学的深刻理解,并要求独立于外观和特定姿势的行为表示。在这项工作中,我们提出了一个模型,人类行为的合成,学习一个专门的表示人体动态独立的姿势。使用这种表示,我们能够改变以任意姿势描绘的人的行为,或者甚至直接转移在给定视频序列中观察到的行为。为此,我们提出了一个有条件的变分框架,明确解开姿势的行为。我们证明了我们的方法在这一新的任务,评估捕获,转移和采样细粒度的,不同的行为,定量和定性的有效性。项目页面可在https://cutt.ly/5l7rXEp上找到
2021-04-22 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
从真实照片及其逆合成人脸草图有许多应用。然而,照片/素描合成仍然是一个具有挑战性的问题,由于事实上,照片和素描有不同的特点。在这项工作中,我们将此任务视为图像到图像的翻译问题,并探索最近流行的生成模型(GANs),以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果,但是,众所周知,它们在生成高分辨率逼真图像方面的能力有限。为此,我们提出了一种新的合成框架,称为使用多对抗网络的照片草图合成(PS2-MAN),以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像,然后在网络中进行隐式细化以生成较高分辨率的图像。此外,由于照片草图合成是一个耦合/配对的翻译问题,我们利用对信息使用CycleGAN框架。图像质量评估(IQA)和照片草图匹配实验进行了比较,以证明我们的框架的优越性能,现有的国家的最先进的解决方案。代码可在:https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Transformation-Grounded Image Generation Network for Novel 3D View Synthesis
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(Adobe研究院)
我们提出了一种基于变换的图像生成网络,用于从单个图像合成新的3D视图。而不是采取一个'白板'的方法,我们首先明确地推断出的部分几何可见的输入和新的意见,然后重新铸造剩余的合成问题,图像完成。具体来说,我们都预测一个流,将像素从输入移动到新的视图,以及一个新的可见性图,有助于处理遮挡/disocculsion。接下来,以这些中间结果为条件,我们幻觉(推断)输入图像中不可见的对象部分。除了新的网络结构之外,结合对抗性和感知损失的训练还可以减少新视图合成的常见伪影,例如失真和孔洞,同时成功生成高频细节并保留输入图像的视觉方面。我们评估我们的方法在广泛的合成和真实的例子。定性和定量的结果表明,我们的方法取得了显着更好的结果相比,现有的方法。
2017-03-08 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University(比尔肯大学);National Magnetic Resonance Research Center (UMRAM), Bilkent University(比尔肯大学国家磁共振研究中心(UMRAM));Sabuncu Brain Research Center, Bilkent University(比尔肯大学Sabuncu脑研究中心);Hacettepe University(哈塞特佩大学)
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而,扫描时间限制可能会阻止某些对比度的采集,并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下,从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成,当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明,与以前的最先进的方法相比,所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性,而无需延长检查时间。
2018-02-05 cs.CV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
正电子发射断层扫描(PET)图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而,现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性,我们提出了基于多通道生成对抗网络(M-GAN)的PET图像合成方法。与依赖于使用低级特征的现有方法不同,所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外,M-GAN能够从注释(标签)中获取输入,以合成高摄取区域,例如,从计算机断层摄影(CT)图像中提取合成的PET图像,以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明,与现有方法相比,我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney(悉尼科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而,一个关键的挑战仍然存在:现有的方法缺乏几何约束,因此通常无法生成多视图一致的图像。为了解决这一挑战,我们提出了多视图一致性生成对抗网络(MVCGAN)的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息,即,深度和相机变换矩阵,我们显式地建立视图之间的立体对应关系,以执行多视图联合优化。特别是,我们加强了视图对之间的光度一致性,并将立体混淆机制集成到训练过程中,鼓励模型推理正确的3D形状。此外,我们设计了一个两阶段的训练策略与特征级多视角联合优化,以提高图像质量。在三个数据集上的大量实验表明,MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
SynNet: Structure-Preserving Fully Convolutional Networks for Medical Image Synthesis
Technical University of Munich(慕尼黑工业大学)
交叉模态图像合成由于其能够从给定的源图像集合中估计不同模态的目标图像(如估计MR到MR、MR到CT、CT到PET等)而不需要实际采集的能力而获得显著的兴趣。尽管它们在放射治疗计划、图像超分辨率、图谱构建、图像分割等。合成结果不如实际采集准确。在本文中,我们通过提出一种称为SynNet的全卷积深度学习架构来解决多模态图像合成的问题。我们将所提出的架构扩展为各种输入输出配置。最后,我们提出了一种结构保持的自定义损失函数,并在BRATS数据集上对所提出的SynNet及其扩展框架进行了验证,并与三种最先进的方法进行了比较,同时对所提出的自定义损失函数的结果进行了验证,并与传统的跨模态图像合成方法所使用的损失函数进行了比较。
2018-06-29 cs.CV
Two-Stream Convolutional Networks for Dynamic Texture Synthesis
York University(约克大学);Ryerson University(瑞尔森大学)
本文介绍了一种用于动态纹理合成的双流模型。我们的模型基于预训练的卷积网络(ConvNets),该网络针对两个独立的任务:(i)对象识别,以及(ii)光流预测。给定一个输入动态纹理,来自对象识别ConvNet的滤波器响应的统计数据封装了输入纹理的每帧外观,而来自光流ConvNet的滤波器响应的统计数据对其动态进行建模。为了生成一个新的纹理,随机初始化的输入序列进行优化,以匹配每个流的示例纹理的特征统计。受最近图像风格转移工作的启发,并启用双流模型,我们还应用合成方法将一个纹理的纹理外观与另一个纹理的动态相结合,生成全新的动态纹理。我们表明,我们的方法产生新的,高质量的样本,匹配输入纹理的逐帧外观和时间演变。最后,我们定量评估我们的纹理合成方法与彻底的用户研究。
2018-04-12 cs.CV
Exemplar-based Pattern Synthesis with Implicit Periodic Field Network
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创意技术研究所);Tencent Game AI Research Center(腾讯游戏人工智能研究中心)
遍历的、静止的视觉模式的合成广泛地应用于纹理、形状建模和数字内容创建。因此,这种技术的广泛适用性要求模式合成方法是可扩展的,多样化的,和真实的。在本文中,我们提出了一个基于范例的视觉模式合成框架,旨在模拟视觉模式的内部统计数据,并生成新的,通用的模式,满足上述要求。为此,我们提出了一种基于生成对抗网络(GAN)和周期编码的隐式网络,因此将我们的网络称为隐式周期域网络(IPFN)。IPFN的设计确保了可扩展性:隐式公式直接将输入坐标映射到特征,这使得可以合成任意大小,并且对于3D形状合成来说计算效率很高。使用周期性编码方案学习鼓励多样性:网络被约束为基于周期性字段中的空间潜在代码对样本的内部统计数据进行建模。再加上连续设计的GAN训练程序,IPFN合成平铺模式与平滑过渡和局部变化。最后但并非最不重要的是,由于对抗训练技术和编码的傅立叶特征,IPFN学习高频函数,产生真实的,高质量的结果。为了验证我们的方法,我们提出了新的实验结果在各种应用中的二维纹理合成和三维形状合成。
2022-04-15 cs.AI cs.CV
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来,生成对抗网络(GANs)的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果,但在计算上,它们是高度复杂的。在我们的工作中,我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分,并提出了对生成器网络的更改,以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构,它的参数比StyleGAN 2少3.5倍,计算复杂度比StyleGAN 2低9.5倍,同时提供相当的质量。
2021-09-09 cs.CV eess.IV
MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
人脸素描合成在多媒体娱乐和执法领域有着广泛的应用。尽管最近在深度神经网络方面取得了进展,但由于人脸的多样性和复杂性,准确和逼真的人脸草图合成仍然是一项具有挑战性的任务。当前基于图像间距离的人脸草图合成方法在小规模数据集上经常遇到过拟合问题。为了解决这个问题,我们提出了一个端到端的面向记忆的风格传输网络(MOST-Net)的人脸草图合成,可以产生高保真的草图与有限的数据。具体来说,外部自我监督的动态记忆模块被引入到捕获的领域对齐知识的长期。通过这种方式,我们提出的模型可以获得域转移能力,通过建立持久的关系之间的面孔和相应的草图在特征层。此外,我们设计了一种新的内存细化损失(MR损失)的内存模块中的特征对齐,这提高了内存插槽的准确性,在一个无人监督的方式。在CUFS和CUFSF数据集上的大量实验表明,我们的MOST-Net达到了最先进的性能,特别是在结构相似性指数(SSIM)方面。
2022-06-08 cs.AI cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University(斯坦福大学)
我们见证了3D感知图像合成的快速进展,利用了生成视觉模型和神经渲染的最新进展。然而,现有的方法在两个方面存在不足:第一,它们可能缺乏底层3D表示或依赖于视图不一致的渲染,因此合成的图像不是多视图一致的;第二,它们通常依赖于表现力不够的表示网络架构,因此它们的结果缺乏图像质量。我们提出了一种新的生成模型,称为周期性隐式生成对抗网络($π$ -GAN或pi-GAN),用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果,三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
Inception Institute of Artificial Intelligence(人工智能 inception 研究所)
磁共振成像(MRI)是一种广泛使用的神经成像技术,其可以提供不同对比度的图像(即,方式)。事实证明,融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而,由于数据质量差和频繁的患者脱落,收集每个患者的所有模式仍然是一个挑战。医学图像合成已被提出作为一种有效的解决方案,其中任何丢失的模态从现有的模态合成。在本文中,我们提出了一种用于多模态MR图像合成的新型混合融合网络(Hi-Net),该网络从多模态源图像(即,现有的模态)到目标图像(即,缺少模式)。在我们的Hi-Net中,使用特定于模态的网络来学习每个模态的表示,并使用融合网络来学习多模态数据的共同潜在表示。然后,多模态合成网络被设计成密集地将潜在表示与来自每个模态的层次特征相结合,作为生成器来合成目标图像。此外,提出了一种分层多模态融合策略,以有效地利用多模态之间的相关性,其中提出了混合融合块(MFB)来自适应地加权不同的融合策略(即,逐元素求和、乘积和最大化)。大量的实验表明,该模型优于其他国家的最先进的医学图像合成方法。
2020-02-11 cs.CV eess.IV
Generative Adversarial Networks for Realistic Synthesis of Hyperspectral Samples
ONERA, The French Aerospace Lab(法国航空航天实验室(ONERA));Univ. Bretagne-Sud(南布列塔尼大学)
这项工作解决了训练深度神经网络所需的注释高光谱数据的稀缺性。特别地,我们研究了生成对抗网络及其在一致性标记光谱合成中的应用。通过在公共数据集上训练这样的网络,我们证明了这些模型不仅能够捕获潜在的分布,而且还能够生成外观相似且物理上合理的光谱。此外,我们通过实验验证了合成样本可以作为一种有效的数据增强策略。我们使用各种深度分类器在几个公共高光谱数据集上验证了我们的方法。
2018-06-07 cs.CV cs.NE
Cascading Modular Network (CAM-Net) for Multimodal Image Synthesis
Simon Fraser University(西蒙菲莎大学)
近年来,GANs等深度生成模型在条件图像合成方面取得了令人印象深刻的进展。由于模式坍塌的问题,一个持续的挑战是从相同的输入图像生成不同版本的输出图像:因为每个输入图像仅给出一个地面实况输出图像,所以仅对条件分布的一个模式进行建模。在本文中,我们专注于这个问题的多模态条件图像合成,并建立在最近提出的隐式最大似然估计(IMLE)技术。先前基于IMLE的方法需要不同的架构用于不同的任务,这限制了它们的适用性,并且在生成的图像中缺乏精细的细节。我们提出CAM-Net,一个统一的架构,可以应用于广泛的任务。此外,它还能够生成令人信服的高频细节,与基线相比,Frechet起始距离(FID)减少了45.3%。
2021-06-16 cs.CV cs.LG
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University(比尔肯大学)
用于三维MRI合成的主流深度模型是横截面的或体积的,这取决于输入。横截面模型可以降低模型的复杂性,但它们可能导致不连续伪影。另一方面,体积模型可以减轻不连续性伪影,但由于模型复杂性增加以及训练数据不足,它们可能会损失空间分辨率。为了减轻这两种方法的局限性,我们提出了一种新的模型,通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在本文中,我们提出了生成对抗网络(GAN)架构,使用胶囊网络进行图像合成。基于特征的位置等方差原理,胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络(CNN)更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多,因此,与使用CNN的GANs及其变体相比,可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外,我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Free-form tumor synthesis in computed tomography images via richer generative adversarial network
Tianjin University(天津大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);La Trobe University(乐卓博大学);Tianjin University of Traditional Chinese Medicine(天津中医药大学)
针对癌症的注释医学成像扫描的不足使得在精确肿瘤学中训练和验证数据饥渴的深度学习模型变得具有挑战性。我们提出了一种新的更丰富的生成对抗网络,用于计算机断层扫描(CT)图像中的自由形式3D肿瘤/病变合成。该网络由一个新的更丰富的卷积特征增强型扩张门控生成器(RicherDG)和一个混合损失函数组成。RicherDG具有扩大门控卷积层,以实现肿瘤绘画并扩大感知范围;它具有一个新的更丰富的卷积特征关联分支,以恢复多尺度卷积特征,特别是从肿瘤和周围健康组织之间的不确定边界中恢复。混合损失函数由不同范围的损失组成,旨在聚合互补信息以改善优化。我们对涵盖肝脏、肾脏肿瘤和肺结节的广泛公共CT图像数据集的合成结果进行了全面评估。定性和定量评价以及消融研究表明,与先进的肿瘤合成方法相比,合成结果有所改善。
2021-04-20 cs.CV eess.IV
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research(Zalando 研究院)
生成对抗网络(GANs)是最近训练数据生成模型的方法,已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量,我们创建了一个具有非常适合纹理合成任务的属性的架构,我们称之为空间GAN(SGAN)。据我们所知,这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点,这使它成为一个国家的最先进的纹理合成算法:高图像质量的生成纹理,非常高的可扩展性w.r.t.输出纹理大小,快速实时向前生成,在复杂纹理中融合多个不同源图像的能力。为了说明这些功能,我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制,它可以合成的纹理图像的类型,并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
Learning Spatially-Adaptive Squeeze-Excitation Networks for Image Synthesis and Image Recognition
North Carolina State University(北卡罗来纳州立大学)
在图像合成和图像识别中学习轻量级但富有表现力的深度网络仍然是一个具有挑战性的问题。受最近观察到的数据特异性使得Transformer模型中的多头自注意(MHSA)如此强大的启发,本文提出将广泛采用的轻量级挤压激励(SE)模块扩展为空间自适应的,以增强其数据特异性,作为MHSA的卷积替代方案,同时保留SE的效率和卷积的归纳基础。提出了两种空间自适应挤压激励(SASE)模块的设计,分别用于图像合成和图像识别。对于图像合成任务,所提出的SASE进行了测试,在低拍摄和单次学习任务。它显示出比现有技术更好的性能。对于图像识别任务,所提出的SASE被用作ResNets中卷积层的直接替代品,并且比普通ResNets实现了更好的准确性,并且比MHSA的同类产品(如ImageNet-1000数据集中的Swin-Transformer和Pyramid-Transformer)略好,模型明显更小。
2022-10-03 cs.CV cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington(华盛顿大学);Institute of Systems Biology(系统生物学研究所);Islamic Azad University(伊斯兰阿扎德大学)
本文综述了生成对抗网络(GAN)在脑图像跨模态合成中的最新进展,涵盖CT、PET和MRI之间的相互转换,以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Variable Augmented Network for Invertible Modality Synthesis-Fusion
Nanchang University(南昌大学)
医学图像合成与融合作为一种有效的方法,可以有效地整合不同模态下的多幅医学图像所包含的信息,在疾病诊断和治疗计划等临床应用中得到了广泛的应用。本文提出了一种可逆可变增广网络(iVAN)用于医学图像的合成与融合。在iVAN中,通过变量增广技术使网络输入和输出的通道数相同,增强了数据的相关性,有利于特征化信息的生成。同时,可逆网络被用来实现双向推理过程。由于具有可逆和可变的增广方案,iVAN不仅可以应用于多输入到单输出和多输入到多输出的映射,还可以应用于单输入到多输出的映射。实验结果表明,该方法可以获得竞争力或更优越的性能相比,代表性的医学图像合成和融合方法。
2021-09-02 cs.CV cs.LG eess.IV
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内陆大学);DeepNeuronic;NOVA LINCS(新里斯本大学计算机科学实验室);C4-Cloud Computing Competence Center(C4云计算能力中心)
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务,不仅在所生成的形状的质量方面,而且在它们的多样性方面,特别是合成特定动作(动作调节)的逼真身体运动。在本文中,我们提出了Kinetic-GAN,这是一种新的架构,它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作,同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的,其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法,同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
Learning Modality-Aware Representations: Adaptive Group-wise Interaction Network for Multimodal MRI Synthesis
Shanghai AI Lab(上海人工智能实验室);Faculty of Information Technology, Monash University(莫纳什大学信息技术学院);SenseTime Research(商汤科技研究院)
针对多模态MRI合成跨模态对齐难的问题,提出AGI-Net,通过自适应滚动卷积与跨组注意力机制显式建模模态间和模态内关系,在IXI与BraTS2023数据集上达到SOTA性能。
2025-04-28 cs.AI cs.CV eess.IV
Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis
提出双域等变生成对抗网络(DDE-GAN),联合空间与频域学习并融入旋转等变性,实现高保真多模态CT-PET图像合成。
2026-06-12 cs.AI cs.CV physics.med-ph
Continuous learning of face attribute synthesis
Wave Group(Wave集团)
生成对抗网络(GAN)在人脸属性合成任务中表现出极大的优越性。然而,现有的方法对扩展新属性的效果非常有限。为了克服单一网络在新属性合成中的局限性,提出了一种连续学习的人脸属性合成方法。首先,提取输入图像的特征向量,并在特征空间中进行属性方向回归,以获得不同属性的轴。然后沿轴线性引导特征向量,使得具有目标属性的图像可以由解码器合成。最后,为了使网络具有连续学习的能力,使用正交方向修改模块来扩展新添加的属性。实验结果表明,该方法能够赋予单个网络连续学习属性的能力,与现有方法相比,合成属性具有更高的准确性。
2020-04-15 cs.CV cs.LG eess.IV
Generative Adversarial Networks in Human Emotion Synthesis:A Review
Eastern Mediterranean University(东地中海大学);University of São Paulo(圣保罗大学)
合成真实的数据样本对于学术界和工业界都具有重要价值。深度生成模型已经成为计算机视觉和信号处理等各个研究领域的新兴课题。情感计算是计算机视觉社会中一个广泛关注的话题,它也不例外,并受益于生成模型。事实上,在过去的二十年里,情感计算观察到生成模型的快速衍生。这些模型的应用包括但不限于情感识别和分类、单模态情感合成和跨模态情感合成。因此,我们通过研究现有的数据库,优点和缺点的生成模型以及相关的训练策略,考虑两个主要的人类交流方式,即音频和视频,在人类情感合成的最新进展进行了审查。在此背景下,人脸表情合成,语音情感合成,视听(跨模态)情感合成在不同的应用场景进行了广泛的审查。逐渐地,我们讨论开放的研究问题,以突破该研究领域的界限,以供未来的工作使用。
2020-11-07 cs.AI cs.CV cs.HC
A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
Florida Atlantic University(佛罗里达大西洋大学);Nanjing University of Finance and Economics(南京财经大学)
文本到图像合成是指将人类书面文本描述(以关键字或句子的形式)翻译成与文本语义相似的图像的计算方法。在早期的研究中,图像合成主要依赖于文字到图像的相关性分析,并结合监督方法来找到与文本匹配的视觉内容的最佳对齐。深度学习(DL)的最新进展带来了一组新的无监督深度学习方法,特别是深度生成模型,其能够使用适当训练的神经网络模型生成逼真的视觉图像。在本文中,我们回顾了文本到图像合成研究领域的最新进展。我们的调查首先介绍了图像合成及其挑战,然后回顾了生成对抗网络(GANs)和深度卷积编码器-解码器神经网络(DCNN)等关键概念。在此之后,我们提出了一个分类法,总结GAN为基础的文本到图像合成分为四个主要类别:语义增强GANs,分辨率增强GANs,多样性增强GANs,和运动增强GANs。我们详细阐述了每个组的主要目标,并进一步回顾了每个组中的典型GAN架构。分类和审查概述了技术和不同方法的演变,并最终提供了一个明确的路线图,以总结利用GANs和DCNN生成人脸,鸟类,花卉,室内装饰,边缘图(游戏)对象重建等类别的迷人结果的同期解决方案列表。尚未解决的挑战,以及文本到图像合成领域的未来发展。
2019-10-21 cs.CL cs.CV cs.GR
Multimodal-Prior-Guided Importance Sampling for Hierarchical Gaussian Splatting in Sparse-View Novel View Synthesis
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology(广东超高清沉浸媒体技术重点实验室);Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室);Migu Culture Technology Co., Ltd.(米果文化科技有限公司)
本文提出多模态先验引导的重要性采样方法,用于稀疏视图新视图合成中的分层高斯点云,通过融合光度残差、语义和几何先验,提升重建质量。
2026-03-03 cs.CV
Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints
Telecom-ParisTech(巴黎高等电信学院);Wuhan University(武汉大学)
本文提出了一个显着的改进,使用卷积神经网络(CNN)的纹理图像的合成,利用傅立叶频谱的结果的约束。更准确地说,纹理合成被视为一个约束优化问题,约束条件的傅立叶频谱和CNN学习的统计特征。与现有的方法相比,所提出的方法继承了以前的CNN方法的能力,描绘局部结构和精细尺度的细节,并在同一时间产生连贯的大尺度结构,即使在准周期图像的情况下。这是在没有额外计算成本的情况下完成的。各种图像上的合成实验显示出明显的改善相比,最近的最先进的方法只依赖于CNN的约束。
2016-05-19 cs.CV
Multispectral Texture Synthesis using RGB Convolutional Neural Networks
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);ONERA, Université Paris-Saclay(巴黎萨克雷大学法国航空航天研究院)
本文针对多光谱图像纹理合成问题,提出两种无需重新训练预训练RGB网络的方案:随机光谱波段三元组优化和三维投影,并引入颜色传递预处理,实验证明其视觉质量接近RGB波段最先进方法。
2024-10-21 cs.CV
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(三星电子(韩国))
流引导合成为帧内插提供了通用框架,其中估计光流以引导连续输入之间的中间帧的合成。在本文中,我们提出了UPR-Net,一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中,UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别,它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上,它能够对光流和中间帧进行迭代细化。特别是,我们表明,我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级(1.7M参数),我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Mitigating Architectural Mismatch During the Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
进化的深度智能最近显示出很大的希望,通过有机合成连续几代越来越有效的架构,可以产生小而强大的深度神经网络模型。现有的进化合成过程,但是,允许交配的父网络独立的架构对齐,导致网络结构的不匹配。我们提出了一个初步的研究,在进化合成过程中使用基因标签系统的建筑对齐的影响。令人惊讶的是,使用基因标记方法合成的网络架构导致性能准确性和存储大小的降低较慢;然而,所得网络在大小和性能准确性方面与非基因标记网络相当。此外,我们推测,有一个显着的减少与基因标签合成的网络的网络变异性,这表明,强制执行类似的交配政策可能会限制探索可能的网络架构的搜索空间。
2018-11-19 cs.AI cs.CV cs.NE
Deblurring using Analysis-Synthesis Networks Pair
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
图像盲去模糊一直是现代人工神经网络面临的一个挑战性问题。与其他图像复原问题不同,在均匀和3D模糊模型的情况下,去模糊网络的性能落后于现有的去模糊算法。这是由于未知模糊核对去模糊算子的影响是多样而深刻的。我们提出了一个新的架构,打破了去模糊网络到一个分析网络,估计模糊,和一个合成网络,使用这个内核去模糊的图像。与现有的去模糊网络不同,这种设计允许我们在网络的训练中显式地加入模糊核。此外,我们引入了新的互相关层,允许更好的模糊估计,以及独特的组件,允许估计模糊控制合成去模糊动作的动作。在已建立的基准数据集上对新方法进行评估,结果表明它能够在各种测试中实现最先进的去模糊精度,并在运行时提供主要的加速。
2020-04-06 cs.CV cs.LG eess.IV
RGBD-Net: Predicting color and depth images for novel views synthesis
University of Oulu(奥卢大学);TomTom(TomTom公司);Tampere University(坦佩雷大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种新的级联架构的新颖的视图合成,称为RGBD-Net,它包括两个核心组件:层次深度回归网络和深度感知生成器网络。前者通过自适应深度缩放来预测目标视图的深度图,而后者利用预测的深度并渲染空间和时间一致的目标图像。在标准数据集上的实验评估中,RGBD-Net不仅明显优于最先进的技术,而且在没有每个场景优化的情况下也可以很好地推广到新场景。此外,我们还证明了RGBD-Net可以在没有深度监督的情况下进行可选训练,同时仍然保持高质量的渲染。得益于深度回归网络,RGBD-Net还可用于创建密集的3D点云,其精度高于某些最先进的多视图立体视觉方法。
2021-07-09 cs.CV cs.GR
Exemplar-based synthesis of geology using kernel discrepancies and generative neural networks
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一个框架,地质图像的合成的基础上,一个样本图像。我们合成新的实现,使实现和样本图像之间的补丁分布的差异最小化。这种差异是量化使用核方法的两个样本测试称为最大平均差异。为了实现快速合成,我们在离线阶段训练生成神经网络,以在部署期间有效地对实现进行采样,同时还提供合成过程的参数化。我们评估一个经典的二进制图像表示渠道地下油藏的框架,发现该方法再现的视觉模式和空间统计学(图像直方图和两点概率函数)的范例图像。
2018-09-21 cs.CV cs.LG stat.AP