TinyGAN: Distilling BigGAN for Conditional Image Generation
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
生成对抗网络(GANs)已经成为生成图像建模的强大方法。然而,GANs因其训练不稳定性而臭名昭著,特别是在大规模复杂数据集上。虽然BigGAN最近的工作显着提高了ImageNet上图像生成的质量,但它需要一个巨大的模型,因此很难在资源受限的设备上部署。为了减少模型的大小,我们提出了一个黑盒知识蒸馏框架来压缩GANs,它突出了一个稳定和高效的训练过程。给定BigGAN作为教师网络,我们设法训练一个小得多的学生网络来模拟其功能,在初始和FID分数上实现有竞争力的性能,生成器具有更少的参数$16\times$。
2020-09-29 cs.CV
Improved Conditional Flow Models for Molecule to Image Synthesis
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学)
在本文中,我们的目标是在不同的分子干预下合成细胞显微镜图像,其动机是药物开发的实际应用。基于最近成功的图神经网络学习分子嵌入和基于流的图像生成模型,我们提出了Mol2Image:一个基于流的分子到细胞图像合成生成模型。为了生成不同分辨率和高分辨率图像的细胞特征,我们开发了一种新的基于Haar小波图像金字塔的多尺度流架构。为了最大限度地提高生成的图像和分子干预之间的互信息,我们设计了一种基于对比学习的训练策略。为了评估我们的模型,我们提出了一套新的生物图像生成的指标,是强大的,可解释的,相关的从业者。我们定量地表明,我们的方法学习了一个有意义的嵌入的分子干预,这是翻译成图像表示反映干预的生物效应。
2020-06-15 cs.CV cs.LG eess.IV
Virtual Conditional Generative Adversarial Networks
当在多模态图像数据集上训练时,正常的生成对抗网络(GANs)通常被类条件GANs和集成GANs优于,但条件GANs仅限于标记数据集,集成GANs缺乏效率。我们提出了一种新的GAN变体,称为虚拟条件GAN(vc GAN),它不仅是一个集成GAN与多个生成路径,同时添加几乎为零的网络参数,但也是一个条件GAN,可以在未标记的数据集上训练,没有显式的聚类步骤或目标以外的对手损失。在vcGAN的生成器内部,可学习的“模数转换器(ADC)”模块将输入的多元高斯噪声的切片映射到离散/数字噪声(虚拟标签),选择器根据该离散/数字噪声选择相应的生成路径以产生样本。所有生成路径共享相同的解码器网络,而在每个路径中,解码器网络被馈送有不同的预先计算的放大独热向量和输入的高斯噪声的级联。我们在几个平衡/不平衡图像数据集上进行了大量实验,以证明vcGAN收敛速度更快,并实现了改进的Frechét Inception Distance(FID)。此外,我们还展示了训练副产品,即vcGAN中的ADC学习了每个模式的分类概率,并且每个生成路径生成特定模式的样本,从而实现了类条件采样。代码可从\url{https://github.com/annonnymmouss/vcgan}获得
2019-01-25 cs.CV
Class-Conditional self-reward mechanism for improved Text-to-Image models
TOELT LLC(TOELT有限责任公司)
本文提出类条件自奖励机制,通过自生成自评判数据微调扩散模型,显著提升文本到图像生成质量与指令遵循能力,性能优于现有模型至少60%。
2024-05-25 cs.AI cs.CV
Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable
University of British Columbia(不列颠哥伦比亚大学)
最近,已经积极研究了从无条件GANs生成的子采样或细化图像,以提高整体图像质量。不幸的是,这些方法在处理条件GANs(cGANs)时通常被观察到效率较低或效率较低-以类(又名类条件GANs)或连续变量(又名连续cGANs或Cc GANs)为条件。在这项工作中,我们引入了一种有效且高效的子采样方案,称为条件密度比引导拒绝采样(cDR-RS),以从cGAN中采样高质量图像。具体而言,我们首先开发了一种新的条件密度比估计方法,称为cDRE-F-cSP,提出了条件Softplus(cSP)损失和改进的特征提取机制。然后,我们推导出一个密度比模型训练的cSP损失的误差界。最后,我们接受或拒绝一个假的图像在其估计的条件密度比。还开发了一种过滤方案,以增加假图像的标签一致性,而不会在从CcGAN采样时失去多样性。我们在五个基准数据集上广泛测试了cDR-RS在类条件GANs和Cc GANs采样中的有效性和效率。当从类条件GANs中采样时,cDR-RS在有效性方面远远优于现代最先进的方法(DRE-F-SP+RS除外)。虽然cDR-RS的有效性通常与DRE-F-SP+RS相当,但cDR-RS的效率要高得多。当从CcGAN采样时,cDR-RS的优势在有效性和效率方面更加明显。值得注意的是,在消耗合理的计算资源的情况下,cDR-RS可以在不降低CcGAN生成的图像的多样性的情况下大幅降低标签分数,而其他方…
2022-04-20 cs.CV cs.LG stat.ML
Physics-Informed Conditional Diffusion for Motion-Robust Retinal Temporal Laser Speckle Contrast Imaging
本文提出RetinaDiff框架,通过相位相关注册和条件扩散模型实现运动鲁棒的视网膜时间激光散斑对比成像,提升有限帧下的结构连续性和统计稳定性。
2026-10-07 cs.CV
Cross-Spectral Periocular Recognition with Conditional Adversarial Networks
Halmstad University(哈尔姆斯塔德大学)
这项工作解决了比较在不同光谱中捕获的眼周图像的挑战,已知与在相同光谱中操作相比,这会产生性能的显著下降。我们建议使用条件生成对抗网络,经过训练可以在可见光和近红外光谱之间转换眼周图像,以便在同一光谱中进行生物识别验证。所提出的设置允许使用现有的特征方法,通常被优化为在单个光谱中操作。识别实验是使用一些现成的眼周比较器的基础上手工制作的功能和CNN描述符。使用香港理工大学交叉光谱虹膜图像数据库(理大)作为基准数据集,我们的实验表明,交叉光谱性能显着提高,如果两个图像被转换为相同的光谱,在不同的光谱图像中提取的匹配功能相比。除此之外,我们还基于ResNet 50架构微调了CNN,获得了EER= 1%,GAR> 99%@FAR = 1%的跨光谱眼周性能,这与PolyU数据库的最新技术相当。
2020-08-26 cs.CV
SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
针对现有音频驱动唇同步方法训练流程复杂、运动自然度有限的问题,提出条件视频扩散框架SayAnything,通过三个专用模块平衡latent空间条件信号,实现无需额外监督的精确控制,生成高真实度视频且泛化至动画角色。
2025-02-17 cs.CV
Conditional Image Synthesis With Auxiliary Classifier GANs
Google Brain(谷歌大脑)
合成高分辨率真实感图像一直是机器学习中的一个长期挑战。在本文中,我们介绍了用于图像合成的生成对抗网络(GANs)的改进训练的新方法。我们构建了一个变体的GANs,采用标签条件,导致128 × 128分辨率的图像样本表现出全局一致性。我们扩大以前的工作,图像质量评估提供两个新的分析,以评估类条件图像合成模型的样本的可辨别性和多样性。这些分析表明,高分辨率样品提供了低分辨率样品中不存在的类别信息。在1000个ImageNet类中,128x128样本的可分辨性是人工调整大小的32x32样本的两倍多。此外,84.7%的类具有与真实ImageNet数据相当的多样性。
2017-07-20 cs.CV stat.ML
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
类别不平衡发生在许多现实世界的应用中,包括图像分类,其中每个类别中的图像数量显著不同。对于不平衡的数据,生成对抗网络(GANs)倾向于多数类样本。最近提出的两种方法,平衡GAN(BAGAN)和改进的BAGAN(BAGAN-GP),作为一种增强工具来处理这个问题,并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而,当来自不同类别的图像具有相似的特征时,它是不稳定的。后者是在BAGAN的基础上改进的,通过促进监督自动编码器训练,但预训练偏向于大多数类。在这项工作中,我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络(CAPGAN)作为增强工具,以生成逼真的合成图像。特别地,我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST,Fashion-MNIST,CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离,结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Nanjing University(南京大学)
计算机视觉和图形学中的许多任务都属于条件图像合成的框架。近年来,生成对抗网络(GANs)在合成图像质量方面取得了令人印象深刻的进步。然而,由于模式坍塌的问题,对于相同的输入生成多样且合理的图像仍然是一个挑战。在本文中,我们开发了一种新的通用多模态条件图像合成方法的基础上隐式最大似然估计(IMLE),并证明了改进的多模态图像合成性能的两个任务,单图像超分辨率和图像合成场景布局。我们公开我们的实现。
2020-04-07 cs.CV cs.GR cs.LG
Mask Conditional Synthetic Satellite Imagery
Institute for Applied Computational Science, Harvard University(哈佛大学应用计算科学研究所);Microsoft AI for Good Research Lab(微软人工智能向善研究实验室)
在本文中,我们提出了一个掩模条件下的合成图像生成模型,用于创建合成卫星图像数据集。给定一个真实的高分辨率图像和伴随的土地覆盖掩模的数据集,我们表明,这是可能的训练上游条件合成图像生成器,使用该生成器创建合成图像与土地覆盖掩模,然后训练合成图像和土地覆盖掩模,实现类似的测试性能的模型,与真实的图像训练的下游模型。此外,我们发现,将真实图像和合成图像的混合物作为一种数据增强方法,产生比仅使用真实图像更好的模型(0.5834与0.5235 mIoU)。最后,我们发现,鼓励多样性的上游模型的输出是一个必要的组成部分,以提高下游任务的性能。我们已经在GitHub上发布了复制我们工作的代码,请参阅https://github.com/ms-synthetic-satellite-image/synthetic-satellite-imagery。
2023-02-08 cs.CV cs.LG
3D Conditional Generative Adversarial Networks to enable large-scale seismic image enhancement
Google AI(谷歌人工智能);Chevron Energy Technology Company(雪佛龙能源技术公司);Quantiphi(Quantiphi公司)
我们提出了基于GAN的图像增强模型,用于2D和3D地震图像的频率增强。地震成像用于了解和表征地球的地下能源勘探。由于这些图像往往受到分辨率限制和噪声污染,我们提出的方法进行大规模地震体频率增强和去噪。增强的图像减少了不确定性,并改善了有关问题的决策,如最佳布井,这往往依赖于低信噪比(SNR)的地震体积。我们探讨了将岩性类信息添加到模型中的影响,从而在没有条件信息的基线模型上提高了PSNR和SSIM指标的性能。
2019-11-16 cs.CV cs.LG eess.IV
End-to-End Conditional GAN-based Architectures for Image Colourisation
BBC Research & Development(英国广播公司研究与发展部);Dublin City University(都柏林城市大学)
在这项工作中,研究了条件对抗网络的最新进展,以开发一种基于卷积神经网络(CNN)的端到端架构,将逼真的颜色直接映射到输入的灰度图像。观察到现有的着色方法有时表现出缺乏色彩,本文提出了一种方法来改善着色结果。特别是,该方法使用生成对抗神经网络(GANs),并专注于提高训练稳定性,以在大型多类图像数据集中实现更好的泛化。此外,在流行的U-Net架构中引入了generator和tags中的实例和批量规范化层的集成,提高了网络概括内容风格变化的能力。该方法已使用ILSVRC 2012数据集进行了测试,与基于GANs的其他方法相比,实现了改进的自动着色结果。
2019-09-05 cs.CV cs.LG eess.IV
BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities
The University of Hong Kong(香港大学);Hong Kong University of Science and Technology(香港科技大学);Intellifusion(云天励飞);The Chinese University of Hong Kong(香港中文大学)
本文提出条件图像生成模型 BiGR,通过二进制潜码、掩码建模、二进制转码器与熵有序采样统一生成和判别,并在生成质量、表征及零样本视觉任务上验证优势。
2025-01-05 cs.AI cs.CV
Improved Breast Mass Segmentation in Mammograms with Conditional Residual U-net
University of Edinburgh(爱丁堡大学);Western General Hospital(西部总医院)
我们探索使用深度学习进行乳房X线照片中的乳房肿块分割。通过将残差学习和概率图建模的优点与标准U-Net相结合,我们提出了一种新的深度网络,条件残差U-Net(CRU-Net),以提高U-Net分割性能。得益于概率图形建模在像素级标记中的优势,以及深度残差网络在特征提取中的结构洞察,CRU-Net提供了出色的质量分割性能。基于INbreast和DDSM-BCRP数据集的评价表明,与最先进的方法相比,CRU-Net实现了最佳的肿块分割性能。此外,在我们的算法中,既不繁琐的预处理,也不需要后处理技术。
2018-08-27 cs.CV
DF-ACBlurGAN: Structure-Aware Conditional Generation of Internally Repeated Patterns for Biomaterial Microtopography Design
University of Nottingham(诺丁汉大学);Monash University(莫纳什大学);La Trobe University(拉筹伯大学)
本文提出DF-ACBlurGAN,通过结构感知生成内部重复模式,解决生物材料微地形设计中重复结构一致性问题,提升生成模型的全局结构一致性与可控性。
2026-02-04 cs.AI cs.CV cs.LG
Combining Shape Priors with Conditional Adversarial Networks for Improved Scapula Segmentation in MR images
IMT Atlantique(大西洋国立高等矿业电信学院);LaTIM UMR 1101, Inserm(法国国家健康与医学研究院 1101 联合研究单位(医学影像治疗实验室))
本文提出了一种利用深度学习从磁共振(MR)图像中自动分割肩胛骨的方法。这项工作的目的是将解剖先验纳入条件对抗框架,给定有限数量的异构注释图像。我们的方法鼓励分割模型通过学习的非线性形状表示来遵循底层解剖结构的全局解剖特性,而对抗性贡献通过促进逼真的描绘来细化模型。这些贡献进行了评估的15个儿科肩关节检查的数据集,并比较国家的最先进的架构,包括UNet和最近的衍生物。所取得的重大进展为肌肉骨骼疾病的术前管理带来了新的前景。
2020-01-23 cs.CV eess.IV
Generative Adversarial Registration for Improved Conditional Deformable Templates
New York University(纽约大学);MIT(麻省理工学院);MGH(麻省总医院)
可变形模板是大规模医学图像配准、分割和群体分析的基础。当前用于模板构建的常规和基于深度网络的方法仅使用正则化配准目标,并且通常产生具有模糊和/或解剖学上不可信的外观的模板,从而混淆下游生物医学解释。我们将变形配准和条件模板估计重新表述为对抗游戏,其中我们鼓励在移动模板中使用基于灵活图像协变量的生成对抗配准框架的现实主义。由此产生的模板表现出显着的增益属性,如年龄和疾病的特异性,更好地适应潜在的组明智的时空趋势,并实现改进的锐度和中心性。这些改进使得具有不同协变量的群体建模更准确,用于标准化下游分析,并且更容易对感兴趣的结构进行解剖描绘。
2022-03-17 cs.CV cs.LG eess.IV
Improved Conditional VRNNs for Video Prediction
Mila - Université de Montréal(Mila - 蒙特利尔大学);Facebook AI Research(Facebook人工智能研究院);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
预测视频序列的未来帧是一项具有挑战性的生成建模任务。有前途的方法包括概率潜在变量模型,如变分自动编码器。虽然VAE可以处理不确定性并对多种可能的未来结果进行建模,但它们往往会产生模糊的预测。在这项工作中,我们认为这是一个迹象不足。为了解决这个问题,我们建议增加潜在分布的表现力,并使用更高的容量似然模型。我们的方法依赖于一个层次的潜变量,它定义了一个家庭的灵活的先验和后验分布,以更好地模拟未来序列的概率。我们通过一系列的消融实验来验证我们的建议,并将我们的方法与当前最先进的潜变量模型进行比较。我们的方法在三个不同的数据集的几个指标下表现良好。
2019-04-27 cs.CV cs.LG
HCMS: Hierarchical and Conditional Modality Selection for Efficient Video Recognition
Fudan University(复旦大学);University of Maryland(马里兰大学)
视频本质上是多模态的。传统的视频识别流水线通常融合多模态特征以提高性能。然而,这不仅在计算上昂贵,而且忽略了不同视频依赖于不同模式进行预测的事实。本文介绍了分层和条件模态选择(HCMS),一个简单而有效的多模态学习框架,有效的视频识别。HCMS以低成本模式运作,即,默认情况下,音频线索,并在每个输入的基础上动态地决定是否使用计算昂贵的模态,包括外观和运动线索。这是通过以分层方式组织的三个LSTM的协作来实现的。特别是,在高成本模态上操作的LSTM包含门控模块,该门控模块将较低级别的特征和历史信息作为输入,以自适应地确定是否激活其相应的模态;否则,它只是重复使用历史信息。我们进行了广泛的实验上的两个大规模的视频基准,FCVID和ActivityNet,结果表明,所提出的方法可以有效地探索多模态信息,提高分类性能,同时需要更少的计算。
2022-12-06 cs.CV
Improved Anomaly Detection through Conditional Latent Space VAE Ensembles
Lund University(隆德大学)
提出条件潜在空间变分自编码器(CL-VAE),通过为每个类别拟合独特先验分布并集成潜在空间,显著提升了异常检测准确率,在 MNIST 上 AUC 达 97.4%。
2024-10-16 cs.CV cs.LG math.PR
GeMix: Conditional GAN-Based Mixup for Improved Medical Image Augmentation
IRIT, UMR5505 CNRS(IRIT,UMR5505 CNRS);Department of Computer Science(计算机科学系);University of Bucharest(布加勒斯大学)
GeMix利用条件GAN生成软标签引导的混合图像,替代像素插值,在COVIDx-CT-3上提升各骨干网络的宏F1并降低假阴性率,作为即插即用的增强方法。
2025-09-25 cs.AI cs.CV cs.LG
A Conditional Generative Framework for Synthetic Data Augmentation in Segmenting Thin and Elongated Structures in Biological Images
University of Delaware(特拉华大学);University of Virginia(弗吉尼亚大学)
本文提出基于Pix2Pix的条件生成框架,用于生成生物图像中细长结构的合成数据,通过改进的结构损失提升生成图像的结构相似性,实验表明该方法在细长结构分割中表现更优。
2026-03-30 cs.CV
CDVAE: Co-embedding Deep Variational Auto Encoder for Conditional Variational Generation
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如预测图像(X)的新着色场(Y)之类的问题是模糊的:许多非常不同的解决方案都是好的。表示这种模糊性需要建立条件模型P(Y| X)的预测,以图像为条件。这样的模型很难训练,因为我们通常没有包含同一图像的许多不同阴影的训练数据。因此,我们需要不同的训练样本来共享数据以生成良好的模型。这带来了一种我们称之为“代码空间崩溃”的危险--训练过程产生了一个具有非常好的损失分数的模型,但它对条件分布的表现很差。我们证明了一种改进的方法,建立条件模型,利用度量约束的训练数据,防止代码空间崩溃。我们使用真实数据在两个示例任务上演示了我们的模型:图像饱和度调整,图像重新照明。我们描述了量化指标来评估模糊的生成结果。我们的结果在定量和定性上都优于不同的强基线。
2017-03-28 cs.AI cs.CV cs.GR
Neural Modulation Fields for Conditional Cone Beam Neural Tomography
University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所)
本文提出神经调制场(NMF)及条件式锥束神经断层成像框架 CondCBNT,通过在投影数据集上训练单一条件式神经场并建模患者特异性局部调制,提升少投影、多投影及含噪 CBCT 重建性能。
2023-07-17 cs.CV eess.IV
Domain Generalization under Conditional and Label Shifts via Variational Bayesian Inference
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们提出了一个领域泛化(DG)的方法来学习几个标记的源域和知识转移到一个目标域,是在训练中无法访问。考虑到固有的条件性和标签偏移,我们预期$p(x|y)$和$p(y)$的对齐。然而,广泛使用的领域不变特征学习(IFL)方法依赖于对齐的边缘概念移位w.r.t. $p(x)$,它依赖于一个不切实际的假设,即$p(y)$是跨域不变的。因此,我们提出了一种新的变分贝叶斯推理框架,以执行条件分布对齐w.r.t. $p(x|y)$通过在潜在空间中的先验分布匹配,这也采取边际标签偏移w.r. t。$p(y)$与后对线一起考虑。在各种基准上的大量实验表明,我们的框架是强大的标签偏移和跨域的准确性显着提高,从而实现优于传统的IFL同行的性能。
2021-07-22 cs.AI cs.CV cs.LG