Can We Find Strong Lottery Tickets in Generative Models?
Laboratory of Advanced Imaging Technology (LAIT), Ulsan National Institute of Science and Technology (UNIST)(先进成像技术实验室(LAIT),蔚山国立科学技术院(UNIST));University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Naver AI Lab(Naver AI 实验室)
是的在本文中,我们研究了生成模型中的强彩票,即在没有任何权重更新的情况下实现良好生成性能的子网络。神经网络修剪被认为是模型压缩的主要基石,以减少计算和存储成本。不幸的是,生成模型的剪枝尚未得到广泛的研究,所有现有的剪枝算法都存在权重训练成本过高、性能下降、泛化能力有限或训练复杂等问题。为了解决这些问题,我们建议通过时刻匹配分数找到一个强大的彩票。我们的实验结果表明,即使只剩下10%的权重,发现的子网络也可以表现得与训练的稠密模型相似或更好。据我们所知,我们是第一个在生成模型中证明强彩票存在的人,并提供了一个算法来稳定地找到它。我们的代码和补充材料是公开的。
2022-12-16 cs.CV cs.LG
Entropy-Informed Weighting Channel Normalizing Flow for Deep Generative Models
School of Mathematics, South China University of Technology, Guangzhou, China(华南理工大学数学学院);Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院);School of Electronic and Information Engineering, South China University of Technology, Guangzhou, China(华南理工大学电子信息学院);Department of Electrical Engineering, Columbia University, New York, NY USA(哥伦比亚大学电气工程系)
本文提出了一种基于熵感知的加权通道归一化流,通过引入正则化的Shuffle操作提升深度生成模型的密度估计性能。
2025-12-10 cs.CV cs.LG
WKGM: Weight-K-space Generative Model for Parallel Imaging Reconstruction
Nanchang University(南昌大学);Pennsylvania State University(宾夕法尼亚州立大学)
近年来,基于深度学习的并行成像(PI)在加速磁共振成像(MRI)方面取得了很大进展。但是,它仍然存在一些局限性,如现有方法的鲁棒性和灵活性都有很大的不足。在这项工作中,我们提出了一种方法来探索k空间域学习通过强大的生成建模灵活的校准少PI重建,创造的权重k空间生成模型(WKGM)。具体来说,WKGM是一种广义的k空间域模型,其中k空间加权技术和高维空间增强设计被有效地结合用于基于分数的生成模型训练,从而产生良好且鲁棒的重建。此外,WKGM具有灵活性,可以与传统的各种k空间PI模型进行协同组合,充分利用多线圈数据之间的相关性,实现无标定PI。尽管我们的模型只在500张图像上进行了训练,但不同采样模式和加速因子的实验结果表明,WKGM可以通过良好的k空间生成先验获得最先进的重建结果。
2022-11-25 cs.CV eess.IV
WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models
Department of Electrical and Computer Engineering, North Carolina State University, Raleigh, USA(电气与计算机工程系,北卡罗来纳州立大学,拉leys,美国)
提出WeGeFT方法,通过从预训练权重生成微调权重,统一了参数高效与表示高效的微调,在多方面实现高效性的同时保持或超越了LoRA及其变体的性能。
2025-07-13 cs.CV cs.LG
Recovering the Pre-Fine-Tuning Weights of Generative Models
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 Spectral DeTuning 方法,利用少量 LoRA 微调模型即可恢复生成模型的精确微调前权重,证明现有微调对齐安全性假设不成立。
2024-07-01 cs.CL cs.CR cs.CV
Generative Modeling of Convolutional Neural Networks
Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
卷积神经网络(CNN)已被证明是判别学习的强大工具。最近,研究人员也开始对CNN的生成方面表现出兴趣,以便更深入地了解他们所学到的知识以及如何进一步改进它们。本文研究CNN的生成建模。主要贡献包括:(1)构造了一个参考分布指数倾斜形式的CNN生成模型。(2)我们通过非参数重要性采样方案提出了一种用于预训练CNN的生成梯度,该方案与常用的判别梯度有根本不同,但与后者具有相同的计算架构和成本。(3)我们提出了一种生成可视化方法的CNN采样从一个显式的参数图像分布。所提出的可视化方法可以直接绘制合成样本的任何给定的节点在一个训练的CNN的汉密尔顿蒙特卡罗(HMC)算法,而不诉诸任何额外的保持图像。在具有挑战性的ImageNet基准测试上的实验表明,所提出的生成梯度预训练始终有助于提高CNN的性能,并且所提出的生成可视化方法可以从大规模深度CNN中生成有意义的各种合成图像样本。
2015-04-09 cs.CV cs.LG cs.NE
Generating Diffusion MRI scalar maps from T1 weighted images using generative adversarial networks
Linköping University(林雪平大学);Center for Medical Image Science and Visualization (CMIV)(医学影像科学与可视化中心(CMIV));Lund University(隆德大学)
扩散磁共振成像(扩散MRI)是一种非侵入性的微观结构评估技术。量化微结构组织性质的标量测量,诸如FA(分数各向异性)和MD(平均扩散率),可以使用扩散模型和数据处理流水线来获得。然而,收集高质量的扩散数据是昂贵且耗时的。因此,在这里,我们演示了如何使用生成对抗网络(GANs)在单个优化步骤中从结构T1加权图像生成合成扩散标量度量。具体来说,我们训练流行的CycleGAN模型来学习将T1图像映射到FA或MD,反之亦然。作为一个应用程序,我们表明,合成FA图像可以用作非线性配准的目标,以纠正扩散MRI中常见的几何失真。
2019-04-09 cs.CV
Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches
Sichuan University(四川大学)
本文提出一种自协作(SC)策略,通过迭代替换滤波器引导噪声提取模块中的去噪器以生成更优合成图像对,在不增加推理复杂度的情况下提升GAN无监督图像去噪性能,实验证明其优于现有方法。
2023-08-13 cs.CV eess.IV
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在本文中,我们提出了生成对抗网络(GAN)架构,使用胶囊网络进行图像合成。基于特征的位置等方差原理,胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络(CNN)更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多,因此,与使用CNN的GANs及其变体相比,可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外,我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Fluid Flow Mass Transport for Generative Networks
The University of British Columbia(不列颠哥伦比亚大学)
生成对抗网络已被证明在生成内容方面非常强大。为此目的,在过去几年中对它们进行了深入研究。尽管如此,训练这些网络需要解决一个鞍点问题,这个问题很难解决,而且收敛速度很慢。出于技术的点云登记和质量运输的流体流动制剂,我们研究了一种新的配方,是基于严格的最小化,而不需要最大化。该公式将问题视为匹配问题而不是对抗问题,从而使我们能够快速收敛并在优化路径中获得有意义的度量。
2019-10-07 cs.CV cs.LG stat.ML
Generative Adversarial Text to Image Synthesis
University of Michigan(密歇根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
从文本自动合成逼真的图像将是有趣和有用的,但目前的人工智能系统离这一目标还很远。然而,近年来,通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时,深度卷积生成对抗网络(GANs)已经开始生成特定类别的高度引人注目的图像,例如人脸、专辑封面和房间内部。在这项工作中,我们开发了一种新的深层架构和GAN公式,以有效地弥合文本和图像建模的这些进展,将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE
Deep Leakage with Generative Flow Matching Denoiser
CVSSP, University of Surrey, Guildford, United Kingdom(CVSSP,塞维利亚大学,格里福德,英国)
本文提出了一种结合生成流匹配先验的深度泄漏攻击方法,通过提升重建保真度,有效对抗联邦学习中的隐私泄露问题。
2026-01-21 cs.CV
Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement
Laboratory of Advanced Imaging Technology (LAIT)(先进成像技术实验室(LAIT));Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文提出奇异值缩放(SVS)技术,通过最小化剪枝权重奇异值差异来优化权重初始化,提升GAN和Diffusion模型的微调效率与压缩性能,且无需额外训练成本。
2025-03-31 cs.AI cs.CV
Barqi Breed Sheep Weight Estimation based on Neural Network with Regression
Charotar University of Science and Technology(查罗塔科技大学);Scientific Research Group in Egypt(埃及科学研究小组);Cairo University(开罗大学)
计算机视觉是从图像中理解内容的一种非常强大的方法。我们试图利用这种强大的技术,使估计羊体重的困难任务快速和准确。它使我们能够最大限度地减少人类参与测量羊的重量。我们正在使用一种新的分割方法和基于神经网络的回归模型,以实现更好的结果,估计绵羊体重的任务。
2018-07-09 cs.CV
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California(南加州大学);Pinscreen;USC Institute for Creative Technologies(南加州大学创新技术研究院)
生成对抗网络(GANs)是一种高效的无监督学习框架,可以生成非常清晰的数据,即使是具有复杂、高度多峰分布的图像。然而,众所周知,GANs非常难以训练,存在模式崩溃和干扰视觉伪影等问题。批量归一化(BN)技术已被引入到解决的训练。虽然BN在开始时加速了训练,但我们的实验表明,BN的使用可能不稳定,并对训练模型的质量产生负面影响。BN和许多其他最近的计划,以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题,我们首先引入了一种用于GAN训练的权重归一化(WN)方法,该方法显着提高了生成样本的稳定性,效率和质量。为了进行系统的评估,我们在测试集上引入平方欧几里德重建误差作为新的客观度量,以评估生成样本的速度,稳定性和质量方面的训练性能。我们在常用数据集(CelebA,LSUN bedroom和CIFAR-10)上使用标准DCGAN架构进行的实验表明,对于GANs,使用WN进行训练通常优于BN,重建的均方损失降低了10%,并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
Image Outpainting and Harmonization using Generative Adversarial Networks
Columbia University(哥伦比亚大学)
虽然预测图像所有四个边缘之外的内容这一固有的模糊任务以前很少被探索过,但我们证明了GANs在产生合理的外推方面具有强大的潜力。提出了两种外画方法,旨在煽动这一系列的研究:第一种方法使用一个上下文编码器的灵感来自常见的修复架构和范例,而第二种方法增加了一个额外的后处理步骤,使用单图像生成模型。通过这种方式,超分辨率细节与原始图像的风格相结合,以进一步提高结果的质量,并可能支持任意的输出分辨率。
2020-02-15 cs.CV
Layer rotation: a surprisingly powerful indicator of generalization in deep networks?
Université catholique de Louvain(鲁汶天主教大学)
我们的工作提供了大量的经验证据,证明层旋转,即每个层的权重向量与其初始化之间的余弦距离的训练演变,构成了泛化性能的令人印象深刻的一致指标。特别是,每层的最终和初始权重之间的余弦距离越大,最终模型的泛化性能越好。有趣的是,这种关系承认一个网络独立的最佳:训练过程中,所有层的权重达到余弦距离1从他们的初始化始终优于其他配置-高达30%的测试精度。此外,我们表明,层旋转很容易监测和控制(有助于超参数调整),并可能提供一个统一的框架来解释学习率调整,权重衰减,学习率热身和自适应梯度方法对泛化和训练速度的影响。为了解释层旋转的惊人特性,我们在MNIST上训练的1层MLP上显示,层旋转与中间层的特征被训练的程度相关。
2019-07-01 cs.CV cs.LG stat.ML
Conditional Idempotent Generative Networks
提出条件幂等生成网络(CIGN),通过引入通道和滤波器条件化架构实现可控的单次数据生成,并在MNIST数据集上验证了其有效性。
2024-06-05 cs.AI cs.CV cs.LG
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University(马凯特大学)
深度学习是计算机断层扫描(CT)图像处理(如器官分割)中流行且功能强大的工具,但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性,但由于对儿童的辐射风险,儿科CT扫描的训练数据集尤其难以获得。在本文中,我们提出了一种方法,有条件地合成逼真的儿科CT图像,使用一个新的辅助分类器生成对抗网络(ACGAN)架构,考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像,以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
PCAAE: Principal Component Analysis Autoencoder for organising the latent space of generative networks
LTCI, Télécom Paris, Université Paris Saclay(巴黎萨克雷大学巴黎电信学院LTCI实验室)
自动编码器和生成模型产生了一些迄今为止最壮观的深度学习结果。然而,理解和控制这些模型的潜在空间提出了相当大的挑战。借鉴主成分分析和自动编码器的思想,提出了主成分分析自动编码器(PCAAE)。这是一种新型的自动编码器,其潜在空间验证了两个属性。首先,维度按照相对于手头数据的重要性递减来组织。其次,潜在空间的分量是统计独立的。我们通过在训练过程中逐渐增加潜在空间来实现这一点,并将协方差损失应用于潜在代码。由此产生的自动编码器产生一个潜在空间,它以完全无监督的方式将数据的固有属性分离到潜在空间的不同分量中。我们还描述了我们的方法的扩展到强大的,预先训练的GANs的情况。我们展示了形状的合成示例和最先进的GAN的结果。例如,我们能够在CelebA中分离头发和皮肤的颜色阴影比例,面部的姿势和性别,而无需访问任何标签。我们比较的PCAAE与其他国家的最先进的方法,特别是在潜在空间中解开属性的能力。我们希望这种方法将有助于更好地理解强大的深度生成模型的内在潜在空间。
2020-06-14 cs.CV
Automated Tuning for Diffusion Inverse Problem Solvers without Generative Prior Retraining
Department of Electrical \& Computer Engineering, University of Minnesota, MN, USA;Center for Magnetic Resonance Research, University of Minnesota, MN, USA
提出零样本自适应扩散采样(ZADS)方法,通过测试时自监督优化数据保真权重,无需重训练扩散先验即可在任意噪声计划下实现高保真MRI重建。
2025-09-11 cs.AI cs.CV cs.LG
Ambient Hidden Space of Generative Adversarial Networks
Huawei Technologies Noah’s Ark Lab(华为技术诺亚方舟实验室);National University of Singapore(新加坡国立大学)
生成对抗模型是为各种任务在复杂分布中建模结构的强大工具。用于学习生成模型的当前技术需要访问具有高质量的样本,并且高级生成模型被应用于通过环境模块从噪声训练数据生成样本。然而,这些模仅对生成器的输出空间是实用的,它们在隐空间中的应用还没有得到很好的研究。本文将环境模块扩展到生成器的隐空间,并给出了对抗训练过程中环境隐生成器的唯一性条件和相应的策略。我们报告所提出的方法在基准数据集上的实用性。
2018-07-02 cs.AI cs.CV cs.LG
Regularized Training of Intermediate Layers for Generative Models for Inverse Problems
Khoury College of Computer Sciences, Northeastern University(东北大学库理计算机学院);Department of Mathematics, Northeastern University(东北大学数学系)
生成对抗网络(GANs)在解决逆问题时已被证明是强大而灵活的先验。使用它们的一个挑战是克服表示误差,这是网络表示任何特定信号的基本限制。最近,多个提出的反演算法通过优化中间层表示来减少表示误差。这些方法通常应用于生成模型,该生成模型被训练为与下游反演算法无关。在我们的工作中,我们引入了一个原则,即如果生成模型旨在使用基于中间层优化的算法进行反演,则应该以正则化这些中间层的方式进行训练。我们实例化这一原则的两个显着的最近的反演算法:中间层优化和多码GAN之前。对于这两种反演算法,我们引入了一种新的正则化GAN训练算法,并证明了在解决压缩感知,修复和超分辨率问题时,学习的生成模型在很宽的采样率范围内具有较低的重建误差。
2022-03-08 cs.CV cs.LG eess.IV
Enhancing Small-Scale Dataset Expansion with Triplet-Connection-based Sample Re-Weighting
Hunan University(湖南大学)
针对生成模型扩展数据集时产生噪声图像的问题,提出基于三元连接的样本重加权方法TriReWeight,理论上可与任意生成数据增强方法集成且不降低性能,实验表明其在自然图像和医疗数据集上分别平均优于SOTA方法7.9%和3.4%。
2025-08-11 cs.CV
Continual Learning of Diffusion Models with Generative Distillation
Master in Computer Vision (Barcelona)(巴塞罗那计算机视觉硕士项目);Apple(苹果公司);KU Leuven(鲁汶大学)
本文提出生成式蒸馏方法,通过蒸馏扩散模型整个逆向过程,解决了标准生成式回放在扩散模型持续学习中导致去噪能力灾难性丧失的问题,在计算成本略增的情况下显著提升了持续学习性能。
2024-05-20 cs.AI cs.CV cs.LG
Dyna Planning using a Feature Based Generative Model
McGill University(麦吉尔大学);School of Computer Science(计算机科学学院)
Dyna风格的强化学习是一种强大的方法,可以解决没有太多真实数据的问题。其主要思想是用从环境的学习模型中采样的模拟轨迹来补充真实轨迹或随时间推移的采样状态序列。然而,在大的状态空间中,学习环境的良好生成模型的问题到目前为止还没有解决。我们建议使用深度信念网络来学习用于Dyna的环境模型。我们提出了我们的方法,并验证它的经验上的问题,状态观测包括图像。我们的研究结果表明,使用深度信念网络,这是完全生成模型,显着优于使用线性期望模型,在萨顿等人(2008年)提出。
2018-05-23 cs.AI cs.CV cs.LG
Generative AI in Vision: A Survey on Models, Metrics and Applications
University of Maryland(马里兰大学)
本文综述了视觉生成式人工智能中的扩散模型与传统模型,涵盖其理论基础、关键技术和在文本到图像、图像修复、超分辨率等任务中的应用,旨在为研究者提供全面理解并启发未来创新。
2024-02-26 cs.AI cs.CV cs.LG
Disentangled Uncertainty and Out of Distribution Detection in Medical Generative Models
Manipal Institute of Technology(马尼帕尔理工学院);University of Groningen(格罗宁根大学)
在医疗领域等安全关键环境中信任深度学习模型的预测仍然不是一个可行的选择。在医学成像领域中,不确定性量化的问题很少受到关注。在本文中,我们研究在医学领域的图像到图像的翻译任务中的解纠缠的不确定性。我们比较了多种不确定性量化方法,即Ensembles,Flipout,Dropout和DropConnect,同时使用CycleGAN将T1加权脑部MRI扫描转换为T2加权脑部MRI扫描。我们进一步评估了存在分布数据(脑CT和RGB面部图像)的不确定性行为,表明认知不确定性可以用于检测分布输入,这应该会增加模型输出的可靠性。
2022-11-11 cs.CV cs.LG eess.IV
Robust Compressed Sensing MRI with Deep Generative Priors
ECE, UT Austin(德克萨斯大学奥斯汀分校电子与计算机工程系)
CSGM框架(Bora-Jalal-Price-Dimakis'17)表明,深度生成先验可以成为解决逆问题的强大工具。然而,到目前为止,这个框架仅在某些数据集(例如人脸和MNIST数字)上取得了经验上的成功,并且已知它在分布外样本上表现不佳。在本文中,我们提出了第一个成功的应用CSGM框架的临床MRI数据。我们训练一个生成的前从fastMRI数据集的脑扫描,并通过朗之万动力学后采样实现高质量的重建。此外,我们的实验和理论表明,后验采样是强大的地面真理分布和测量过程中的变化。我们的代码和型号可从以下网址获得:\url{https://github.com/utcsilab/csgm-mri-langevin}。
2021-12-06 cs.CV cs.IT cs.LG
Generative Models at the Frontier of Compression: A Survey on Generative Face Video Coding
DAMO Academy, Alibaba Group(阿里达摩院);Hupan Lab(虎斑实验室);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);CNRS, CentraleSupelec, Laboratoire desSignaux et Systèmes, Université Paris-Saclay(法国巴黎萨克雷大学信号与系统实验室);Alibaba Group(阿里集团)
本文综述生成式人脸视频编码(GFVC),系统梳理方法、基准、质量评价数据库、标准化路径与低复杂度系统,展示其在超低码率下超越 VVC 的高保真人脸通信潜力。
2025-06-09 cs.CV
DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks
HKUST(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出统一SDE框架DiffFlow,将SDMs和GANs的学习动力学纳入同一随机微分方程,通过调节分数权重实现两类模型平滑过渡,并给出具有精确似然推断的新算法。
2023-07-05 cs.CV cs.LG math.AP
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models
Independent Researcher
该研究挑战判别与生成模型的根本区别,提出直接上升合成(DAS)方法,通过多分辨率优化CLIP表示,在无额外训练下实现高质量图像合成,支持多样应用并揭示判别模型隐藏的生成能力。
2025-02-11 cs.CV
Deep Generative Models for 3D Medical Image Synthesis
University of Basel(巴塞尔大学);Technical University Darmstadt(达姆施塔特工业大学)
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标,并指出当前挑战。
2024-10-23 cs.CV eess.IV
Bayesian Volumetric Autoregressive generative models for better semisupervised learning
Institute of Neurology, UCL(伦敦大学学院神经病学研究所);School of Biomedical Engineering and Imaging Sciences, Kings College London(伦敦国王学院生物医学工程与成像科学学院)
深度生成模型在医学成像中迅速获得牵引力。尽管如此,大多数生成架构都难以捕获体积数据的潜在概率分布,存在收敛问题,并且没有提供模型不确定性的鲁棒指数。相比之下,自回归生成模型PixelCNN可以相对容易地扩展到体积数据,它很容易尝试学习真实的潜在概率分布,并且仍然允许贝叶斯重构,为模型不确定性的推理提供了原则性框架。我们在本文中的贡献有两个方面:首先,我们扩展了PixelCNN,使其能够处理体积脑磁共振成像数据。其次,我们表明,重新制定这个模型,以近似深高斯过程产生的不确定性的措施,提高性能的半监督学习,特别是分类性能的设置中的标记数据的比例是低的。我们在分类、回归和语义分割任务中量化了这种改进,并对包括T1加权和扩散加权序列的临床磁共振脑成像数据进行了训练和测试。
2019-07-26 cs.CV cs.LG eess.IV
Joint Intensity-Gradient Guided Generative Modeling for Colorization
Nanchang University(南昌大学)
本文提出了一种迭代生成模型来解决自动彩色化问题。虽然已有的研究表明该方法能够产生真实的颜色,但边缘颜色溢出和对参考图像的要求仍然存在。本研究中的无监督学习的出发点是观察到梯度图具有图像的潜在信息。因此,生成式建模的推理过程在联合强度-梯度域中进行。具体而言,一组强度梯度形成的高维张量,作为网络的输入,用于训练一个强大的噪声条件得分网络在训练阶段。此外,在数据保真度项中引入联合强度梯度约束,限制了迭代着色阶段生成模型的自由度,有利于边缘保持。大量的实验表明,该系统优于国家的最先进的方法,无论是在定量比较或用户研究。
2020-12-28 cs.CV
Generative VoxelNet: Learning Energy-Based Models for 3D Shape Synthesis and Analysis
Baidu Research(百度研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);ETH Zürich(苏黎世联邦理工学院);Tsinghua University(清华大学);Peking University(北京大学)
三维数据包含了丰富的物体和场景的几何信息,对于理解三维物理世界具有重要价值。随着近年来大规模3D数据集的出现,拥有一个强大的3D生成模型来进行3D形状合成和分析变得越来越重要。本文提出了一种基于能量的深度3D模型来表示体积形状。模型的最大似然训练遵循“综合分析”方案。该模型的优点有六个方面:第一,与GANs和VAE不同,模型训练不依赖任何辅助模型;第二,模型可以通过马尔可夫链蒙特卡罗(MCMC)合成逼真的3D形状;第三,条件模型可以应用于3D对象恢复和超分辨率;第四,该模型可以作为用于高分辨率3D形状合成的多网格建模和采样框架中的构件块;第五,该模型可以用于通过MCMC教学训练3D生成器;第六,无监督训练的模型为3D数据提供了强大的特征提取器,这对于3D对象分类是有用的。实验表明,该模型可以生成高质量的三维形状模式,可以用于各种各样的三维形状分析。
2020-12-25 cs.CV
Making Training-Free Diffusion Segmentors Scale with the Generative Power
Institute of Information Engineering, CAS(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室);School of Cyber Science and Tech., Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间安全学院);Alibaba Group(阿里巴巴集团);School of Computer Science and Tech., University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Key Laboratory of Big Data Mining and Knowledge Management, CAS(中国科学院大数据挖掘与知识管理重点实验室);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文研究了如何通过提升扩散模型的生成能力来改进免训练的图像分割方法,提出自动聚合和像素级重缩放技术以解决注意力图与全局表示不一致及文本标记间得分不平衡的问题。
2026-03-27 cs.CV
RNN-based Generative Model for Fine-Grained Sketching
ETH Zurich(苏黎世联邦理工学院)
深度生成模型在合成新图像方面表现出了巨大的潜力。虽然它们可以生成在更高层次上看起来令人信服的图像,但生成细粒度的细节仍然是一个挑战。为了促进更强大的生成方法的研究,本文提出了一个新的任务:生成建模的2D树骨架。树是一个有趣的形状类,因为它们表现出的复杂性和变化非常适合衡量生成模型生成详细结构的能力。我们为此任务提出了一个新的数据集,并证明了最先进的生成模型无法在我们的基准上合成逼真的图像,尽管它们在MNIST数字等当前数据集上表现良好。受这些结果的启发,我们提出了一种新的网络架构的基础上相结合的变分自编码器使用递归神经网络和卷积神经网络。网络,误差度量和训练过程是适应的细粒度草图的任务。通过定量和感知实验,我们表明我们的模型优于以前的工作,我们的数据集是生成模型的一个有价值的基准。我们将公开我们的数据集。
2019-01-13 cs.CV
Generative Adversarial Networks for Unsupervised Object Co-localization
Yonsei University(延世大学)
提出了一种基于生成对抗网络(GANs)的无监督目标协同定位方法。GAN是一种强大的工具,可以以无监督的方式隐式地学习未知数据分布。从观察到,GAN像素是高度影响的像素出现的对象,我们分析的内部层的像素和可视化的激活像素。我们的重要发现是,高图像多样性的GAN,这是GAN研究的主要目标,具有讽刺意味的是不利于对象定位,因为这样的鉴别器不仅关注于目标对象,而且关注于各种对象,如背景对象。基于大量的评估和实验研究,我们发现图像多样性和定位性能有负相关。此外,我们的方法使用公开的基准数据集实现了无监督对象协同定位的有意义的准确性,甚至可以与最先进的弱监督方法相媲美。
2018-07-08 cs.CV
Homotopic Gradients of Generative Density Priors for MR Image Reconstruction
Nanchang University(南昌大学)
最近,深度学习,特别是生成模型,已经证明了在减少测量的情况下显著加速图像重建的巨大潜力。不同于现有的生成模型通常对密度先验进行优化,本文利用去噪分数匹配,提出了一种基于同伦梯度的生成密度先验(HGGDP)模型,用于磁共振成像(MRI)重建。更准确地说,为了解决生成密度先验中的低维流形和低数据密度区域问题,我们在高维空间中估计目标梯度。我们训练一个更强大的噪声条件得分网络,形成高维张量作为网络的输入在训练阶段。更多的人工噪声也被注入嵌入空间。在重建阶段,同伦方法被用来追求密度先验,如提高重建性能。实验结果表明,HGGDP在高重建精度方面表现出色,仅10%的k空间数据仍然可以像标准MRI重建一样有效地生成高质量的图像。
2021-02-01 cs.CV eess.IV