Invertible generative models for inverse problems: mitigating representation error and dataset bias
itu(信息科技大学);rice(里士满大学);neumcs(东北大学)
本文提出利用可逆神经网络作为逆问题先验,因其零表示误差特性,在压缩感知等任务中优于稀疏先验和GAN先验,尤其对分布外图像,并给出理论误差界。
2025-10-27 cs.CV
InvGAN: Invertible GANs
MPI for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所,图宾根);Amazon.com, Inc.(亚马逊公司)
真实感图像的生成、语义编辑和表示学习是高分辨率生成模型的许多潜在应用中的几个。GANs的最新进展使其成为此类任务的绝佳选择。然而,由于它们不提供推理模型,因此无法使用GAN潜在空间在真实图像上进行图像编辑或下游任务,例如分类。尽管进行了大量努力来训练推理模型或设计迭代法以反转预训练的生成器,但先前的方法是数据集(例如人脸图像)和架构(例如StyleGAN)特定的。这些方法对于扩展到新的数据集或架构是非常重要的。我们提出了一个通用的框架,是不可知的架构和数据集。我们的关键见解是,通过一起训练推理和生成模型,我们允许它们相互适应,并收敛到一个更好的质量模型。我们的\textbf{InvGAN}是Invertible GAN的缩写,它成功地将真实图像嵌入到高质量生成模型的潜在空间中。这使我们能够执行图像修补,合并,插值和在线数据增强。我们证明了这一点与广泛的定性和定量实验。
2021-12-10 cs.CV cs.LG stat.ML
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models
University of Toronto(多伦多大学);Vector Institute(向量研究所);OpenAI
一类有前途的生成模型通过可逆神经网络将点从简单分布映射到复杂分布。这些模型的基于可能性的训练需要限制它们的架构,以允许雅可比行列式的廉价计算。或者,如果变换由常微分方程指定,则可以使用雅可比迹。在本文中,我们使用Hutchinson的迹估计给出了一个可扩展的无偏估计的对数密度。其结果是一个连续时间可逆的生成模型,无偏密度估计和一次采样,同时允许不受限制的神经网络架构。我们展示了我们的方法在高维密度估计,图像生成和变分推理,实现国家的最先进的精确似然方法与有效的采样。
2018-10-22 cs.CV cs.LG stat.ML
Generative Invertible Networks (GIN): Pathophysiology-Interpretable Feature Mapping and Virtual Patient Generation
Georgia Institute of Technology(佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院);School of Computational Science and Engineering, Georgia Tech(佐治亚理工学院计算科学与工程学院);Department of Industrial Engineering and Engineering Management, National Tsing Hua University(国立清华大学工业工程与工程管理系);Marcus Heart Valve Center, Piedmont Heart Institute(皮埃蒙特心脏研究所马库斯心脏瓣膜中心);School of Materials Science and Engineering, Georgia Tech(佐治亚理工学院材料科学与工程学院)
机器学习方法在复杂手术和干预的术前规划中发挥着越来越重要的作用。然而,研究人员经常发现新兴外科技术的历史记录,如经导管主动脉瓣置换术(TAVR),数量非常稀少。在本文中,我们通过提出新的生成可逆网络(GIN)来选择特征并生成高质量的虚拟患者来应对这一挑战,这些虚拟患者可能会作为机器学习的额外数据源。结合卷积神经网络(CNN)和生成对抗网络(GAN),GIN发现了特征空间的病理生理意义。此外,直接使用所选择的特征预测手术结果的测试导致81.55%的高准确度,这表明在进行特征选择时几乎没有丢失病理生理信息。这表明GIN可以生成虚拟患者,不仅视觉上真实,而且病理生理学上可解释。
2018-08-14 cs.CV
Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models
Kyushu University(九州大学)
在本文中,我们提出了一个深度可逆的混合模型,它集成了半监督Few-Shot分类在潜在空间水平的判别和生成学习。从图像数据中分类新物种的各种任务可以建模为半监督的Few-Shot分类,其假设标记和未标记的训练样本和目标类的小支持集。预测目标类与几个支持的例子,每个类使得学习任务困难的现有的半监督分类方法,包括自训练,迭代地估计类标签的未标记的训练样本学习分类器的训练类。为了有效地利用未标记的训练样本,我们采用复合似然作为目标函数,它集成了判别式和生成式学习,比参数耦合先验更适合深度神经网络,另一种流行的集成学习方法。在我们提出的模型中,判别模型和生成模型分别是原型网络,它们在各种少样本学习中表现出出色的性能,而Normalizing Flow是一种深度可逆模型,它与其他三种主要方法不同,返回精确的边际似然,即,VAE、GAN和自回归模型。我们的主要创意在于我们在潜在的空间水平,这是有效地防止过度拟合这些组件的集成。使用mini-ImageNet和VGG-Face数据集的实验表明,我们的方法优于基于自训练的原型网络。
2021-05-22 cs.CV cs.LG
TransLight: Image-Guided Customized Lighting Control with Generative Decoupling
OpenAI
针对现有光照编辑方法难以同时实现光照效果定制化控制与内容完整性保留的问题,提出TransLight框架,通过生成解耦分离内容与光照并构建百万级三元组数据集,结合IC-Light模型实现光照效果高保真转移,为光照编辑开辟新方向。
2025-08-20 cs.AI cs.CV
Adaptive Density Estimation for Generative Models
Inria(法国国家信息与自动化研究所);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
近年来,生成模型的无监督学习取得了巨大进展,特别是由于生成对抗网络(GANs),变分自编码器和基于流的模型。GANs显著地提高了样本质量,但存在两个缺点:(i)它们的模式下降,即,不涵盖对训练数据的完全支持,以及(ii)它们不允许对保留的数据进行可能性评估。相比之下,基于可能性的训练鼓励模型覆盖训练数据的全部支持,但产生较差的样本。这些相互的缺点原则上可以通过以混合对抗似然方式训练生成潜在变量模型来解决。然而,我们发现,通常的参数假设之间产生了冲突,成功的混合模型不平凡。作为解决方案,我们建议在潜在变量解码器中使用深度可逆变换。这种方法允许在图像空间中进行似然计算,比完全可逆模型更有效,并且可以充分利用对抗训练。我们表明,我们的模型比现有的混合模型有显着改进:提供类似GAN的样本,与完全对抗模型竞争的IS和FID分数,以及改进的似然分数。
2020-01-03 cs.CV cs.LG
Deep Generative Networks For Sequence Prediction
University of Pennsylvania(宾夕法尼亚大学);Université de Montréal(蒙特利尔大学)
本文研究了无监督时间序列表示学习的序列预测问题,即通过将静态输入表示与递归序列表示解耦,为高维输入序列生成具有先前历史的好看的输入样本。我们介绍了三种基于生成随机网络(GSN)的无监督序列学习和预测模型。这三种模型的实验结果顺序手写数字(MNIST)数据,低分辨率弹跳球的视频,和运动捕捉数据的像素。本文的主要贡献是提供证据证明GSN是学习复杂序列输入数据的有用表示的可行框架,并提出了一个新的框架,用于深度生成模型,通过将静态输入表示与动态时间依赖表示解耦来学习复杂序列。
2018-04-18 cs.LG stat.ML
Decoupling High and Low Frequencies for Faithful Image Generation with Fine Details
University of Mannheim(曼海姆大学);Autodesk AI Lab(Autodesk人工智能实验室);MPI for Informatics(信息研究所)
该研究针对潜在生成模型难以恢复图像高频细节的问题,提出DeBaT解耦频带分词器,将其集成到潜在扩散模型后,可生成更锐利、更真实的图像样本。
2026-08-21 cs.CV cs.LG
Geometric Decoupling: Diagnosing the Structural Instability of Latent
School of Computer Science and Informatics(计算机科学与信息学学院);Cardiff University(卡迪夫大学);Cardiff, United Kingdom(英国卡迪夫)
本文提出通过分析生成雅可比矩阵,将几何分解为局部缩放和局部复杂度,揭示潜在扩散模型中潜在空间不稳定性的问题,并提出几何解耦作为评估生成可靠性的新指标。
2026-04-20 cs.AI cs.CV
Guided Image Generation with Conditional Invertible Neural Networks
Visual Learning Lab Heidelberg(海德堡视觉学习实验室)
在这项工作中,我们解决了自然图像生成的任务由条件输入引导。我们介绍了一种新的架构称为条件可逆神经网络(cINN)。cINN将纯生成式INN模型与无约束前馈网络相结合,有效地将条件输入预处理为有用的特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。通过构造,与例如cGAN相比,cINN不经历模式坍塌并且生成不同的样本。与此同时,我们的模型产生清晰的图像,因为不需要重建损失,与VAE相比。我们证明了这些属性的任务MNIST数字生成和图像着色。此外,我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性,例如以直观的方式改变图像风格。
2019-07-10 cs.CV cs.LG
CInC Flow: Characterizable Invertible 3x3 Convolution
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);École Normale Supérieure (ENS) Paris-Saclay(巴黎萨克雷高等师范学院)
规范化流是生成建模的GANs的重要替代方案,可以直接在数据集的最大似然上进行优化。它们还允许计算对应于图像的确切的潜在向量,因为它们由可逆变换组成。然而,对变换可逆性的要求阻止了标准的和表达性的神经网络模型,例如CNN被直接使用。提出了涌现卷积,以使用一对掩蔽的CNN层来构造可逆的3 $\times$ 3 CNN层,这使得它们效率低下。我们研究的条件,使3 $\times$ 3 CNN是可逆的,使他们能够构建表达规范化流。我们推导出填充CNN可逆的充分必要条件。我们的可逆性条件很简单,在训练过程中很容易保持。由于我们只需要一个单一的CNN层为每个有效的可逆CNN层,我们的方法比新兴的卷积更有效。我们还提出了一种耦合方法,四耦合。我们对我们的方法进行了基准测试,并显示出与紧急卷积相似的性能结果,同时提高了模型的效率。
2021-07-03 cs.AI cs.CV cs.LG
When and How Can Deep Generative Models be Inverted?
Technion, Israel(以色列理工学院)
近年来,深度生成模型(例如GANs和VAE)得到了广泛的发展。最近,人们对这种模型的反演越来越感兴趣,即给定一个(可能损坏的)信号,我们希望恢复生成它的潜在向量。基于稀疏表示理论,我们定义了适用于任何反演算法(梯度下降,深度编码器等)的条件,在该条件下,这种生成模型是可逆的,具有唯一解。重要的是,所提出的分析适用于任何训练模型,并且不依赖于高斯i.i.d.。权重此外,我们为任意深度的训练生成网络引入了两种逐层反演追踪算法,并伴随着恢复保证。最后,我们验证了我们的理论结果数值,并表明我们的方法优于梯度下降时,反转这样的发电机,无论是干净的和损坏的信号。
2020-06-28 cs.CV cs.LG stat.ML
Invertible Conditional GANs for image editing
Computer Vision Center(计算机视觉中心)
生成对抗网络(GANs)最近已经证明可以成功地近似复杂的数据分布。该模型的一个相关扩展是条件GANs(cGANs),其中引入外部信息允许确定生成图像的特定表示。在这项工作中,我们评估编码器以逆cGAN的映射,即,将真实图像映射到潜在空间和条件表示。例如,这允许重建和修改以任意属性为条件的面部的真实图像。此外,我们还评估了cGAN的设计。编码器与cGAN的组合,我们称之为Invertible cGAN(IcGAN),能够重新生成具有确定性复杂修改的真实图像。
2016-11-19 cs.AI cs.CV
Invertible DenseNets with Concatenated LipSwish
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
我们引入可逆稠密网络(i-DenseNets),这是残差流的一个更有效的参数扩展。该方法依赖于对DenseNets中级联的Lipschitz连续性的分析,其中我们通过满足Lipschitz常数来强制网络的可逆性。此外,我们提出了一个可学习的加权级联,这不仅提高了模型的性能,但也表明了级联的加权表示的重要性。此外,我们引入了级联LipSwish作为激活函数,我们展示了如何执行Lipschitz条件并提高性能。新架构i-DenseNet在每维比特数评估的密度估计上优于残差流和其他基于流的模型,其中我们使用相等的参数预算。此外,我们证明了该模型在训练为混合模型时优于残差流,其中该模型既是生成模型又是判别模型。
2021-10-23 cs.LG stat.ML
Exchangeable Generative Models with Flow Scans
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google Research(谷歌研究院)
在这项工作中,我们开发了一种新的方法来生成密度估计可交换的,非独立同分布。数据所提出的框架,FlowScan,结合可逆的流转换与排序扫描,灵活地建模的数据,同时保持交换。与大多数现有方法不同,FlowScan利用集合内的内部依赖性来学习全局和局部结构。FlowScan代表了第一种能够将顺序方法应用于可交换密度估计而无需对所有可能的排列进行平均的方法。我们在点云和图像集建模方面实现了最先进的性能。
2019-09-18 cs.LG stat.ML
LU-Net: Invertible Neural Networks Based on Matrix Factorization
Bielefeld University(比勒费尔德大学);University of Wuppertal(伍珀塔尔大学)
LU-Net是一种简单快速的可逆神经网络(INN)结构,它基于二次权矩阵$\mathsf{A=LU}$的分解,其中$\mathsf{L}$是下三角矩阵,对角线上为1,$\mathsf{U}$是上三角矩阵。我们不是学习完全占用的矩阵$\mathsf{A}$,而是分别学习$\mathsf{L}$和$\mathsf{U}$。如果与可逆的激活函数相结合,则只要$\mathsf{U}$的对角项不为零,就可以容易地将这些层反转。此外,这种层的雅可比矩阵的行列式的计算是便宜的。因此,LU架构允许通过变量公式的变化来廉价地计算似然,并且可以根据最大似然原理进行训练。在我们的数值实验中,我们在几个学术数据集上测试了作为生成模型的LU网络架构。我们还提供了一个详细的比较与传统的可逆神经网络的性能,训练以及运行时间。
2023-02-21 cs.LG cs.NE
Unsupervised Domain Transfer with Conditional Invertible Neural Networks
German Cancer Research Center (DKFZ)(德国癌症研究中心);Heidelberg University(海德堡大学);Helmholtz Information and Data Science School for Health(亥姆霍兹健康信息与数据科学学院)
本文提出基于条件可逆神经网络的无监督域迁移方法,利用可逆架构天然保证循环一致性并通过最大似然高效训练,在高光谱成像和光声断层成像两个下游分类任务上优于现有方法。
2023-03-17 cs.CV cs.LG eess.IV
DTGBrepGen: A Novel B-rep Generative Model through Decoupling Topology and Geometry
University of Science and Technology of China(中国科学技术大学)
针对 B-rep 生成中拓扑与几何耦合导致有效性和精度不足的问题,本文提出 DTGBrepGen 解耦框架,分阶段构建拓扑并利用 Transformer 扩散模型顺序生成几何,显著提升生成质量。
2025-03-17 cs.CV
Semantic Latent Alignment for Flow Matching with Invertible Bi-Lipschitz Adapters
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Imperial College London(伦敦帝国学院)
该研究提出可逆双利普希茨适配器,通过离线对齐语义教师的方式,在固定预训练自编码器的编码器和解码器的情况下,实现潜在空间的语义对齐,在医学成像数据集上验证了其有效性。
2026-10-16 cs.CV cs.LG
NS-Net: Decoupling CLIP Semantic Information through NULL-Space for Generalizable AI-Generated Image Detection
Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology(数字取证工程研究中心,教育部,南京信息科技大学);University of Macau(澳门大学)
本文提出NS-Net,通过NULL空间投影解耦CLIP视觉特征中的语义信息,结合对比学习捕捉真实与生成图像的分布差异,提升AI生成图像检测的泛化能力。
2026-10-26 cs.CV
Leveraging Image-based Generative Adversarial Networks for Time Series Generation
Humboldt University of Berlin(柏林洪堡大学)
本文提出扩展跨期回报图(XIRP)作为时间序列的二维图像表示,利用WGAN-GP生成合成数据,在预测能力上显著优于基于RNN的生成模型,并引入改进的随机反演提升模拟质量。
2023-08-31 cs.CV cs.LG stat.ML
Universal approximation property of invertible neural networks
Ehime University(爱媛大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
可逆神经网络(Invertible Neural Networks,INN)是一种通过设计而具有可逆性的神经网络结构。由于其可逆性和雅可比矩阵的易处理性,INN具有各种机器学习应用,例如概率建模,生成建模和表示学习。然而,它们吸引人的特性往往是以限制层设计为代价的,这就对它们的表示能力提出了一个问题:我们能否使用这些模型来近似足够多样化的函数?为了回答这个问题,我们已经开发了一个通用的理论框架来研究INN的表示能力,建立在微分几何的结构定理上。该框架简化了仿射的逼近问题,使我们能够显示INN的通用逼近性质。我们将该框架应用于两类具有代表性的INN,即基于耦合流的INN(CF-INN)和神经常微分方程(NODE),并阐明其高表示能力,尽管其架构上的限制。
2022-04-15 cs.LG cs.NE stat.ML
Continuous Methods : Hamiltonian Domain Translation
TAU, Inria(法国国家信息与自动化研究所TAU团队);LISN, Université Paris-Saclay(巴黎萨克雷大学LISN实验室);CNRS(法国国家科学研究中心);IRT - SystemX(SystemX技术研究学院)
本文提出了一种新的领域翻译方法。利用生成模型和动态系统之间建立的相似之处,我们提出了一个重新制定的Cycle-GAN架构。通过嵌入我们的模型与哈密顿结构,我们获得了一个连续的,表达和最重要的是可逆的生成模型域翻译。
2022-07-08 cs.CV
Neural Spline Flows
University of Edinburgh(爱丁堡大学)
归一化流将复杂的概率密度建模为简单基础密度的可逆变换。基于耦合或自回归变换的流都提供精确的密度评估和采样,但依赖于一个容易可逆的元素级变换的参数化,其选择决定了这些模型的灵活性。基于最近的工作,我们提出了一个基于单调有理二次样条的完全可微模块,它增强了耦合和自回归变换的灵活性,同时保留了分析可逆性。我们证明,神经样条流提高密度估计,变分推断,并生成图像建模。
2019-12-02 cs.LG stat.ML
Scaling-based Data Augmentation for Generative Models and its Theoretical Extension
Science Tokyo(科学东京);RIKEN(理化学研究所)
本文研究生成模型稳定学习问题,揭示 Diffusion-GAN 中数据缩放的关键作用,提出结合方差正则化的 Scale-GAN,并理论证明其对误差界偏差—方差权衡的控制。
2024-10-28 cs.CV cs.LG stat.ML
Conditional Invertible Neural Networks for Diverse Image-to-Image Translation
Heidelberg University(海德堡大学)
我们引入了一个新的架构称为条件可逆神经网络(cINN),并使用它来解决不同的图像到图像的自然图像的翻译任务。由于一些基本的限制,这在现有的INN模型中是不容易实现的。cINN将纯生成INN模型与无约束前馈网络相结合,该网络有效地将调节图像预处理为最大信息特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。尽管基于INN的模型在文献中受到的关注远低于GANs,但它们已被证明具有GANs中不存在的一些显着特性,例如对模式坍塌的明显免疫力。我们发现,我们的cINN利用这些特性进行图像到图像的转换,在白天到夜晚的转换和图像着色上得到了证明。此外,我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性,例如以直观的方式改变图像风格。
2021-05-05 cs.AI cs.CV
Generative Model with Dynamic Linear Flow
Jilin University(吉林大学);Zhuhai College of Jilin University(吉林大学珠海学院)
基于流的生成模型是一类精确的对数似然模型,具有易处理的采样和潜变量推断,因此在概念上对复杂分布的建模很有吸引力。然而,与最先进的自回归模型相比,基于流的模型受到密度估计性能问题的限制。自回归模型,这也属于家庭的似然为基础的方法,然而,遭受有限的并行化。在本文中,我们提出了动态线性流(DLF),一个新的家庭的可逆变换的部分自回归结构。我们的方法受益于基于流的方法的高效计算和自回归方法的高密度估计性能。我们证明,在所有基于流的方法中,所提出的DLF在ImageNet 32x32和64x64上产生了最先进的性能,并且与最好的自回归模型竞争。此外,我们的模型收敛速度比Glow快10倍(Kingma和Dhariwal,2018)。该代码可在https://github.com/naturomics/DLF上获得。
2019-05-08 cs.LG stat.ML
Optimal Transport Driven Asymmetric Image-to-Image Translation for Nuclei Segmentation of Histological Images
针对组织学图像与分割图之间信息不对称导致图像到图像转换失效的问题,提出融合最优传输与测度论的可逆生成器深度生成模型,以更低复杂度实现细胞核分割并取得更优性能权衡。
2025-06-08 cs.AI cs.CV eess.IV
Generative Visual Prompt: Unifying Distributional Control of Pre-Trained Generative Models
Carnegie Mellon University(卡内基梅隆大学)
生成模型(例如,GANs、扩散模型)以无监督的方式学习底层数据分布。然而,许多感兴趣的应用需要从输出空间的特定区域采样或在特性范围内均匀采样。为了在这些场景中进行有效的采样,我们提出了生成视觉提示(Generative Visual Prompt,缩写为Generative Gen),这是一个通过整合其他现成模型的知识来对预训练生成模型进行分布式控制的框架。EBM将控制定义为基于能量的模型(EBM),并通过用可逆神经网络近似EBM以前馈方式对图像进行采样,从而避免在推理时进行优化。我们的实验展示了如何从几个无条件生成模型(例如,StyleGAN 2、StyleNeRF、扩散自动编码器、NVAE),使用各种现成模型以受控或/和去偏置方式进行:(1)在CLIP模型作为控制的情况下,BiftGen可以对由文本引导的图像进行采样,(2)在图像分类器作为控制的情况下,BiftGen可以跨一组属性或属性组合对生成模型进行去偏置,以及(3)在逆图形模型作为控制的情况下,AktGen可以以不同的姿势对同一身份的图像进行采样。(4)最后,ClintGen发现CLIP模型在用作对照时显示出“报告偏倚”,ClintGen可以以迭代方式进一步消除这种受控分布的偏倚。该代码可在https://github.com/ChenWu98/Generative-Visual-Prompt上获得。
2022-10-17 cs.CV cs.GR cs.LG
MintNet: Building Invertible Neural Networks with Masked Convolutions
Stanford University(斯坦福大学)
我们提出了一种新的方法来构建可逆的神经网络相结合的简单的积木与一套新的组合规则。这导致了一组丰富的可逆架构,包括那些类似于ResNets的架构。反演实现了一个局部收敛的迭代过程,是并行化的,在实践中非常快。此外,雅可比行列式的行列式可以分析和有效地计算,使其生成使用的流动模型。为了证明它们的灵活性,我们证明了我们的可逆神经网络在MNIST和CIFAR-10分类上与ResNets竞争。当作为生成模型进行训练时,我们的可逆网络在MNIST、CIFAR-10和ImageNet 32 x32上实现了有竞争力的可能性,每维比特数分别为0.98、3.32和4.06。
2019-10-29 cs.CV cs.LG stat.ML
Manifold-Aligned Generative Transport
School of Statistics, University of Minnesota(统计学系,明尼苏达大学)
MAGT通过流形对齐生成传输方法,在单次前向传递中实现高效生成,提升生成样本的保真度和流形集中度,同时比扩散模型更快。
2026-09-10 cs.LG stat.ML
Flow-based generative models as iterative algorithms in probability space
H. Milton Stewart School of Industrial and Systems Engineering (ISyE) at the Georgia Institute of Technology(佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院);Mathematics Department at Duke University(杜克大学数学系)
本教程将基于流的生成模型形式化为概率空间中的迭代算法,利用常微分方程和Wasserstein度量等理论建立收敛保证,为信号处理和机器学习提供直观且严谨的数学框架。
2025-09-06 cs.LG math.ST stat.ML
Subsampled Fourier Ptychography using Pretrained Invertible and Untrained Network Priors
Information Technology University(信息技术大学)
最近,预训练的生成模型在极低采样率和高噪声的重建质量方面显示出了子采样傅立叶重叠关联(FP)的有希望的结果。然而,这些预先训练的生成先验的一个显著缺点是它们有限的表示能力。此外,训练这些生成模型需要访问特定类别图像(如面部或数字)的大量完全观察到的干净样本,这在FP的上下文中是禁止获得的。在本文中,我们建议利用预训练的可逆和未训练的生成模型的能力,分别减轻表示错误问题和大量示例图像的要求(用于训练生成模型)。通过大量的实验,我们证明了所提出的方法在低采样率和高噪声水平的FP的上下文中的有效性。
2020-05-13 cs.CV cs.IR cs.LG
A Decoupled 3D Facial Shape Model by Adversarial Training
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);University of Oxford(牛津大学)
数据驱动的生成3D人脸模型用于将面部形状数据压缩编码为有意义的参数表示。这些模型的一个理想特性是它们能够有效地解耦自然变异源,特别是身份和表达。虽然已经为此目的提出了因子分解表示,但它们仍然限制了它们可以捕获的可变性,并且在应用于诸如表达式传输之类的任务时可能会呈现建模工件。在这项工作中,我们探索了生成对抗网络的新方向,并表明它们有助于更好的人脸建模性能,特别是在解耦自然因素方面,同时还实现了更多样化的样本。为了训练模型,我们引入了一种新的架构,该架构将3D生成器与利用传统CNN的2D生成器相结合,其中两个组件通过几何映射层桥接。我们进一步提出了一个训练方案,辅助分类器的基础上,明确解开身份和表达属性。通过对标准人脸数据集的定量和定性结果,我们说明了我们的模型的好处,并证明它在解耦和多样性方面优于竞争对手的最先进的方法。
2019-09-07 cs.CV cs.LG
Conditional Invertible Flow for Point Cloud Generation
Tooploox;University of Wrocław(弗罗茨瓦夫大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);NavAlgo
本文重点介绍了一种新的三维点云生成方法,利用可逆的流动为基础的模型。该方法的主要思想是将点云视为使用云特定的神经网络建模的3D空间中的概率密度。为了捕捉点云之间的相似性,我们依赖于网络之间的参数共享,每个云只有一个小的嵌入向量来定义它。我们使用可逆流网络来生成单个点云,并正则化嵌入向量。我们以定性和定量的方式评估模型的生成能力。
2019-10-16 cs.CV cs.LG stat.ML
Generative Steganographic Flow
School of Computer Science, Fudan University(复旦大学计算机科学学院)
提出基于流的生成式隐写方法GSF,无需封面图像,通过可逆双射映射直接生成隐写图像并精确恢复秘密数据,配合潜变量优化提升保真度,性能远超现有SOTA方法。
2023-05-10 cs.CV cs.MM
Geodesic-informed Generative Diffusion Model For Topology-preserved Image Video Generation
University of Virginia(弗吉尼亚大学);Yale School of Medicine(耶鲁医学院)
针对现有生成模型忽略几何拓扑一致性和形变不可解释的问题,提出IGG框架,将保持拓扑的测地线原理融入扩散生成过程,在测地线形变空间中合成多样样本,实现可解释且物理信息丰富的图像视频生成。
2026-09-09 cs.CV cs.GR cs.LG
STAGE: A Stream-Centric Generative World Model for Long-Horizon Driving-Scene Simulation
ShanghaiTech University(上海科技大学);Yinwang Intelligent Technology Co. Ltd.(英伟达智能科技有限公司)
针对长时程驾驶视频生成中误差累积、特征错位的问题,提出STAGE自回归框架,结合HTFT与多阶段训练策略,在Nuscenes数据集上实现性能超越,可生成600帧长视频。
2025-08-31 cs.CV
Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation
Harbin University of Commerce(哈尔滨商业大学)
提出无梯度方法,将生成伪影检测重构为分布外异常度量问题,通过解析解耦统计与语义偏差,在零样本设置下显著优于梯度优化方法。
2026-06-03 cs.CV cs.LG
Fast Flow Reconstruction via Robust Invertible nxn Convolution
University of Arkansas(阿肯色大学);Concordia University(康考迪亚大学);University of Science, VNU-HCM(胡志明市国家大学科学大学)
基于流的生成模型最近已经成为模型数据生成的最有效的方法之一。事实上,它们是用一系列可逆和易处理的变换构造的。Glow首先引入了一种使用可逆$1 \times 1$卷积的简单生成流。然而,与标准卷积相比,$1 \times 1$卷积具有有限的灵活性。在本文中,我们提出了一种新的可逆$n \times n$卷积方法,克服了可逆$1 \times 1$卷积的局限性。此外,我们提出的网络不仅易于处理和可逆,而且比标准卷积使用更少的参数。在CIFAR-10,ImageNet和Celeb-HQ数据集上的实验表明,我们的可逆$n \times n$卷积有助于显着提高生成模型的性能。
2022-08-07 cs.CV
GLOWin: A Flow-based Invertible Generative Framework for Learning Disentangled Feature Representations in Medical Images
Technical University of Munich(慕尼黑工业大学);deepc GmbH(deepc有限公司);Ludwig Maximilians University Munich(慕尼黑大学);Kyung Hee University(庆熙大学);Johns Hopkins University(约翰斯·霍普金斯大学)
解纠缠表示在许多下游任务中非常有用,有助于使深度学习模型更具可解释性,并允许控制合成生成图像的特征,这些特征在训练需要大量标记或未标记数据的其他模型时非常有用。最近,基于流的生成模型已经被提出来通过直接用可逆函数对数据分布建模来生成真实感图像。在这项工作中,我们提出了一个新的基于流的生成模型框架,名为GLOWin,这是端到端可逆的,能够学习解开表示。通过将潜在空间分解为组件,使得每个组件学习一个生成因子的表示来实现特征解纠缠。在公开的脑肿瘤MR数据集上进行了全面的实验,以评估所提出的方法。定量和定性的结果表明,该方法是有效的,从复杂的医学图像的功能。
2021-03-19 cs.CV
Looking into a Pixel by Nonlinear Unmixing -- A Generative Approach
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本文提出一种基于生成模型的非线性解混方法,利用双向GAN框架结合循环一致性和线性非线性混合关系,无需显式混合模型即可实现高光谱图像解混,实验表明其在不同数据集上表现稳定且具有竞争力。
2026-04-01 cs.AI cs.CV eess.IV
Representing Point Clouds with Generative Conditional Invertible Flow Networks
University of Wrocław(弗罗茨瓦夫大学);Tooploox;Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Warsaw University of Technology(华沙理工大学);NavAlgo
在本文中,我们提出了一种简单而有效的方法来表示点云作为一组样本从云特定的概率分布。这种解释与点云的内在特征相匹配:点的数量及其在云中的顺序并不重要,因为所有点都是从对象边界附近绘制的。我们假设将每个云表示为由生成神经网络定义的参数化概率分布。一旦经过训练,这样的模型就为点云操作提供了一个自然的框架,例如将新云对齐到默认的空间方向。为了利用同类对象之间的相似性并提高模型性能,我们转向权重共享:对属于同一家族中的对象的点的密度进行建模的网络共享所有参数,除了一个小的特定于对象的嵌入向量。我们表明,这些嵌入向量捕捉对象之间的语义关系。我们的方法利用生成可逆流网络来学习嵌入以及生成点云。多亏了这个公式,与类似的方法相反,我们能够以端到端的方式训练我们的模型。因此,我们的模型在基准数据集上提供了具有竞争力或优越的定量结果,同时通过生成网络实现了前所未有的云操作任务,如点云配准和再生。
2020-10-07 cs.CV cs.LG
StyDeco: Unsupervised Style Transfer with Distilling Priors and Semantic Decoupling
提出StyDeco无监督框架,通过先验引导数据蒸馏和对比语义解耦,解决扩散模型风格迁移中文本引导的语义鸿沟,在三个基准上提升风格保真与结构保留。
2025-08-02 cs.CV
GameDirector: Decoupling Gameplay Logic from Rendering for Player-Configurable Game World Models
Tencent(腾讯);Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心);National University of Singapore(新加坡国立大学)
GameDirector提出首个智能体框架,将基于规则的玩法逻辑与视觉渲染解耦,通过文本提示引导视频世界模型,实现玩家可配置的游戏机制,并在实验中提升Boss行动质量超过39.9%。
2026-09-23 cs.CV
ColorFLUX: A Structure-Color Decoupling Framework for Old Photo Colorization
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出基于生成扩散模型FLUX的新型旧照片着色框架,通过结构-颜色解耦策略和改进的直接偏好优化策略,提升旧照片着色的准确性与质量。
2026-03-30 cs.CV
DecFlowEdit: Self-Localized Flow-based Image Editing via Guidance Decoupling
Zhejiang University(浙江大学);University at Buffalo(纽约州立大学布法罗分校);University of California, Berkeley(加州大学伯克利分校)
本文提出DecFlowEdit,通过解耦定位与编辑的引导尺度,利用无CFG的速度差异先验重加权更新,实现无需训练和反转的基于流图像编辑,显著减少背景泄漏并保持编辑质量。
2026-09-29 cs.CV
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
Tsinghua University(清华大学);AMAP, Alibaba Group(阿里云实验室,阿里巴巴集团)
本文提出D²-Align框架,通过方向解耦对齐缓解扩散强化学习中的偏好模式崩溃,提升生成多样性。
2026-03-10 cs.CV
Causal Fingerprints of AI Generative Models
Faculty of Data Science,City University of Macau(数据科学学院,澳门城市大学);Nanjing University of Science and Technology(南京理工大学);Zhejiang Cloudpeng Technology Co., Ltd.(浙江云鹏科技有限公司)
本文提出了一种基于因果解耦框架的方法,通过语义不变的潜在空间分离图像生成过程与模型痕迹,提升指纹的粒度,验证了因果关系在模型溯源和身份保护中的有效性。
2026-04-14 cs.CV
Ink3D: Sculpting 3D Assets with Extremely Complex Textures via Video Generative Models
ZGCA & ZGCI(ZGCA 和 ZGCI);Microsoft Research(微软研究院);Zhejiang University(浙江大学);HKUST(香港科技大学)
提出Ink3D框架,利用大规模视频生成模型合成复杂纹理,通过OrbitPainter生成密集轨道扫描视频,并用TextureOptimizer进行神经烘焙以生成一致纹理。
2026-07-02 cs.CV
ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields
Chung-Ang University(中央大学)
本文提出 ZIGNeRF,通过新型 GAN 反演器将单张域外图像映射到生成器潜空间,实现零样本多视图生成、前景背景解耦及三维旋转平移。
2023-06-05 cs.CV
Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
Beijing University Of Posts and Telecommunications(北京邮电大学);Oppo Research Institute(OPPO研究院)
本文提出多任务生成式口罩解耦人脸识别网络MEER,通过口罩解耦模块分离口罩与身份信息,并利用联合训练策略恢复无遮挡面容以优化识别,在真实和合成遮挡基准上优于现有方法。
2023-11-20 cs.CV