Embarrassingly parallel MCMC using deep invertible transformations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所HIIT);Aalto University(阿尔托大学)
虽然MCMC方法已经成为贝叶斯推理的主要工作,但将其扩展到大型分布式数据集仍然是一个挑战。令人尴尬的并行MCMC策略采取分而治之的立场来实现这一目标,将目标后验写成子后验的乘积,并行地为每个子后验运行MCMC,然后组合结果。因此,挑战在于制定有效的聚合战略。当前的策略在近似质量与通信和计算成本之间进行权衡。在这项工作中,我们介绍了一种新的方法,同时解决这些问题。我们的关键见解是引入一个深度可逆变换来近似每个子后验。即使对于复杂的分布,这些近似也可以精确,并作为中间表示,保持总通信成本有限。此外,他们使我们能够使用一个有效的和稳定的重要性采样计划从产品的次后验样本。我们证明了该方法优于现有的国家的最先进的方法在一系列具有挑战性的情况下,包括高维和异构的subposteriors。
2021-06-15 cs.LG stat.ML
Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling
University of Louisiana at Lafayette(路易斯安那州立大学);Presidency College
本研究提出基于哈密顿力学的辛生成网络SGN,通过辛结构实现隐空间到数据空间的可逆保体积映射,无需雅可比行列式计算即可精确估计似然,并建立了含理论证明、复杂度分析等的完整理论框架,为后续研究与应用奠基。
2025-10-29 cs.LG stat.ML
Parameterizing uncertainty by deep invertible networks, an application to reservoir characterization
School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院)
用于全波形反演的不确定性量化提供问题的病态的概率表征,包括关于起始模型和数据噪声的解的灵敏度。该分析允许评估候选解决方案中的置信度以及其如何反映在通常在成像之后执行的任务中(例如,储层表征后的地层分段)。传统上,不确定性以贝叶斯原理制定的概率分布的形式出现,我们试图从中获得样本。一个流行的解决方案涉及蒙特卡罗抽样。在这里,我们提出了一种方法,其特征在于训练一个深度网络,将高斯随机输入“向前推”到模型空间中(例如,表示密度或速度),就好像它们是从实际的后验分布中采样的一样。这种网络被设计用于解决基于后验分布和网络输出分布之间的Kullback-Leibler散度的变分优化问题。这项工作从根本上植根于可逆网络的最新发展。特殊的可逆结构,除了相对于传统网络的计算优势,也使输出密度函数的分析计算。因此,在训练之后,这些网络可以很容易地用作相关反演问题的新先验。这与Monte-Carlo方法形成鲜明对比,Monte-Carlo方法只产生样本。我们验证这些想法与应用程序的角度与射线参数分析油藏表征。
2020-04-16 cs.LG physics.geo-ph stat.ML
Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features
University Medical Center Freiburg(弗莱堡大学医学中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
通过对自然图像数据集(如CIFAR10)进行最大似然训练的深度生成网络通常将高似然分配给来自具有不同对象的数据集的图像(例如,SVHN)。我们改进了以前对可逆生成网络异常检测失败的研究,并将其解释为模型偏差和域先验的组合:卷积网络在任何自然图像数据集上训练时都会学习类似的低级特征分布,这些低级特征主导了可能性。因此,当内点和离群点之间的区别特征处于高水平时,例如,物体形状,异常检测变得特别具有挑战性。为了消除模型偏差和域先验对检测高水平差异的负面影响,我们提出了两种方法,首先,使用两个相同模型的对数似然比,一个是在分布数据上训练的(例如,CIFAR10)和另一个关于更一般的图像分布(例如,8000万张小图片)。我们还从更一般的分布中推导出一种新的分布网络样本的离群值损失,以进一步提高性能。其次,使用像Glow这样的多尺度模型,我们证明了低级特征主要是在早期尺度上捕获的。因此,仅使用最终尺度的似然贡献对于检测分布外和分布内的高级特征差异表现得非常好。如果没有合适的一般分布,这种方法特别有用。总体而言,我们的方法在无监督环境中实现了强大的异常检测性能,并且在监督环境中仅略低于最先进的基于分类器的方法。代码可以在https://github.com/boschresearch/hierarchical_anomaly_detection上找到。
2020-11-02 cs.CV cs.LG cs.NE
Decision Explanation and Feature Importance for Invertible Networks
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
深度神经网络容易受到对抗攻击的攻击,并且由于其黑箱性质而难以解释。最近提出的可逆网络能够准确地从其输出重构到一个层的输入,从而有可能解开黑箱模型。可逆网络分类器可以看作是一个两阶段模型:(1)从输入空间到特征空间的可逆变换;(2)特征空间中的线性分类器。我们可以在特征空间中确定线性分类器的决策边界;由于变换是可逆的,我们可以将决策边界从特征空间反转到输入空间。此外,我们建议确定数据点到决策边界的投影,并将解释定义为数据与其投影之间的差异。最后,我们提出了一个局部近似的神经网络与其一阶泰勒展开,并定义特征的重要性使用局部线性模型。我们提供了我们的方法的实现:\url{https://github.com/juntang-zhuang/explain_invertible}。
2019-10-15 cs.LG stat.ML
Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable
Australian National University(澳大利亚国立大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
自从AlexNet出现以来,为不同任务设计新颖的深度神经架构一直是一个富有成效的研究方向。尽管各种架构在实践中表现出色,但我们研究了一个理论问题:深度神经架构保留输入数据的所有信息的条件是什么?识别深度神经架构的信息无损条件非常重要,因为诸如图像复原之类的任务需要尽可能多地保留输入数据的详细信息。使用互信息的定义,我们表明:当且仅当该结构是可逆的时,深度神经结构可以保留关于给定数据的最大细节。我们验证了我们的可逆恢复自动编码器(IRAE)网络的优势,通过比较它与竞争对手的模型在三个扰动的图像复原任务:图像去噪,JPEG图像解压缩和图像修补。实验结果表明,IRAE始终优于不可逆的。我们的模型甚至包含更少的参数。因此,尝试用它们的可逆对应物替换深度神经架构的标准组件(如残差块和ReLU)可能是值得的。我们相信我们的工作为未来的深度学习研究提供了独特的视角和方向。
2020-09-29 cs.CV cs.IT cs.LG
iUNets: Fully invertible U-Nets with Learnable Up- and Downsampling
University of Cambridge(剑桥大学)
U-Nets已经被建立为图像到图像学习问题的标准架构,例如成像中的分割和逆问题。对于大规模数据,例如出现在3D医学成像中的数据,U-Net具有过高的内存要求。在这里,我们提出了一种新的完全可逆的基于U-Net的架构,称为iUNet,它采用了新颖的可学习和可逆的上采样和下采样操作,从而使使用内存高效的反向传播成为可能。这使我们能够在相同的GPU内存限制下,在实践中训练更深、更大的网络。由于其可逆性,iUNet还可以用于构建规范化流。
2020-06-30 cs.CV cs.LG eess.IV
The sampling complexity of learning invertible residual neural networks
Fudan University(复旦大学);University of Vienna(维也纳大学)
本文研究可逆残差神经网络的采样复杂度,证明从点样本逼近该类网络在均匀范数下仍受维度灾难影响,表明其架构和可逆性无法克服前馈网络的复杂性障碍。
2024-11-08 cs.LG stat.ML
Semi-supervised Invertible Neural Operators for Bayesian Inverse Problems
Technical University of Munich(慕尼黑工业大学);University of Pennsylvania(宾夕法尼亚大学);Munich Data Science Institute(慕尼黑数据科学研究所)
神经运算符为求解参数偏微分方程提供了一个强大的数据驱动工具,因为它们可以表示无限维函数空间之间的映射。在这项工作中,我们在高维贝叶斯逆问题的背景下使用物理学知识的神经运算符。传统的解决方案策略需要一个巨大的,往往是不可行的,数量的正演模型解决方案,以及计算参数导数。为了实现有效的解决方案,我们通过采用RealNVP架构来扩展深度运算符网络(DeepONets),该架构在参数输入和分支网络输出之间产生可逆和可微的映射。这使我们能够构建准确的近似的完整的后验,无论观察的数量和观察噪声的大小,而无需任何额外的前向解决方案,也不繁琐,迭代采样程序。我们证明了所提出的方法的有效性和准确性的背景下反问题的三个基准:反导数方程,反应扩散动力学和流动通过多孔介质。
2023-03-06 cs.LG physics.comp-ph stat.ML
ECINN: Efficient Counterfactuals from Invertible Neural Networks
Aarhus University(奥胡斯大学)
反事实的例子识别如何改变输入以改变分类器的预测类,从而打开黑盒性质,例如,深度神经网络。我们提出了一种方法,ECINN,利用可逆神经网络的生成能力的图像分类有效地产生反事实的例子。与有时需要对分类器进行一千次或更多评估的竞争方法相比,ECINN具有封闭形式的表达式,并且仅在两次评估的时间内生成反事实。可以说,生成反事实例子的主要挑战是只改变影响预测结果的输入特征,即,类相关特征。我们的实验演示了ECINN如何改变类相关的图像区域,以改变感知和预测类的反事实。此外,我们还扩展了ECINN,以生成热图(ECINNh),以便轻松检查,例如,生成的反事实示例中的成对类相关变化。在实验中,我们发现ECINNh优于生成基于热图的解释的既定方法。
2021-04-05 cs.CV cs.LG
Exploring Adversarial Examples via Invertible Neural Networks
Purdue University(普渡大学)
对抗性样本(AE)是可以通过向原始图像中引入轻微扰动来误导深度神经网络(DNN)分类器的图像。这种安全漏洞近年来引发了广泛的研究,因为它可以将现实世界的威胁引入依赖神经网络的系统。然而,对对抗性例子的特征的深刻理解仍然难以捉摸。我们提出了一种新的方式来实现这种理解,通过最近的发展,即可逆的神经模型与Lipschitz连续映射函数从输入到输出。通过将任何潜在表示反转回其对应的输入图像的能力,我们可以在更深层次上研究对抗性示例,并解开对抗性示例的潜在表示。鉴于这种新的视角,我们提出了一种快速的潜在空间对抗性示例生成方法,可以加速对抗性训练。此外,这种新的视角可能有助于对抗性示例检测的新方法。
2020-12-24 cs.CR cs.LG
Invertible Neural Networks for Graph Prediction
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
图预测问题在数据分析和机器学习中普遍存在。逆预测问题,即从给定的输出标签推断输入数据,在各种应用中引起了人们的兴趣。在这项工作中,我们开发了\textit{invertible graph neural network}(iGNN),这是一种深度生成模型,通过将其转换为条件生成任务来解决图上的逆预测问题。该模型由一个可逆子网络组成,该子网络将数据一对一映射到中间编码特征,这允许通过线性分类子网络进行前向预测,以及通过参数混合模型从输出标签进行有效生成。编码子网络的可逆性由Wasserstein-2正则化确保,该正则化允许残差块中的自由形式层。该模型通过编码特征的因子化参数混合模型可扩展到大型图,并且通过使用GNN层可计算扩展。可逆流映射的存在是由最优传输和扩散过程的理论支持的,我们证明了图卷积层的表达能力,以近似图数据的理论流。在合成数据上对所提出的iGNN模型进行了实验研究,包括大型图上的示例,并且在太阳斜坡事件数据和交通流异常检测的实际应用数据集上也展示了经验优势。
2022-11-21 cs.LG stat.ML
Deep Diffeomorphic Normalizing Flows
Microsoft Research AI(微软研究院人工智能部门);University of Pittsburgh(匹兹堡大学)
标准化流(NF)通过估计应用于从已知分布中提取的样本的可逆变换来对一般概率密度进行建模。我们介绍了一种新的NF类型,称为深度同构规范化流(DDNF)。非纯流是一个可逆函数,其中函数及其逆函数都是光滑的。我们使用一个常微分方程(ODE)由一个随时间变化的光滑向量场来构造流。我们使用一个神经网络参数化的光滑向量场和一个递归神经网络(RNN)的ODE近似的解决方案。RNN中的每个单元都是实现一个欧拉积分步骤的残差网络。我们的流的架构,使高效的似然评估,简单的流反演,并在高度灵活的密度估计的结果。端到端训练的DDNF在一系列密度估计和变分推断任务上使用最先进的方法实现了有竞争力的结果。最后,我们的方法带来了黎曼几何的概念,我们相信,可以打开一个新的研究方向神经密度估计。
2018-11-22 cs.LG stat.ML
Using Non-invertible Data Transformations to Build Adversarial-Robust Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);McGill University(麦吉尔大学);Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院)
深度神经网络已被证明在各种机器学习任务中非常有效,从改进的语音识别系统到推进自动驾驶汽车的开发。然而,尽管这些模型在许多应用中表现出色,但最近已被证明容易受到特定类型的攻击,这些攻击可能通过生成称为对抗样本的特定合成示例来实现。这些样本是通过操纵来自训练数据分布的真实样本来构造的,以便“愚弄”原始神经模型,从而导致先前正确分类的样本的错误分类(具有高置信度)。如果要将深度神经架构应用于关键应用(例如网络安全领域的应用),解决这一弱点至关重要。在本文中,我们对潜伏在所有神经架构中的这一基本缺陷进行了分析,以揭示先前提出的防御机制的局限性。更重要的是,我们提出了一个使用不可逆数据转换来保护深度神经模型的统一框架--开发了两个利用线性和非线性降维的对抗弹性架构。实证结果表明,我们的框架提供了更好的鲁棒性相比,国家的最先进的解决方案,同时具有可忽略不计的精度下降。
2016-12-13 cs.LG
Self Supervised Low Dose Computed Tomography Image Denoising Using Invertible Network Exploiting Inter Slice Congruence
Indian Institute of Technology Kharagpur(印度理工学院卡拉格布尔分校)
深度神经网络的复兴通过学习低剂量CT(LDCT)和正常剂量CT(NDCT)图像对之间的非线性变换函数,为低剂量计算机断层扫描去噪创造了另一种途径。然而,这些配对的LDCT和NDCT图像在临床环境中很少可用,使得深度神经网络部署不可行。提出了一种新的自监督低剂量CT去噪方法,以减轻对LDCT和NDCT图像的要求。具体来说,我们已经训练了一个可逆神经网络,以最小化噪声切片与其两个紧邻噪声切片的平均值之间的基于像素的均方距离。我们已经证明了上述类似于训练神经网络以最小化干净NDCT和噪声LDCT图像对之间的距离。同样,在可逆网络的反向映射期间,输出图像被映射到原始输入图像,类似于循环一致性损失。最后,将训练好的可逆网络的前向映射用于LDCT图像的去噪。在两个公开数据集上的大量实验表明,我们的方法与其他现有的无监督方法相比表现良好。
2022-11-03 cs.LG eess.IV
Invertible Voice Conversion
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
在本文中,我们提出了一个用于语音转换的可逆深度学习框架,称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说,我们开发了一个可逆的框架,使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架,一对一的语音转换和多对一的转换,使用并行训练数据。实验结果表明,这种方法在语音转换上产生了令人印象深刻的性能,而且,转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
Learnability Lock: Authorized Learnability Control Through Adversarial Invertible Transformations
Yale University(耶鲁大学);Pennsylvania State University(宾夕法尼亚州立大学)
由于信息技术的革命,深度学习的最新进展令人难以置信地受益于对各种数字格式数据的极大增强的访问。然而,在某些情况下,人们可能不希望他们的数据被用于训练商业模型,因此研究如何攻击深度学习模型的可学习性。以往的可学习性攻击只考虑了防止对特定数据集的未授权利用的目标,而没有考虑对授权情况恢复可学习性的过程。为了解决这个问题,本文引入并研究了一个新的概念,称为“可学习性锁”,用于控制模型在特定数据集上的可学习性。特别是,我们提出了对抗性可逆变换,可以被视为从图像到图像的映射,稍微修改数据样本,使它们变得“不可学习”的机器学习模型与视觉特征的损失可以忽略不计。同时,可以使用相应的密钥解锁数据集的可学习性和正常的训练模型。所提出的可学习性锁利用了类式扰动,该类式扰动对相同标签的数据样本应用通用变换函数。这确保了可学习性可以通过简单的逆变换容易地恢复,同时保持难以被检测或逆向工程。我们经验证明了我们的方法在视觉分类任务上的成功性和实用性。
2022-02-03 cs.AI cs.CR cs.CV
Deep Invertible Autoencoders for Dimensionality Reduction of Dynamical Systems
MOX Laboratory, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX实验室);Department of Applied Mathematics, University of Twente(埃因霍温理工大学应用数学系)
本文提出深度可逆自编码器inv-AE,通过可逆神经网络层提升投影误差稳定性,结合传统ROM方法提高精度,应用于参数化Burgers方程和流体流动问题。
2026-09-16 cs.LG
MoFlow: An Invertible Flow Model for Generating Molecular Graphs
Weill Cornell Medicine(威尔康奈尔医学院)
由深度图生成模型驱动生成具有所需化学性质的分子图为加速药物发现过程提供了一种非常有前途的方法。这种图生成模型通常包括两个步骤:学习潜在表示和生成分子图。然而,由于分子图的化学约束和组合复杂性,从潜在表示生成新的和化学上有效的分子图是非常具有挑战性的。在本文中,我们提出了MoFlow,一个基于流的图形生成模型来学习分子图及其潜在表示之间的可逆映射。为了生成分子图,我们的MoFlow首先通过基于Glow的模型生成键(边),然后通过新的图形条件流生成给定键的原子(节点),最后将它们组装成具有事后有效性校正的化学有效分子图。MoFlow算法具有精确、易于处理的似然训练、高效的一次嵌入和生成、化学有效性保证、训练数据的100%重建以及良好的泛化能力等优点。我们通过四个任务来验证我们的模型:分子图的生成和重建,连续潜在空间的可视化,属性优化和约束属性优化。我们的MoFlow实现了最先进的性能,这意味着其潜在的效率和有效性,以探索药物发现的大化学空间。
2020-06-17 cs.LG physics.chem-ph stat.ML
Invertible Sharpening Network for MRI Reconstruction Enhancement
Yale University(耶鲁大学);United Imaging Intelligence(联影智能);University of Georgia(佐治亚大学)
高质量的MRI重建在临床应用中起着至关重要的作用。基于深度学习的方法在MRI重建方面取得了可喜的成果。然而,大多数最先进的方法被设计为优化通常用于自然图像的评价指标,如PSNR和SSIM,而不是主要追求视觉质量。与完全采样的图像相比,重建的图像通常是模糊的,其中高频特征可能不够清晰,无法进行可靠的临床诊断。为此,我们提出了一个可逆的锐化网络(InvSharpNet),以提高MRI重建的视觉质量。在训练过程中,与学习将输入数据映射到地面实况的传统方法不同,InvSharpNet采用了一种向后训练策略,该策略学习从地面实况(完全采样图像)到输入数据(模糊重建)的模糊变换。在推理期间,学习的模糊变换可以被反转为利用网络的可逆性的锐化变换。在各种MRI数据集上的实验表明,InvSharpNet可以提高重建清晰度,伪影很少。放射科医生也对结果进行了评估,表明我们提出的方法具有更好的视觉质量和诊断信心。
2022-06-06 cs.CV cs.LG eess.IV
Representing Ambiguity in Registration Problems with Conditional Invertible Neural Networks
German Cancer Research Center(德国癌症研究中心);Heidelberg University(海德堡大学)
图像配准是医学图像计算和计算机辅助干预领域中许多应用的基础。一个示例是在术中手术引导系统中2D X射线图像与术前三维计算机断层摄影(CT)图像的配准。由于医疗应用中的高安全性要求,估计配准不确定性在这种情况下至关重要。然而,先前提出的方法,包括经典的迭代配准方法和基于深度学习的方法,具有一个共同的特征:它们缺乏表示配准问题可能本质上是模糊的事实的能力,这意味着存在多个(实质上不同的)合理的解决方案。为了解决这个问题,我们探讨了可逆神经网络(INN)的注册方法的核心组成部分的应用。在所提出的框架中,INN使超越点估计作为网络输出,通过概率分布表示配准问题的可能解决方案,该概率分布通过多种模式编码不同的合理解决方案。在第一个可行性研究中,我们通过将脊柱CT体积配准到X射线图像来测试2D 3D配准设置的方法。为此,我们使用数字重建射线照片(DRR)的原理模拟了C形臂在多个方向上拍摄的X射线图像。由于人体脊柱的对称性,C形臂可能存在多个实质上不同的姿势,这可能导致类似的投影。这项工作的假设是,所提出的方法是能够确定多个解决方案,在这种模糊的注册问题。
2020-12-15 cs.CV cs.LG
PET Tracer Conversion among Brain PET via Variable Augmented Invertible Network
School of Nuclear, The First Affiliated Hospital of Sun Yat-Sen University(中山大学附属第一医院核学院)
针对PET示踪剂选择受限问题,提出TC-INN可逆神经网络,通过变量增强技术将FDG图像转换为DOPA图像,实验验证了其出色的生成能力,为脑PET诊断提供新途径。
2023-11-15 cs.CV cs.LG
Explainable nonlinear modelling of multiple time series with invertible neural networks
University of Agder(阿格德大学)
提出了一种非线性拓扑辨识方法,该方法基于以下假设:时间序列的集合由两个步骤生成:i)潜在空间中的向量自回归过程; ii)非线性、分量、单调增加的观测映射。后一种映射被假设为可逆的,并被建模为浅层神经网络,因此可以对它们的逆进行数值计算,并且可以使用深度学习中启发的技术来学习它们的参数。由于函数反演,反向传播步骤并不简单,本文解释了应用隐式微分计算梯度所需的步骤。虽然模型的解释能力是相同的线性VAR过程,初步的数值试验表明,预测误差变得更小。
2021-07-01 cs.LG eess.SP
Unsupervised Domain Transfer with Conditional Invertible Neural Networks
German Cancer Research Center (DKFZ)(德国癌症研究中心);Heidelberg University(海德堡大学);Helmholtz Information and Data Science School for Health(亥姆霍兹健康信息与数据科学学院)
本文提出基于条件可逆神经网络的无监督域迁移方法,利用可逆架构天然保证循环一致性并通过最大似然高效训练,在高光谱成像和光声断层成像两个下游分类任务上优于现有方法。
2023-03-17 cs.CV cs.LG eess.IV
Synthetic CT Generation via Variant Invertible Network for All-digital Brain PET Attenuation Correction
Nanchang University(南昌大学)
针对脑PET衰减校正依赖CT、存在扫描运动等问题,提出结合变量增强策略的可逆网络IVNAC,从未校正PET图像生成合成CT实现衰减校正,在37例患者的1440份数据上表现优于现有模型。
2023-10-03 cs.LG eess.IV q-bio.NC
Deep Invertible Approximation of Topologically Rich Maps between Manifolds
South Dakota State University(南达科他州立大学);University of Helsinki(赫尔辛基大学);University of Basel(巴塞尔大学);Rice University(莱斯大学)
我们怎样才能设计出神经网络,使其能够对拓扑上有趣的流形之间的映射进行稳定的通用逼近?答案是坐标投影。基于拓扑数据分析(TDA)的神经网络使用诸如持久同源性之类的工具来学习数据的拓扑签名并稳定训练,但可能不是通用近似器或具有稳定逆。其他架构普遍近似子流形上的数据分布,但仅当后者由单个图表给出时,使它们无法学习改变拓扑的地图。通过利用局部bilipschitz映射,覆盖空间和局部同胚之间的拓扑相似性,并通过使用机器学习中的通用近似参数,我们发现一种形式为$\mathcal{T} \circ p \circ \mathcal{E}$的新型网络,其中$\mathcal{E}$是内射网络,$p$是固定坐标投影,$\mathcal{T}$是双射网络,是嵌入在$\mathbb{R}^n$中的紧致光滑子流形之间的局部自同态的泛逼近器。我们强调的情况下,目标地图改变拓扑结构。此外,我们发现,通过约束投影$p$,我们的网络的多值反演可以计算而不牺牲普遍性。作为一个应用程序,我们表明,学习一个群不变函数与未知的组行动自然减少到学习局部有限群的同构的问题。我们的理论使我们能够恢复轨道的群体行动。我们还概述了我们的架构,以解决分子成像的对称性的可能的扩展。最后,我们的分析通知生成问题的拓扑表达的起始空间的选择。
2022-10-02 cs.LG math.AT
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
Carnegie Mellon University(卡内基梅隆大学)
训练和使用基于现代神经网络的潜变量生成模型(如变分自编码器)通常需要同时训练生成方向和推理(编码)方向,这近似于潜变量的后验分布。因此,问题就来了:为了能够准确地模拟给定生成模型的后验分布,推理模型需要有多复杂?在本文中,我们确定了一个重要的属性的生成地图影响所需的大小的编码器。我们表明,如果生成地图是“强可逆的”(在某种意义上,我们适当地正式),推理模型不需要更复杂。相反,我们证明了存在不可逆的生成映射,其编码方向需要呈指数增长(在计算复杂性的标准假设下)。重要的是,我们不要求生成模型是逐层可逆的,这是许多相关文献假设的,并且在实践中使用的许多架构(例如基于卷积和池化的网络)都不满足。因此,我们为经验智慧提供了理论支持,即当数据位于低维流形上时,学习深度生成模型更难。
2021-07-09 cs.LG stat.ML
The Lipschitz Constant of Self-Attention
DeepMind(深度思维)
神经网络的Lipschitz常数已经在深度学习的各种背景下进行了探索,例如可证明的对抗鲁棒性,估计瓦瑟斯坦距离,稳定GANs的训练,以及制定可逆的神经网络。这些工作集中在完全连接或卷积网络的Lipschitz常数的边界上,这些网络由线性映射和逐点非线性组成。在本文中,我们研究的Lipschitz常数的自我注意,一个非线性神经网络模块广泛应用于序列建模。我们证明了标准点积自注意在无界输入域上不是Lipschitz,并提出了一种替代的L2自注意是Lipschitz。我们推导出了L2自注意力Lipschitz常数的上界,并为它的渐近紧性提供了经验证据。为了证明我们的理论工作的实际相关性,我们制定了可逆的自我注意力,并将其用于基于transformer的架构中的字符级语言建模任务。
2021-06-09 cs.LG stat.ML
Towards Invertible Semantic-Preserving Embeddings of Logical Formulae
University of Pisa(比萨大学);University of Trieste(的里雅斯特大学)
针对现有逻辑公式语义保持嵌入不可逆的问题,本研究基于图变分自编码器框架的深度架构,提出了一种可反转该嵌入的新型模型,经命题逻辑场景实验验证效果良好,推动了逻辑学习中连续优化的应用。
2023-05-03 cs.AI cs.LG cs.LO
Modeling Lost Information in Lossy Image Compression
Microsoft Research Asia(微软亚洲研究院);University of Toronto(多伦多大学);Peking University(北京大学)
有损图像压缩是数字图像最常用的算子之一。最近提出的基于深度学习的图像压缩方法利用了自动编码器结构,并在该领域取得了一系列有前途的成果。首先将图像编码成低维的潜在特征,然后利用统计冗余进行熵编码。然而,在编码过程中丢失的信息是不可避免的,这对解码器重建原始图像提出了重大挑战。在这项工作中,我们提出了一种新的可逆框架称为可逆有损压缩(ILC),在很大程度上减轻信息丢失的问题。具体地说,ILC引入可逆编码模块来代替编码器-解码器结构,以产生低维的信息潜在表示,同时将丢失的信息转换为辅助潜在变量,不再进一步编码或存储。隐变量被量化并编码成比特流,并且被强制遵循指定的分布,即各向同性高斯分布。以这种方式,通过容易地绘制替代潜在变量并应用具有采样变量和解码的潜在特征的模块的逆过程,使恢复原始图像变得易于处理。实验结果表明,在图像压缩方法中,用一个新的组件代替自动编码器,结合现有的压缩算法,ILC在广泛的基准数据集上的性能明显优于基线方法。
2020-07-08 cs.CV cs.LG
On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学)
本文分析基于耦合的 INN 对紧域上双 Lipschitz 映射的正、逆映射同时逼近能力,并结合模型约简、PCA 与 INN 提出无限维情形的逼近方法及误差分析,数值验证其可用于参数化二阶椭圆问题解算子。
2023-08-18 cs.LG cs.NA math.NA
Momentum Residual Neural Networks
Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);Google Research(谷歌研究院)
使用反向传播训练深度残差神经网络(ResNets)具有相对于网络深度线性增加的存储器成本。规避这个问题的一种方法是使用可逆架构。在本文中,我们建议通过添加动量项来改变ResNet的前向规则。由此产生的网络,动量剩余神经网络(动量ResNets),是可逆的。与以前的可逆架构不同,它们可以用作任何现有ResNet块的直接替代品。我们表明,动量ResNets可以在无限小步长范围内解释为二阶常微分方程(ODE),并准确地描述了如何逐步增加动量ResNets的表示能力。我们的分析表明,Momentum ResNets可以学习任何线性映射到乘法因子,而ResNets不能。在学习优化设置,收敛到一个固定点是必需的,我们从理论上和经验表明,我们的方法成功,而现有的可逆架构失败。我们在CIFAR和ImageNet上展示了Momentum ResNets与ResNets具有相同的准确性,同时具有更小的内存占用,并表明预训练的Momentum ResNets有希望用于微调模型。
2021-07-22 cs.AI cs.LG stat.ML
Inverse deep learning methods and benchmarks for artificial electromagnetic material design
Duke University(杜克大学)
深度学习(DL)逆技术提高了人工电磁材料(AEM)设计的速度并改善了所得器件的质量。许多DL逆技术已经成功的AEM设计任务的数量,但比较,对比,并评估各种技术,关键是要澄清潜在的不适定性的反问题。在这里,我们回顾了最先进的方法,并提出了一个全面的调查深度学习逆方法和可逆和条件可逆神经网络AEM设计。我们制作易于访问和快速实施的AEM设计基准,它提供了一种方法来有效地确定最适合解决不同设计挑战的DL技术。我们的方法是指导约束重复模拟和一个容易集成的度量,我们建议表示任何AEM设计问题的相对不适定性。我们发现,随着问题变得越来越不适定,神经伴随边界损失(NA)更快地产生更好的解决方案,无论模拟约束。在更简单的AEM设计任务中,当模拟有限时,直接神经网络(NN)表现更好,而混合密度网络(MDN)和条件变分自动编码器(VAE)预测的几何形状可以通过连续采样和重新模拟来改进。
2021-12-19 cond-mat.mtrl-sci cs.LG
INN-PAR: Invertible Neural Network for PPG to ABP Reconstruction
Rekhi Centre of Excellence for the Science of Happiness(雷克希幸福科学卓越中心);IIT Kharagpur(印度理工学院卡拉格普尔分校);Department of EE(电气工程系);Department of E&ECE(电气工程与电子通信工程系)
本文提出 INN-PAR 可逆神经网络,通过联合学习 PPG/ABP 及其梯度的正反映射并引入 MSCM,减少信息损失,在两个基准上提升波形与血压估计精度。
2025-03-16 cs.HC cs.LG
Image Modeling with Deep Convolutional Gaussian Mixture Models
Fulda University of Applied Sciences(富尔达应用科学大学)
在这项概念性工作中,我们提出了深度卷积高斯混合模型(DCGMixture):一种新的深度分层高斯混合模型(GCGMixture),特别适合于描述和生成图像。香草(即,平面)GSTOM需要非常大量的组件来很好地描述图像,导致长的训练时间和记忆问题。DCG通过多个GMM层的堆叠架构避免了这一点,这些层通过卷积和池化操作连接。这允许以与深度CNN类似的方式利用图像的组合性。DCG算法可以通过随机梯度下降进行端到端的训练。这使它们与通过期望最大化训练的vanilla Gestro不同,后者需要事先进行k均值初始化,这在分层结构中是不可行的。为了使用DCGtron生成清晰的图像,我们引入了一种新的基于梯度的技术,通过卷积和池化等不可逆操作进行采样。基于MNIST和FashionMNIST数据集,我们通过展示其在聚类、采样和离群值检测方面优于平坦Gestrian来验证DCGestrian模型。
2021-04-19 cs.CV cs.LG
Deep Neural Networks with Symplectic Preservation Properties
Southern Methodist University(南卫理公会大学)
本文提出一种输出为可逆辛同胚的深度神经网络架构,类比real NVP方法,用于在未知哈密顿系统上学习而不破坏相空间的辛结构。
2024-06-29 cs.LG cs.NA math.NA
Adversarial Robustness as a Prior for Learned Representations
MIT(麻省理工学院)
深度学习的一个重要目标是学习输入数据的通用、高级特征表示。然而,标准网络的表示似乎具有缺点,正如我们所示,阻止他们完全实现这一目标。在这项工作中,我们证明了鲁棒优化可以重新作为一种工具,用于在深度神经网络学习的特征上执行先验。事实证明,通过鲁棒模型学习的表示解决了上述缺点,并在学习输入的高级编码方面取得了重大进展。特别是,这些表示是近似可逆的,同时允许显着输入特征的直接可视化和操纵。更广泛地说,我们的研究结果表明对抗鲁棒性是改进学习表示的一个有前途的途径。我们用于重现这些结果的代码和模型可在https://git.io/robust-reps上获得。
2019-09-27 cs.CV cs.LG cs.NE
Towards Principled Uncertainty Estimation for Deep Neural Networks
Sophos PLC(Sophos PLC(索福斯公司))
当错误分类样本的成本很高时,对该样本的预测中的不确定性进行准确估计是有用的。还有多种类型的不确定性,它们以不同的方式进行最佳估计,例如,训练集固有的不确定性可以通过贝叶斯方法很好地处理,而由训练和查询分布之间的偏移引入的不确定性可以通过密度/支持估计更好地解决。在本文中,我们研究了三种类型的不确定性:模型容量的不确定性,内在的数据不确定性,和开放集的不确定性,并审查技术,已得出解决每一个。然后,我们引入了一个统一的分层模型,该模型将贝叶斯推理,可逆潜在密度推理和判别分类的方法结合在一个端到端的深度神经网络拓扑结构中,以在检测环境中产生有效的每样本不确定性估计。这种方法解决了所有三种不确定性类型,可以很容易地适应二进制检测的先验/基本速率。然后,我们将讨论如何将此模型扩展到更通用的多类识别环境。
2019-03-14 cs.LG stat.ML
Efficient Bayesian inference using physics-informed invertible neural networks for inverse problems
Tongji University(同济大学)
提出融合INN与NB-Net的物理信息可逆神经网络PI-INN,并以基于密度估计的独立性损失实现贝叶斯逆问题的高效精确后验推断。
2023-10-03 cs.LG cs.NA math.NA
The U-Net based GLOW for Optical-Flow-free Video Interframe Generation
Seoul National University(首尔国立大学)
视频帧插值是在时间轴上的两个相邻帧之间创建帧间的任务。因此,不是简单地平均两个相邻帧来创建中间图像,而是该操作应该保持与相邻帧的语义连续性。大多数常规方法使用光流,并且诸如遮挡处理和对象平滑的各种工具是必不可少的。由于使用这些不同的工具会导致复杂的问题,我们试图解决视频帧间生成问题,而不使用有问题的光流。为了实现这一点,我们尝试使用具有可逆结构的深度神经网络,并开发了一种基于U-Net的生成流,这是一种经过修改的规范化流。此外,我们提出了一种学习方法,在潜在空间中的一个新的一致性损失,以保持帧之间的语义时间一致性。通过使用可逆网络,保证生成图像的分辨率与原始图像的分辨率相同。此外,由于它不是像生成模型那样的随机图像,因此我们的网络可以保证稳定的输出而不会闪烁。通过实验,我们\sam {证实了所提出的算法的可行性,并希望提出基于U-Net的生成流作为一种新的可能性基线在视频帧内插。本文是世界上首次尝试用可逆网络代替光流进行视频内插。
2021-06-29 cs.CV cs.LG eess.IV
Investigation of inverse design of multilayer thin-films with conditional invertible Neural Networks
University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);ams OSRAM(艾迈斯欧司朗);Max Planck Institute for the Science of Light(马克斯·普朗克光科学研究所)
本研究将条件可逆神经网络(cINN)用于多层光学薄膜逆设计,结合局部优化可生成精度优于现有方法的薄膜构型,且能处理分布外目标,验证了机器学习方法结合用于薄膜设计的价值。
2022-10-10 cs.LG physics.comp-ph
Invert to Learn to Invert
University of Amsterdam(阿姆斯特丹大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
迭代学习推断方法已经成为反问题的流行解决方案。然而,它们在训练期间的内存需求随着模型深度线性增长,限制了实际模型的表达能力。在这项工作中,我们提出了一个迭代逆模型与常数记忆,依赖于可逆网络,以避免存储中间激活。因此,所提出的方法允许我们训练模型与400层的3D体积在MRI图像重建任务。在公共数据集上的实验中,我们证明了这些更深入,因此更具表现力的网络可以执行最先进的图像重建。
2019-11-25 cs.LG stat.ML
WavInWav: Time-domain Speech Hiding via Invertible Neural Network
CAS Key Laboratory of Electromagnetic Space Information, School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学与技术学院电磁空间信息关键实验室)
针对现有音频隐藏方法秘密音频恢复质量不佳的问题,提出基于流可逆神经网络的时域语音隐藏方法WavInWav,结合时域时频损失与加密技术,在多数据集上指标更优且抗噪性强。
2025-10-03 cs.AI cs.CR cs.LG
A new perspective on probabilistic image modeling
University of Applied Sciences Fulda(富尔达应用科学大学)
我们提出了深度卷积高斯混合模型(DCGMM),这是一种新的概率图像建模方法,能够进行密度估计,采样和易于推理。DCGMM实例表现出类似CNN的分层结构,其中主要构建块是卷积高斯混合(cGMM)层。一个关键的创新w.r.t.类似于和积网络(SPN)和概率电路(PC)的相关模型的优点在于,每个cGMM层优化独立的损失函数,因此具有独立的概率解释。这种模块化方法允许中间转换层利用CNN可用的(潜在不可逆的)映射的全谱,例如,最大池化或半卷积。DCGMM采样和推理是通过一个深层次的先验链来实现的,其中由给定的cGMM层生成的样本定义了下一个较低cGMM层中的采样参数。对于通过不可逆变换层的采样,我们引入了一种新的基于梯度的锐化技术,该技术利用了例如,半卷积DCGNN可以通过SGD从随机初始条件进行端到端的训练,就像CNN一样。我们表明,DCGRIGHT在推理,分类和采样方面优于最近的几个PC和SPN模型,后者特别适用于具有挑战性的数据集,如SVHN。我们提供了一个公开的TF2实现。
2022-03-21 cs.LG
Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks
Google Research India(谷歌印度研究院);Indian Institute of Science(印度科学学院)
众所周知,深度神经网络与训练分布相比,即使是微小的分布偏移也是脆弱的。虽然一项工作已经证明DNN的简单性偏差(SB)-偏向于只学习最简单的特征-是这种脆弱性的关键原因,但最近的另一项工作令人惊讶地发现,主干确实学习了多样/复杂的特征,它们的脆弱性是由于线性分类头主要依赖于最简单的特征。为了弥合这两条工作线之间的差距,我们首先假设并验证,虽然SB可能不会完全排除学习复杂的功能,它放大了复杂的功能。也就是说,简单的特征在学习的表征中被复制多次,而复杂的特征可能不会被复制。这种现象,我们称之为特征复制假设,再加上SGD的隐式偏差收敛到特征空间中的最大边缘解,导致模型主要依赖于简单的特征进行分类。为了减轻这种偏差,我们提出了特征重建正则化器(FRR),以确保学习的特征可以从logits中重建回来。在线性层训练(FRR-L)中使用{ \em FRR}鼓励使用更多样化的特征进行分类。我们进一步建议通过冻结使用FRR-L训练的线性层的权重来微调整个网络,以细化学习的特征,使其更适合分类。使用这个简单的解决方案,我们证明了高达15%的收益,在最近推出的半合成数据集的极端分布偏移的OOD精度。此外,我们还在标准OOD基准DomainBed上展示了现有SOTA方法的显著收益。
2022-10-04 cs.LG
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
UvA-Bosch Deltalab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学);Philips Lab(飞利浦实验室);Delft University of Technology(代尔夫特理工大学)
本文介绍了用于深度强化学习的MDP同态网络。MDP同态网络是在MDP的联合状态-动作空间中的对称性下等变的神经网络。目前的深度强化学习方法通常不利用关于这种结构的知识。通过使用等方差约束将这些先验知识构建到策略和价值网络中,我们可以减小解空间的大小。我们特别关注群结构对称性(可逆变换)。此外,我们介绍了一种简单的方法,用于构造等变网络层的数值,所以系统设计者不需要解决的约束,通常是这样做的手。我们构造MDP同态MLP和CNN,它们在一组反射或旋转下是等变的。我们表明,这样的网络收敛速度比非结构化的基线CartPole,网格世界和乒乓球。
2021-01-20 cs.LG stat.ML
Solving High-dimensional Inverse Problems Using Amortized Likelihood-free Inference with Noisy and Incomplete Data
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出基于归一化流的无似然概率反演方法,通过摘要网络与推断网络协同工作,在高维地下水反问题中以706个自由度准确估计参数后验分布,推断时间显著少于PEST-IES。
2024-12-26 cs.LG
Deep learning in medical image registration: introduction and survey
MAIA Artificial Intelligence Lab(MAIA人工智能实验室)
本文综述了深度学习在医学图像配准中的应用,介绍了图像变换、配准算法、多阶段技术、评估指标及临床应用,并展望了基于transformers的未来研究方向。
2024-01-10 cs.CV cs.LG eess.IV
LiD-GLM: Lipschitz-constrained Deep Generalized Linear Models
Competence Center for Clinical Trials Bremen(不来梅临床研究能力中心);University of Bremen(不来梅大学);Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所——BIPS)
本文提出LiD-GLM模型,利用可逆残差神经网络结合利普希茨约束,在平衡灵活性与可解释性的同时实现广义线性模型的非线性参数估计与分布假设修正,并通过事后正交化保证模型可识别性。
2026-09-28 cs.LG stat.ML
Accelerating Inverse Learning via Intelligent Localization with Exploratory Sampling
Intuit AI Research(Intuit AI研究院);Walmart Global Tech(沃尔玛全球技术);Georgia Institute of Technology(佐治亚理工学院)
在“人工智能科学”的范围内,解决逆问题是材料和药物发现中的一个长期挑战,其目标是确定给定一组理想属性的隐藏结构。最近提出了深度生成模型来解决逆问题,但这些模型目前使用昂贵的前向算子,并且难以精确定位精确解并充分探索参数空间而不会丢失解。在这项工作中,我们提出了一种新的方法(称为iPage),通过利用深度可逆模型的概率推理和通过快速梯度下降的确定性优化来加速逆学习过程。给定目标属性,学习的可逆模型提供了参数空间的后验;我们将这些后验样本识别为智能先验初始化,这使我们能够缩小搜索空间。然后,我们执行梯度下降来校准局部区域内的逆解。同时,对潜在空间进行空间填充采样,以更好地探索和捕获所有可能的解决方案。我们在三个基准任务和两个创建的数据集上评估了我们的方法,这些数据集具有来自量子化学和增材制造的实际应用,并发现我们的方法与几种最先进的基线方法相比具有更好的性能。iPage代码可在https://github.com/jxzhangjhu/MatDesINNe上获得。
2022-12-02 cs.AI cs.LG
DeepGreen: Deep Learning of Green's Functions for Nonlinear Boundary Value Problems
North Carolina State University(北卡罗来纳州立大学);University of Washington(华盛顿大学)
边值问题在受外力约束的物理系统的数学分析中起着核心作用。因此,BVP经常出现在几乎每一个工程学科和跨越问题领域,包括流体力学,电磁学,量子力学和弹性。基本解,或格林函数,是求解线性边值问题的一种主要方法,它可以在任何外力作用下轻松计算系统的新解。然而,非线性边值问题的基本格林函数解是不可行的,因为线性叠加不再成立。在这项工作中,我们提出了一种灵活的深度学习方法,使用双自动编码器架构来解决非线性BVP。自动编码器发现一个可逆的坐标变换,线性化的非线性边值问题,并确定一个线性算子$L$和格林函数$G$,可以用来解决新的非线性边值问题。我们发现,该方法成功的各种非线性系统,包括非线性Helmholtz和Sturm-Liouville问题,非线性弹性,和二维非线性泊松方程。该方法将深度学习的通用近似能力的优势与格林函数的物理知识相结合,以产生用于识别各种非线性系统的基本解的灵活工具。
2020-12-31 cs.LG cs.NA math.NA
Non-parallel Emotion Conversion using a Deep-Generative Hybrid Network and an Adversarial Pair Discriminator
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍了一种新的方法,在语音中的情感转换,不需要并行训练数据。我们的方法松散地依赖于cycle-GAN模式,以最大限度地减少情感对之间来回转换的重建误差。然而,与传统的cycle-GAN不同,我们的神经网络对一对输入的真实和生成的样本是否对应于期望的情感转换(例如,A到B)或其逆(B到A)。我们将表明,这种设置,我们称之为变分循环GAN(VC-GAN),相当于最小化源功能和它们的循环对应之间的经验KL分歧。此外,我们的生成器将一个可训练的深度网络与一个固定的生成块相结合,对输入特征(在我们的例子中是基频(F0)轮廓)实现平滑和可逆的变换。这种混合架构规范了我们的对抗训练过程。我们使用众包来评估情感显着性和合成语音的质量。最后,我们证明了我们的模型通过修改Wavenet产生的语音来推广到新的说话者。
2020-08-10 cs.LG cs.SD eess.AS
Diffusion Models for Probabilistic Deconvolution of Galaxy Images
University of Michigan(密歇根大学)
针对星系图像PSF反卷积的不适定性及经典生成模型样本多样性不足的问题,提出无分类器条件扩散模型,实验证实其比条件VAE能生成更多样的反卷积结果。
2023-07-20 astro-ph.IM cs.LG stat.AP
CommIN: Semantic Image Communications as an Inverse Problem with INN-Guided Diffusion Models
Imperial College London(帝国理工学院)
针对现有DeepJSCC无线图像传输在极端条件下感知失真严重的问题,提出CommIN框架,将图像恢复视为逆问题,结合INN与扩散模型,显著提升了极端场景下的重建感知质量。
2023-10-02 cs.IT cs.LG eess.IV