Projection-Based Correction for Enhancing Deep Inverse Networks
Department of Computer Science, Universidad Industrial de Santander（计算机科学系，圣安德烈斯工业大学）
本文提出一种基于投影的校正方法，通过约束解在有效解空间内并确保与前向模型一致，增强深度逆网络的推理，理论证明其可分解为值域和零空间分量，实验验证了重建精度的提升。
2025-05-21 cs.CV cs.LG physics.comp-ph
Unsupervised Deep Learning Algorithm for PDE-based Forward and Inverse Problems
Tel-Aviv University（特拉维夫大学）
我们提出了一种基于神经网络的算法，用于以无监督的方式求解偏微分方程的正问题和反问题。该解决方案是近似的深度神经网络，这是成本函数的最小化，并满足PDE，边界条件，和额外的正则化。该方法是无网格的，可以很容易地应用到一个任意的规则域。本文主要研究二维二阶椭圆系统的变系数问题，并将其应用于电阻抗成像。
2019-04-10 cs.LG stat.ML
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Regularization by architecture: A deep prior approach for inverse problems
Center for Industrial Mathematics (ZeTeM)（工业数学中心（ZeTeM））；University of Bremen（不来梅大学）
本文在不适定反问题的背景下研究了所谓的深度图像先验（DIP）技术。DIP网络最近已被引入应用在图像处理，也首次实验结果应用DIP反问题已被报道。本文旨在讨论DIP的不同解释，并获得特定的网络设计和线性算子的分析结果。主要的贡献是介绍的想法，查看这些方法的优化吉洪诺夫泛函，而不是优化网络。除了理论结果，我们提出了数值验证。
2020-03-18 cs.LG stat.ML
How Good Are Deep Generative Models for Solving Inverse Problems?
Simon Fraser University（西蒙弗雷泽大学）
本研究评估了扩散、GAN和IMLE三类深度生成模型在16倍超分辨率、着色和图像解压缩三个逆问题上的解有效性与不确定性估计可靠性，发现基于IMLE的CHIMLE方法表现最佳。
2023-12-20 cs.CV cs.LG
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company（埃克森美孚技术与工程公司）
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题，提出可微数据相关层进行重新参数化和高斯化，在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
Deep Convolutional Inverse Graphics Network
Microsoft Research Cambridge（微软研究院剑桥分院）
本文介绍了深度卷积逆图形网络（DC-IGN），这是一种学习图像可解释表示的模型。这种表示相对于诸如平面外旋转和照明变化之类的变换被解开。DC-IGN模型由多层卷积和去卷积运算符组成，并使用随机梯度变分贝叶斯（SGVB）算法进行训练。我们提出了一个训练过程，以鼓励图形代码层中的神经元表示特定的变换（例如姿势或光线）。给定一个输入图像，我们的模型可以生成同一对象的新图像，但姿态和光照会发生变化。我们提出了定性和定量的结果模型的效率在学习3D渲染引擎。
2015-06-22 cs.CV cs.GR cs.LG
Deep Learning-Based Solvability of Underdetermined Inverse Problems in Medical Imaging
Yonsei University（延世大学）
近年来，随着深度学习技术的发展，求解欠定逆问题成为医学成像领域的一个重要研究课题。典型的例子包括欠采样磁共振成像，内部断层扫描和稀疏视图计算机断层扫描，其中深度学习技术已经实现了出色的性能。虽然深度学习方法似乎克服了现有数学方法在处理各种欠定问题时的局限性，但缺乏严格的数学基础，使我们能够阐明深度学习方法卓越性能的原因。这项研究的重点是学习适合深度学习的训练数据结构的因果关系，以解决高度欠定的逆问题。我们观察到，大多数的问题，解决欠定线性系统在医学成像是高度非线性。此外，我们分析了所需的重建图是否可以从训练数据和欠定系统中学习。
2020-06-26 cs.LG eess.IV stat.ML
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Error Analysis of Bayesian Inverse Problems with Generative Priors
Bamdad Hosseini University of Washington（Bamdad Hosseini 罗斯大学）
本文基于生成先验分析贝叶斯反问题的误差，通过定量误差界和数值实验验证了生成模型在反问题中的有效性。
2026-03-10 cs.LG cs.NA math.NA
Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Bio Imaging and Signal Processing Lab.（生物成像与信号处理实验室）；Department of Bio and Brain Engineering（生物与脑工程系）
最近，具有各种网络架构的深度学习方法在各种成像问题中比现有的迭代重建方法实现了显着的性能改进。然而，目前还不清楚为什么这些深度学习架构适用于特定的逆问题。为了解决这些问题，在这里，我们证明了长期寻找的缺失环节是卷积小框架，用于通过卷积局部和非局部基来表示信号。卷积小框架最初是为了推广低秩汉克尔矩阵反问题方法的理论而开发的，本文进一步扩展了这一思想，以便我们可以使用多层卷积小框架在直线线性单元非线性（ReLU）下获得深度神经网络。我们的分析还表明，流行的深度网络组件，如残差块，冗余过滤器通道和级联ReLU（CReLU）确实有助于实现PR，而池化和解池化层应使用高通分支进行扩展以满足PR条件。此外，通过改变滤波器通道数和偏置，我们可以控制神经网络的收缩行为。这一发现使我们提出了一种新的深度卷积小框架神经网络理论。通过各种逆问题的数值实验，我们证明了我们的深度卷积小框架网络与现有的深度架构相比表现出了一致的改进。这一发现表明，深度学习的成功不是来自黑盒子的神奇力量，而是来自一种新的信号表示的力量，这种信号表示使用了非局部基与数据驱动的局部基相结合，这实际上是经典信号处理理论的自然扩展。
2018-01-25 cs.CV cs.IT cs.LG
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology（佐治亚理工学院）
我们研究社会科学中的逆最优控制问题：我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作，旨在学习一个生成模型，以适应行为数据，我们提出了一种新的变分原理和对待用户作为一个强化学习算法，其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架，推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中，我们用一个新的质量输运方程计算最佳测量。在第二步中，我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络，我们表明，我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
Onsager-corrected deep learning for sparse linear inverse problems
The Ohio State University（俄亥俄州立大学）
深度学习由于在许多推理问题上的广泛成功而获得了极大的普及。我们考虑将深度学习应用于压缩感知中遇到的稀疏线性逆问题，其中寻求从少量噪声线性测量中恢复稀疏信号。在本文中，我们提出了一种新的神经网络架构，它以近似消息传递（AMP）算法在迭代过程中消除预测误差的相同方式跨层消除预测误差：通过Onsager校正。数值实验表明，我们的“学习AMP”网络显着提高了Gregor和LeCun的“学习ISTA”网络的准确性和复杂性。
2016-07-20 cs.IT cs.LG math.IT
Benchmarking deep inverse models over time, and the neural-adjoint method
Duke University（杜克大学）
我们考虑的任务是解决一般的反问题，其中一个希望确定隐藏的参数的自然系统，将产生一组特定的测量。最近出现了许多基于深度学习的新方法，产生了令人印象深刻的结果。我们将这些模型概念化为不同的方案，有效地，但随机地，探索可能的逆解空间。因此，每种方法的准确性应该作为时间的函数来评估，而不是像现在经常做的那样，作为一个单一的估计解决方案。使用这个指标，我们比较了几个国家的最先进的逆建模方法的四个基准任务：两个现有的任务，一个简单的任务可视化和一个新的任务从超材料设计。最后，受我们对逆问题的概念的启发，我们探索了一种解决方案，该解决方案使用深度学习模型来近似正向模型，然后使用反向传播来搜索良好的逆解。这种方法，称为神经伴随，在许多情况下实现了最佳性能。
2021-10-11 cs.LG eess.SP stat.ML
Applications of Deep Learning for Ill-Posed Inverse Problems Within Optical Tomography
Department of Computer Science University College London（伦敦大学学院计算机科学系（注：按要求提取到大学级别，此处“Department of Computer Science University College London”整体作为机构，中文翻译为“伦敦大学学院计算机科学系”））
在医学成像中，越来越多地出现了围绕从原始测量数据重建噪声图像的问题。在正问题是从地面实况图像生成原始测量数据的情况下，逆问题是从测量数据重建那些图像。在医学成像的大多数情况下，经典的逆拉东变换（诸如用于MRI的逆傅里叶变换）对于从测量数据恢复干净图像很好地工作。不幸的是，在X射线CT的情况下，欠采样数据是非常常见的，需要比这更多的解决忠实和可用的图像。在本文中，我们探讨了解决X射线CT逆问题的经典方法的历史，然后分析了利用监督式深度学习的最新方法。最后，我们将为未来的研究提供一些可能的途径。
2020-03-21 cs.LG eess.IV stat.ML
Solving Inverse Computational Imaging Problems using Deep Pixel-level Prior
Rice University（莱斯大学）；Indian Institute of Technology (IIT) Madras（印度理工学院马德拉斯分校）；Insight Centre for Data Analytics（数据 analytics 洞察中心）
信号重建是计算成像的一个具有挑战性的方面，因为它通常涉及求解不适定的逆问题。最近，深度前馈神经网络在解决各种逆成像问题方面取得了最新的成果。然而，由于任务特定，这些网络必须为每个逆问题学习。另一方面，更灵活的方法是学习一次深度生成模型，然后将其用作解决各种逆问题的信号先验。我们表明，在各种最先进的深度生成模型中，自回归模型特别适合我们的目的，原因如下。首先，它们显式地对像素级依赖关系进行建模，因此能够更好地重建低级别的细节，如纹理图案和边缘。其次，它们为图像先验提供了一个显式表达式，然后可以与前向模型一起用于基于MAP的推理。第三，它们可以对图像中的长程依赖性进行建模，这使得它们对于处理在各种压缩成像系统中遇到的全局复用是理想的。我们证明了我们提出的方法在解决三个计算成像问题：单像素相机（SPC），LiSens和FlatCam的有效性。对于真实和模拟的情况下，我们获得更好的重建比国家的最先进的方法在感知和定量指标。
2018-04-24 cs.CV cs.LG
Deep Inverse Q-learning with Constraints
University of Freiburg（弗赖堡大学）
流行的最大熵逆强化学习方法需要在奖励函数的估计下计算最优策略的期望状态访问频率。这通常需要在算法的内部循环中进行中间值估计，从而大大减慢收敛速度。在这项工作中，我们引入了一类新的算法，只需要解决MDP底层的演示行为一次恢复专家的政策。这是可能的，通过一个公式，利用概率行为假设的示范结构内的Q学习。我们提出了逆向迭代算法，它能够完全恢复外部代理的封闭形式的潜在奖励。我们还提供了一个附带的类的基于采样的变量，不依赖于环境的模型。我们将展示如何扩展这类算法的连续状态空间，通过函数逼近和如何估计相应的动作价值函数，导致尽可能接近的政策的外部代理，同时可选地满足预定义的硬约束的列表。我们在Objectworld基准测试中评估了称为逆Q值迭代，逆Q学习和深度逆Q学习的算法，与（深度）最大熵算法相比，加速高达几个数量级。我们进一步将深度约束逆Q学习应用于在开源模拟器SUMO中学习自动变道的任务，在对对应于30分钟演示的数据进行训练后实现合格的驾驶。
2020-08-04 cs.LG cs.RO stat.ML
Inverse Problems, Deep Learning, and Symmetry Breaking
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在许多物理系统中，与内在系统对称性相关的输入被映射到相同的输出。当反转这样的系统时，即，解决相关的反问题，没有唯一的解决方案。这导致部署新兴的端到端深度学习方法的根本困难。以广义相位恢复问题为例，通过对训练数据进行对称性破缺，可以有效地克服这一困难，提高学习性能.我们还提取并突出了所提出的解决方案，这是直接适用于其他反问题的基本数学原理。
2020-03-20 cs.LG cs.NA eess.SP
Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs
ETH Zürich（苏黎世联邦理工学院）
针对PDE数据同化与唯一延拓反问题，论文建立抽象框架并利用条件稳定性证明PINN泛化误差估计，辅以四类线性PDE示例和数值实验验证。
2023-12-06 cs.LG cs.NA math-ph
Performance Analysis and Dynamic Evolution of Deep Convolutional Neural Network for Nonlinear Inverse Scattering
ElectroScience Laboratory, The Ohio State University（俄亥俄州立大学电子科学实验室）
非线性电磁逆散射问题的求解通常受到诸如不适定性、强非线性和高计算成本等挑战的阻碍。最近，深度学习已被证明是解决这些挑战的一个有前途的工具。特别地，可以在深度卷积神经网络（CNN）和非线性EM逆散射的迭代求解方法之间建立联系。这导致了一种有效的基于CNN的非线性EM逆问题解决方案的开发，称为DeepNIS。结果表明，DeepNIS在图像质量和计算时间方面都优于传统的非线性逆散射方法。在这项工作中，我们使用结构相似性度量（SSIM）和均方误差（MSE）指标定量评估DeepNIS的性能作为层数的函数。此外，我们还通过研究DeepNIS的近等距特性来探讨其动态演化行为。结果表明，经过适当的训练阶段，建议的CNN的稳定性和泛化能力接近最优。
2019-01-09 cs.LG eess.SP physics.comp-ph
What is a Sketch-and-Precondition Derivation for Low-Rank Approximation? Inverse Power Error or Inverse Power Estimation?
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
针对低秩逼近中草图-预处理框架缺失的问题，提出误差幂草图逆迭代（EPSI）方法，通过草图牛顿迭代实现收敛速度随草图大小线性提升的理论保证。
2025-05-22 cs.CC cs.LG cs.NA
Multi-level Feature Learning on Embedding Layer of Convolutional Autoencoders and Deep Inverse Feature Learning for Image Clustering
Northern Arizona University（北亚利桑那大学）
本文介绍了多层特征学习以及卷积自动编码器的嵌入层（CAE-MLE），作为深度聚类的一种新方法。我们使用凝聚聚类作为多级特征学习，在潜在特征空间上提供层次结构。研究表明，应用多级特征学习可以大大改善基本的深度卷积嵌入聚类（DCEC）。CAE-MLE在考虑凝聚聚类的聚类损失的同时，也考虑了CAE的学习特性。在下面的反向特征学习中，我们证明了错误学习作为一种通用策略的表示可以应用于不同的深度聚类方法，并产生了有希望的结果。我们在CAE-MLE上开发了深度逆特征学习（deep IFL），作为一种新方法，它在同类方法中获得了最先进的结果。在MNIST和USPS两个著名数据集上的实验结果表明，CAE-MLE比基本方法DCEC的结果提高了7% -14%。此外，它表明，建议的深IFL改进的初步结果约9%-17%。因此，所提出的CAE-MLE方法和基于CAE-MLE的深度IFL方法与大多数现有技术相比可以导致显著的性能改善。所提出的方法虽然基于基本的卷积自编码器，但即使与变分自编码器或生成对抗网络相比，也会产生出色的结果。
2020-10-05 cs.CV cs.LG
Deep Learning Methods for Solving Linear Inverse Problems: Research Directions and Paradigms
Beijing Jiaotong University（北京交通大学）；Northwestern Polytechnical University（西北工业大学）；Cranfield University（克兰菲尔德大学）；Alan Turing Institute（艾伦·图灵研究所）
线性反问题是各个科学领域发展的基础。在不同的应用中，已经进行了不间断的尝试来解决线性逆问题的不同变体。如今，深度学习的快速发展为解决线性逆问题提供了一个新的视角，它具有各种精心设计的网络架构，在许多应用中具有最先进的性能。在本文中，我们对深度学习在解决各种线性逆问题方面的最新进展进行了全面的调查。我们回顾了深度学习方法如何用于解决不同的线性逆问题，并探索了结构化神经网络架构，其中包含了传统方法中使用的知识。此外，我们确定了这条研究路线的开放挑战和潜在的未来方向。
2020-08-11 cs.LG cs.SY eess.IV
Taking a Deeper Look at the Inverse Compositional Algorithm
Georgia Institute of Technology（佐治亚理工学院）；University of Tübingen（图宾根大学）
在本文中，我们提供了一个现代合成的经典逆合成算法的密集图像对齐。我们首先讨论了这种成熟的技术所做的假设，并随后提出放宽这些假设，将数据驱动的先验模型。更具体地说，我们展开了一个强大的版本的逆合成算法，并使用更有表现力的模型，其参数，我们训练在一个端到端的方式从数据中取代该算法的多个组件。我们在几个具有挑战性的3D刚性运动估计任务上的实验证明了将优化与基于学习的技术相结合的优势，优于经典的逆合成算法以及数据驱动的图像到姿态回归方法。
2019-04-08 cs.AI cs.CV cs.LG
An Over Complete Deep Learning Method for Inverse Problems
University of Cambridge（剑桥大学）；University of British Columbia（不列颠哥伦比亚大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出一种过完备深度学习方法，通过联合学习高维嵌入及其正则化器，解决逆问题中近端和扩散方法的不足，并在多个常见逆问题上验证其有效性。
2024-02-07 cs.CV cs.LG
Solution of Physics-based Bayesian Inverse Problems with Deep Generative Priors
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
逆问题在自然界中无处不在，几乎出现在所有科学和工程领域，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决其不适定性。贝叶斯推断提供了一个原则性的方法来克服这一点，制定了一个统计框架的逆问题。然而，它是具有挑战性的应用时，推断具有离散表示的大尺寸（所谓的“灾难的维度”）和/或当先验信息仅在先前获得的解决方案的形式可用的字段。在这项工作中，我们提出了一种新的方法，使用深度生成模型进行高效准确的贝叶斯反演。具体来说，我们演示了如何使用生成对抗网络（GAN）学习的近似分布作为贝叶斯更新的先验，并在GAN的低维潜在空间中重新制定由此产生的推理问题，从而有效地解决大规模贝叶斯逆问题。我们的统计框架保留了基础物理，并被证明可以产生准确的结果，具有可靠的不确定性估计，即使在缺乏有关基础噪声模型的信息的情况下，这对许多现有方法来说是一个重大挑战。我们证明了所提出的方法对各种反问题，其中包括合成以及实验观察到的数据的有效性。
2022-07-25 cs.LG stat.ML
One-dimensional Deep Image Prior for Time Series Inverse Problems
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们将深度图像先验（DIP）框架扩展到一维信号。DIP使用随机初始化的卷积神经网络（CNN）通过优化权重来解决线性逆问题，以拟合观察到的测量结果。我们的主要发现是，适当调整的一维卷积架构为各种类型的时间信号（包括音频，生物信号和传感器测量）提供了出色的深度图像先验。我们证明了我们的网络可以用于各种恢复任务，包括缺失值填补，盲去噪和随机高斯投影的压缩感知。关键的挑战是如何通过仔细调整提前停止、总变差和权重衰减正则化来避免过拟合。我们的方法需要比Lasso少4倍的测量，并且优于NLM-VAMP对音频信号的随机高斯测量，具有与卡尔曼状态空间模型对各种数据的插补性能相似的插补性能，并且在从空气质量传感器读数中去除加性噪声方面优于小波滤波。
2019-04-18 cs.LG stat.ML
Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems
KAIST（韩国科学技术院）
针对扩散先验逆问题的分布外适配需求，提出深度扩散图像先验框架及专为3D测量设计的高效D3IP方法，结合元学习可进一步提升性能，仅用体模图像训练的先验即可完成多种3D重建任务。
2024-07-15 cs.CV cs.LG
Intermediate Layer Optimization for Inverse Problems using Deep Generative Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了中间层优化（ILO），这是一种新的优化算法，用于解决具有深度生成模型的反问题。而不是只优化初始的潜在代码，我们逐步改变输入层获得连续更有表现力的发电机。为了探索更高的维度空间，我们的方法搜索潜在的代码，位于一个小$l_1$球周围的流形诱导前一层。我们的理论分析表明，通过保持球的半径相对较小，我们可以使用深度生成模型来提高压缩感知的既定误差范围。我们的经验表明，我们的方法优于StyleGAN-2和PULSE中引入的最先进的方法，适用于各种逆问题，包括修复，去噪，超分辨率和压缩感知。
2021-02-15 cs.LG
Deep-Learning based Inverse Modeling Approaches: A Subsurface Flow Example
Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）
深度学习已经取得了良好的性能，并显示出解决正问题和逆问题的巨大潜力。在这项工作中，提出并比较了两类创新的基于深度学习的逆建模方法。第一类是基于深度学习代理的反演方法，其中理论指导神经网络（TgNN）被构建为具有不确定模型参数的问题的深度学习代理。通过结合物理定律和其他约束，TgNN代理可以构建有限的模拟运行，并显着加快反演过程。提出了三种基于TgNN代理的反演方法，包括梯度法、迭代集成平滑器（IES）和训练方法。第二类是直接深度学习反演方法，其中提出了具有地质统计信息约束的TgNN，称为TgNN-geo，用于直接反演建模。在TgNN-geo中，引入了两个神经网络来近似各自的随机模型参数和解。由于先验地质统计信息可以被纳入，基于TgNN-geo的直接反演方法工作良好，即使在稀疏的空间测量或不精确的先验统计的情况下。虽然提出的基于深度学习的逆建模方法本质上是通用的，因此适用于各种各样的问题，但它们用几个地下流问题进行了测试。结果表明，该方法具有较高的效率，可获得满意的结果。此外，还进一步分析了所提出的两类基于深度学习的反演方法的优缺点。
2020-07-28 cs.LG eess.SP math.OC
Deep Variational Inverse Scattering
University of Basel（巴塞尔大学）；Sharif University of Technology（谢里夫理工大学）；University of Zagreb（萨格勒布大学）
逆介质散射解算器通常重建单个解，而没有相关联的不确定性测量。这对于经典的迭代求解器和新兴的深度学习方法都是如此。但是病态性和噪音会使这个单一的估计不准确或误导。虽然深度网络（如条件归一化流）可用于对逆问题中的后验进行采样，但它们通常会产生低质量的样本和不确定性估计。在本文中，我们提出了U-Flow，一个基于条件归一化流的贝叶斯U-Net，它可以生成高质量的后验样本并估计物理意义上的不确定性。我们表明，该模型显着优于最近的归一化流量的后验样本质量，同时具有可比的性能与U-网的点估计。
2022-12-09 cs.LG
Total Deep Variation for Linear Inverse Problems
Graz University of Technology（格拉茨技术大学）；University of Graz（格拉茨大学）
成像中的各种反问题可以转化为由特定任务的数据保真度项和正则化项组成的变分问题。在本文中，我们提出了一种新的可学习的通用正则化器，它利用了深度学习中最近的架构设计模式。我们将学习问题转化为离散采样最优控制问题，导出了伴随状态方程和最优性条件。通过利用我们的方法的变分结构，我们执行灵敏度分析相对于从不同的训练数据集获得的学习参数。此外，我们进行了非线性本征函数分析，揭示了有趣的性质的学习正则化。我们展示了经典图像恢复和医学图像重建问题的最先进的性能。
2020-02-17 cs.CV cs.LG math.OC
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；Aalto University（阿alto大学）
本文提出一种基于秩1近似的高效自然策略优化方法，通过理论证明其在收敛速度和样本复杂度上的优势，并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London（伦敦大学学院）
逆问题重建方法的最新进展利用了强大的数据驱动模型，例如，深度神经网络。这些技术已经证明了几个成像任务的最先进的性能，但他们往往不提供所获得的重建的不确定性。在这项工作中，我们开发了一个可扩展的，数据驱动的，知识辅助的计算框架，通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降（最近开发的贪婪迭代训练方案）的基础上，并对其进行了扩展，并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的：只有每个块的最后一层是贝叶斯的，而其他层仍然是确定性的，并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示，即具有稀疏视图或有限视图数据的计算机断层扫描，并且相对于最先进的基准表现出有竞争力的性能，例如，全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
Convergence Guarantees of Overparametrized Wide Deep Inverse Prior
Normandie Univ.（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（格雷克实验室）
近年来，神经网络已成为求解逆问题的一种重要方法。在不同的现有方法中，深度图像/逆先验（DIP）技术是一种无监督的方法，其优化高度过参数化的神经网络以将随机输入转换为对象，该对象在前向模型下的图像与观察结果匹配。然而，这种方法所需的过度参数化水平仍然是一个悬而未决的问题。在这项工作中，我们的目标是研究这个问题的两层神经网络的光滑激活函数。我们提供了overparametrization界限下，这种网络训练通过连续时间梯度下降将以高概率指数收敛，从而可以获得恢复预测界限。因此，这项工作是对overparametrized DIP网络的理论理解的第一步，更广泛地说，它参与反问题设置的神经网络的理论理解。
2023-03-20 cs.LG
Deep PQR: Solving Inverse Reinforcement Learning using Anchor Actions
Princeton University（普林斯顿大学）；Amazon（亚马逊）
我们提出了一个基于深度能量策略的逆强化学习的奖励函数估计框架。我们将我们的方法命名为PQR，因为它通过深度学习依次估计策略、$Q$函数和奖励函数。PQR并不认为奖励只取决于状态，相反，它允许依赖于行动的选择。此外，PQR允许随机状态转换。为了实现这一点，我们假设存在一个锚定动作，其奖励是已知的，通常是什么也不做的动作，不产生奖励。我们提出的PQR方法的估计和算法。当环境转移是已知的，我们证明了PQR奖励估计唯一恢复真实的奖励。对于未知的转移，我们限制了PQR的估计误差。最后，PQR的性能证明了合成和真实世界的数据集。
2020-08-15 cs.LG math.OC stat.ML
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia（弗吉尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
受人类视觉注意力的启发，我们提出了一种新的逆强化学习公式，使用最大熵深度逆强化学习（MEDIRL）来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外，我们还介绍了EyeCar，这是一种新的驾驶员注意力数据集，适用于事故多发情况。我们进行了全面的实验，以评估我们提出的模型在三个常见的基准：（DR（眼）VE，BDD-A，DADA-2000），和我们的EyeCar数据集。结果表明，MEDIRL在预测注意力方面优于现有模型，并达到了最先进的性能。我们提出了广泛的消融研究，以提供更多的见解，我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Novel Deep neural networks for solving Bayesian statistical inverse
George Mason University（乔治梅森大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了大规模线性和非线性偏微分方程（PDE）的贝叶斯统计反问题的模拟。马尔可夫链蒙特卡罗（MCMC）算法是解决此类问题的标准技术。然而，MCMC技术在计算上具有挑战性，因为它们需要数千个正向PDE解。本文的目标是介绍一种基于分数深度神经网络的方法，用于MCMC例程中的正向求解。此外，我们讨论了一些近似误差估计，并通过几个数值例子说明我们的方法的效率。
2021-02-08 cs.LG cs.NA math.NA
Deep composition of tensor-trains using squared inverse Rosenblatt transports
Monash University（莫纳什大学）；University of Bath（巴斯大学）
刻画高维随机变量是随机计算的基本挑战之一。最近激增的运输地图提供了一个数学基础和新的见解，通过耦合棘手的随机变量与易处理的参考随机变量来应对这一挑战。本文将Dolgov等人（Stat Comput 30：603- 625，2020）最近提出的逆Rosenblatt输运的泛函张量列近似推广到一类高维非负函数，如非归一化概率密度函数。首先，我们扩展逆Rosenblatt变换，使运输一般的参考措施以外的统一措施。我们开发了一个有效的程序来计算这种运输从平方张量列车分解，保持单调性。更重要的是，我们将所提出的保序功能张量火车运输到一个嵌套的变量转换框架的启发，深层神经网络的分层结构。由此产生的深逆Rosenblatt输运显着扩展张量近似和输运映射到具有复杂非线性相互作用和集中密度函数的随机变量的能力。我们证明了所提出的方法在统计学习和不确定性量化中的一系列应用的效率，包括动力系统的参数估计和偏微分方程约束的反问题。
2021-10-19 cs.LG cs.NA math.NA
Multifidelity deep neural operators for efficient learning of partial differential equations with application to fast inverse design of nanoscale heat transport
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
深度神经算子可以通过深度神经网络学习无限维函数空间之间的算子映射，已经成为科学机器学习的新兴范式。然而，训练神经算子通常需要大量的高保真数据，而这些数据在实际工程问题中往往很难获得。在这里，我们通过使用多保真度学习来解决这一挑战，即，从多保真度数据集学习。我们开发了一个基于深度算子网络（DeepONet）的多保真度神经算子。多保真度DeepONet包括两个标准的DeepONet，通过残差学习和输入增强耦合。Multifidelity DeepONet显著减少了所需的高保真数据量，并在使用相同数量的高保真数据时实现了一个数量级的小误差。我们应用多保真度DeepONet来学习声子玻尔兹曼传输方程（BTE），这是一个计算纳米级热传输的框架。通过将经过训练的多保真度DeepONet与遗传算法或拓扑优化相结合，我们展示了BTE问题逆设计的快速求解器。
2022-04-14 cs.LG physics.comp-ph
DeepRite: Deep Recurrent Inverse TreatmEnt Weighting for Adjusting Time-varying Confounding in Modern Longitudinal Observational Data
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
反事实预测是关于从数据中预测未观察到的情况的结果。例如，给定患者正在使用药物A，如果她改用药物B，结果会是什么。现有的大多数工作都集中在基于静态数据的反事实结果建模。然而，许多应用具有随时间变化的混杂效应，例如随着时间的推移进行多次治疗。如何根据纵向观测数据对这种随时间变化的效应进行建模？如何对数据中复杂的高维依赖进行建模？为了解决这些挑战，我们提出了深度递归逆处理加权（DeepRite），将递归神经网络纳入现代纵向数据中存在时变混杂的两阶段调整。在第一阶段队列重新加权中，我们拟合一个网络来发射治疗的时间相关逆概率，使用它们来生成伪平衡队列。在第二阶段的结果进展中，我们将调整后的数据输入到后续的预测网络中进行反事实预测。我们在合成数据和从重症监护室的脓毒症患者中收集的真实数据上评估DeepRite。DeepRite被证明可以从合成数据中恢复地面实况，并从真实数据中估计无偏的治疗效果，由于其适用于创建平衡的队列，因此可以更好地与败血症管理的标准指南保持一致。
2020-10-28 cs.LG
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS（Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS）
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证，提出兼具粘性与几何Hessian驱动阻尼的惯性算法，并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Physics-aware deep learning framework for the limited aperture inverse obstacle scattering problem
School of Mathematics, Southeast University（东南大学数学学院）
针对有限孔径逆障碍物散射问题缺乏标注数据、传统深度学习性能受限的问题，本文提出无需真实标签的深度分解方法DDM，嵌入物理算子并结合数据补全，兼具可解释性与理论收敛保证，实验验证其在孔径极有限时仍有效。
2024-11-03 cs.LG cs.NA eess.SP
Limitations of Deep Learning for Inverse Problems on Digital Hardware
Technical University of Munich（慕尼黑工业大学）；Ruhr University Bochum（波鸿鲁尔大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文分析了数字硬件（图灵机模型）对深度学习的内在限制，证明对于较小松弛参数，有限维逆问题不是Banach-Mazur可计算的，并给出了算法可获精度的下界。
2023-10-25 cs.AI cs.LG eess.SP
Inverse Lithography Physics-informed Deep Neural Level Set for Mask Optimization
Tencent Quantum Lab, Tencent（腾讯量子实验室，腾讯）
本文提出逆光刻物理信息深度神经水平集（ILDLS）方法，将基于水平集的ILT嵌入深度学习框架并迭代校正掩模，在显著提升可印刷性和工艺窗口的同时，将计算时间较ILT减少几个数量级。
2023-08-15 cs.AR cs.CV cs.LG
Deep synthesis regularization of inverse problems
University of Innsbruck（因斯布鲁克大学）
最近，已经开发了大量用于解决反问题的高效深度学习方法，并显示出出色的数值性能。然而，对于这些深度学习方法，缺乏重建保证形式的坚实理论基础。相比之下，对于经典的重建方法，如凸变分和基于框架的正则化，理论收敛性和收敛速度的结果很好地建立。在本文中，我们引入了深度合成正则化（DESYRE），使用神经网络作为非线性合成算子，弥合了这两个世界之间的差距。所提出的方法允许利用深度学习的好处，即可以很好地适应可用的训练数据，另一方面还具有坚实的数学基础。我们提出了一个全收敛分析与收敛速度的建议的深度合成正则化。我们提出了一种策略，用于构建一个合成网络的分析合成序列的一部分，连同一个适当的训练策略。数值结果表明，我们的方法的可行性。
2020-02-01 cs.LG cs.NA math.NA
Inverse deep learning methods and benchmarks for artificial electromagnetic material design
Duke University（杜克大学）
深度学习（DL）逆技术提高了人工电磁材料（AEM）设计的速度并改善了所得器件的质量。许多DL逆技术已经成功的AEM设计任务的数量，但比较，对比，并评估各种技术，关键是要澄清潜在的不适定性的反问题。在这里，我们回顾了最先进的方法，并提出了一个全面的调查深度学习逆方法和可逆和条件可逆神经网络AEM设计。我们制作易于访问和快速实施的AEM设计基准，它提供了一种方法来有效地确定最适合解决不同设计挑战的DL技术。我们的方法是指导约束重复模拟和一个容易集成的度量，我们建议表示任何AEM设计问题的相对不适定性。我们发现，随着问题变得越来越不适定，神经伴随边界损失（NA）更快地产生更好的解决方案，无论模拟约束。在更简单的AEM设计任务中，当模拟有限时，直接神经网络（NN）表现更好，而混合密度网络（MDN）和条件变分自动编码器（VAE）预测的几何形状可以通过连续采样和重新模拟来改进。
2021-12-19 cond-mat.mtrl-sci cs.LG
Physics-constrained Deep Learning for Robust Inverse ECG Modeling
Oklahoma State University（俄克拉荷马州立大学）
先进传感和成像的快速发展带来了数据丰富的环境，促进了复杂系统的有效建模，监测和控制。例如，身体传感器网络捕获与心脏的电活动有关的多通道信息（即，心电图（ECG）），使医学科学家能够监测和检测异常的心脏状况。然而，高维传感数据通常结构复杂，充分发挥数据潜力在很大程度上取决于先进的分析和预测方法。本文提出了一种物理约束的深度学习（P-DL）框架，用于高维逆ECG建模。该方法将复杂系统的物理定律与先进的深度学习基础设施相结合，以有效预测系统动力学。提出的P-DL方法被实现来求解逆ECG模型，并从由体表传感器网络测量的ECG数据预测心脏中的电势的时变分布。实验结果表明，所提出的P-DL方法显着优于现有的方法，在当前的实践中常用的。
2022-01-30 cs.LG
NETT: Solving Inverse Problems with Deep Neural Networks
University of Göttingen（哥廷根大学）；University of Innsbruck（因斯布鲁克大学）
从间接测量数据中恢复函数或高维参数向量是各个科学领域的中心任务。几种方法来解决这样的反问题是发达国家和良好的理解。最近，出现了使用深度学习和神经网络解决逆问题的新算法。虽然仍处于起步阶段，但这些技术在低剂量CT或各种稀疏数据问题等应用中表现出惊人的性能。然而，在逆问题中深度学习的理论成果很少。在本文中，我们建立了一个全收敛分析所提出的NETT（网络Tikhonov）方法反问题。NETT考虑具有由训练的神经网络定义的正则化子的小值的数据一致性解决方案。我们推导出适定性结果和定量的误差估计，并提出了一种可能的策略训练正则化。我们的理论结果和框架是不同的，从任何以前的工作使用神经网络解决反问题。提出了一种可能的数据驱动正则化器。数值结果的层析稀疏数据的问题，这表明良好的性能NETT，即使从训练数据的不同类型的未知数。为了得到收敛性和收敛速度的结果，我们引入了一个新的框架的基础上的绝对Bregman距离推广的标准Bregman距离从凸的非凸的情况下。
2019-12-08 cs.LG cs.NA math.NA
Deep unfolding as iterative regularization for imaging inverse problems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
最近，通过迭代算法指导深度神经网络（DNN）设计的深度展开方法在逆问题领域受到越来越多的关注。与一般的端到端DNN不同，展开方法具有更好的可解释性和性能。然而，据我们所知，他们的精度和稳定性在解决反问题不能完全保证。为了弥补这一差距，我们修改了训练过程，并证明了展开方法是一种迭代正则化方法。更确切地说，我们通过输入凸神经网络（ICNN）联合学习凸罚函数来表征与真实数据流形的距离，并使用该学习的罚函数训练从最近端梯度下降算法展开的DNN。假设真实数据流形只与唯一的真实解相交。我们证明了展开的DNN将稳定地收敛到它。此外，我们证明了与MRI重建的一个例子，所提出的方法优于传统的展开方法和传统的正则化方法的重建质量，稳定性和收敛速度。
2022-11-24 cs.LG eess.IV math.OC
Deep neural networks for solving forward and inverse problems of (2+1)-dimensional nonlinear wave equations with rational solitons
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学机械化重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）；Yau Mathematical Sciences Center and Department of Mathematics, Tsinghua University（清华大学丘成桐数学科学中心与数学系）
本文利用神经网络的深度学习方法，研究了（2+1）维KP-I方程和自旋非线性薛定谔（spin-NLS）方程的数据驱动有理孤子的正演问题.此外，通过深度学习研究了（2+1）维KP-I方程和自旋NLS方程的反问题。数据驱动的正问题和反问题的主要思想是使用具有激活函数的深度神经网络，通过优化与所考虑的非线性波方程相关的所选损失函数来近似所考虑的（2+1）维非线性波方程的解。
2021-12-28 cs.LG math-ph math.MP
Deep learning for size-agnostic inverse design of random-network 3D printed mechanical metamaterials
Delft University of Technology (TU Delft)（代尔夫特理工大学）；Leiden University Medical Center (LUMC)（莱顿大学医学中心）
机械超材料的实际应用通常涉及解决逆问题，其目标是找到产生给定属性集的（多个）微架构。增材制造技术的有限分辨率通常需要解决特定尺寸的此类逆问题。因此，人们应该找到多个微结构设计，表现出所需的性能与给定的尺寸的标本。此外，候选微架构应该耐疲劳和断裂，这意味着峰值应力也应该最小化。这样的多目标逆设计问题是非常难以解决的，但它的解决方案是机械超材料在现实世界中应用的关键。在这里，我们提出了一种名为“Deep-DRAM”的模块化方法，它结合了四个解耦模型，包括两个深度学习模型（DLM），一个基于条件变分自编码器（CVAE）的深度生成模型（DGM）和直接有限元（FE）模拟。Deep-DRAM（用于随机网络超材料设计的深度学习）将这些模型集成到一个统一的框架中，能够为这里提出的多目标逆设计问题找到许多解决方案。集成框架首先将所需的弹性属性引入DGM，DGM返回一组候选设计。然后将候选设计与目标样本尺寸一起传递到DLM，DLM根据样本尺寸预测其实际弹性特性。在基于实际属性与期望属性的接近度的过滤步骤之后，最后一步使用直接FE模拟来识别具有最小峰值应力的设计。
2022-12-22 cs.LG physics.app-ph
Theoretical Perspectives on Deep Learning Methods in Inverse Problems
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；Northeastern University（东北大学）；Weizmann Institute of Science（魏茨曼科学研究所）
近年来，深度学习方法在逆问题中的应用取得了重大进展，如去噪、压缩感知、修复和超分辨率。虽然这一系列的工作主要是由实际的算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了一些突出的理论发展，在这一行的作品，特别是集中在生成先验，未经训练的神经网络先验，展开算法。除了总结这些主题的现有成果外，我们还强调了几个持续的挑战和开放的问题。
2023-01-30 cs.IT cs.LG eess.SP
Performance Comparison of Design Optimization and Deep Learning-based Inverse Design
Sookmyung Women’s University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Narnia Labs（纳尼亚实验室）
针对工程设计领域，本文通过多场景基准问题对比传统设计优化与基于深度学习的逆向设计的性能，提出后者的应用指导原则以提升其实用性。
2023-08-23 cs.LG math.OC
