Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems
KAIST（韩国科学技术院）
针对扩散先验逆问题的分布外适配需求，提出深度扩散图像先验框架及专为3D测量设计的高效D3IP方法，结合元学习可进一步提升性能，仅用体模图像训练的先验即可完成多种3D重建任务。
2024-07-15 cs.CV cs.LG
Deep Inverse Optimization
Concordia University（康考迪亚大学）
给定由优化过程生成的一组观测，逆优化的目标是确定该过程的可能参数。我们将逆优化视为深度学习的一种形式。我们的方法称为深度逆优化，是展开迭代优化过程，然后使用反向传播来学习生成观测值的参数。我们证明，通过内点算法的反向传播，我们可以学习的系数确定成本向量和约束，独立或联合，为非参数和参数线性规划，从一个或多个观察。通过这种方法，逆优化可以利用来自深度学习的概念和算法。
2018-12-03 cs.LG math.OC stat.ML
Intermediate Layer Optimization for Inverse Problems using Deep Generative Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了中间层优化（ILO），这是一种新的优化算法，用于解决具有深度生成模型的反问题。而不是只优化初始的潜在代码，我们逐步改变输入层获得连续更有表现力的发电机。为了探索更高的维度空间，我们的方法搜索潜在的代码，位于一个小$l_1$球周围的流形诱导前一层。我们的理论分析表明，通过保持球的半径相对较小，我们可以使用深度生成模型来提高压缩感知的既定误差范围。我们的经验表明，我们的方法优于StyleGAN-2和PULSE中引入的最先进的方法，适用于各种逆问题，包括修复，去噪，超分辨率和压缩感知。
2021-02-15 cs.LG
Total Deep Variation for Linear Inverse Problems
Graz University of Technology（格拉茨技术大学）；University of Graz（格拉茨大学）
成像中的各种反问题可以转化为由特定任务的数据保真度项和正则化项组成的变分问题。在本文中，我们提出了一种新的可学习的通用正则化器，它利用了深度学习中最近的架构设计模式。我们将学习问题转化为离散采样最优控制问题，导出了伴随状态方程和最优性条件。通过利用我们的方法的变分结构，我们执行灵敏度分析相对于从不同的训练数据集获得的学习参数。此外，我们进行了非线性本征函数分析，揭示了有趣的性质的学习正则化。我们展示了经典图像恢复和医学图像重建问题的最先进的性能。
2020-02-17 cs.CV cs.LG math.OC
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Deep Variational Inverse Scattering
University of Basel（巴塞尔大学）；Sharif University of Technology（谢里夫理工大学）；University of Zagreb（萨格勒布大学）
逆介质散射解算器通常重建单个解，而没有相关联的不确定性测量。这对于经典的迭代求解器和新兴的深度学习方法都是如此。但是病态性和噪音会使这个单一的估计不准确或误导。虽然深度网络（如条件归一化流）可用于对逆问题中的后验进行采样，但它们通常会产生低质量的样本和不确定性估计。在本文中，我们提出了U-Flow，一个基于条件归一化流的贝叶斯U-Net，它可以生成高质量的后验样本并估计物理意义上的不确定性。我们表明，该模型显着优于最近的归一化流量的后验样本质量，同时具有可比的性能与U-网的点估计。
2022-12-09 cs.LG
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London（伦敦大学学院）
逆问题重建方法的最新进展利用了强大的数据驱动模型，例如，深度神经网络。这些技术已经证明了几个成像任务的最先进的性能，但他们往往不提供所获得的重建的不确定性。在这项工作中，我们开发了一个可扩展的，数据驱动的，知识辅助的计算框架，通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降（最近开发的贪婪迭代训练方案）的基础上，并对其进行了扩展，并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的：只有每个块的最后一层是贝叶斯的，而其他层仍然是确定性的，并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示，即具有稀疏视图或有限视图数据的计算机断层扫描，并且相对于最先进的基准表现出有竞争力的性能，例如，全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
Deep Learning for Inverse Problems: Bounds and Regularizers
University College London（伦敦大学学院）
逆问题出现在许多领域，如医学成像，遥感等，依赖于使用先进的信号和图像处理方法-如稀疏驱动技术-以确定其解决方案。相反，本文研究了使用深度学习方法来近似逆问题的解决方案。特别是，该论文提供了一个新的泛化界，取决于与深度神经网络相关的关键量-其雅可比矩阵-这也导致了一些适用于逆问题的计算效率高的正则化策略。本文还测试了一些反问题，包括图像超分辨率的正则化策略。我们在各种数据集上进行的数值结果表明，使用源自我们理论的正则化或代理正则化策略正则化的全连接和卷积神经网络都表现出比使用标准方法（如权重衰减）正则化的深度网络更好的性能。
2019-01-31 cs.LG stat.ML
Learning Personalized Representation for Inverse Problems in Medical Imaging Using Deep Neural Network
Gordon Center for Medical Imaging（戈登医学影像中心）；Massachusetts General Hospital（麻省总医院）；Martinos Center for Biomedical Imaging（马蒂诺斯生物医学影像中心）；University of California, Davis（加州大学戴维斯分校）
近年来，深度神经网络在计算机视觉领域得到了广泛而成功的应用，并在医学成像领域引起了越来越多的关注。将深度神经网络应用于医学成像的一个障碍是需要大量的先验训练对，这在临床实践中并不总是可行的。在这项工作中，我们提出了一个个性化的表示学习框架，不需要事先训练对，但只有病人自己的先验图像。使用深度神经网络以患者的先前图像作为网络输入来表达所述表示。然后，我们将这种新的图像表示在医学成像中的逆问题，其中原来的逆问题被制定为一个约束优化问题，并使用交替方向的乘法器（ADMM）算法求解。以解剖学引导的脑正电子发射断层扫描（PET）图像重建和图像去噪为例，验证了该框架的有效性。基于模拟和真实数据集的量化结果表明，所提出的个性化表示框架优于其他广泛采用的方法。
2018-07-04 cs.CV cs.LG physics.med-ph
Convergence Guarantees of Overparametrized Wide Deep Inverse Prior
Normandie Univ.（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（格雷克实验室）
近年来，神经网络已成为求解逆问题的一种重要方法。在不同的现有方法中，深度图像/逆先验（DIP）技术是一种无监督的方法，其优化高度过参数化的神经网络以将随机输入转换为对象，该对象在前向模型下的图像与观察结果匹配。然而，这种方法所需的过度参数化水平仍然是一个悬而未决的问题。在这项工作中，我们的目标是研究这个问题的两层神经网络的光滑激活函数。我们提供了overparametrization界限下，这种网络训练通过连续时间梯度下降将以高概率指数收敛，从而可以获得恢复预测界限。因此，这项工作是对overparametrized DIP网络的理论理解的第一步，更广泛地说，它参与反问题设置的神经网络的理论理解。
2023-03-20 cs.LG
Unsupervised Deep Learning Algorithm for PDE-based Forward and Inverse Problems
Tel-Aviv University（特拉维夫大学）
我们提出了一种基于神经网络的算法，用于以无监督的方式求解偏微分方程的正问题和反问题。该解决方案是近似的深度神经网络，这是成本函数的最小化，并满足PDE，边界条件，和额外的正则化。该方法是无网格的，可以很容易地应用到一个任意的规则域。本文主要研究二维二阶椭圆系统的变系数问题，并将其应用于电阻抗成像。
2019-04-10 cs.LG stat.ML
MICS : Multi-steps, Inverse Consistency and Symmetric deep learning registration network
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Institut Gustave Roussy（古斯塔夫·鲁西研究所）；Inserm（法国国家健康与医学研究院）
变形配准包括找到两个不同图像之间的最佳密集对应。许多算法已经出版，但临床应用是困难的高计算时间需要解决的优化问题。深度学习通过利用GPU计算和学习过程克服了这一限制。然而，许多深度学习方法没有考虑经典算法所遵循的理想属性。在本文中，我们提出了MICS，一种新的医学成像配准的深度学习算法。由于配准是一个不适定的问题，我们专注于我们的算法在不同的属性方面：逆一致性，对称性和方向守恒。我们还将我们的算法与多步策略相结合，以细化和改进变形网格。虽然许多方法将配准应用于脑部MRI，但我们探索了更具挑战性的身体定位：腹部CT。最后，我们在Learn2Reg挑战期间使用的数据集上评估了我们的方法，允许与已发布的方法进行公平比较。
2021-11-23 cs.AI cs.CV cs.LG
Performance Analysis and Dynamic Evolution of Deep Convolutional Neural Network for Nonlinear Inverse Scattering
ElectroScience Laboratory, The Ohio State University（俄亥俄州立大学电子科学实验室）
非线性电磁逆散射问题的求解通常受到诸如不适定性、强非线性和高计算成本等挑战的阻碍。最近，深度学习已被证明是解决这些挑战的一个有前途的工具。特别地，可以在深度卷积神经网络（CNN）和非线性EM逆散射的迭代求解方法之间建立联系。这导致了一种有效的基于CNN的非线性EM逆问题解决方案的开发，称为DeepNIS。结果表明，DeepNIS在图像质量和计算时间方面都优于传统的非线性逆散射方法。在这项工作中，我们使用结构相似性度量（SSIM）和均方误差（MSE）指标定量评估DeepNIS的性能作为层数的函数。此外，我们还通过研究DeepNIS的近等距特性来探讨其动态演化行为。结果表明，经过适当的训练阶段，建议的CNN的稳定性和泛化能力接近最优。
2019-01-09 cs.LG eess.SP physics.comp-ph
DeepRite: Deep Recurrent Inverse TreatmEnt Weighting for Adjusting Time-varying Confounding in Modern Longitudinal Observational Data
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
反事实预测是关于从数据中预测未观察到的情况的结果。例如，给定患者正在使用药物A，如果她改用药物B，结果会是什么。现有的大多数工作都集中在基于静态数据的反事实结果建模。然而，许多应用具有随时间变化的混杂效应，例如随着时间的推移进行多次治疗。如何根据纵向观测数据对这种随时间变化的效应进行建模？如何对数据中复杂的高维依赖进行建模？为了解决这些挑战，我们提出了深度递归逆处理加权（DeepRite），将递归神经网络纳入现代纵向数据中存在时变混杂的两阶段调整。在第一阶段队列重新加权中，我们拟合一个网络来发射治疗的时间相关逆概率，使用它们来生成伪平衡队列。在第二阶段的结果进展中，我们将调整后的数据输入到后续的预测网络中进行反事实预测。我们在合成数据和从重症监护室的脓毒症患者中收集的真实数据上评估DeepRite。DeepRite被证明可以从合成数据中恢复地面实况，并从真实数据中估计无偏的治疗效果，由于其适用于创建平衡的队列，因此可以更好地与败血症管理的标准指南保持一致。
2020-10-28 cs.LG
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS（Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS）
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证，提出兼具粘性与几何Hessian驱动阻尼的惯性算法，并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Regularization by architecture: A deep prior approach for inverse problems
Center for Industrial Mathematics (ZeTeM)（工业数学中心（ZeTeM））；University of Bremen（不来梅大学）
本文在不适定反问题的背景下研究了所谓的深度图像先验（DIP）技术。DIP网络最近已被引入应用在图像处理，也首次实验结果应用DIP反问题已被报道。本文旨在讨论DIP的不同解释，并获得特定的网络设计和线性算子的分析结果。主要的贡献是介绍的想法，查看这些方法的优化吉洪诺夫泛函，而不是优化网络。除了理论结果，我们提出了数值验证。
2020-03-18 cs.LG stat.ML
Deep Convolutional Inverse Graphics Network
Microsoft Research Cambridge（微软研究院剑桥分院）
本文介绍了深度卷积逆图形网络（DC-IGN），这是一种学习图像可解释表示的模型。这种表示相对于诸如平面外旋转和照明变化之类的变换被解开。DC-IGN模型由多层卷积和去卷积运算符组成，并使用随机梯度变分贝叶斯（SGVB）算法进行训练。我们提出了一个训练过程，以鼓励图形代码层中的神经元表示特定的变换（例如姿势或光线）。给定一个输入图像，我们的模型可以生成同一对象的新图像，但姿态和光照会发生变化。我们提出了定性和定量的结果模型的效率在学习3D渲染引擎。
2015-06-22 cs.CV cs.GR cs.LG
Deep Learning Methods for Solving Linear Inverse Problems: Research Directions and Paradigms
Beijing Jiaotong University（北京交通大学）；Northwestern Polytechnical University（西北工业大学）；Cranfield University（克兰菲尔德大学）；Alan Turing Institute（艾伦·图灵研究所）
线性反问题是各个科学领域发展的基础。在不同的应用中，已经进行了不间断的尝试来解决线性逆问题的不同变体。如今，深度学习的快速发展为解决线性逆问题提供了一个新的视角，它具有各种精心设计的网络架构，在许多应用中具有最先进的性能。在本文中，我们对深度学习在解决各种线性逆问题方面的最新进展进行了全面的调查。我们回顾了深度学习方法如何用于解决不同的线性逆问题，并探索了结构化神经网络架构，其中包含了传统方法中使用的知识。此外，我们确定了这条研究路线的开放挑战和潜在的未来方向。
2020-08-11 cs.LG cs.SY eess.IV
Physics-constrained Deep Learning for Robust Inverse ECG Modeling
Oklahoma State University（俄克拉荷马州立大学）
先进传感和成像的快速发展带来了数据丰富的环境，促进了复杂系统的有效建模，监测和控制。例如，身体传感器网络捕获与心脏的电活动有关的多通道信息（即，心电图（ECG）），使医学科学家能够监测和检测异常的心脏状况。然而，高维传感数据通常结构复杂，充分发挥数据潜力在很大程度上取决于先进的分析和预测方法。本文提出了一种物理约束的深度学习（P-DL）框架，用于高维逆ECG建模。该方法将复杂系统的物理定律与先进的深度学习基础设施相结合，以有效预测系统动力学。提出的P-DL方法被实现来求解逆ECG模型，并从由体表传感器网络测量的ECG数据预测心脏中的电势的时变分布。实验结果表明，所提出的P-DL方法显着优于现有的方法，在当前的实践中常用的。
2022-01-30 cs.LG
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia（弗吉尼亚大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rice University（莱斯大学）
受人类视觉注意力的启发，我们提出了一种新的逆强化学习公式，使用最大熵深度逆强化学习（MEDIRL）来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外，我们还介绍了EyeCar，这是一种新的驾驶员注意力数据集，适用于事故多发情况。我们进行了全面的实验，以评估我们提出的模型在三个常见的基准：（DR（眼）VE，BDD-A，DADA-2000），和我们的EyeCar数据集。结果表明，MEDIRL在预测注意力方面优于现有模型，并达到了最先进的性能。我们提出了广泛的消融研究，以提供更多的见解，我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Deep Learning-Based Solvability of Underdetermined Inverse Problems in Medical Imaging
Yonsei University（延世大学）
近年来，随着深度学习技术的发展，求解欠定逆问题成为医学成像领域的一个重要研究课题。典型的例子包括欠采样磁共振成像，内部断层扫描和稀疏视图计算机断层扫描，其中深度学习技术已经实现了出色的性能。虽然深度学习方法似乎克服了现有数学方法在处理各种欠定问题时的局限性，但缺乏严格的数学基础，使我们能够阐明深度学习方法卓越性能的原因。这项研究的重点是学习适合深度学习的训练数据结构的因果关系，以解决高度欠定的逆问题。我们观察到，大多数的问题，解决欠定线性系统在医学成像是高度非线性。此外，我们分析了所需的重建图是否可以从训练数据和欠定系统中学习。
2020-06-26 cs.LG eess.IV stat.ML
Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Bio Imaging and Signal Processing Lab.（生物成像与信号处理实验室）；Department of Bio and Brain Engineering（生物与脑工程系）
最近，具有各种网络架构的深度学习方法在各种成像问题中比现有的迭代重建方法实现了显着的性能改进。然而，目前还不清楚为什么这些深度学习架构适用于特定的逆问题。为了解决这些问题，在这里，我们证明了长期寻找的缺失环节是卷积小框架，用于通过卷积局部和非局部基来表示信号。卷积小框架最初是为了推广低秩汉克尔矩阵反问题方法的理论而开发的，本文进一步扩展了这一思想，以便我们可以使用多层卷积小框架在直线线性单元非线性（ReLU）下获得深度神经网络。我们的分析还表明，流行的深度网络组件，如残差块，冗余过滤器通道和级联ReLU（CReLU）确实有助于实现PR，而池化和解池化层应使用高通分支进行扩展以满足PR条件。此外，通过改变滤波器通道数和偏置，我们可以控制神经网络的收缩行为。这一发现使我们提出了一种新的深度卷积小框架神经网络理论。通过各种逆问题的数值实验，我们证明了我们的深度卷积小框架网络与现有的深度架构相比表现出了一致的改进。这一发现表明，深度学习的成功不是来自黑盒子的神奇力量，而是来自一种新的信号表示的力量，这种信号表示使用了非局部基与数据驱动的局部基相结合，这实际上是经典信号处理理论的自然扩展。
2018-01-25 cs.CV cs.IT cs.LG
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Multifidelity deep neural operators for efficient learning of partial differential equations with application to fast inverse design of nanoscale heat transport
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
深度神经算子可以通过深度神经网络学习无限维函数空间之间的算子映射，已经成为科学机器学习的新兴范式。然而，训练神经算子通常需要大量的高保真数据，而这些数据在实际工程问题中往往很难获得。在这里，我们通过使用多保真度学习来解决这一挑战，即，从多保真度数据集学习。我们开发了一个基于深度算子网络（DeepONet）的多保真度神经算子。多保真度DeepONet包括两个标准的DeepONet，通过残差学习和输入增强耦合。Multifidelity DeepONet显著减少了所需的高保真数据量，并在使用相同数量的高保真数据时实现了一个数量级的小误差。我们应用多保真度DeepONet来学习声子玻尔兹曼传输方程（BTE），这是一个计算纳米级热传输的框架。通过将经过训练的多保真度DeepONet与遗传算法或拓扑优化相结合，我们展示了BTE问题逆设计的快速求解器。
2022-04-14 cs.LG physics.comp-ph
Inverse Lithography Physics-informed Deep Neural Level Set for Mask Optimization
Tencent Quantum Lab, Tencent（腾讯量子实验室，腾讯）
本文提出逆光刻物理信息深度神经水平集（ILDLS）方法，将基于水平集的ILT嵌入深度学习框架并迭代校正掩模，在显著提升可印刷性和工艺窗口的同时，将计算时间较ILT减少几个数量级。
2023-08-15 cs.AR cs.CV cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford（牛津大学）
本文提出了一个通用的框架，利用神经网络的代表能力，以近似复杂的，非线性的奖励函数的上下文中解决逆强化学习（IRL）问题。在这种情况下，我们表明，IRL的最大熵范式自然适合于深度架构的有效训练。在测试时，该方法导致独立于演示数量的计算复杂性，这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能，同时超过了基于高度变化的奖励结构的替代基准。最后，我们扩展了基本架构-相当于宽度为1的全卷积神经网络（FCNN）的简化子类-以包括更大的卷积，以消除对预先计算的空间特征的依赖，并对原始输入表示进行处理。
2016-03-11 cs.LG
A Deep Neural Network Framework for Solving Forward and Inverse Problems in Delay Differential Equations
School of Mathematical Sciences, Shenzhen University（深圳大学数学科学学院）
提出神经延迟微分方程（NDDEs）框架，利用深度神经网络和自动微分求解延迟微分方程正逆问题，无需网格依赖，在参数估计和数值实验中展现高精度。
2024-08-24 cs.LG
Onsager-corrected deep learning for sparse linear inverse problems
The Ohio State University（俄亥俄州立大学）
深度学习由于在许多推理问题上的广泛成功而获得了极大的普及。我们考虑将深度学习应用于压缩感知中遇到的稀疏线性逆问题，其中寻求从少量噪声线性测量中恢复稀疏信号。在本文中，我们提出了一种新的神经网络架构，它以近似消息传递（AMP）算法在迭代过程中消除预测误差的相同方式跨层消除预测误差：通过Onsager校正。数值实验表明，我们的“学习AMP”网络显着提高了Gregor和LeCun的“学习ISTA”网络的准确性和复杂性。
2016-07-20 cs.IT cs.LG math.IT
Physics-guided Loss Functions Improve Deep Learning Performance in Inverse Scattering
Northwestern Polytechnical University（西北工业大学）；UiT The Arctic University of Norway（挪威北极大学）
由于电磁逆散射问题固有的非线性、不适定性和昂贵的计算成本，求解该问题具有挑战性。最近，深度神经网络（DNN）技术已成功应用于ISP，并显示出优于传统方法的成像潜力。在本文中，我们分析了DNN求解器和传统迭代算法之间的类比，并讨论了重要的物理现象如何无法有效地纳入训练过程。我们展示了在DNN的学习过程中包括近场先验的重要性。为此，我们提出了新的设计的损失函数，其中包括基于多重散射的近场量（如散射场或感兴趣的域内的感应电流）。物理引导的损失函数的影响进行了研究，使用各种数值实验。总结了具有不同损失函数的ISP求解器的优点和缺点。
2021-11-13 cs.LG
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology（佐治亚理工学院）
我们研究社会科学中的逆最优控制问题：我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作，旨在学习一个生成模型，以适应行为数据，我们提出了一种新的变分原理和对待用户作为一个强化学习算法，其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架，推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中，我们用一个新的质量输运方程计算最佳测量。在第二步中，我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络，我们表明，我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
Benchmarking deep inverse models over time, and the neural-adjoint method
Duke University（杜克大学）
我们考虑的任务是解决一般的反问题，其中一个希望确定隐藏的参数的自然系统，将产生一组特定的测量。最近出现了许多基于深度学习的新方法，产生了令人印象深刻的结果。我们将这些模型概念化为不同的方案，有效地，但随机地，探索可能的逆解空间。因此，每种方法的准确性应该作为时间的函数来评估，而不是像现在经常做的那样，作为一个单一的估计解决方案。使用这个指标，我们比较了几个国家的最先进的逆建模方法的四个基准任务：两个现有的任务，一个简单的任务可视化和一个新的任务从超材料设计。最后，受我们对逆问题的概念的启发，我们探索了一种解决方案，该解决方案使用深度学习模型来近似正向模型，然后使用反向传播来搜索良好的逆解。这种方法，称为神经伴随，在许多情况下实现了最佳性能。
2021-10-11 cs.LG eess.SP stat.ML
Inverse Problems, Deep Learning, and Symmetry Breaking
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在许多物理系统中，与内在系统对称性相关的输入被映射到相同的输出。当反转这样的系统时，即，解决相关的反问题，没有唯一的解决方案。这导致部署新兴的端到端深度学习方法的根本困难。以广义相位恢复问题为例，通过对训练数据进行对称性破缺，可以有效地克服这一困难，提高学习性能.我们还提取并突出了所提出的解决方案，这是直接适用于其他反问题的基本数学原理。
2020-03-20 cs.LG cs.NA eess.SP
Inverse deep learning methods and benchmarks for artificial electromagnetic material design
Duke University（杜克大学）
深度学习（DL）逆技术提高了人工电磁材料（AEM）设计的速度并改善了所得器件的质量。许多DL逆技术已经成功的AEM设计任务的数量，但比较，对比，并评估各种技术，关键是要澄清潜在的不适定性的反问题。在这里，我们回顾了最先进的方法，并提出了一个全面的调查深度学习逆方法和可逆和条件可逆神经网络AEM设计。我们制作易于访问和快速实施的AEM设计基准，它提供了一种方法来有效地确定最适合解决不同设计挑战的DL技术。我们的方法是指导约束重复模拟和一个容易集成的度量，我们建议表示任何AEM设计问题的相对不适定性。我们发现，随着问题变得越来越不适定，神经伴随边界损失（NA）更快地产生更好的解决方案，无论模拟约束。在更简单的AEM设计任务中，当模拟有限时，直接神经网络（NN）表现更好，而混合密度网络（MDN）和条件变分自动编码器（VAE）预测的几何形状可以通过连续采样和重新模拟来改进。
2021-12-19 cond-mat.mtrl-sci cs.LG
Limitations of Deep Learning for Inverse Problems on Digital Hardware
Technical University of Munich（慕尼黑工业大学）；Ruhr University Bochum（波鸿鲁尔大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文分析了数字硬件（图灵机模型）对深度学习的内在限制，证明对于较小松弛参数，有限维逆问题不是Banach-Mazur可计算的，并给出了算法可获精度的下界。
2023-10-25 cs.AI cs.LG eess.SP
Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)
AI Perf Engineering（AI性能工程）
我们引入了“逆平方根线性单元”（ISRLU）来加速深度神经网络的学习。ISRLU比ELU有更好的性能，但有许多相同的好处。ISRLU和ELU具有相似的曲线和特征。两者都具有负值，允许它们将平均单位激活推向更接近零，并使正常梯度更接近单位自然梯度，确保噪声鲁棒的去激活状态，降低过度拟合风险。ISRLU在传统CPU上的显着性能优势也可以在CNN/RNN的HW/SW协同设计上实现更高效的HW实现。在TensorFlow的实验中，ISRLU比CNN上的ReLU更快地学习和更好地泛化。这项工作还提出了一种计算效率高的变体，称为“平方根倒数单位”（ISRU），可用于RNN。许多RNN使用长短期记忆（LSTM）和门控递归单元（GRU），它们是用tanh和sigmoid激活函数实现的。ISRU的计算复杂度较低，但仍具有与tanh和sigmoid相似的曲线。
2017-11-09 cs.LG
Applications of Deep Learning for Ill-Posed Inverse Problems Within Optical Tomography
Department of Computer Science University College London（伦敦大学学院计算机科学系（注：按要求提取到大学级别，此处“Department of Computer Science University College London”整体作为机构，中文翻译为“伦敦大学学院计算机科学系”））
在医学成像中，越来越多地出现了围绕从原始测量数据重建噪声图像的问题。在正问题是从地面实况图像生成原始测量数据的情况下，逆问题是从测量数据重建那些图像。在医学成像的大多数情况下，经典的逆拉东变换（诸如用于MRI的逆傅里叶变换）对于从测量数据恢复干净图像很好地工作。不幸的是，在X射线CT的情况下，欠采样数据是非常常见的，需要比这更多的解决忠实和可用的图像。在本文中，我们探讨了解决X射线CT逆问题的经典方法的历史，然后分析了利用监督式深度学习的最新方法。最后，我们将为未来的研究提供一些可能的途径。
2020-03-21 cs.LG eess.IV stat.ML
Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出一种近似贝叶斯方法，利用降阶深度学习代理模型量化反演偏微分方程解的总不确定性，并与迭代集成平滑器及深度集成方法比较，验证其有效性。
2024-08-20 cs.LG
Novel Deep neural networks for solving Bayesian statistical inverse
George Mason University（乔治梅森大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了大规模线性和非线性偏微分方程（PDE）的贝叶斯统计反问题的模拟。马尔可夫链蒙特卡罗（MCMC）算法是解决此类问题的标准技术。然而，MCMC技术在计算上具有挑战性，因为它们需要数千个正向PDE解。本文的目标是介绍一种基于分数深度神经网络的方法，用于MCMC例程中的正向求解。此外，我们讨论了一些近似误差估计，并通过几个数值例子说明我们的方法的效率。
2021-02-08 cs.LG cs.NA math.NA
Physics-aware deep learning framework for the limited aperture inverse obstacle scattering problem
School of Mathematics, Southeast University（东南大学数学学院）
针对有限孔径逆障碍物散射问题缺乏标注数据、传统深度学习性能受限的问题，本文提出无需真实标签的深度分解方法DDM，嵌入物理算子并结合数据补全，兼具可解释性与理论收敛保证，实验验证其在孔径极有限时仍有效。
2024-11-03 cs.LG cs.NA eess.SP
Deep learning for size-agnostic inverse design of random-network 3D printed mechanical metamaterials
Delft University of Technology (TU Delft)（代尔夫特理工大学）；Leiden University Medical Center (LUMC)（莱顿大学医学中心）
机械超材料的实际应用通常涉及解决逆问题，其目标是找到产生给定属性集的（多个）微架构。增材制造技术的有限分辨率通常需要解决特定尺寸的此类逆问题。因此，人们应该找到多个微结构设计，表现出所需的性能与给定的尺寸的标本。此外，候选微架构应该耐疲劳和断裂，这意味着峰值应力也应该最小化。这样的多目标逆设计问题是非常难以解决的，但它的解决方案是机械超材料在现实世界中应用的关键。在这里，我们提出了一种名为“Deep-DRAM”的模块化方法，它结合了四个解耦模型，包括两个深度学习模型（DLM），一个基于条件变分自编码器（CVAE）的深度生成模型（DGM）和直接有限元（FE）模拟。Deep-DRAM（用于随机网络超材料设计的深度学习）将这些模型集成到一个统一的框架中，能够为这里提出的多目标逆设计问题找到许多解决方案。集成框架首先将所需的弹性属性引入DGM，DGM返回一组候选设计。然后将候选设计与目标样本尺寸一起传递到DLM，DLM根据样本尺寸预测其实际弹性特性。在基于实际属性与期望属性的接近度的过滤步骤之后，最后一步使用直接FE模拟来识别具有最小峰值应力的设计。
2022-12-22 cs.LG physics.app-ph
Performance Comparison of Design Optimization and Deep Learning-based Inverse Design
Sookmyung Women’s University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Narnia Labs（纳尼亚实验室）
针对工程设计领域，本文通过多场景基准问题对比传统设计优化与基于深度学习的逆向设计的性能，提出后者的应用指导原则以提升其实用性。
2023-08-23 cs.LG math.OC
Deep Inverse Q-learning with Constraints
University of Freiburg（弗赖堡大学）
流行的最大熵逆强化学习方法需要在奖励函数的估计下计算最优策略的期望状态访问频率。这通常需要在算法的内部循环中进行中间值估计，从而大大减慢收敛速度。在这项工作中，我们引入了一类新的算法，只需要解决MDP底层的演示行为一次恢复专家的政策。这是可能的，通过一个公式，利用概率行为假设的示范结构内的Q学习。我们提出了逆向迭代算法，它能够完全恢复外部代理的封闭形式的潜在奖励。我们还提供了一个附带的类的基于采样的变量，不依赖于环境的模型。我们将展示如何扩展这类算法的连续状态空间，通过函数逼近和如何估计相应的动作价值函数，导致尽可能接近的政策的外部代理，同时可选地满足预定义的硬约束的列表。我们在Objectworld基准测试中评估了称为逆Q值迭代，逆Q学习和深度逆Q学习的算法，与（深度）最大熵算法相比，加速高达几个数量级。我们进一步将深度约束逆Q学习应用于在开源模拟器SUMO中学习自动变道的任务，在对对应于30分钟演示的数据进行训练后实现合格的驾驶。
2020-08-04 cs.LG cs.RO stat.ML
Solving Inverse Problems for Spectral Energy Distributions with Deep Generative Networks
National Technical University of Athens（雅典国立技术大学）；European University Cyprus（塞浦路斯欧洲大学）
我们提出了一个端到端的方法来解决一类复杂的天文信号，即光谱能量分布（SED）的反问题。我们的目标是从稀缺和/或不可靠的测量重建这样的信号。我们通过以深度生成网络的形式利用学习到的结构先验来实现这一点。类似的方法几乎专门针对显示有用属性的图像（例如，局部性、周期性）被隐含地利用。然而，SED缺乏这样的属性，这使得问题更具挑战性。我们成功地使用生成潜在优化模型将方法扩展到SED，该模型使用显着较少和损坏的数据进行训练。
2020-12-09 astro-ph.IM cs.LG
Deep synthesis regularization of inverse problems
University of Innsbruck（因斯布鲁克大学）
最近，已经开发了大量用于解决反问题的高效深度学习方法，并显示出出色的数值性能。然而，对于这些深度学习方法，缺乏重建保证形式的坚实理论基础。相比之下，对于经典的重建方法，如凸变分和基于框架的正则化，理论收敛性和收敛速度的结果很好地建立。在本文中，我们引入了深度合成正则化（DESYRE），使用神经网络作为非线性合成算子，弥合了这两个世界之间的差距。所提出的方法允许利用深度学习的好处，即可以很好地适应可用的训练数据，另一方面还具有坚实的数学基础。我们提出了一个全收敛分析与收敛速度的建议的深度合成正则化。我们提出了一种策略，用于构建一个合成网络的分析合成序列的一部分，连同一个适当的训练策略。数值结果表明，我们的方法的可行性。
2020-02-01 cs.LG cs.NA math.NA
NETT: Solving Inverse Problems with Deep Neural Networks
University of Göttingen（哥廷根大学）；University of Innsbruck（因斯布鲁克大学）
从间接测量数据中恢复函数或高维参数向量是各个科学领域的中心任务。几种方法来解决这样的反问题是发达国家和良好的理解。最近，出现了使用深度学习和神经网络解决逆问题的新算法。虽然仍处于起步阶段，但这些技术在低剂量CT或各种稀疏数据问题等应用中表现出惊人的性能。然而，在逆问题中深度学习的理论成果很少。在本文中，我们建立了一个全收敛分析所提出的NETT（网络Tikhonov）方法反问题。NETT考虑具有由训练的神经网络定义的正则化子的小值的数据一致性解决方案。我们推导出适定性结果和定量的误差估计，并提出了一种可能的策略训练正则化。我们的理论结果和框架是不同的，从任何以前的工作使用神经网络解决反问题。提出了一种可能的数据驱动正则化器。数值结果的层析稀疏数据的问题，这表明良好的性能NETT，即使从训练数据的不同类型的未知数。为了得到收敛性和收敛速度的结果，我们引入了一个新的框架的基础上的绝对Bregman距离推广的标准Bregman距离从凸的非凸的情况下。
2019-12-08 cs.LG cs.NA math.NA
Deep unfolding as iterative regularization for imaging inverse problems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
最近，通过迭代算法指导深度神经网络（DNN）设计的深度展开方法在逆问题领域受到越来越多的关注。与一般的端到端DNN不同，展开方法具有更好的可解释性和性能。然而，据我们所知，他们的精度和稳定性在解决反问题不能完全保证。为了弥补这一差距，我们修改了训练过程，并证明了展开方法是一种迭代正则化方法。更确切地说，我们通过输入凸神经网络（ICNN）联合学习凸罚函数来表征与真实数据流形的距离，并使用该学习的罚函数训练从最近端梯度下降算法展开的DNN。假设真实数据流形只与唯一的真实解相交。我们证明了展开的DNN将稳定地收敛到它。此外，我们证明了与MRI重建的一个例子，所提出的方法优于传统的展开方法和传统的正则化方法的重建质量，稳定性和收敛速度。
2022-11-24 cs.LG eess.IV math.OC
Inverse design of nano-photonic wavelength demultiplexer with a deep neural network approach
University of Sydney（悉尼大学）
在本文中，我们提出了一个预训练的组合神经网络（PTCN）作为一个全面的解决方案，集成光子电路的逆设计。通过利用初始预训练的逆模型和正模型以及联合训练过程，我们的PTCN模型对训练数据的数量和质量表现出显着的容忍度。作为概念验证的演示，波长解复用器的逆设计被用来验证PTCN模型的有效性。即使训练数据的大小减少到17%，PTCN模型的预测的相关系数仍然大于0.974。实验结果表明，该波长解复用器具有超紧凑的结构，传输效率高，传输损耗为-2dB，反射率为-10dB，串扰为-7dB左右。
2022-05-15 cs.LG physics.optics
Deep-Learning based Inverse Modeling Approaches: A Subsurface Flow Example
Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）
深度学习已经取得了良好的性能，并显示出解决正问题和逆问题的巨大潜力。在这项工作中，提出并比较了两类创新的基于深度学习的逆建模方法。第一类是基于深度学习代理的反演方法，其中理论指导神经网络（TgNN）被构建为具有不确定模型参数的问题的深度学习代理。通过结合物理定律和其他约束，TgNN代理可以构建有限的模拟运行，并显着加快反演过程。提出了三种基于TgNN代理的反演方法，包括梯度法、迭代集成平滑器（IES）和训练方法。第二类是直接深度学习反演方法，其中提出了具有地质统计信息约束的TgNN，称为TgNN-geo，用于直接反演建模。在TgNN-geo中，引入了两个神经网络来近似各自的随机模型参数和解。由于先验地质统计信息可以被纳入，基于TgNN-geo的直接反演方法工作良好，即使在稀疏的空间测量或不精确的先验统计的情况下。虽然提出的基于深度学习的逆建模方法本质上是通用的，因此适用于各种各样的问题，但它们用几个地下流问题进行了测试。结果表明，该方法具有较高的效率，可获得满意的结果。此外，还进一步分析了所提出的两类基于深度学习的反演方法的优缺点。
2020-07-28 cs.LG eess.SP math.OC
Deep Adaptive Multi-Intention Inverse Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
提出了一种深度逆强化学习（IRL）框架，该框架可以从未标记专家的演示中学习先验未知数量的非线性奖励函数。为此，我们使用狄利克雷过程的工具，并提出一种自适应方法来同时考虑复杂且未知数量的奖励函数。使用条件最大熵原理，我们将专家的多意图行为建模为潜在意图分布的混合，并推导出两种算法来估计深度奖励网络的参数以及来自未标记演示的专家意图的数量。所提出的算法进行评估的三个基准，其中两个已专门扩展在本研究中的多意图IRL，并与众所周知的基线。我们通过几个实验证明了我们的算法的优势，现有的方法和在线推断的好处，而不是事先固定，专家的意图的数量。
2021-07-14 cs.AI cs.LG
Robo-Advising: Enhancing Investment with Inverse Optimization and Deep Reinforcement Learning
The Vanguard Group, Inc.（先锋集团）
机器学习（ML）已被金融行业视为一种强大的工具，在包括投资管理在内的各个领域都有显着的应用。在这项工作中，我们提出了一个全周期数据驱动的投资机器人建议框架，由两个ML代理组成。第一代理，逆投资组合优化代理，使用在线逆优化直接从历史分配数据推断投资者的风险偏好和预期收益率。第二个代理，深度强化学习（RL）代理，聚合预期收益率的推断序列，以制定一个新的多期均值-方差投资组合优化问题，可以使用深度强化学习方法来解决。拟议的投资管道应用于2016年4月1日至2021年2月1日的实际市场数据，并显示其表现始终优于代表总体市场最佳配置的标准普尔500指数基准投资组合。这可能归因于多周期规划（与单周期规划相比）和数据驱动的RL方法（与经典估计方法相比）。
2021-05-19 cs.LG q-fin.CP q-fin.PM
Solution of Physics-based Bayesian Inverse Problems with Deep Generative Priors
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
逆问题在自然界中无处不在，几乎出现在所有科学和工程领域，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决其不适定性。贝叶斯推断提供了一个原则性的方法来克服这一点，制定了一个统计框架的逆问题。然而，它是具有挑战性的应用时，推断具有离散表示的大尺寸（所谓的“灾难的维度”）和/或当先验信息仅在先前获得的解决方案的形式可用的字段。在这项工作中，我们提出了一种新的方法，使用深度生成模型进行高效准确的贝叶斯反演。具体来说，我们演示了如何使用生成对抗网络（GAN）学习的近似分布作为贝叶斯更新的先验，并在GAN的低维潜在空间中重新制定由此产生的推理问题，从而有效地解决大规模贝叶斯逆问题。我们的统计框架保留了基础物理，并被证明可以产生准确的结果，具有可靠的不确定性估计，即使在缺乏有关基础噪声模型的信息的情况下，这对许多现有方法来说是一个重大挑战。我们证明了所提出的方法对各种反问题，其中包括合成以及实验观察到的数据的有效性。
2022-07-25 cs.LG stat.ML
Deep neural networks for solving forward and inverse problems of (2+1)-dimensional nonlinear wave equations with rational solitons
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学机械化重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）；Yau Mathematical Sciences Center and Department of Mathematics, Tsinghua University（清华大学丘成桐数学科学中心与数学系）
本文利用神经网络的深度学习方法，研究了（2+1）维KP-I方程和自旋非线性薛定谔（spin-NLS）方程的数据驱动有理孤子的正演问题.此外，通过深度学习研究了（2+1）维KP-I方程和自旋NLS方程的反问题。数据驱动的正问题和反问题的主要思想是使用具有激活函数的深度神经网络，通过优化与所考虑的非线性波方程相关的所选损失函数来近似所考虑的（2+1）维非线性波方程的解。
2021-12-28 cs.LG math-ph math.MP
One-dimensional Deep Image Prior for Time Series Inverse Problems
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们将深度图像先验（DIP）框架扩展到一维信号。DIP使用随机初始化的卷积神经网络（CNN）通过优化权重来解决线性逆问题，以拟合观察到的测量结果。我们的主要发现是，适当调整的一维卷积架构为各种类型的时间信号（包括音频，生物信号和传感器测量）提供了出色的深度图像先验。我们证明了我们的网络可以用于各种恢复任务，包括缺失值填补，盲去噪和随机高斯投影的压缩感知。关键的挑战是如何通过仔细调整提前停止、总变差和权重衰减正则化来避免过拟合。我们的方法需要比Lasso少4倍的测量，并且优于NLM-VAMP对音频信号的随机高斯测量，具有与卡尔曼状态空间模型对各种数据的插补性能相似的插补性能，并且在从空气质量传感器读数中去除加性噪声方面优于小波滤波。
2019-04-18 cs.LG stat.ML
Deep-Learning-Empowered Inverse Design for Freeform Reconfigurable Metasurfaces
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在过去的十年里，人工智能在工程领域的各种应用取得了长足的进步。近年来，基于人工神经网络的元表面逆向设计方法得到了发展，该方法能够根据需要设计出形状多样、性能优良的元原子，设计过程基于人工智能，具有快速、自动化的特点。然而，一旦反向设计的静态元原子被制造，元表面的功能就被固定。可重构元表面可以实现动态功能，而应用人工智能逆向设计实用的可重构元原子还未见报道。在这里，我们提出了一个深度学习授权的逆向设计方法的自由形式的可重构元表面，它可以生成按需可重构编码元原子在自定义的频带。为了减小数据集规模，提出了一种基于微波网络理论的可重构元原子解耦方法，将可重构编码元原子的逆设计过程转化为静态结构的逆设计过程。训练卷积神经网络模型来预测自由形状元原子的响应，并应用遗传算法快速生成最佳结构模式。作为概念的演示，几个反设计的例子产生不同的自定义的频谱响应在微波波段，和反设计的宽带可重构元表面原型制造和测量的波束扫描应用与宽带。我们的工作铺平了道路的快速和自动化的设计过程中的高性能可重构元表面。
2022-11-17 cs.LG physics.app-ph physics.optics
