Regularization of Inverse Problems by Neural Networks
University of Innsbruck（因斯布鲁克大学）；University of Idaho（爱达荷大学）
逆问题出现在各种成像应用中，包括计算机断层扫描、无损检测和遥感。反问题的特征是其解的不唯一性和不稳定性。因此，任何合理的求解方法都需要使用正则化工具来选择特定的解，同时稳定反演过程。最近，使用深度学习技术和神经网络的数据驱动方法被证明在逆问题上显著优于经典解方法。在这一章中，我们给出了反问题的概述，并证明了正则化概念的必要性。我们展示了神经网络可用于数据驱动的反问题解决方案，并回顾了现有的反问题深度学习方法。特别是，我们从正则化理论的角度来看待这些深度学习方法，正则化理论是反问题稳定解决方法的数学基础。本章不仅仅是一个回顾，因为许多理论结果扩展了现有的。
2020-06-06 cs.LG cs.NA math.NA
Introduction to Regularization and Learning Methods for Inverse Problems
Helmholtz Imaging, Deutsches Elektronen-Synchrotron DESY（亥姆霍兹成像平台，德国电子同步加速器（DESY））；University of Hamburg（汉堡大学）
本讲义介绍逆问题的数学概念，涵盖经典正则化理论（如Tikhonov和稀疏正则化）及现代深度学习方法（如学习型正则化、即插即用方法等），为逆问题求解提供理论与实践框架。
2025-08-25 cs.LG cs.NA math.NA
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感，即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学，以防止后崩溃。我们使用几个指标来评估我们的方法，并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Learned Regularization for Inverse Problems: Insights from a Spectral Model
Helmholtz Imaging（亥姆霍兹成像机构）；Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）；Universität Hamburg（汉堡大学）；Fachbereich Mathematik（数学系）
本文从谱重构算子视角研究逆问题的学习方法，提出基于数据分布的正则化收敛扩展定义，并利用谱学习模型分析不同学习范式的正则化性质、偏差及对训练数据的依赖性，比较其在无限维极限下的行为。
2024-06-04 cs.LG cs.NA math.NA
Learning Regularization Parameters of Inverse Problems via Deep Neural Networks
Technical University of Denmark（丹麦技术大学）；Virginia Tech（弗吉尼亚理工大学）
在这项工作中，我们描述了一种新的方法，使用深度神经网络（DNN）来获得正则化参数来解决反问题。我们考虑一种监督学习方法，其中训练网络以近似从观测数据到正则化参数的映射。一旦网络被训练，新获得的数据的正则化参数可以通过DNN的有效前向传播来计算。我们表明，可以考虑各种各样的正则化泛函，前向模型和噪声模型。与现有的正则化参数选择方法相比，网络获得的正则化参数可以更有效地计算，甚至可以得到更准确的解。我们强调，与以前通过最优试验设计或经验贝叶斯风险最小化进行学习的工作相比，使用DNN学习正则化参数的关键优势是更大的泛化能力。也就是说，不是计算相对于一个特定设计目标最优的一组参数，而是根据新观察到的数据的特定特征或属性来定制DNN计算的正则化参数。因此，我们的方法可以更好地处理观察不是训练集的紧密表示的情况。此外，我们避免了昂贵的和具有挑战性的双层最优化方法的需要，在其他现有的训练方法中使用。数值结果证明了使用DNN学习正则化参数的潜力。
2021-04-14 cs.LG cs.NA math.NA
Convergent regularization in inverse problems and linear plug-and-play denoisers
University of Oulu（奥卢大学）；University College London（伦敦大学学院）；IIT Kharagpur（印度理工学院克勒格布尔分校）；University of Cambridge（剑桥大学）
本文研究带线性去噪器的即插即用（PnP）算法的正则化收敛性，提出谱滤波技术控制正则化强度，通过关联隐式与显式正则化严格证明其为收敛正则化方案，并用断层图像重建实验验证理论。
2023-07-18 cs.LG cs.NA math.NA
Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization
Applied Artificial Intelligence Institute (A2I2), Deakin University（应用人工智能研究所（A2I2），迪肯大学）
我们提出了两个通用的方法来改善半监督学习（SSL）。第一个集成的权重扰动（WP）到现有的“一致性正则化”（CR）为基础的方法。我们实现WP利用变分贝叶斯推理（VBI）。第二种方法提出了一种新的一致性损失称为“最大不确定性正则化”（MUR）。虽然大多数一致性损失作用于每个数据点附近的扰动，但MUR积极搜索位于该区域之外的“虚拟”点，这些点导致最不确定的类预测。这允许MUR在输入-输出歧管中的更宽区域上施加平滑。我们的实验表明，当它们与VBI或MUR或两者结合时，各种基于CR的方法的分类错误有了明显的改善。
2021-03-18 cs.AI cs.LG
Learning local regularization for variational image restoration
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）
在这项工作中，我们提出了一个框架来学习一个局部正则化模型来解决一般的图像恢复问题。这个正则化器是用一个完全卷积的神经网络来定义的，它通过与小图像块相对应的感受野来观察图像。然后，使用基于Wasserstein生成对抗网络的能量，将正则化器学习为清洁和退化补丁的未配对分布之间的评论家。这就产生了一个正则化函数，可以被纳入任何图像恢复问题。该框架的效率最终显示在去噪和去模糊应用。
2021-02-11 cs.LG eess.IV
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
在本文中，我们介绍了深度概率集成（DPEs），这是一种可扩展的技术，它使用正则化集成来近似深度贝叶斯神经网络（BNN）。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标，来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计，用于视觉分类的主动学习。随着注释预算的增加，我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Stability of Data-Dependent Ridge-Regularization for Inverse Problems
本文提出随空间变化的数据依赖型像素级岭正则化器，证明变分解的存在性、解算子稳定性及MAP解释，并在小样本成像任务中实现高质量重建。
2025-01-06 cs.LG math.OC
Variational based Mixed Noise Removal with CNN Deep Learning Regularization
Beijing Normal University（北京师范大学）
本文将传统的基于模型的变分方法和基于学习的算法有机地结合起来，解决混合噪声的去除问题。与单一类型的噪声（例如高斯）去除不同，准确区分每个像素的噪声类型和水平是一个挑战性问题。我们提出一种变分方法来迭代估计噪声参数，然后该算法可以自动分类噪声根据不同的统计参数。利用算子分裂方法，将变分问题分解为正则化、综合、参数估计和噪声分类四个步骤。每一步都与一个优化子问题相关。为了加强正则化，采用深度学习方法来先验地学习自然图像。与一些基于模型的正则化方法相比，CNN正则化方法可以显著提高恢复图像的质量。与一些基于学习的方法相比，合成步骤可以通过分析识别的噪声类型和水平来产生更好的重建。在我们的方法中，卷积神经网络（CNN）可以被看作是一个与变分泛函相关联的算子。从这个角度来看，所提出的方法可以扩展到许多图像重建和逆问题。数值实验表明，该方法在去除混合噪声方面取得了较好的效果。
2018-05-21 cs.CV cs.LG
Consistency Regularization for Variational Auto-Encoders
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）
变分自动编码器（VAE）是无监督学习的一种强大方法。他们使可扩展的近似后验推理在潜变量模型中使用变分推理（VI）。VAE假设一个由称为编码器的深度神经网络参数化的变分族，该编码器将数据作为输入。这个编码器在所有观测中共享，这分摊了推理的成本。然而，VAE的编码器具有不期望的属性，即它将给定的观察和其语义保持变换映射到不同的潜在表示。编码器的这种“不一致性”降低了学习表示的质量，特别是对于下游任务，并且还对泛化产生负面影响。在本文中，我们提出了一种正则化方法，以加强一致性的VAE。我们的想法是尽量减少Kullback-Leibler（KL）之间的分歧变分分布时，条件的观察和变分分布时，条件的随机语义保持变换的观察。这种正则化适用于任何VAE。在我们的实验中，我们将其应用于几个基准数据集上的四种不同的VAE变体，发现它总是提高了学习表示的质量，而且还导致了更好的泛化。特别是，当应用于新变分自动编码器（NVAE）时，我们的正则化方法在MNIST和CIFAR-10上产生了最先进的性能。我们还将我们的方法应用于3D数据，发现它学习了通过下游分类任务的准确性来衡量的优质表示。
2022-06-06 cs.CV cs.LG
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders
George Mason University（乔治梅森大学）
基于示例的方法依赖于信息数据点或原型来指导学习算法的优化。这些数据有助于可解释的模型设计和预测。特别感兴趣的是样本在学习无监督深度表示中的效用。在本文中，我们利用枢纽，出现在高维空间中的频繁邻居，作为范例来正则化变分自编码器，并学习无监督的下游任务的判别嵌入。我们提出了一个无监督的，数据驱动的正则化的潜在空间与基于枢纽的先验和基于枢纽的对比损失的混合。实验评估表明，我们的算法实现了卓越的聚类分离性的嵌入空间，准确的数据重建和生成，相比基线和国家的最先进的技术。
2022-11-18 cs.AI cs.LG
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Sony CSL（索尼计算机科学研究所）；École Polytechnique（巴黎综合理工学院）
VAE（变分自编码器）已被证明在密度建模的背景下是强大的，并已被用于各种背景下的创造性目的。在许多情况下，我们建模的数据具有连续属性，我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE，一个测地线潜在空间正则化的变分自编码器架构及其推广，它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时，学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务，我们设法生成离散序列的变化，在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
Least Square Variational Bayesian Autoencoder with Regularization
Indian Institute of Science, Bangalore（印度科学院）
近年来，变分自编码器（Variational Autoencoder，VAE）已成为复杂分布的最流行的无监督学习方法之一，与传统的自编码器相比，它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程，通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里，我们试图最大化可能性，同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下，我们希望找到一个点估计的参数$θ$的一些参数模型中，我们产生的每个观察，首先采样的本地潜在变量，然后采样相关的观察。在这里，我们使用正则化的最小二乘损失函数在图像的重建，最小二乘损失函数被发现可以提供更好的重建图像，并具有更快的训练时间。
2017-07-11 cs.LG stat.ML
CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse
University of Leoben（莱奥本大学）
针对VAE因目标函数局限导致的后验坍塌问题，提出CR-VAE方法，通过引入对比目标最大化相似输入间互信息，有效防止后验坍塌并在视觉数据集上优于现有方法。
2023-09-09 cs.LG
Variational Characterizations of Local Entropy and Heat Regularization in Deep Learning
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Brown University（布朗大学）；University of Chicago（芝加哥大学）
本文的目的是对深度学习中使用的两种损失正则化（称为局部熵和热正则化）提供新的理论和计算理解。对于这两个正规化的损失，我们引入变分表征，自然地建议一个两步的计划，其优化，基于迭代移位的概率密度和计算的最佳高斯近似库尔贝克-莱布勒散度。在这个统一的光下，局部熵和热正则化损失的优化方案仅在使用库尔贝克-莱布勒散度的哪一个参数来找到最佳高斯近似上有所不同。局部熵对应于第二个参数的最小化，并且通过矩匹配给出解决方案。这允许通过采样算法来取代传统的梯度反向传播计算，为神经网络的无梯度、可并行化训练开辟了一条道路。
2019-01-29 cs.LG stat.CO stat.ML
Attribute-based Regularization of Latent Spaces for Variational Auto-Encoders
Center for Music Technology, Georgia Institute of Technology（佐治亚理工学院音乐技术中心）
使用深度生成模型对数据属性进行选择性操作是一个活跃的研究领域。在本文中，我们提出了一种新的方法来构造变分自动编码器（VAE）的潜在空间，以显式地编码不同的连续值属性。这是通过使用属性正则化损失来实现的，该属性正则化损失强制属性值与属性将被编码的维度的潜在代码之间的单调关系。因此，在训练后，模型可以通过简单地改变相应正则化维度的潜在代码来操纵属性。从几个定量和定性的实验结果表明，所提出的方法导致解开和可解释的潜在空间，可用于有效地操纵广泛的数据属性跨越图像和符号音乐域。
2020-07-29 cs.LG stat.ML
Simpler is better: spectral regularization and up-sampling techniques for variational autoencoders
UiT The Arctic University of Norway（挪威北极大学UiT）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
基于神经网络的生成模型的频谱行为的充分表征仍然是一个悬而未决的问题。最近的研究主要集中在生成对抗网络以及真实图像和生成图像之间的高频差异上。目前避免这种情况的解决方案是用双线性上采样代替转置卷积，或者在生成器中添加谱正则化项。众所周知，变分自编码器（VAE）也遭受这些问题。在这项工作中，我们提出了一个简单的基于二维傅立叶变换的频谱正则化损失的VAE，并表明它可以实现等于或优于，目前的最先进的频率感知损失的生成模型的结果。此外，我们实验改变生成器网络中的上采样过程，并研究它如何影响模型的频谱性能。我们包括合成和真实数据集上的实验来证明我们的结果。
2022-01-19 cs.CV cs.LG
Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective
Tufts University（塔夫茨大学）
本文提出一种基于改进证据下界（ELBo）目标的方法，直接在完整训练集上学习深度微调的正则化超参数，避免了网格搜索的计算开销、验证集划分和候选值设定，在图像分类任务中以更少计算时间达到与现有方法相当的准确率。
2025-01-24 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Asymmetric regularization mechanism for GAN training with Variational Inequalities
Department of Advanced Computing Sciences, Maastricht University（先进计算科学系，马斯特里赫特大学）；Department of Mathematical Sciences, Politecnico di Torino（数学科学系，托斯卡纳理工学院）
本文提出了一种基于变分不等式的非对称正则化机制，用于稳定GAN训练过程并实现纳什均衡。
2026-01-20 cs.AI cs.GT cs.LG
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation
针对属性控制符号音乐生成中变分贝叶斯方法难以联合最小化正则化损失的问题，本文探索KLD与AR损失的权衡，发现合适的属性变换可同时实现潜维度的可控性与正则化，提升生成模型性能。
2025-11-10 cs.AI cs.LG eess.AS
Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization
Cornell University（康奈尔大学）
最近在表示学习方面取得了许多进展;然而，无监督的表示学习仍然可以解决与潜在空间旋转相关的模型识别问题。变分自动编码器（VAE）及其扩展，如$β$ -VAE已被证明可以改善潜在变量与PCA方向的局部对齐，这有助于在某些条件下改善模型解纠缠。借鉴独立分量分析（ICA）和稀疏编码的灵感，我们建议在训练过程中对VAE的生成雅可比矩阵应用$L_1$损失，以鼓励局部潜变量与多个对象或多个部分的图像中的独立变化因素对齐。我们展示了我们的结果在各种数据集上，使用信息理论和模块化措施，表明我们增加的$L_1$成本鼓励本地轴对齐的潜在代表与个别因素的变化，给出定性和定量的结果。
2021-10-27 cs.CV cs.LG
Improving Variational Autoencoders with Density Gap-based Regularization
Beihang University（北京航空航天大学）；University of Sheffield（谢菲尔德大学）；Ping An Technology（平安科技）
变分自编码器（VAE）是NLP中用于潜在表示学习和潜在定向生成的强大无监督学习框架之一。VAE的经典优化目标是最大化证据下限（ELBo），它由生成的条件似然和正则化的负Kullback-Leibler（KL）发散组成。在实际应用中，优化ELBo往往会导致所有样本的后验分布收敛到同一个退化的局部最优值，即后验崩溃或KL消失。有一些有效的方法可以防止VAE中的后塌陷，但我们观察到，它们本质上是在后塌陷和孔问题之间进行权衡，即，聚合后验分布和先验分布之间的不匹配。为此，我们引入了新的训练目标，通过基于聚合后验分布和先验分布之间的概率密度差距的新型正则化来解决这两个问题。通过对语言建模、潜在空间可视化和插值的实验表明，该方法能有效地解决这两个问题，在潜在空间生成方面优于现有方法.据我们所知，我们是第一个共同解决孔问题和后塌陷的。
2022-11-01 cs.AI cs.LG
Regularization by Texts for Latent Diffusion Inverse Solvers
KAIST（韩国科学技术院）
本文提出文本正则化方法TReg，通过在潜在扩散逆求解中引入文本描述与自适应否定机制，有效缓解逆问题的模糊性，提升求解的准确性与效率。
2025-03-11 cs.AI cs.CV cs.LG
Regularization by architecture: A deep prior approach for inverse problems
Center for Industrial Mathematics (ZeTeM)（工业数学中心（ZeTeM））；University of Bremen（不来梅大学）
本文在不适定反问题的背景下研究了所谓的深度图像先验（DIP）技术。DIP网络最近已被引入应用在图像处理，也首次实验结果应用DIP反问题已被报道。本文旨在讨论DIP的不同解释，并获得特定的网络设计和线性算子的分析结果。主要的贡献是介绍的想法，查看这些方法的优化吉洪诺夫泛函，而不是优化网络。除了理论结果，我们提出了数值验证。
2020-03-18 cs.LG stat.ML
Amortized Inference Regularization
Stanford University（斯坦福大学）；DeepMind（深度思维）
变分自编码器（VAE）是一种流行的密度估计和表示学习模型。正则地，变分原理建议优选表达推理模型，使得变分近似是准确的。然而，它往往被忽视，过度表达的推理模型可能是有害的测试集性能的摊销后验近似，更重要的是，生成密度估计。在本文中，我们利用VAE依赖于摊销推理的事实，并提出了控制推理模型平滑度的摊销推理正则化（AIR）技术。我们证明，通过应用空气，它是可能的，以提高VAE泛化的推理和生成性能。我们的论文挑战的信念，摊销推理只是一种近似极大似然训练的机制，并说明了摊销家庭的正规化提供了一个新的方向，理解和提高泛化VAE。
2019-01-09 cs.AI cs.LG stat.ML
Joint learning of variational representations and solvers for inverse problems with partially-observed data
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）
设计适当的变分正则化方案是求解反问题的关键部分，使其更好地提出并保证相关优化问题的解满足期望的性质。最近，基于学习的策略似乎是非常有效的解决逆问题，通过学习直接反演方案或即插即用正则化器从可用的真状态和观测对。在本文中，我们更进一步，设计了一个端到端的框架，允许学习实际的变分框架，在这样的监督设置的反问题。变分成本和基于梯度的求解器都被称为神经网络，后者使用自动微分。我们可以联合学习两个分量，以最小化真实状态的数据重建误差。这导致了变分模型的数据驱动发现。我们考虑一个应用程序的反问题与不完整的数据集（图像修补和多元时间序列插值）。我们的实验表明，这个框架可以导致重建性能方面的显着增益，包括w.r.t.从已知生成模型导出的变分公式的直接最小化。
2020-06-05 cs.LG eess.IV eess.SP
Convex regularization in statistical inverse learning problems
University of Helsinki（赫尔辛基大学）；University of Cambridge（剑桥大学）；Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）；University of Genoa（热那亚大学）
我们考虑一个统计逆学习问题，其中的任务是估计一个函数$f$的基础上嘈杂的点评价$Af$，其中$A$是一个线性算子。函数$Af$在i.i.d.进行评估。随机设计点$u_n$、$n=1,...,N$由未知的一般概率分布生成。我们考虑Tikhonov正则化一般凸和$p$齐次罚函数和推导出的浓度率的正则化解决方案的地面真理测量的对称Bregman距离引起的惩罚功能。我们推导出具体的Besov范数处罚率，并在X射线断层扫描的背景下，数值上证明了与所观察到的速率的对应关系。
2021-11-01 cs.LG math.ST stat.ML
