A Projection-Based Algorithm for Solving Stochastic Inverse Variational Inequality Problems
针对随机 IVI 问题缺乏性能保证的现状,提出一种方差缩减的投影梯度方法,证明迭代几乎必然收敛并给出收敛速率保证,且在网络均衡控制问题中得到验证。
2023-12-07 math.OC
Third-Order Dynamical Systems for Generalized Inverse Mixed Variational Inequality Problems
本文提出了一种三阶动力系统用于解决广义逆混合变分不等式问题,并通过显式离散化得到具有双惯性效应的向前-向后算法,证明其线性收敛性。
2026-02-12 math.OC
Globally Finite time and Globally Fixed-time stable Dynamical Systems for solving Inverse Quasi-variational inequality problems
本文提出两种投影动力系统求解有限维Hilbert空间中的反拟变分不等式问题,分别实现依赖初始条件的全局有限时间稳定和独立于初始条件的全局固定时间稳定收敛,并通过数值实验验证了其加速收敛的有效性。
2025-03-06 math.OC
Subdifferentiation of nonconvex sparsity-promoting functionals on Lebesgue spaces
稀疏促进条款被纳入最优控制问题的目标函数,以确保最优控制消失的大部分基本域。这些术语的典型候选是勒贝格空间上的整函数,基于$p\in[0,1)$的$\ell_p$度量,它是非凸的,也是非Lipschitz的,因此,变分具有挑战性。在本文中,我们推导出这些泛函的Fréchet,极限和奇异次微分的精确公式。这些广义导数可用于推导包含这种稀疏促进项的最优控制问题的必要最优性条件。
2021-07-20 math.OC
Solving Inverse Problems for Steady-State Equations using A Multiple Criteria Model with Collage Distance, Entropy, and Sparsity
在本文中,我们扩展了以前的方法来解决反问题的稳态状态方程使用广义拼贴定理通过寻找一个近似,不仅最小化拼贴误差,但也最大化的熵和最小化的稀疏性。在这个扩展公式中,参数估计最小化问题可以被理解为一个多准则问题,有三个不同的和相互冲突的标准:广义拼贴误差,熵与未知参数,和未知参数集的稀疏性。我们实现了一个标量化技术,减少了多个标准的程序到一个单一的标准,通过结合所有的目标函数与不同的权衡权重。数值例子证实,拼贴方法产生良好的,但次优的结果。一个相对较低的加权熵项允许更好的近似,而稀疏项降低了解决方案的复杂性方面的元素在基础上。
2019-11-07 cs.NA math.NA math.OC
Linear Inverse Problems with Norm and Sparsity Constraints
我们描述了两个非传统的线性回归算法,称为GAME和CLASH。这些方法的突出特点是,他们利用凸$\ell_1$ -球和非凸$\ell_0$ -稀疏约束稀疏恢复联合。为了建立GAME和CLASH的理论近似保证,我们涵盖了从博弈论、凸优化和组合优化等一系列有趣的主题。我们说明,这些方法导致改进的理论保证和经验性能超越凸和非凸求解器。
2015-07-20 cs.IT math.IT math.OC
Variational State-Dependent Inverse Problems in PDE-Constrained Optimization: A Survey of Contemporary Computational Methods and Applications
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文综述了PDE约束优化中状态依赖反问题的数学理论、计算方法及应用,探讨了可识别性、不相容性等挑战及未来研究方向。
2026-01-16 math.OC
A Second-Order Dynamical System for Solving Generalized Inverse Mixed Variational Inequality problems
Faculty of Applied Sciences, Ho Chi Minh City University of Technology and Engineering(胡志明市工程技术大学应用科学学院)
本文提出了一种基于投影的二阶时间变化动力系统,用于求解广义逆混合变分不等式问题,并证明其具有线性收敛性。
2026-01-22 math.OC
A Generative Variational Model for Inverse Problems in Imaging
本文研究了一种新的成像反问题正则化变分模型的发展、分析和数值实现。所提出的模型受到生成卷积神经网络架构的启发;它旨在通过多层卷积和非线性惩罚从潜在空间中的变量生成未知数,并惩罚相关成本。然而,与传统的基于神经网络的方法相比,卷积核直接从测量数据中学习,因此不需要训练。目前的工作提供了一个数学分析所提出的模型在一个函数空间设置,包括证明的规律性和存在性/稳定性的解决方案,收敛性消失的噪音。此外,在一个离散化的设置,数值算法求解各种类型的反问题与所提出的模型。数值结果提供的应用程序在修复,去噪,去模糊噪声下,超分辨率和JPEG压缩多个测试图像。
2021-11-09 math.OC
1-norm minimization and minimum-rank structured sparsity for symmetric and ah-symmetric generalized inverses: rank one and two
广义逆在统计学和应用矩阵代数的其他领域中很重要。实矩阵$A$的\emph{generalized inverse}是满足Moore-Penrose(M-P)性质$AHA=A$的矩阵$H$。如果$H$也满足M-P性质$HAH=H$,则称为\emph{reflexive}。广义逆的自反性等价于最小秩,这是一个非常理想的性质。我们认为方面的对称性有关的计算各种\emph{sparse}自反广义逆的$A$。通常,我们使用(向量)1-范数最小化来诱导稀疏性并保持条目的大小处于控制之下。当$A$是对称的时,对称的$H$是非常理想的,但是通常对$H$的这种限制不会导致1-范数最小化自反广义逆。我们研究了一个块构造方法,以产生一个对称的自反广义逆的结构,并保证稀疏性。设$A$的秩为$r$,证明了当(i)$r=1$和(ii)$r=2$和$A$非负时,这类1-范数极小化广义逆是1-范数极小化对称广义逆.我们考虑的对称性的另一个方面与另一个M-P性质有关:如果$AH$是对称的,则$H$是\emph{ah-symmetric}。ah-对称性足以使广义逆用于通过$x:=Hb$使用$H$求解最小二乘问题$\min\{\|Ax-b\|_2:~x\in\mathbb{R}^n\}$。本文研究了一种列块构造方法来构造具有稀疏性的对称自反广义逆。证明了当(i)$r=1$和(ii)$r=2$和$A$满足技术条件时,这类…
2020-10-20 math.OC math.ST stat.TH
Regularized Projection Algorithms for Monotone Inverse Variational Inequalities
针对单调随机逆变分不等式,提出结合Tikhonov正则化与递增批量大小的算法,证明迭代有界及收敛,给出期望平方残差的非渐近率,还介绍了确定性变体及数值实验。
2026-07-21 math.OC
Sparsity Within and Across Overlapping Groups
最近,已经提出了促进组内和组间稀疏信号的惩罚。在这封信中,我们提出了一个泛化,允许编码组内更复杂的依赖关系。然而,这使得与惩罚相关联的门限函数的实现复杂化,这阻碍了在能量最小化中使用惩罚。我们将讨论如何回避这个问题,并展示了使用修改后的罚款的反问题的能量最小化制定。
2017-08-21 math.OC
Trading off 1-norm and sparsity against rank for linear models using mathematical optimization: 1-norm minimizing partially reflexive ah-symmetric generalized inverses
M-P(Moore-Penrose)伪逆的一个关键应用是计算不相容线性方程组的最小二乘解。不管给定的输入矩阵是否稀疏,它的M-P伪逆可能是稠密的,这可能导致高计算负担,特别是当我们处理高维矩阵时。M-P伪逆具有四个性质,但在计算最小二乘解时只需满足其中两个性质。Fampa和Lee(2018)以及Xu,Fampa,Lee和Ponte(2019)提出了局部搜索过程来构造满足两个关键M-P性质的稀疏块结构广义逆,再加上一个(所谓的自反性质)。这个附加的M-P性质等价于在广义逆上施加一个最小秩条件。(向量)1-范数最小化是用来诱导稀疏性,重要的是,以保持控制下的广义逆构造的条目的幅度。在这里,我们调查之间的权衡低1-范数和低秩的广义逆,可用于计算的最小二乘解。我们提出了几种算法的方法,从一个$1$-范数最小化广义逆,满足两个关键的M-P属性,并逐步降低其排名,通过迭代施加自反属性。算法迭代直到广义逆具有最小可能秩。在迭代过程中,我们产生中间解决方案,权衡低1-范数(通常是高稀疏性)和低秩。
2020-11-04 cs.NA math.NA math.OC
A Dual ADMM Framework for Inverse Parameter Identification in Elliptic Variational Inequalities
Cadi Ayyad University(卡迪·阿亚德大学);Ecole Normale Supérieure, Université Sidi Mohamed Ben Abdellah(西迪穆罕默德·本阿卜拉赫大学高等师范学院);Sidi Mohamed Ben Abdellah University(西迪穆罕默德·本阿卜拉赫大学)
针对第二类椭圆变分不等式控制的逆参数识别问题,提出一种基于增广拉格朗日与交替方向乘子法(ADMM)的对偶框架,利用Fenchel对偶处理非光滑边界项,实现Robin系数的高效重建。
2026-06-23 math.OC
Convergence rates in $\mathbf{\ell^1}$-regularization if the sparsity assumption fails
Westfälische Wilhelms-Universität Münster(明斯特大学);Technische Universität Chemnitz(开姆尼茨工业大学)
针对不完全稀疏但非零部分快速衰减的解,通过适当的变分不等式分析一类病态线性算子方程的收敛速率,展示了变分不等式方法优于标准源条件。
2012-10-28 cs.NA math.NA math.OC
Stable Recovery of Regularized Linear Inverse Problems
本文研究了正则化线性反问题的稳定恢复,提出有限维空间中新刻画并揭示非光滑二阶信息作用,据此推导出分析组稀疏问题稳定恢复的新充分条件,数值实验验证了其有效性。
2025-05-29 math.OC
Sparsity constrained split feasibility for dose-volume constraints in inverse planning of intensity-modulated photon or proton therapy
提出了一种在计划算法中包含剂量体积约束的调强放射治疗(IMRT)治疗计划逆问题的分裂可行性公式。它涉及一种新类型的稀疏性约束,使得在模型问题中包含一个违反约束,并通过连续(而不是整数)方法对其进行处理。我们提出了一个迭代算法框架来解决这样的问题,通过应用可行性寻求CQ算法的伯恩结合自动松弛法(ARM),使用循环投影。提供了详细的实施说明。通过为简单的2D C形几何形状和现实的颅底脉络膜治疗部位创建强度调制质子治疗计划,证明了该算法的功能。对不同能量的质子笔形束进行了蒙特卡罗模拟,以获得2D测试情况下的剂量分布。Pinnacle 3质子治疗计划系统的研究版本用于提取临床颅底脉络膜病例的笔形射束剂量。在这两种情况下,根据我们的新算法计算细束剂量以满足剂量体积约束。使用我们的算法进行逆向计划后的剂量-体积直方图检查表明其按预期执行。我们提出的算法的应用剂量-体积约束的逆规划成功地证明。与Pinnacle 3治疗计划系统研究发布的优化剂量分布进行比较,结果表明该算法可以获得等效或更优的结果。
2017-02-25 math.OC physics.med-ph
Hierarchical Ensemble Kalman Methods with Sparsity-Promoting Generalized Gamma Hyperpriors
本文介绍了一种计算框架,将灵活的正则化技术集成卡尔曼方法的非线性反问题。所提出的方法近似的最大后验概率(MAP)估计的分层贝叶斯模型,其特征在于由一个条件高斯先验和广义伽玛超先验。选择合适的超参数会产生稀疏促进正则化。我们提出了一种迭代算法的MAP估计,它交替更新未知的集合卡尔曼方法和更新超参数的正则化,以促进稀疏性。我们的方法的有效性证明在几个计算实例,包括压缩传感和地下水流逆问题。
2022-05-19 cs.NA math.NA math.OC
Variational Regularization in Inverse Problems and Machine Learning
Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文讨论了变分正则化方法的基本结果和最近的发展,为反问题。在一个典型的设置中,我们回顾了获得收敛正则化方案所需的基本性质,并进一步讨论了定量估计的推导,分别需要的成分,如Bregman距离凸泛函。除了为逆问题开发的方法外,我们还将讨论机器学习中的变分正则化,并与经典正则化理论建立一些联系。特别是,我们将讨论重新解释的机器学习问题的正则化理论的框架和重新解释的变分方法的反问题的框架中的风险最小化。此外,我们建立了一些以前未知的Bregman距离的误差估计和泛化误差之间的连接。
2021-12-08 cs.LG cs.NA math.NA
Generalized sparsity-promoting solvers for Bayesian inverse problems: Versatile sparsifying transforms and unknown noise variances
本文推广贝叶斯层次反演模型,使IAS-MAP求解支持带非平凡核的通用稀疏变换并在线推断未知噪声方差,同时保持计算效率并提供收敛性与数值验证。
2025-01-07 cs.NA math.NA math.OC
Algorithms for the Split Variational Inequality Problem
我们提出了一个原型分裂逆问题(SIP)和一个新的变分问题,称为分裂变分不等式问题(SVIP),这是一个SIP。它需要找到一个逆问题的解(例如,变分不等式问题(VIP)),其在给定的有界线性变换下的图像是另一个逆问题(例如VIP)的解。我们构造迭代算法,解决这些问题,在合理的条件下,在希尔伯特空间,然后讨论特殊情况下,其中一些是新的,甚至在欧几里得空间。
2011-08-10 math.FA math.OC
Variational regularisation for inverse problems with imperfect forward operators and general noise models
我们研究变分正则化方法的反问题,不完美的前向运营商的错误可以建模的序区间的部分顺序的巴拿赫格。我们进行了分析的存在性和凸对偶的一般数据保真度项和正则化泛函。对于先验和后验的参数选择规则,我们得到了正则解的收敛速度的Bregman距离。我们的研究结果适用于保真度条款,如Wasserstein距离,f-分歧,规范,以及这些的总和和无穷卷积。
2020-10-23 cs.NA math.NA math.OC
On the complexity of Mumford-Shah type regularization, viewed as a relaxed sparsity constraint
Princeton University(普林斯顿大学);New York University(纽约大学)
本文证明截断二次正则化反问题在一般情况下是NP难的,甚至难以近似到加性误差,从而确认了Mumford-Shah泛函无法自然推广到一般反问题。
2010-01-18 cs.NA math.NA math.OC
Regularization Graphs -- A unified framework for variational regularization of inverse problems
我们介绍和研究了一个广泛的一类正则化泛函不适定逆问题的数学框架:正则化图。正则化图允许使用线性算子和凸泛函作为构建块来构建泛函,通过可以被视为经典无穷卷积算子的推广的算子来组装。这类泛函详尽地涵盖了现有的正则化方法,并且它足够灵活,可以以简单和建设性的方式创建新的方法。我们提供了适定性和收敛结果与建议的一类泛函在一般的设置。此外,我们考虑了一种双层优化方法来从训练数据中学习这种正则化图的最佳权重。我们证明了这种方法能够优化正则化图的结构和复杂性,例如,允许自动选择对给定训练数据最优的正则化器组合。
2021-11-05 math.FA math.OC
Direct and Inverse Variational Problems on Time Scales: A Survey
本文讨论了任意时间尺度上变分法的正问题和逆问题。首先,利用Euler-Lagrange方程和加强的Legendre条件,给出了变分泛函在向量空间的给定点处达到局部极小值的一般形式.此外,我们还给出了一个动力学积分微分方程成为Euler-Lagrange方程(时间尺度上变分法的Helmholtz问题)的必要条件。新的和有趣的结果的离散和量子设置作为特殊情况下获得。最后,我们考虑非常普遍的问题的变分法给出了一定的标量函数与δ和nabla积分的向量值字段的组成。
2016-01-19 math.CA math.OC
A Proximal Decomposition Method for Solving Convex Variational Inverse Problems
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR 7598(雅克-路易·利翁斯实验室);Université Paris-Est(巴黎东大学);Institut Gaspard Monge and UMR CNRS 8049(加斯帕尔·蒙日研究所)
提出一种用于Hilbert空间中多个凸函数和最小化问题的近端分解算法,可处理任意数量的非光滑函数,并证明其收敛性,在信号与图像处理中展示数值应用。
2009-06-23 cs.NA math.NA math.OC
Box constraints and weighted sparsity regularization for identifying sources in elliptic PDEs
我们探讨使用边界数据来识别椭圆偏微分方程中的源的可能性。尽管相关的前向算子具有大的零空间,但事实证明,箱约束与加权稀疏正则化相结合,可以实现具有恒定幅度/强度的源的相当准确的恢复。此外,对于具有变化强度的源,逆解的支持将是真实源的支持的子集。我们提出了一个问题的分析和一系列的数值实验。我们的工作只解决离散问题。引入加权过程的原因是,标准(未加权)稀疏正则化不能提供足够的结果,本文考虑的源识别任务。这项调查也是出于应用的动机,例如,从重力场和逆散射的测量中恢复质量分布。我们发展的方法和分析方面的欧几里得空间,因此,我们的结果可以应用到许多问题。例如,结果同样适用于模型,包括筛选泊松方程的模型,使用亥姆霍兹方程,与大波数和小波数。
2023-03-03 cs.NA math.NA math.OC
Exploring Structural Sparsity of Deep Networks via Inverse Scale Spaces
Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Jiangxi Normal University(江西师范大学);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络的巨大成功是建立在其过度参数化的基础上的,这在不降低泛化能力的情况下平滑了优化景观。尽管过度参数化有好处,但大量的参数使得深度网络在日常生活应用中变得繁琐。尽管开发了修剪和蒸馏等技术,但它们作为后向选择方法在完全训练密集网络时成本很高,并且仍然缺乏系统地探索用于学习深度网络结构稀疏性的前向选择方法。为了填补这一空白,本文提出了一种新的方法,基于反尺度空间的微分包含,通过耦合一对参数,沿着动力学生成一系列从简单到复杂的模型,从而可以同时探索过参数化的深层模型及其结构稀疏性。这种差分包含方案具有简单的离散化,称为深度结构分裂线性化Bregman迭代(DessiLBI),其在学习深度网络时的全局收敛性可以在Kurdyka-Lojasiewicz框架下建立。实验证据表明,我们的方法在探索基准数据集上几个广泛使用的骨干的稀疏结构时,实现了与竞争性优化器相当甚至更好的性能。值得注意的是,通过早期停止,我们的方法在早期阶段揭示了“中奖门票”:有效的稀疏网络结构,其测试精度与完全训练的过度参数化模型相当,可进一步转移到类似的替代任务。此外,我们的方法能够有效地增长网络与自适应滤波器配置,表现出良好的性能,少得多的计算成本。代码和模型可以从{https://github.com/DessiLBI2020/DessiLBI}下载。
2022-04-21 cs.LG math.DS math.OC
Solution Paths of Variational Regularization Methods for Inverse Problems
我们考虑一类一般反问题的变分正则化泛函,其中数据保真度和正则化项分别由Hilbert范数和绝对单齐次泛函的幂给出,正则化参数被解释为人工时间.我们调查的小和大的时间行为的相关解决方案的路径,特别是,证明有限的消亡时的一大类泛函。根据权力,我们还表明,解决方案的路径是有界变化,甚至Lipschitz连续。此外,这将证明,这些模型是“几乎”相互等价的最小化,他们承认。最后,我们应用我们的结果来定义和比较两种不同的非线性谱表示的数据,并表明,只有一个是能够分解的线性组合的非线性本征函数到个人的本征函数。为此,我们还将简要地讨论分段仿射解路径。
2019-10-29 cs.NA math.NA math.OC
Sparsity promoting reconstructions via hierarchical prior models in diffuse optical tomography
本文针对扩散光学层析成像的非线性不适定逆问题,提出基于指数、标准伽马和逆伽马超先验的分层先验模型,并给出超参数选择方法,以改善稀疏目标重建的定位、对比度和边缘锐度。
2023-12-05 cs.NA math.NA math.OC
Image reconstruction in dynamic inverse problems with temporal models
综述了动态逆问题中图像重建的变分方法。重点是依赖于参数化的时间模型的方法。这些在这里被编码为具有时间相关参数的双态变形,或者被编码为运动约束重建,其中运动模型由偏微分方程给出。该调查还包括集成深度学习以解决这些计算要求高的变分方法的最新发展。2D动态层析成像的例子,但方法适用于一般的逆问题。
2020-07-20 cs.NA eess.IV math.NA