Regularization of inverse problems via box constrained minimization
在本文中,我们考虑基于最小化的反问题$(x,Φ)\in\mbox{argmin}\{\mathcal{J}(x,Φ;y)\colon(x,Φ)\in M_{ad}(y) \}$的公式,用于特定但高度相关的情况,即容许集$M_{ad}^δ(y^δ)$由逐点界限定义,这是这种情况,例如,如果参数上的$L^\infty$约束是在Ivanov正则化的意义上施加的,并且观测中的$L^\infty$噪声水平是在Morozov正则化的意义上规定的。作为这种设置的应用例子,我们考虑椭圆边值问题中的三个系数识别问题。分别用分段常数和分段线性有限元离散化$(x,Φ)$,得到有限维非线性盒约束最小化问题,该问题可以通过Gauss-Newton型SQP方法数值求解。在我们的计算实验中,我们重新审视了建议的应用示例。为了加快计算速度和获得精确的数值解,我们使用最近开发的有效集方法来解决严格凸二次规划框约束作为子程序在我们的高斯-牛顿型SQP方法。
2018-07-30 math.FA math.OC
How many samples are needed to reliably approximate the best linear estimator for a linear inverse problem?
线性最小均方误差(LMMSE)估计是贝叶斯线性逆问题关于均方误差的最佳线性估计。它作为一个Tikhonov型正则化反问题的解算子,具有一个特定的二次偏差项和一个特定的二次正则化算子。为了能够评估LMMSE估计器,必须知道前向算子以及先验和噪声的前两个统计矩。如果这样的知识不可用,则可以基于给定样本来近似LMMSE估计器。在这项工作中,它是研究,在有限维的设置,需要多少样本来可靠地近似的LMMSE估计,在这个意义上说,具有高概率,近似的均方误差是小于一个给定的多个均方误差的LMMSE估计。
2021-07-01 math.OC math.PR math.ST
Proximal Subgradient Norm Minimization of ISTA and FISTA
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
对于一阶光滑优化问题,加速现象的研究由来已久。直到最近,导致加速度的机制并没有成功地揭示了梯度校正项及其等效的隐速度形式。进一步,基于高分辨率微分方程框架,结合相空间表示和李雅普诺夫函数,发现了Nesterov加速梯度下降(\texttt{NAG})方法的平方梯度范数.然而,该结果不能直接推广到实际中广泛使用的复合优化,例如,稀疏表示的线性反问题本文对复合优化中一个关键的步长$s$和Lipschitz常数$L$不等式进行了细致的观察,发现它可以得到更严格的改进.我们应用更紧密的不等式中发现的构造良好的李雅普诺夫函数,然后获得的相空间表示的最接近的次梯度范数最小化,无论梯度校正或隐速度。此外,我们还证明了类迭代收缩阈值算法(ISTA)的平方近端次梯度范数以平方反比率收敛,类更快的迭代收缩阈值算法(FISTA)的平方近端次梯度范数以立方反比率加速收敛。
2022-11-03 cs.LG math.OC math.ST
Learning to solve inverse problems using Wasserstein loss
KTH Royal Institute of Technology(瑞典皇家理工学院);Elekta Instrument AB(医科达仪器公司)
我们建议使用Wasserstein损失来训练逆问题。特别地,我们考虑了一个学习的原始-对偶重建计划不适定的反问题使用Wasserstein距离作为损失函数的学习。这是由训练数据中的未对准引起的,当使用标准均方误差损失时,这会严重降低重建质量。我们证明,训练与Wasserstein损失给出了一个重建算子,正确地补偿在某些情况下的错位,而训练与均方误差给出了一个模糊的重建。此外,我们证明了这些影响,通过训练重建算法,使用均方误差和最佳传输损失的问题,在计算机断层扫描。
2017-10-30 cs.CV math.FA math.OC
Good and Fast Row-Sparse ah-Symmetric Reflexive Generalized Inverses
本文提出高效可扩展的 ADMM 算法,用于构造行稀疏且满足 Moore-Penrose 伪逆关键性质的广义逆,以加速秩亏不相容线性方程组的最小二乘求解,并给出局部搜索过程的 2,1-范数逼近结果。
2025-07-08 math.OC
1-norm minimization and minimum-rank structured sparsity for symmetric and ah-symmetric generalized inverses: rank one and two
广义逆在统计学和应用矩阵代数的其他领域中很重要。实矩阵$A$的\emph{generalized inverse}是满足Moore-Penrose(M-P)性质$AHA=A$的矩阵$H$。如果$H$也满足M-P性质$HAH=H$,则称为\emph{reflexive}。广义逆的自反性等价于最小秩,这是一个非常理想的性质。我们认为方面的对称性有关的计算各种\emph{sparse}自反广义逆的$A$。通常,我们使用(向量)1-范数最小化来诱导稀疏性并保持条目的大小处于控制之下。当$A$是对称的时,对称的$H$是非常理想的,但是通常对$H$的这种限制不会导致1-范数最小化自反广义逆。我们研究了一个块构造方法,以产生一个对称的自反广义逆的结构,并保证稀疏性。设$A$的秩为$r$,证明了当(i)$r=1$和(ii)$r=2$和$A$非负时,这类1-范数极小化广义逆是1-范数极小化对称广义逆.我们考虑的对称性的另一个方面与另一个M-P性质有关:如果$AH$是对称的,则$H$是\emph{ah-symmetric}。ah-对称性足以使广义逆用于通过$x:=Hb$使用$H$求解最小二乘问题$\min\{\|Ax-b\|_2:~x\in\mathbb{R}^n\}$。本文研究了一种列块构造方法来构造具有稀疏性的对称自反广义逆。证明了当(i)$r=1$和(ii)$r=2$和$A$满足技术条件时,这类…
2020-10-20 math.OC math.ST stat.TH
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中,我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推(BPGe)。该算法扩展并加速了Bregman近似梯度算法(BPG),它绕过了近似梯度算法(PG)所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法(PGe)具有更高的通用性,并且由于外推步骤的存在,BPGe比BPG算法收敛更快。通过对收敛性的分析,证明了在适当选取参数的情况下,BPGe产生的序列的任何极限点都是问题的平稳点。此外,在Kurdyka-{K}ojasiewicz性质的假设下,证明了BPGe生成的序列整体收敛于一个平稳点.最后,为了说明新方法BPGe的潜力,我们将其应用于两个重要的实际问题,出现在许多基本的应用(不满足全局Lipschitz梯度连续性假设):泊松线性逆问题和二次逆问题。在测试中,加速的BPGe算法显示出更快的收敛结果,给出了一个有趣的新算法。
2019-04-25 math.OC
Solving Inverse PDE Problems using Minimization Methods and AI
American University of Beirut(贝鲁特美国大学)
本文提出利用物理信息神经网络(PINNs)求解正向和反向偏微分方程问题,通过逻辑方程和孔隙介质方程的案例验证了其在计算成本和解精度上的有效性。
2026-03-03 cs.AI cs.NA math.AP
Parallel proximal methods for total variation minimization
全变分(TV)是一种广泛使用的正则化子,用于稳定不适定反问题的解。在本文中,我们提出了一种新的近似梯度算法最小化TV正则化最小二乘成本泛函。我们的方法取代了标准的近端步骤的电视一个更简单的替代方案,计算几个独立的邻近。我们证明了所提出的并行邻近方法收敛到电视解决方案,而不需要子迭代。本文的研究结果将增强TV在求解超大规模成像反问题中的适用性。
2016-01-04 cs.IT math.IT math.OC
No-gap second-order conditions for minimization problems in spaces of measures
本文证明测度空间极小化问题中,最优对偶状态的有限全局极值及逐点二阶充分条件,等价于基于Radon范数二阶次导数的无间隙二阶条件及目标泛函的局部二次增长性质。
2024-03-18 math.OC
Error bound of critical points and KL property of exponent $1/2$ for squared F-norm regularized factorization
South China University of Technology(华南理工大学)
研究了含噪声低秩矩阵恢复问题的平方F(robenius)范数正则化分解形式。在对损失函数的Hessian约束条件数作适当假设的情况下,对于秩不大于真矩阵秩的非严格临界点,得到了误差界.然后,对于平方F-范数正则化因子分解最小二乘损失函数,在有噪声和全样本情况下,建立了其指数$1/2$在全局极小点集上的KL性质,并在有噪声和部分样本情况下,对一类临界点得到了该性质.这些理论研究结果也证实了解决平方F-范数正则因式分解问题的加速交替最小化方法。
2021-06-26 cs.LG math.OC stat.ML
Feasibility-Seeking and Superiorization Algorithms Applied to Inverse Treatment Planning in Radiation Therapy
我们应用最近提出的优越化方法(SM)的逆规划问题的放射治疗。逆规划问题在这里表示为一个大的线性双边不等式系统的强度向量的全变差(TV)的约束最小化问题。SM在概念上可以被视为介于可行性寻求的约束和完全成熟的约束最小化的目标函数受到这些约束。它是基于这样的发现,即许多可行性搜索算法(投影方法的品种)是扰动弹性,并可以主动转向一个可行解的约束减少,因此优越,但不一定是最小的,目标函数值。
2014-02-06 math.OC physics.med-ph
An iterative thresholding algorithm for linear inverse problems with mixed multi-constraints and its applications
在本文中,我们将提出一个推广的最小化问题,从I。Daubechies,M. Defrise和C. Demol [3].这种推广对于解决许多涉及多个约束的实际问题是有用的。在这方面,我们将总结许多论文(其中大部分是关于图像处理的)的发现。希望本文所提出的方法能为多框架、多小波或多约束的线性反问题的应用提供参考。
2019-12-19 math.OC
Adaptive Vector-Valued Splines for the Resolution of Inverse Problems
本文提出一种基于全变差正则化和自适应L-样条的向量值函数重建框架,证明在弱星连续测量算子下解集为结点数少于测量数的自适应L-样条的闭凸包,并揭示内范数促进稀疏解。
2025-07-07 math.OC
Sparsity Within and Across Overlapping Groups
最近,已经提出了促进组内和组间稀疏信号的惩罚。在这封信中,我们提出了一个泛化,允许编码组内更复杂的依赖关系。然而,这使得与惩罚相关联的门限函数的实现复杂化,这阻碍了在能量最小化中使用惩罚。我们将讨论如何回避这个问题,并展示了使用修改后的罚款的反问题的能量最小化制定。
2017-08-21 math.OC
On a Combination of Alternating Minimization and Nesterov's Momentum
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems RAS(俄罗斯科学院信息传输问题研究所);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所)
交替最小化(AM)方法在求解凸优化和非凸优化问题的许多应用中实际上是有效的。另一方面,Nesterov的加速梯度法是凸优化理论上最优的一阶方法。在本文中,我们结合AM和Nesterov的加速,提出了一个加速交替最小化算法。我们证明了$1/k^2$收敛速度的凸问题的目标和$1/k$的平方梯度范数的非凸问题,其中$k$是迭代计数器。我们的方法不需要任何知识,既不是凸性的问题,也不是函数参数,如Lipschitz常数的梯度,即它是自适应的凸性和光滑性,是一致最优的光滑凸和非凸问题。进一步,我们发展了它的原始-对偶修改的强凸问题的线性约束,并证明了相同的$1/k^2$的原始目标残差和约束的可行性。
2021-09-15 cs.LG math.OC
A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions
我们提出了一个算法框架的凸最小化问题的复合函数与两项:一个自协调函数和一个可能的非光滑正则项。我们的方法是一个新的近似牛顿算法,具有局部二次收敛速度。作为我们框架的一个具体实例,我们考虑了图学习问题中的稀疏逆协方差阵估计。通过仔细的对偶公式和一个新的分析步长选择过程,我们的方法图学习避免了Cholesky分解和矩阵求逆在其迭代,使其有吸引力的并行和分布式实现。
2013-03-19 math.OC stat.ML
On the linear convergence rates of exchange and continuous methods for total variation minimization
分析了R d的子集$Ω$上Radon测度空间M($Ω$)上全变分正则化反问题数值解的交换算法.我们的主要结果表明,在一定的正则性条件下,该方法最终线性收敛。此外,我们证明了不断优化的目标措施的位置的幅度将成功地在一个良好的初始化的线性速率。最后,我们建议将这两种方法结合成一个交替的方法,并讨论这种方法的比较优势。
2019-06-24 eess.SP math.OC
Large Scale Empirical Risk Minimization via Truncated Adaptive Newton Method
University of Pennsylvania(宾夕法尼亚大学)
我们考虑大规模的经验风险最小化(ERM)问题,其中问题的维度和变量的大小都很大。在这些情况下,大多数二阶方法是不可行的,因为在所有样本上计算Hessian和在高维中计算其逆的成本都很高。在本文中,我们提出了一种新的自适应样本量的二阶方法,它降低了计算的海森通过解决一系列的ERM问题对应的一个子集的样本,并使用截断的特征值分解,降低了计算的海森逆的成本。我们表明,虽然我们几何增加的训练集的大小在每个阶段,一个单一的迭代截断牛顿法是足够的,以解决新的ERM在其统计精度。此外,对于大量的样本样本个数,我们被允许在每个阶段的训练集的大小增加一倍,所提出的方法随后达到统计精度的完整的训练集大约在两个有效的通过。除了这个理论结果,我们经验表明,一些众所周知的数据集,建议截断自适应样本量算法优于随机替代解决ERM问题。
2017-05-22 cs.LG math.OC stat.ML
Asymptotics of Proximity Operator for Squared Loss and Performance Prediction of Nonconvex Sparse Signal Recovery
本文分析平方损失邻近算子在大系统极限下的渐近性质,并将其用于预测压缩感知中 Douglas-Rachford 算法在 $\ell_{1}$ 及非凸 SCAD、MCP 正则化下的 MSE 性能。
2025-03-24 cs.IT eess.SP math.IT
Jump-sparse and sparse recovery using Potts functionals
我们恢复跳跃稀疏和稀疏信号从模糊不完整的数据损坏(可能是非高斯)噪声使用逆波茨能量泛函。我们得到的分析结果(存在的最小值,复杂性)逆Potts泛函和稀疏性问题的关系。然后,我们提出了一种新的最优化方法,这些泛函的基础上,动态规划和交替方向法的乘数(ADMM)。一系列的实验表明,该方法产生非常令人满意的跳跃稀疏和稀疏重建,分别。我们突出的能力,通过比较它与经典和最近的方法,如电视最小化(跳跃稀疏信号),正交匹配追求,迭代硬阈值,迭代重新加权$\ell^1$最小化(稀疏信号)的方法。
2014-06-02 cs.NA math.NA math.OC
Sparse Cholesky factorization by Kullback-Leibler minimization
我们建议通过最小化高斯分布$\mathcal{N}(0, Θ)$和$\mathcal{N}(0, L^{-\top} L^{-1})$之间的Kullback-Leibler散度来计算密集协方差矩阵$Θ$的稀疏近似逆Cholesky因子$L$,并受到稀疏约束。令人惊讶的是,这个问题有一个封闭形式的解决方案,可以有效地计算,恢复流行的Vecchia近似空间统计。根据最近的结果的近似稀疏性的逆Cholesky因子的$Θ$的椭圆边值问题的格林函数的成对评估点$\{x_{i}\}_{1 \leq i \leq N} \subset \mathbb{R}^{d}$,我们提出了一个消除订购和稀疏模式,使我们能够计算$ε$ -近似逆Cholesky因子的$Θ$的计算复杂性$\mathcal{O}(N \log(N/ε)^d)$在空间和$\mathcal{O}(N \log(N/ε)^{2d})$在时间。据我们所知,这是这类问题的最佳渐近复杂性。此外,我们的方法是并行的,自动利用低维结构的数据,并可以执行高斯过程回归线性(在$N$)空间复杂度。我们的方法的最优性属性的激励下,我们提出的方法将其应用到高斯过程回归的训练和预测点的联合协方差,大大提高了稳定性和计算成本。最后,我们展示了如何将我们的方法应用于加性噪声的高斯过程的重要设置,既不牺牲精度,也不牺牲计算复杂性。
2021-10-22 cs.NA math.NA math.OC