Linearly Convergent Asynchronous Distributed ADMM via Markov Sampling
我们考虑的共识分布式最优化问题,并提出了一个异步版本的交替方向法的乘法器(ADMM)算法来解决它。“异步”部分在这里是指的事实,只有一个节点/处理器更新(即执行最小化步骤)在算法的每次迭代。通过模拟一个马尔可夫链来决定待更新节点的选择。对强凸连续可微函数类,证明了该算法具有期望的线性收敛性质。
2022-03-31 math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology(技术学院-以色列理工学院)
本文提出了一种随机线性收敛的Frank-Wolfe型方法,用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
A Convergent ADMM Algorithm for Grain Boundary Energy Minimization
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen University(深圳大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(港深创新研究院)
研究材料科学中晶界能量最小化的约束问题,用递增惩罚参数修改ADMM算法,分析其收敛性,证明序列极限性质及目标函数拟凸性,通过数值例子验证算法收敛并比较不同方法结果。
2026-07-22 cs.NA math.NA math.OC
A new, globally convergent Riemannian conjugate gradient method
本文讨论了黎曼流形上的共轭梯度法,并讨论了其整体收敛.现有的共轭梯度算法需要假设向量迁移不增加切向量的范数,以保证生成的序列具有整体收敛性质.在本文中,一个缩放矢量传输的概念被引入到改进的算法,使所产生的序列可以有一个整体收敛的性质,在一个宽松的假设。在所提出的算法中,传输向量的范数在传输过程中增加的情况下被重新缩放。理论上证明了算法的整体收敛性,并通过实例进行了数值观察.实际上,数值实验表明,存在最小化问题,现有的算法产生发散序列,但所提出的算法产生收敛序列。
2013-08-02 math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM,这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数(即,相对光滑的固定所有的块除了一个)和块可分(非光滑)的非凸函数。结果表明,我们的算法所产生的序列是逐次收敛到目标函数的临界点,而在KL不等式假设下,它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解(ONMF),满足我们所有的假设和相关的子问题解决封闭的形式,其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
A Linearly Convergent Doubly Stochastic Gauss-Seidel Algorithm for Solving Linear Equations and A Certain Class of Over-Parameterized Optimization Problems
考虑求解一般线性方程组$Ax=b$的经典问题。众所周知,当$A$既不是对角占优的也不是对称正定的时,Gauss-Seidel格式及其许多变体可能不收敛。我们能有一个线性收敛的G-S型算法,适用于{ \it any} $A$吗?在本文中,我们肯定地回答这个问题,提出了一个双随机G-S算法,可证明线性收敛(在均方误差意义下)的任何可行的线性系方程。算法设计的关键是引入{ \it非均匀双随机}格式,用于在每一步更新中选取方程和变量,并引入步长规则。这些技术还推广到用于解决具有任意$A$的线性可行性问题$A x\le b$的某些迭代交替投影算法,以及用于在机器学习中训练过参数化模型的高维最小化问题。我们的结果表明,一个精心设计的随机化方案可以使一个否则发散的G-S算法收敛。
2019-05-13 math.OC
A primal-dual majorization-minimization method for large-scale linear programs
提出了一种求解大型线性规划问题的原-对偶优化-极小化方法。针对对偶线性规划问题,导出了一个具有严格凸性的光滑障碍增广拉格朗日函数。自然地引入优化最小化方法来开发SBAL函数的光滑性和凸性。该方法只依赖于常数矩阵的因子分解而不依赖于迭代过程,不需要计算任何步长,因而特别适用于大规模线性规划.该方法与线性规划的一阶方法具有相似的性质,但其收敛性分析建立在SBAL函数的可微性和凸性基础上。在不要求原线性规划或对偶线性规划可行的前提下,分析了算法的整体收敛性。在正则条件下,证明了该方法的全局线性收敛性,并给出了一个新的迭代复杂度结果。
2022-08-07 math.OC
Linearly Convergent Frank-Wolfe with Backtracking Line-Search
机器学习中的结构化约束最近使Frank-Wolfe(FW)算法家族重新成为人们关注的焦点。经典FW算法的局部收敛性能较差,而Away-steps和Pairwise FW算法作为改进的FW算法已经出现,具有更快的收敛速度。然而,这些改进的变体遭受两个实际的限制:他们需要在每次迭代,以解决一个1维最小化问题,以设置步长,也需要弗兰克-沃尔夫线性子问题,以解决准确。在本文中,我们提出了变体的离开步骤和成对FW,同时解除这两个限制。所提出的方法设置的步长的基础上充分减少的条件,并且不需要先验知识的目标。此外,他们继承了所有良好的收敛性能的精确线搜索版本,包括线性收敛的强凸函数多面体。不同机器学习问题的基准测试说明了所提出的变体的巨大性能增益。
2022-09-08 math.OC
Penalty decomposition derivative free method for the minimization of partially separable functions over a convex feasible set
本文提出一种罚分解无导数方法,用于在凸可行集上高效求解部分可分离函数的最小化问题,通过结合无导数线搜索方法,实现全局收敛性并验证其有效性。
2026-01-09 math.OC
Effective two-stage image segmentation: a new non-Lipschitz decomposition approach with convergent algorithm
图像分割是一个重要的中值视觉问题。对灰度不均匀图像的多相分割仍然是一个很大的挑战。我们提出了一种新的两阶段多相分割方法试图解决这个问题,其中的关键是计算一个无干扰的近似图像。为此,我们建议在第一阶段使用一个新的非Lipschitz变分分解模型。最小化问题的解决迭代支持收缩算法,具有整体收敛的保证和下界理论的图像梯度的迭代序列。后者表明所生成的近似图像(不稳定性校正分量)具有非常整齐的边缘并且适合于随后的阈值化操作。在第二阶段中,通过将广泛使用的简单阈值技术应用于分段常数近似来进行分割。数值实验表明,良好的收敛性能和有效性,我们的方法在多相分割无论是干净的或有噪声的均匀和不均匀的图像。与一些最先进的方法的视觉和定量比较表明,我们的非Lipschitz为基础的方法的性能优势。
2020-09-14 math.OC
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中,$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术,从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性,所提出的估计保持了$\ell_1$估计的崩溃点,并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
A Subspace Acceleration Method for Minimization Involving a Group Sparsity-Inducing Regularizer
我们考虑最小化一个目标函数的问题,该目标函数是一个凸函数和一个群稀疏诱导正则化子的和。在现代机器学习应用中,集成这种正则化器的问题出现了,通常是为了获得更容易解释和具有更高预测准确性的模型。我们提出了一种新的方法来解决这样的问题,利用子空间加速,区域分解,支持识别。我们的分析表明,在常见的假设下,我们的框架产生的序列是全局收敛的,收敛到$ε$ -近似解,在最多$O(ε^{-(1+p)})$(分别为$O(ε^{-(2+p)})$)迭代所有$ε$有界以上和足够大(分别为所有$ε$有界以上),其中$p > 0$是一个算法参数,并表现出超线性局部收敛。基于正则化逻辑斯谛回归的二进制分类任务的初步数值结果表明,我们的方法是有效的和强大的,有能力超越国家的最先进的方法。
2020-07-29 math.OC
Robust Sparse Phase Retrieval: Statistical Guarantee, Optimality Theory and Convergent Algorithm
针对噪声和离群值破坏测量值导致相位恢复性能下降的问题,提出利用 Huber 函数和 $\ell_{1/2}$-范数正则化的鲁棒稀疏 PR 方法,建立了统计保证与最优性理论,并开发了具有线性收敛速率的 MM 框架优化算法。
2025-05-29 math.OC
On Coordinate Minimization of Convex Piecewise-Affine Functions
一种流行的算法来优化离散能量最小化问题的对偶LP松弛(a.k.a.图模型中的MAP推理或值约束满足)是收敛的消息传递算法,如最大和扩散,TRW-S,MPLP和SRMP。这些算法在实践中是成功的,尽管事实上,它们是一个版本的坐标最小化应用到凸分段仿射函数,这是不能保证收敛到一个全局最小。这些算法只收敛到一个局部极小,其特征在于从约束规划已知的局部一致性。我们推广的最大和扩散适用于任意凸分段仿射函数,它收敛到一个局部一致性条件的坐标最小化的版本。这个条件可以看作是全局最优性条件的符号松弛。
2017-09-14 cs.CV math.OC
Switching Point Optimization for Abstract Parabolic Equations
本文研究了由抽象函数空间中的半线性抛物方程 governed 的切换点优化问题,通过弱形式状态方程和最大抛物正则性概念,证明了切换点到控制映射的连续Fréchet可微性,并利用梯度方法进行最小化,但非凸性导致无法达到全局最优,因此提出了凸包的扩展表征以用于分支定界法。
2026-05-21 math.OC
Alternating Minimization Based First-Order Method for the Wireless Sensor Network Localization Problem
我们提出了一种算法的无线传感器网络定位问题,这是基于著名的算法框架交替最小化。我们从一个非光滑和非凸的最小化,并将其转化为一个等价的光滑和非凸的问题,这是我们研究的核心。这为全局收敛的新方法铺平了道路:不仅目标函数值的序列收敛,而且位置估计的序列也收敛到作为对应(原始)目标函数的临界点的唯一位置。所提出的算法有一系列的完全分布式的完全集中式的实现,都具有全局收敛的属性。该算法在几个网络配置进行了测试,它被证明在较短的时间内产生更准确的解决方案相对于现有的方法。
2020-10-14 cs.NI math.OC
Linearly convergent stochastic heavy ball method for minimizing generalization error
University of Edinburgh, United Kingdom(爱丁堡大学,英国);KAUST, Kingdom of Saudi Arabia(王国沙特阿拉伯的KAUST)
本文首次证明了随机重力球方法的线性收敛性,通过固定步长的SGD步骤结合重力球动量项,专注于最小化期望损失而非有限和最小化。
2017-12-23 cs.LG cs.NA math.NA
A Linearly Convergent Algorithm for Rotationally Invariant $\ell_1$-Norm Principal Component Analysis
为了对含有异常值的数据集进行降维,$\ell_1$范数主成分分析(L1-PCA)作为传统PCA的一种典型的鲁棒性替代方法,近年来得到了广泛的应用。在这项工作中,我们考虑了旋转不变的L1-PCA,这是在文献中几乎没有研究。为了解决这个问题,我们提出了一个近似的交替线性化最小化方法与非线性外推求解其两块重组。此外,我们表明,所提出的方法至少线性收敛到一个限制的临界点的重新制定的问题。在给定步长的条件下,证明了该点是原问题的一个临界点。最后,我们在合成数据集和真实数据集上进行数值实验,以支持我们的理论发展并证明我们方法的有效性。
2022-10-26 eess.SP math.OC
Optimal solution of investment problems via linear parabolic equations generated by Kalman filter
本文研究了具有不可观测随机漂移的扩散市场模型的最优投资问题。可接受的策略不使用市场参数的直接观察,而是使用历史股票价格。对于一个具有一般性能指标的非线性问题,最优投资组合策略通过求解一个标量最小化问题和一个线性抛物方程来表示,该方程的系数由卡尔曼滤波器产生.
2008-04-29 math.OC math.PR q-fin.PM
Block BFGS Methods
我们介绍了一种块更新的拟牛顿法,称为块BFGS。我们表明,这种方法,进行不精确的Armijo-Wolfe线搜索,全局收敛和超线性BFGS相同的凸性假设下。我们还表明,块BFGS是全局收敛到一个稳定点时,适用于非凸函数有界Hessian,并讨论了其他修改的非凸极小化。数值实验比较块BFGS,BFGS和梯度下降。
2017-11-30 math.OC
Stochastic PDEs via convex minimization
我们证明了加权能量耗散变分原理[50]对抽象形式的非线性抛物型随机偏微分方程的适用性。WED原理在于在整个轨迹上最小化依赖于参数的凸泛函。其唯一的最小值对应于随机微分问题的时间椭圆正则化。当正则化参数趋于零时,极限问题的解被恢复。这特别为非线性随机偏微分方程的逼近提供了一种直接的凸优化方法。
2020-05-12 math.AP math.OC math.PR
A globally convergent difference-of-convex algorithmic framework and application to log-determinant optimization problems
针对凸差分算法(DCA)理论与框架不足,本文提出扩展Polyak–Łojasiewicz条件下的线性全局收敛理论,并构建高效DCProx邻近计算框架,成功应用于网络信息论中的对数行列式优化问题。
2023-06-03 math.OC
PhaseLiftOff: an Accurate and Stable Phase Retrieval Method Based on Difference of Trace and Frobenius Norms
相位恢复旨在从信号的幅度测量值$|<x, a_i > |^2$、$i=1,2,...,m$恢复信号$x \in \mathbb{C}^{n}$,其中$a_i$是过完备基向量,$m$至少为$3n -2$以确保直到恒定相位因子的唯一解。二次测量就秩一矩阵$X = x x^*$而言变为线性。相位恢复是一个受线性约束约束的秩一最小化问题,最近已经广泛研究了基于迹范数最小化的凸松弛(PhaseLift)。在$m=O(n)$,PhaseLift以高概率恢复秩1解。在本文中,我们提出了一个精确的代理的秩一条件,通过不同的跟踪和Frobenius范数,我们称之为PhaseLiftOff。与此相关的最小二乘最小化惩罚作为正则化是等价的秩一最小二乘问题在一个温和的条件下的测量噪声。稳定的恢复误差估计值在$m=O(n)$中以高概率有效。采用一种收敛的凸函数差分算法进行相位提升最小化的计算。在我们的数值例子中,$a_i$是高斯分布的。数值结果表明,PhaseLiftOff优于PhaseLift及其非凸变体(对数行列式正则化),并成功地恢复信号接近理论下限的测量数量没有噪声。
2014-10-07 math.OC
Proximal alternating minimization and projection methods for nonconvex problems. An approach based on the Kurdyka-Lojasiewicz inequality
研究了一类非凸结构函数$L(x,y)=f(x)+Q(x,y)+g(y)$的交替逼近极小化算法的收敛性,其中$f:\R^n\rightarrow\R\cup{+\infty}$和$g:\R^m\rightarrow\R\cup{+\infty}$是真下连续函数,$Q:\R^n\times\R^m\rightarrow \R$是耦合变量$x$和$y$的光滑$C^1$函数.该算法可以被看作是一个常用的高斯-赛德尔方法,以最小化$L$的近似正则化。我们工作在一个非凸的设置,只是假设函数PDMATHAMT满足Kurdyka-Eschojasiewicz不等式。一个完整的部分说明了这样一个假设的相关性,给出了从半代数几何到“度量规则”问题的例子。我们的主要结果可以表述如下:如果L具有Kurdyka-Schojasiewicz性质,则由算法生成的每个有界序列都收敛到$L$的一个临界点。这一结果是完成的算法,这取决于其临界点周围的函数PDMATHAMT的几何性质的收敛速度的研究。当专用于$Q(x,y)=|x-y|^2$和$f$,$g$指示函数时,该算法是交替投影方法(Von Neumann的变体),其收敛于广泛的集合类,包括半代数和驯服集合,横向光滑流形或具有“规则”相交的集合。为了说明我们的结果与具体的问题,我们提供了一个收敛的近端重新加权$\ell^1$算法的压缩感知和应用程序的秩减少问题。
2013-01-22 math.OC
Generalized Self-Concordant Analysis of Frank-Wolfe algorithms
通过Frank-Wolfe(FW)方法的不同变体进行无投影优化已成为机器学习和计算统计大规模优化的基石之一。这些领域中的许多应用涉及具有自洽性质的函数的最小化。这样的广义自协调(GSC)函数不一定具有Lipschitz连续梯度,也不是强凸的。事实上,在许多应用中,例如逆协方差估计或支持向量机中的距离加权判别问题,损失由具有无界曲率的GSC函数给出,这意味着现有FW方法缺乏理论保证。本文关闭这一明显的差距,在文献中开发可证明收敛的FW算法与标准的O(1/k)收敛速度保证。如果问题的公式允许有效地构造一个局部线性最小化预言,我们开发了一个具有线性收敛速率的FW方法。
2021-07-30 math.OC
Composite Optimization by Nonconvex Majorization-Minimization
University of Siegen(明斯特大学)
本文提出非凸majorization-minimization方法用于非凸复合函数优化,证明其能实现全局收敛,并通过实验展示其在深度超分辨率中的优越性。
2018-09-03 cs.CV cs.NA math.NA
Linear Convergence of Proximal Gradient Algorithm with Extrapolation for a Class of Nonconvex Nonsmooth Minimization Problems
本文研究了求一个Lipschitz可微函数与一个适当的闭凸函数之和的最小化问题的外推近似梯度算法。在[19]中用于分析邻近梯度算法收敛性的误差界条件下,我们证明存在一个阈值,使得如果选择的外推系数低于该阈值,则生成的序列$R$线性收敛到问题的稳定点。此外,相应的目标值序列也是$R$ -线性收敛的。此外,阈值降低到$1$凸问题,因此,我们得到的$R$ -线性收敛的序列所产生的FISTA与固定的重新启动。最后,我们提出了一些数值实验来说明我们的结果。
2016-08-01 math.OC stat.ML
Optimal control of multiphase free boundary problems for nonlinear parabolic equations
本文研究奇异非线性偏微分方程的最优控制,该方程是一般二阶抛物型方程的多相Stefan型自由边界问题的分布形式.边界热通量是控制参数,最优性准则由PDE问题的解的迹在给定测量的最后时刻的$L_2$ -范数降阶的最小化组成。通过有限差分法引入有限维最优控制问题序列。我们建立了最优控制的存在性,并证明了离散最优控制问题序列关于泛函和控制收敛于原问题。证明依赖于建立一个统一的$L_{\infty}$界,和$W_2^{1,1}$ -能量估计的离散非线性偏微分方程问题的不连续系数。
2019-07-29 math.AP math.OC
Augmented L1 and Nuclear-Norm Models with a Globally Linearly Convergent Algorithm
本文研究了在稀疏优化的背景下添加一个光滑函数来“光滑”不可微目标函数的长期存在的思想,特别是$||x||_1+1/(2α)||x||_2^2$的最小化,其中$x$是一个向量,以及$||X||_*+1/(2α)||X||_F^2$的最小化,其中$X$是一个矩阵,$||X||_*$和$||X||_F$分别是$X$的核和Frobenius范数。我们表明,他们可以有效地恢复稀疏向量和低秩矩阵。特别是,他们享有准确和稳定的恢复保证类似于那些已知的最小化$||x||_1$和$||X||_*$的条件下的传感运营商,如其零空间属性,限制等距属性,球面截面属性,或RIP属性。为了恢复(几乎)稀疏向量$x^0$,最小化$||x||_1+1/(2α)||x||_2^2$几乎每当$α\ge 10||x^0||_\infty$时返回与最小化$||x||_1$(几乎)相同的解。在最小化$||X||_*+1/(2α)||X||_F^2$和最小化$||X||_*$以恢复(接近)低秩矩阵$X^0$(如果$α\ge 10||X^0||_2$)之间也保持相同的关系。此外,我们证明了线性化Bregman算法的最小化$||x||_1+1/(2α)||x||_2^2$受$Ax=b$享有全局线性收敛,只要一个非零解存在,我们给出了一个明确的收敛速度。收敛属性不需要解或$A$上的任何属性。据我们所知,这是一阶稀疏优化算法最著名的…
2013-03-14 cs.IT math.IT math.OC
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件,我们可以证明即使对于非凸极小化问题,PIAG方法仍然具有良好的线性收敛性质.为了说明这一点,我们首先证明了生成的序列全局收敛到平稳点集。然后,存在一个阈值,使得当步长小于该阈值时,目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
Optimal control of parabolic equations -- a spectral calculus based approach
本文考虑一类带约束的抛物型最优控制问题。成本函数是二次的,它将系统的轨迹与期望的演化曲线的距离与控制成本结合在一起。约束条件由一个项给出,该项测量最终状态与解决方案应该转向的期望状态之间的距离。控件通过初始条件进入系统。我们提出了这个问题的几何分析,并提供了一个封闭形式的解决方案。这种方法使我们能够提出的灵敏度分析的基础上解决的估计系统的发电机的这个问题。通过探索有效的有理Krylov逼近技术,使我们能够近似一个复杂的函数的一系列线性问题的运营商的数值实现。我们的方法不依赖于离散化的实际选择。主要的逼近任务是构造广义指数函数的有效有理逼近。众所周知,这类函数允许指数收敛的有理逼近,这与封闭形式的解决方案的灵敏度分析相结合,使我们能够提出一个强大的数值方法。几个案例研究来说明我们的结果。
2021-09-28 math.FA math.OC
On anisotropic non-Lipschitz restoration model: lower bound theory and convergent algorithm
对于非凸和非光滑的恢复模型,下界理论揭示了它们良好的边缘恢复能力,相关分析有助于设计收敛算法。现有的此类讨论主要集中在各向同性正则化模型上,或者仅是具有二次保真度的各向异性模型的下界理论。在本文中,我们考虑了一个一般的图像恢复模型与非Lipschitz各向异性复合正则化项和$\ell_q$范数($1\leq q<+\infty$)数据保真度项。建立了具有$\ell_1$保真度的各向异性模型的下界理论,该理论适用于脉冲噪声去除问题。对于$1\leq q<+\infty$的一般情况,提供了支持纳入分析。为了求解这种非Lipschitz复合极小化模型,我们在迭代算法中引入了支持度收缩策略,将支持度约束放宽为阈值支持度约束,这在计算上更加实用.每次迭代的目标函数也被线性化以构造强凸子问题。为了使算法更易于实现,我们在每次迭代中计算出该子问题的近似解,但不是精确解,证明了所提出的非精确迭代阈值和支持收缩算法在近似线性化下的整体收敛结果.图像复原和两阶段图像分割实验证明了该算法的有效性。
2021-05-22 cs.NA math.NA math.OC
The uniform controllability property of semidiscrete approximations for the parabolic distributed parameter systems in Banach spaces
Université d’Orléans(奥尔良大学)
研究Banach空间中抛物型系统半离散逼近的一致可控性,证明在控制算子无界度大于1/2时L^q范数(q>2)下仍保持一致可控性,并给出逼近控制的最小化方法及一维热方程Dirichlet边界控制的应用实例。
2011-06-24 cs.SY eess.SY math.OC
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持,发现许多领域,如统计,机器学习和图像处理。当重心的支撑点是预先指定的,这个问题可以建模为一个线性规划(LP)的问题,其大小可以是非常大的。为了处理这个大规模的LP,我们分析了其对偶问题的结构,这是可以想象的更容易处理,可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后,我们适应基于对称高斯-赛德尔的交替方向法的乘法器(sGS-ADMM)来解决由此产生的对偶问题,并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分,我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心,而不引入熵正则化项,因为通常是实践。此外,我们的sGS-ADMM可以用作交替最小化方法中的子程序,以计算重心时,它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明,与现有的两种代表性方法和商业软件Guesthouse相比,该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
A relaxed proximal gradient descent algorithm for convergent plug-and-play with proximal denoiser
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);CEREMADE(数学与决策研究中心);Université Paris-Dauphine, PSL(巴黎多芬大学(PSL大学))
本文提出一种收敛的松弛 PnP-αPGD 算法,通过在近端梯度下降中插入松弛近端去噪器,放宽了对去噪器和逆问题参数的假设,在更广的正则化参数范围内实现收敛,从而获得更准确的图像恢复效果。
2023-04-05 cs.CV cs.LG eess.IV
Linearly convergent nonlinear conjugate gradient methods for a parameter identification problems
Khalifa University of Sciences and Technology(Khalifa大学);New York University in Abu Dhabi(纽约大学阿布扎比分校)
本文提出了一种用于非线性微分方程系统参数估计反问题的通用描述,采用最优控制工具和状态约束进行求解,通过非线性共轭梯度方法实现线性收敛性分析。
2018-06-26 cs.NA math-ph math.MP
An efficient active-set method with applications to sparse approximations and risk minimization
本文提出一种结合乘子近端方法与半光滑牛顿法的高效有效集方法,用于求解含分段线性项的凸二次规划,并通过新型最优预条件子加速求解,在稀疏逼近和风险最小化等中大规模问题上展现出高效性与可扩展性。
2024-05-07 cs.MS math.OC
Mathematical Analysis and Numerical Approximations of Density Functional Theory Models for Metallic Systems
本文研究了金属体系的系综Kohn-Sham密度泛函理论的能量极小化模型,其中包含一个赝本征值矩阵和一个一般的涂抹方法.研究了能量泛函的不变性和极小元的存在性。提出了求解能量极小化模型的自适应双步长策略和相应的预条件共轭梯度法。在一些温和但合理的假设下,我们证明了我们的算法的整体收敛。数值实验表明,我们的算法是有效的,特别是对大规模的金属系统。特别是,我们的算法产生收敛的数值逼近的一些金属系统,传统的自洽场迭代无法收敛。
2022-01-18 cs.NA math-ph math.MP
Convergent Complex Quasi-Newton Proximal Methods for Gradient-Driven Denoisers in Compressed Sensing MRI Reconstruction
Department of ECE, INMC & IPAI, SNU(首尔大学电子电气计算机工程系、国家智能材料研究中心及人工智能研究所);EECS Department, University of Michigan(密歇根大学电气与计算机工程系)
本文提出一种复拟牛顿近端方法,用于压缩感知MRI重建中的梯度驱动去噪器,通过修正Hessian估计保证Hermitian正定性,实现非凸设置下的快速收敛,并在多种采样轨迹上验证了有效性。
2025-10-18 cs.NA eess.IV math.NA
Global minimization of polynomial integral functionals
提出“先离散后松弛”的有限元与稀疏 moment-sum-of-squares 半定规划层级,用于非凸多项式积分泛函的全局最小化,并证明近似最小化子的收敛性。
2024-02-27 cs.NA math.NA math.OC
WARPd: A linearly convergent first-order method for inverse problems with approximate sharpness conditions
École Normale Supérieure(巴黎高等师范学院)
从欠采样和噪声测量中重建信号是一个相当感兴趣的话题。Sharpness条件直接控制一阶方法的重启方案的恢复性能,而不需要强凸性等限制性假设。然而,它们在存在噪声或近似模型类(例如,近似稀疏性)。我们提供了一个一阶的方法:加权,加速和重新启动的原始-对偶(WARPd),基于原始-对偶迭代和一个新的restart-reweight计划。在一般的近似清晰度条件下,WARPd实现稳定的线性收敛到期望的矢量。许多令人感兴趣的问题都适合这个框架。例如,我们分析了压缩感知中的稀疏恢复、低秩矩阵恢复、矩阵完备、TV正则化、约束下的$\|Bx\|_{l^1}$最小化(一般$B$的$l^1$分析问题)以及混合正则化问题。我们展示了几个数量控制恢复性能也提供了明确的近似锐度常数。数值实验表明,WARPd与专业的最先进的方法相比,是非常适合解决大规模问题。我们还提出了一种基于平方根LASSO解码器的噪声盲变体。最后,我们将展示如何将WARPd展开为神经网络。这个逼近论的结果为逆问题的稳定和精确的神经网络提供了下界,并揭示了体系结构的选择。代码和示例库作为MATLAB软件包在线提供。
2021-10-24 cs.CV cs.IR cs.NA
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen(图宾根大学);Normandie Univ(诺曼底大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心);GREYC(卡昂格雷克计算机、图像与智能系统实验室)
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而,在实际应用中出现的许多函数,例如低秩矩阵分解或深度神经网络问题,并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展,该属性基于称为Bregman距离的广义邻近度量。但是,$L$ -smad属性不能处理非光滑函数,例如,像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题,该属性推广了$L$ -smad属性,并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性,我们提出了一个全局收敛的算法称为模型BPG,它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题,强大的相位恢复问题,和泊松线性逆问题,相比,一个国家的最先进的最优化方法,是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
Gradient Method in Hilbert-Besov Spaces for the Optimal Control of Parabolic Free Boundary Problems
Florida Institute of Technology(佛罗里达理工学院)
本文研究了逆Stefan型自由边界问题,通过梯度法在Hilbert-贝索夫空间中求解缺失的边界热流及温度和自由边界。通过预条件和正则化技术,分析了不同复杂度的模型案例。
2018-01-09 cs.NA math.AP math.NA