Inexact Bregman Sparse Newton Method for Efficient Optimal Transport
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳数据科学学院)
本文提出近似Bregman稀疏牛顿方法,通过半对偶子问题序列框架高效求解精确最优传输问题,结合稀疏牛顿求解器和Hessian稀疏化策略,提升计算效率与精度。
2026-11-03 math.OC
An Efficient Semismooth Newton Method for Adaptive Sparse Signal Recovery Problems
我们知道,压缩感知可以建立稳定的稀疏恢复结果,从高度欠采样的数据下,一个有限的等距属性条件。然而,在现实中,许多问题是相互关联的,绝大多数传统方法可能效果不佳。最近,研究表明,使用$\ell_1$ -和$\ell_2$ -范数之间的差异作为正则化总是具有优越的性能。在本文中,我们提出了一个自适应的$\ell_p$ - $\ell_{1-2}$模型,其中$\ell_p$ -范数与$p\geq 1$测量数据的保真度和$\ell_{1-2}$ -长期措施的稀疏性。该模型具有处理不同类型噪声的能力,即使在高相干条件下也能提取稀疏特性。我们使用一个近似的优化最小化技术来处理非凸正则项,然后采用半光滑牛顿方法来解决相应的凸松弛子问题。证明了在一定的技术假设下,半光滑牛顿法产生的子问题序列具有快速的局部收敛速度。最后通过数值实验验证了模型的优越性和算法的先进性。
2021-11-24 math.OC
Gradient Projection Newton Algorithm for Sparse Collaborative Learning Using Synthetic and Real Datasets of Applications
探索来自同一组的多组数据之间的关系使从业者能够在医学科学和工程中做出更好的决策。在本文中,我们提出了一个稀疏协作学习(SCL)模型,一个优化与双稀疏约束,处理问题的两组数据和一个共享的响应变量。它能够处理依赖于响应变量的离散性的分类问题或回归问题,以及同时探索两个数据集之间的关系。为了求解SCL,我们首先给出了一些最优性的充分必要条件,然后设计了一个梯度投影牛顿算法,该算法已被证明以至少平方收敛速率全局收敛到唯一的局部最优解.最后,数值实验验证了该方法的有效性.
2022-11-13 math.OC
From Manifold Identification to Newton Acceleration on Intersections: Sparse Stiefel Optimization
University of Science and Technology of China(中国科学技术大学);Xiamen University(厦门大学)
研究Stiefel流形上稀疏复合优化的牛顿加速问题,针对活动流形与Stiefel流形相交的几何困难,提出非对角扰动Stiefel族及MIX方法,证明相关保证,数值实验表明该方法在保持解质量时显著提升效率。
2026-08-14 math.OC
A Newton-type Method for Non-smooth Under-determined Systems of Equations
本文提出一种基于一致牛顿可微性的牛顿型方法,用于求解非光滑欠定方程组,证明迭代收敛具有超线性速率,并通过数值示例展示其在工程中的潜力。
2025-04-24 math.OC
A Semismooth Newton Augmented Lagrangian Method for Sparse Spectral Risk Optimization
School of Data Science, Fudan University(复旦大学数据学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
针对谱风险度量优化问题的挑战,提出用半光滑牛顿子问题求解器的相对不精确近端增广拉格朗日方法,利用对偶和莫罗包络性质简化计算,数值结果显示该方法运行时间低,能产生可比平稳性残差和稀疏解。
2026-07-08 math.OC
Newton-type Methods with the Proximal Gradient Step for Sparse Estimation
本文提出新的牛顿型方法(含拟牛顿法)高效求解稀疏估计中的凸优化问题,证明快速收敛与局部收敛,适用于L1和组正则化,并通过数值实验验证效率。
2023-09-05 math.OC stat.CO
SGN: Sparse Gauss-Newton for Accelerated Sensitivity Analysis
我们提出了一个稀疏高斯-牛顿求解器加速灵敏度分析与应用范围广泛的平衡约束最优化问题。稠密高斯-牛顿解算器在逆问题上表现出了很好的收敛速度,但到目前为止,组装和分解相关矩阵的成本一直是一个主要的绊脚石。在这项工作中,我们展示了如何密集的高斯-牛顿海森可以转化为一个等价的稀疏矩阵,可以更有效地组装和分解。这导致了许多反问题的计算时间大大减少,我们证明了一组不同的例子。此外,我们显示之间的联系灵敏度分析和非线性规划方法的基础上拉格朗日乘子和证明等价的特定假设下,适用于我们的问题设置。
2021-07-09 cs.NA math.NA math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院)
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法,具有低计算复杂度和局部二次收敛性,数值实验验证了其准确性与效率。
2025-10-08 math.OC
Stochastic state estimation via incremental iterative sparse polynomial chaos based Bayesian-Gauss-Newton-Markov-Kalman filter
本文提出了一种新的增量迭代Gauss-Newton-Markov-Kalman滤波方法,用于噪声测量下动态模型的状态估计。建议的过滤器的数学公式是基于一个最佳的非线性映射之间的可观察和参数(状态)空间的建设通过一个收敛序列的线性映射获得连续线性化的观测算子在高斯-牛顿的形式。为了允许稀疏形式的动力系统的自动线性化,平滑器被设计成分层设置,使得在给定预测数据集的情况下,以贝叶斯方式估计正向映射及其线性化对应物。为了提高算法的收敛性,平滑器被进一步重新制定在其增量形式,其中的当前和中间状态被同化之前的初始状态,并采取相应的后验估计作为伪测量。由于后者是随机变量,不再是确定的,新的随机迭代滤波器的设计考虑到这一点。为了校正后验结果中的偏差,该过程以预测-校正形式构建,其中预测相位用于同化噪声测量数据,而校正相位用于校正平均偏差。由此产生的过滤器进一步离散化通过时间适应稀疏多项式混沌扩展获得通过修改的Gram-Schmidt正交化或通过精心选择的非线性映射,这两者都是估计在贝叶斯的方式,通过促进稀疏的结果。通过适当选择的等概率变换,非高斯参数的时间自适应基进一步映射到多项式混沌基。最后,在一个混沌非线性Lorenz 1984系统上对所提出的方法进行了验证.
2019-09-12 math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法,并且具有很强的计算和统计保证。具体地,通过利用稀疏建模结构/假设的复杂表征(即,局部约束强凸性和Hessian光滑性),证明了在凸松弛的每一阶段,算法均达到(局部)二次收敛,并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
Newton Method for Fixed-Support Doubly Entropic Wasserstein Barycenter
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sun Yat-sen University(中山大学)
针对固定支撑双熵正则化Wasserstein重心问题,提出精确牛顿法及稀疏变体,推导梯度与海森显式式,建立理论结果,实验显示稀疏牛顿法收敛更快。
2026-08-03 math.OC
Sparse SVM with Hard-Margin Loss: a Newton-Augmented Lagrangian Method in Reduced Dimensions
本文研究带硬间隔损失的稀疏SVM(SSVM-HM)求解问题,将其建模为基数约束复合优化,提出具有全局线性收敛率的非精确近端增广拉格朗日方法(iPAL),并结合子空间梯度-牛顿法高效求解,实验证明其速度快、精度高且能有效减少活动样本与特征。
2023-07-30 math.OC
A Sparse Smoothing Newton Method for Solving Discrete Optimal Transport Problems
本研究提出一种基于Huber光滑函数的平方光滑牛顿法求解离散最优传输问题,兼具收敛性好、计算成本低、内存占用少的优势,可扩展至沃瑟斯坦重心等同类问题,在大规模场景中应用潜力显著。
2024-05-16 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题,提出子空间牛顿法,通过 $\tau$-稳定点划分支撑集,结合牛顿法与近端梯度法更新变量,证明了全局收敛和局部二次收敛,实验验证了效率。
2025-05-23 math.OC
An efficient Hessian based algorithm for solving large-scale sparse group Lasso problems
稀疏组Lasso是一种广泛使用的统计模型,它鼓励组上和组内的稀疏性。本文对大规模非重叠稀疏群Lasso问题提出了一种有效的增广Lagrange方法,每个子问题用超线性收敛的非精确半光滑Newton方法求解.理论上,我们证明了,如果惩罚参数选择足够大,增广拉格朗日方法收敛在一个任意快的线性速度的原始迭代序列,对偶不可行性,和对偶差距的原始和对偶目标函数。在计算上,我们显式地推导出与稀疏群Lasso正则化子相关的邻近映射的广义雅可比矩阵,并通过半光滑牛顿方法充分利用潜在的二阶稀疏性。我们所提出的算法的效率和鲁棒性的数值实验上的合成和真实的数据集证明。
2017-12-16 math.OC
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Mathematics and Statistics, Henan University(河南大学数学与统计学院);Center for Applied Mathematics of Henan Province, Henan University(河南大学河南省应用数学中心)
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法,用于非凸稀疏优化,证明全局收敛及局部线性/二次速率,实验显示优于现有方法。
2025-03-30 cs.LG math.OC
Composite Optimization with Indicator Functions: Stationary Duality and a Semismooth Newton Method
针对含正区间指示函数的强凸复合优化,本文构造等价 ℓ0 稀疏对偶问题,并提出兼具全局与局部超线性收敛的低复杂度对偶半光滑 Newton 方法。
2025-06-10 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化,旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性,最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难,有大量的工作在发展数值有效的方法。然而,他们中的大多数人只享受要么(子)序列收敛到一个固定的点从确定性优化的角度来看,或之间的距离,每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中,我们开发了一个牛顿型方法的$\ell_0$ -正则化优化,并证明了所产生的序列收敛到一个稳定点的标准假设下,全球和二次,从理论上解释,我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
New versions of Newton method: step-size choice, convergence domain and under-determined equations
牛顿法是求解非线性方程组并证明其存在性的最有力的方法之一。在它的“纯”形式下,它在解附近具有快速收敛性,但收敛域较小。阻尼牛顿法的收敛速度较慢,但对初始点的条件较弱。我们提供了新版本的Newton类算法,导致组合的Newton和阻尼Newton方法与特殊的步长选择,并估计其收敛域。在某些假设下,收敛是全局的。显式的复杂性结果也得到了解决。自适应版本的算法(没有先验常数的知识)。该方法适用于欠定方程(其中$m<n$、$m$是方程的数目,而$n$是变量的数目)。结果是指定系统的二次方程,复合映射和一维方程和不等式。
2019-08-26 cs.NA math.NA math.OC
PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
Department of Mathematics(数学系);University of Maryland(马里兰大学);University of Tennessee(田纳西大学);Department of Computer Science(计算机科学系)
PINS通过近端迭代结合稀疏牛顿和Sinkhorn算法,克服了最优传输中熵偏置 plateau 的限制,实现了更高的精度和效率。
2026-05-11 cs.LG math.OC
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method
八边形收缩和聚类回归算法(OSCAR),配备了$\ell_1$ -范数和成对$\ell_{\infty}$ -范数正则化器,是高维数据分析中特征选择和分组的有用工具。由于所涉及的正则化子的非光滑性和不可分离性,OSCAR对高维和/或大样本量数据提出的计算挑战尚未得到很好的解决。在本文中,我们成功地解决了这个数值挑战,提出了一个稀疏的半光滑牛顿为基础的增广拉格朗日方法来解决更一般的SLOPE(排序L-one惩罚估计)模型。通过适当利用增广拉格朗日子问题中半光滑牛顿系统的广义雅可比矩阵的稀疏性和低秩性,我们证明了如何大大降低计算复杂性.我们的算法在高维统计回归环境中具有显著的优势。在真实数据集上进行的数值实验表明,该算法在速度和鲁棒性方面都远远优于现有的基于一阶迭代格式的最新算法,包括广泛使用的加速邻近梯度法(APG)和乘子的交替方向法(ADMM).
2018-03-28 math.OC
A Preconditioner for a Primal-Dual Newton Conjugate Gradients Method for Compressed Sensing Problems
在本文中,我们关注的是压缩感知(CS)问题的解决方案,其中要恢复的信号在相干和冗余字典中是稀疏的。本文推广了求解CS问题的原-对偶Newton共轭梯度法(pdNCG)。我们提供了一个廉价的和可证明有效的预处理技术的线性系使用pdNCG。CS问题的数值结果表明性能的pdNCG与建议的预条件相比,国家的最先进的现有的解决方案。
2015-07-02 math.OC
A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines
Sichuan University(四川大学);Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
支持向量机(SVM)是一种成功的建模和预测工具,有着广泛的应用。以往的工作已经证明了支持向量机在处理高维、低样本量问题上的优越性。然而,随着样本量的增加,支持向量机的数值计算困难将变得更加严重。虽然支持向量机的求解器有很多,但只有少数是利用支持向量机的特殊结构来设计的。本文提出了一种高效的稀疏半光滑牛顿增广拉格朗日方法来求解一个带有线性等式约束和简单盒子约束的大规模凸二次规划问题。利用原-对偶误差界结果,保证了增广拉格朗日方法的快速局部收敛速度。此外,该算法利用半光滑牛顿法求解问题的二阶稀疏性,可以有效地解决上述困难问题。最后,数值比较表明,该算法优于当前国家的最先进的求解器的大规模支持向量机。
2021-02-03 cs.LG cs.NA math.NA
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法,其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”(IMRO)格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题,在许多应用中出现,包括稀疏恢复压缩感知,机器学习和统计。我们的数值实验表明,所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种,显示它匹配已知的最佳界限。
2017-01-19 math.OC
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出 Sinkhorn-Newton-Sparse(SNS),通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段,在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下,证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外,我们提出了一个全球化的半光滑牛顿方法,有效地解决流形上的增广拉格朗日子问题。在适当的条件下,证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后,压缩模式和(约束)稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
Efficient sparse semismooth Newton methods for the clustered lasso problem
我们专注于解决集群套索问题,这是一个最小二乘问题的$\ell_1$型惩罚施加在两个系数和他们的成对差异学习组结构的回归参数。在这里,我们首先将聚类套索正则化器重新表示为加权有序套索正则化器,这对于将计算成本从$O(n^2)$降低到$O(n\log (n))$至关重要。然后,我们提出了一个不精确的半光滑牛顿增广拉格朗日({ \sc Ssnal})算法来解决集群套索问题或其对偶通过这个等价的制定,这取决于是否样本量是大于尺寸的功能。{ \sc Ssnal}算法的一个重要组成部分是计算聚类套索正则化子的邻近映射的广义雅可比矩阵。基于新的配方,我们推导出一个有效的程序,其计算。给出了{ \sc Ssnal}算法的整体收敛和局部线性收敛性的综合结果。为了说明和比较的目的,我们还总结/设计了几个一阶方法,可以用来解决正在考虑的问题,但与新的制定的集群套索正则化的关键改进。作为我们的算法的适用性的演示,数值实验上的集群套索问题进行。实验表明,对于聚类套索问题,{ \sc Ssnal}算法的性能明显优于最佳替代算法。
2019-05-01 math.OC stat.ML
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
Beijing Institute of Technology(北京理工大学)
本文提出改进的块牛顿算法,用于解决ℓ0正则化稀疏优化问题,通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Efficient Projection onto the $\ell_{\infty,1}$ Mixed-Norm Ball using a Newton root search method
促进结构稀疏性的混合范数在信号处理和机器学习问题中有许多应用。在这项工作中,我们提出了一种新的算法,牛顿根搜索技术的基础上,用于计算投影到$\ell_{\infty,1}$球,这已发现应用在认知神经科学和分类任务。数值模拟表明,我们所提出的方法是平均快8至10倍,高达20倍的速度非常稀疏的解决方案,比以前的最先进的状态。真正的功能磁共振图像数据的测试表明,对于某些数据分布,我们的算法可以获得速度提高了10至100之间的一个因素,这取决于实施。
2019-05-23 math.OC
An efficient null space inexact Newton method for hydraulic simulation of water distribution networks
Imperial College London(帝国理工学院)
本文提出一种高效的近似牛顿方法,通过部分更新管道摩擦水头损失计算来更高效可靠地求解线性系统,利用空空间基生成方案获得稀疏且良态的空空间基,减少更新集大小。
2016-02-08 cs.SY eess.SY math.OC
An Augmented Lagrangian Method-Based Framework in the Adjoint Space for Sparse Reconstruction of Acoustic Sources
School of Mathematics, Renmin University of China(中国人民大学数学学院)
提出一种半光滑牛顿增广拉格朗日框架,在测量(伴随)空间进行更新,通过Fenchel-Rockafellar对偶恢复声源,显著加速计算并降低成本。
2026-06-18 cs.NA math.NA math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行,我们使用较低级别的价值函数重新制定的双层计划,并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下,我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法,以解决该方法的缺点,然后提出,导致替代品,如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子,从最近发布的双层优化库(BOLIB)比较我们的方法在不同的情况下的性能,并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida(佛罗里达大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文研究了非凸集上的凹最小化问题,提出并分析了梯度投影算法和近似牛顿算法,展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology(以色列理工学院)
本文提出弱近端牛顿 oracle 方法,通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Accelerated Proximal Dogleg Majorization for Sparse Regularized Quadratic Optimization Problem
针对二次函数与非凸非光滑正则项之和的最小化问题,提出带外推的 PDOME 算法,通过外推混合牛顿方向和增强线搜索实现全局收敛与更快速度。
2025-08-30 math.OC
Faster Optimization on Sparse Graphs via Neural Reparametrization
IBM Research(IBM研究院);Northeastern University(东北大学);UCSD(加州大学圣迭戈分校)
在数学优化中,二阶牛顿法通常比一阶牛顿法收敛得更快,但它们需要海森的逆,因此计算量很大。然而,我们发现在稀疏图上,图神经网络(GNN)可以实现一种有效的拟牛顿方法,可以将优化速度提高10- 100倍。我们的方法,神经重新参数化,修改优化参数作为GNN的输出,以重塑优化景观。使用预先计算的Hessian作为传播规则,GNN可以有效地利用二阶信息,达到与自适应梯度方法相似的效果。由于我们的方法通过架构设计来解决优化问题,因此可以与Adam和RMSProp等任何优化器结合使用。我们展示了我们的方法在科学相关问题上的应用,包括热扩散,同步和持久同源性。
2022-05-26 cs.LG math.OC physics.comp-ph
Linear under-determined systems with sparse solutions: Redirecting a challenge?
种子工程\cite{CRT,DonohoUnsigned,DonohoPol}产生了巨大的兴趣,研究线性欠定系统的稀疏解决方案。在本文中,我们给出了一个简短的数学概述,在过去10年中取得了什么成就,在一个特定的方向,这样的研究。然后,我们讨论了我们认为过去十年的主要挑战,并就未来的主要挑战提出了我们自己的看法。通过介绍,我们到达了一个点,下面的自然修辞问题出现:现在是时候重新定向的主要挑战?虽然我们无法回答这个问题,但我们希望我们的简短讨论将促进这方面的进一步考虑。
2015-07-16 cs.IT math.IT math.OC
Efficient Graph Laplacian Estimation by Proximal Newton
Ben-Gurion University(本-古里安大学)
针对拉普拉斯约束高斯马尔可夫随机场的图学习问题,采用非凸MCP惩罚替代ℓ₁范数以降低偏差,提出基于共轭梯度、预处理等技术的二阶近端牛顿求解器,在计算效率和学习准确率上均优于现有方法。
2024-04-12 cs.LG math.OC
A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions
我们提出了一个算法框架的凸最小化问题的复合函数与两项:一个自协调函数和一个可能的非光滑正则项。我们的方法是一个新的近似牛顿算法,具有局部二次收敛速度。作为我们框架的一个具体实例,我们考虑了图学习问题中的稀疏逆协方差阵估计。通过仔细的对偶公式和一个新的分析步长选择过程,我们的方法图学习避免了Cholesky分解和矩阵求逆在其迭代,使其有吸引力的并行和分布式实现。
2013-03-19 math.OC stat.ML
Sparse preconditioning for model predictive control
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出一种O(N)快速预处理方法,用于求解模型预测控制中出现的非线性系统。该方法基于连续/GMRES方法,利用GMRES迭代算法求解最优性方程的前向差分近似。
2016-03-11 cs.SY eess.SY math.OC
Random linear under-determined systems with block-sparse solutions -- asymptotics, large deviations, and finite dimensions
本文考虑具有块稀疏解的随机线性欠定系统。此类系统的标准子变体,即完全相同类型的系统,没有额外的块结构要求,在过去十年中得到了广泛的普及。这当然首先是由于成功的数学表征的$\ell_1$优化技术,通常用于解决这样的系统,最初实现了在\cite{CRT,DOnoho06CS}和后来完善的\cite{DonohoPol,DonohoUnsigned,StojnicCSetam09,StojnicUpper10}。我们在\cite{StojnicCSetam09,StojnicUpper10}中取得的成功表征了标准稀疏解决方案系统,然后我们能够在一系列论文中复制\cite{StojnicCSetamBlock09,StojnicUpperBlock10,StojnicICASSP09block,StojnicJSTSP09},而不是标准的$\ell_1$优化,我们利用其$\ell_2/\ell_1$变体作为更好地适合块稀疏解决方案的系统。所有这些结果最终解决了所谓的阈值/相变现象(自然假设渐近/大尺寸场景)。在这里,除了一些新的渐近考虑,我们还试图提高一点水平,远离渐近,并考虑有限维的情况。
2016-12-20 cs.IT math.IT math.OC
A quasi-Newton proximal splitting method
LJLL, CNRS-UPMC(巴黎第六大学数学研究所);GREYC, CNRS-ENSICAEN-Université de Caen(卡昂大学)
本文推导了凸分析中关于特定缩放范数下邻近算子计算的新结果,并利用对偶问题的分段线性特性实现了高效邻近计算,进而提出一种优雅的拟牛顿加速方法,在信号处理、稀疏恢复和机器学习等领域优于现有技术。
2012-06-20 cs.NA math.NA math.OC
Unstructured Space-Time Finite Element Methods for Optimal Sparse Control of Parabolic Equations
研究了半线性抛物型方程的最优稀疏控制问题的时空有限元法。该目标是一个标准的二次跟踪型功能,包括一个Tikhonov正则化项和$L^1$规范的控制,占其时空稀疏的组合。我们使用时空Petrov-Galerkin有限元离散相关的离散最优稀疏控制问题的一阶必要的最优性系统。离散化的基础上,采用分段线性有限元同时在空间和时间的变分制剂。最后,用半光滑牛顿法求解由前向-后向状态方程和伴随状态方程组成的离散非线性最优系统。
2020-03-31 cs.NA math.NA math.OC
Scalable sparse covariance estimation via self-concordance
我们考虑一类凸极小化问题,由一个自协调函数,如$\log\det$度量,凸数据保真度项$h(\cdot)$和正则化-可能是非光滑-功能$g(\cdot)$。这类问题最近引起了极大的兴趣,主要是由于它们在一流的应用程序中无处不在。在这个\emph{locally} Lipschitz连续梯度设置下,我们分析了近似牛顿格式的收敛行为,并增加了可能存在的不精确估计的扭曲。我们证明有吸引力的收敛速度保证和增强国家的最先进的优化方案,以适应这种发展。稀疏协方差估计的实验结果表明,我们的算法的优点,无论是在恢复效率和复杂度。
2014-05-13 cs.IT math.IT math.OC