A quasi-Newton proximal splitting method
LJLL, CNRS-UPMC(巴黎第六大学数学研究所);GREYC, CNRS-ENSICAEN-Université de Caen(卡昂大学)
本文推导了凸分析中关于特定缩放范数下邻近算子计算的新结果,并利用对偶问题的分段线性特性实现了高效邻近计算,进而提出一种优雅的拟牛顿加速方法,在信号处理、稀疏恢复和机器学习等领域优于现有技术。
2012-06-20 cs.NA math.NA math.OC
Proximal Iteratively Reweighted Algorithm with Multiple Splitting for Nonconvex Sparsity Optimization
National University of Singapore(新加坡国立大学);Beijing Jiaotong University(北京交通大学);Peking University(北京大学)
本文提出PIRE算法解决非凸稀疏及结构稀疏问题,相比传统方法更高效,且在每轮迭代计算成本接近凸求解器。进一步提出PIRE-PS和PIRE-AU处理多变量问题,理论证明其收敛性,实验显示性能优异。
2014-04-28 cs.CV cs.NA math.NA
Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting
National University of Singapore(新加坡国立大学);Peking University(北京大学);Shanghai Jiaotong University(上海交通大学)
本文提出快速近端增广拉格朗日法和快速近端ADMM并行分裂法,改进了收敛速度并降低了计算复杂度,实验证明其在合成和真实数据上均优于传统PALM和ADMM。
2015-11-14 cs.LG cs.NA math.NA
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学应用数学中心);Chongqing Research Institute of Big Data, Peking University(北京大学重庆大数据研究院)
本文针对双线性鞍点问题,提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法,结合速度校正保证稳定性,经理论证明收敛速率最优,数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Inducing strong convergence into the asymptotic behaviour of proximal splitting algorithms in Hilbert spaces
University of Vienna, Faculty of Mathematics(维也纳大学数学学院)
本文提出改进的Krasnosel'ski\uı--Mann算法,证明迭代序列强收敛于问题的最小范数解,并推导了带有Tikhonov正则化项的向前-向后和Douglas-Rachford算法,用于求解单调包含问题。
2017-11-18 cs.NA math.NA math.OC
Gradient flows and proximal splitting methods: A unified view on accelerated and stochastic optimization
优化是机器学习、统计学和许多应用科学学科的核心。它在物理学中也有很长的历史,从最小作用量原理到寻找无序系统的基态,如自旋玻璃。近似算法形成了一类广泛适用的方法,特别适合于非光滑、约束、大规模和分布式最优化问题。基本上有五个最近的算法目前已知:向前向后分裂,曾分裂,道格拉斯-Rachford,交替方向法的乘数,和最近的戴维斯-尹。与基于梯度的方法相比,这些方法具有更高的抽象层次,在非线性泛函分析中具有深厚的根基。我们证明了所有这些方法实际上都是单个微分方程的不同离散化,即可以追溯到柯西(1847)的简单梯度流。许多机器学习成功案例背后的一个重要方面依赖于“加速”一阶方法的收敛。我们表明,类似的离散化方案适用于牛顿方程的额外耗散力,我们称之为加速梯度流,使我们能够获得加速的变种,所有这些邻近的算法-其中大多数是新的,虽然一些恢复已知的情况下,在文献中。此外,我们将这些方法扩展到随机设置,使我们能够与朗之万和福克-普朗克方程的连接。类似的想法适用于梯度下降,重球和Nesterov的方法,它们更简单。因此,我们的结果提供了一个统一的框架,从几个重要的最优化方法是什么,但模拟经典耗散系统。
2021-05-10 cs.NA math.NA math.OC
Epigraphical splitting for solving constrained convex formulations of inverse problems with proximal tools
Institut Mines-Télécom, Télécom ParisTech(国立高等电信学院);ENS Lyon(里昂高等师范学院);Université Paris-Est(巴黎东大学)
提出一种近端方法处理含非线性约束的凸变分问题,通过将下水平集分裂为多个上镜图并利用闭半空间约束,有效求解涉及距离函数或ℓ1,p范数线性变换的约束,在图像恢复和脉冲形状设计中验证了收敛速度的提升。
2014-03-20 cs.NA math.NA math.OC
A Benamou-Brenier Proximal Splitting Method for Constrained Unbalanced Optimal Transport
Department of Mathematics, Florida State University(佛罗里达州立大学数学系);Department of Mathematics, University of Houston(休斯顿大学数学系)
本文提出了一种用于带约束不平衡最优运输的Benamou-Brenier近端分裂方法,通过引入源项和动量约束,扩展了Wasserstein-Fisher-Rao设置,并展示了其在多种实际应用中的有效性。
2026-11-10 cs.NA math.NA math.OC
Local and Global Convergence of a General Inertial Proximal Splitting Scheme
Coordinated Science Laboratory, University of Illinois, Urbana, IL 61801, USA(协调科学实验室,伊利诺伊大学,厄巴纳,伊利诺伊州,61801,美国)
本文研究了希尔伯特空间中的凸复合最优化问题,提出了一种通用的惯性近端分裂算法(GIPSA),并证明了其迭代序列的平方增量和累积点的最优性,以及在最小值存在时的弱收敛性。进一步分析了ℓ1正则化优化问题,展示了GIPSA在特定参数选择下的局部收敛性和局部线性收敛性,以及其在FISTA变体中的应用。
2016-02-08 cs.LG cs.NA math.NA
Superiorization vs. Accelerated Convex Optimization: The Superiorized/Regularized Least-Squares Case
研究了具有非负变量界的欠定线性方程的优化/正则化最小二乘解的重构问题,并比较了优化方法和优化方法.关于优越化,最先进的检查这类问题,并提出了一种新的方法,采用邻近映射,结构上类似于建立的前向-后向优化方法。在凸优化方面,提出了一种基于非精确邻近映射的加速前后向分裂算法,并将其应用于自然分裂最小二乘项/正则化子和反向分裂正则化子/最小二乘项。我们的数值研究结果表明,优越化可以接近的解决方案的最优化问题,并导致可比的结果显着降低成本,适当的参数调整后。另一方面,将加速的向前-向后优化应用于反向分裂稍微优于优越化,这表明凸优化也可以使用适当的问题分裂来接近优越化。
2020-04-01 cs.NA math.NA math.OC
A robust shifted proper orthogonal decomposition: Proximal methods for decomposing flows with multiple transports
提出一种扩展sPOD的新方法,通过直接优化共动场、惩罚核范数并加入鲁棒性项,利用近端算法分解多重传输流,在合成和实际流动数据上展现出优异分离能力且保持可解释性。
2025-03-06 cs.NA math.NA physics.flu-dyn
The Intrinsic Riemannian Proximal Gradient Method for Nonconvex Optimization
Norwegian University of Science and Technology(挪威科技大学);RWTH Aachen University(亚琛工业大学);Universität Potsdam(波茨坦大学)
研究非凸优化问题,提出黎曼流形上近端梯度法的内在变体,该方法基于前向后分裂,使用流形上近端映射,无需嵌入,研究了收敛性质并展示其在非凸或非嵌入问题上的数值性能。
2026-07-16 cs.NA math.DG math.NA
Estimating numerical errors due to operator splitting in global atmospheric chemistry models: Transport and chemistry
Harvard University(哈佛大学);Boston Children’s Hospital(波士顿儿童医院);Peking University(北京大学)
研究运算分离方法在全球化学传输模型中对传输和非线性化学过程的数值误差影响,发现末端评估刚性非线性化学运算的策略更准确,不同策略的模拟结果差异不超过10%。
2015-11-06 cs.NA math.NA
The proximal alternating direction method of multipliers in the nonconvex setting: convergence analysis and rates
在完全非凸的情况下,我们提出了两个数值算法,分别用于求解光滑函数和非光滑函数与线性算子的复合问题。迭代计划制定的精神,近端交替方向法的乘法器和其线性化的变体,分别。近端项通过引入可变度量,这一事实使我们能够推导出新的非凸结构最优化问题的近端分裂算法,作为一般方案的具体实例。在变度量序列的适当条件下,通过假设相应增广拉格朗日量的正则化具有Kurdyka-Lojasiewicz性质,证明了迭代收敛于目标函数的KKT点.通过假设增广拉格朗日量具有Lojasiewicz性质,我们还得到增广拉格朗日量和迭代的收敛速度。
2020-07-31 cs.NA math.NA math.OC
Splitting Approach for Solving Multi-Component Transport Models with Maxwell-Stefan-Diffusion
本文提出分裂算法求解基于Maxwell-Stefan扩散的多组分输运模型,通过将对流、扩散和反应部分分解并使用迭代分裂方法处理非线性扩散,结合非线性求解器有效松弛非线性项,提升了数值求解效率。
2023-06-26 cs.NA math.NA
Deep Block Proximal Linearised Minimisation Algorithm for Non-convex Inverse Problems
针对图像恢复中的非凸逆问题,提出统一Jacobi与Gauss-Seidel更新规则的惯性块近端线性化最小化算法(iBPLM)及其即插即用变体(PnP-iBPLM),通过集成深度梯度去噪器加速收敛,理论证明全局收敛性并在去噪和去模糊任务中显著提升性能。
2024-11-14 cs.NA math.NA
Global convergence of splitting methods for nonconvex composite optimization
University of New South Wales(新南威尔士大学);the Hong Kong Polytechnic University(香港理工大学);University of British Columbia(不列颠哥伦比亚大学)
本文研究了非凸复合优化问题,分析了交替方向乘子法和近端梯度算法的收敛性,证明了在特定条件下序列收敛于 stationary 点,并给出了保证序列有界的充分条件。
2015-11-04 cs.LG cs.NA math.NA
Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Peng Cheng Laboratory(鹏城实验室)
本文研究具有积极流形识别性质的非光滑优化算法的Anderson加速技术,在驻点处具有积极流形的假设下证明了算法的局部R-线性收敛速率,并通过数值实验验证了其稳健性能。
2024-10-15 cs.LG cs.NA math.NA