Variable metric extrapolation proximal iterative hard thresholding method for $\ell_0$ minimization problem
本文考虑目标函数为$\ell_0$ -范数与凸可微函数之和的$\ell_0$极小化问题。将PIHT方法与拟牛顿法的技巧相结合，提出了一种变尺度型方法--变尺度外推邻近迭代硬阈值法（VMEPIHT）。然后在适当的假设下分析了它的收敛性、线性收敛速度和超线性收敛速率。最后，我们对压缩感知问题和CT图像重建问题进行了数值实验，并与其他方法进行了比较，验证了VMPIHT方法的有效性。
2021-08-07 cs.NA math.NA math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
A Decomposed Bilevel Search for Variable-Metric Proximal Gradient Methods
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
提出分解双层搜索（DBS），将变度量邻近梯度方法的缩放邻近步骤简化为二维残差系统，在SLOPE和组套索逻辑回归实验中，其效率和收敛性优于对比方法。
2026-08-27 math.OC
Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法，用于求解复合优化问题，理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize
Hebei University of Technology（河北工业大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
具有不同尺度选择的变尺度近似梯度法在组合优化中得到了广泛的应用。将Barzilai-Borwein（BB）方法与度量的对角选择策略相结合，对角BB步长可以保持标量BB步长的低每步计算成本，并且更好地捕获问题的局部几何形状。本文提出了一种变度量的小批量近似随机递归梯度算法VM-mSRGBB，该算法使用一种新的对角BB步长来更新度量。对强凸函数、非强凸函数和凸函数分别证明了VM-mSRGBB的线性收敛.在标准数据集上的数值实验表明，VM-mSRGBB优于或可与某些具有最佳调整标量步长或BB步长的方差缩减随机梯度法相媲美.此外，VM-mSRGBB的性能优于一些先进的小批量邻近随机梯度法。
2020-10-02 cs.LG cs.NA math.NA
A Variable Metric and Nesterov Extrapolated Proximal DCA with Backtracking for A Composite DC Program
本文考虑了一个复合凸差分（DC）规划，其目标函数是一个具有Lipschitz连续梯度的光滑凸函数、一个真闭凸函数和一个连续凹函数之和.这个问题在机器学习和数据科学中有许多应用。近端DCA（pDCA）是经典DCA的一种特殊情况，以及两种Nesterov型外推DCA - ADCA（Phan et al. IJCAI：1369- 1375，2018）和pDCAe（Wen et al. Comput Optim Appl 69：297- 324，2018）-可以解决这个问题。pDCA、pDCAe和ADCA的算法步长是固定的，并且通过估计损失函数的先验平滑度参数来确定。然而，这样的估计在一些现实世界的应用中可能难以获得或较差。出于这个困难，我们提出了一个可变的度量和Nesterov外推近端DCA与回溯（SPDCAe），它结合了回溯线搜索过程（不一定单调）和Nesterov的外推潜在的加速度;此外，变度量法被纳入更好的局部近似。对稀疏二进制逻辑斯谛回归和泊松噪声压缩感知的数值模拟验证了该方法的有效性。
2022-05-05 math.OC
Weak convergence of the stochastic proximal point method in metric spaces
Department of Computer Science, University of Bath（巴斯大学计算机系）
本文研究了在非正曲率的完备测地度量空间中，随机近点法在最小化凸积分函数的弱收敛性问题，解决了M.Bačák提出的问题，结合了新的证明方法和已有的随机准Fejér单调性理论。
2026-07-08 math.OC
Explicit Convergence Rate of The Proximal Point Algorithm under R-Continuity
该研究对比了R-连续性与优化领域的度量正则性等基础工具，证明其在算法收敛速率分析中的优势，还推导了R-连续性的性质并得到邻近点算法（PPA）在该条件下的显式收敛速率。
2024-08-17 math.OC
An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration
我们提出了一个不精确的可变度量邻近点算法，以加速基于梯度的优化算法。所提出的方案，称为QNing可以显着地应用于增量一阶方法，如随机方差减少梯度下降算法（SVRG）和其他随机增量优化算法。QNing也与复合目标兼容，这意味着当目标涉及稀疏诱导正则化时，它能够提供精确的稀疏解。当与有限内存BFGS规则相结合时，QNing对于解决高维优化问题特别有效，同时对于强凸问题具有最坏情况下的线性收敛速度。我们目前的实验结果，QNing提供了显着的改进竞争的方法，训练机器学习方法的大样本和高维度。
2019-01-29 math.OC stat.ML
Variable Metric Proximal Gradient Method with Diagonal Barzilai-Borwein Stepsize
Stanford University（斯坦福大学）；LG Sillicon Valley Lab（LG硅谷实验室）
变尺度邻近梯度法（VM-PG）是一类应用广泛的凸优化方法。近年来，人们对VM-PG在不同度量选择下的理论保证进行了大量的研究。然而，大多数这样的度量选择依赖于（昂贵的）Hessian，或限于标量步长，如具有大量保护的Barzilai-Borwein（BB）步长。相反，在本文中，我们提出了一种自适应度量选择策略，称为对角Barzilai-Borwein（BB）步长。所提出的对角线选择更好地捕获问题的局部几何结构，同时保持每步计算成本类似于标量BB步长，即$O(n)$。在此度量选择下，分析了VM-PG算法的理论收敛性。我们的实证研究说明了在所提出的对角BB步长下改进的收敛结果，特别是对于合成和真实世界数据集的病态机器学习问题。
2019-10-15 cs.LG math.OC stat.ML
On Douglas-Rachford splitting that generally fails to be a proximal mapping: A degenerate proximal point analysis
基于退化的邻近点分析，我们表明，道格拉斯-Rachford分裂可以减少到一个定义良好的预解式，但一般未能成为一个邻近映射。这推广了[Bauschke，Schaad and Wang.数学课程，168（2018），pp. 55 - 61]到更一般的设置。文中还讨论了相关的概念和结果。特别是，关于最大和循环单调性的结果是有助于分析许多算子分裂算法。
2023-02-19 math.OC
Accelerated Proximal Point Method for Maximally Monotone Operators
提出了一种求解极大单调算子的加速邻近点方法。证明是计算机辅助通过性能估计问题的方法。邻近点法包括各种著名的凸优化方法，如乘子邻近法和乘子交替方向法，因此所提出的加速具有广泛的应用。数值实验证明了加速行为。
2021-03-24 math.OC
Approximate Bregman proximal gradient algorithm with variable metric Armijo line search
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种改进的近似Bregman近端梯度算法，用于最小化光滑非凸函数与非光滑凸函数之和。通过引入可变度量Armijo-Wolfe线搜索，算法在保证全局收敛性的同时提升了实际性能。数值实验表明该算法在ℓ_𝑝正则化最小二乘和非负线性逆问题中表现更优。
2026-10-26 math.OC
The proximal point method and its two variants for monotone vector fields in Hadamard spaces
King Mongkut’s University of Technology Thonburi（泰国皇家理工大学吞武里）；Tokai University（东海大学）
本文研究了在Hadamard空间中单调向量场的近点法及其两个变种的收敛性与存在性，探讨了切空间、解析算子和单调向量场的基本性质。
2026-05-02 math.FA math.MG math.OC
A proximal point algorithm with generalized proximal distances to BEPs
我们考虑一个两层问题，涉及两个单调平衡双功能，我们表明，这个问题可以解决的邻近点方法与广义邻近距离。我们提出了一个框架的算法产生的序列的收敛性分析。这类问题是非常有趣的，因为它涵盖了数学规划和平衡约束下的最优化问题。作为应用，我们考虑了层次组织中任务分配的稳定性和变化动态性问题。
2014-07-08 math.OC
Local Conditions for Global Convergence of Gradient Flows and Proximal Point Sequences in Metric Spaces
本文研究梯度流轨迹及其离散化收敛至全局极小值的局部判据，通过引入Kurdyka--Łojasiewicz不等式的变体，在完备度量空间下半连续泛函的一般设定下，证明了收敛性并给出了精确的收敛速度定量估计。
2023-04-11 math.OC
Sion's minimax theorem and the proximal point algorithm in Hadamard spaces
Tokai University（东海大学）
本文在Hadamard空间中推导了Sion的极小极大定理，并讨论其应用，研究了Hadamard空间中鞍函数的解析性质，并探讨了该定理在极小极大问题中的proximal点算法应用。
2026-05-01 math.FA math.MG math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法，用于非光滑非凸优化，并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
The proximal point method revisited
在这个简短的调查中，我重温了近点法在大规模优化中的作用。我专注于最近的三个例子：一个近端引导次梯度方法弱凸随机逼近，最小化的凸函数和光滑映射的组合的线性算法，催化剂通用加速正则化经验风险最小化。
2017-12-17 math.OC
Proximal Point Method for a Special Class of Nonconvex Functions on Hadamard Manifolds
本文给出了Hadamard流形上一类特殊非凸函数的逼近点方法。保证了由邻近点法产生的序列的良好定义性。证明了该序列的每一个聚点都满足必要的最优性条件，并在附加的假设下，得到了该序列收敛于极小元的结果。
2010-04-13 math.OC
Proximal Point Method for Vector Optimization on Hadamard Manifolds
本文将向量最优化的邻近点法从欧几里得空间推广到黎曼空间。在对目标函数进行适当假设的情况下，证明了该方法的良好定义并完全收敛于弱有效点。
2015-12-18 math.OC
Local Convergence of the Proximal Point Method for a Special Class of Nonconvex Functions on Hadamard Manifolds
对Hadamard流形上一类特殊的非凸函数，给出了逼近点法的局部收敛分析。保证了由邻近点法产生的序列的良好定义性。证明了该序列的每一个聚点都满足必要的最优性条件，并在附加的假设条件下，得到了该序列收敛于极小点的结果。
2010-04-10 math.OC
Follow the flow: Proximal flow inspired multi-step methods
本文研究由梯度流隐式线性离散化加速的近似多步近端点方法，该方法在保持与近端点方法相似计算成本的同时，通过降低截断误差显著改善了多种优化方法的收敛行为。
2023-10-12 math.OC
An inexact proximal point method for variational inequality on Hadamard manifolds
本文对Hadamard流形上的变分不等式问题提出了一种不精确邻近点方法，并研究了其收敛性。所提出的算法在两个意义上是不精确的。首先，每个邻近的子问题是近似使用的向量场的扩大考虑，然后下一个迭代是通过解决这个子问题，允许适当的误差容限。作为应用，我们得到了Hadamard流形上约束优化问题、平衡问题和非线性最优化问题的一个非精确邻近点方法。
2021-03-03 math.OC
The Chen-Teboulle algorithm is the proximal point algorithm
我们重新审视陈Teboulle算法使用最近的见解，并表明，这允许一个更好的约束的步长参数。
2019-08-09 math.OC
An Inexact Variable Metric Proximal Gradient-subgradient Algorithm for a Class of Fractional Optimization Problems
Sun Yat-sen University（中山大学）；Guangzhou University（广州大学）；Shenzhen University（深圳大学）
研究一类分数优化问题，提出不精确变度量近端梯度 - 次梯度算法（iVPGSA），它能灵活近似求解子问题，适应性强且效率高。基于KL性质证明其全局收敛并刻画速率，数值实验显示该算法优于现有算法。
2026-10-22 math.OC
Weak and Strong Convergence of Generalized Proximal Point Algorithms with Relaxed Parameters
在这项工作中，我们提出并研究了一个框架的广义邻近点法与最大单调算子。给出了广义邻近点法的正则化参数和松弛因子的充分条件，证明了该算法产生的迭代序列的有界性与极大单调算子的零集的非空性等价，以及该算法的弱收敛性和强收敛性.我们的结果覆盖或改进了文献中关于广义邻近点法的许多结果。通过与相关已知结果的比较，说明了我们结果的改进。
2022-03-28 math.OC
Proximal point method for a special class of nonconvex multiobjective optimization functions
研究了一类特殊的非凸多目标函数的邻近点法。我们表明，该方法是定义良好的，任何生成的序列，如果有的话，是Pareto-克拉克临界点的积累点。此外，在额外的假设下，我们证明了所生成的序列的完全收敛性。
2017-02-17 math.OC
Linear Convergence of Generalized Proximal Point Algorithms for Monotone Inclusion Problems
研究了求解单调包含问题的广义邻近点法的线性收敛。在相应的单调算子是度量次正则的或单调算子的逆是Lipschitz连续的假设下，给出了广义邻近点法的Q-线性和R-线性收敛结果.我们的结果和文献中的相关结果之间的比较，在这项工作的备注。
2022-03-26 math.OC
Enlargement of Monotone Vector Fields and an Inexact Proximal Point Method for Variational Inequalities in Hadamard Manifolds
本文对Hadamard流形上的变分不等式引入了一种不精确邻近点方法，并研究了它的收敛性。用于呈现的方法的主要工具是单调向量场的扩大的概念，其将单调算子的扩大的概念从线性设置推广到黎曼上下文。作为应用，得到了求解约束最优化问题的一个非精确邻近点方法。
2015-11-26 math.OC
Convergence and Stability Analysis of a Generalized Proximal Point Algorithm and Its Inexact Version
Ton Duc Thang University（胡志明市通德大学）；Wayne State University（韦恩州立大学）；Université de Limoges（利摩日大学）
本文在希尔伯特空间中引入自适应强单调性概念，建立广义邻近点算法（GPPA）求解非单调包含问题近似解的线性收敛性，同时研究了存在非递减误差时的不精确广义邻近点算法（IGPPA）。
2026-11-13 math.OC
Proximal Flow Inspired Multi-Step Methods
该研究提出一族由梯度流隐式线性离散化构建的近似多步邻近点方法，其单步计算成本与邻近点方法相当，能提升多种优化方法的收敛性能，并给出了多类问题场景下的收敛性分析。
2025-01-14 math.OC
Convergence Results of Two-Step Inertial Proximal Point Algorithm
本文提出了一种求希尔伯特空间中极大单调算子零点的两点惯性邻近点法。在非遍历意义下，我们得到了算法的弱收敛性和非渐近$O(1/n)$收敛速度。我们的结果的各种著名的凸优化方法，如乘法器的邻近方法和交替方向法的乘法器的应用。数值结果表明，我们的方法比文献中的其他相关方法的加速行为。
2022-07-20 math.OC
A Symplectic Discretization Based Proximal Point Algorithm for Convex Minimization
该研究通过辛欧拉方法离散常微分方程系统，提出辛邻近点算法SPPA，证明其收敛速率，指出现有加速邻近点算法为其特例，且附加假设下收敛速率更优。
2024-12-12 math.OC
Best proximity points for proximal contractions
在本文中，我们改进和推广了一些最佳邻近点的结果，所谓的近端收缩。具体地说，在集合A和B下的紧性假设被移除以考虑完备性条件。
2012-07-18 math.FA math.OC
Tight Convergence Rate in Subgradient Norm of the Proximal Point Algorithm
邻近点法有着广泛的应用，它在许多一阶方法的理解、设计和分析中起着基础性的作用。本文证明了Taylor，Hendrickx和Glineur [SIAM J.~]提出的邻近点法在次梯度模下的紧收敛速度Optim.，27（2017），pp.~ 1283- 1313]。当考虑对偶方法时，这种在残余（子）梯度范数方面的收敛结果特别有趣，其中对偶残余梯度范数对应于到可行性的原始距离。
2023-01-09 math.OC
A proximal point algorithm for sequential feature extraction applications
提出了一种解决LAROS问题的邻近点法，即寻找“大的近似秩一子矩阵”的问题。这个LAROS问题用于顺序地提取数据中的特征。基于LAROS问题的\eps -最优解的对偶性条件，提出了一种新的邻近点法的停止准则，并给出了理论保证.我们测试我们的算法与两个图像数据库，并表明，我们可以使用LAROS问题，从这些图像中提取适当的共同特征。
2011-08-04 math.OC
Effective strong convergence of the proximal point algorithm in CAT(0) spaces
我们应用证明挖掘的方法，以获得一致的定量界的强收敛的邻近点法，寻找凸，较低的连续真函数在CAT（0）空间中的极小。因此，对于一致凸函数，我们计算速度的收敛，而对于完全有界CAT（0）空间，我们采用的方法介绍了Kohlenbach，第一作者和尼古拉计算速度的亚稳定性。
2018-02-15 math.OC
Symplectic Discretization Approach for Developing New Proximal Point Algorithm
针对现有加速邻近点算法存在振荡、收敛受阻的问题，本文通过辛欧拉方法离散化特定ODE，提出辛邻近点算法，理论上证明其o(1/k²)收敛与弱收敛性，实验验证其可减少振荡、提升收敛速度。
2024-11-04 math.OC
A relaxed proximal point algorithm with double-inertial effects for nonconvex equilibrium problems
针对非凸平衡问题，提出一种带双惯性效应的松弛邻近点算法，证明迭代序列全局收敛并统一已有结果，且通过数值试验验证理论结论。
2025-02-16 math.OC
Convergence Rates for Stochastic Proximal and Projection Estimators
Universidad de Chile（智利大学）；Center for Mathematical Modeling (CMM), Universidad de Chile（智利大学数学建模中心）；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学研究所）
本文研究了随机近似下确界算子的收敛速率，提出了在不同正则性条件下，如ρ弱凸和C²光滑性，的显式收敛速率分析，并展示了其最优性。
2026-02-19 math.OC
An Algorithmic Framework of Variable Metric Over-Relaxed Hybrid Proximal Extra-Gradient Method
Tencent AI Lab（腾讯人工智能实验室）
针对极大单调算子包含问题，提出了一种新的具有整体收敛保证的变尺度超松弛混合邻近超梯度（VMOR-HPE）算法框架.给出了算法的迭代复杂度和局部线性收敛速率，从理论上证明了较大的过松弛步长有助于加速算法的收敛速度.具体地说，我们发现一大类原始和原始-对偶算子分裂算法都是VMOR-HPE的特例。因此，建议的框架提供了一个新的见解，这些运营商分裂算法。此外，我们将VMOR-HPE应用于线性等式约束多块复合凸优化的Karush-Kuhn-Tucker（KKT）广义方程，得到了一种新的算法，即带有预条件外梯度步长的非对称近端交替方向法，其中预条件度量由分块Barzilai-Borwein线搜索技术生成（PADMM-EBB）.我们还建立了PADMM-EBB的KKT残差方面的迭代复杂性。最后，我们应用PADMM-EBB处理非负对偶图的正则化低秩表示问题。在合成和真实数据集上的有希望的结果证实了PADMM-EBB的有效性。
2018-06-08 cs.LG cs.NA math.NA
A general inertial proximal point method for mixed variational inequality problem
本文首先提出了求解混合变分不等式（VI）问题的一种广义惯性邻近点方法。据我们所知，在没有更强假设的情况下，惯性型近点方法的收敛速度结果在文献中是未知的。在一定的条件下，我们能够建立所提出的一般惯性邻近点法的整体收敛和$o(1/k)$收敛速度结果（在一定的措施）。然后，我们表明，线性化的交替方向法的乘法器（ADMM）的可分离凸优化与线性约束是一个应用程序的一般邻近点法，提供了适当的算法参数选择。作为这一发现的副产品，我们建立了整体收敛和$O(1/k)$收敛速度结果的线性ADMM在遍历和非遍历意义。特别是，通过将混合VI的惯性邻近点方法应用于线性约束可分凸优化，我们得到了一个惯性版本的线性ADMM的整体收敛是有保证的。我们还证明了惯性外推步骤的效果，通过实验结果上的压缩主成分追踪问题。
2014-08-01 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法（P-PPA）。该算法是全局收敛的，最坏情况下的收敛速度为O（1/t）收敛速度，其中t表示迭代次数.通过合理选择算法参数，对一个由统计学习引起的稀疏最优化问题的数值实验表明，该算法的性能明显优于其他最先进的方法，如交替方向法和松弛邻近点法.
2018-12-10 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点（D-AIPP）方法的迭代复杂性，其中$f$是梯度为Lipschitz连续的（可能非凸）可微函数，$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代，即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的，用于不精确地求解在外迭代期间产生的凸邻近子问题。因此，D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Abstract strongly convergent variants of the proximal point algorithm
证明了CAT（0）空间中Halpern型和Tikhonov型邻近点法强收敛的抽象形式.此外，我们得出统一的和可计算的亚稳态率（在道的意义上），这些迭代使用证明挖掘技术。
2022-11-21 math.LO math.OC
Computing proximal points of convex functions with inexact subgradients
定位邻近点是许多最小化算法的组成部分。本文主要研究在不精确的预言下，如何求出凸函数在某一点的逼近点。我们的方法假设精确的函数值在手边，但精确的子梯度要么不可用，要么没有用。我们使用近似次梯度来建立目标函数的模型，并证明了该方法在可接受的误差范围内收敛到真实的收敛点。在每个步骤$k$中使用的次梯度$g_k$是这样的，即从$g_k$到当前迭代点处的目标函数的真次微分的距离由某个固定的$\varepsilon>0.$限定。该算法包括应用于近似次梯度的新颖的倾斜校正步骤。
2016-11-02 math.OC
Testing and non-linear preconditioning of the proximal point method
利用非线性预处理的思想和经典邻近点法的检验方法，将最优化方法的收敛速度和收敛性证明中的常见问题形式化为一个简单的迭代不等式的验证问题.当应用于不动点算子时，后者可以看作是公司非扩张性或$α$平均属性的推广。这项工作的主要目的是提供抽象的背景理论，我们的同伴论文“块邻近方法与空间适应加速”。在本帐户中，我们证明了几个经典算法的一般方法的有效性，以及它们的随机变量。当然，除了邻近点法之外，这些方法包括梯度下降法、向前-向后分裂法、Douglas-Rachford分裂法、牛顿法，以及几种求解鞍点问题的方法，如乘子交替方向法和Chambolle-Pock方法。
2018-08-23 math.OC
Preconditioned proximal point methods and notions of partial subregularity
基于预条件邻近点方法收敛性证明的需要，引入了集值映射的部分强次单调性和部分（度量）次正则性的概念。我们研究这两个概念之间的关系，这两个概念一般都不弱于或强于另一个。对于我们的算法的目的，新的submonotonicity原来是更容易采用比更传统的误差界从subregularity。利用强次单调性，我们证明了原始-对偶邻近分裂方法的线性收敛，以图像处理和数据科学的一些示例问题的严格互补的解决方案。这是没有传统的假设，所有的目标函数的鞍点问题是强凸的。
2020-02-28 math.OC
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Ecole Polytechnique（巴黎综合理工学院）
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法（3 P-SPIDER）。它是一种随机变度量前向-后向算法，允许近似预处理前向算子，并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明，3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下，不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER，并研究其复杂性，以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置，方差减少技术来解决有限和设置通过使用minibatch策略，并允许确定性或随机近似的预处理前向算子。最后，通过应用逻辑回归模型的推理随机效应，我们数值比较3 P-SPIDER其他随机向前向后算法，并讨论了一些设计参数的3 P-SPIDER的作用。
2023-03-08 cs.LG math.OC
Convergence Analysis of a Proximal Point Algorithm for Minimizing Differences of Functions
对于凸优化问题，已知几种优化方案。然而，求解非凸最优化问题的数值算法仍然不发达。通过考虑可表示为凸函数的差的函数类，在凸性的超越上取得了进展。本文提出了一种广义的邻近点法，用于极小化非凸函数与凸函数之差。在目标函数满足Kurdyka-Schojasiewicz性质的主要假设下，我们还研究了该算法的收敛性结果。
2015-06-25 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Two modified proximal point algorithms in geodesic spaces with curvature bounded above
在曲率上有界的完备测地空间中，得到了真下连续凸函数的两个变式的邻近点法的存在性和收敛性定理。
2018-04-28 math.FA math.OC
