On the inexact scaled gradient projection method
本文给出了凸集上的尺度梯度投影法的一个不精确形式。首先,计算可行集上的不精确投影,允许适当的相对误差容限。其次,采用非精确非单调线搜索方案来计算定义下一次迭代的步长。结果表明,所提出的方法具有类似的渐近收敛性和迭代复杂性的限制,通常的尺度梯度投影法采用单调线搜索。
2021-06-09 math.OC
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化,或者更一般地说,光滑流形上的光滑函数的极小化,是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案,并获得的结果,保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度(Frank-Wolfe)算法。我们研究了一些条件,保证整体收敛的全步版本的方法与线性率。
2019-06-27 math.OC
Expansions of the Characteristic Polynomial of a Perturbed Positive Semidefinite Matrix and Convergence Analysis of Alternating Projections
本研究利用线性扰动半正定矩阵特征多项式分析半正定锥与直线的交替投影收敛性,证明其收敛速率为O(k^{-1/2})且与奇异度无关,还得到线性收敛的充分条件,方法不依赖误差界。
2025-04-16 math.OC
A Note on the Finite Convergence of Alternating Projections
对两个互不相交的潜在非凸集,建立了交替投影法有限收敛的充分条件。我们的结果是基于一个推广的概念,内在的横截性,到目前为止,已被限制为集与非空的交集。在多面体和闭半空间的特殊情况下,我们的充分条件定义了两个集合之间的最小距离,该距离是交替投影在单次迭代中收敛所需的。
2021-02-17 math.OC
A Conceptual Conjugate Epi-Projection Algorithm of Convex Optimization: Superlinear, Quadratic and Finite Convergence
本文考虑了一个概念性的凸优化算法,它的基础是用近似次微分映射的求根问题代替凸优化问题,而近似次微分映射是通过在共轭函数的上图上的重复投影来求解的。虽然投影问题在有限时空中不是精确可解的,但它可以通过简单的迭代法近似求解到任意精度,该方法使用epigraph的线性支撑函数。因此,它似乎是有用的研究计算特性的理想化版本的算法时,投影上的epigraph精确计算,以估计这种发展的潜在利益。研究的主要结果是:在一般凸情形下,概念算法具有超线性的收敛速率;当目标函数构成强凸函数的超集时,概念算法的收敛速率为二次收敛;当目标函数具有尖锐的极小值时,概念算法的收敛是有限的.在所有情况下,收敛是全局的,不需要目标的可微性。保留字:凸优化,共轭函数,近似次微分,超线性收敛,平方收敛,有限收敛,投影,上图
2018-01-24 math.OC
Linear Convergence Results for Inertial Type Projection Algorithm for Quasi-Variational Inequalities
本文提出了一种求解 Hilbert 空间中拟变分不等式的惯性型梯度投影算法,在代价算子强单调且 Lipschitz 连续的条件下证明了其线性收敛速率,填补了现有研究空白,并通过数值实验验证了算法的有效性。
2024-04-22 math.OC
Gradient Projection for Solving Quadratic Programs with Standard Simplex Constraints
在标准单纯形上优化函数的一个重要方法是有效集算法,该算法要求将函数的梯度投影到超平面上,并对位于单纯形边界上的变量进行符号约束。为此,我们提出了一种新的算法来有效地投影梯度。此外,我们提出的梯度投影法,以二次规划(QP)与标准的单纯形约束,梯度投影是用来探索的可行域,当我们相信最佳的活动集被识别,我们切换到约束共轭梯度,以加速收敛。具体地说,两个不同方向的梯度投影,即投影梯度和约化梯度被用来探索单纯形。我们根据两个方向之间的夹角选择其中一个方向。此外,我们提出了两个条件猜测的最佳活动集。第一个条件是工作集在多次迭代中保持不变,第二个条件是投影梯度和缩减梯度之间的角度足够小。基于这些策略,提出了一种求解标准单纯形上二次规划的新的有效集算法。
2020-07-17 math.OC
Convergence of projection and contraction algorithms with outer perturbations and their applications to sparse signals recovery
本文研究实希尔伯特空间中解变分不等式(VI)问题的投影和压缩算法的有界扰动恢复性。在典型的和标准的假设下,单调性和Lipschitz连续的VI的相关映射,扰动投影和压缩算法的收敛性被证明。基于投影和压缩算法的有界扰动恢复性,我们提出了一些惯性投影和压缩算法。此外,我们证明了扰动算法的收敛速度为$O(1/t)$。
2017-11-16 math.OC
Convergence Analysis of Processes with Valiant Projection Operators in Hilbert Space
凸可行性问题需要在有限个凸集族的交集中找到一个点。我们建议解决这样的问题,通过执行集放大和应用一种新的投影算子称为valiant投影仪。一个到凸集上的valiant投影实现了一种特殊的松弛策略,由Goffin在1971年提出,该策略根据与集合的距离指示向投影的移动。相反,过去实现的这一战略,我们勇敢的投影算子实现的战略,在一个连续的方式。我们研究了valiant投影的性质,证明了我们新的valiant投影方法的收敛性。这些结果包括作为一个特殊情况,并扩展了1985年的自动松弛法的审查。
2017-09-17 math.OC
Global convergence and acceleration of projection methods for feasibility problems involving union convex sets
本文针对并凸集可行性问题建立经典投影算法的全局收敛理论,并据此推导稀疏仿射可行性与含 $P$-矩阵线性互补问题的收敛条件,同时提出有收敛保证且数值上更高效的加速算法。
2023-07-15 math.OC
Adaptive Conditional Gradient Sliding: Projection-Free and Line-Search-Free Acceleration
Graduate School of Information Science and Technology, The University of Tokyo(东京大学大学院信息学理工学研究科)
自适应条件梯度滑动方法通过自适应步长和LMO实现无投影和线搜索的加速凸优化
2026-07-23 math.OC
On Convergence of the Alternating Projection Method for Matrix Completion and Sparse Recovery Problems
本文研究了交替投影(AP)算法在矩阵完备化和压缩感知问题中的收敛性。我们还提出了计算证据的算法的优异性能。在最后一节中,我们还利用代数几何技巧证明了,在已知的位置不变的情况下,如果一个秩为r的矩阵可以用一组已知元素以多种方式完成,那么,对于几乎所有已知元素的集合,该矩阵只能以多种方式完成为一个秩为r的矩阵。
2017-11-06 math.OC
Convergence Rates for Stochastic Proximal and Projection Estimators
Universidad de Chile(智利大学);Center for Mathematical Modeling (CMM), Universidad de Chile(智利大学数学建模中心);Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins(奥希金斯大学工程科学研究所)
本文研究了随机近似下确界算子的收敛速率,提出了在不同正则性条件下,如ρ弱凸和C²光滑性,的显式收敛速率分析,并展示了其最优性。
2026-02-19 math.OC
Randomized projection methods for convex feasibility problems: conditioning and convergence rates
在闭凸集集合的交集中寻找一个点,即凸可行性问题,代表了许多计算问题的主要建模策略。在本文中,我们分析了新的随机重新制定的凸可行性问题,以促进新的算法方案的发展。我们还分析了条件问题的参数使用某些(线性)的正则性假设的个人凸集。然后,我们介绍了一个通用的随机投影算法框架,它扩展到随机设置许多现有的投影计划,设计一般凸可行性问题。我们的一般随机投影算法允许同时在几个集合上进行投影,从而提供了很大的灵活性,可以在并行架构上匹配算法的实现。基于条件参数,除了渐近收敛的结果,我们还得到显式的次线性和线性收敛速率的一般算法框架。
2018-01-15 math.OC
An efficient gradient projection method for stochastic optimal control problem with expected integral state constraint
本文提出一种求解带期望积分状态约束的随机最优控制问题的高效梯度投影方法,推导了一阶最优性条件,通过构造特定乘子保证约束,结合Euler方法与最小二乘蒙特卡洛方法得到完全离散迭代格式,并证明该方法具有一阶收敛性。
2024-12-23 math.OC
Analytic Formulas for Alternating Projection Sequences for the Positive Semidefinite Cone and an Application to Convergence Analysis
该研究推导了半正定矩阵锥与仿射子空间上交替投影序列的参数递推解析公式,并用其证明了奇点度为2的3维半正定锥交集场景下交替投影法收敛上界的紧性。
2025-01-15 math.OC
On The Strong Convergence of The Gradient Projection Algorithm with Tikhonov regularizing term
研究了带有Tikhonov正则项\[ x_{n+1}=P_{Q}(x_{n}-γ_{n}\nabla f(x_{n})-γ_{n}α_{n}\nabla ϕ(x_{n})), \]的梯度投影算法的强收敛性和弱收敛性,其中$P_{Q}$是Hilbert空间$\mathcal{H}$到给定的非空闭凸子集上的投影算子,$Q,$是正则凸函数,$f:\mathcal{H}% \rightarrow \mathbb{R}$是正则强凸函数,$γ_{n}$和$α_{n}$是正实数.遵循基本上从论文[Comminetti R,Peypouquet J Sorin S.具有Tikhonov正则化的极大单调算子控制的发展方程的强渐近收敛性。J.微分方程(2001年); 245:3753-3763],我们在目标函数$f$ \和序列$(γ_{n})_{n}$和$(α_{n})_{n}$上的一些简单和自然的条件下建立了$(x_{n})_{n}$到$f$在$Q$上的特定极小元$x^{\ast }$的强收敛性
2019-10-17 math.OC
Optimal Convergence Rates for Generalized Alternating Projections
广义交替投影是一种算法,它交替松弛投影到有限数量的集合上,以找到它们的交点。我们考虑了两个线性子空间的特殊情况,对于这种情况,算法归结为一个矩阵迭代。对于收敛的矩阵迭代,渐近速度是线性的,并由次优势特征值的大小决定。在本文中,我们展示了如何选择三个算法参数来优化这个幅度,从而优化渐近收敛率。所获得的速率取决于子空间之间的弗里德里希角,并且比其他方法(例如交替投影和道格拉斯-拉赫福德分裂)的已知速率要好得多。我们还提出了一个自适应方案,在线,估计弗里德里希角和更新算法参数的基础上,这个估计。一个数值例子,支持我们的理论主张,并显示出非常好的性能的自适应方法。
2017-03-30 math.OC
Exact Convergence Rates of Alternating Projections for Nontransversal Intersections
本文研究半代数集与线性子空间非横截相交时交替投影的精确收敛速率,利用多项式重数、幂级数和消去理论判定线性或次线性收敛,并给出高维情形的紧上界。
2023-04-26 math.OC
Gradient Projection Newton Pursuit for Sparsity Constrained Optimization
基于硬阈值的算法在控制稀疏性和允许快速计算方面具有稀疏优化的各种优势。最近的研究表明,当牛顿型方法的技术集成,其数值性能可以得到惊人的改善。本文提出了一种梯度投影牛顿追踪算法,该算法主要采用硬阈值算子,仅在满足一定条件时才使用牛顿追踪。该算法能够在标准假设下全局收敛和二次收敛。当涉及到压缩感知问题时,强加的假设比许多最先进的算法要弱得多。此外,大量的数值实验证明了其与其他领先求解器相比的高性能。
2022-06-06 math.OC
Convergence Rates for Variational Inequality Projection Neural Networks with a State-Dependent Metric
King Fahd University of Petroleum & Minerals(阿卜杜勒阿齐兹国王石油矿物大学);Interdisciplinary Research Center for Smart Mobility and Logistics, King Fahd University of Petroleum & Minerals(阿卜杜勒阿齐兹国王石油矿物大学智能交通与物流交叉研究中心)
该研究针对闭凸集上带状态依赖矩阵度量的变分不等式投影神经网络,改进了收敛估计,证明了局部与全局指数收敛,还发现了含非可积逆度量的周期轨道环带,经计算验证了相关结论。
2026-08-07 math.OC
Quadratic Convergence of a Projection Method for a Plane Curve Feasibility Problem
本文证明平面光滑曲线与直线相交可行性问题中投影算法在无切向相交条件下的二次收敛性,并用数值实验验证,为高维推广奠定基础。
2025-10-21 math.OC
A projection-free dynamics for nonsmooth composite optimization
本文提出一种基于镜像下降的无投影原始-对偶动力学,用于求解带等式和不等式约束的非光滑复合优化问题,通过扩展近端增广拉格朗日策略实现指数收敛,并推广了现有收敛结果。
2025-10-25 math.OC
Error Bounds for the Method of Simultaneous Projections with Infinitely Many Subspaces
研究了实希尔伯特空间中可数无穷多个闭线性子空间的同时投影方法的性质。我们建立了这种方法的线性收敛的最佳误差界,我们表示在无穷乘积空间中计算的Friedrichs角的余弦。此外,我们提供了上述数字的估计和替代表达式。此外,我们将这个数字的二分法定理和超多项式快速收敛。我们还讨论了多项式收敛的同时投影方法发生特别选择的起点。
2021-08-29 math.OC
Convergence Rate Analysis of SOAP with Arbitrary Orthogonal Projection Matrices
Institute of Robotics and Automatic Information Systems, College of Artificial Intelligence, Nankai University(南开大学人工智能学院机器人与自动信息研究所);National Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能全国重点实验室)
本文首次分析了SOAP在任意正交投影矩阵下的收敛速率,扩展了其通用变体,要求投影矩阵在每次迭代中条件独立于当前随机梯度。
2026-09-23 math.OC
Weak convergence of projection algorithm with momentum terms and new step size rule for quasimonotone variational inequalities
本文在拟单调 Lipschitz 连续条件下,为带动量项的投影算法提出新步长规则,证明其弱收敛性,并通过数值实验和信号恢复应用验证了算法的有效性。
2025-05-09 math.OC
Transversality and alternating projections for nonconvex sets
我们考虑交替投影的方法,在两个闭集的交集中寻找一个点,可能是非凸的。仅假设标准横截性条件(或其较弱版本),我们证明了局部线性收敛。当两个集合是半代数和有界的,但不一定是横截的,我们仍然证明了子序列收敛。
2016-08-11 math.OC
A counterexample to De Pierro's conjecture on the convergence of under-relaxed cyclic projections
凸可行性问题在于找到一个点的交集的有限家庭的封闭凸集。当交集为空时,最好的折衷方法是搜索一个点,使到集合的平方距离之和最小。在2001年,de Pierro证明了当$\varepsilon\downarrow 0$向最小二乘解收敛时,由$\varepsilon$ -欠松弛循环投影法产生的极限环收敛。虽然该猜想已被证实在相当一般的条件下,我们表明,它是假的一般通过构建一个系统的三个紧凸集在$\mathbb{R}^3$的$\varepsilon$下松弛循环不收敛。
2018-05-06 math.OC
Retraction-Based Gradient Projection Algorithms on Manifolds
The George Washington University(乔治华盛顿大学)
本文提出基于回缩的黎曼流形凸优化框架,推广梯度投影算法,证明多种步长规则下的收敛性,并应用于加权低秩近似及图像补全验证。
2026-09-28 cs.LG math.OC
Infeasibility and error bound imply finite convergence of alternating projections
本文结合了两个成分,以获得一个相当令人惊讶的结果,最研究的,优雅的和强大的工具之一,解决凸可行性问题,交替投影(MAP)的方法。回到Kaczmarz和von Neumann的名字,MAP有能力跟踪一对点,实现两个给定的闭凸集之间的最小距离。不幸的是,MAP可能遭受任意缓慢的收敛,并且次线性速率基本上仅在存在某些Lipschitzian误差界的情况下才被超越,这是我们的第一要素。第二种是一种看似不利的、意想不到的条件,即不可行性。对于两个满足误差界的不相交闭凸集,我们建立了MAP的有限收敛性。特别是,MAP收敛在许多步骤时,适用于多面体和超平面的情况下,他们有空的交点。此外,目标集合彼此距离越远,MAP找到最佳逼近对所需的迭代就越少。有见地的例子和进一步的理论和算法的讨论伴随着我们的结果,包括有限终止的其他投影方法的调查。
2021-07-29 math.OC
Convergence Analysis of the Self-Adaptive Projection Method for Variational Inequalities with Non-Lipschitz Continuous Operators
针对非 Lipschitz 连续拟单调算子的变分不等式,提出带自适应步长的 Tseng 超梯度方法,证明温和条件下的收敛性,并通过数值实验验证其有效性与优越性。
2025-06-09 math.OC
A gradient projection method for semi-supervised hypergraph clustering problems
本文提出一种基于张量和收缩方法的梯度投影算法,用于求解半监督超图聚类中的正交约束优化问题,并通过收敛性分析和实验验证其有效性。
2023-06-20 math.OC
Gradient Projection Newton Algorithm for Sparse Collaborative Learning Using Synthetic and Real Datasets of Applications
探索来自同一组的多组数据之间的关系使从业者能够在医学科学和工程中做出更好的决策。在本文中,我们提出了一个稀疏协作学习(SCL)模型,一个优化与双稀疏约束,处理问题的两组数据和一个共享的响应变量。它能够处理依赖于响应变量的离散性的分类问题或回归问题,以及同时探索两个数据集之间的关系。为了求解SCL,我们首先给出了一些最优性的充分必要条件,然后设计了一个梯度投影牛顿算法,该算法已被证明以至少平方收敛速率全局收敛到唯一的局部最优解.最后,数值实验验证了该方法的有效性.
2022-11-13 math.OC
Convergence rate of alternating projection method for the intersection of an affine subspace and the second-order cone
研究交替投影方法在仿射子空间与二阶锥非横截相交时的收敛速率,证明其为 $O(k^{-1/2})$ 并在特定条件下精确,同时扩展至两个二阶锥乘积情形。
2024-01-04 math.OC
Necessary conditions for linear convergence of iterated expansive, set-valued mappings with application to alternating projections
本文给出了违反通常的非扩张性质的映射的不动点迭代以某种形式单调的必要条件。我们发现,最合理的线性型单调的不动点序列的概念意味着{ \em度量次正则}。这是专门的交替投影迭代的度量次正则性属性采取不同的几何特征集的交点称为{ \em subtransversality}。我们更一般的结果不动点迭代专门建立的必要性subtransversality一致的可行性与一些合理类型的顺序单调性,根据不同程度的假设的规则性的集合。
2018-05-25 math.OC
A Fast Algorithm for Total Variation Image Reconstruction from Random Projections
全变差(TV)正则化由于其保持图像边缘的能力而在图像恢复和重建中受到广泛的关注。迄今为止,关于TV模型的研究主要集中在从模糊和噪声观测中恢复图像,而从随机投影中重建图像的讨论相对较少。在本文中,我们提出,分析和测试的快速交替最小化算法的图像重建从随机投影通过解决电视正则化最小二乘问题。该算法的每次迭代代价包括一个线性时间收缩操作、两次矩阵向量乘法和两次快速傅里叶变换。证明了算法的收敛性、有限收敛性和$q$ -线性收敛性,表明算法的渐近收敛速度依赖于子矩阵的谱半径.此外,为了加快收敛速度和增强鲁棒性,我们提出了一种基于不精确交替方向法的加速方案。我们提出的实验结果与现有的算法进行比较,这表明,该算法是稳定的,有效的和竞争力的TwIST \cite{TWIST} -一个国家的最先进的算法解决电视正则化问题。
2010-01-12 math.OC
Parallel Polyhedral Projection Method for the Convex Feasibility Problem
本文提出3PM和A3PM方法求解凸可行性问题,通过平行投影与多面体投影两阶段迭代,在无正则性假设下证明全局收敛,并在特定条件下证明线性或超线性收敛,数值实验显示其优于现有方法。
2025-06-26 math.OC
Gradient Support Projection Algorithm for Affine Feasibility Problem with Sparsity and Nonnegativity
令$A$是实$M \times N$测量矩阵,并且$b\in \mathbb{R}^M$是观测向量。具有稀疏性和非负性的仿射可行性问题(简称$AFP_{SN}$)是找到具有$Ax=b$的稀疏和非负向量$x\in \mathbb{R}^N$,如果这样的$x$存在。在本文中,我们专注于建立优化方法来解决$AFP_{SN}$。通过对稀疏约束的切锥和法锥的讨论,给出了用$AFP_{SN}$求解相关极小化问题的第一最最优性条件、$α$ -稳定性、T-稳定性和N-稳定性,以及第二最优性充分必要最优性条件.采用Armijo型步长规则,给出了$AFP_{SN}$的梯度支撑投影算法框架,并证明了当矩阵$A$是$s$ -正则矩阵时,梯度支撑投影算法的完全收敛性.通过数值实验,我们证明了新算法对无噪声和有噪声的$AFP_{SN}$的优良性能。
2014-06-27 math.OC
Grassmannian Geometry and Global Convergence of Variable Projection for Neural Networks
IRMA, Strasbourg(斯特拉斯堡 IRMA)
本文研究了深度神经网络中变量投影法的全局收敛性,通过Grassmannian几何分析,提出正则化框架以解决秩不足问题,并通过实验验证方法的有效性。
2026-01-30 math.OC
Projected Reflected Gradient Methods for Monotone Variational Inequalities
在希尔伯特空间中,研究了一类求解单调Lipschitz-连续映射的变分不等式问题的投影方法.首先,我们提出了一个恒定步长的投影反射梯度算法。它类似于投影梯度法,即,该方法只需要一个可行集上的投影,每次迭代只需要一个映射值。这使我们的方法区别于大多数其他投影型方法的变分不等式单调映射。在强单调性假设下,证明了它具有R-线性收敛速率。常步长算法的通常缺点是需要知道映射的Lipschitz常数。为了避免这种情况,我们修改了我们的第一个算法,使算法每次迭代最多需要两个投影。事实上,我们的计算经验表明,这种具有两个投影的情况非常罕见。这个计划,至少在理论上,似乎非常有效。证明了所有方法都是全局收敛于该变分不等式的解的。数值实验的初步结果是相当有希望的。
2015-02-17 math.OC
Comparing Averaged Relaxed Cutters and Projection Methods: Theory and Examples
我们专注于收敛分析的平均松弛刀具,特别是变量-取决于如何选择参数-类似\emph{alternating projections},\emph{Douglas--Rachford method},\emph{relaxed reflect-reflect},或\emph{Peaceman--Rachford}方法。这种方法经常被用来解决凸可行性问题。投影算法的标准收敛性分析是基于相关算子的\emph{firm nonexpansivity}性质。然而,如果约束集上的投影被切割器(分离超平面上的投影)所取代,则失去了牢固的非扩张性。我们提供了一个家庭的相关平均松弛刀具方法的收敛性证明在合理的假设下,依靠一个简单的几何参数。这使我们能够澄清与松弛因子的允许选择相关的细节,突出精确(坚定非扩张)和近似(强准非扩张)设置之间的区别。我们提供说明性的例子,并讨论该方法的实际实现。
2018-10-04 math.OC
Analysis of the convergence rate for the cyclic projection algorithm applied to basic semi-algebraic convex sets
本文研究了循环投影算法在许多基本半代数凸集上的收敛速率。我们建立了一个显式的收敛速度估计,它依赖于生成基本半代数凸集的多项式的最大次数和底层空间的维数。我们实现我们的结果,利用基本的半代数凸集的代数结构。
2013-11-19 math.FA math.OC
Generalized Bregman Projection Algorithms for Solving Nonlinear Split Feasibility Problems in Infinite-Dimensional Spaces
针对无限维希尔伯特空间的非线性分裂可行性问题,提出融合Bregman投影、近端梯度步和自适应惯性项的广义Bregman投影算法,证明强收敛性且实验验证其优于经典方法,推动相关优化技术发展。
2025-05-14 math.OC
Inexact Primal-Dual Gradient Projection Methods for Nonlinear Optimization on Convex Set
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Washington(华盛顿大学);Tongji University(同济大学);University of Chinese Academy of Sciences(中国科学院大学)
针对凸集约束下的非线性最优化问题,提出了一种新的原始-对偶非精确梯度投影法。该方法每次迭代只需要不精确地计算投影到凸集上,从而减少了每次迭代投影的计算量。这一特点是有吸引力的,特别是解决问题的预测是计算上不容易计算。在较宽松的假设下,证明了最优性残差的整体收敛保证和O(1/k)的遍历收敛速度.我们将我们提出的策略应用于l1球约束问题。数值结果表明,我们的非精确梯度投影法求解l1-ball约束问题比精确方法更有效。
2019-11-18 cs.LG math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集,每个已知的只有一个节点。为了解决这个问题,我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Characterizing arbitrarily slow convergence in the method of alternating projections
在1997年,Bauschke、Borwein和Lewis提出了一个截尾定理,描述了交替投影法的收敛速度可以任意慢的情况。然而,他们在证明这个定理时有两个错误。在本文中,我们证明了虽然其中一个错误是关键的,但定理本身是正确的。我们给出了一个不同的证明,它使用了谱定理的乘法形式,并且该定理在任何实或复希尔伯特空间中成立,而不仅仅是在实希尔伯特空间中。
2007-10-12 math.FA math.OC
An Efficient Gradient Projection Method for Structural Topology Optimization
针对结构拓扑优化问题,提出了一种基于梯度投影的有效算法,该算法的目标函数为非线性,且在由双边界和线性等式约束定义的可行域上最小化。利用约束类型的特殊性以及启发式工程经验,改进了缩放方案、投影和搜索步骤。具体地说,该方法利用梯度裁剪和在一定条件下对搜索方向的投影进行修正来提高算法的效率。此外,提出了一种近似该投影的解析解,其计算和存储开销可以忽略不计。此外,搜索步骤的计算大大简化。基准问题,包括MBB,力逆变器机构,和三维悬臂梁被用来验证该方法的有效性。所提出的方法在MATLAB中实现,MATLAB是开源的,用于教育用途。
2020-06-15 cs.CE math.OC
Local linear convergence of alternating projections in metric spaces with bounded curvature
我们认为流行的和经典的方法交替投影找到一个点在两个封闭的集合的交集。通过将算法置于度量空间中,仅配备良好的测地线和角度(在Alexandrov的意义上),我们能够突出局部线性收敛的标准直观分析中的两个关键几何成分。第一个是关于交的类横截条件;第二个是关于一个集合的类凸条件:“测地线的一致逼近”。"
2022-06-09 math.MG math.OC
Convergence Analysis of Projection Method for Variational Inequalities
本文的主要贡献是在实希尔伯特空间中提出了一类解变分不等式问题的惯性投影型算法,并对算法的收敛性进行了分析.我们进行了一个统一的分析所提出的方法在非常温和的假设。特别地,建立所生成的序列的弱收敛,并且建立非渐近的$O(1/n)$收敛速率,其中$n$表示迭代计数器。我们还提供了一些实验结果来说明引入惯性外推步骤所获得的好处。
2021-01-22 math.FA math.OC
Gradient projection method and stochastic search for some optimal control models with spin chains. II
Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了自旋链最优控制问题,通过梯度投影法和遗传算法解决转移与保持问题,并展示了多步GPM的优势。
2025-12-11 math.OC quant-ph
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题,提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法,构建通用分析框架推导约束违反估计,发现具备修正能量稳定性的BDF-k加速梯度方法族,实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
Strong convergence with a modified iterative projection method for hierarchical fixed point problems and variational inequalities
本文讨论了近似非扩张映象序列关于非扩张映象的分层不动点问题的一种改进的迭代投影逼近方法。证明了在对算子和参数作一定的近似假设下,修正的迭代序列强收敛于几乎非扩张映象的公共不动点集的一个公共元,并且该公共元解了某些变分不等式.作为一种特殊情况,这种投影方法可用于求给定变分不等式的最小范数解。所得结果改进和推广了其他作者最近的相应结果.
2014-03-13 math.FA math.OC
Efficient Projection-Free Online Methods with Stochastic Recursive Gradient
Zhejiang University(浙江大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);University of Western Ontario(西安大略大学)
本文主要研究求解光滑在线凸优化(OCO)问题的无投影方法。现有的无投影方法要么达到次优的遗憾界限,或有很高的每次迭代的计算成本。为了填补这一空白,两个有效的投影免费在线方法被称为ORGFW和MORGFW提出解决随机和对抗OCO问题,分别。通过采用递归梯度估计,我们的方法实现了最佳的遗憾界(对数因子),同时具有较低的每次迭代的计算成本。实验结果表明,所提出的方法相比,国家的最先进的效率。
2019-10-24 cs.LG math.OC stat.ML
Projection-Free Adaptive Gradients for Large-Scale Optimization
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
大规模优化的复杂性可能在于处理目标函数和处理约束集。在这方面,随机Frank-Wolfe算法占据了独特的位置,因为它们减轻了计算负担,通过只查询近似的一阶信息的目标,并通过保持迭代的可行性,而不使用投影。在本文中,我们通过自适应梯度混合来提高一阶信息的质量。我们推导出收敛速度,并证明了我们的方法在凸和非凸目标的最先进的随机Frank-Wolfe算法的计算优势。实验结果进一步表明,该方法可以提高自适应梯度算法的性能。
2021-02-15 cs.LG math.OC