Semismooth Newton methods for degenerate polyhedral projection
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所);Fudan University(复旦大学)
研究退化多面体投影问题的对偶半光滑牛顿法,利用对偶表示非唯一性,引入原对偶提升投影等价集,建立位移界,开发不精确对偶SSN方法及全局化版本,具全局收敛和局部超线性收敛性,数值实验证其在高度退化设置下的鲁棒性。
2026-07-15 math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是:i)许多著名的算子分裂方法,如前向后分裂(FBS)和Douglas-Rachford分裂(DRS),实际上定义了一个不动点映射; ii)复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的,但它们往往是半光滑的,并且由于单调性,它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术,我们提出了一种自适应半光滑牛顿法,并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明,我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Improving Quasi-Newton Methods via Image and Projection Operators
本文提出统一框架,通过像与投影算子改进拟牛顿方法,在不依赖精确线搜索下实现二次终止,并显著提升DFP、BFGS、PSB、L-BFGS和BGM等方法的性能。
2025-08-13 math.OC
Projection-Free Online Convex Optimization via Efficient Newton Iterations
本文提出一种利用自和谐障碍函数和高效牛顿迭代的无投影在线凸优化算法,通过利用牛顿迭代稳定性减少矩阵求逆次数,实现最先进遗憾界。
2023-06-19 cs.LG math.OC
A semi-smooth Newton method for the nonlinear conic problem with generalized simplicial cones
State University of Campinas(坎皮纳斯州立大学);Northern Illinois University(北伊利诺伊大学);University of São Paulo(圣保罗大学)
本文提出一种非光滑牛顿法解决非线性锥优化问题,针对广义单纯锥建立锥投影方程,证明其二次收敛性,并在低秩矩阵补全问题中进行数值实验。
2026-04-20 math.OC
Inexact Newton-type Methods for Optimisation with Nonnegativity Constraints
针对带非负约束的大规模非凸优化问题,本文扩展双度量投影框架,通过非精确求解子问题与非正曲率方向适配大规模非凸场景,实现了当前最优收敛速率与优异实际性能。
2024-05-20 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题,提出雅可比奇异的正则化非光滑牛顿算法,实验显示其性能优于经典HLWB投影法,还衍生出垫脚石外部路径跟踪算法及多种应用,并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
Projection onto simplicial cones by a semi-smooth Newton method
IME/UFG(乌比巴联邦大学数学研究所);The University of Birmingham(伯明翰大学)
本文通过Moreau分解定理将单纯锥投影问题转化为求解非光滑方程组问题,证明半光滑牛顿法在该问题中始终有定义,序列有界且在一定条件下收敛到解。
2014-04-09 cs.NA math.NA math.OC
Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$,在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下,分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界(EB)条件的梯度投影法,导致收敛域的牛顿法。我们证明,这些EB条件是典型的一类最优化问题。通过切换到牛顿法,可以达到算法的高收敛速度。
2019-12-10 math.OC
Error whitening: Why Gauss-Newton outperforms Newton
University of British Columbia(不列颠哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
本文从函数空间视角分析高斯-牛顿法优于牛顿法的原因,指出通过投影消除参数化扭曲,实现误差白化,从而在不同学习任务中表现更优。
2026-05-11 cs.LG math.OC
Fast projection onto the intersection of simplex and singly linear constraint and its generalized Jacobian
本文针对单纯形与单个线性不等式约束交集上的投影问题,提出结合 Lagrange 对偶与改进割线法的 LRSA,并推导其广义 HS-Jacobian,实验表明其优于 SSN 与 Gurobi。
2025-02-17 math.OC
Extension of the LP-Newton method to SOCPs via semi-infinite representation
LP-Newton方法通过将当前点重复投影到某个相关多面体上来解决线性规划问题(LP)。在本文中,我们扩展的LP-牛顿方法的算法框架,二阶锥规划问题(SOCP)通过一个线性半无限规划(LSIP)的重新制定给定的SOCP。在扩展中,我们产生一个序列的投影到多面体锥构造的LP通过松弛LSIP获得。在较温和的假设下,证明了该算法的整体收敛性,并通过数值实验将该算法与SOCP的原对偶内点方法进行比较,考察了其效率。
2019-02-04 math.OC
A Collaborative Jamming Algorithm Based on Multi-UAV Scheduling
本文针对多无人机协同干扰任务,提出一种基于交替方向乘子法的迭代算法,联合优化无人机部署与天线朝向,并通过仿真验证其有效性。
2023-11-30 math.OC
A Newton-Type Active Set Method for Nonlinear Optimization with Polyhedral Constraints
提出了一种求解多面体约束下大规模极小化问题的牛顿型有效集算法。该算法由梯度投影步骤、约束矩阵零空间中的二阶牛顿型步骤和两步之间的分支规则组成。我们表明,所提出的方法渐近牛顿步骤时,积极约束是线性无关和一个强的二阶充分最优性条件举行。我们还表明,该方法在标准条件下具有二次收敛速率。数值实验说明了该算法的性能CUTEst和一类特定的问题,找到二阶稳定点是至关重要的。
2021-01-09 math.OC
Projection, Degeneracy, and Singularity Degree for Spectrahedra
University of Waterloo(滑铁卢大学)
研究谱面体投影的半光滑牛顿法的收敛行为,通过面约化处理严格可行性约束缺失问题,推导投影公式并分析退化导致的病态条件,应用于相关矩阵集和置换矩阵的半定松弛。
2026-06-29 math.OC
On Degenerate Doubly Nonnegative Projection Problems
双非负(DNN)锥是所有元素非负的正半定矩阵的集合,是计算上难以处理的完全正锥的一个流行的近似。用Newton型方法计算大规模矩阵在DNN锥上的投影的主要困难在于约束非退化性的可能失效,这是非线性规划线性无关约束规格的推广.这种失效导致代表Karush-Kuhn-Tucker最优性条件的非光滑方程的雅可比矩阵的奇异性,从而阻止半光滑Newton-CG方法以期望的收敛速度求解该方程。在本文中,我们克服了上述困难,通过求解一系列更好的条件非光滑方程产生的增广拉格朗日方法(ALM),而不是解决上述奇异方程。利用半正定锥的法锥的度量次正则性,得到了保证问题的对偶二次增长条件的充分条件,从而进一步证明了算法的渐近超线性收敛.困难的随机生成的情况下,从半定规划库的数值结果,以证明计算DNN投影到一个非常高的精度的算法的效率。
2021-09-01 math.OC
Fast projection onto the ordered weighted $\ell_1$ norm ball
在本文中,我们提供了一个计算到有序加权$\ell_1$(OWL 1)范数球上的欧氏投影的有限终止但有效的方法。特别地,提出了一种有效的半光滑牛顿法,用于求解原投影问题的对偶。证明了该算法的全局和局部平方收敛结果以及有限终止性。与两个最著名的方法的数值比较证明了我们的方法的效率。此外,我们推导出所研究的投影仪的广义雅可比矩阵,我们相信,这是至关重要的,为未来设计的快速二阶非光滑方法解决一般的OWL 1范数约束问题。
2020-07-19 math.OC
Quasi-Newton Steps for Efficient Online Exp-Concave Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文的目的是设计计算效率和最优算法的在线和随机指数凹优化设置。用于这些设置的典型算法,例如在线牛顿步长(ONS),可以保证在$T$轮之后其遗憾上的$O(d\ln T)$界限,其中$d$是可行集的维度。然而,这样的算法执行所谓的广义投影时,他们的迭代步骤可行集之外。这种广义投影需要$Ω(d^3)$算术运算,即使对于诸如欧几里得球的简单集合也是如此,从而在最坏的情况下使得$T$轮之后的$d^3 T$阶ONS的总运行时间。在本文中,我们侧步广义投影使用自协调障碍作为正则化计算牛顿步骤。这确保了迭代总是在可行集内,而不需要投影。这种方法仍然需要在每一步计算障碍的Hessian的逆。然而,使用的牛顿步骤的稳定性,我们表明,逆的海森可以有效地近似通过泰勒展开的大多数回合,导致在一个$O(d^2 T +d^ω\sqrt{T})$总的计算复杂性,其中$ω$是矩阵乘法的指数。在随机设置中,我们表明,这转化为一个$O(d^3/ε)$计算复杂性找到一个$ε$ -次优点,回答一个开放的问题Koren 2013。我们首先显示这些新的结果的简单情况下,可行集是一个欧几里得球。然后,移动到一般的凸集,我们使用一个减少到在线凸优化欧几里德球。我们的最终算法可以被看作是一个更有效的版本的ONS。
2023-02-14 cs.LG math.OC
Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton
Huazhong University of Science and Technology(华中科技大学);University of California, Berkeley(加州大学伯克利分校)
本文研究了随机采样矩阵中的逆偏问题,提出了一种修正方法,并建立了子采样牛顿方法的局部收敛率。
2026-03-03 cs.NA math.NA math.OC
A Regularized Newton-Type Method for Manifold--Affine Intersection Problems under Intrinsic Transversality
University of Science and Technology of China(中国科学技术大学)
提出正则化牛顿-SLRA算法解决流形与仿射子空间交集问题,在弱横截条件下实现线性收敛,在横截条件下达到二次收敛,并验证了近似投影变体的鲁棒性。
2026-09-18 cs.NA math.NA math.OC
Offline state estimation for hybrid systems via nonsmooth variable projection
混合动力系统在时间或状态触发的事件处在动力机制之间切换。我们提出了一种离线算法,同时估计离散和连续组件的混合系统的状态。我们制定的状态估计作为一个连续的最优化问题放松离散元件,并使用一个强大的损失函数,以适应大的变化,在开关事件的连续组件。随后,我们提出了一种新的非光滑变量投影算法与高斯牛顿更新来解决状态估计问题,并证明了该算法的整体收敛到平稳点。我们证明了我们的方法对简单的分段线性和非线性机械系统进行间歇性的影响。
2019-05-22 math.OC
Zeroth-Order Randomized Subspace Newton Methods
零阶方法已经成为解决问题的重要工具,我们只能访问函数评估。然而,零阶方法只使用梯度近似是$n$倍,比经典的一阶方法求解n维问题。为了加快算法的收敛速度,本文提出了零阶随机子空间牛顿(ZO-RSN)方法,该方法通过随机绘制和有限差分来估计梯度和Hessian的投影。这使我们能够在较低维的子空间中计算牛顿步骤,计算成本很小。证明了对于强凸问题,ZO-RSN比现有的零阶方法具有更低的迭代复杂度。我们的数值实验表明,ZO-RSN可以执行黑盒攻击的函数查询的数量比最先进的海森感知零阶方法的限制更严格。
2022-02-09 math.OC
Projection onto simplicial cones by Picard's method
利用Moreau的投影到锥上的分解定理,将投影到单纯锥上的问题归结为求非光滑方程组的唯一解。它表明,皮卡德的方法适用于方程组的问题,投影到一个单纯锥产生一个序列,线性收敛到系统的解决方案。数值实验比较了Picard法和半光滑牛顿法求解点投影到单纯锥上的非光滑方程组的结果。
2015-03-10 math.OC
On the resolution of $\ell_1$-norm minimization via a two-metric adaptive projection method
The University of Hong Kong(香港大学);Institute of Data Science, The University of Hong Kong(香港大学数据科学研究所)
本文提出一种高效的双度量自适应投影方法,用于解决ℓ1范数最小化问题。该方法结合了Hessian信息,具有低迭代成本,能有效处理大规模问题,且具备全局收敛性和局部超线性收敛性。
2026-04-15 math.OC
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida(佛罗里达大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文研究了非凸集上的凹最小化问题,提出并分析了梯度投影算法和近似牛顿算法,展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
A Quadratically Convergent Alternating Projection Method for Nonconvex Sets
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所);National University of Singapore(新加坡国立大学);University of Chicago(芝加哥大学)
本文提出了一种针对非凸集的二次收敛交替投影方法,通过交替牛顿步和投影操作,在非退化条件下实现局部二次收敛性,并通过实验验证了方法的高效性。
2025-11-28 math.OC
Parallel Newton methods for the continuous quadratic knapsack problem: A Jacobi and Gauss-Seidel tale
Federal University of Espírito Santo(圣埃斯皮里图联邦大学);Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文提出了一种改进的半光滑牛顿方法用于连续二次背包问题,通过引入Condat的初始乘数猜测和灵活的并行变体,提高了算法效率和可扩展性。
2026-11-10 math.OC
A unified analysis of convex and non-convex lp-ball projection problems
投影到$\ell_p$范数球上的任务在统计学和机器学习中无处不在,然而用于这样做的可操作算法的可用性在很大程度上限于$p = \left\{ 0, 1,2, \infty \right\}$的特殊情况。在本文中,我们介绍了新的,可扩展的方法投影到$\ell_p$球一般$p>0$。对于$p \geq1 $,我们通过对偶牛顿法求解一元拉格朗日对偶。然后,我们仔细设计了一个二分法的$p<1$,提出了理论和经验证据的零或一个小的二元差距在非凸的情况下。我们的贡献的成功是彻底的经验评估,并应用于大规模的正则化多任务学习和压缩感知。
2022-03-02 math.OC
Complexity of a Projected Newton-CG Method for Optimization with Bounds
本文融合梯度投影与 Newton-CG,提出一种界约束非凸光滑优化方法,并基于新的 $ε$-近似二阶最优性定义给出迭代与计算复杂度界。
2023-06-07 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
A Newton-bracketing method for a simple conic optimization problem
对于二次最优化问题(QOP)的拉格朗日-DNN松弛,我们提出了一种牛顿包围法来改善BBCPOP中的二分投影方法的性能。软件,2019年]。松弛问题被转换成的问题,找到最大的零$y^*$的连续可微(除了在$y^*$)凸函数$g : \mathbb{R} \rightarrow \mathbb{R}$,使$g(y) = 0$如果$y \leq y^*$和$g(y) > 0$否则。理论上,该方法生成的$y^*$的上下界均收敛于$y^*$ .如果$g$在$y^*$的右导数为正,则它们的收敛性是二次的。$g'(y)$的精确计算对于方法的鲁棒性是必要的,但在实际中很难实现。作为替代,我们提出了割线括号法。我们证明,该方法提高了质量的下界BBCPOP和SDPNAL+从BIQMAC的二进制QOP实例。此外,新的下界的未知的大规模QAP实例的QAPLIB的最优值。
2019-05-30 math.OC
Energy Space Newton Differentiability for Solution Maps of Unilateral and Bilateral Obstacle Problems
本文证明了单边和双边障碍问题的解映射在特定条件下是牛顿可微的,并给出显式导数公式,应用于半光滑牛顿法求解最优控制问题。
2023-08-29 math.OC
Bounded perturbation resilience of projected scaled gradient methods
研究了求解凸极小化问题的投影尺度梯度方法。这些方法沿着对角缩放的梯度方向执行下降步骤,然后通过正交投影到约束集上执行可行性恢复步骤。这构成了一个广义的算法结构,包括作为特殊情况的梯度投影法,投影牛顿法,投影Landweber型方法和广义期望最大化(EM)型方法。证明了在有界扰动下PSG方法的收敛性。这种弹性有界扰动的能力,最近开发的优越化方法PSG方法,特别是EM算法。
2015-07-27 math.OC
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种随机二阶优化方法,称为牛顿草图:它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数,我们证明了该算法具有指数高概率的超线性收敛,收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化,类似的保证也适用于强凸和光滑的目标,没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时,该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法,涉及凸约束的程序,配备了自我和谐的障碍。我们讨论并举例说明应用线性规划,二次规划与凸约束,逻辑斯谛回归和其他广义线性模型,以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
A unified approach for projections onto the intersection of $\ell_1$ and $\ell_2$ balls or spheres
设计了一种统一的方法来计算一个$\ell_1$球/球体和一个$\ell_2$球/球体在其交点上的投影。我们发现,解决这些问题的主要计算工作都依赖于找到同一个分段二次函数的根,然后提出了一个统一的数值方法计算的根。特别地,我们设计了断点搜索法与二分法,割线法和牛顿法结合使用的排序/不排序,以找到包含根的区间,根在该区间上具有封闭形式。结果表明,我们提出的算法在不进行排序的情况下具有$O(n log n)$最坏情况复杂度和$O(n)$.数值实验证明了算法的有效性。
2019-11-10 cs.NA math.NA math.OC
Fast Projection onto the Capped Simplex with Applications to Sparse Regression in Bioinformatics
University of Waterloo(滑铁卢大学);Peking University(北京大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文提出一种基于牛顿法的O(n)复杂度快速投影算法,用于k-带帽单纯形投影,在生物信息学大规模稀疏回归中显著加速PQN方法,较现有方法快3-8倍。
2021-10-26 cs.LG math.OC q-bio.GN
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics;Institute of Operations Research;Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics;Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法,结合投影牛顿与顶点交换方法,高效求解广义单纯形约束下的自和谐最小化问题,并辅以半光滑牛顿投影方法,实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
Variable projection framework for the reduced-rank matrix approximation problem by weighted least-squares
本文系统回顾并发展了用于加权低秩逼近问题的变量投影二阶优化算法,推导了雅可比矩阵和海森矩阵的新公式并揭示其秩亏性质,同时建立了变量投影框架与Grassmann流形上黎曼优化的联系,为设计更鲁棒高效的WLRA求解算法提供了理论基础。
2025-05-06 cs.NA math.NA math.OC
Solving Semi-Linear Elliptic Optimal Control Problems with $L^1$-Cost via Regularization and RAS-Preconditioned Newton Methods
本文针对半线性椭圆PDE支配的$L^2$/$L^1$正则化最优控制问题,提出结合正则化近似、延拓策略和RAS预条件牛顿法的并行计算框架,有效解决了$L^1$项的非光滑性难题并通过数值实验验证了其高效性。
2025-08-19 cs.NA math.NA math.OC
Application of projection algorithms to differential equations: boundary value problems
CARMA, University of Newcastle, Australia(澳大利亚纽卡斯尔大学 CARMA)
将二阶边界值问题转化为可行性问题,利用投射算法解决超曲面交集问题,展示方法在并行计算中的稳定性与有效性。
2018-09-20 cs.NA math.CA math.NA
FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection
Peking University(北京大学);Beihang University(北航)
提出FedSLoP算法,结合随机低秩子空间投影降低通信和存储开销,理论证明以O(1/√NT)速率收敛到一阶稳定点,实验在异构MNIST上优于FedAvg等基线。
2026-06-09 cs.LG math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
对于具有自协调、复合、强凸目标函数的凸优化问题,提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤,使用一个随机投影的Hessian。我们的第一个贡献是表明,在每次迭代中,嵌入维数(或草图大小)可以小到黑塞矩阵的有效维数。利用这一新的基本结果,我们设计了一个算法的草图大小成比例的有效尺寸,并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而,在大多数实际情况下,事先并不知道有效尺寸,这就产生了一个问题,即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此,我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率,不需要先验知识或估计的有效尺寸:在每次迭代中,它开始与一个小的草图尺寸,并增加它,直到二次进度实现。重要的是,我们表明,嵌入维数保持成比例的有效尺寸在整个路径,我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Federated Learning on Riemannian Manifolds: A Gradient-Free Projection-Based Approach
School of Information Management and Engineering, Shanghai University of Finance and Economics(上海金融学院信息管理与工程学院);School of Information Management and Engineering, Shanghai University of Finance and Economics(上海金融学院信息管理与工程学院;明尼苏达大学工业与系统工程系);Department of Industrial and System Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Department of Electrical and Computer Engineering, University of Minnesota
本文针对联邦学习中梯度不可得或参数受约束的问题,提出一种黎曼流形上基于投影的零阶算法,利用欧几里得随机扰动构建高效梯度估计器,并证明其达到与一阶方法相同的次线性收敛速率。
2025-08-21 cs.LG math.OC
Global Convergence of Policy Gradient for Sequential Zero-Sum Linear Quadratic Dynamic Games
我们提出了线性二次动态博弈的无投影序列算法。这些基于策略梯度的算法类似于Stackelberg领导模型,并且可以扩展到无模型设置。我们表明,如果领导者进行自然梯度下降/上升,那么该算法具有全局次线性收敛到纳什均衡。此外,如果领导者采用拟牛顿策略,算法具有全局二次收敛性。一路上,我们研究和澄清的复杂性,采用顺序的政策更新LQ游戏,即有关稳定,不确定的成本结构,并规避投影步骤的问题。
2019-11-12 cs.SY eess.SY math.OC