Accelerated Riemannian optimization methods often require a priori assumptions that their iterates remain in a region where geometric bounds hold. We develop a parameterized inertial dynamical system and an explicit accelerated gradient method for smooth geodesically convex optimization on Riemannian manifolds with locally bounded sectional curvature. Our setting allows both positive and negative curvature without requiring completeness of the ambient manifold. Starting from a curvature-corrected continuous model, we construct the discrete updates by eliminating indefinite cross terms in the Lyapunov energy difference and derive verifiable conditions for a fixed step size. The resulting energy analysis establishes preservation of the initial geodesic ball without assuming iterate containment in advance. We further establish accelerated convergence rates for both geodesically convex and strongly geodesically convex objectives, without requiring restarts.
A FISTA-type Riemannian Accelerated Proximal Gradient Method
School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院);College of Mathematics and Computer Science, Yan’an University(延安大学数学与计算机学院);Shanghai Institute of Applied Mathematics and Mechanics, Shanghai University(上海大学上海应用数学和力学研究所);School of Mechanics and Engineering Science, Shanghai University(上海大学力学与工程科学学院)
我们提出了一个黎曼版本的Nesterov的加速梯度算法(RAGD),并表明,测地光滑和强凸的问题,在一个邻域内的极小值,其半径取决于条件数以及截面曲率的流形,RAGD收敛到极小加速。与(Liu et al.,2017),需要精确解的非线性方程,这反过来可能是棘手的,我们的算法是建设性的和计算上易处理的。我们的证明利用了一个新的估计序列和一个新的非线性度量失真的界限,这两个想法可能是独立的利益。
Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties
Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
我们提出了一种全局加速的一阶方法,用于在广泛的一类Hadamard流形中优化光滑和(强或非)测地线凸函数。我们实现了与Nesterov加速梯度下降相同的收敛速度,直到乘法几何惩罚和对数因子。至关重要的是,我们可以强制我们的方法保持在我们定义的紧致集内。现有的完全加速的作品\emph{resort to assuming},他们的算法的迭代停留在一些预先指定的紧集,除了两个有限的适用性的前方法。对于我们的流形,这解决了[KY22]中关于获得全局广义加速度而不迭代地停留在可行集中的公开问题。在我们的解决方案中,我们设计了一个加速的黎曼不精确邻近点法,这是一个结果,是未知的,甚至与精确访问的邻近算子,是独立的利益。对于光滑函数,我们证明了我们可以在一定直径的黎曼球上用一阶方法不精确地实现逼近步骤,这足以进行全局加速优化。
A Variational Formulation of Accelerated Optimization on Riemannian Manifolds
最近,Su等人(2016)证明了Nesterov的加速梯度法用于最小化光滑凸函数$f$可以被认为是二阶常微分方程的时间离散化,并且$f(x(t))$沿着该常微分方程的任何轨迹$x(t)$以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。Wibisono等人(2016)引入了一种变分公式,该公式允许在赋范向量空间中以$\mathcal{O}(1/t^p)$的速率加速收敛,对于任意$p>0$。Duruisseaux等人(2021)利用这个框架来设计辛加速优化的有效显式算法。在Alimisis等人(2020)中,提出了一个二阶常微分方程作为黎曼加速算法的连续时间极限,并证明了目标函数$f(x(t))$沿着该常微分方程的解以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。本文通过研究黎曼流形上一类含时Bregman Lagrange系统和哈密顿系统,证明了在黎曼流形上$f(x(t))$到其最优值的收敛速度也可以加速到任意的收敛速度$\mathcal{O}(1/t^p)$.这将Wibisono et al.(2016)的结果推广到了黎曼流形,并为黎曼流形的加速优化提供了一个变分框架。在Duruisseaux et al.(2021)中,基于Bregman Lagrangians和Hamilton族的时间不变性的方法被用于构造非常有效的优化算法,并且我们在黎曼设置中…
GPU-accelerated FREDopt package for simultaneous dose and LETd proton radiotherapy plan optimization via superiorization methods
Silesian University of Technology(西里西亚理工大学);Institute of Nuclear Physics PAN(波兰科学院核物理研究所);German Cancer Research Center (DKFZ)(德国癌症研究中心);National Oncology Institute, National Research Institute, Krakow Branch(国家肿瘤研究所克拉科夫分部);Dipartimento di Scienze di Base e Applicate per l'Ingegneria, La Sapienza Università di Roma(罗马大学基础与应用工程科学系);University of Haifa(海法大学);Heidelberg University(海德堡大学)