A Riemannian Inexact Newton Dogleg Method for Constructing a Symmetric Nonnegative Matrix with Prescribed Spectrum
本文研究了由可实现谱构造对称非负矩阵的反问题。我们将反问题转化为黎曼乘积流形上的欠定非线性矩阵方程。为了解决这个问题,我们发展了一个黎曼欠定不精确Newton折线方法,用于求解定义在黎曼流形和欧几里得空间之间的一般欠定非线性方程。在适当的假设下,证明了该方法的全局收敛性和平方收敛性.然后将该方法应用于其等价的非线性矩阵方程求解反问题,并构造了扰动正规RiemannianNewton方程的预条件子.数值试验表明了该方法求解反问题的有效性。
2021-10-29 cs.NA math.NA
Solving Trust Region Subproblems Using Riemannian Optimization
置信域子问题是置信域方法中的一个基本最优化问题。然而,这个问题及其变体也出现在相当多的其他应用中。在这篇文章中,我们提出了一个家庭的迭代黎曼优化算法的变体的置信域子问题,取代了不等式约束与等式约束,并收敛到一个全局最优值。我们的方法使用平凡或非平凡的黎曼几何的搜索空间,只需要最小的频谱信息的二次分量的目标函数。我们进一步展示了黎曼优化理论如何促进对置信域子问题及其困难的更深入理解,例如,深入的联系之间的置信域子问题和问题的仿射特征向量,并根据全局最优值的黎曼Hessian算子的条件数的所谓的硬的情况下,一个新的检查。最后,我们建议通过仔细选择一个可变的黎曼度量,并建立预处理条件近似输入矩阵的渐近收敛率的界限。
2022-08-18 cs.NA math.NA math.OC
A Preconditioned Riemannian Gauss-Newton Method for Least Squares Inverse Eigenvalue Problems
Zhejiang University of Science and Technology(浙江科技大学);Xiamen University(厦门大学);University of Macau(澳门大学);Hangzhou Dianzi University(杭州电子科技大学)
本文提出了一种Riemannian近似广义牛顿法用于最小二乘反特征值问题,分析了其全局和局部收敛性,并提出预条件共轭梯度法求解Riemannian广义牛顿方程,通过数值实验验证了方法的有效性。
2018-06-17 cs.NA math.NA
Inverse scattering without phase: Carleman convexification and phase retrieval via the Wentzel--Kramers--Brillouin approximation
NC State University(北卡罗来纳州立大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对无相位背向散射测量重建介质介电常数的不适定逆问题,提出结合WKB相位恢复、傅里叶降维与Carleman凸化的全局收敛框架,高噪声合成数据实验验证了其可准确恢复散射体位置与对比度。
2025-06-26 cs.NA math.NA
Weighted Riemannian Optimization for Solving Quadratic Equations from Gaussian Magnitude Measurements
Hong Kong University of Science and Technology(香港科技大学);Hangzhou Normal University(杭州师范大学)
本文研究了广义相位恢复问题,通过在黎曼流形上建立新的度量,提出加权黎曼梯度下降算法以提高收敛速度和稳定性。
2026-04-15 cs.IT cs.NA math.IT
A Riemannian Derivative-Free Polak-Ribiere-Polyak Method for Tangent Vector Field
本文研究 Riemannian 流形上切向量场求零点问题,将其转化为等价优化问题,提出采用非单调线搜索的无导数 Polak-Ribiére-Polyak 方法,证明全局收敛,并结合 Riemannian Newton 方法提升效率,数值实验验证了方法的有效性。
2019-01-15 cs.NA math.NA
Spectral Residual Method for Nonlinear Equations on Riemannian Manifolds
本文将非线性方程谱算法(SANE)应用于求解黎曼流形上切向量场的零点问题。SANE的广义版本以系统的方式使用切向量场作为搜索方向和适应该方向的连续实值函数,并确保其验证相关优值函数的下降条件。为了加快所提出的方法的收敛速度,我们将黎曼自适应谱参数结合非单调全球化技术。在一些标准假设下证明了该方法的整体收敛性。数值结果表明,该算法能有效地求解不同黎曼流形上的切向量场,并能与最近发表的Polak-Ribiére-Polyak方法及其它已有的方法相媲美.
2020-11-27 cs.NA math.NA
Accelerated Optimization on Riemannian Manifolds via Discrete Constrained Variational Integrators
Wibisono等人最近提出了一种在赋范向量空间上加速优化的变分公式,后来推广到Duruisseaux和Leok的黎曼流形。这种变分框架在Duruisseaux等人的赋范向量空间上被利用,使用时间自适应几何积分器来设计用于辛加速优化的有效显式算法,并且观察到,尊重拉格朗日流和哈密顿流的时间重新缩放不变性和辛性的几何离散化实质上不太容易出现稳定性问题,因此更鲁棒、可靠,并且计算效率高。因此,发展时间自适应的哈密顿变分积分器来加速黎曼流形上的优化是很自然的。在本文中,我们考虑的情况下,黎曼流形嵌入在欧几里得空间,可以表征为水平集的浸没。我们将探讨如何完整约束可以纳入离散变分积分约束的数值离散的黎曼哈密顿系统黎曼流形,我们将测试所得到的算法的性能,通过解决本征值和Procrustes问题制定为最优化问题的单位球和Stiefel流形。
2022-03-17 cs.NA math.NA
A parallel domain decomposition method for solving elliptic equations on manifolds
提出一种求解紧致黎曼流形上椭圆方程的并行区域分解方法,无需全局三角剖分,具备高度并行迭代格式,并在$4$维流形上验证了有效性。
2025-01-13 cs.NA math.NA
Implicit low-rank Riemannian schemes for the time integration of stiff partial differential equations
National Center for Theoretical Sciences(国家理论科学中心);University of Geneva(日内瓦大学)
针对刚性非线性偏微分方程的低秩时间积分,提出两种隐式数值格式,采用预条件黎曼信赖域方法,避免了固定点迭代对时间步长的限制,并在Allen-Cahn和Fisher-KPP方程上验证了效率。
2023-05-19 cs.NA math.NA
Riemannian optimization with a preconditioning scheme on the generalized Stiefel manifold
Tel Aviv University(特拉维夫大学)
广义Stiefel流形(及其乘积)上的最优化问题在科学和工程中是普遍存在的。例如,在计算科学中,它们出现在对称(广义)本征值问题、非线性本征值问题和电子结构计算中,仅举几个问题。在统计学和机器学习中,它们出现在各种降维技术中,例如典型相关分析。在深度学习中,正则化和改进的稳定性可以通过将某些层约束为具有属于Stiefel流形的参数矩阵来获得。广义Stiefel流形上的问题可以通过黎曼优化的工具来解决。然而,使用标准的几何组件的广义Stiefel流形有两个可能的缺点:计算一些几何组件可能过于昂贵,在某些情况下收敛可能会相当慢。这两个缺点都可以使用称为黎曼预处理的技术来解决,该技术相当于使用由在约束流形上定义黎曼度量的预处理器导出的几何分量。在本文中,我们开发的几何组件进行黎曼优化的广义Stiefel流形上配备了一个非标准的度量,并从理论和数值上说明使用这些组件和黎曼预处理的效果,解决最优化问题的广义Stiefel流形。
2022-11-15 cs.DS cs.LG cs.NA
Riemannian multigrid line search for low-rank problems
University of Geneva(日内瓦大学)
针对PDE离散化产生的大规模优化问题,提出一种在固定秩黎曼流形上直接优化的多重网格算法,并采用Hager-Zhang线搜索的黎曼推广实现机器精度解。
2021-03-02 cs.NA math.NA
A Riemannian Trust Region Method for the Canonical Tensor Rank Approximation Problem
Max-Planck-Institute for Mathematics in the Sciences(马普科学数学研究所);KU Leuven(荷语鲁汶大学)
本文提出了一种基于黎曼几何的高斯-牛顿信任区域方法,用于解决小规模密集的规范张量秩近似问题,通过将约束集参数化为Segre流形的笛卡尔积,提出了一种新的retraction算子,并引入了热重启机制以提高优化效率。
2018-07-11 cs.NA math.NA
Low-rank solutions to a class of parametrized systems using Riemannian optimization
Gran Sasso Science Institute(格兰萨索科学研究所);Politecnico di Torino(都灵理工大学)
本文提出利用黎曼优化方法求解参数化系统的低秩近似,通过将参数化系统重新解释为优化问题的最优性条件,实现对固定秩矩阵的优化,适用于线性和非线性问题,通过理论分析和数值实验验证了方法的有效性。
2026-04-08 cs.NA math.NA
On Riemannian Approach for Constrained Optimization Model in Extreme Classification Problems
Internation Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
我们提出了一种新的黎曼方法来解决极端多标签分类问题,利用稀疏低维局部嵌入模型的几何结构。将约束最优化问题表示为矩阵流形上的最优化问题,并采用黎曼最优化方法求解。该方法在几个真实世界的大规模多标签数据集上进行了测试,并通过数值实验证明了其有效性。数值实验表明,该方法是最快的训练和最小的嵌入式方法中的模型大小。本文还简要介绍了所提出的黎曼最优化方法的收敛性证明。
2021-09-30 cs.LG cs.NA math.NA
A numerical domain decomposition method for solving elliptic equations on manifolds
本文提出一种避免全局网格的数值区域分解方法,用于求解紧致黎曼流形上的椭圆方程,并在多个四维流形上验证了其有效性。
2023-10-31 cs.NA math.DG math.NA
Scalable Nuclear-norm Minimization by Subspace Pursuit Proximal Riemannian Gradient
The University of Adelaide(阿德莱德大学);Charles Sturt University(查尔斯特大学)
本文提出一种基于子空间追求的近端黎曼梯度方法,用于高效求解核范数正则化问题,避免大秩SVD,提升矩阵补全和子空间聚类等任务的性能。
2015-03-18 cs.LG cs.NA math.NA
High order integration of stochastic dynamics on Riemannian manifolds with frozen flow methods
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Univ Rennes, INRIA (Research team MINGuS), IRMAR (CNRS UMR 6625) and ENS Rennes(雷恩大学、法国国家信息与自动化研究所(MINGuS研究团队)、法国国家科学研究中心(IRMAR UMR 6625)和巴黎高等师范学院雷恩分部)
该研究提出一类求解黎曼流形上加性噪声随机微分方程的内蕴高阶弱精度数值方法,给出收敛性分析与阶条件计算的代数形式,构造二阶显式方法并通过实验验证,拓展至不变测度采样。
2026-10-12 cs.NA math.CO math.NA
On the convergence of orthogonalization-free conjugate gradient method for extreme eigenvalues of Hermitian matrices: a Riemannian optimization interpretation
本文证明求解无约束 Burer-Monteiro 公式的非线性共轭梯度法等价于 Bures-Wasserstein 度量下商流形上的黎曼共轭梯度法,从而证明其全局收敛性,并通过数值实验验证了其在大规模厄米矩阵极端特征值计算中的高效性。
2023-12-02 cs.NA math.NA math.OC
The leapfrog algorithm as nonlinear Gauss-Seidel
优化、图像和信号处理中的几个应用程序处理属于Stiefel流形St(n,p)的数据,即具有正交列的n × p矩阵的集合。一些应用,如黎曼质心,需要计算St(n,p)上任意两点之间的黎曼距离。这可以通过显式构造连接这两个点的测地线来完成。现有的一种求测地线的方法是J.L.诺克斯该算法与Gauss-Seidel方法有关,Gauss-Seidel方法是一种经典的迭代法,用于求解线性方程组,可以扩展到非线性系统。我们提出了一个收敛性证明的蛙跳作为一个非线性Gauss-Seidel方法。我们的讨论仅限于Stiefel流形的情况,然而,它可以推广到其他嵌入子流形。我们讨论了蛙跳的其他方面,并提出了一些数值实验。
2023-01-28 cs.NA math.NA
Efficient Quasi-Geodesics on the Stiefel Manifold
解决所谓的测地线端点问题,即,找到连接流形上两个给定点的测地线是几乎所有数据处理操作的基础,包括平均、聚类、插值和优化。在标准正交标架的Stiefel流形上,这个问题涉及到计算。一种补救方法是用拟测地线代替黎曼测地线。准测地线的特征在于恒定速度和协变加速度,具有恒定(但可能非零)范数。对于一个著名的类型的准测地线,我们推导出一个新的表示,适合于大规模的计算。此外,我们引入了一种新的准测地线,原来是更接近黎曼测地线。
2021-05-14 cs.NA math.DG math.NA
Manifold Free Riemannian Optimization
黎曼优化是一种用于解决最优化问题的原则框架,其中所需的最优值被约束到光滑流形$\mathcal{M}$。在这个框架中设计的算法通常需要流形的一些几何描述,其通常包括切空间、收缩和费用函数的梯度。然而,在许多情况下,由于缺乏信息或难以处理,只能访问这些元素的一个子集(或根本无法访问)。在本文中,我们提出了一种新的方法,可以执行近似黎曼优化在这种情况下,约束流形是$\R^{D}$的子流形。在最低限度,我们的方法只需要一个无噪声的样本集的费用函数$(\x_{i}, y_{i})\in {\mathcal{M}} \times \mathbb{R}$和流形$\mathcal{M}$的固有维数。使用样本,并利用流形-MLS框架(Sober和Levin 2020),我们构建了缺失组件的近似,并分析了它们的计算成本。在某些组件是解析地给出的情况下(例如,如果明确给出了费用函数及其梯度,或者如果可以计算切空间),则该算法可以容易地适于使用精确表达式而不是近似值。我们使用我们的方法分析了基于黎曼梯度的方法的整体收敛,我们实证证明了这种方法的强度,以及基于类似原则的共轭梯度型方法。
2022-09-07 cs.CG cs.NA math.DG
Solving the Discrete Euler-Arnold Equations for the Generalized Rigid Body Motion
Coimbra Polytechnic–ISEC(科英布拉理工学院);Center for Mathematics, University of Coimbra(科英布拉大学数学中心);Institute for Systems and Robotics (LARSyS)(系统与机器人研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
我们提出了三种迭代法求解Moser-Veselov方程,这是在离散的欧拉-阿诺德微分方程控制的广义刚体的运动。首先,我们制定的问题作为一个最优化问题正交约束,并证明了目标函数是凸的。然后,利用黎曼流形上的优化技术,设计了三个可行的算法。第一种方法使用Bregman方法分割正交约束,而另外两种方法是最速下降类型。第二种方法使用Cayley变换来保持约束和Barzilai-Borwein步长,而第三种方法涉及测地线,其中步长由Armijo规则计算。最后,通过一组数值实验比较了两种算法的性能,结果表明,第一种算法在精度和迭代次数方面性能最优.这些迭代法的一个重要优点是,即使在文献中可用的直接法的适用条件不满足时,它们也能工作。
2021-09-01 cs.NA cs.RO math.NA
Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods
该研究针对辛约束优化问题,在辛Stiefel流形上构建易处理度量的黎曼优化几何要素,开发显式二阶几何与多种黎曼牛顿法,提出兼具全局与局部快速收敛性的混合算法,数值实验验证了方法有效性。
2024-06-20 cs.NA math.NA math.OC