Distributed Zeroth Order Optimization Over Random Networks: A Kiefer-Wolfowitz Stochastic Approximation Approach
我们研究了一个标准的分布式优化框架，其中$N$网络节点协作最小化其局部凸成本之和。现有工作的主体考虑了当下层网络是静态的或确定性变化的时所描述的问题，并且分布式优化算法是一阶或二阶的，即，它涉及到局部成本的梯度和可能的局部Hessian。在本文中，我们考虑了目前研究不足但高度相关的场景：1）只有噪声函数值的估计可用（没有梯度也没有Hessian可以评估）; 2）底层网络是随机变化的（根据独立的，同分布的过程）。对于所描述的随机网络零阶优化设置，我们开发了一个分布式的Kiefer-Wolfowitz型随机逼近方法。此外，根据标准的光滑性和强凸性假设的本地成本，我们建立了$O(1/k^{1/2})$均方收敛速度的方法-该速度匹配的方法的集中式对应在同等条件下。
2018-03-21 math.OC
Optimal Zeroth-Order Bilevel Optimization
Oregon State University（俄勒冈州立大学）；Wisconsin Institute for Discovery, University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Waterloo（滑铁卢大学）
针对仅能获得含噪函数值的随机双层优化，论文提出基于 Jacobian/Hessian 与罚函数重构的两类零阶算法，分别达到 O(d³/ε²) 和维度线性依赖的 O(d/ε²) 最优样本复杂度。
2025-10-04 math.OC
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；New York University（纽约大学）；Princeton University（普林斯顿大学）
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题，首次建立了极小极大简单遗憾的紧致上下界，并提出一种结合引导阶段与镜像下降阶段的算法，通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT
A Gaussian smoothing-based zeroth-order method for Goldstein second-order stationarity
Chengdu University of Information Technology（成都信息工程大学）；The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University of Technology（浙江工业大学）
该研究引入戈德斯坦二阶δ-次微分等概念，针对连续可微函数提出基于立方正则化和高斯平滑同伦的零阶算法，用于寻找近似二阶平稳点，并推导了迭代复杂度。
2026-07-24 math.OC
Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds
本文提出沿 Stiefel 流形上的随机正交方向进行有限差分，构建低方差零阶梯度与 Hessian 估计器，并给出更精细的偏差界。
2023-03-30 cs.LG math.OC
Zeroth-Order Optimization at the Edge of Stability
ETHZ（苏黎世联邦理工学院）；MPI（智能系统马克斯·普朗克研究所）
研究零阶优化方法在深度学习中的稳定性，揭示其与一阶方法在Hessian谱依赖上的差异，并提出可计算的稳定性界限。
2026-07-02 cs.LG math.DS math.OC
Hessian Estimation via Stein's Identity in Black-Box Problems
当可用的信息是噪声零阶（ZO）预言，随机逼近方法是流行的多元梯度方程的根估计。受Stein恒等式的启发，本文建立了一种新的Hessian近似格式。我们比较它旁边的二阶同时扰动随机逼近（2SPSA）。在几乎必然收敛和相同的收敛速度的基础上，2SPSA需要4个ZO查询，而我们的算法需要3个ZO查询。此外，2SPSA需要两个统计独立的扰动和两个差分步长，而我们只需要产生一个扰动向量和调整一个差分步长。此外，与2SPSA相比，Hessian估计的加权机制被推广，并且对损失函数的光滑性限制被放宽。最后，我们提出了数值支持减少每次迭代ZO查询的复杂性。
2021-04-03 math.OC
Stochastic Non-Smooth Non-Convex Optimization with Decision-Dependent Distributions
本文研究了决策依赖分布下的随机零阶优化，针对非光滑非凸问题，证明了通过随机零阶 oracle 可以在 $\mathcal{O}(d^2δ^{-3}ε^{-3})$ 复杂度内找到 $(δ,ε)$-Goldstein 静止点，并扩展到光滑和Hessian-Lipschitz目标函数。
2026-05-07 math.OC
ZOBA: An Efficient Single-loop Zeroth-order Bilevel Optimization Algorithm
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJAD（约瑟夫·傅里叶分析实验室）
ZOBA是一种高效的单循环零阶双层优化算法，通过延迟信息的有限差分方法消除嵌套循环，提升收敛率和计算效率。
2026-01-29 math.OC
Minimax Oracle Call Complexity, Rounds and Admissible Noise in Zeroth-Order Optimization of Highly Smooth Functions
MIRIAI；HSE University（高等经济大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（喀山国立研究技术大学）；AI Institute MSU（莫斯科国立大学人工智能研究所）
本文研究高度光滑凸函数的零阶优化，提出加速有限差分方法，在强凸情形下达到调用次数下界 $d^2\varepsilon^{-\beta/(\beta-1)}$ 且轮次为 $O(\sqrt{\kappa}\log(1/\varepsilon))$，并证明可容忍最优噪声，实验验证理论。
2026-10-16 math.OC
A Unified Zeroth-Order Optimization Framework via Oblivious Randomized Sketching
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出基于无关随机投影的统一零阶优化框架，通过选择适当投影矩阵降低RFD估计方差并实现高概率收敛，在凸二次目标上推导出优于线性维度依赖的查询复杂度，并扩展至强凸和Hessian感知优化场景。
2025-10-13 math.OC
Zeroth-Order Optimization Finds Flat Minima
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Amazon（亚马逊公司）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·阿伦计算机科学与工程学校）
针对零阶优化隐式正则化特性未知的问题，本文证明其通过两点估计器倾向于小Hessian迹的平坦极小值，给出凸光滑函数的收敛速率，并通过二分类和语言模型微调实验验证理论。
2025-11-11 cs.AI cs.LG math.OC
Mirror Natural Evolution Strategies
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究利用零阶查询近似一阶和二阶信息的零阶优化理论，提出重参数化目标函数及新算法 MiNES，并证明其协方差矩阵以 $\widetilde{\mathcal{O}}(1/k)$ 收敛率逼近目标函数 Hessian 矩阵的逆。
2023-08-01 cs.LG cs.NE math.OC
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们考虑逃逸鞍点的非凸问题，只有功能评估可以访问。虽然已经提出了各种各样的作品，他们中的大多数需要二阶或一阶信息，只有少数人利用零阶方法，特别是零阶方法的负曲率发现技术已被证明是最有效的方法逃避鞍点。为了填补这一空白，在本文中，我们提出了两个零阶负曲率寻找框架，可以取代海森向量积计算，而不会增加迭代复杂度。我们将所提出的框架应用于ZO-GD，ZO-SGD，ZO-SCSG，ZO-SPIDER，并证明了这些ZO算法可以收敛到$(ε,δ)$-近似二阶稳定点，与以前的零阶工作相比，具有更低的查询复杂度寻找局部极小值。
2022-10-04 cs.LG math.OC
A Zeroth-Order Proximal Algorithm for Consensus Optimization
针对仅可获取局部目标零阶信息的网络共识优化问题，提出融合零阶 Hessian 与梯度近似的近端算法 ZoPro，并证明其线性收敛及性能优势。
2024-06-14 cs.MA math.OC
On the Convergence Theory for Hessian-Free Bilevel Algorithms
The Ohio State University（俄亥俄州立大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
双层优化已经成为现代机器学习中的一个强有力的工具。然而，由于双层优化的嵌套结构，即使是基于梯度的方法也需要通过雅可比或/和海森向量计算进行二阶导数近似，这在实践中可能是昂贵的且不可扩展的。最近，Hessian-free双层格式被提出来解决这个问题，其总体思想是使用零阶或一阶方法来近似双层问题的全超梯度。然而，我们根据经验观察到，这种近似可能导致大方差和不稳定的训练，但仅估计响应雅可比矩阵作为超梯度的部分分量是非常有效的。为此，我们提出了一种新的Hessian-free方法，该方法采用零阶近似方法通过两条优化路径之间的差异来近似响应雅可比矩阵。从理论上讲，我们提供了所提出的算法的收敛速度分析，我们的主要挑战是表征的近似性和光滑性的依赖于概率的估计，这可以是独立的利益。这是第一个已知的收敛速度的结果，这种类型的Hessian自由双层算法。实验上，我们证明了所提出的算法优于基线双层优化各种双层问题。特别是，在我们使用ResNet-12网络在miniImageNet数据集上进行的Few-Shot元学习实验中，我们表明我们的算法优于基线元学习算法，而其他基线双层优化器在可比的时间范围内无法解决此类元学习问题。
2022-06-06 cs.LG math.OC stat.ML
Subdifferentially polynomially bounded functions and Gaussian smoothing-based zeroth-order optimization
本文定义并研究 SPB 函数，证明其与高斯平滑相容并满足多项式形式的下降引理，进而提出自适应步长零阶算法，给出相对/绝对平稳性收敛率及 $(δ, ε)$-近似平稳点复杂度。
2025-03-17 math.OC
Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization
University of California, Davis（加州大学戴维斯分校）
研究了欧几里得空间中黎曼子流形上的随机零阶优化问题，其任务是求解只有噪声目标函数估值的黎曼最优化问题.为此，我们的主要贡献是提出估计的黎曼梯度和海森噪声目标函数的评价，基于黎曼版本的高斯平滑技术。所提出的估计克服了困难的非线性的流形约束和使用欧氏高斯平滑技术时出现的问题，函数只定义在流形上。我们使用建议的估计解决黎曼最优化问题在以下设置的目标函数：（i）随机和梯度Lipschitz（在非凸和测地凸设置），（ii）梯度Lipschitz和非光滑函数的总和，和（iii）海森Lipschitz。对于这些设置，我们分析了我们的算法，以获得适当定义的概念$ε$ -平稳点或$ε$ -近似局部极小的Oracle复杂性。值得注意的是，我们的复杂性是独立的周围的欧几里得空间的尺寸，只取决于所考虑的流形的内在尺寸。我们证明了我们的算法的适用性，通过仿真结果和现实世界中的应用程序对机器人的黑箱刚度控制和黑箱攻击的神经网络。
2021-01-05 cs.DS cs.LG math.OC
Model-Free Optimization on Smooth Compact Manifolds: Overcoming Topological Obstructions using Zeroth-Order Hybrid Dynamics
由常微分方程（ODEs）建模的光滑自治动力系统不能鲁棒全局稳定紧致无边界流形上的一点。这种障碍，这是拓扑性质，意味着传统的光滑优化动力学是不能够鲁棒地解决全球最优化问题在这样的空间。反过来，无模型优化算法通常从基于模型的算法继承其稳定性和收敛性，也可能遭受类似的拓扑障碍。例如，这是零阶方法和基于扰动的技术中的情况，其中梯度和海森通常经由费用函数的测量或评估来实时估计。为了解决这个问题，我们引入了一类混合无模型优化动力学，它结合了连续时间和离散时间反馈，以克服在光滑紧致流形上发展的传统基于ODE的优化算法中出现的障碍。特别是，我们引入了一个混合控制器，不同的无模型反馈法之间的切换，通过应用适当的探索测地抖动家庭的协同同胚适应的成本函数，定义的最优化问题。测地线抖动使探索的流形，同时保持其前向不变性，一个属性，这是很重要的许多实际应用中，基于物理的约束限制系统的可行轨迹。混合控制器利用测地线抖动获得的信息，以实现鲁棒全局实用稳定的成本的最小集。所提出的方法是无模型的性质，因为它只需要测量或评价的费用函数。数值结果说明了该方法的主要思想和优点。
2022-12-06 math.OC
Zeroth-order Optimization with Weak Dimension Dependency
本文提出一种具有弱维度依赖的零阶优化理论，通过引入新因子$\mathrm{ED}_α$度量维度，设计了基于Heavy-ball机制等新算法，显著降低了高维平滑函数优化问题的复杂度。
2023-08-02 math.OC
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Direct search for stochastic optimization in random subspaces with zeroth-, first-, and second-order convergence and expected complexity
Argonne National Laboratory（阿贡国家实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
研究在随机子空间中进行随机优化的StoDARS框架，通过在特定随机子空间生成搜索方向实现可扩展性，证明其在目标函数连续可微时期望复杂度与其他方法相似，还证明其收敛性及扩展了对MADS算法二阶行为的分析。
2026-07-29 math.OC
Computation of sparse low degree interpolating polynomials and their application to derivative-free optimization
基于插值的信赖域方法是一类重要的无导数优化算法，它依赖于二次多项式插值模型对目标函数的局部逼近，通常由比基分量少的点建立。通常，在实际应用中，问题变量对目标函数的贡献使得变量之间的许多成对相关性可以忽略不计，这意味着在光滑情况下，黑塞矩阵中存在稀疏结构。为了能够利用Hessian稀疏性，现有的优化方法需要稀疏性结构的知识。本文的目标是开发和分析一种自动构建稀疏模型的方法。压缩感知领域最近发展起来的稀疏恢复理论描述了从少量随机测量中精确恢复稀疏向量的条件。这样的恢复是通过最小化的向量的l1范数的测量约束。提出了一种在满足插值条件的条件下，通过最小化模型Hessian元素的l1范数来构造稀疏二次多项式插值模型的方法.我们表明，这个过程恢复准确的模型时，函数海森是稀疏的，使用相对较少的随机选择的样本点。受此结果的启发，我们开发了一个实用的基于插值的信赖域方法，使用确定性样本集和最小l1范数二次模型。我们的计算结果表明，新的方法表现出良好的数值性能，无论是在一般情况下，在稀疏的。
2013-06-24 math.OC
ZO-JADE: Zeroth-order Curvature-Aware Multi-Agent Convex Optimization
针对多智能体黑盒凸优化场景，提出仅需2d+1次函数求值的ZO-JADE算法，通过有限差分同时估计梯度与海森对角元，结合平均跟踪共识实现近似雅可比下降，证明半全局指数稳定性，实验验证其优于现有仅用梯度的分布式零阶方法。
2023-06-13 math.DS math.OC
Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
Amirkabir University of Technology（阿姆斯泰尔大学）；University of Pennsylvania（宾夕法尼亚大学）；Samsung SDS Research America（三星SDS美国研究部）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种新的搜索方向，证明了利用该方向的零阶和一阶随机在线双层优化算法能够在不使用窗口平滑的情况下实现亚线性随机双层遗憾。此外，该框架通过减少超梯度估计中的oracle依赖、同时更新内层和外层变量以及使用基于零阶的Hessian、雅可比和梯度估计来提高效率。
2026-05-19 cs.LG cs.NA math.NA
Sketching Meets Random Projection in the Dual: A Provable Recovery Algorithm for Big and High-dimensional Data
University of Chicago（芝加哥大学）；University of Southern California（南加州大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
草图技术已经变得流行，用于通过减少大量数据集的样本大小或维度来扩展机器学习算法，同时仍然保持大数据的统计能力。本文从优化的角度研究了草图绘制问题：首先证明了迭代Hessian草图是一个带预处理的优化过程，并通过共轭方向的搜索提出了加速迭代Hessian草图;然后，我们建立了Hessian草图和对偶随机投影之间的原始-对偶联系，并将预条件共轭梯度法应用于对偶问题，这导致加速迭代对偶随机投影方法。最后，为了解决来自大样本量和高维的挑战，我们提出了原始-对偶草图，它迭代地绘制原始和对偶公式。我们表明，使用对数调用的小规模问题的求解器，原始对偶草图是能够恢复到任意精度的原始问题的最佳。所提出的算法进行了验证，通过大量的实验合成和真实的数据集，补充了我们的理论结果。
2016-10-10 cs.LG math.OC stat.ML
Generalization of Zeroth-Order Method for Quotients of Quadratic Functions
Technische Universität Berlin（柏林工业大学）
本文提出了一种新的无约束采样方法，用于计算广义算子范数和极值广义Rayleigh商，通过与Riemannian优化方法的联系，改进了零阶方法的效率。
2026-10-27 cs.NA math.NA math.OC
A Zeroth-Order Deep Learning Method for Fully Nonlinear Parabolic Partial Differential Equations with Unknown Coefficients
针对高维未知系数非线性PDE，提出基于零阶导数估计的无模型深度学习方法，通过模拟器生成数据并学习解及其导数，理论分析给出非渐近误差界和样本复杂度。
2026-06-25 cs.LG math.OC
Numerical analysis of optimal control problems governed by fourth-order linear elliptic equations using the Hessian discretisation method
在Hessian离散化方法的框架下，研究了四阶线性椭圆型方程在固定边界条件下的最优控制问题. HDM是一个抽象的框架，它通过一个被称为Hessian离散化（HD）的四元组和HD的三个核心属性来实现数值方法的收敛性分析。HDM包括协调有限元法、Adini和Morley非协调有限元法（ncFEM）、基于梯度恢复算子（GR）的方法和有限体积法（FVMs）。在HDM框架下，建立了状态变量、伴随变量和控制变量的基本误差估计和超收敛结果。本文最后给出了数值结果，说明了GR方法、Adini ncFEM和FVM的理论收敛速度。
2022-12-13 cs.NA math.NA math.OC
Flat minima generalize for low-rank matrix recovery
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
经验证据表明，对于各种过度参数化的非线性模型，最明显的是在神经网络训练中，最小化周围的损失的增长强烈影响其性能。平坦的最小值--那些损失缓慢增长的最小值--似乎很好地推广。这项工作采取了一个步骤来理解这种现象，专注于最简单的类overparameterized非线性模型：低秩矩阵恢复中产生的。我们分析了过参数化矩阵和双线性传感，鲁棒PCA，协方差矩阵估计，和单隐层神经网络与二次激活函数。在所有情况下，我们表明，平坦的最小值，测量的跟踪的海森，准确地恢复地面真相下的标准统计假设。对于矩阵完成，我们建立弱恢复，虽然经验证据表明，确切的恢复在这里举行。最后，我们的合成实验，说明我们的研究结果，并讨论了深度的影响，平坦的解决方案。
2023-02-17 cs.LG math.OC stat.ML
A Smooth Analytical Formulation of Collision Detection and Rigid Body Dynamics With Contact
University of Tübingen（蒂宾根大学）；Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
针对接触密集场景下零阶方法计算低效的问题，提出一种碰撞检测与接触建模的联合解析公式，实现完全解析且平滑的正逆动力学，支持任意碰撞几何形状且运行时间与接触数量无关，为高效智能行为生成方法提供基础。
2025-04-14 cs.RO math.OC
A Riemannian trust-region method for low-rank tensor completion
Universität Trier（特里尔大学）
本文提出了一种基于黎曼优化的低秩张量补全方法，通过Weingarten映射计算目标函数的黎曼Hessian，并分析了信任区域方法的收敛性及与现有方法的对比。
2017-03-29 cs.NA math.DG math.NA
Error bound of critical points and KL property of exponent $1/2$ for squared F-norm regularized factorization
South China University of Technology（华南理工大学）
研究了含噪声低秩矩阵恢复问题的平方F（robenius）范数正则化分解形式。在对损失函数的Hessian约束条件数作适当假设的情况下，对于秩不大于真矩阵秩的非严格临界点，得到了误差界.然后，对于平方F-范数正则化因子分解最小二乘损失函数，在有噪声和全样本情况下，建立了其指数$1/2$在全局极小点集上的KL性质，并在有噪声和部分样本情况下，对一类临界点得到了该性质.这些理论研究结果也证实了解决平方F-范数正则因式分解问题的加速交替最小化方法。
2021-06-26 cs.LG math.OC stat.ML
Error estimation for second-order PDEs in non-variational form
考虑非散度型二阶偏微分方程。这类方程通常作为随机最优控制中Hamilton-Jacobi-Bellman方程解的子问题出现，或者作为完全非线性二阶偏微分方程的线性化。这些问题的非散度型是自然的。若扩散矩阵的系数不可微，则问题不能转化为更方便的变分形式。我们研究了非散度型二阶偏微分方程的定制非协调有限元近似，利用有限元Hessian恢复策略近似方程中的二阶导数。我们研究了连续和不连续的测试函数的近似。特别感兴趣的是先验和后验误差估计以及自适应有限元法。在数值实验中，我们的方法进行了比较与其他方法从文献中已知的。
2020-08-12 cs.NA math.NA math.OC
On the local and global minimizers of the smooth stress function in Euclidean Distance Matrix problems
本文研究欧氏距离矩阵精确恢复中四次光滑应力函数的非凸优化，证明 n≤d+1 时二阶驻点均为全局极小点，并构造或数值验证局部非全局极小点的存在。
2025-07-25 math.OC
Trajectory-Wise Certification for Vector-Field Mirror Descent with Deterministic Finite Differences
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；International Quantum Academy（国际量子科学院）；Graduate School of Mathematics, Nagoya University（名古屋大学大学院数学研究科）
本文提出了一种确定性零阶镜像下降框架，通过向量场实现后验认证，结合有限差分方法和广义星凸性条件，揭示了零阶镜像下降中的几何结构。
2026-09-03 cs.IT math.IT math.OC
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain（鲁汶天主教大学）
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的，因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点，收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明，所提出的算法在内存和时间上比最先进的算法更有效。此外，所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能，从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
