Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Reducing Basis Mismatch in Harmonic Signal Recovery via Alternating Convex Search
压缩采样背后的理论预先假定给定的观测序列可以由少量基向量的线性组合精确地表示。然而，在实践中，即使是与精确信号模型的微小偏差也会导致估计误差的急剧增加;这就是所谓的“基础失配”问题。这项工作提供了一个可能的解决方案，这个问题的形式，迭代，双凸搜索算法。该方法使用标准的$\ell_1$ -最小化来找到信号模型系数，随后是信号模型的最大似然估计。该算法的谐波信号的稀疏性变化，并优于目前的最先进的。
2014-06-27 math.OC stat.AP
The Alternating Descent Conditional Gradient Method for Sparse Inverse Problems
我们提出了一个变种的经典条件梯度法稀疏反问题的可微测量模型。这种模型出现在许多实际问题中，包括超分辨率，时间序列建模和矩阵完成。我们的算法结合了非凸和凸优化技术：我们提出了全球的条件梯度步骤交替利用可微测量模型的非凸局部搜索。这种混合给出了凸优化的理论全局最优性保证和停止条件，以及与非凸优化相关的性能和建模灵活性。我们的实验表明，我们的技术在几个应用中达到了最先进的结果。
2015-07-06 math.OC
Alternating Subspace Method for Sparse Recovery of Signals
Hunan Normal University（湖南师范大学）
本文提出交替子空间法用于信号稀疏恢复，结合贪婪和分裂方法，实现高效准确的稀疏信号恢复。
2026-03-10 cs.IT math.IT math.OC
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science（魏茨曼科学研究所）
低秩矩阵恢复问题，包括矩阵补全和矩阵检测，出现在广泛的应用。在这项工作中，我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复，基于高斯-牛顿线性化。在理论方面，我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面，我们表明，对于均匀采样的矩阵完成，GNMR比几种流行的方法表现得更好，特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2026-11-13 cs.DS cs.LG math.OC
Accelerated Structured Alternating Projections for Robust Spectrally Sparse Signal Recovery
University of California, Los Angeles（加州大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Shenzhen University（深圳大学）
考虑由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号$\boldsymbol{x}$。研究了在完全观测条件下谱稀疏信号的鲁棒恢复问题，即从$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$的和$\boldsymbol{z}=\boldsymbol{x}+\boldsymbol{s}$中恢复$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$。本文利用$\boldsymbol{x}$构造的Hankel矩阵的低秩性质，将该问题转化为一个低秩Hankel矩阵的鲁棒恢复问题.我们开发了一个高效的非凸算法，创造加速结构交替投影（ASAP）。ASAP的高计算效率和低空间复杂度是通过结构矩阵的快速计算和加速低秩近似的子空间投影方法来实现的。在对$\boldsymbol{x}$和$\boldsymbol{s}$的一些温和的假设下，建立了ASAP的线性收敛速度的理论恢复保证。合成和真实世界的数据的经验性能比较证实了ASAP的优势，在计算效率和鲁棒性方面。
2021-01-16 cs.IT cs.LG eess.SP
On phase retrieval via matrix completion and the estimation of low rank PSD matrices
给出了已知低秩$K$的半正定（PSD）矩阵$X$的欠定测量，基于非凸优化方案的最新进展，我们提出了一种新的算法来估计$X$。我们特别适用于傅立叶数据的相位恢复问题，它可以被配制为一个秩1 PSD矩阵恢复问题。此外，我们提供了理论如何过采样影响的稳定性解除反问题。
2019-09-30 math.OC
Factorized low-rank matrix recovery problem, Schatten-$q$ quasi-norm, Error bound for critical point, Kurdyka-Łojasiewicz property, Inexact proximal alternating linearized minimization
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）
针对 Schatten-$q$ 拟范数正则化低秩矩阵恢复的分解模型，研究了临界点的性质，提出了 S-临界点概念并推导了误差界，设计了不精确近端交替线性化最小化算法，证明了收敛性和收敛速率。
2026-06-29 math.OC
The Rank-1 Completion Problem for Cubic Tensors
本文研究三次张量的秩-1补全问题，将其等价转化为秩-1矩阵恢复问题，并提出核范数松弛与矩松弛方法，保证获得补全或判定不存在。
2024-10-22 cs.NA math.NA math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Nonlinear matrix recovery using optimization on the Grassmann manifold
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Umeå University（于默奥大学）
我们调查的问题，恢复部分观察到的高秩矩阵，其列服从非线性结构，如子空间的联合，代数簇或分组在集群。恢复问题被制定为应用于原始矩阵的非线性特征映射的秩最小化，然后进一步近似为涉及格拉斯曼流形的约束非凸优化问题。我们提出了两套算法，一个产生于黎曼优化和其他作为一个交替的最小化方案，这两个都包括一阶和二阶变量。这两套算法都有理论上的保证。特别地，对于交替最小化，我们建立了全局收敛性和最坏情况下的复杂性界。此外，使用Kurdyka-Lojasiewicz属性，我们证明了交替最小化收敛到一个唯一的极限点。我们提供了广泛的数值结果的恢复联盟的子空间和聚类下的入口采样和稠密高斯采样。我们的方法与现有的方法是有竞争力的，特别是，高精度的恢复使用黎曼二阶方法。
2022-12-08 cs.LG math.OC stat.ML
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题，提出非凸优化算法GSGD，解决现有图拉普拉斯正则化方法的局限，理论证明其线性收敛到全局最优且样本复杂度近优，实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC
Coupled Tensor-Matrix Recovery via Proximal Alternating Linearized Minimization, with an Application to Workforce Skill and Small-Business Health Estimation
Pace University（佩斯大学）
研究从稀疏噪声观测中恢复共享一个模式的低秩张量和矩阵，通过近端交替线性化最小化方法，证明相关收敛性并给出样本复杂度结果，进行多实验验证，还应用于劳动力技能和小企业健康估计。
2026-07-14 cs.CY cs.NA math.NA
StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）
本文提出StoTAM算法，通过直接操作Tucker因子化下的核心张量和因子矩阵，实现低秩张量感知的高效随机交替最小化。
2026-01-20 cs.LG math.OC
Matrix Completion under Interval Uncertainty
IBM Research（IBM研究院）；Lehigh University（里海大学）；University of Edinburgh（爱丁堡大学）
区间不确定条件下的矩阵完备化问题可以转化为带盒约束的矩阵完备化问题。我们提出了一个有效的交替方向平行坐标下降法的问题。我们表明，该方法优于任何其他已知的方法在图像修复的基准方面的信噪比，它提供了高质量的解决方案的协同过滤的实例与100,198,805建议在5分钟内。
2016-04-01 cs.AI cs.IR math.OC
Quaternion Optimized Model with Sparse Regularization for Color Image Recovery
University of Macau（澳门大学）；Zhejiang Normal University（浙江师范大学）
本文根据变换域中稀疏正则化的特点，提出了低秩四元数矩阵优化的彩色图像补全问题。这项研究的灵感来自于这样一个事实，即不同的信号类型，包括音频格式和图像，拥有固有的稀疏结构，在其各自的基础。由于彩色图像可以在四元数域中作为一个整体进行处理，我们在四元数离散余弦变换（QDCT）域中描述了彩色图像的稀疏性。此外，彩色图像固有的低秩结构的表示是四元数矩阵完备问题中的一个至关重要的问题。为了获得更好的低秩近似，基于四元数的截断核范数（QTNN）被用于所提出的模型。此外，该模型是由一个主管交替方向的乘子法（ADMM）的基础上的算法。大量的实验结果表明，所提出的方法可以产生非常优越的完成性能相比，最先进的低秩矩阵/四元数矩阵近似方法测试的彩色图像恢复。
2022-04-19 cs.CV eess.IV math.OC
A Rank-Corrected Procedure for Matrix Completion with Fixed Basis Coefficients
National University of Singapore（新加坡国立大学）；South China University of Technology（华南理工大学）
针对核范数在固定基系数矩阵补全中的局限性，提出一种基于核半范数的秩校正方法，并证明其非渐近恢复误差界可降低约50%，同时给出秩一致性的充要条件。
2015-06-22 cs.IT cs.NA math.IT
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数，以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题，我们提出了一种带外推的交替优化-最小化（AMM）方法，以及一种混合AMM方法，该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对，然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法，并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验，并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较，结果表明，列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
A Lifted $\ell_1 $ Framework for Sparse Recovery
受重新加权的$\ell_1$方法稀疏恢复的启发，我们提出了一个提升的$\ell_1$（LL1）正则化，这是在文献中几个流行的正则化的推广形式。通过探索这种联系，我们发现有两种类型的提升函数，可以保证所提出的方法是等价的$\ell_0$最小化。在计算上，我们通过交替方向乘子法（ADMM）设计了一个有效的算法，并建立了一个无约束的配方的收敛性。实验结果表明，这种泛化如何提高稀疏恢复的最先进的。
2022-05-12 eess.SP math.OC
Denoising and Completion of Structured Low-Rank Matrices via Iteratively Reweighted Least Squares
我们提出了一种新的迭代重加权最小二乘（IRLS）算法的问题，完成或去噪低秩矩阵的结构，例如，其具有汉克尔、托普利茨或块-汉克尔/托普利茨结构。该算法通过求解一系列二次问题，基于秩的非凸代理来优化目标。我们的策略结合了计算效率，因为它在结构化矩阵的低维生成器空间上操作，具有高统计精度，这可以在硬估计和完成任务的实验中观察到。我们的实验表明，所提出的算法StrucHMIRLS表现出经验恢复概率接近1，从更少的样本比国家的最先进的汉克尔矩阵完成任务所产生的频谱超分辨率的问题严重分离的频率。此外，我们解释了所提出的算法结构化的低秩恢复可以被用来作为预处理步骤，提高鲁棒性的频率或线性频谱估计问题。
2018-11-19 cs.IT math.IT math.OC
On the convex geometry of blind deconvolution and matrix completion
Technische Universität München（慕尼黑工业大学）；University of Southern California（南加州大学）
在过去的十年中，从结构化测量中恢复低秩矩阵一直是一个热门的研究课题，许多重要的问题，如矩阵补全和盲反卷积，都是在这个框架下提出的。解决这些问题的一个重要的基准方法是最小化核范数，一个凸代理的秩。一个常见的方法来建立恢复保证这个凸计划依赖于一个所谓的近似对偶证书的建设。然而，这种方法在各个方面只提供了有限的见解。最突出的是，噪声边界表现出看似次优的维度因子。在本文中，我们采取了一种新的，更几何的观点来分析矩阵完成和盲反卷积的情况。我们发现，对于这两个应用程序中的噪声界的尺寸因素是不是一个工件的证明，但问题本质上是条件很差。然而，我们发现，坏的条件只会出现非常小的噪声水平：在温和的假设，包括许多现实的噪声水平，我们得出接近最佳的误差估计盲反卷积对抗性噪声。
2020-04-09 cs.IT cs.LG math.IT
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs（雅虎实验室）；UT Austin（得克萨斯大学奥斯汀分校）；Colorado School of Mines（科罗拉多矿业学院）
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中，目标张量通常是低秩的，即，可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子，我们专注于两种不同类型的可分离测量机制（a）随机投影，其中每个测量对应于张量与合适的随机张量的内积，以及（b）完成问题，其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法，严格和顺序最优的样本复杂性的结果（对数因子）张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果，高阶张量，并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
Understanding approximate and unrolled dictionary learning for pattern recovery
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能委员会）；L2S（L2S实验室）；Université Paris-Saclay–CNRS–CentraleSupelec（巴黎萨克雷大学–法国国家科学研究中心–中央理工高等电力学院）；CentraleSupelec（中央理工高等电力学院）
字典学习包括从噪声数据中找到稀疏表示，并且是对信号进行数据驱动先验知识编码的常用方法。交替最小化（AM）是底层优化的标准，其中梯度下降步骤与稀疏编码过程交替。这种方法的主要缺点是其高昂的计算成本，使其不实用的大型现实世界的数据集。本文研究了一种基于展开的字典学习的近似公式，并将其与交替最小化进行比较，以找到速度和精度之间的最佳权衡。我们分析了这两种方法中梯度估计的渐近性态和收敛速度。我们表明，展开执行更好的内部问题解决方案的支持，并在第一次迭代。最后，我们应用展开模式学习脑磁图（MEG）的帮助下，一个随机算法和性能比较的国家的最先进的方法。
2022-02-08 cs.LG math.OC stat.ML
A New Convex Relaxation for Tensor Completion
University College London（伦敦大学学院）
我们研究了从一组线性测量中学习张量的问题。这个问题的一个突出的方法是基于迹范数正则化的推广，它已被广泛用于学习低秩矩阵，张量设置。在本文中，我们强调了这种方法的一些局限性，并提出了另一种凸松弛的欧几里德球。然后，我们描述了一种技术来解决相关的正则化问题，这是建立在交替方向的方法的乘数。在一个合成数据集和两个真实数据集上的实验表明，该方法在估计误差方面明显优于张量迹范数正则化，同时保持计算易处理。
2013-07-17 cs.LG math.OC stat.ML
Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion
Hangzhou Dianzi University（杭州电子科技大学）；Ningbo University（宁波大学）；The Hong Kong Polytechnic University（香港理工大学）；Huawei Tech. Investment Co., Ltd（华为技术投资有限公司）
张量补全是指从不完整的测量或观察中估计缺失数据的任务，这是大数据分析、计算机视觉和网络工程领域经常出现的核心问题。由于高阶张量的多维性质，矩阵方法，例如，矩阵分解和张量的直接矩阵化，对于张量的完成和恢复来说往往不是理想的。本文提出了一种统一的低秩稀疏增强Tucker分解张量完备模型。我们的模型具有稀疏的正则化项，以促进稀疏的核心张量的Tucker分解，这是有益的张量数据压缩。此外，我们对Tucker分解的因子矩阵施加低秩正则化项，以廉价的计算成本诱导张量的低秩性。在数值上，我们提出了一个定制的ADMM足够容易的子问题来解决底层模型。值得注意的是，我们的模型能够处理不同类型的现实世界的数据集，因为它利用了潜在的周期性和内在的相关性出现在张量。一系列的计算实验对现实世界的数据集，包括互联网流量数据集，彩色图像，人脸识别，表明我们的模型比许多现有的最先进的矩阵化和张量化方法在实现更高的恢复精度方面表现得更好。
2021-05-20 cs.LG math.OC stat.ML
A framework to generate sparsity-inducing regularizers for enhanced low-rank matrix completion
针对半二次优化得到的正则化项通常不具稀疏诱导性的问题，提出一种可生成带闭式邻近算子的稀疏诱导正则化项的框架，结合常用损失函数生成的正则化项用于低秩矩阵补全，实验验证了方法在恢复性能和运行时间上的有效性。
2023-10-08 cs.IR cs.LG eess.AS
On the Nuclear Norm heuristic for a Hankel matrix Recovery Problem
Uppsala University（乌普萨拉大学）
本文探讨核范数启发式方法能否从Hankel矩阵上三角元素中恢复稳定单实极点系统的脉冲响应，通过构造证书保证恢复，并给出实验与讨论。
2014-04-23 cs.SY eess.SY math.OC
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Low-Rank Matrix Completion: A Contemporary Survey
作为从部分观测值中恢复矩阵未知元素的一种范例，低秩矩阵完备化（LRMC）引起了人们的极大兴趣。多年来，有很多关于这个主题的著作，但要从这些研究中掌握基本知识可能并不容易。这主要是因为这些工作中有许多是高度理论性的或新的LRMC技术的建议。本文对LRMC的研究现状进行了综述。为了提供更好的观点，洞察力，并了解LRMC的潜力和局限性，我们提出了一个结构化的和可访问的方式早期分散的结果。具体来说，我们将最先进的LRMC技术分为两大类，然后详细解释每一类。我们接下来讨论当考虑使用LRMC技术时要考虑的问题。这些包括所需的矩阵恢复和如何利用一个特殊的结构在LRMC设计的内在属性。我们还讨论了基于卷积神经网络（CNN）的LRMC算法，利用低秩矩阵的图形结构。此外，我们提出的恢复性能和计算复杂性的国家的最先进的LRMC技术。我们希望这篇调查文章能为从业者和非专家提供有用的指导，以抓住LRMC的要点。
2019-07-27 cs.DS cs.IT math.IT
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法，通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
