StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）
本文提出StoTAM算法，通过直接操作Tucker因子化下的核心张量和因子矩阵，实现低秩张量感知的高效随机交替最小化。
2026-01-20 cs.LG math.OC
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数，以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题，我们提出了一种带外推的交替优化-最小化（AMM）方法，以及一种混合AMM方法，该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对，然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法，并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验，并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较，结果表明，列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Variable Smoothing Alternating Proximal Gradient Algorithm for Coupled Composite Optimization
Chongqing Technology and Business University（重庆工商大学）；RMIT University（皇家墨尔本理工大学）；Yunnan Normal University（云南师范大学）
针对含非光滑弱凸复合项的非凸优化问题，提出变平滑交替近端梯度算法，证明了 $\mathcal{O}(\varepsilon^{-3})$ 迭代复杂度，并在稀疏信号恢复和图像去噪实验中验证了其优越性。
2025-10-31 math.OC
Understanding approximate and unrolled dictionary learning for pattern recovery
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能委员会）；L2S（L2S实验室）；Université Paris-Saclay–CNRS–CentraleSupelec（巴黎萨克雷大学–法国国家科学研究中心–中央理工高等电力学院）；CentraleSupelec（中央理工高等电力学院）
字典学习包括从噪声数据中找到稀疏表示，并且是对信号进行数据驱动先验知识编码的常用方法。交替最小化（AM）是底层优化的标准，其中梯度下降步骤与稀疏编码过程交替。这种方法的主要缺点是其高昂的计算成本，使其不实用的大型现实世界的数据集。本文研究了一种基于展开的字典学习的近似公式，并将其与交替最小化进行比较，以找到速度和精度之间的最佳权衡。我们分析了这两种方法中梯度估计的渐近性态和收敛速度。我们表明，展开执行更好的内部问题解决方案的支持，并在第一次迭代。最后，我们应用展开模式学习脑磁图（MEG）的帮助下，一个随机算法和性能比较的国家的最先进的方法。
2022-02-08 cs.LG math.OC stat.ML
A Convergent Semi-Proximal Alternating Direction Method of Multipliers for Recovering Internet Traffics from Link Measurements
单纯从链路测量中恢复大规模的互联网流量数据是一个挑战。随着问题规模的快速增长，恢复精度和计算成本将变得非常困难。在这项工作中，我们提出了一个新的稀疏低秩恢复（SLRR）模型和它的Schur补基于半邻近乘子交替方向法（SCB-spADMM）求解器。我们的方法主要有以下两个方面。首先，我们充分利用空间低秩属性和交通数据的稀疏性，这在文献中几乎没有考虑。该模型可以分解为一系列子问题，这些子问题只与某个时间段内的交通量有关。因此，模型规模显著减小。其次，我们建立了一个全局收敛的ADMM型算法的启发[李等人，数学课程，155（2016）]求解SLRR模型。在每次迭代中，所有中间变量的最优解都可以解析计算，这使得算法快速准确。此外，由于SLRR模型的可分性，有可能设计一个并行算法，以进一步减少计算时间。在经典数据集Abilene和GEANT上的数值结果表明，该方法以较低的计算代价获得了最佳的精度.此外，在我们新发布的大规模华为源-目的地（HOD）网络流量中，我们的方法完美地达到了秒级反馈，满足了实际场景的基本要求。
2021-02-05 math.OC
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
A symmetric alternating minimization algorithm for total variation minimization
在本文中，我们提出了一种新的对称交替最小化算法来解决广泛的一类全变差（TV）正则化问题。与通常的$z^k\to x^k$ Gauss-Seidel循环不同，该算法执行特殊的$\overline{x}^{k}\to z^k\to x^k$循环。我们设置的主要思想是最近的对称高斯-赛德尔（SGS）技术，这是解决多块凸复合问题。这个想法也使我们能够建立所提出的方法和著名的加速近端梯度（APG）方法之间的等价性。该算法可以直接从APG框架中获得更快的收敛速度，包括图像去噪、图像去模糊和稀疏恢复问题的数值结果证明了新算法的有效性。
2020-06-05 cs.DS math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
Decentralized Statistical Inference with Unrolled Graph Neural Networks
ShanghaiTech University（上海科技大学）；The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们研究了分散的统计推断问题，其中代理网络合作恢复（结构化）向量从私人噪声样本没有集中协调。现有的基于优化的算法存在模型失配和收敛速度慢的问题，在通信轮数受限的情况下，其性能会下降。这促使我们提出了一个基于学习的框架，它展开了著名的分散优化算法（例如，Prox-DGD和PG-EXTRA）转化为图神经网络（GNNs）。通过端到端训练最大限度地减少恢复误差，这种基于学习的框架解决了模型不匹配问题。我们的收敛性分析（以PG-EXTRA为基础算法）表明，学习的模型参数可以加速收敛，并在很大程度上减少恢复误差。仿真结果表明，提出的基于GNN的学习方法显着优于几个国家的最先进的基于优化的算法在收敛速度和恢复误差。
2021-04-04 cs.LG math.OC
A multi-stage convex relaxation approach to noisy structured low-rank matrix recovery
本文研究了一个带噪声的结构化低秩矩阵恢复问题，该问题可以建模为一个结构化秩最小化问题。我们将这个问题转化为一个带有广义互补约束（MPGCC）的数学规划，并证明了当罚参数超过一个阈值时，通过将广义互补约束移到目标上得到的罚函数具有与MPGCC相同的全局最优解集.然后，通过交替求解精确罚问题，得到了一个多阶段凸松弛方法。我们提供了理论保证，我们的方法在一个温和的限制特征值条件下，通过量化减少的误差和近似的秩界的第一阶段凸松弛（这正是核范数松弛）在随后的阶段，并建立几何收敛的差错序列在统计意义上。数值实验进行了一些结构化的低秩矩阵恢复的例子，以证实我们的理论研究结果。
2017-03-11 math.OC
Alternating minimization for square root principal component pursuit
针对平方根主成分追踪（SRPCP）的计算难题，本文提出无需调参的AltMin算法，并结合核范数变分表述与Burer-Monteiro分解加速，实验验证其高效鲁棒。
2025-03-15 math.OC stat.ML
Fast Image Recovery Using Variable Splitting and Constrained Optimization
我们提出了一种新的快速算法来解决图像恢复和重建的标准公式之一，其中包括一个无约束的最优化问题，目标包括一个$\ell_2$数据保真度项和一个非光滑正则化。该公式允许基于小波（具有正交或基于帧的表示）的正则化或全变差正则化。我们的方法是基于变量分裂，以获得一个等价的约束优化配方，然后与增广拉格朗日方法。该算法是所谓的“乘子交替方向法”的一个例子，其收敛性已被证明。一组图像恢复和重建基准问题的实验表明，该算法比目前的最先进的方法是快速的。
2009-10-26 math.OC
ADMM-MCP Framework for Sparse Recovery with Global Convergence
在压缩感知中，稀疏信号重构的l0范数最小化是NP难的。最近的工作表明，与最佳凸松弛（l1-范数）相比，非凸惩罚可以更好地逼近l0-范数，并且可以基于更少的观测来重构信号。本文利用极小极大凹罚函数对原问题进行了松弛。然后采用交替方向乘子法（ADMM）和改进的迭代硬阈值法进行求解。在一定的合理假设下，证明了该方法的全局收敛性。并对参数设置进行了讨论。最后，通过仿真和与几种现有算法的比较，验证了该方法的有效性。
2018-05-02 eess.SP math.OC
Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计，结合最大范数和核范数正则化，基于此，我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设，并使低秩矩阵恢复在更实际的环境中变得可行。理论上，我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上，我们提出了一种交替方向的乘子算法来有效地计算估计量，它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外，我们提供了彻底的数值研究，以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
Jump-sparse and sparse recovery using Potts functionals
我们恢复跳跃稀疏和稀疏信号从模糊不完整的数据损坏（可能是非高斯）噪声使用逆波茨能量泛函。我们得到的分析结果（存在的最小值，复杂性）逆Potts泛函和稀疏性问题的关系。然后，我们提出了一种新的最优化方法，这些泛函的基础上，动态规划和交替方向法的乘数（ADMM）。一系列的实验表明，该方法产生非常令人满意的跳跃稀疏和稀疏重建，分别。我们突出的能力，通过比较它与经典和最近的方法，如电视最小化（跳跃稀疏信号），正交匹配追求，迭代硬阈值，迭代重新加权$\ell^1$最小化（稀疏信号）的方法。
2014-06-02 cs.NA math.NA math.OC
Alternating Direction Algorithms for $\ell_1$-Problems in Compressive Sensing
在本文中，我们提出并研究了交替方向算法的使用压缩感知中的稀疏解恢复所产生的几个$\ell_1$范数最小化问题，包括基追踪问题，无约束和约束形式的基追踪去噪问题，以及其他。我们提出和调查两类算法来自原始或对偶形式的$\ell_1$ -问题。算法的构造包括两个主要步骤：（1）通过增加新的变量和约束，将$\ell_1$ -问题转化为目标函数部分可分的问题;（2）将精确或不精确的交替方向法应用于所得到的问题。由于原始变量和对偶变量都在每次迭代中更新，因此所导出的交替方向算法可被视为一阶原始对偶法。这些算法的收敛性建立或重述时，他们已经存在。大量的数值结果比较几个国家的最先进的算法，证明所提出的算法是有效的，稳定的和强大的。此外，我们提出的数值结果强调两个实际上重要的，但可能被忽视的点。一点是，算法速度应始终相对于适当的解决方案的准确性进行评估;另一点是，无论何时可能存在错误的测量，$\ell_1$ -范数保真度应该是压缩感知中选择的保真度。
2009-12-07 math.OC
Nonlinear Forward-Backward Algorithm for Solving Non-monotone+Lipschitz Inclusions with Applications to Adjoint Mismatch Problems
Université Paris-Saclay, CentraleSupélec, CVN, Inria（巴黎萨克雷大学、中央苏佩莱克学院、CVN、Inria）；Universidad de Concepción（康塞普西翁大学）
本文针对因伴随近似破坏单调性而无法用标准分裂方法的问题，提出非线性前向-后向算法，证明其收敛性并推广了部分流行算法的收敛保证，通过信号恢复实验验证了方法的适用性。
2026-08-25 math.OC
An efficient asymptotic DC method for sparse and low-rank matrix recovery
针对稀疏与低秩矩阵恢复问题，提出渐近DC方法结合筛选策略的非精确DC算法，利用半光滑牛顿法求解子问题，实验证明其在效率和恢复误差上优于现有方法。
2024-03-15 math.OC
Simultaneous recovery of surface heat flux and thickness of a solid structure by ultrasonic measurements
本文讨论了一个实际的反问题，即由超声测量值同时重建固体结构的表面热流和厚度。在热声耦合模型中，热边界条件和固体结构的厚度都是未知的，而超声传感器的传播时间的测量是给定的。通过构造适当的目标泛函，将反问题转化为一个偏微分方程约束的最优化问题。然后，我们开发了一个交替迭代计划，结合共轭梯度法和最深下降法来解决最优化问题。对所提出的数值格式进行了严格的收敛性分析。通过使用实验室的真实数据，我们进行了广泛的数值实验，以验证新开发的方法的几个有前途的功能。
2020-11-28 cs.NA math.AP math.NA
Signal and Image Recovery with Scale and Signed Permutation Invariant Sparsity-Promoting Functions
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Air Force Research Laboratory（空军研究实验室）；Syracuse University（雪城大学）
本文研究将 $(\ell_1/\ell_2)^2$ 和 $\ell_1/\ell_2$ 的邻近算子集成到 APG 和 ADMM 优化框架中，用于压缩感知和图像恢复，并通过数值实验证明其在噪声和高相干性条件下具有更高的恢复精度和计算效率。
2025-11-08 eess.SP math.OC
Accelerated Alternating Projections for Robust Principal Component Analysis
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Department of Mathematics, Hong Kong University of Science and Technology（香港理工大学数学系）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出了一种加速交替投影算法，用于鲁棒主成分分析，显著提高了现有交替投影方法在更新低秩因子时的计算效率，并证明了该算法的精确恢复保证和线性收敛性。
2019-02-11 cs.IT cs.LG cs.NA
Sparse Recovery via $\ell_1^2-η\ell_2^2$ Minimization
School of Mathematics, Sichuan University（四川大学数学学院）
针对加权平方范数差惩罚 ℓ₁²-ηℓ₂² 最小化，建立了精确恢复的零空间性质条件和基于 RIP 的稳定恢复保证，并提出了基于 ADMM 的高效算法。
2026-06-04 math.OC
Time-Varying Graph Signal Recovery Using High-Order Smoothness and Adaptive Low-rankness
针对时变图信号恢复问题，提出结合高阶Sobolev光滑性与误差函数加权核范数正则化的方法，设计两种高效算法并证明其一收敛性，实验验证其效果优于现有最优方法。
2024-05-16 cs.NA eess.SP math.NA
Relations among Some Low Rank Subspace Recovery Models
Peking University（北京大学）；Charles Sturt University（查尔斯特大学）
从分布在其上的数据恢复固有低维子空间是许多应用的关键预处理步骤。近年来，已经有大量的工作，模型的子空间恢复低秩最小化问题。我们发现，一些代表性的模型，如鲁棒主成分分析（R-PCA），鲁棒低秩表示（R-LRR）和鲁棒潜在低秩表示（R-LatLRR），实际上是深连接的。更具体地说，我们发现，一旦一个模型的解决方案是获得，我们可以获得其他模型的解决方案在封闭形式的配方。由于R-PCA是最简单的，我们的发现使它成为低秩子空间恢复模型的中心。我们的工作有两个重要意义。首先，R-PCA具有坚实的理论基础。在一定的条件下，我们可以找到更好的解决方案，这些低秩模型在压倒性的概率，虽然这些模型是非凸的。其次，我们可以通过首先求解R-PCA来获得这些模型的更快算法。通过应用低复杂度的随机算法，例如，我们的新的$\ell_{2,1}$滤波算法，R-PCA。实验结果表明，该算法优于其他基于交替方向法的算法。
2014-12-06 cs.LG math.OC
GRATE: Granular Recovery of Aggregated Tensor Data by Example
在本文中，我们解决的挑战，恢复一个准确的细分聚合张量数据使用解聚的例子。这个问题是由几个应用程序引起的。例如，在一些家庭的能源消耗分解，我们如何分解在同一时期在其他家庭消耗的总能源？为了应对这一挑战，我们提出了GRATE，一个原则性的方法，把不适定的任务变成一个约束张量分解问题。然后，使用交替最小二乘算法来解决这个优化问题。GRATE能够处理精确的聚合数据以及不精确的聚合，其中一些未观察到的量对聚合数据有贡献。特别强调的是能源分解的问题，其目标是提供能源分解为消费者从他们的每月总消费。两个真实数据集上的实验表明，GRATE在恢复更准确的解聚比国家的最先进的能量解聚方法的功效。
2020-04-05 cs.LG cs.SY eess.SY
Deconvolving Images with Unknown Boundaries Using the Alternating Direction Method of Multipliers
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
乘子交替方向法（ADMM）作为一种灵活有效的优化工具，近年来在非光滑凸正则化下的反卷积和重建成像问题中引起了广泛的关注。ADMM通过采用分而治之的策略实现了最先进的速度，其中，将难题分成更简单、有效可解的子问题（例如，使用快速傅立叶或小波变换，或简单的邻近算子）。在去卷积中，这些子问题之一涉及矩阵求逆（即，求解线性系），如果观察算子是循环的，则可以有效地完成（在离散傅里叶域中），即，在周期边界条件下。本文将基于ADMM的图像去卷积扩展到更现实的未知边界场景，其中观测算子被建模为卷积（具有任意边界条件）与空间掩模的组合，仅保留不依赖于未知边界的像素。所提出的方法还在没有额外成本的情况下处理组合丢失像素的恢复（即，inpainting）与deconvolution。我们表明，由此产生的算法继承ADMM的收敛保证，并说明其性能的非周期性去模糊（有和没有内部像素修复）下的总变差和基于帧的正则化。
2013-03-07 cs.CV math.OC
Unified Analysis on L1 over L2 Minimization for signal recovery
在本文中，我们进行了一个统一的研究$L_1$在$L_2$稀疏促进模型，这是广泛使用的制度的相干字典恢复稀疏非负/任意信号。首先，我们对约束和无约束$L_{1}/L_{2}$模型的整体解的存在性给出了统一的理论分析。其次，我们分析了这些$L_{1}/L_{2}$模型的任何局部极小的稀疏性，作为一个证书，以排除非局部极小平稳解。第三，我们得到了非负约束下$L_{1} / L_{2}$邻近算子的解析解。在此基础上，我们将乘子交替方向法以一种特殊的分裂方式应用于非负约束的无约束模型，称为ADMM $_p^+$。我们建立了它的全局收敛到d-平稳的解决方案（尖锐的平稳）没有库尔迪卡-Eschojasiewicz假设。大量的数值模拟证实了ADMM $_p^+$优于国家的最先进的方法在稀疏恢复。具体地，ADMM $_p^+$将计算时间减少约$95\%\sim99\%$，同时实现比用于波长未对准问题的常用缩放梯度投影法高得多的精度。
2023-01-22 cs.IT math.IT math.OC
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
LogSpecT: Feasible Graph Learning Model from Stationary Signals with Recovery Guarantees
The Chinese University of Hong Kong（香港中文大学）
针对平稳信号图学习模型rSpecT的超参数敏感与不可行问题，提出始终可行的LogSpecT模型及其实用版本rLogSpecT，借助上图收敛工具给出恢复保证，设计高效L-ADMM算法，实验验证其稳定性与优越性。
2023-05-02 cs.LG eess.SP math.OC
