Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden（IBM阿尔马登研究院）
本文针对矩阵补全的交替最小化方法，提出基于幂法收敛分析与QR分解平滑分析的新算法，大幅降低样本量需求，运行时间接近线性，样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
Recovery guarantee of weighted low-rank approximation via alternating minimization
Princeton University（普林斯顿大学）
许多应用需要从条目的噪声观测中恢复地面真实低秩矩阵，这在实践中通常被公式化为加权低秩近似问题，并通过诸如交替最小化的非凸优化算法来解决。本文通过一个简单的交替极小化算法给出了加权低秩的可证明恢复保证。特别是，对于一个自然类的矩阵和权重，没有任何假设的噪声，我们绑定的频谱范数之间的差异恢复矩阵和地面真理，频谱范数的加权噪声加上一个加性误差，减少交替最小化的轮数呈指数下降，从初始化SVD或，更重要的是，随机初始化。这些提供了加权低秩通过交替最小化与非二进制确定性权重的第一个理论结果，显着推广那些矩阵完成，特殊情况下与二进制权重，因为我们的假设是相似的或弱于现有的作品。此外，这是通过一个非常简单的算法来实现的，该算法通过简单的裁剪步骤来改进香草交替最小化。关键的技术挑战是，在非二进制确定性权重下，幼稚的交替步骤将破坏中间解的不相干性和频谱特性，这是朝着地面真理取得进展所必需的。我们表明，属性只需要保持在平均意义上，可以实现的裁剪步骤。我们还提供了一种交替算法，该算法使用白化步骤，通过SDP和Rademacher舍入保持属性，因此需要较弱的假设。该技术可以潜在地应用于其他一些应用中，并且具有独立的兴趣。
2016-12-08 cs.DS cs.LG stat.ML
Alternating minimization and alternating descent over nonconvex sets
我们分析了交替最小化的性能损失函数优化两个变量，其中每个变量可能被限制在一些潜在的非凸约束集。这种类型的设置在高维统计和信号处理中自然出现，其中变量通常反映所考虑的信号中的不同结构或成分。我们的分析依赖于当地的cross-coefficients的概念，这已经提出了在Barber和Ha测量和量化的一般非凸集的cross-coefficients。我们的研究结果进一步揭示了交替和非交替方法之间的重要区别。由于计算交替的最小化步骤可能不容易处理的一些问题，我们还考虑了一个不精确的版本的算法，并提供了一组充分条件，以确保快速收敛的不精确算法。我们展示了我们的框架上的几个例子，包括低秩+稀疏分解和多任务回归，并提供数值实验来验证我们的理论结果。
2019-02-25 math.OC stat.ML
Learning Sparsely Used Overcomplete Dictionaries via Alternating Minimization
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是学习字典元素和混合系数。交替最小化是稀疏编码的一种流行的启发式算法，其中字典和系数在交替的步骤中估计，保持另一个固定。通常，通过$\ell_1$最小化来估计系数，保持字典固定，并且通过最小二乘法来估计字典，保持系数固定。在本文中，我们建立局部线性收敛的这种变体交替最小化，并建立吸引盆地的全局最优值（对应于真正的字典和系数）是$\order{1/s^2}$，其中$s$是稀疏水平，在每个样本和字典满足RIP。结合最近的结果近似字典估计，这产生可证明的保证字典元素和系数的精确恢复，当字典元素是不连贯的。
2014-07-28 cs.LG math.OC stat.ML
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心I3S实验室）；IPMC, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心IPMC研究所）；LJAD, Univ. Côte d’Azur & CNRS/Inria（蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室）
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重，我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法，在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性，并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明，该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果，实现了基因的相关选择。K-sparse的复杂度与样本（细胞）的数量呈线性关系，因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Beyond Backprop: Online Alternating Minimization with Auxiliary Variables
NYU Tandon（纽约大学坦登工程学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；MIT（麻省理工学院）
尽管最近在深度神经网络方面取得了重大进展，但由于目标函数的高度非凸性，训练它们仍然是一个挑战。最先进的方法依赖于误差反向传播，其存在几个众所周知的问题，例如梯度消失和爆炸，无法处理不可微的非线性和跨层并行化权重更新，以及生物学上的不可信性。这些限制继续激励探索替代的训练算法，包括最近提出的几个随机变量方法，将复杂的嵌套目标函数分解为局部子问题。然而，这些技术主要是离线（批处理），这限制了它们对超大数据集的适用性，以及在线，持续或强化学习。我们工作的主要贡献是一种新的在线（随机/小批量）交替最小化（AM）方法，用于训练深度神经网络，以及随机设置中AM的第一个理论收敛保证和各种架构和数据集上有希望的经验结果。
2019-06-05 cs.LG stat.ML
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
Asymptotic Dynamics of Alternating Minimization for Bilinear Regression
本研究利用副本方法分析渐近极限下双线性回归交替最小化的动力学，发现其可由二维离散随机过程描述并揭示记忆依赖结构，理论框架可扩展至其他迭代算法分析。
2025-01-31 cond-mat.dis-nn math.OC stat.ML
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida（中佛罗里达大学）
本文考虑了一种混合多层随机块模型（MMLSBM），该模型将多层网络划分为多个相似的网络组，每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群，并识别这些层中的社区。Jing等人（2020）介绍了MMLSBM，并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术，交替最小化算法（ALMA），其目的是在同时恢复的层分区，连同不同层的连接概率的矩阵的估计。与TWIST相比，ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
A Note on Alternating Minimization Algorithm for the Matrix Completion Problem
MIT（麻省理工学院）；Los Alamos Research Laboratory（洛斯阿拉莫斯研究实验室）
本文分析了两种交替最小化算法变体在低秩矩阵补全问题中的性能，证明当矩阵秩为1且满足特定条件时，算法能在多项式时间内近似重建矩阵，并通过模拟结果表明第二种基于消息传递更新的算法表现更优。
2016-02-05 cs.LG cs.NA math.NA
Phase Retrieval using Alternating Minimization
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
相位恢复问题涉及求解线性方程，但缺少符号（或相位，对于复数）信息。在它首次被提出的四十多年后，（Gerchberg和Saxton 1972）和（Fienup 1982）的开创性错误减少算法仍然是解决这个问题的许多变体的流行选择。该算法基于交替最小化;即，它在估计缺失的相位信息和候选解之间交替。尽管它在实践中的广泛使用，没有全局收敛的保证，该算法是已知的。在本文中，我们表明，这种方法的一个（restaurant）的变体几何收敛到这样一个问题的解决方案-找到一个矢量$\mathbf{x}$从$\mathbf{y},\mathbf{A}$，其中$\mathbf{y} = \left|\mathbf{A}^{\top}\mathbf{x}\right|$和$|\mathbf{z}|$表示矢量元素的幅度$\mathbf{z}$ -假设$\mathbf{A}$是高斯。经验上，我们证明，交替最小化执行类似于最近提出的凸技术，这个问题（这是基于“提升”到凸矩阵问题）的样本复杂性和鲁棒性噪声。但是，它更有效，可以扩展到大型问题。分析上，一个restaurant版本的交替最小化，我们显示几何收敛的解决方案，和样本的复杂性，是关闭的日志因素从明显的下限。我们还建立了接近最优缩放的情况下，当未知向量是稀疏的。我们的工作代表了第一个理论保证交替最小化（尽管与rescue）的任何变体的相位恢复问题的非凸设置。
2015-06-12 cs.IT cs.LG math.IT
Meta-learning based Alternating Minimization Algorithm for Non-convex Optimization
National University of Defense Technology（国防科技大学）；Beihang University（北京航空航天大学）；Imperial College London（帝国理工学院）；University of Modena and Reggio Emilia (UNIMORE)（摩德纳-雷焦艾米利亚大学（UNIMORE））
在本文中，我们提出了一种新的解决方案的非凸问题的多个变量，特别是那些通常解决的交替最小化（AM）策略，分裂成一组对应于每个变量的子问题，然后迭代优化每个子问题使用固定的更新规则。然而，由于原始优化问题的内在非凸性，即使每个子问题可以在每次迭代中得到最优解，优化通常也会陷入伪局部极小值。与此同时，基于学习的方法，如深度展开算法，受到缺乏标记数据和有限的可解释性的高度限制。为了解决这些问题，我们提出了一种基于元学习的交替最小化（MLAM）方法，其目的是最小化迭代过程中的部分全局损失，而不是对每个子问题进行最小化，并且它倾向于学习一种自适应策略来取代手工制作的对应物，从而提前获得更好的性能。同时，所提出的MLAM仍然保持了原来的算法原理，这有助于更好的可解释性。我们评估所提出的方法上的两个代表性的问题，即，双线性逆问题：矩阵完成，和非线性问题：高斯混合模型。实验结果验证了我们提出的方法在标准设置中优于基于AM的方法，并且能够在具有挑战性的情况下实现有效的优化，而其他比较方法通常会失败。
2022-06-26 cs.LG math.OC stat.ML
Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑了带$k$分量的混合随机线性方程组的求解问题。这是混合线性回归的无噪声设置。目标是在未观察到标签（哪个样本对应于哪个模型）的情况下，从混合样本中估计多个线性模型。本文给出了求解混合线性方程组问题的一个易处理的算法，并证明了在一定的技术条件下，该算法能保证精确地求解该问题，其样本复杂度在维数上是线性的，在$k$中是多项式的。以前的方法需要对$k$的指数依赖性，或者对维度的超线性依赖性。该算法是张量分解和交替最小化的组合。我们的分析包括证明张量方法提供的初始化允许交替最小化，这是相当于EM在我们的设置，以线性速度收敛到全局最优。
2016-08-19 cs.IT cs.LG math.IT
Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training
George Mason University（乔治梅森大学）
最近提出了交替最小化方法作为深度神经网络优化的梯度下降的替代方案。交替最小化方法通常可以将深度神经网络分解为分层子问题，然后可以并行优化。尽管存在显著的并行性，但由于严重的精度下降，在训练深度神经网络时很少探索交替最小化方法。在本文中，我们分析了原因，并提出了一个令人信服的权衡并行性和准确性之间的重新制定所谓的可调子网分裂方法（TSSM），它可以调整深度神经网络的分解粒度。提出了梯度分裂交替方向乘子法和梯度分裂交替最小化法两种求解TSSM方程的方法。在五个基准数据集上的实验表明，我们提出的TSSM可以实现显着的加速，而没有明显的训练精度损失。该代码已在https://github.com/xianggebenben/TSSM上发布。
2020-09-16 cs.LG math.OC stat.ML
Alternating minimization for square root principal component pursuit
针对平方根主成分追踪（SRPCP）的计算难题，本文提出无需调参的AltMin算法，并结合核范数变分表述与Burer-Monteiro分解加速，实验验证其高效鲁棒。
2025-03-15 math.OC stat.ML
Sample Efficient Linear Meta-Learning by Alternating Minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
元学习综合并利用来自给定任务集的知识，以使用非常少的数据快速学习新任务。线性回归任务的元学习是该领域研究较多的基本问题。然而，现有的结果要么保证高度次优的估计误差，要么要求每个任务的$Ω(d)$样本（其中$d$是数据维度），从而提供了比单独学习每个任务几乎没有增益。在这项工作中，我们研究了一个简单的交替最小化方法（MLLAM），交替学习低维子空间和回归。我们发现，对于一个恒定的子空间维数MLLAM获得接近最优的估计误差，尽管只需要$Ω(\log d)$样本每个任务。然而，每个任务所需的样本数量随着任务数量的增加而增加。为了弥补这一点，在低噪声制度，我们提出了一种新的任务子集选择方案，确保相同的强大的统计保证MLLAM，即使有界的样本数量为任意大的任务，每个任务。
2021-05-18 cs.AI cs.LG math.OC
Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
An Extragradient-Based Alternating Direction Method for Convex Minimization
本文考虑了两个凸函数在线性连接约束下之和的极小化问题。经典的交替方向型方法通常假设两个凸函数具有相对容易的邻近映射。然而，统计学、图像处理等领域中的许多问题都具有这样的结构：当两个函数中的一个函数具有容易的邻近映射时，另一个函数是光滑凸的，但不具有容易的邻近映射。因此，不能应用经典的交替方向法。针对这一问题，本文提出了一种基于外梯度的交替方向法。在光滑函数具有Lipschitz连续梯度的假设下，我们证明了所提出的方法在$O(1/ε)$迭代内返回$ε$ -最优解。我们应用所提出的方法来解决一个新的统计模型称为融合逻辑斯谛回归。我们的数值实验表明，所提出的方法在解决测试问题时表现得很好。我们还测试了所提出的方法的性能，通过解决套索问题所产生的统计和比较的结果与现有的几个有效的解决这个问题，结果是非常令人鼓舞的。
2015-07-09 math.OC stat.ML
A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements
University of Chicago（芝加哥大学）
我们提出了一个简单的，可扩展的，快速的梯度下降算法来优化非凸目标的秩最小化问题和一个密切相关的家庭的半定程序。通过对秩为$r$、条件数为$κ$的半正定$n \times n$矩阵进行$O(r^3 κ^2 n \log n)$随机测量，保证了该方法线性收敛于全局最优解.
2016-03-24 cs.LG stat.ML
G-AMA: Sparse Gaussian graphical model estimation via alternating minimization
最近已经提出了几种方法来估计稀疏高斯图形模型，使用逆协方差阵上的$\ell_{1}$正则化。尽管最近的进展，当代的应用程序需要的方法，甚至更快，以处理病态的高维现代数据集。在本文中，我们提出了一种新的方法，G-AMA，解决稀疏逆协方差估计问题使用交替最小化算法（AMA），有效地作为一个近似梯度算法的对偶问题。我们的方法比现有的方法有几个新的优势。首先，我们证明了G-AMA比以前的最佳算法快了许多数量级，因此是现代高吞吐量应用的理想方法。其次，严格证明了G-AMA的全局线性收敛性，强调了其良好的理论性质。第三，对偶算法在协方差阵上操作，并且因此容易地促进基于领域特定知识对特征对之间的成对/边缘关系并入附加约束。除了估计稀疏逆协方差阵之外，我们还说明了如何（1）结合对（二元）相关性的约束，以及（2）结合各个逆协方差元素之间的相等（等稀疏性）或线性约束。第四，我们还表明，G-AMA是更好地善于处理极端病态的问题，往往是真实数据的情况下。该方法在模拟和真实数据集上进行了演示，以说明其优于最近提出的方法的性能。
2014-05-14 stat.CO stat.ML
Nonlinear matrix recovery using optimization on the Grassmann manifold
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Umeå University（于默奥大学）
我们调查的问题，恢复部分观察到的高秩矩阵，其列服从非线性结构，如子空间的联合，代数簇或分组在集群。恢复问题被制定为应用于原始矩阵的非线性特征映射的秩最小化，然后进一步近似为涉及格拉斯曼流形的约束非凸优化问题。我们提出了两套算法，一个产生于黎曼优化和其他作为一个交替的最小化方案，这两个都包括一阶和二阶变量。这两套算法都有理论上的保证。特别地，对于交替最小化，我们建立了全局收敛性和最坏情况下的复杂性界。此外，使用Kurdyka-Lojasiewicz属性，我们证明了交替最小化收敛到一个唯一的极限点。我们提供了广泛的数值结果的恢复联盟的子空间和聚类下的入口采样和稠密高斯采样。我们的方法与现有的方法是有竞争力的，特别是，高精度的恢复使用黎曼二阶方法。
2022-12-08 cs.LG math.OC stat.ML
On Finite-Step Convergence of the Non-Greedy Algorithm and Proximal Alternating Minimization Method with Extrapolation for $L_1$-Norm PCA
研究了$L_1$ -范数PCA的经典非贪婪算法（NGA）和最近提出的带外推的邻近交替最小化算法（PAMe）的有限步收敛性。它首先表明，NGA可以被解释为一个条件次梯度或交替最大化方法。通过将其视为条件次梯度，证明了在一定的满秩假设下，该算法产生的迭代点在多步迭代中是常数，当投影维数为1时，可以去掉这个假设.通过将算法视为一个交替的最大化，我们证明了目标值将是固定的后，最多$\left\lceil\frac{F^{\max}}{τ_0} \right\rceil$步骤，其中停止点满足一定的最优性条件。然后，NGA与改进的收敛性能进行了分析。结果表明，改进算法产生的迭代点在最多$\left\lceil\frac{2F^{\max}}τ \right\rceil$步后不会改变，而且如果邻近参数$τ$足够小，则停止点满足一定的最优性条件.对于PAMe，证明了当参数足够小且满足满秩假设时，符号变量经过多次迭代后仍保持不变，算法可以输出满足一定最优性条件的点.此外，如果投影矩阵相关子问题上不存在邻近项，则该改进算法产生的迭代点在最多$\left\lceil \frac{4F^{\max}}{τ(1-γ)} \right\rceil$步后不会改变，且停止点也满足一定的最优性条件，提供了与PAMe类似的假设.当投影维数为1时，可以去除满秩假设。
2023-03-22 math.OC stat.ML
Alternating Minimization Algorithm with Automatic Relevance Determination for Transmission Tomography under Poisson Noise
Duke University（杜克大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出了一种全局收敛的交替最小化算法，用于在泊松噪声下进行传输断层成像的图像重建，通过引入额外的隐变量来促进像素/体素差域的稀疏性，并在大规模问题中实现高效的并行优化。
2015-08-11 cs.NA math.NA stat.ML
Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems
Colorado School of Mines（科罗拉多矿业学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
（全局）Lipschitz光滑性条件在建立大多数最优化方法的收敛性理论中是至关重要的。不幸的是，大多数机器学习和信号处理问题都不是Lipschitz光滑的。这促使我们将Lipschitz光滑性条件的概念推广到相对光滑性条件，它是由任何有限阶多项式目标函数所满足的。此外，这项工作开发了新的Bregman散度为基础的算法，保证收敛到一个二阶稳定点的任何相对光滑的问题。此外，当我们将Bregman发散度专门化为欧氏距离时，所提出的最优化方法涵盖了邻近交替最小化和邻近交替线性化最小化。因此，这项工作不仅发展保证最优化方法的非Lipschitz光滑问题，但也解决了一个公开的问题，显示二阶收敛保证这些交替最小化方法。
2019-04-22 cs.IT cs.LG math.IT
Alternating minimization for generalized rank one matrix sensing: Sharp predictions from a random initialization
本文研究广义秩一矩阵感知问题，提出基于样本分割的交替最小化算法，并通过确定性递归给出从随机初始化出发的精确收敛保证，揭示非线性与噪声对收敛行为的影响。
2024-09-30 math.OC math.PR math.ST
Tensor Completion Made Practical
Massachusetts Institute of Technology（麻省理工学院）
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题，提出新型交替最小化算法，可在因子高度相关时近线性时间实现线性收敛，并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
