Inertial Proximal Deep Learning Alternating Minimization for Efficient Neutral Network Training
National University of Defense Technology（国防科技大学）
近年来，深度学习交替最小化（DLAM），实际上是应用于深度神经网络训练的惩罚形式的交替最小化，已被开发为克服随机梯度下降（SGD）算法的几个缺点的替代算法。这项工作开发了一个改进的DLAM的众所周知的惯性技术，即iPDLAM，预测一个点的线性化的当前和最后的迭代。为了获得更快的训练速度，我们对惩罚参数应用了一种预热技术，即从一个小的初始值开始，并在迭代中增加它。真实世界的数据集上的数值结果表明，我们所提出的算法的效率。
2021-01-30 cs.LG math.OC
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心I3S实验室）；IPMC, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心IPMC研究所）；LJAD, Univ. Côte d’Azur & CNRS/Inria（蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室）
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重，我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法，在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性，并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明，该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果，实现了基因的相关选择。K-sparse的复杂度与样本（细胞）的数量呈线性关系，因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Alternating minimization for dictionary learning: Local Convergence Guarantees
University of California Berkeley（加州大学伯克利分校）
我们提出的交替最小化算法的字典学习/稀疏编码问题的理论保证。字典学习问题是将向量样本$y^{1},y^{2},\ldots, y^{n}$分解为适当的基（字典）$A^*$和稀疏向量$x^{1*},\ldots,x^{n*}$。我们的算法是一个简单的交替最小化过程，在交替步骤中在$\ell_1$最小化和梯度下降之间切换。字典学习和特别是交替最小化算法的字典学习，以及在理论和经验研究。然而，在以前的理论分析这个问题，我们取代了一个条件上的运营商范数（即最大幅度奇异值）的真正的基础字典$A^*$与矩阵无穷范数（即最大幅度项）的条件。我们的保证是在一个合理的生成模型下，允许字典与不断增长的运营商规范，并可以处理任意级别的过完备性，同时具有稀疏性，这是理论上最优的信息。我们还建立了我们的算法的样本复杂度的上界。
2019-07-30 cs.LG stat.ML
Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden（IBM阿尔马登研究院）
本文针对矩阵补全的交替最小化方法，提出基于幂法收敛分析与QR分解平滑分析的新算法，大幅降低样本量需求，运行时间接近线性，样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
Meta-learning based Alternating Minimization Algorithm for Non-convex Optimization
National University of Defense Technology（国防科技大学）；Beihang University（北京航空航天大学）；Imperial College London（帝国理工学院）；University of Modena and Reggio Emilia (UNIMORE)（摩德纳-雷焦艾米利亚大学（UNIMORE））
在本文中，我们提出了一种新的解决方案的非凸问题的多个变量，特别是那些通常解决的交替最小化（AM）策略，分裂成一组对应于每个变量的子问题，然后迭代优化每个子问题使用固定的更新规则。然而，由于原始优化问题的内在非凸性，即使每个子问题可以在每次迭代中得到最优解，优化通常也会陷入伪局部极小值。与此同时，基于学习的方法，如深度展开算法，受到缺乏标记数据和有限的可解释性的高度限制。为了解决这些问题，我们提出了一种基于元学习的交替最小化（MLAM）方法，其目的是最小化迭代过程中的部分全局损失，而不是对每个子问题进行最小化，并且它倾向于学习一种自适应策略来取代手工制作的对应物，从而提前获得更好的性能。同时，所提出的MLAM仍然保持了原来的算法原理，这有助于更好的可解释性。我们评估所提出的方法上的两个代表性的问题，即，双线性逆问题：矩阵完成，和非线性问题：高斯混合模型。实验结果验证了我们提出的方法在标准设置中优于基于AM的方法，并且能够在具有挑战性的情况下实现有效的优化，而其他比较方法通常会失败。
2022-06-26 cs.LG math.OC stat.ML
A provably convergent alternating minimization method for mean field inference
EPFL（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
均值场是一种有效的方法来近似后验分布在复杂的图形模型，并构成最流行的一类贝叶斯变分近似方法。在大多数应用中，平均场分布参数使用交替坐标最小化来计算。然而，该算法的收敛性仍不清楚。在本文中，我们展示了如何通过添加适当的惩罚项，我们可以保证收敛到一个临界点，同时保持在每一步的封闭形式更新。收敛速度估计也可以根据非凸优化的最新结果得出。
2015-02-20 cs.LG math.OC
Recovery guarantee of weighted low-rank approximation via alternating minimization
Princeton University（普林斯顿大学）
许多应用需要从条目的噪声观测中恢复地面真实低秩矩阵，这在实践中通常被公式化为加权低秩近似问题，并通过诸如交替最小化的非凸优化算法来解决。本文通过一个简单的交替极小化算法给出了加权低秩的可证明恢复保证。特别是，对于一个自然类的矩阵和权重，没有任何假设的噪声，我们绑定的频谱范数之间的差异恢复矩阵和地面真理，频谱范数的加权噪声加上一个加性误差，减少交替最小化的轮数呈指数下降，从初始化SVD或，更重要的是，随机初始化。这些提供了加权低秩通过交替最小化与非二进制确定性权重的第一个理论结果，显着推广那些矩阵完成，特殊情况下与二进制权重，因为我们的假设是相似的或弱于现有的作品。此外，这是通过一个非常简单的算法来实现的，该算法通过简单的裁剪步骤来改进香草交替最小化。关键的技术挑战是，在非二进制确定性权重下，幼稚的交替步骤将破坏中间解的不相干性和频谱特性，这是朝着地面真理取得进展所必需的。我们表明，属性只需要保持在平均意义上，可以实现的裁剪步骤。我们还提供了一种交替算法，该算法使用白化步骤，通过SDP和Rademacher舍入保持属性，因此需要较弱的假设。该技术可以潜在地应用于其他一些应用中，并且具有独立的兴趣。
2016-12-08 cs.DS cs.LG stat.ML
Analysis of Fast Alternating Minimization for Structured Dictionary Learning
University of Michigan（密歇根大学）；Claremont Graduate University（克莱蒙特研究生大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
利用稀疏性的方法在成像和信号处理应用中已经很流行，包括压缩、去噪和成像逆问题。数据驱动的方法，如字典学习和变换学习，使人们能够从数据集中发现复杂的图像特征，并在分析模型上提供有前途的性能。交替最小化算法在字典或变换学习中特别流行。在这项工作中，我们研究了结构化（酉）稀疏算子学习的交替最小化的性质。虽然该算法收敛到一般的非凸问题的稳定点，我们证明了快速的局部线性收敛到基本的生成模型在温和的假设。实验结果表明，酉算子学习算法对初始化具有较好的鲁棒性。
2018-02-01 cs.LG
Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training
George Mason University（乔治梅森大学）
最近提出了交替最小化方法作为深度神经网络优化的梯度下降的替代方案。交替最小化方法通常可以将深度神经网络分解为分层子问题，然后可以并行优化。尽管存在显著的并行性，但由于严重的精度下降，在训练深度神经网络时很少探索交替最小化方法。在本文中，我们分析了原因，并提出了一个令人信服的权衡并行性和准确性之间的重新制定所谓的可调子网分裂方法（TSSM），它可以调整深度神经网络的分解粒度。提出了梯度分裂交替方向乘子法和梯度分裂交替最小化法两种求解TSSM方程的方法。在五个基准数据集上的实验表明，我们提出的TSSM可以实现显着的加速，而没有明显的训练精度损失。该代码已在https://github.com/xianggebenben/TSSM上发布。
2020-09-16 cs.LG math.OC stat.ML
On a Combination of Alternating Minimization and Nesterov's Momentum
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
交替最小化（AM）方法在求解凸优化和非凸优化问题的许多应用中实际上是有效的。另一方面，Nesterov的加速梯度法是凸优化理论上最优的一阶方法。在本文中，我们结合AM和Nesterov的加速，提出了一个加速交替最小化算法。我们证明了$1/k^2$收敛速度的凸问题的目标和$1/k$的平方梯度范数的非凸问题，其中$k$是迭代计数器。我们的方法不需要任何知识，既不是凸性的问题，也不是函数参数，如Lipschitz常数的梯度，即它是自适应的凸性和光滑性，是一致最优的光滑凸和非凸问题。进一步，我们发展了它的原始-对偶修改的强凸问题的线性约束，并证明了相同的$1/k^2$的原始目标残差和约束的可行性。
2021-09-15 cs.LG math.OC
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida（中佛罗里达大学）
本文考虑了一种混合多层随机块模型（MMLSBM），该模型将多层网络划分为多个相似的网络组，每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群，并识别这些层中的社区。Jing等人（2020）介绍了MMLSBM，并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术，交替最小化算法（ALMA），其目的是在同时恢复的层分区，连同不同层的连接概率的矩阵的估计。与TWIST相比，ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation
Simons Institute for the Theory of Computing, UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）；Rice University（莱斯大学）；Massachusetts Institute of Technology（麻省理工学院）
针对加权低秩近似这一NP难问题，提出高效鲁棒的交替最小化框架，通过高精度多响应回归求解器改进运行时间，从$||W||_0k^2$降至$||W||_0 k$，为数值线性代数和机器学习应用提供支持。
2025-02-16 cs.LG math.OC
On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出统一拓展现有结果的adaPG$^{q,r}$自适应近端梯度框架，证明其在时变参数一般场景下的收敛性，还提出适用范围超出标准强凸场景的自适应交替最小化算法。
2024-05-15 cs.LG math.OC
COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization
Baidu Research（百度研究院）；University of Macau（澳门大学）
关于数据表示的训练数据集的软化标签已被频繁地用于改进深度神经网络（DNN）的训练。虽然这种做法已经被研究为利用关于数据分布的特权信息的一种方式，但在生成这种特权信息之前，应该首先获得具有软分类输出的训练有素的学习器。为了解决这种鸡生蛋的问题，我们提出了COLAM框架，通过两个目标的交替最小化来共同学习DNN和软标签-（a）软标签的训练损失和（b）学习改进的软标签的目标-在一个端到端的训练过程中。我们进行了大量的实验，比较我们提出的方法与一系列的基线。实验结果表明，COLAM在许多任务上都取得了较好的性能，测试分类准确率也有所提高。我们还提供定性和定量分析，解释为什么COLAM工作良好。
2020-04-26 cs.LG stat.ML
StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）
本文提出StoTAM算法，通过直接操作Tucker因子化下的核心张量和因子矩阵，实现低秩张量感知的高效随机交替最小化。
2026-01-20 cs.LG math.OC
A Note on Alternating Minimization Algorithm for the Matrix Completion Problem
MIT（麻省理工学院）；Los Alamos Research Laboratory（洛斯阿拉莫斯研究实验室）
本文分析了两种交替最小化算法变体在低秩矩阵补全问题中的性能，证明当矩阵秩为1且满足特定条件时，算法能在多项式时间内近似重建矩阵，并通过模拟结果表明第二种基于消息传递更新的算法表现更优。
2016-02-05 cs.LG cs.NA math.NA
Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑了带$k$分量的混合随机线性方程组的求解问题。这是混合线性回归的无噪声设置。目标是在未观察到标签（哪个样本对应于哪个模型）的情况下，从混合样本中估计多个线性模型。本文给出了求解混合线性方程组问题的一个易处理的算法，并证明了在一定的技术条件下，该算法能保证精确地求解该问题，其样本复杂度在维数上是线性的，在$k$中是多项式的。以前的方法需要对$k$的指数依赖性，或者对维度的超线性依赖性。该算法是张量分解和交替最小化的组合。我们的分析包括证明张量方法提供的初始化允许交替最小化，这是相当于EM在我们的设置，以线性速度收敛到全局最优。
2016-08-19 cs.IT cs.LG math.IT
Learning ReLU Networks via Alternating Minimization
Iowa State University（爱荷华州立大学）
我们提出并分析了一系列新的算法，用于训练具有ReLU激活的神经网络。我们的算法基于交替最小化技术：估计所有给定样本的每个ReLU的激活模式，通过最小二乘步骤与权重更新交织。我们的论文主要关注的是带有$k$隐藏神经元和ReLU激活的1-隐藏层网络。我们表明，在标准的分布假设下的$d-$维输入数据，我们的算法可证明恢复真正的“地面实况”参数在线性收敛的方式。只要权重被足够好地初始化，这就成立;此外，我们的方法只需要$n=\widetilde{O}(dk^2)$样本。我们还分析了特殊情况下的1-隐藏层网络跳过连接，通常用于ResNet类型的架构，并提出了一种新的初始化策略。对于基于ReLU的ResNet类型网络，我们通过端到端算法提供了第一个线性收敛保证。我们还将此框架扩展到更深的网络，并实证证明其收敛到全局最小值。
2018-10-10 cs.LG stat.ML
Phase Retrieval using Alternating Minimization
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
相位恢复问题涉及求解线性方程，但缺少符号（或相位，对于复数）信息。在它首次被提出的四十多年后，（Gerchberg和Saxton 1972）和（Fienup 1982）的开创性错误减少算法仍然是解决这个问题的许多变体的流行选择。该算法基于交替最小化;即，它在估计缺失的相位信息和候选解之间交替。尽管它在实践中的广泛使用，没有全局收敛的保证，该算法是已知的。在本文中，我们表明，这种方法的一个（restaurant）的变体几何收敛到这样一个问题的解决方案-找到一个矢量$\mathbf{x}$从$\mathbf{y},\mathbf{A}$，其中$\mathbf{y} = \left|\mathbf{A}^{\top}\mathbf{x}\right|$和$|\mathbf{z}|$表示矢量元素的幅度$\mathbf{z}$ -假设$\mathbf{A}$是高斯。经验上，我们证明，交替最小化执行类似于最近提出的凸技术，这个问题（这是基于“提升”到凸矩阵问题）的样本复杂性和鲁棒性噪声。但是，它更有效，可以扩展到大型问题。分析上，一个restaurant版本的交替最小化，我们显示几何收敛的解决方案，和样本的复杂性，是关闭的日志因素从明显的下限。我们还建立了接近最优缩放的情况下，当未知向量是稀疏的。我们的工作代表了第一个理论保证交替最小化（尽管与rescue）的任何变体的相位恢复问题的非凸设置。
2015-06-12 cs.IT cs.LG math.IT
Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods
Tsinghua University（清华大学）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）
本文提出了一个统一框架，基于非单调$j$步充分下降条件和KL性质分析AM型深度神经网络训练方法的收敛速率，并展示了不同条件下的局部收敛速率与R-线性收敛性。
2023-04-04 cs.LG math.OC
Beyond Backprop: Online Alternating Minimization with Auxiliary Variables
NYU Tandon（纽约大学坦登工程学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；MIT（麻省理工学院）
尽管最近在深度神经网络方面取得了重大进展，但由于目标函数的高度非凸性，训练它们仍然是一个挑战。最先进的方法依赖于误差反向传播，其存在几个众所周知的问题，例如梯度消失和爆炸，无法处理不可微的非线性和跨层并行化权重更新，以及生物学上的不可信性。这些限制继续激励探索替代的训练算法，包括最近提出的几个随机变量方法，将复杂的嵌套目标函数分解为局部子问题。然而，这些技术主要是离线（批处理），这限制了它们对超大数据集的适用性，以及在线，持续或强化学习。我们工作的主要贡献是一种新的在线（随机/小批量）交替最小化（AM）方法，用于训练深度神经网络，以及随机设置中AM的第一个理论收敛保证和各种架构和数据集上有希望的经验结果。
2019-06-05 cs.LG stat.ML
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA（佛罗里达大学数学系）
本文提出了一种学习的近端交替最小化算法及其诱导网络，用于解决双块非凸非光滑优化问题，通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization
University of Hong Kong（香港大学）；University of New South Wales（新南威尔士大学）；Southern University of Science and Technology（南方科技大学）
无线联邦学习（FL）是一种新兴的机器学习范式，其通过无线通信从分布式数据集训练全局参数模型。本文提出了一种单位模数无线FL（UMWFL）框架，它同时上传本地模型参数，并通过优化相移计算全局模型参数。所提出的框架避免了复杂的基带信号处理，从而导致低通信延迟和实现成本。导出了训练损失界，并提出了一种惩罚交替最小化（PAM）算法，以最小化非凸非光滑损失界。在汽车学习行动（CARLA）平台上的实验结果表明，提出的UMWFL框架与PAM算法实现了更小的训练损失和测试错误比基准计划。
2021-08-31 cs.LG eess.SP
The PRIMPing Routine -- Tiling through Proximal Alternating Linearized Minimization
TU Dortmund（多特蒙德工业大学）
挖掘和探索数据库应该为用户提供知识和新的见解。数据块努力揭示真实的底层结构，并将有价值的信息与各种噪音区分开来。我们提出了一种新的布尔矩阵分解算法来解决平铺问题，根据最优化理论的最新成果。与现有的工作相比，新算法最大限度地减少了所产生的因式分解的描述长度。这种方法对于模型选择和数据压缩是公知的，但对于通过数值优化找到合适的因子分解则不是。我们证明了优越的鲁棒性的新方法中存在的几种噪声和类型的底层结构。此外，我们的一般框架可以与任何具有适当的实值松弛的成本度量一起工作。因此，不必满足凸度假设。在合成数据和图像数据上的实验结果表明，新方法识别出的可解释模式几乎总是比竞争算法更好地解释数据。
2019-06-17 cs.AI cs.LG
AltGDmin: Alternating GD and Minimization for Partly-Decoupled (Federated) Optimization
Iowa State University（爱荷华州立大学）
提出AltGDmin框架，通过交替梯度下降与最小化加速部分解耦优化，适用于低秩、鲁棒、张量及离散问题，并在联邦设置中实现通信高效。
2025-04-20 cs.LG math.OC stat.ME
Alternating Minimization Converges Super-Linearly for Mixed Linear Regression
UC Berkeley（加州大学伯克利分校）
本文研究了混合随机线性方程组的求解问题。我们有来自多个线性回归的未标记观测值，每个观测值对应于其中一个回归模型。目标是从观测中学习线性回归。传统上，交替最小化（AM）（这是期望最大化（EM）的变体）被用来解决这个问题。AM迭代地在标签的估计和用估计的标签解决回归问题之间交替。经验上，可以观察到，对于包括混合线性回归在内的各种非凸问题，AM与基于梯度的算法相比以快得多的速率收敛。然而，现有的理论表明AM和基于梯度的方法具有相似的收敛速率，未能捕获这种经验行为。在本文中，我们关闭这个差距之间的理论和实践的特殊情况下的混合物的$2$线性回归。我们表明，提供适当的初始化，AM享有\emph{super-linear}率的收敛在某些参数制度。据我们所知，这是第一个工作，理论上建立了这样的速度为AM。因此，如果我们想将未知回归恢复到$ε$的错误（在$\ell_2$范数中），AM只需要$\mathcal{O}(\log \log (1/ε))$迭代。此外，我们比较AM与基于梯度的启发式算法的经验，并表明AM占主导地位的迭代复杂度以及挂钟时间。
2020-08-11 cs.LG stat.ML
Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes
School of Mathematics and Computational Science, Xiangtan University（数学与计算机科学学院，湘潭大学）
针对深度网络训练中同步更新导致的收敛不稳定和高计算成本，提出具有可训练步长的随机交替最小化（SAMT），通过逐块交替更新和元学习自适应步长，实现更优泛化性能与更少参数更新。
2025-08-06 cs.LG
Simple Alternating Minimization Provably Solves Complete Dictionary Learning
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无噪声完备字典学习缺乏理论保证和扩展性差的问题，提出基于高效预处理的简单交替最小化算法，可证明线性收敛至真实基准，并支持超大规模和在线数据，实验验证其优越性。
2025-03-05 cs.LG eess.SP math.OC
Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning
University of Sydney（悉尼大学）
本文基于Wyner公共信息框架提出两种多视图无监督学习形式，并分别设计高效交替最小化与定制ADMM求解器，给出收敛保证且实验性能优越。
2023-04-26 cs.IT cs.LG math.IT
Nonlinear matrix recovery using optimization on the Grassmann manifold
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Umeå University（于默奥大学）
我们调查的问题，恢复部分观察到的高秩矩阵，其列服从非线性结构，如子空间的联合，代数簇或分组在集群。恢复问题被制定为应用于原始矩阵的非线性特征映射的秩最小化，然后进一步近似为涉及格拉斯曼流形的约束非凸优化问题。我们提出了两套算法，一个产生于黎曼优化和其他作为一个交替的最小化方案，这两个都包括一阶和二阶变量。这两套算法都有理论上的保证。特别地，对于交替最小化，我们建立了全局收敛性和最坏情况下的复杂性界。此外，使用Kurdyka-Lojasiewicz属性，我们证明了交替最小化收敛到一个唯一的极限点。我们提供了广泛的数值结果的恢复联盟的子空间和聚类下的入口采样和稠密高斯采样。我们的方法与现有的方法是有竞争力的，特别是，高精度的恢复使用黎曼二阶方法。
2022-12-08 cs.LG math.OC stat.ML
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
本文提出一种基于张量列车分解的交替最小化张量补全算法，通过交替优化MPS表示中的矩阵（张量），在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval
Institute of Data Science（数据科学研究院）；National University of Singapore（新加坡国立大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mathematics（数学系）
针对含任意损坏测量的鲁棒相位恢复问题，提出基于 oracle 子例程的交替最小化算法，并在稀疏离群点模型下构造免谱初始化的梯度下降 oracle，实现可证明收敛与近线性样本复杂度。
2024-09-07 cs.LG
Alternating minimization algorithm with initialization analysis for r-local and k-sparse unlabeled sensing
Iowa State University（爱荷华州立大学）；Tufts University（塔夫茨大学）
该研究针对无标签感知这一带置换测量的线性逆问题，提出适配k-稀疏与r-局部两类置换模型的带初始化交替最小化算法，推导了初始化误差界，实验验证其高效、鲁棒且在真实数据集的关联回归任务上优于基线方法。
2024-12-12 cs.IT cs.LG eess.SP
Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization
如今，大规模数据在不同的应用领域中的可用性促使部署复杂的工具，以便从这些海量信息中提取有价值的知识。在这种情况下，寻求数据低维嵌入的低秩表示（LRR）自然出现了。为了降低计算复杂性并提高估计性能，已经通过矩阵分解（MF）的视角来观察LRR。最近，已经提出了低秩MF（LRMF）方法来解决MF的固有弱点，即，不知道数据所在的低维空间的维度。在此，受秩最小化迭代加权方案优点的启发，我们提出了一个通用的低秩提升正则化函数。然后，专注于它的一个特定的实例，我们提出了一个正则化，共同施加列稀疏的两个矩阵因子，从MF的结果，从而促进低秩的优化问题。去噪，矩阵完成和非负矩阵分解（NMF）的问题被重新定义，根据新的LRMF制定和解决有效的牛顿型算法与证明的理论保证，其收敛性和收敛到稳定点的速度。在不同的模拟和真实数据实验中验证了所提出的算法的有效性。
2017-10-05 cs.LG
Alternating Mahalanobis Distance Minimization for Stable and Accurate CP Decomposition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
CP分解（CPD）在化学计量学、信号处理、数据采掘等领域有着广泛的应用。虽然已经提出了许多算法来计算CPD，但交替最小二乘（ALS）仍然是用于计算分解的最广泛使用的算法之一。最近的工作介绍了张量的特征值和奇异值的概念，并探讨了特征向量和奇异向量在信号处理，数据分析等领域的应用。我们引入了一个新的公式推导奇异值和向量的张量考虑的临界点的功能不同，在以前的工作。以交替方式计算这些临界点激发了交替优化算法，其对应于矩阵情况下的交替最小二乘算法。然而，对于阶数大于等于$3$的张量，它最小化了一个与常用的最小二乘损失不同的目标函数。交替优化这个新的目标，导致简单的更新因子矩阵与ALS相同的渐近计算成本。我们表明，该算法的子扫描可以实现超线性收敛速度与已知的秩精确CPD和实验验证。然后，我们将该算法视为相对于每个因素优化Mahalanobis距离，其中地面度量取决于其他因素。这种观点使我们能够推广我们的方法，以插入对应于ALS的更新和新算法之间的平衡的稳定性和健身的分解。我们的实验结果表明，近似合成和现实世界的张量，该算法及其变体收敛到一个更好的条件分解具有可比性，有时更好的健身相比，ALS算法。
2022-05-10 cs.LG cs.NA math.NA
Low-tubal-rank Tensor Completion using Alternating Minimization
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）；Tufts University（塔夫茨大学）；Purdue University（普渡大学）
低管秩张量模型最近被提出用于真实世界的多维数据。本文研究了低管秩张量完备化问题，即，通过观察随机均匀选择的元素子集来恢复三阶张量。我们提出了一个快速的迭代算法，称为{ \em Tubal-Alt-Min}，这是一个类似的方法低秩矩阵完成的启发。未知的低tubal秩张量表示为两个小得多的张量的乘积，其中低tubal秩属性被自动合并，并且Tubal-Alt-Min使用张量最小二乘最小化在估计这两个张量之间交替。首先，我们注意到，张量最小二乘最小化不同于其矩阵对应物，并且由于低管秩张量模型的循环卷积算子与子采样算子交织在一起，因此是非平凡的。其次，理论性能保证是具有挑战性的，因为Tubal-Alt-Min本质上是迭代的和非凸的。我们证明了1）Tubal-Alt-Min保证指数收敛到全局最优值; 2）对于具有管秩$r \ll n$的$n \times n \times k$张量，所需的采样复杂度为$O(nr^2k \log^3 n)$，计算复杂度为$O(n^2rk^2 \log^2 n)$ .第三，在合成数据和真实视频数据上，评估结果表明，与张量核范数最小化（TNN-ADMM）相比，Tubal-Alt-Min显著改善了恢复误差（数量级）。据估计，Tubal-Alt-Min以指数速率$10^{-0.4423 \text{Iter}}$收敛，其中$\text{Iter}$表示迭代次数，这比TN…
2016-10-05 cs.IT cs.LG math.IT
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的，例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛，核范数，是一种有效的技术来解决问题的强性能保证。然而，非凸松弛比核范数具有更小的估计偏差，并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上，迭代重加权核范数计划，同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势，凸松弛和交替最小化方法。此外，我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法，使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Recommendation on a Budget: Column Space Recovery from Partially Observed Entries with Random or Active Sampling
Stanford University（斯坦福大学）
我们分析了交替最小化的列空间恢复的部分观察到的，近似低秩矩阵的列数不断增加，每列的观测值的固定预算。在这项工作中，我们证明，如果预算大于秩的矩阵，列空间恢复成功-随着列数的增长，从交替最小化的估计收敛到真正的列空间的概率趋于一。从我们的证明技术中，我们自然地制定了一个主动采样策略，用于选择列的条目，该策略在理论上和经验上（在合成和真实数据上）优于通常研究的均匀随机采样策略。
2021-05-16 cs.IR cs.LG stat.ML
Tensor Completion Made Practical
Massachusetts Institute of Technology（麻省理工学院）
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题，提出新型交替最小化算法，可在因子高度相关时近线性时间实现线性收敛，并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
Continuous-Time Analysis of Heavy Ball Momentum in Min-Max Games
Aarhus University（奥胡斯大学）；EPFL（洛桑联邦理工学院）
本文对极大极小博弈中的重球动量进行连续时间分析，发现较小动量增强稳定性并引导轨迹至浅斜率区域，与最小化情形相反，揭示了根本差异。
2025-05-26 cs.GT cs.LG
MACRO: A Meta-Algorithm for Conditional Risk Minimization
IST Austria（奥地利科学技术研究所）
我们研究条件风险最小化（CRM），即学习的问题，在下一步的顺序到达相关数据的预测风险最小的假设。尽管这是一个基本问题，但到目前为止，CRM意义上的成功学习只使用理论算法来证明，这些算法不能用于实际问题，因为它们需要存储所有传入的数据。在这项工作中，我们介绍了MACRO，CRM的元算法，不受这个缺点，但仍然提供学习保证。它不是存储所有数据，而是维护和迭代更新一组学习子程序。通过适当的近似，MACRO应用于真实数据，与传统的无条件学习相比，预测性能得到了提高。
2018-11-03 cs.LG stat.ML
Simple, Efficient, and Neural Algorithms for Sparse Coding
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。
2015-03-02 cs.DS cs.LG cs.NE
