Alternating Linear Minimization: Revisiting von Neumann's alternating projections
Zuse Institute Berlin（柏林齐布研究所）；Institute of Mathematics, Technische Universität Berlin（柏林工业大学数学研究所）；Department of Mathematics, ETH Zürich（苏黎世联邦理工学院数学系）
本文提出一种在仅能使用线性最小化算子的情况下，通过交替投影找到两个凸集交集的算法，扩展了冯·诺依曼经典结果的应用范围。
2026-04-08 math.OC
Detailed Proofs of Alternating Minimization Based Trajectory Generation for Quadrotor Aggressive Flight
本技术报告对\textit{Alternating Minimization Based Trajectory Generation for Quadrotor Aggressive Flight}中使用的算法进行了详细的理论分析。提供假设以确保目标函数的设置是有意义的。此外，我们探讨了优化问题的结构，并分析了所采用的算法的全局/局部收敛速度。
2020-02-21 cs.RO math.OC
Alternating minimization for a single step TV-Stokes model for image denoising
Western Norway University of Applied Sciences（挪威西部应用科技大学）；University of Bergen（卑尔根大学）
本文提出了一种完全耦合的TV-Stokes模型，并提出了一种基于目标泛函交替极小化的算法，其第一步迭代正是先前提出的修正TV-Stokes模型。该模型是二阶全广义变差模型的推广。给出了收敛性分析。
2020-09-29 cs.CV cs.NA math.NA
Multimarginal Optimal Transport by Accelerated Alternating Minimization
我们考虑一个多边际最优输运，其中包括作为一个特殊情况下的Wasserstein重心问题。在这个问题中，必须找到$m$概率测度之间的最佳耦合，这相当于找到$m$阶的张量。我们提出了一种基于加速交替最小化的加速方法，并估计了它的复杂性，以找到问题的近似解。我们使用足够小的正则化参数的熵正则化和应用加速交替最小化的对偶问题。一种新的原始-对偶分析被用来重建近似最优的耦合张量。我们的算法表现出更好的计算复杂性比国家的最先进的方法的问题参数的某些制度。
2020-09-10 math.OC
A Preconditioned Alternating Minimization Framework for Nonconvex and Half Quadratic Optimization
针对非凸半二次正则化模型和Ambrosio-Tortorelli近似Mumford-Shah模型，基于Kurdyka-Kazojasiewicz分析和最近的非凸近似算法，针对非线性交替极小化过程中出现的线性子问题，提出了一种有效的预处理框架.大规模线性子问题的求解一直是交替极小化算法中的一个重要而又具有挑战性的问题。通过将有效的和经典的预条件迭代法结合到非线性非凸优化问题中，证明了线性子问题只需要一次或任意有限次预条件迭代，而不需要像通常的不精确解那样控制误差.所提出的预处理框架可以为线性子问题的处理提供极大的灵活性和效率，同时保证非线性交替极小化方法的整体收敛。
2021-07-29 cs.NA math.NA math.OC
Alternating Minimization for Regression with Tropical Rational Functions
Emory University（埃默里大学）
提出一种交替最小化启发式方法，通过在分子和分母项之间交替进行热带多项式回归，解决具有固定指数的热带有理函数回归问题，实验证明其能有效近似输入数据，且与ReLU神经网络密切相关。
2023-05-31 cs.LG math.OC
A symmetric alternating minimization algorithm for total variation minimization
在本文中，我们提出了一种新的对称交替最小化算法来解决广泛的一类全变差（TV）正则化问题。与通常的$z^k\to x^k$ Gauss-Seidel循环不同，该算法执行特殊的$\overline{x}^{k}\to z^k\to x^k$循环。我们设置的主要思想是最近的对称高斯-赛德尔（SGS）技术，这是解决多块凸复合问题。这个想法也使我们能够建立所提出的方法和著名的加速近端梯度（APG）方法之间的等价性。该算法可以直接从APG框架中获得更快的收敛速度，包括图像去噪、图像去模糊和稀疏恢复问题的数值结果证明了新算法的有效性。
2020-06-05 cs.DS math.OC
Inertial Proximal Deep Learning Alternating Minimization for Efficient Neutral Network Training
National University of Defense Technology（国防科技大学）
近年来，深度学习交替最小化（DLAM），实际上是应用于深度神经网络训练的惩罚形式的交替最小化，已被开发为克服随机梯度下降（SGD）算法的几个缺点的替代算法。这项工作开发了一个改进的DLAM的众所周知的惯性技术，即iPDLAM，预测一个点的线性化的当前和最后的迭代。为了获得更快的训练速度，我们对惩罚参数应用了一种预热技术，即从一个小的初始值开始，并在迭代中增加它。真实世界的数据集上的数值结果表明，我们所提出的算法的效率。
2021-01-30 cs.LG math.OC
Phase retrieval with random Gaussian sensing vectors by alternating projections
我们考虑一个相位恢复问题，我们要重建一个$n$维矢量从其无相位标量积与$m$感测矢量。我们假设感测向量是从复正态分布独立采样的。我们建议用经典的交替投影的非凸方法来解决这个问题。我们表明，当$m\geq Cn$为$C$足够大，交替投影成功的概率很高，只要他们仔细初始化。我们还表明，有一个政权中的交替投影方法的停滞点消失，初始化程序变得无用。然而，在该方案中，$m$必须为$n^2$的量级。最后，我们推测，从我们的数值实验，在制度$m=O(n)$，有停滞点，但其吸引盆地的大小是小的，如果$m/n$是足够大的，所以交替的投影可以成功的概率接近$1$，即使没有特殊的初始化。
2016-09-10 math.OC math.ST stat.TH
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
Newton-type Alternating Minimization Algorithm for Convex Optimization
本文提出了求解结构化非光滑凸优化问题的NAMA（Newton-type Alternating Minimization Algorithm）算法，其中两个函数之和是极小化的，其中一个是强凸函数，另一个是由一个线性映射组成的.所提出的算法是一个线搜索法在一个连续的，实值的，精确罚函数相应的对偶问题，这是计算通过评估增广拉格朗日在原始点交替最小化。因此，NAMA依赖于与经典交替最小化算法（AMA）完全相同的计算，AMA也称为双近端梯度法。在标准假设下，该算法具有强收敛性，而在较弱的附加假设下，只要搜索方向按拟牛顿公式选取，则算法的渐近收敛是超线性的.由于其简单性，所提出的方法是非常适合于嵌入式应用程序和大规模的问题。实验结果表明，NAMA算法中使用有限内存方向大大提高了收敛速度。
2018-03-14 math.OC
Learning Sparsely Used Overcomplete Dictionaries via Alternating Minimization
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是学习字典元素和混合系数。交替最小化是稀疏编码的一种流行的启发式算法，其中字典和系数在交替的步骤中估计，保持另一个固定。通常，通过$\ell_1$最小化来估计系数，保持字典固定，并且通过最小二乘法来估计字典，保持系数固定。在本文中，我们建立局部线性收敛的这种变体交替最小化，并建立吸引盆地的全局最优值（对应于真正的字典和系数）是$\order{1/s^2}$，其中$s$是稀疏水平，在每个样本和字典满足RIP。结合最近的结果近似字典估计，这产生可证明的保证字典元素和系数的精确恢复，当字典元素是不连贯的。
2014-07-28 cs.LG math.OC stat.ML
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
Alternating minimization for square root principal component pursuit
针对平方根主成分追踪（SRPCP）的计算难题，本文提出无需调参的AltMin算法，并结合核范数变分表述与Burer-Monteiro分解加速，实验验证其高效鲁棒。
2025-03-15 math.OC stat.ML
Convergence Rates for the Alternating Minimization Algorithm in Structured Nonsmooth and Nonconvex Optimization
Federal University of Goiás（戈亚斯联邦大学）；Wayne State University（韦恩州立大学）；Aix Marseille Univ, CNRS, AMSE（艾克斯马赛大学、法国国家科学研究中心、经济与社会研究所）
本文改进了结构非凸优化中交替最小化算法的收敛速率，提出了在低指数PLK条件下实现超线性收敛的方法，并探讨了其在非合作博弈和行为科学中的应用。
2026-01-30 math.OC
Iteratively reweighted penalty alternating minimization methods with continuation for image deblurring
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
本文研究了图像处理中经常出现的一类带线性约束的非凸问题。我们用罚函数法解决了这个问题，并提出了迭代重加权交替极小化算法。为了加快算法的速度，我们还对罚参数采用了连续策略。证明了算法的收敛性。与非凸ADMM相比，该算法具有收敛性要求低、计算速度快等优点。数值结果表明了该算法的有效性。
2019-02-09 cs.CV eess.IV math.OC
Alternating minimization for simultaneous estimation of a latent variable and identification of a linear continuous-time dynamic system
本文提出一种基于贝叶斯最大后验估计的凸交替最小化优化方法，用于在给定单输入-输出对时同时估计潜变量和辨识线性连续时间动态系统，并证明了其收敛性及最优解满足两点边界问题与张量积表达式。
2023-06-28 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
Alternating Randomized Block Coordinate Descent
块坐标下降算法和交替最小化方法是基本的优化算法，也是大规模优化和机器学习中的重要基础。虽然已经广泛研究了各种块坐标下降型方法，但已知只有交替最小化（仅适用于两个块的设置）具有独立于最不平滑块的收敛时间。一个自然的问题是：两个街区的设置是特殊的吗？我们表明，答案是“不”，只要最不光滑的块可以被优化，正是-一个假设，也需要在设置交替最小化。我们这样做，通过引入一种新的算法AR-BCD，其收敛时间尺度独立的最不平滑（可能是非平滑）块。基本算法推广了交替极小化和随机块坐标（梯度）下降，我们还提供了它的加速版本- AAR-BCD。作为AAR-BCD的一个特例，我们得到了第一个非平凡的加速交替极小化算法。
2019-07-01 math.OC
Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法（ADMM）是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外，我们将该算法应用于鲁棒主成分追踪问题，并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Robust Phase Retrieval by Alternating Minimization
针对稀疏噪声下的鲁棒相位恢复问题，提出基于无约束Gauss-Newton的鲁棒交替最小化（Robust-AM）算法，在标准高斯测量下证明了其非渐近线性收敛性及阶数最优样本复杂度，并在实验中优于现有方法。
2024-03-28 eess.SP math.OC math.ST
Alternating Minimization Based First-Order Method for the Wireless Sensor Network Localization Problem
我们提出了一种算法的无线传感器网络定位问题，这是基于著名的算法框架交替最小化。我们从一个非光滑和非凸的最小化，并将其转化为一个等价的光滑和非凸的问题，这是我们研究的核心。这为全局收敛的新方法铺平了道路：不仅目标函数值的序列收敛，而且位置估计的序列也收敛到作为对应（原始）目标函数的临界点的唯一位置。所提出的算法有一系列的完全分布式的完全集中式的实现，都具有全局收敛的属性。该算法在几个网络配置进行了测试，它被证明在较短的时间内产生更准确的解决方案相对于现有的方法。
2020-10-14 cs.NI math.OC
Learning Low-Complexity Autoregressive Models via Proximal Alternating Minimization
本文研究了在时间序列数据有限而非序列稳态数据丰富的情况下，向量自回归模型中状态转移阵的估计问题。为了利用这两个来源的数据，我们制定了最小二乘最小化问题正则化的李雅普诺夫惩罚。我们施加基数或秩约束，以减少自回归模型的复杂性。我们解决由此产生的非凸，非光滑的问题，使用邻近交替线性化方法（PALM）。我们证明了PALM是全局收敛到一个临界点，估计误差单调减小。此外，我们获得了显式的近似运算符，以方便实施的PALM。我们证明了所开发的方法的有效性合成和真实世界的数据。实验结果表明，PALM在计算效率和求解质量上都优于梯度投影法。
2018-09-19 math.OC
Construction and Iteration-Complexity of Primal Sequences in Alternating Minimization Algorithms
在求解原型约束凸优化的交替极小化算法（AMA）中，引入了一种新的加权平均算法，该算法利用“Fenchel型”算子来恢复原始解.我们的方法结合了\cite{Tseng1991}中经典的AMA思想和Nesterov的函数平滑技术，而不需要目标函数的强凸性。我们提出了一种新的非加速的原始-对偶AMA方法，并在目标残差和可行性间隙上估计了它的原始收敛速度。然后，我们将Nesterov的加速步骤到这个算法，并获得一个新的加速原始-对偶AMA变种赋予严格的收敛速度保证。我们证明了该算法的最坏情况下的迭代复杂度是最优的（在一阶黑盒模型的意义上），而不施加充分的强凸性假设的目标。
2020-08-08 math.OC
An alternating minimization algorithm for Factor Analysis
考虑了将给定的协方差阵分解为给定秩的半正定矩阵与半正定对角矩阵之和的问题。我们提出了一个投影型算法来解决这个问题。即使当给定的协方差阵具有非常大的维数时，该算法也表现得非常好并且非常快。该算法的有效性进行评估，通过模拟研究和应用程序被认为是基准的问题，以三个真实的数据集。并对算法进行了局部收敛分析。
2018-06-12 math.OC
Nonnegative Matrix Factorization and I-Divergence Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们将该算法解释为csiszár-Tusnády的交替最小化过程，并研究其一些稳定性性质。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。
2005-07-13 math.OC math.PR
A provably convergent alternating minimization method for mean field inference
EPFL（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
均值场是一种有效的方法来近似后验分布在复杂的图形模型，并构成最流行的一类贝叶斯变分近似方法。在大多数应用中，平均场分布参数使用交替坐标最小化来计算。然而，该算法的收敛性仍不清楚。在本文中，我们展示了如何通过添加适当的惩罚项，我们可以保证收敛到一个临界点，同时保持在每一步的封闭形式更新。收敛速度估计也可以根据非凸优化的最新结果得出。
2015-02-20 cs.LG math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的，因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体，并保证收敛。交替极小化算法（AMA）是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的，它等价于应用于相应对偶问题的前后向分裂算法。在本文中，我们设计了一个变种的三块AMA，这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比，该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品，我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下，证明了算法在无限维希尔伯特空间中的收敛性.最后，我们进行了数值实验的稳定的主成分追踪（SPCP），以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
An Extragradient-Based Alternating Direction Method for Convex Minimization
本文考虑了两个凸函数在线性连接约束下之和的极小化问题。经典的交替方向型方法通常假设两个凸函数具有相对容易的邻近映射。然而，统计学、图像处理等领域中的许多问题都具有这样的结构：当两个函数中的一个函数具有容易的邻近映射时，另一个函数是光滑凸的，但不具有容易的邻近映射。因此，不能应用经典的交替方向法。针对这一问题，本文提出了一种基于外梯度的交替方向法。在光滑函数具有Lipschitz连续梯度的假设下，我们证明了所提出的方法在$O(1/ε)$迭代内返回$ε$ -最优解。我们应用所提出的方法来解决一个新的统计模型称为融合逻辑斯谛回归。我们的数值实验表明，所提出的方法在解决测试问题时表现得很好。我们还测试了所提出的方法的性能，通过解决套索问题所产生的统计和比较的结果与现有的几个有效的解决这个问题，结果是非常令人鼓舞的。
2015-07-09 math.OC stat.ML
Data-driven initialization of deep learning solvers for Hamilton-Jacobi-Bellman PDEs
一种深度学习方法，用于近似与非线性二次调节器（NLQR）问题相关的Hamilton-Jacobi-Bellman偏微分方程（HJB PDE）。首先使用状态依赖的Riccati方程控制律来生成用于监督学习的梯度增强的合成数据集。由此产生的模型成为一个热启动的损失函数的基础上的残留的HJB PDE的最小化。监督学习和残差最小化的结合避免了虚假的解决方案，并减轻了仅监督学习方法的数据效率低下。数值试验验证了所提出的方法的不同优点。
2022-07-19 math.OC stat.ML
Fast Rank One Alternating Minimization Algorithm for Phase Retrieval
相位恢复问题是许多领域的基础性问题，也是一个非常有研究价值的课题。它是从一组$N$测量值$b_n=|f^*_n\tilde{x}|^2,\ n=1,\cdots, N$中恢复信号矢量$\tilde{x}\in\mathbb{C}^d$，其中$\{f_n\}_{n=1}^N$形成$\mathbb{C}^d$的帧。它通常是一个非凸极小化问题，是NP-困难的。现有的算法通常使用最小二乘拟合的测量，产生四次多项式最小化。在本文中，我们采用了一种新的策略，通过分裂的变量，我们解决了一个二元最优化问题，是在每个变量的二次。提出了一种交替梯度下降算法，并证明了它对任意初始值的收敛性。由于较小的Hessian允许较大的步长，因此交替梯度下降算法比应用于四次目标的梯度下降算法（称为Wirtinger流算法）收敛得更快，而不分裂变量。数值结果表明，我们提出的算法需要更少的迭代比Wirtinger流，以达到相同的精度。
2017-08-16 math.OC
Variants of alternating minimization method with sublinear rates of convergence for convex optimization
交替极小化（AM）方法是求解变量由两个块组成的凸函数极小化问题的一种基本方法。如何有效地求解每一个子问题是应用AM方法时最关心的问题。在本文中，我们调查这一任务，并设计了两个新的变体的AM方法借用近端线性化技术。第一种变式非常适合于一半子问题难以求解而另一半子问题可以直接计算的情况。第二种变体是为并行计算而设计的。这两种方法在每个迭代步骤中都具有简单性的特点。从理论上讲，在邻近算子的帮助下，我们首先将新的和现有的AM变体写成统一的表达式，然后证明它们在非常小的假设下具有次线性收敛速度。
2015-01-15 math.OC
Adaptive Alternating Minimization Algorithms
经典的交替极小化（或投影）算法在求解二元最优化问题方面取得了成功。该算法的迭代性质和简单性使其应用于许多领域，如信号处理，信息论，控制和金融。当基本问题参数固定时，算法的收敛性和正确性的一组一般充分条件是众所周知的。然而，在许多实际情况下，潜在的问题参数随着时间的推移而变化，使用自适应算法更合适。在本文中，我们研究这样一个自适应版本的交替最小化算法。作为本文的一个主要结果，我们给出了自适应算法的收敛性和正确性的一组普遍的充分条件。也许令人惊讶的是，这些条件似乎是人们在这样一个适应性环境中所期望的最小条件。我们目前的应用程序，我们的研究结果的自适应分解的混合物，自适应对数最优投资组合选择，自适应滤波器设计。
2008-10-16 cs.IT math.IT math.OC
Meta-learning based Alternating Minimization Algorithm for Non-convex Optimization
National University of Defense Technology（国防科技大学）；Beihang University（北京航空航天大学）；Imperial College London（帝国理工学院）；University of Modena and Reggio Emilia (UNIMORE)（摩德纳-雷焦艾米利亚大学（UNIMORE））
在本文中，我们提出了一种新的解决方案的非凸问题的多个变量，特别是那些通常解决的交替最小化（AM）策略，分裂成一组对应于每个变量的子问题，然后迭代优化每个子问题使用固定的更新规则。然而，由于原始优化问题的内在非凸性，即使每个子问题可以在每次迭代中得到最优解，优化通常也会陷入伪局部极小值。与此同时，基于学习的方法，如深度展开算法，受到缺乏标记数据和有限的可解释性的高度限制。为了解决这些问题，我们提出了一种基于元学习的交替最小化（MLAM）方法，其目的是最小化迭代过程中的部分全局损失，而不是对每个子问题进行最小化，并且它倾向于学习一种自适应策略来取代手工制作的对应物，从而提前获得更好的性能。同时，所提出的MLAM仍然保持了原来的算法原理，这有助于更好的可解释性。我们评估所提出的方法上的两个代表性的问题，即，双线性逆问题：矩阵完成，和非线性问题：高斯混合模型。实验结果验证了我们提出的方法在标准设置中优于基于AM的方法，并且能够在具有挑战性的情况下实现有效的优化，而其他比较方法通常会失败。
2022-06-26 cs.LG math.OC stat.ML
Randomly Initialized Alternating Least Squares: Fast Convergence for Matrix Sensing
the Ohio State University（俄亥俄州立大学）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
我们考虑从随机线性测量重构秩一矩阵的问题，这是一个出现在信号处理、统计和机器学习中的各种问题中的任务。在本文中，我们专注于交替最小二乘（ALS）方法。虽然这个算法已经研究了一些以前的作品，他们中的大多数只显示收敛从初始化接近真正的解决方案，因此需要一个精心设计的初始化方案。然而，随机初始化通常被实践者所偏好，因为它是模型不可知的。在本文中，我们表明，ALS与随机初始化收敛到真正的解决方案与$\varepsilon$ -准确度在$O(\log n + \log (1/\varepsilon)) $迭代，只使用一个接近最佳的数量的样本，我们假设的测量矩阵是独立同分布。高斯，其中，我们用$n$表示环境维度。我们证明的关键是观察到ALS迭代的轨迹仅非常温和地依赖于随机测量矩阵的某些条目。数值实验证实了我们的理论预测。
2022-04-25 cs.IT cs.LG eess.SP
Alternating Minimization Based Trajectory Generation for Quadrotor Aggressive Flight
Zhejiang University（浙江大学）
随着对四旋翼飞行器轨迹规划的研究不断深入，实时规划空间和时间最优轨迹仍然是一个挑战。在本文中，我们提出了一个框架，用于生成大规模的分段多项式轨迹的侵略性自主飞行，其优越的计算效率和同时的时空最优性的亮点。利用隐式解耦结构的规划问题，我们进行交替最小化边界条件和持续时间的轨迹片。在每个最小化阶段，我们利用子问题的代数便利性来逃避糟糕的局部极小值，并实现最低的时间消耗。对该方法的全局/局部收敛速度进行了理论分析。此外，基于多项式理论，设计了一种针对各种约束条件的快速可行性检验方法。通过将该方法结合到我们的交替结构中，构造了一个约束最小化算法，在可行的前提下优化轨迹。基准测试表明，我们的算法优于国家的最先进的方法，效率，最优性和可扩展性。在有限空间密集障碍物的攻击性飞行实验中，所提出的算法的性能进行了验证。我们将我们的实现作为一个开源的ros-package发布。
2020-02-25 cs.RO math.OC
Tensor Based Proximal Alternating Minimization Method for A Kind of Inhomogeneous Quartic Optimization Problem
School of Management Science, Qufu Normal University（曲阜师范大学管理学院）
本文提出基于张量的近端交替最小化方法，用于解决非均匀四次多项式优化问题，并建立了其与多线性优化问题的等价性。
2025-12-31 math.OC
Accelerated Alternating Minimization and Adaptability to Strong Convexity
本文的第一部分考虑了具有$L$ -Lipschitz-连续梯度的凸函数的加速一阶最优化方法，它能自动适应于满足Polyak-Chaojasiewicz条件或强凸且参数值等于$μ$的问题。在这些情况下，如果$μ$未知，则该方法具有因子$\fracμ{L}$的线性收敛。如果问题是强凸的且$μ$是已知的，则该方法具有以因子$\sqrt{\fracμ{L}}$线性收敛性.如果不是这种情况，则该方法以速率$O(1/k^2)$收敛。第二部分包含的问题，允许交替最小化和相同的渐近收敛率的证明方法的推广。它也被认为是自适应催化剂的方法，它允许增加收敛速度高达$O(1/k^2)$，也提供了一个实验比较的方法与AGM，交替AGM，APDAGD和Sinkhorn的算法的对偶问题的离散熵正则化最优输运问题。工作的结果是试图解释为什么交替AGM收敛速度比AGM或自适应催化剂，尽管渐近理论速率$O(1/k^2)$。该假设依赖于交替AGM适应强凸性的事实。该假设在二次函数上进行了测试，在此基础上，交替AGM也显示出更快的收敛。
2020-06-16 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性，并给出了新的收敛速度。作为目标函数，考虑平滑部分和非平滑部分的组合，其中后者是块可分离的，例如，对应于凸约束或正则化。对于光滑部分，考虑了三种不同的强凸松弛：（i）拟强凸;（ii）二次函数增长;（iii）平面凸。线性收敛是建立在前两种情况下，推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下，也改进了以前的文献结果。所有的收敛结果有一个共同点，即与一般块坐标下降的先前相应结果相反，交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终，不仅更好的条件块确定的性能，已经类似地观察到在文献中。而且，更差条件的问题还额外地增强了性能，导致潜在地显著改进的收敛速度。此外，仅利用问题的凸性和光滑性，所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
On a Combination of Alternating Minimization and Nesterov's Momentum
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
交替最小化（AM）方法在求解凸优化和非凸优化问题的许多应用中实际上是有效的。另一方面，Nesterov的加速梯度法是凸优化理论上最优的一阶方法。在本文中，我们结合AM和Nesterov的加速，提出了一个加速交替最小化算法。我们证明了$1/k^2$收敛速度的凸问题的目标和$1/k$的平方梯度范数的非凸问题，其中$k$是迭代计数器。我们的方法不需要任何知识，既不是凸性的问题，也不是函数参数，如Lipschitz常数的梯度，即它是自适应的凸性和光滑性，是一致最优的光滑凸和非凸问题。进一步，我们发展了它的原始-对偶修改的强凸问题的线性约束，并证明了相同的$1/k^2$的原始目标残差和约束的可行性。
2021-09-15 cs.LG math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Approximate Nonnegative Matrix Factorization via Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们解释的算法作为一个交替的最小化过程La Csiszár-Tusnády和调查它的一些稳定性。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。NMF的一个有趣的系统理论应用是隐马尔可夫模型的近似实现问题。
2004-02-13 math.OC math.PR
Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation
Simons Institute for the Theory of Computing, UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）；Rice University（莱斯大学）；Massachusetts Institute of Technology（麻省理工学院）
针对加权低秩近似这一NP难问题，提出高效鲁棒的交替最小化框架，通过高精度多响应回归求解器改进运行时间，从$||W||_0k^2$降至$||W||_0 k$，为数值线性代数和机器学习应用提供支持。
2025-02-16 cs.LG math.OC
Inexact Alternating Minimization Algorithm for Distributed Optimization with an Application to Distributed MPC
在本文中，我们提出了不精确交替最小化算法（不精确AMA），它允许在算法中的不精确迭代，和它的加速变体，称为不精确快速交替最小化算法（不精确FAMA）。我们表明，不精确的AMA和不精确FAMA是等价的不精确的近梯度法和它的加速变种适用于对偶问题。基于这种等价性，我们推导出了不精确算法的迭代次数的复杂性上界。我们应用不精确AMA和不精确FAMA的分布式最优化问题，重点是分布式MPC的应用，并显示这种特殊情况下的收敛性。利用迭代次数的复杂性上界，给出了算法收敛的非精确迭代的充分条件。进一步研究了分布式最优化问题中二次局部目标的特殊情况，这是分布式MPC的一个标准式。对于这种特殊情况，我们允许在每次迭代的局部计算误差。利用一种热启动策略和误差收敛的充分条件，提出了一种确定求解局部问题迭代次数的方法，该方法保证了局部计算误差满足充分条件，使得不精确分布式优化算法收敛到最优解.
2016-08-01 math.OC
Network manipulation algorithm based on inexact alternating minimization
在本文中，我们提出了一种基于交替最小化方案（Nesterov 2020）的网络操作算法。在我们的上下文中，后者模仿了在网络上运行的代理和组织的自然行为。通过选择起始分布，组织确定网络的短期动态。在根据操纵目标选择组织时，代理人容易出错。这种理性的疏忽行为导致了离散的选择概率。我们扩展我们的算法的分析不精确的情况下，相应的子问题只能解决数值不准确。反映智能体不完美行为和组织可信度的参数以及网络转移阵的条件数对算法的收敛性有重要影响。也就是说，它们不仅可以提高收敛速率，而且可以减少累积误差。从数学的角度来看，这是由于适当的势函数的诱导强凸性。
2021-07-09 econ.TH math.OC
Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training
George Mason University（乔治梅森大学）
最近提出了交替最小化方法作为深度神经网络优化的梯度下降的替代方案。交替最小化方法通常可以将深度神经网络分解为分层子问题，然后可以并行优化。尽管存在显著的并行性，但由于严重的精度下降，在训练深度神经网络时很少探索交替最小化方法。在本文中，我们分析了原因，并提出了一个令人信服的权衡并行性和准确性之间的重新制定所谓的可调子网分裂方法（TSSM），它可以调整深度神经网络的分解粒度。提出了梯度分裂交替方向乘子法和梯度分裂交替最小化法两种求解TSSM方程的方法。在五个基准数据集上的实验表明，我们提出的TSSM可以实现显着的加速，而没有明显的训练精度损失。该代码已在https://github.com/xianggebenben/TSSM上发布。
2020-09-16 cs.LG math.OC stat.ML
On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出统一拓展现有结果的adaPG$^{q,r}$自适应近端梯度框架，证明其在时变参数一般场景下的收敛性，还提出适用范围超出标准强凸场景的自适应交替最小化算法。
2024-05-15 cs.LG math.OC
Sample Efficient Linear Meta-Learning by Alternating Minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
元学习综合并利用来自给定任务集的知识，以使用非常少的数据快速学习新任务。线性回归任务的元学习是该领域研究较多的基本问题。然而，现有的结果要么保证高度次优的估计误差，要么要求每个任务的$Ω(d)$样本（其中$d$是数据维度），从而提供了比单独学习每个任务几乎没有增益。在这项工作中，我们研究了一个简单的交替最小化方法（MLLAM），交替学习低维子空间和回归。我们发现，对于一个恒定的子空间维数MLLAM获得接近最优的估计误差，尽管只需要$Ω(\log d)$样本每个任务。然而，每个任务所需的样本数量随着任务数量的增加而增加。为了弥补这一点，在低噪声制度，我们提出了一种新的任务子集选择方案，确保相同的强大的统计保证MLLAM，即使有界的样本数量为任意大的任务，每个任务。
2021-05-18 cs.AI cs.LG math.OC
Alternating Minimization for Time-Shifted Synergy Extraction in Human Hand Coordination
Department of Computer Science and Electrical Engineering, University of Maryland, Baltimore County（计算机科学与电气工程系，马里兰大学巴尔的摩县分校）
本文提出了一种基于优化的交替最小化方法，用于从单一数据集提取时间偏移协同，通过联合学习协同和稀疏激活系数，实现紧凑且可解释的运动协同提取。
2025-12-20 cs.RO math.OC
Matrix Completion Using Alternating Minimization for Distribution System State Estimation
研究了配电系统在低可观测性条件下的状态估计问题。最近提出的约束矩阵完成方法，结合了标准的矩阵完成方法和潮流约束已被证明是有效的，在低可观测性条件下使用单快照信息的电压相量估计。然而，该方法需要解决一个半定规划（SDP）的问题，这成为计算上不可行的大型系统，如果使用多个快照（时间序列）的信息。本文提出了一种求解时间序列数据约束矩阵完备化问题的有效算法。该算法将矩阵完备化问题转化为一个双线性（非凸）最优化问题，并应用交替极小化算法求解该问题。本文证明了所提出的算法的可和收敛性，并通过IEEE 123节点系统和一个实际的公用事业馈线系统证明了其有效性和可扩展性。本文还探讨了从计算时间和估计精度方面增加更多历史数据的价值。
2020-06-08 math.OC
StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）
本文提出StoTAM算法，通过直接操作Tucker因子化下的核心张量和因子矩阵，实现低秩张量感知的高效随机交替最小化。
2026-01-20 cs.LG math.OC
