Sparse Inverse Covariance Selection via Alternating Linearization Methods
Lehigh University(利哈伊大学);Columbia University(哥伦比亚大学)
高斯图模型在统计学习中有很大的兴趣。由于不同节点之间的条件独立性对应于高斯分布的逆协方差矩阵中的零项,因此可以通过从样本数据估计稀疏逆协方差矩阵,通过求解具有$\ell_1$正则化项的凸最大似然问题来学习图的结构。在本文中,我们提出了一个一阶方法的基础上交替线性化技术,利用问题的特殊结构,特别是,在每次迭代中解决的子问题有封闭形式的解决方案。此外,我们的算法在$O(1/ε)$迭代中获得了一个$ε$ -最优解.在基因关联网络的合成数据和真实数据上的数值实验表明,该算法的实用版本优于其他竞争算法。
2010-10-30 cs.LG math.OC stat.ML
Decision Making under Cumulative Prospect Theory: An Alternating Direction Method of Multipliers
针对累积前景理论下的决策优化问题,提出首个基于交替方向乘子法并具理论保证的数值方法,通过动态规划和改进算法求解子问题,证明了收敛性并利用真实数据验证了有效性。
2024-04-26 math.OC
Accelerated Proximal Iterative re-Weighted $\ell_1$ Alternating Minimization for Image Deblurring
本文针对非凸非光滑的$\ell_p$ TV图像去模糊问题,提出PIRL1-AM及其加速版本APIRL1-AM算法,有效保留边缘并显著提升收敛速度。
2023-09-11 math.OC
Solving Dynamic Optimization Problems to a Specified Accuracy: An Alternating Approach using Integrated Residuals
本文提出了一种新的求解非线性连续时间动态最优化问题的直接转换和求解方法。而不是迫使动态约束,以满足只有在选定的点的直接配置,新的方法之间交替最小化和约束的平方范数的动态约束残差沿整个解决方案的轨迹。因此,该方法可以1)获得更高的精度为相同的网格相比,直接配置法的解决方案,2)使一个灵活的解决方案的精度和最优性之间的权衡,3)提供可靠的解决方案具有挑战性的问题,包括奇异弧和高指标微分代数方程。
2022-01-21 cs.SY eess.SY math.OC
A Heuristic Alternating Direction Method of Multipliers Framework for Distributed and Centralized Tree-Constrained Optimization: Applications to Hop-Constrained Spanning Tree Multicommodity Flow Design
New Jersey Institute of Technology (NJIT)(新泽西理工学院)
本文提出了一种启发式交替方向乘子法框架,用于解决具有树约束的非凸优化问题,并应用于具有跳数限制的生成树多商品流设计,通过连续松弛和增强拉格朗日方法实现高效求解。
2026-03-08 math.OC
Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑了一个最优化问题,即目标函数的各分量在网络的不同节点上都是可用的,并且只允许节点与它们的邻居交换信息。分散交替乘数法(DADMM)是一个完善的迭代法解决这类问题,然而,DADMM的实施需要解决每个节点的每次迭代的优化子问题。这个过程对于节点来说通常是计算上昂贵的。我们引入了一个分散的二次近似的ADMM(DQM),降低了计算复杂性的DADMM通过最小化的二次近似的目标函数。尽管DQM连续最小化近似的成本,它收敛到最佳的参数在一个线性的速度是相同的收敛速度的DADMM。此外,我们表明,随着时间的推移的线性收敛系数DQM接近DADMM。数值结果验证了DQM的有效性。
2015-10-26 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法,用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题,并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一种非精确交替方向乘子法(ADMMs),用于求解一般的可分凸优化问题,其目标函数为光滑项和非光滑项之和,且带有线性约束.该方法包括线性化子问题,一个回代步骤,梯度或加速梯度技术。建立了整体收敛。当ADMM子问题没有封闭形式解或子问题的解是昂贵的时,该方法特别有用。基于图像重建问题的数值实验表明了所提方法的有效性。
2016-04-08 math.OC
DQM: Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑分散共识最优化问题,其中网络的节点可以访问全局目标函数的不同和。节点通过只与邻居交换信息来合作以最小化全局目标。交替方向乘法(DADMM)的分散版本是解决这类问题的常用方法。DADMM对最优目标具有线性收敛速率,但其实现需要在每次迭代中求解凸优化问题。这在计算上可能是昂贵的,并且可能导致大的总体收敛时间。本文提出了一种分散的二次近似ADMM算法(DQM),它最小化DADMM在每次迭代中最小化的目标函数的二次近似。随之而来的减少计算时间的收敛性能的影响最小。收敛仍然以线性速率进行,并具有与DADMM线性收敛速率常数渐近等价的保证常数。数值结果表明,相对于DADMM和其他替代品的逻辑斯谛回归问题的DQM的优势。
2015-08-09 math.OC
Differential evolution algorithm of solving an inverse problem for the spatial Solow mathematical model
采用差分进化算法求解空间Solow数学模型的生产函数(逆问题)的最优化问题,该模型利用不动点的国内生产总值的附加测量值。由于反问题是不适定的,正则化微分进化被应用。为了得到反问题的最优解,差分进化算法被扩展到32个核。不同的技术水平和测量数据中的误差的数值结果,并进行了讨论。
2019-04-24 math.OC
Solving Zero-Sum Games through Alternating Projections
在这项工作中,我们建立了一个自然的一阶迭代算法,模拟冯诺依曼的交替投影方法在零和对策的近线性和强收敛。首先,我们提供了一个精确的分析乐观梯度下降/上升(OGDA)-梯度下降/上升的乐观变种-\emph{unconstrained}双线性游戏,沿几个方向扩展和加强以前的结果。我们的表征是基于一个封闭形式的解决方案,我们得到的动力学,而我们的结果也揭示了一些令人惊讶的属性。事实上,我们的主要算法的贡献是建立在我们发现的OGDA的几何特征,即,极限点的动态是正交投影的初态的空间吸引子。受此性质的启发,我们证明了一个自然类的\emph{constrained}双线性游戏的平衡是交叉的无约束的驻点与相应的概率单纯形。因此,我们采用OGDA来实现交替投影过程,在$\widetilde{\mathcal{O}}(\log^2(1/ε))$迭代中收敛到$ε$近似纳什均衡。我们的技术补充了最近的工作,在追求最后的最小最大优化保证。最后,我们说明了一个-在原则上-平凡的减少从任何游戏的假设类的实例,而不改变空间的平衡。
2021-08-17 cs.GT math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的,因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体,并保证收敛。交替极小化算法(AMA)是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的,它等价于应用于相应对偶问题的前后向分裂算法。在本文中,我们设计了一个变种的三块AMA,这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比,该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品,我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下,证明了算法在无限维希尔伯特空间中的收敛性.最后,我们进行了数值实验的稳定的主成分追踪(SPCP),以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
A Neural Network for Solving Inverse Quasi-Variational Inequalities
研究了拟变分不等式反问题解的存在唯一性。受神经网络方法求解变分不等式、单调包含和逆变分问题等最优化问题的启发,我们考虑了一个与拟变分不等式逆问题相关联的神经网络,并建立了该网络解的存在唯一性.我们证明了所提出的神经网络的每一条轨迹都收敛于拟变分不等式逆问题的唯一解,并且网络在其平衡点是全局渐近稳定的.我们还证明了,如果控制拟变分不等式反问题的函数是强单调且Lipschitz连续的,则网络在其平衡点是全局指数稳定的.我们离散化的网络,并表明,由网络的离散化所产生的序列强烈收敛到逆拟变分不等式问题的解决方案在一定的假设下,所涉及的参数。最后,我们提供了数值例子来支持和说明我们的理论结果。
2022-04-12 math.OC
Second order continuous and discrete dynamical systems for solving inverse quasi-variational inequalities
Hanoi University of Science and Technology(河内理工大学);Van Lang University(文郎大学);University of Southampton(南安普顿大学)
本文提出二阶连续和离散动力系统用于求解逆拟变分不等式,证明其收敛性并验证了算法有效性。
2026-01-16 math.OC
Online Alternating Direction Method of Multipliers for Online Composite Optimization
本文提出在线半近端交替方向乘子法,在温和条件下实现O(√N)目标与约束遗憾,并解决子问题不可解性,通过数值实验验证其有效性。
2024-02-08 math.OC
A Second-Order Dynamical System for Solving Generalized Inverse Mixed Variational Inequality problems
Faculty of Applied Sciences, Ho Chi Minh City University of Technology and Engineering(胡志明市工程技术大学应用科学学院)
本文提出了一种基于投影的二阶时间变化动力系统,用于求解广义逆混合变分不等式问题,并证明其具有线性收敛性。
2026-01-22 math.OC
An Accelerated Linearized Alternating Direction Method of Multipliers
提出了一种新的加速线性化乘子交替方向法(ADMM)的框架。该方法的基本思想是在线性化ADMM中加入多步加速方案。我们证明了,对于求解一类带线性约束的凸复合优化问题,AADMM的收敛速率优于线性化ADMM,因为它们依赖于光滑分量的Lipschitz常数。此外,AADMM能够处理的情况下,可行域是无界的,只要相应的鞍点问题有一个解决方案。并提出了一种实用的回溯算法。
2014-02-11 math.OC
Inverse of the Gomory Corner Relaxation of Integer Programs
本文研究整数规划的逆问题,通过求解一组Gomory角松弛的逆问题获得比LP松弛逆问题更紧的上界,并给出精确求解条件及基于最短路径逆问题的LP公式。
2025-07-20 math.OC
A Projection-Based Algorithm for Solving Stochastic Inverse Variational Inequality Problems
针对随机 IVI 问题缺乏性能保证的现状,提出一种方差缩减的投影梯度方法,证明迭代几乎必然收敛并给出收敛速率保证,且在网络均衡控制问题中得到验证。
2023-12-07 math.OC
Iteration-complexity analysis of a generalized alternating direction method of multipliers
分析了求解线性约束凸问题的广义乘子交替方向法(G-ADMM)的迭代复杂性。这个ADMM的变种,这是首先提出的Bertsekas和Eckstein,引入了一个松弛因子$α\in (0,2)$到第二个ADMM子问题。我们的方法是证明G-ADMM是一个具有特殊性质的混合近似外梯度框架的实例,并且作为副产品,我们得到了G-ADMM与$α\in (0,2]$的遍历迭代复杂性,改进和补充了文献中的相关结果.此外,我们还提出了逐点迭代复杂性的G-ADMM。
2017-05-17 math.OC
A symmetric Gauss-Seidel based alternating proximal ALM for generalized Nash Equilibrium problems in Banach spaces
The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对具有联合线性约束的单调广义纳什均衡问题,提出一种基于对称高斯-赛德尔的交替近端增广拉格朗日方法,通过交替求解无约束二次规划更新策略,在仅需伪梯度映射单调性和Lipschitz连续性条件下实现全局收敛。
2026-06-12 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题,本文结合两步惯性外推与Bregman距离,基于PALM提出新型迭代算法,证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
A Stochastic Alternating Direction Method of Multipliers for Non-smooth and Non-convex Optimization
乘子的交替方向法(ADMM)是一种常用的一阶方法,具有简单、高效等优点。然而,与其他邻近分裂方法类似,当要解决的最优化问题规模变大时,ADMM的性能会显着下降。本文考虑将ADMM与一类方差缩减的随机梯度相结合来求解大规模非凸非光滑最优化问题。在目标函数满足Kurdyka-Lojasiewicz(KL)性质的额外假设下,证明了生成序列的整体收敛.数值实验上的图形引导融合Lasso和计算机断层扫描,以证明所提出的方法的性能。
2020-12-14 math.OC
A Composed Alternating Relaxed Projection Algorithm for Feasibility Problem
针对可行性问题,提出一种组合交替松弛投影算法,基于道格拉斯-拉赫福德分裂法融入投影与反射组合,设计非平稳版本提升实际性能,提供理论保证并获数值实验支持。
2025-04-15 math.OC
Forward-partial inverse-half-forward splitting algorithm for solving monotone inclusions
本文给出了求解实希尔伯特空间中涉及向量子空间的法锥、极大单调算子、单调Lipschitz算子和余强制算子之和的耦合单调包含的分裂算法。该方法利用了每个算子的内在性质,推广了部分逆方法和前-后-半前向分裂等方法。在每次迭代中,我们的算法需要两次计算的Lipschitzian算子,而cocoercive运营商被激活只有一次。利用积空间技巧,给出了含线性算子的复合单调原对偶包含的一种求解方法,并将其应用于求解约束复合凸优化问题.最后,我们将我们的算法应用到一个约束全变差最小二乘问题,并将其性能与文献中的有效方法进行比较。
2022-02-07 math.OC
Gap-gradient methods for solving generalized mixed integer inverse optimization: an application to political gerrymandering
针对广义混合整数逆优化,论文提出可有限时间精确求解的改进次梯度方法及图粗化集成启发式算法,显著缩短求解时间,并用于定量识别选区不公正划分。
2024-06-12 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING,用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步,大规模成像问题变得越来越普遍。受随机最优化方法成功的启发,我们提出了一个随机变体的邻近交替线性化最小化(PALM)算法\cite{bolte2014proximal}。我们提供了整体收敛保证,表明我们提出的方法与方差减少的随机梯度估计,如SAGA \cite{SAGA}和SARAH \cite{sarah},实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性,通过几个数值例子,包括稀疏非负矩阵分解,稀疏主成分分析,盲图像反卷积。
2021-01-19 math.OC
Globally Finite time and Globally Fixed-time stable Dynamical Systems for solving Inverse Quasi-variational inequality problems
本文提出两种投影动力系统求解有限维Hilbert空间中的反拟变分不等式问题,分别实现依赖初始条件的全局有限时间稳定和独立于初始条件的全局固定时间稳定收敛,并通过数值实验验证了其加速收敛的有效性。
2025-03-06 math.OC
Forward--partial inverse--forward splitting for solving monotone inclusions
本文给出了一种分裂方法,用于求实希尔伯特空间的闭向量子空间的极大单调算子、Lipschitz单调算子与法锥之和的零点.该问题的特点是一个简单的单调包含只涉及两个操作:部分逆的最大单调算子关于向量子空间和一个合适的Lipschitz单调算子。通过应用曾的方法在这方面,我们得到了一个分裂算法,利用整个结构的原问题,并推广部分逆和曾的方法。与其他方法在文献和应用程序中的夹杂物涉及$m$最大单调算子,原始对偶复合单调夹杂物,并提供零和对策的连接。
2014-06-24 math.OC
A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems
Shanghai University(上海大学);Georgia Institute of Technology(佐治亚理工学院)
最近的许多研究工作已被定向到开发有效的算法来解决极大极小问题的理论收敛保证,由于这些问题的相关性,一些紧急的应用程序。本文提出了求解光滑非凸-(强)凹和(强)凸-非凹极大极小问题的一个统一的单循环交替梯度投影(AGP)算法。AGP采用简单的梯度投影步骤,在每次迭代中交替更新原始变量和对偶变量。证明了它能在$\mathcal{O}\left( \varepsilon ^{-2} \right)$中找到目标函数的一个$\varepsilon$ -平稳点(分别为. $\mathcal{O}\left( \varepsilon ^{-4} \right)$)迭代在非凸-强凹(分别为非凸-凹)设置。此外,其获得目标函数的$\varepsilon$ -稳定点的梯度复杂度由$\mathcal{O}\left( \varepsilon ^{-2} \right)$(分别地,$\mathcal{O}\left( \varepsilon ^{-4} \right)$)在强凸-非凹(分别,凸-非凹)设置。据我们所知,这是第一次,一个简单的和统一的单循环算法,解决非凸-(强)凹和(强)凸-非凹极大极小问题。此外,解决后者(强)凸-非凹极大极小问题的复杂性的结果从来没有得到以前的文献。数值结果表明了AGP算法的有效性。此外,我们提出了一个块交替邻近梯度(BAPG)算法求解更一般的多块非光滑非凸-(强)凹和(…
2023-01-15 cs.LG math.OC
Managing Randomization in the Multi-Block Alternating Direction Method of Multipliers for Quadratic Optimization
乘子的交替方向法(ADMM)在求解大规模和目标可分约束优化问题中得到了广泛的关注。然而,ADMM的两块可变结构仍然限制了该方法的实际计算效率,因为即使对于线性和凸二次规划也至少需要一次大的矩阵分解。这个缺点可以通过在原始最优化问题中强制决策变量的多块结构来克服。不幸的是,具有两个以上块的多块ADMM不能保证收敛。另一方面,已经取得了两个积极的发展:第一,如果在每个循环回路中,一个随机置换的多个块的更新顺序,然后该方法收敛于期望求解任何线性方程组与任何数量的块。其次,即使当目标函数不可分时,这种随机排列的ADMM也适用于等式约束的凸二次规划。本文的目的是双重的。首先,我们通过开发随机组装的循环ADMM(RAC-ADMM),其中每个块中的决策变量是随机组装的,增加了更多的随机性到ADMM。我们讨论了RAC-ADMM的理论性质,并显示随机组装时,它会帮助和伤害,并制定了一个标准,以保证它几乎肯定收敛。其次,在RAC-ADMM理论的指导下,我们对随机生成的和大规模的基准二次最优化问题进行了多次数值测试,包括连续的、二进制的图划分和二次分配问题,以及选定的机器学习问题。数值实验表明,采用变量分组策略的RAC-ADMM在求解大多数二次最优化问题时,能显著提高计算效率。
2020-03-23 math.OC
Dictionary Learning Based Regularization in Quantitative MRI: A Nested Alternating Optimization Framework
针对定量磁共振成像中的非线性逆问题,提出基于字典学习的嵌套交替优化正则化方法,分析其收敛性并通过实验验证了应用潜力与现存挑战。
2025-06-13 math.OC
An Inexact Alternating Direction Method of Multipliers for Constrained Parabolic Optimal Distributed Control Problems
Jilin University(吉林大学);Lanzhou University(兰州大学);Beijing University of Post and Telecommunications(北京邮电大学);Key Laboratory of Mathematics and Information Networks (Beijing University of Posts and Telecommunications), Ministry of Education(教育部数学与信息网络重点实验室(北京邮电大学))
本文提出了一种近似交替方向乘子法,用于求解带约束的抛物最优分布控制问题,通过解耦控制约束和非光滑目标函数,提高了计算效率和实用性。
2026-02-28 math.OC
Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers
Nanjing University(南京大学);University of Minnesota(明尼苏达大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将多块问题转换为双块问题以提升ADMM求解效率,推导出O(1/ε)迭代复杂度,并通过数值实验验证该方法在基追踪、鲁棒主成分分析等任务中的优越性。
2013-08-24 cs.NA math.NA math.OC
Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection
Aprasekaran,Parrilo and Willsky(2010)提出了一个凸优化问题来描述存在不可观测变量时的图形模型选择。这个凸优化问题的目的是估计一个逆协方差阵,可以分解成一个稀疏矩阵减去低秩矩阵从样本数据。解决这个凸优化问题是非常具有挑战性的,特别是对于大型问题。在本文中,我们提出了两个交替方向法解决这个问题。第一种方法是应用经典的乘子交替方向法将问题作为共识问题来解决。第二种方法是基于最接近梯度的乘子交替方向法。我们的方法开发和利用问题的特殊结构,从而可以非常有效地解决大型问题。证明了该方法的整体收敛结果。对合成数据和基因表达数据的数值结果表明,我们的方法通常在一到两分钟内解决一百万个变量的问题,并且通常比最先进的Newton-CG邻近点法快五到三十五倍。
2012-09-26 math.OC stat.ML
An Extragradient-Based Alternating Direction Method for Convex Minimization
本文考虑了两个凸函数在线性连接约束下之和的极小化问题。经典的交替方向型方法通常假设两个凸函数具有相对容易的邻近映射。然而,统计学、图像处理等领域中的许多问题都具有这样的结构:当两个函数中的一个函数具有容易的邻近映射时,另一个函数是光滑凸的,但不具有容易的邻近映射。因此,不能应用经典的交替方向法。针对这一问题,本文提出了一种基于外梯度的交替方向法。在光滑函数具有Lipschitz连续梯度的假设下,我们证明了所提出的方法在$O(1/ε)$迭代内返回$ε$ -最优解。我们应用所提出的方法来解决一个新的统计模型称为融合逻辑斯谛回归。我们的数值实验表明,所提出的方法在解决测试问题时表现得很好。我们还测试了所提出的方法的性能,通过解决套索问题所产生的统计和比较的结果与现有的几个有效的解决这个问题,结果是非常令人鼓舞的。
2015-07-09 math.OC stat.ML
Quantum Alternating Direction Method of Multipliers for Semidefinite Programming
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
本文提出一种量子交替方向乘子法用于解决大规模半正定规划问题,通过设计多项式近似算子和量子奇异值变换提升效率,证明在强对偶条件下可收敛到ε-最优解。
2026-06-28 math.OC quant-ph
Note on crystallization for alternating particle chains
本文研究了交替型粒子通过镜像对称势相互作用的一维周期链。在固定密度下的等距配置的最佳性-也称为结晶-在各种设置中显示。特别是,我们证明了结晶在任何尺度的中性和非中性系统的逆幂律相互作用,包括三维库仑势。我们还表明,在高密度的系统,涉及逆幂律和排斥在原点的等距配置的极小。此外,我们推导出一个必要条件结晶在高密度的基础上的相互作用势和的傅里叶变换的积极性。
2020-07-10 math-ph math.MP math.OC
Distributed Model Predictive Consensus via the Alternating Direction Method of Multipliers
ETH Zurich(苏黎世联邦理工学院)
提出一种分布式优化方法,利用交替方向乘子法(ADMM)解决分布式模型预测一致性问题,实现双积分器网络的位置和速度一致性,并通过少量迭代达到接近集中式优化的闭环性能。
2012-12-06 cs.SY eess.SY math.OC
Zeroth-Order Alternating Gradient Descent Ascent Algorithms for a Class of Nonconvex-Nonconcave Minimax Problems
Shanghai University(上海大学);Newtouch Center for Mathematics of Shanghai University(上海大学纽崔克数学中心);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文针对满足内层 PL 条件的非凸-非凹极小极大问题,提出 ZO-AGDA 和 ZO-VRAGDA 两种零阶算法,并首次给出其迭代复杂度保证。
2023-05-27 cs.LG math.OC stat.ML
An Efficient Alternating Riemannian/Projected Gradient Descent Ascent Algorithm for Fair Principal Component Analysis
本文提出交替黎曼/投影梯度下降上升(ARPGDA)算法,用于高效求解一般大规模公平主成分分析问题,通过转化为光滑非凸线性极小极大问题,在O(ε^{-3})迭代内找到ε-稳定点,并在解质量和速度上优于现有方法。
2023-12-23 eess.SP math.OC
A fixed-time inverse-free dynamical system for solving the system of absolute value equations
本文提出一种具有固定时间收敛性的无逆动力系统来求解绝对值方程组,在温和条件下证明了其收敛性并给出了保守稳定时间,数值仿真验证了该方法的有效性。
2022-08-23 math.DS math.OC
Techniques for Solving Sudoku Puzzles
解决数独谜题是世界上最受欢迎的消遣之一。谜题的难度从简单到非常具有挑战性;最难的谜题往往有最多的空单元。本文介绍并比较了数独问题的三种求解算法。回溯法、模拟退火法和交替投影法是求解组合最优化问题的常用方法。我们的结果支持回溯。它绝对正确地解决了数独难题或推断出一个唯一的解决方案不存在。然而,回溯在高维组合优化中不能很好地扩展。因此,让数学科学的学生在具体的环境中接触其他两种解决方法是有用的。模拟退火算法与马尔可夫链蒙特卡罗算法(MCMC)具有共同的结构,具有广泛的适用性.交替投影法解决了凸规划中的可行性问题。将离散最优化问题转换为连续的最优化问题开辟了处理更高维的组合问题的可能性。
2013-05-16 cs.DS math.OC stat.CO
A non-parametric shape optimization approach for solving inverse problems in directed self-assembly of block copolymers
在这项工作中,我们考虑的逆问题,找到引导图案的形状,导致所需的自组装形态的嵌段共聚物熔体。具体而言,我们使用自洽场论建模聚合物自组装,并在非参数设置中导出所需和实际形态之间的失配对引导图案形状中的任意扰动的灵敏度。所获得的灵敏度用于优化的限制图案形状,使得期望的和实际的形态之间的失配最小化。所提出的算法的效率和鲁棒性证明了一些例子模板垂直互连访问。
2021-12-17 cond-mat.soft math.OC
Method of Alternating Projection for the Absolute Value Equation
提出了求解一般绝对值方程$Ax+B|x| = c$的一种新方法,其中$A,B\in \mathbb{R}^{m\times n}$和$c\in \mathbb{R}^m$.我们重新制定的方程作为一个可行性问题,我们通过交替投影(MAP)的方法来解决。在$A$和$B$的非退化条件下,刻画了交替投影映射的不动点集.并证明了算法的线性收敛。与文献中现有的大多数方法不同,这里提出的算法能够在理论上和数值上处理与$m\neq n$的问题。
2021-06-06 cs.NA math.NA math.OC
Alternating Direction Method of Multipliers for Decomposable Saddle-Point Problems
鞍点问题出现在各种环境中,包括机器学习、零和随机对策和回归问题。本文考虑可分解鞍点问题,研究了乘子交替方向法在这类鞍点问题中的推广。该算法不是直接求解原鞍点问题,而是利用可分解结构求解较小的鞍点问题。在一个较弱的假设下,我们证明了该算法对凸-凹鞍点问题的收敛性。我们还提供了一个充分条件的假设成立。我们证明了鞍点交替方向法的乘法器的收敛性与数值例子的通信信道中的功率分配问题和网络路由问题的对抗成本。
2022-12-27 cs.GT math.OC
Iteratively Linearized Reweighted Alternating Direction Method of Multipliers for a Class of Nonconvex Problems
Department of Mathematics, National University of Defense Technology(国防科技大学数学系);College of Computer, National University of Defense Technology(国防科技大学计算机学院);The State Key Laboratory for High Performance Computation, National University of Defense Technology(国防科技大学高性能计算国家重点实验室);Hunan Key Laboratory for Computation and Simulation in Science and Engineering, School of Mathematics and Computational Science, Xiangtan University(湖南计算与模拟科学工程重点实验室,湘潭大学数学与计算科学学院)
本文提出了一种迭代线性化加权交替方向乘子法,用于解决信号处理和机器学习中常见的非凸和非光滑问题,该方法通过将子问题转化为凸问题以提高求解效率,并证明了算法的全局收敛性。
2018-03-22 cs.CV cs.NA math.NA
Solving Large Scale Quadratic Constrained Basis Pursuit
University of Iowa(爱荷华大学)
受乘子的交替方向法和算子分裂思想的启发,提出了一种求解大规模二次约束基寻踪问题的有效算法。实验结果表明,与CVX中实现的基本内点算法相比,该算法可获得50~~100倍的加速比。
2021-04-02 cs.IT cs.LG eess.SP
A Preconditioned Alternating Minimization Framework for Nonconvex and Half Quadratic Optimization
针对非凸半二次正则化模型和Ambrosio-Tortorelli近似Mumford-Shah模型,基于Kurdyka-Kazojasiewicz分析和最近的非凸近似算法,针对非线性交替极小化过程中出现的线性子问题,提出了一种有效的预处理框架.大规模线性子问题的求解一直是交替极小化算法中的一个重要而又具有挑战性的问题。通过将有效的和经典的预条件迭代法结合到非线性非凸优化问题中,证明了线性子问题只需要一次或任意有限次预条件迭代,而不需要像通常的不精确解那样控制误差.所提出的预处理框架可以为线性子问题的处理提供极大的灵活性和效率,同时保证非线性交替极小化方法的整体收敛。
2021-07-29 cs.NA math.NA math.OC
A Proximal Decomposition Method for Solving Convex Variational Inverse Problems
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR 7598(雅克-路易·利翁斯实验室);Université Paris-Est(巴黎东大学);Institut Gaspard Monge and UMR CNRS 8049(加斯帕尔·蒙日研究所)
提出一种用于Hilbert空间中多个凸函数和最小化问题的近端分解算法,可处理任意数量的非光滑函数,并证明其收敛性,在信号与图像处理中展示数值应用。
2009-06-23 cs.NA math.NA math.OC
Alternating the Population and Control Neural Networks to Solve High-Dimensional Stochastic Mean-Field Games
University of California, Los Angeles(加州大学洛杉矶分校);University of South Carolina(南卡罗来纳大学)
本文提出 APAC-Net,利用 MFG 的原始-对偶鞍点结构并以两个神经网络交替参数化价值与密度函数,从而将求解转化为类似 GAN 训练的问题,可处理最高 100 维的随机 MFG。
2023-07-14 cs.LG cs.MA math.OC
A Distributed Parallel Optimization Algorithm via Alternating Direction Method of Multipliers
乘子交替方向法(ADMM)算法是求解分布式最优化问题(DOP)的常用算法。本文提出了一种新的分布式并行ADMM算法,该算法通过修改现有的分布式顺序ADMM,允许代理以完全分布式和并行的方式更新其局部状态和对偶变量。此外,还说明了变量的更新规则和存储方法。结果表明,所有的智能体可以达成共识,渐近收敛到最优解。此外,全局费用函数将以O(1/k)的速度收敛到最优值。数值算例的仿真结果表明了该算法的有效性。
2021-11-20 cs.SY eess.SY math.OC
Novel Deep neural networks for solving Bayesian statistical inverse
George Mason University(乔治梅森大学);University of Maryland, College Park(马里兰大学帕克分校)
本文研究了大规模线性和非线性偏微分方程(PDE)的贝叶斯统计反问题的模拟。马尔可夫链蒙特卡罗(MCMC)算法是解决此类问题的标准技术。然而,MCMC技术在计算上具有挑战性,因为它们需要数千个正向PDE解。本文的目标是介绍一种基于分数深度神经网络的方法,用于MCMC例程中的正向求解。此外,我们讨论了一些近似误差估计,并通过几个数值例子说明我们的方法的效率。
2021-02-08 cs.LG cs.NA math.NA
On convergence rates of proximal alternating direction method of multipliers
本文从适定凸优化和不适定逆问题两个角度,研究希尔伯特空间中近似ADMM的收敛速度,得到改进的非遍历收敛率和噪声相关的正则化收敛结果。
2023-10-09 cs.NA math.NA math.OC