Adaptive Stochastic Alternating Direction Method of Multipliers
Rutgers University(罗格斯大学)
乘子交替方向法(ADMM)是一种研究多年的方法。传统的ADMM算法需要在每次迭代时计算所有训练样本的(经验)期望损失函数,导致计算复杂度与训练样本的数量成正比。为了降低时间复杂度,提出了随机ADMM算法,该算法将期望函数替换为与一个均匀绘制的示例加上Bregman散度相关联的随机损失函数。然而,Bregman发散是从一个简单的二阶近似函数,半平方范数,这可能是一个次优的选择。本文提出了一类新的具有最优二阶近似函数的随机ADMM算法,并由此产生了一类新的自适应次梯度算法。我们从理论上证明了他们的遗憾界是一样好的边界,可以实现的最佳最近的功能,可以在事后选择。令人鼓舞的实证结果在各种现实世界的数据集证实了所提出的算法的有效性和效率。
2014-06-09 cs.LG stat.ML
Alternating Regret for Online Convex Optimization
University of Southern California(南加州大学);Shanghai University of Finance and Economics(上海财经大学);University of Iowa(Iowa 大学)
本文证明连续Hedge算法可实现亚线性交替遗憾,解决在线凸优化开放问题,并推广到博弈均衡求解,同时提出改进算法并给出下界。
2025-06-18 cs.LG
An Analysis of Alternating Direction Method of Multipliers for Feed-forward Neural Networks
Imperial College London(帝国理工学院)
在这项工作中,我们提出了一个硬件兼容的神经网络训练算法,我们使用交替方向乘法器(ADMM)和迭代最小二乘法。这种方法背后的动机是进行一种训练神经网络的方法,这种方法是可扩展的,可以并行化。这些特点使该算法适合于硬件实现。在HIGGS数据集上,我们使用了一个隐藏大小为28的四层神经网络,与SGD和Adam相比,我们分别获得了6.9%和6.8%的准确率。同样,我们可以观察到21.0%和2.2%的准确性分别比SGD和亚当相比,在IRIS数据集与三层神经网络与隐藏大小为8。这是同时使用矩阵求逆,这是具有挑战性的硬件实现,在这种方法中被避免。我们评估了避免矩阵求逆对ADMM精度的影响,并观察到我们可以安全地用迭代最小二乘法代替矩阵求逆,并保持所需的性能。此外,所实现的方法的计算复杂性是关于输入数据集的维度和网络的隐藏大小的多项式。
2020-09-06 cs.LG stat.ML
Bregman Alternating Direction Method of Multipliers
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
镜像下降算法(MDA)通过使用Bregman散度代替平方欧几里德距离来推广梯度下降。在本文中,我们同样推广的交替方向法的乘法器(ADMM)Bregman ADMM(BADMM),它允许选择不同的Bregman分歧,利用问题的结构。BADMM为ADMM及其变体提供了一个统一的框架,包括广义ADMM,不精确ADMM和Bethe ADMM。我们建立了BADMM的整体收敛和$O(1/T)$迭代复杂性。在某些情况下,BADMM可以比ADMM快$O(n/\log(n))$倍。在求解大批量运输问题的线性规划问题时,BADMM具有大规模并行性,易于在GPU上运行。BADMM比高度优化的商业软件Guidelines快几倍。
2014-07-08 cs.LG math.OC stat.ML
Systematic Weight Pruning of DNNs using Alternating Direction Method of Multipliers
Syracuse University(雪城大学)
我们提出了一个系统的权重修剪框架的深度神经网络(DNN)使用交替方向乘法器(ADMM)。我们首先将DNN的权重修剪问题表示为一个约束非凸优化问题,然后采用ADMM框架进行系统的权重修剪。我们表明,ADMM是非常适合的重量修剪由于它提供的计算效率。与以前的工作相比,我们实现了更高的压缩比,同时保持相同的测试精度,以及更快的收敛速度。我们的模型发布在https://github.com/KaiqiZhang/admm-pruning
2018-04-22 cs.CV cs.LG
Online Parallel Multi-Task Relationship Learning via Alternating Direction Method of Multipliers
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Tencent AI Lab, Tencent Inc(腾讯公司腾讯AI实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);School of Intelligent Engineering, Henan Institute of Technology(河南工程学院智能工程学院)
针对在线多任务学习中的梯度消失和集中式瓶颈问题,提出基于ADMM的并行框架,动态建模任务关系,支持去中心化部署,实验证明其精度和效率优于SGD方法。
2024-11-09 cs.AI cs.DC cs.LG
Parameter Estimation with the Ordered $\ell_{2}$ Regularization via an Alternating Direction Method of Multipliers
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
正则化是机器学习中用于模型估计和避免过拟合的流行技术。先前的研究发现,现代有序正则化在处理高度相关的高维数据时比传统正则化更有效。原因在于有序正则化可以拒绝不相关的变量并产生参数的准确估计。面对大规模的训练数据,如何将有序正则化问题规模化是一个尚未解决的问题。本文研究了有序$\ell_{2}$ -正则化乘子交替方向法(ADMM)的参数估计问题,称为ADMM-O $\ell_{2}$ . ADMM-O $\ell_{2}$的优点包括(i)将有序的$\ell_{2}$按比例放大到大规模数据集,(ii)通过自动排除不相关的变量来正确地预测参数,以及(iii)具有快速的收敛速度。合成数据和真实数据的实验结果表明,ADMM-O $\ell_{2}$的性能优于或相当于几种最先进的基线。
2019-10-31 cs.LG math.OC stat.ML
Fast Stochastic Alternating Direction Method of Multipliers
本文提出一种新的随机交替方向乘子法算法,通过逐步近似线性化ADMM中的完整梯度,提升凸问题的收敛速度至O(1/T),在无需访问所有样本的情况下达到批量ADMM的收敛率。
2013-08-16 cs.LG cs.NA math.NA
Scalable Stochastic Alternating Direction Method of Multipliers
Nanjing University(南京大学)
随机交替方向乘子法(ADMM)每次只访问一个样本或一小批样本,最近被证明比批ADMM具有更好的性能。然而,大多数随机方法只能达到一般凸问题的收敛速度$O(1/\sqrt T)$,其中T是迭代次数。因此,这些方法在收敛速度(计算成本)方面是不可扩展的。对于一般的凸问题,只有一种随机方法(SA-ADMM)能达到$O(1/T)$的收敛速度。然而,SA-ADMM需要额外的存储器来存储所有样本上的历史梯度,因此其在存储成本方面不可扩展。在本文中,我们提出了一种新的方法,称为可扩展的随机ADMM(SCAS-ADMM),大规模的优化和学习问题。SCAS-ADMM不需要存储历史梯度,在一般的凸问题上,SCAS-ADMM可以达到与最佳随机方法SA-ADMM和批处理ADMM相同的收敛速度$O(1/T)$.在图引导融合套索上的实验表明,SCAS-ADMM在实际应用中可以达到最先进的性能
2015-07-20 cs.LG
Alternating Direction Method of Multipliers for Quantization
University of Southern California(南加州大学);Indian Institute of Technology Kharagpur(印度克勒格布尔理工学院);Facebook AI(Facebook人工智能实验室)
机器学习模型(例如深度神经网络)的参数的量化需要求解约束最优化问题,其中约束集由许多简单离散集的笛卡儿积形成。对于这样的优化问题,我们研究的性能的交替方向法的乘法器量化($\texttt{ADMM-Q}$)算法,这是一个变种的广泛使用的ADMM方法适用于我们的离散最优化问题。我们建立了$\texttt{ADMM-Q}$的迭代到某些$\textit{stationary points}$的收敛性。据我们所知,这是第一次分析的ADMM型方法的离散变量/约束的问题。基于我们的理论见解,我们开发了几个变种的$\texttt{ADMM-Q}$,可以处理不精确的更新规则,并通过使用“软投影”和“注入随机性的算法”,提高了性能。我们实证评估我们提出的方法的有效性。
2021-03-01 cs.LG math.OC
Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
The University of Edinburgh(爱丁堡大学)
通常,非线性支持向量机(SVM)产生显着更高的分类质量相比,线性的,但在同一时间,他们的计算复杂性是禁止的大规模数据集:这个缺点是本质上涉及到的必要性,存储和操作大型,密集和非结构化的内核矩阵。尽管在训练SVM的核心存在一个\textit{simple}凸优化问题,但核矩阵的存在导致性能急剧下降,使得SVM在处理大型问题时速度慢得无法工作。针对大规模非线性SVM问题的有效解决方案,我们提出了使用\textit{Alternating Direction Method of Multipliers}耦合\textit{Hierarchically Semi-Separable}(HSS)核近似。如在这项工作中所示,它们的算法组件之间的相互作用的详细分析揭示了一个特别有效的框架,事实上,所提出的实验结果表明显着的速度相比,\textit{state-of-the-art}非线性SVM库(而不显着影响分类精度)。
2021-11-10 cs.LG math.OC
On Convergence of the Alternating Directions SGHMC Algorithm
Department of Mathematical Sciences(数学系);IBM Research(IBM研究院)
本文研究交替方向SGHMC算法的收敛速率,通过允许一般辅助分布扩展标准HMC,并基于狄利克雷形式分析,显式刻画了收敛速率对维度、分布性质和预言机质量的依赖。
2024-05-26 cs.LG math.PR math.ST
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers
Stanford University(斯坦福大学);University of Oxford(牛津大学)
针对分布式数据集无法集中的隐私与通信限制问题,提出基于ADMM的分布式MCMC采样方案,兼具理论收敛保证与实验性能优势,可实现贝叶斯推理的不确定性量化。
2024-01-29 cs.LG cs.MA math.OC
Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting
National University of Singapore(新加坡国立大学);Peking University(北京大学);Shanghai Jiaotong University(上海交通大学)
本文提出快速近端增广拉格朗日法和快速近端ADMM并行分裂法,改进了收敛速度并降低了计算复杂度,实验证明其在合成和真实数据上均优于传统PALM和ADMM。
2015-11-14 cs.LG cs.NA math.NA
A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization
Huawei Belgium Research Center(华为比利时研究中心);Carnegie Mellon University(卡内基梅隆大学);Université de Mons(蒙斯大学)
本文提出了一种求解一类带线性约束的非凸非光滑多块组合最优化问题的算法框架,称为乘子惯性交替方向法(iADMM).我们的框架采用了一般的最小化优化(MM)原则更新每个块的变量,以便不仅统一以前的ADMM,在MM步骤中使用特定的代理函数的收敛性分析,但也导致新的高效ADMM计划。据我们所知,在非凸非光滑设置,ADMM结合MM原则来更新每个变量块,以及ADMM结合\emph{inertial terms for the primal variables}还没有在文献中研究。在标准假设下,我们证明了生成的迭代序列的渐近收敛性和整体收敛性。我们说明了iADMM对一类非凸低秩表示问题的有效性。
2022-06-24 cs.LG eess.SP math.OC
Alternating Linear Bandits for Online Matrix-Factorization Recommendation
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Department of Statistics and Data Science(统计与数据科学系);Yale University(耶鲁大学)
我们考虑的问题,在线协同过滤的在线设置,项目推荐给用户随着时间的推移。在每个时间步,用户(由环境选择)消费项目(由代理选择)并提供所选项目的评级。在本文中,我们提出了一种新的算法,结合线性强盗和交替最小二乘在线矩阵分解推荐。在这个公式中,强盗反馈等于最好的和选择的项目之间的评分差。我们使用累积遗憾和平均累积NDCG来评估所提出算法随时间的性能。在三个人工数据集和三个真实数据集上的在线协同过滤仿真结果表明,该算法优于两个国家的最先进的在线算法。
2018-10-22 cs.IR cs.LG stat.ML
Beyond Backprop: Online Alternating Minimization with Auxiliary Variables
NYU Tandon(纽约大学坦登工程学院);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);MIT(麻省理工学院)
尽管最近在深度神经网络方面取得了重大进展,但由于目标函数的高度非凸性,训练它们仍然是一个挑战。最先进的方法依赖于误差反向传播,其存在几个众所周知的问题,例如梯度消失和爆炸,无法处理不可微的非线性和跨层并行化权重更新,以及生物学上的不可信性。这些限制继续激励探索替代的训练算法,包括最近提出的几个随机变量方法,将复杂的嵌套目标函数分解为局部子问题。然而,这些技术主要是离线(批处理),这限制了它们对超大数据集的适用性,以及在线,持续或强化学习。我们工作的主要贡献是一种新的在线(随机/小批量)交替最小化(AM)方法,用于训练深度神经网络,以及随机设置中AM的第一个理论收敛保证和各种架构和数据集上有希望的经验结果。
2019-06-05 cs.LG stat.ML
Distributed Self-Paced Learning in Alternating Direction Method of Multipliers
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
自定进度学习(SPL)模仿人类的认知过程,人类通常从简单的样本学习到困难的样本。SPL中的一个关键问题是每个实例权重所需的训练过程取决于其他样本,因此无法在大规模数据集中以分布式方式运行。在本文中,我们重新制定的自定进度的学习问题到分布式设置,并提出了一种新的分布式自定进度的学习方法(DSPL)来处理大规模的数据集。具体而言,可以基于乘法器的共识交替方向方法为每个批次并行优化模型和实例权重。我们还证明了我们的算法在温和的条件下的收敛性。在合成数据集和真实数据集上的大量实验表明,我们的方法优于现有的方法。
2018-07-06 cs.LG stat.ML
An Adaptive Alternating-direction-method-based Nonnegative Latent Factor Model
School of Computer Science and Technology, Dongguan University of Technology(东莞理工学院计算机科学与技术学院);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院)
基于交替方向法的非负潜在因子模型可以对高维不完备(HDI)矩阵进行有效的表示学习。然而,它在学习过程中引入了多个超参数,应谨慎选择以实现其卓越的性能。其超参数自适应是为了进一步增强其可扩展性。针对这一问题,提出了一种基于自适应交替方向法的非负潜伏因子(A2NLF)模型,该模型的超参数自适应采用粒子群优化原理实现。对工业应用产生的非负HDI矩阵的实证研究表明,A2NLF在计算和存储效率方面优于几种最先进的模型,并且对于HDI矩阵的缺失数据保持高度竞争力的估计精度。
2022-04-11 cs.LG
Deep Component Analysis via Alternating Direction Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Dept.(机器学习系);Robotics Institute(机器人研究所)
尽管缺乏理论理解,但深度神经网络在广泛的应用中取得了无与伦比的性能。另一方面,带有分量分析的浅表示学习与丰富的直觉和理论相关联,但是较小的容量通常限制了其有用性。为了弥合这一差距,我们引入了深度组件分析(DeepCA),这是一种表达性的多层模型公式,通过对每一层中潜在变量的约束来强制执行分层结构。对于推理,我们提出了一个可微的优化算法,使用循环交替方向神经网络(ADNN),使参数学习使用标准的反向传播。通过将前馈网络解释为我们模型中推理的单次迭代近似,我们提供了一种新的理论视角来理解它们,并提供了一种实用的技术来约束先验知识的预测。在实验中,我们展示了各种任务的性能改进,包括具有稀疏输出约束的单图像深度预测。
2018-03-16 cs.CV cs.LG stat.ML
Scalable Adversarial Attack on Graph Neural Networks with Alternating Direction Method of Multipliers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
图神经网络(GNN)在分析图结构数据方面具有很高的性能,并已广泛应用于金融和自动驾驶等安全关键领域。然而,只有少数工作探索了GNN对对抗攻击的鲁棒性,并且它们的设计通常受到输入数据集规模的限制(即,集中于仅具有数千个节点的小图)。在这项工作中,我们提出,SAG,第一个可扩展的对抗攻击方法与交替方向乘法器(ADMM)。我们首先将大规模图解耦成几个较小的图分区,并将原问题转化为几个子问题。然后,我们建议使用投影梯度下降来解决这些子问题的图形拓扑结构和节点的功能,导致相当低的内存消耗相比,传统的攻击方法。严格的实验进一步表明,SAG可以显着减少计算和内存开销相比,国家的最先进的方法,使SAG适用于图与大尺寸的节点和边。
2020-09-22 cs.AI cs.LG stat.ML
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong(香港中文大学);Microsoft AI and Research(微软人工智能研究院)
循环神经网络语言模型(RNNLM)的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来,能够产生极低比特压缩的神经网络量化技术(例如,二值化RNNLM)正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题,提出了一种利用交替方向乘法器(ADMM)从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验:Penn Treebank(PTB)和Switchboard(SWBD)建议,所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语:语言模型,递归神经网络,量化,交替方向乘法器方法。
2021-11-29 cs.LG
Stochastic Alternating Direction Method of Multipliers for Byzantine-Robust Distributed Learning
Sun Yat-Sen University(中山大学);University of Science and Technology of China(中国科学技术大学);Pazhou Lab(琶洲实验室)
本文旨在解决拜占庭攻击下的分布式学习问题。在底层分布式系统中,由于数据损坏、计算错误或恶意攻击,许多未知但恶意的工作者(称为拜占庭工作者)可以向主节点发送任意消息,并使学习过程产生偏差。先前的工作已经考虑了一个全变差(TV)范数惩罚近似公式来处理拜占庭攻击,其中TV范数惩罚迫使常规工人的局部变量接近,同时容忍拜占庭工人发送的离群值。为了解决TV范数惩罚近似公式,我们提出了一个拜占庭鲁棒随机交替方向法的乘法器(ADMM),充分利用可分离的问题结构。理论上,我们证明了在温和的假设下,该方法以O(1/k)的速度收敛到最优解的有界邻域,其中k是迭代次数,邻域大小由拜占庭工人的数量决定。在MNIST和COVERTYPE数据集上的数值实验证明了该方法对各种拜占庭攻击的有效性。
2021-06-13 cs.LG math.OC stat.ML
Auto-conditioned primal-dual hybrid gradient method and alternating direction method of multipliers
Georgia Institute of Technology(佐治亚理工学院)
本文提出自调节原始-对偶混合梯度法 AC-PDHG 和自调节交替方向乘子法 AC-ADMM,通过自适应估计线性算子范数消除线搜索,并结合加速方案在单预言机设置下达到最优迭代复杂度。
2024-10-02 cs.LG math.OC stat.ML
An FPGA Accelerated Method for Training Feed-forward Neural Networks Using Alternating Direction Method of Multipliers and LSMR
Imperial College London(帝国理工学院)
在这个项目中,我们成功地设计,实现,部署和测试了一种新的FPGA加速算法的神经网络训练。该算法本身是在一个独立的研究选项中开发的。该训练方法基于交替方向乘法算法,具有较强的并行性,采用最小二乘最小二乘估计,避免了硬件设计中矩阵求逆等问题。作为中间阶段,我们完全实现了ADMM-LSMR方法在C语言的前馈神经网络具有灵活的层数和隐藏的大小。我们证明,该方法可以操作与定点运算,而不影响精度。接下来,我们使用英特尔FPGA SDK for OpenCL设计了该算法的FPGA加速版本,并进行了广泛的优化阶段,随后在英特尔Arria 10 GX FPGA上成功部署了该程序。FPGA加速程序与同等CPU实现相比,速度提高了6倍,同时实现了有希望的精度。
2020-09-06 cs.LG
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University(哥伦比亚大学)
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量(方向)是否可能?这个问题可以被认为是稀疏恢复问题的同质变体,并发现与稀疏字典学习,稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中,我们专注于一个 ** 种植稀疏模型 ** 的子空间:目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时,用于该种植恢复问题的简单凸算法可证明地失效。相比之下,我们展示了一个相对简单的非凸方法的基础上交替的方向,证明成功,即使当非零条目的分数是$Ω(1)$。据我们所知,这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲,我们提出的算法在更具有挑战性的数据模型中也取得了成功,例如,稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers
IMT School for Advanced Studies(IMT高等研究学院)
本文提出了一种新的算法,用于从输入/输出训练数据集训练非线性动力系统的递归神经网络模型。任意凸和二次可微的损失函数和正则化项处理的顺序最小二乘和线搜索(LS)或Levenberg-Marquardt(LM)型的信赖域方法,以确保收敛。此外,为了处理非光滑正则化项,如$\ell_1$,$\ell_0$,和组Lasso正则化,以及施加可能的非凸约束,如整数和混合整数约束,我们结合顺序最小二乘法与交替方向乘法(ADMM)。我们呼吁由此产生的算法NAILS(非凸ADMM迭代和最小二乘)的情况下使用线搜索(LS),或NAILM,如果采用信赖域方法(LM)。训练方法,这也是适用于前馈神经网络作为一个特殊的情况下,在三个非线性系统辨识问题进行了测试。
2022-10-15 cs.LG cs.SY eess.SY
Deep Online Probability Aggregation Clustering
Systems Engineering Institute, Xi’an Jiaotong University(西安交通大学系统工程研究所)
针对深度聚类交替训练的不稳定与高计算量问题,提出无中心概率聚合聚类算法PAC及在线模块,构建深度框架DPAC,实验证明其性能与鲁棒性优于现有方法。
2024-07-13 cs.CV cs.LG