On computing sparse universal solvers for key problems in statistics
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);University of Michigan(密歇根大学)
本文针对最小二乘相关问题的通用求解器,提出稀疏性结果与算法,包括最小1-范数、最小秩及同时最小范数/最小二乘的通用求解器,并比较了多种线性规划公式与近端点算法,其中Douglas-Rachford分裂算法表现最佳。
2026-06-17 math.OC
The Sparse Solution to $\mathcal{KS}$-Tensor Complementarity Problems
针对KS-张量互补性问题,研究了该问题的稀疏解。由于l_0-模的非凸性和非连续性,KS-张量互补性问题的稀疏解的求解是一个NP困难问题。为了解决这个问题,我们将其转化为一个多项式规划问题的约束。然后利用序列二次规划(SQP)算法求解该转化问题。数值结果表明,SQP算法能有效地求出KS-张量互补性问题的稀疏解。
2022-08-26 math.OC
GPU Implementation of Second-Order Linear and Nonlinear Programming Solvers
Argonne National Laboratory(阿贡国家实验室)
本文提出基于GPU的二阶线性与非线性规划求解器,通过无pivot内点法提升大规模问题的求解效率,实验显示在中等精度下速度提升超过10倍。
2025-11-21 math.OC
Practical Large-Scale Linear Programming using Primal-Dual Hybrid Gradient
我们提出了PDLP,一个实用的一阶方法线性规划(LP),可以解决传统的LP应用程序中预期的高精度水平。此外,它可以扩展到非常大的问题,因为它的核心操作是矩阵向量乘法。PDLP是通过将Chambolle和Pock(2011)推广的原始-对偶混合梯度(PDHG)方法应用于LP的鞍点公式而导出的。PDLP通过将几种新技术与文献中的旧技巧相结合来增强LP的PDHG;增强功能包括对角预处理、预求解、自适应步长和自适应重新启动。PDLP改进了应用于LP的一阶方法的现有技术。我们在来自MIPLIB 2017的一组383个LP实例上将PDLP与基于ADMM的求解器SCS进行了比较。以$10^{-8}$相对精度和1小时时间限制为目标,PDLP实现了求解时间几何平均的6.3倍减少和未求解实例数的4.6倍减少(从227减少到49)。此外,我们强调标准的基准测试实例和大规模的应用程序(PageRank),我们的开源原型的PDLP,写在朱莉娅,优于商业LP求解器。
2022-01-07 math.OC
A Sparse Multi-Scale Algorithm for Dense Optimal Transport
离散最优输运求解器在密集的大问题上不能很好地扩展,因为它们没有明确地利用费用函数的几何结构。在类比连续最优输运,我们提供了一个框架来验证一个离散的运输计划的全局最优性。这允许通过考虑一系列稀疏问题来构造算法来解决大的密集问题。该算法适合与分层多尺度方案相结合。任何现有的离散求解器都可以用作内部黑箱。几个费用函数,包括噪声平方欧几里德距离,显式详细说明。我们观察到显着减少运行时间和内存的要求。
2016-04-18 math.OC
Sparse Convex Optimization Toolkit: A Mixed-Integer Framework
本文提出了一个开源的分布式求解器,用于解决稀疏凸优化(SCO)问题的计算网络。受过去混合整数优化算法进步的启发,稀疏凸优化工具包(SCOT)采用混合整数方法来找到SCO问题的精确解。特别是,SCOT汇集了各种技术,将原来的SCO问题转化为一个等价的凸混合规划非线性规划(MINLP)问题,可以受益于高性能和并行计算平台。为了解决等价的混合整数问题,我们提出了分布式混合外近似(DiHOA)算法,该算法建立在基于LP/NLP的分支定界算法的基础上,并针对这个特定的问题结构量身定制。DiHOA算法结合了所谓的单树和多树外近似,自然地集成了分布式凸非线性子问题的分散算法,并利用了二次切割等增强技术。最后,我们提出了详细的计算实验,显示我们的解决方案的好处,通过数值基准140 SCO问题与分布式数据集。为了展示SCOT的整体效率,我们还提供了SCOT与其他最先进的MINLP求解器的性能比较。
2022-10-30 math.OC
Modeling and Optimization of Control Problems on GPUs
Université Côte d’Azur, CNRS, Inria, LJAD(蔚蓝海岸大学、法国国家科学研究中心、法国替代能源和原子能委员会、拉哈尔数学与计算机分析实验室)
本文提出一种基于Julia的GPU加速工作流,通过直接转录和稀疏非线性规划求解大规模最优控制问题,利用多个Julia包和cuDSS求解器,实现显著加速。
2025-10-07 math.OC
A double iteratively reweighted algorithm for solving group sparse nonconvex optimization models
China West Normal University(西华师范大学);Shenzhen University(深圳大学)
本文提出一种双重迭代加权算法,用于求解群体稀疏非凸优化问题,通过凹组合促进稀疏结构,并结合凸替代和交替方向乘子法实现高效求解。
2025-11-24 math.OC
Adaptive sieving: A dimension reduction technique for sparse optimization problems
本文提出自适应筛选策略,利用解的内在稀疏性将大规模稀疏优化问题化为一系列小规模子问题,并生成解路径,理论保证有限终止,实验验证其高效灵活。
2025-04-25 math.OC
Sparse High-Dimensional Regression: Exact Scalable Algorithms and Phase Transitions
我们提出了一种新的二元凸重构稀疏回归问题,构成了一个新的对偶的角度来看。我们设计了一种新的割平面法,并提供证据表明,它可以解决可证明的最优性的稀疏回归问题的样本量n和数量的回归p在100,000秒,这是两个数量级优于目前的最先进的,在秒。解决非常高维问题的能力使我们能够观察到新的相变现象。传统的复杂性理论认为问题的难度随着问题的大小而增加,与此相反,稀疏回归问题具有这样的性质,即随着样本个数$n$的增加,问题变得更容易,因为解决方案恢复了100%的真实信号,并且我们的方法非常快地解决了问题(实际上比Lasso更快),而对于小的样本个数n,我们的方法需要更长的时间来解决问题,但重要的是,最优解提供了统计上更相关的回归量。我们认为,我们的精确稀疏回归方法提出了一个更好的替代启发式方法目前可用。
2017-09-28 math.OC stat.ML
On Distributed Exact Sparse Linear Regression over Networks
在这项工作中,我们提出了一种算法,用于解决精确稀疏线性回归问题在网络上的分布式方式。特别地,我们考虑数据存储在不同计算机或代理之间的问题,这些计算机或代理试图协作地找到具有指定稀疏性k的公共回归量,即,L0范数小于或等于k。与现有文献使用L1正则化来近似稀疏性相反,我们用精确的稀疏性k来解决问题。在我们的建议中的主要新颖之处在于显示零对偶差距的问题制定,我们采用了一种双重的方法来解决这个问题,在一个分散的方式。这为研究具有显式稀疏约束的分布式优化问题奠定了基础。我们从理论上和经验表明,在适当的假设下,每个代理解决较小的和本地的整数规划问题,所有代理最终将达成共识,在同一稀疏最优回归。
2022-04-01 cs.DC math.OC
Frequency Limited $\mathcal{H}_2$ Optimal Model Reduction of Large-Scale Sparse Dynamical Systems
本文主要研究稀疏广义大系统的频率受限$\mathcal{H}_2$最优模型降阶问题。为此,我们需要解两个西尔维斯特方程。本文提出了有效的算法来有效地解决这些问题。这些思想也被推广到指数-1广义系统。使用Python编程语言进行了数值实验,结果表明所提出的技术的近似精度和计算效率。
2021-01-09 math.DS math.OC
A sparse Kaczmarz solver and a linearized Bregman method for online compressed sensing
本文提出了一种计算稀疏或最小TV解的线性系统算法框架,包含Kaczmarz方法和线性化Bregman方法作为特例,并引入了稀疏Kaczmarz求解器等新方法,适用于测量缓慢且昂贵的在线压缩感知、TV断层成像和射电干涉测量等问题。
2014-03-28 cs.CV cs.IT cs.NA
Larger Sparse Quadratic Assignment Problem Optimization Using Quantum Annealing and a Bit-Flip Heuristic Algorithm
量子退火和D-Wave量子退火器因其解决组合优化问题的能力而引起了人们的广泛关注。为了解决其他类型的优化问题,有必要应用某些类型的数学变换。然而,由于量子比特之间的连接稀疏,线性约束减少了量子退火器中可以表示的问题的大小。例如,具有线性等式约束的二次分配问题(QAP)在量子退火机D-Wave Advantage中只能解决大小为12的问题,该量子退火机具有5640个量子比特。为了克服这个障碍,Ohzeki开发了一种放松线性等式约束的方法,并用一些目标问题数值验证了该方法的有效性,但其他问题仍然无法解决。特别是,很难获得可行的解决方案的问题与硬约束,如QAP。因此,我们提出了一种方法来解决QAP与量子退火后处理位翻转启发式算法所获得的解决方案的Ohzeki方法。在数值实验中,我们解决了稀疏QAP所提出的方法。这种稀疏的QAP已被用于电子商务网站上的物品列表等领域。我们首次使用D-Wave Advantage以高精度成功解决了19号QAP。我们还证实,位翻转启发式算法移动不可行的解决方案附近的可行解的汉明距离具有良好的计算效率。
2021-05-28 math.OC quant-ph
A sparse ADMM-based solver for linear MPC subject to terminal quadratic constraint
本文提出一种基于ADMM的稀疏求解器,直接处理线性MPC中的终端椭球二次约束,无需转化为SOC约束或引入额外变量,适用于嵌入式系统,并与其他方法进行了性能比较。
2024-04-29 cs.SY eess.SY math.OC
Faster exact solution of sparse MaxCut and QUBO problems
最大割问题是组合优化的基本问题之一。随着量子计算机的出现,最大割和等价的二次无约束二元最优化问题近年来引起了人们的极大兴趣。本文旨在通过在数字计算机上使用数学规划技术来推进这两个问题的精确解的最新技术水平。主要的重点在于稀疏的问题实例,虽然也可以解决密集的问题。我们增强了几个算法组件,如减少技术和切割平面分离算法,并将它们结合在一个精确的分支和切割求解器。此外,我们提供了一个并行的实现。新的求解器显着优于现有的最先进的软件稀疏MaxCut和QUBO实例。此外,我们还改进了第七届DIMACS挑战赛和QPLIB中几个实例的最佳边界,并首次将其中一些解决为最优。
2022-02-04 cs.DM cs.DS math.OC
First-order methods for sparse covariance selection
给定一个样本协方差阵,我们解决了一个最大似然问题的惩罚的数量的非零系数的逆协方差阵。我们的目标是找到样本数据的稀疏表示,并突出样本变量之间的条件独立关系。我们首先制定了一个凸松弛的组合问题,然后我们详细介绍了两个高效的一阶算法,低内存要求,以解决大规模,密集的问题实例。
2006-09-28 math.OC math.ST stat.TH
Sparse matrix factorizations for fast linear solvers with application to Laplacian systems
Université catholique de Louvain(天主教鲁汶大学);Université de Namur(纳穆尔大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种在稀疏搜索方向和非稀疏搜索方向之间进行插值的方法,通过新的稀疏分解技术实现高效的线性系统求解,并应用于拉普拉斯系统的近线性时间求解。
2016-12-02 cs.NA math.NA math.OC
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong(香港中文大学);University of California, Davis(加利福尼亚大学戴维斯分校);The Pennsylvania State University(宾夕法尼亚州立大学);University of Minnesota(明尼苏达大学)
稀疏主成分分析(PCA)和稀疏典型相关分析(CCA)是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难,大多数算法在文献中提出的解决一些松弛或启发式,缺乏收敛保证。在本文中,我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题,并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently
Carnegie Mellon University(卡内基梅隆大学)
多通道稀疏盲解卷积或卷积稀疏编码是指通过观察未知滤波器与多个稀疏输入信号的循环卷积来学习未知滤波器的问题。这个问题在信号处理、计算机视觉和逆问题中有许多应用。然而,由于观测值相对于未知滤波器和输入的双线性结构以及稀疏性约束,有效地学习滤波器是具有挑战性的。在本文中,我们提出了一种新的方法的基础上非凸优化球流形上最小化光滑代理的稀疏促进损失函数。它表明,流形梯度下降与随机初始化将可证明恢复过滤器,缩放和移位模糊,只要观察的数量是足够大的适当的随机数据模型下。数值实验表明,所提出的方法的性能与现有的比较。
2021-04-06 cs.IT cs.LG eess.SP
Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion
University of California, Berkeley(加利福尼亚大学伯克利分校)
稀疏逆协方差估计问题通常使用被称为“图形套索”的$\ell_{1}$正则化高斯极大似然估计器来解决,但其计算成本对于大数据集变得过高。最近的一系列结果表明-在温和的假设下-图形套索估计可以通过软阈值的样本协方差阵和解决最大行列式矩阵完成(MDMC)问题。本文证明了这一结果的推广,并描述了一个牛顿CG算法,有效地解决MDMC问题。假设阈值化样本协方差阵是稀疏的,并具有稀疏的Cholesky分解,我们证明了该算法在$O(n\log(1/ε))$时间和$O(n)$内存下收敛到$ε$ -精确解.该算法在实践中是非常有效的:我们解决了相关的MDMC问题,多达200,000个变量,7-9位数的精度在不到一个小时的标准笔记本电脑上运行MATLAB。
2018-06-07 cs.LG math.OC stat.CO
A Manifold Proximal Linear Method for Sparse Spectral Clustering with Application to Single-Cell RNA Sequencing Data Analysis
University of California, Davis(加州大学戴维斯分校);The Pennsylvania State University(宾夕法尼亚州立大学);Texas A&M University(得克萨斯农工大学);Yale University(耶鲁大学)
谱聚类是一种基本的无监督学习方法,广泛应用于数据分析中。稀疏谱聚类(SSC)赋予谱聚类以稀疏性,提高了模型的可解释性。本文考虑了一个广泛采用的SSC模型,它可以表示为Stiefel流形上的非光滑和非凸目标的优化问题。这样的优化问题非常具有挑战性。现有的方法通常解决其凸松弛或需要使用某些光滑技术来光滑其非光滑部分。在本文中,我们提出了一个流形近似线性方法(ManPL),解决了原来的SSC制定。我们还将该算法扩展到求解多核SSC问题,并提出了一种交替ManPL算法。收敛性和迭代复杂性的结果所提出的方法。我们通过单细胞RNA测序数据分析证明了我们提出的方法相对于现有方法的优势。
2020-10-30 cs.LG math.OC q-bio.GN
Sparse Separable Nonnegative Matrix Factorization
University of Mons(蒙斯大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所)
我们提出了一个新的非负矩阵分解(NMF)的变种,结合分离性和稀疏性的假设。可分离性要求第一NMF因子的列等于输入矩阵的列,而稀疏性要求第二NMF因子的列是稀疏的。我们称这种变体稀疏可分NMF(SSNMF),我们证明是NP-完全的,而不是可分NMF,可以解决多项式时间。考虑这种新模型的主要动机是处理欠定盲声源分离问题,如多光谱图像解混。我们介绍了一种算法来解决SSNMF,基于连续非负投影算法(SNPA,一种有效的算法可分离NMF),和一个精确的稀疏非负最小二乘求解器。我们证明,在无噪声设置和温和的假设下,我们的算法恢复真正的潜在来源。这说明了合成数据集和多光谱图像的解混实验。
2020-06-13 cs.CV cs.LG eess.SP