Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems
利用希尔伯特空间中的加速块坐标下降法（ABCD）的对偶，分析了求解稀疏最优控制问题的ABCD方法。研究了该方法的有限元逼近，并给出了收敛性结果。基于对偶目标函数的二阶增长条件，证明了对偶变量的迭代序列具有$O(1/k)$的迭代复杂性。此外，我们还证明了原问题的迭代复杂性。证明了ABCD方法的两类网格无关性，证明了无限维ABCD方法与有限维离散方法具有相同的收敛性，且ABCD方法的迭代次数随着离散的细化而几乎保持不变.
2020-01-03 math.OC
Accelerated-gradient-based generalized Levenberg--Marquardt method with oracle complexity bound and local quadratic convergence
University of Tokyo（东京大学）；Seikei University（成蹊大学）；RIKEN（理化学研究所）
本文提出一种具有oracle复杂度界和局部二次收敛性的加速梯度法广义LM方法，用于解决包含光滑复合函数的优化问题。
2024-01-11 math.OC
An accelerated semi-proximal ADMM with applications to multi-block sparse optimization problems
本文提出一种加速的半近端ADMM（AsPADMM），通过外推和递增惩罚参数实现O(1/K)非遍历收敛，并应用于多块稀疏优化，显著提升收敛速度。
2025-05-27 math.OC
GPU-Accelerated Sequential Quadratic Programming Algorithm for Solving ACOPF
本研究开发了一种基于GPU并行计算的SQP算法，通过ADMM分解ACOPF的二次规划子问题，在较大规模算例中显著缩短了求解时间。
2023-10-19 math.OC
Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（沙特数据与人工智能局-阿卜杜拉国王科技大学数据科学与人工智能卓越中心）
针对联邦学习中稀疏训练与加速结合失败的问题，提出Sparse-ProxSkip方法，通过引入Straight-Through Estimator剪枝技术，实现高效的稀疏到稀疏训练，并通过大量实验验证其性能。
2025-02-28 cs.LG math.OC
A Near-Optimal Total Complexity for the Inexact Accelerated Proximal Gradient Method via Quadratic Growth
The University of British Columbia（不列颠哥伦比亚大学）
本文研究了优化问题的总复杂度，证明在ω为锥形多面体函数时，双循环结构的不精确加速近端梯度法在函数值ε-最优性上具有O(ln(1/ε)/√ε)的复杂度。
2026-04-06 math.OC
Accelerated Proximal Gradient Methods in the affine-quadratic case: Strong convergence and limit identification
本文在仿射二次情形下证明APG与PGM从同一点初始化时迭代差弱收敛到零，从而APG弱收敛到初始点在解集中的最佳逼近，并在温和参数假设下进一步得到强收敛性，同时通过二维反例说明该结论不适用于一般情形。
2025-11-09 math.FA math.OC
Restarted Accelerated Primal-Dual Algorithms with Adaptive Stepsizes for Nonlinear Conic Constrained Convex Optimization
Penn State University（宾夕法尼亚州立大学）；University of Chicago（芝加哥大学）
针对非线性锥约束凸优化问题（含二次约束二次规划），提出带回溯的自适应步长重启加速原始-对偶算法，利用一阶信息和矩阵-向量乘积，在KKT映射度量次正则性下证明全局线性收敛，数值实验显示非单调自适应步长和GPU加速效果显著。
2026-09-30 math.OC
Accelerated Proximal Dogleg Majorization for Sparse Regularized Quadratic Optimization Problem
针对二次函数与非凸非光滑正则项之和的最小化问题，提出带外推的 PDOME 算法，通过外推混合牛顿方向和增强线搜索实现全局收敛与更快速度。
2025-08-30 math.OC
SGN: Sparse Gauss-Newton for Accelerated Sensitivity Analysis
我们提出了一个稀疏高斯-牛顿求解器加速灵敏度分析与应用范围广泛的平衡约束最优化问题。稠密高斯-牛顿解算器在逆问题上表现出了很好的收敛速度，但到目前为止，组装和分解相关矩阵的成本一直是一个主要的绊脚石。在这项工作中，我们展示了如何密集的高斯-牛顿海森可以转化为一个等价的稀疏矩阵，可以更有效地组装和分解。这导致了许多反问题的计算时间大大减少，我们证明了一组不同的例子。此外，我们显示之间的联系灵敏度分析和非线性规划方法的基础上拉格朗日乘子和证明等价的特定假设下，适用于我们的问题设置。
2021-07-09 cs.NA math.NA math.OC
Sparse Feedback Implementation for Sender-Receiver Transportation Linear-Quadratic Control
Linköping University（林雪平大学）
针对运输动力学线性二次型问题，提出将最优反馈增益分解为稀疏矩阵与另一稀疏矩阵逆的乘积，从而降低计算复杂度并支持分布式实现。
2026-08-25 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法，具有低计算复杂度和局部二次收敛性，数值实验验证了其准确性与效率。
2025-10-08 math.OC
GPU-accelerated dynamic nonlinear optimization with ExaModels and MadNLP
本研究利用ExaModels自动微分工具与MadNLP内点求解器，结合基于NVIDIA cuDSS的混合线性求解器实现GPU加速动态非线性优化，在经典精馏柱最大算例上将单迭代时间缩短24倍。
2024-09-12 math.OC
Tight semidefinite programming relaxations for sparse box-constrained quadratic programs
Lehigh University（利哈伊大学）
本文提出了一种基于重构线性化技术的紧半正定规划松弛方法，用于解决稀疏盒约束二次规划问题，并给出了多项式规模的可构造性证明。
2026-10-14 math.OC
A GPU-accelerated Nonlinear Branch-and-Bound Framework for Sparse Linear Models
MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management, ORC, and MIT Center for Statistics（麻省理工学院斯隆管理学院、运筹学中心和统计学中心）
本文提出一种基于GPU的非线性分支定界框架，用于加速稀疏线性模型的精确回归，通过高效并行计算提升运行效率。
2026-09-01 math.OC
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标，Chen et al.（2018）证明了该方法的一致稳定性随着优化步骤的数量呈二次增长，并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想，并显示，两个概念的算法稳定性（包括一致稳定性），Nesterov的加速方法的稳定性，实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比，也与非加速梯度方法的已知结果形成鲜明对比，其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
CAPPA: Continuous-time Accelerated Proximal Point Algorithm for Sparse Recovery
针对求解$\ell_1$ -极小化问题，提出了一种新的连续时间加速邻近点法（CAPPA），该算法具有可证明的固定时间收敛性. $\ell_1$最小化的问题出现在几个上下文中，例如压缩感知（CS）理论中的稀疏恢复（SR），以及机器学习中的稀疏线性和逻辑斯谛回归。大多数现有的解决$\ell_1$ -最小化问题的算法是离散时间的，效率低下，需要穷举的计算机引导的迭代。CAPPA在两个方面解决了这个问题：（a）它包含了一个可以使用模拟电路实现的连续时间算法;（b）它通过展示可证明的固定时间收敛到最优解来改善LCA和有限时间LCA（最近开发的用于解决SR问题的连续时间动力系统）。因此，CAPPA更适合于快速有效地处理SR问题。模拟研究证实了CAPPA的计算优势。
2020-06-03 cs.SY eess.SY math.OC
Solving Monotone Linear-Quadratic Generalized Nash Equilibrium Problems via Quadratic Programming
IMT School for Advanced Studies（高等研究学院）；TU Darmstadt（达姆施塔特工业大学）
该研究针对带凸二次成本与共享仿射约束的N参与者单调线性二次广义纳什均衡问题，通过将其转化为二次规划，提出两种加速算法，实验表明所提方法性能优于现有方法。
2026-08-10 math.OC
Iteration Complexity of Fixed-Step Methods by Nesterov and Polyak for Convex Quadratic Functions
本文考虑了Polyak的动量法和Nesterov的加速梯度法，这两种方法都没有线搜索，但具有固定的步长，适用于严格凸的二次函数，假设使用了精确的梯度，并且已知黑塞矩阵的极值特征值的上界和下界。简单的二维算例表明，迭代到最优解的欧氏距离是非单调的。在这种情况下，一个明确的界限，以保证减少的欧氏距离的最优解的一个因素$\varepsilon$所需的迭代次数。对于这两种方法的界限是最佳的常数因子，它补充了早期的渐近最优结果的动量法，它建立了另一个链接的动量法和Nesterov的加速梯度法。
2022-12-13 math.OC
A Unified Lyapunov-IQC Framework for Uniform Stability of Smooth Quadratic First-Order Accelerated Optimizers
Department of Mathematics & Statistics（数学与统计学系）
本文提出统一的Lyapunov积分二次约束框架，用于在β-光滑和γ-强凸条件下建立一阶加速优化算法的均匀稳定性，通过Lyapunov函数和Lur'e型反馈互联模型，结合半定规划解决稳定性问题。
2026-07-03 cs.LG math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
KL property of exponent $1/2$ of quadratic functions under nonnegative zero-norm constraints and applications
研究了两类非负零范数约束下的二次优化问题：非负零范数球面约束和零范数单纯形约束，这两类约束分别在非负稀疏本征值问题和稀疏投资组合问题中有重要应用.我们建立了这些非凸非光滑最优化问题的目标函数的指数为1/2的KL性质，并利用这一重要性质提出了一种全局线性收敛的投影梯度下降（PGD）方法.数值结果包括非负稀疏主成分分析和稀疏投资组合问题的合成和真实数据，以证实理论结果。
2019-09-02 math.OC
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化，针对可微及非光滑加可微两类问题，采用固定步长和算子分裂，以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
Semidefinite Programming Approach for the Quadratic Assignment Problem with a Sparse Graph
两个邻接矩阵之间的匹配问题可以表示为NP难的二次指派问题（QAP）。以前的工作半定规划（SDP）放宽到QAP产生的解决方案，往往是紧在实践中，但这样的SDP通常规模差，涉及矩阵变量的尺寸$n^2$，其中n是节点的数量。为了实现加速，我们提出了一个进一步放宽的SDP涉及的维数$\mathcal{O}(n)$没有大于的边缘的数量在一个图形的正半定矩阵。松弛可以通过考虑图中的团而不是边来进一步加强。这种新的松弛的对偶问题具有自然的三块结构，可以通过收敛的增广方向乘法（ADMM）以分布式方式解决，其中每次迭代最昂贵的步骤是计算维度$\mathcal{O}(n)$的矩阵的特征分解。新的SDP松弛产生强界的二次指派问题，其中一个图是稀疏的，减少了计算复杂性和运行时间，并可以用于在核磁共振光谱（NMR）的上下文中，以解决分配问题。
2017-03-27 math.OC
Accelerated Proximal Iterative re-Weighted $\ell_1$ Alternating Minimization for Image Deblurring
本文针对非凸非光滑的$\ell_p$ TV图像去模糊问题，提出PIRL1-AM及其加速版本APIRL1-AM算法，有效保留边缘并显著提升收敛速度。
2023-09-11 math.OC
Analysis of Optimization Algorithms via Integral Quadratic Constraints: Nonstrongly Convex Problems
在本文中，我们开发了一个统一的框架，能够证明指数和次指数收敛速度的迭代一阶优化算法的范围很广。为此，我们构造了一个家庭的参数依赖的非二次李雅普诺夫函数，可以产生收敛速度，除了证明渐近收敛。利用鲁棒控制理论中的积分二次型约束（IQCs），提出了一个线性矩阵不等式（LMI）来指导搜索李雅普诺夫函数的参数，以建立速率界。基于这个结果，我们制定了一个半定规划（SDP），其解决方案产生的最佳收敛速度，可以证明所考虑的一类李雅普诺夫函数。我们通过分析（强）凸问题的梯度法，近似算法及其加速变体来说明我们的结果的实用性。我们还开发了连续时间对应，从而我们分析的梯度流和连续时间限制Nesterov的加速方法。
2018-02-23 math.OC
Solving Sparse Mixed-Integer Quadratic Problems: Application to the Unit Commitment Problem with Optimal Power Flow
University of Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）；CITMAga (Galician Center for Mathematical Research and Technology)（加利西亚数学研究与技术中心）；Politecnico di Milano（米兰理工大学）；Ivey Business School, Western University（韦仕敦大学艾维商学院）；IE University（IE大学）
提出一种结合半定规划松弛与弦分解的框架，利用稀疏性求解MIQCQP，在含AC最优潮流的机组组合问题上取得优于现有全局求解器的可扩展性。
2026-06-07 math.OC
High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method
本文研究随机强凸-强凹鞍点问题，为SAPD建立高概率收敛保证、极限协方差公式与紧下界，并从CVaR、EVaR和$χ^2$-散度角度分析风险规避权衡。
2023-07-14 math.OC
GPU Implementation of Second-Order Linear and Nonlinear Programming Solvers
本文提出基于GPU的二阶线性与非线性规划求解器，通过无pivot内点法提升大规模问题的求解效率，实验显示在中等精度下速度提升超过10倍。
2025-11-21 math.OC
Accelerated Structured Alternating Projections for Robust Spectrally Sparse Signal Recovery
University of California, Los Angeles（加州大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Shenzhen University（深圳大学）
考虑由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号$\boldsymbol{x}$。研究了在完全观测条件下谱稀疏信号的鲁棒恢复问题，即从$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$的和$\boldsymbol{z}=\boldsymbol{x}+\boldsymbol{s}$中恢复$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$。本文利用$\boldsymbol{x}$构造的Hankel矩阵的低秩性质，将该问题转化为一个低秩Hankel矩阵的鲁棒恢复问题.我们开发了一个高效的非凸算法，创造加速结构交替投影（ASAP）。ASAP的高计算效率和低空间复杂度是通过结构矩阵的快速计算和加速低秩近似的子空间投影方法来实现的。在对$\boldsymbol{x}$和$\boldsymbol{s}$的一些温和的假设下，建立了ASAP的线性收敛速度的理论恢复保证。合成和真实世界的数据的经验性能比较证实了ASAP的优势，在计算效率和鲁棒性方面。
2021-01-16 cs.IT cs.LG eess.SP
Exact and Heuristic Methods with Warm-start for Embedded Mixed-Integer Quadratic Programming Based on Accelerated Dual Gradient Projection
小规模混合二次二次规划（MIQP）问题在嵌入式控制和估计应用中经常出现。由于算法简单性的需要，目标计算平台的内存和计算资源有限，本文提出了一些方法来解决MIQP，无论是最优或次优。我们专门现有的加速双梯度投影（GPAD）算法，以有效地解决分支定界（B&B）过程中出现的二次规划（QP）松弛，并提出了一个通用的框架，以热启动的二进制变量，减少QP松弛的数量。此外，为了找到一个整数可行的组合的二进制变量的前期，两个启发式方法：（$i$）不使用B&B，和（$ii$）使用B&B与QP松弛的数量显着减少。两种启发式方法都返回整数可行解，该整数可行解可能是次优的，但涉及大大减少的计算工作量。这种可行解可以直接实现，也可以用于设置B&B中最优成本的初始上界。通过不同的混合控制和估计的例子，涉及二进制决策变量，我们表明，所提出的方法的性能，虽然非常简单的代码，是相媲美的国家的最先进的MIQP求解器。
2021-01-22 cs.SY eess.SY math.OC
Accelerated Proximal Envelopes: Application to the Coordinate Descent Method
这篇文章致力于一个特殊的情况下，使用通用加速邻近包络，以获得计算效率的加速版本的方法，用于解决各种最优化问题设置。在本文中，我们提出了一个近似加速坐标下降法，实现了有效的迭代算法的复杂性，并允许一个利用问题的稀疏性。应用所提出的方法来优化SoftMax类函数的一个例子考虑，其中所描述的方法允许削弱依赖的计算复杂性的问题$n$的尺寸在$\mathcal{O}(\sqrt{n})$倍，并在实践中证明了一个更快的收敛速度与标准方法相比。
2021-01-12 math.OC
The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
该研究针对高维学习问题中SGD及其加速变体的最优性边界问题，分析带指数衰减步长和动量的SGD，建立ASGD收敛上界，明确两类算法达到极小极大最优的问题类别，揭示了SGD学习偏差的新规律。
2024-09-15 cs.LG math.OC
GPU-Accelerated Preprocessing for Large-Scale Linear Programming
The Hong Kong Polytechnic University（香港理工大学）；Beijing University of Technology（北京工业大学）
针对大规模线性规划预处理的GPU加速难题，开发了原生GPU框架GPU-Preprocessor，结合折叠与预求解技术，在基准测试中实现了显著的预处理及总求解时间加速。
2026-10-15 math.OC
An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis
稀疏主成分分析（PCA）是PCA的一个重要变体，它试图在进行降维时找到稀疏的负载向量。本文考虑了与ScoTLASS模型相关的非光滑黎曼最优化问题，该模型可以同时施加正交性和稀疏性。Chen等人的工作中提出了一种黎曼近似方法，用于有效地解决这个最优化问题。本文介绍了两种加速方案。首先，我们将FISTA方法从欧几里得空间推广到黎曼流形上求解稀疏PCA，得到了加速的黎曼邻近梯度法。由于稀疏PCA的黎曼最优化问题本质上是非凸的，采用重新启动技术来稳定加速方法，而不牺牲快速收敛。其次，对黎曼近似子问题提出了一个对角预条件子，进一步加快了黎曼近似方法的收敛速度。数值计算结果表明，所提出的方法比现有的流形上的近端梯度法具有计算优势。此外，还建立了一个关于序列的黎曼次梯度收敛性的简短结果，该结果与Chen等人的结果一起，可以证明黎曼逼近方法的稳定点收敛性。
2021-09-02 math.OC
GPU Accelerated Security Constrained Optimal Power Flow
本文提出一种基于GPU加速的近似消息传递算法，用于求解大规模预想事故约束直流最优潮流问题，无需求解线性系统，在单个GPU上实现超过100倍加速并可在一分钟内求解5亿变量规模的问题。
2024-10-22 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
A subspace-accelerated split Bregman method for sparse data recovery with joint l1-type regularizers
我们提出了一个子空间加速Bregman方法的线性约束最小化的形式$f(\mathbf{u})+τ_1 \|\mathbf{u}\|_1 + τ_2 \|D\,\mathbf{u}\|_1$，其中$f$是一个光滑的凸函数和$D$代表一个线性算子，例如，有限差分算子，在各向异性全变差和融合套索正则化。这种类型的问题出现在各种各样的应用，包括投资组合优化和学习的预测模型从功能磁共振成像（fMRI）的数据，并在脑电图的源检测问题。使用$\|D\,\mathbf{u}\|_1$的目的是鼓励解决方案中的结构稀疏性。选择执行加速的子空间，使得目标函数的约束是当前目标的邻域中的光滑函数。利用真实数据集对多期投资组合问题进行的数值实验表明了该方法的有效性。
2020-03-23 cs.NA math.NA math.OC
APP-Hom Method for Box Constrained Quadratic Programming
基于求解箱约束二次规划（BQP）问题的邻近点（PP）算法的$Q$ -线性收敛性分析和线性收敛因子估计，提出了求解BQP问题的加速邻近点（APP）算法.针对APP算法中每步求解的严格凸BQP问题，给出了一种跟踪参数二次规划解路径的同伦方法。以APP算法为外迭代，同伦方法为内迭代的算法称为APP-Hom。内部同伦方法是有效的，通过实施，一个热启动技术的基础上的加速近端梯度（APG）的方法，一个$\varepsilon$ -松弛技术检查素数和对偶的可行性和确定/校正的活动集。对随机生成的稠密和稀疏BQP、图像去模糊产生的BQP、SVM中的BQP以及离散化障碍问题、弹塑性扭转问题和滑动轴承问题的数值试验表明，APP算法比PP算法所需的步骤少得多，同伦方法对严格凸BQP非常有效，因此，APP-Hom对非凸BQP非常有效。
2020-01-14 math.OC
Control problem for quadratic parabolic differential equations with sparse sensor sets of finite volume or anisotropically decaying density
本文证明了二次抛物型微分方程在稀疏传感器集下的可观测性与零可控性，依据生成元奇异空间的不同情况调整传感器集条件，并利用耗散估计与不确定性关系进行证明。
2023-10-04 math.AP math.OC
GPU-Accelerated Conic Quadratic Programming with Local Linear Convergence under Strict Complementarity
Northwestern University（西北大学）；Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文提出GPU加速的一阶求解器PDHCG-CQP，其在严格互补性下具备局部线性收敛性，可高效扩展至8个GPU，在多类大规模规划基准上展现出先进鲁棒性。
2026-08-11 cs.DC cs.MS math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University（普渡大学）
本文提出重启式惩罚APEX算法，用于求解未知分段光滑的凸函数约束优化问题，该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度，还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Manifold Quadratic Penalty Alternating Minimization for Sparse Principal Component Analysis
本文提出流形二次罚交替最小化（MQPAM）算法，用于稀疏主成分分析，结合黎曼梯度下降与闭式近端算子，实验显示其在稀疏性和CPU时间上优于或持平现有方法。
2024-11-11 math.OC
Strong Convergence of FISTA Iterates under H{ö}lderian and Quadratic Growth Conditions
本文证明了在满足Hölderian或二次增长条件的强制函数下，FISTA迭代序列无需假设极小化点唯一性即可强收敛至极小化点，并基于渐近消失阻尼系统给出了改进的收敛速率和轨迹有限长度结果。
2024-07-24 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题，从压缩的线性测量数据时，被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时，不同的$k$稀疏解可能存在于可行集中，并且经典的l1方法可能是不成功的。为此，我们提出了一种非凸二次规划方法，利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟，以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Two-Timescale Optimization Framework for Sparse-Feedback Linear-Quadratic Optimal Control
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
针对带通信稀疏约束的分布式 LQ 控制，提出双时间尺度优化框架，分别用 $\ell_1$ 松弛、分段二次松弛和 BSUM 直接处理 $\ell_0$ 问题并保证稳定性。
2024-12-10 cs.LG math.OC
Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties
本文提出一种基于复杂度上限的超参数设置方法，将非凸AG算法应用于高维稀疏学习，并建立收敛速度和最优阻尼序列界限，显著提升了收敛速度和信号恢复性能。
2022-11-28 math.OC stat.CO stat.ML
GMRES-Accelerated ADMM for Quadratic Objectives
Massachusetts Institute of Technology（麻省理工学院）
本文研究了在强凸二次目标的等式约束问题中，利用GMRES加速ADMM方法以提高收敛速度，证明该方法在迭代次数上具有更优的性能。
2018-08-28 cs.NA math.NA math.OC
Cholesky factorisation, and intrinsically sparse linear quadratic regulation
Lund University（隆德大学）
本文通过Cholesky分解揭示了具有树结构运输问题中控制律的内在稀疏性，展示了最优控制的分布式应用方法。
2026-02-03 cs.SY eess.SY math.OC
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题，提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法，构建通用分析框架推导约束违反估计，发现具备修正能量稳定性的BDF-k加速梯度方法族，实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology（代尔夫特理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）；Umea University（于默奥大学）
我们提出了一种新的近似层次基数约束，凸二次规划，利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征，其目标函数可以在二进制变量上解析地优化，同时保持连续变量的凸性。利用这一属性，我们提出了两个可扩展的优化算法，被称为“最佳响应”和“双程序”，可以有效地筛选潜在的索引的非零元素的原始程序。我们表明，所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中，它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
Accelerated Optimization Landscape of Linear-Quadratic Regulator
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
本文针对线性二次调节器（LQR）的非凸矩阵优化问题，提出一阶加速优化框架，分别为状态反馈和输出反馈LQR设计了具备最优收敛阶或更低复杂度的加速算法，并提供收敛性与二阶平稳性保证。
2024-04-14 cs.LG math.OC
