Affine matrix rank minimization problem via non-convex fraction function penalty
仿射矩阵秩最小化问题是一个在许多领域有着重要应用的基本问题。这是众所周知的，这个问题是组合和NP-困难的一般。本文研究了一个连续提升的低秩非凸分式函数来代替该NP难问题中的秩函数。受压缩感知研究的启发，提出了一种迭代奇异值阈值算法来解决正则化变换后的仿射矩阵秩最小化问题。对于不同的$a>0$，通过调整不同的$a$值，可以得到更好的结果，这也是迭代奇异值阈值分割算法相对于现有方法的优点之一。数值实验表明，该阈值算法对于求解正则化变换后的仿射矩阵秩最小化问题是可行的。证明了正则化参数$λ>0$的取值不能太大。实际上，存在$\barλ>0$，使得正则化变换的仿射矩阵秩最小化问题的最优解对于任何$λ>\barλ$都等于零。对矩阵补全问题的数值实验表明，该算法在寻找低秩矩阵方面具有很强的性能，对图像修复问题的数值实验表明，该算法比现有的一些方法具有更好的性能。
2017-04-30 math.OC
Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化，如基追踪，LASSO，和基追踪去噪，以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式，我们开发了对偶变量的必要和充分的唯一性条件，通过简单而统一的方法，这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件，通过删除限制性假设，但也产生新的唯一性条件，更广泛的约束$\ell_1$ -极小化问题。
2017-11-16 math.OC
Three Laws of Multivariable Feedback Systems, Extended Spectral Flatness (Extended Wiener Entropy), 'Uncertainty Principles' in Variance Minimization, and Performance Limitations in Minimum Variance Estimation/Filtering
本文推导了多输入多输出反馈系统的三大定律，分别涉及熵域、频域和时域，并提出了新的概念如扩展频谱平坦度等，探讨了最小方差控制中的不确定性原理及最小方差估计滤波的性能限制。
2014-12-19 cs.IT cs.SY eess.SY
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法（FM-HSDM），它是HSDM算法族的一个新成员，用于求解实希尔伯特空间中的仿射约束极小化问题，其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱，并在一定的假设下，强烈的解决方案的任务。不动点理论，变分不等式和仿射非扩张映射被用来设计一个计划，以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用，非常适合大规模优化任务，而不会影响收敛保证。与HSDM的前体相比，FM-HSDM具有Fejér单调性，步长参数在迭代过程中保持不变，以促进估计序列收敛到最小值，而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法，在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用，X应该是近似友好的--允许一个强凸函数，容易使线性扰动最小化。作为一个副产品，X允许一个计算成本低的线性最小化Oracle（LMO），能够最小化X个线性型。然而，在一些重要的情况下，廉价的LMO确实是可用的，但是X不是邻近友好的，这促使搜索仅基于LMO的算法。对于光滑凸极小化问题，存在一种经典的基于线性最优的算法--条件梯度算法。与此相反，我们已知的其他问题的凸结构（非光滑凸最小化，凹凸鞍点问题，甚至作为简单的双线性，和变分不等式与单调算子，甚至作为简单的仿射）的基于LMO的技术是相当新的，并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的（似乎更简单）基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
2015-10-02 math.OC
An Optimal Affine Invariant Smooth Minimization Algorithm
我们在Nesterov（1983）中给出了一个仿射不变的加速一阶算法的实现。它的复杂性界是成比例的仿射不变的正则性常数定义相对于Minkowski规范的可行集。我们将这些结果扩展到更一般的问题，使用$p$ -一致凸prox项优化Hölder光滑函数，并导出一个算法，其复杂性更好地适合可行集的几何形状，并适应最佳Hölder光滑参数和最佳梯度Lipschitz常数。最后，我们详细讨论了当可行集是一个$\ell_p$球时匹配复杂度的下界。在这种情况下，我们的上界的迭代复杂度的算法在Nesterov（1983），因此是最佳的目标精度，光滑度和问题的尺寸。
2016-11-28 math.OC
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决，但一般的仿射秩最小化问题是NP难的。在本文中，我们表明，如果一定的限制等距性质成立的线性变换定义的约束，最小秩的解决方案可以恢复通过解决一个凸优化问题，即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念，并概述了一个字典有关的概念，从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
Three laws of feedback systems: entropy rate never decreases, generalized Bode integral, absolute lower bound in variance minimization, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), Gaussianing-whitening control, and beyond
本文利用信息论研究反馈系统的普遍定律和绝对下界，提出熵率不降、广义波德积分和方差最小化下界等定律，并引入Gaussianity-whiteness度量等新概念，探讨了Gaussianing-whitening控制等方法。
2014-12-19 cs.IT cs.SY eess.SY
Distributionally Robust Variance Minimization: Tight Variance Bounds over $f$-Divergence Neighborhoods
分布鲁棒优化（DRO）是一种广泛使用的框架，用于在随机性和模型形式不确定性的情况下优化目标泛函。许多DRO问题的实际解决方案中的关键步骤是对所选模型模糊度集（通常是无穷维的）的优化进行易于处理的重新表述。以前的工作已经解决了这个问题的情况下，目标功能是一个期望值。在本文中，我们研究的目标泛函是一个期望值和方差惩罚项的总和。证明了相应的方差惩罚DRO问题在$f$ -发散邻域上可以转化为有限维凸优化问题。该结果还提供了对方差的严格的不确定性量化界限。
2021-04-20 math.OC math.PR
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化（AMRM）问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而，由于矩阵秩函数的组合性质，问题（AMRM）一般是NP-难的。许多替代函数被提出来代替矩阵秩函数，从而产生了许多相应的替代极小化问题，这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数（含$0\leqα<1$和$ε>0$）来逼近秩函数，并将NP难问题（AMRM）转化为$TL_{p}^ε$函数仿射矩阵秩最小化（TLAMRM）问题.首先研究了问题（AMRM）与（TLAMRM）的等价性，证明了当线性映射$\mathcal{A}$满足限制等距性（RIP）时，问题（TLAMRM）的全局极小解的唯一性也是NP-难问题（AMRM）的唯一解.其次，提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题（RTLAMRM）。最后，通过对低秩矩阵补全问题的数值实验，证明了该算法能够恢复低秩矩阵，通过对图像修复问题的大量数值实验，证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL（洛桑联邦理工学院）
我们提出了一种自适应方差缩减方法，称为AdaSpider，用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上，AdaSpider结合了AdaGrad启发的[Duchi等人，2011，McMahan & Streeter，2010]，但是在[Fang等人，2018年]。据我们所知，Adaspider是第一个无参数非凸方差缩减方法，因为它不需要问题相关参数的知识，例如平滑常数$L$，目标精度$ε$或梯度范数的任何界限。在这样做的时候，我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls，它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的，因此其凸松弛问题--核范数最小化问题往往被求解。最近，Ma，Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术，通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时，其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
Stochastic Variance-Reduced Majorization-Minimization Algorithms
本文提出三种随机方差缩减的优化-最小化算法，用于解决非凸非光滑的大和优化问题，并证明其收敛性及最优复杂度，在稀疏分类和神经网络上验证了有效性。
2023-05-11 cs.NA math.NA math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
SGD with AdaGrad Stepsizes: Full Adaptivity with High Probability to Unknown Parameters, Unbounded Gradients and Affine Variance
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
该研究针对现有AdaGrad步长SGD方法分析的缺陷，给出了无需已知问题参数、无强利普希茨条件且高概率成立的全面分析，覆盖凸与非凸场景，支持仿射方差噪声模型并提供高低噪声下的精确收敛速率。
2023-06-11 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches
Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 华盛顿大学）
针对凸有限和优化问题，提出随机方差缩减牛顿法（SVRN），通过引入方差缩减技术将现有随机牛顿方法的数据遍历复杂度降低 $O(α\log(n))$ 倍，且数据规模越大加速越显著，同时保持了牛顿法易于并行和单位步长的优势。
2025-04-29 cs.LG math.OC stat.ML
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法（SGD）的一个范例，其中步长根据观察到的随机梯度变化，以最小化非凸，光滑的目标。尽管他们的流行，自适应SGD的分析落后于非自适应方法在这种情况下。具体地说，所有先前的工作都依赖于以下假设的某个子集：（i）均匀有界的梯度范数，（ii）均匀有界的随机梯度方差（甚至噪声支持），（iii）步长和随机梯度之间的条件独立性。在这项工作中，我们表明，AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后，最优调谐非自适应SGD（无界梯度范数和仿射噪声方差缩放）相同的假设下，关键的是，不需要任何调整参数。因此，我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
Minimum Variance and Covariance Steering Based on Affine Disturbance Feedback Control Parameterization
本文的目标是解决离散时间随机（高斯）线性系的有限时域最小方差和协方差操纵问题。一方面，最小方差问题寻求一种控制策略，使不确定性系统的状态均值达到一个预定的量，同时使其终态协方差（或方差）的迹最小。另一方面，协方差引导问题寻求将终态的协方差引导到规定的正定矩阵的控制策略。我们提出了一种解决方案，依赖于随机版本的仿射干扰反馈控制参数化，根据该控制输入在每个阶段可以表示为一个仿射函数的历史上的干扰，作用于系统。我们的分析表明，这种特殊的参数化允许一个减少随机最优控制问题，本文考虑到易于处理的凸规划基本上相同的决策变量。这与其他控制策略参数化，如状态反馈参数化，其中的凸规划的决策变量不符合随机最优控制问题的控制器的参数。此外，我们提出了一个变化的控制参数化依赖于截断历史的过去的干扰。我们表明，通过适当地选择截断序列的长度，我们可以设计次优控制器，可以达到所需的性能和计算成本之间的平衡。
2020-11-10 cs.SY eess.SY math.OC
Real-time control of metro train dynamics with minimization of train time-headway variance
本文提出了一种线性地铁线路系统中训练动力学的实时控制模型。该模型描述了训练动力学考虑平均乘客到达率的平台，包括控制规律的训练停留和运行时间，基于反馈的训练动力学。该模型扩展了最近开发的Max-plus线性交通模型与需求相关的停留时间和运行时间控制。该延长允许消除训练间隔时间上的最终不规则性。由此产生的训练动力学解释为一个马尔可夫链的随机最优控制问题的动态规划系统。训练动力学仍然承认一个稳定的平稳政权与唯一的平均增长率解释为渐近平均训练时间间隔。此外，除了训练动力学的瞬态状态之外，我们的扩展保证了每个平台上的训练时间间隔的时间一致性。
2018-10-29 math.OC
Stochastic Frank-Wolfe for Composite Convex Minimization
ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Télécom Paris（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
一类广泛的凸优化问题可以表述为半定规划（SDP），即在某些仿射约束下，在半正定锥上最小化凸函数。大多数经典的SDP求解器都是为确定性设置而设计的，其中问题数据很容易获得。在这种情况下，广义条件梯度法（又名Frank-Wolfe型方法）通过利用所谓的线性最小化预言而不是投影到半定锥上来提供可扩展的解决方案。然而，机器学习和现代工程应用中的大多数问题都包含一定程度的随机性。本文提出了求解仿射约束下随机最优化问题的第一种条件梯度型方法。我们的方法保证$\mathcal{O}(k^{-1/3})$收敛速度在期望的目标残差和$\mathcal{O}(k^{-5/12})$的可行性差距。
2019-10-29 cs.AI cs.LG math.OC
Distributionally Robust Expected Residual Minimization for Stochastic Variational Inequality Problems
随机变分不等式问题（SVIP）是一种包含随机变量的均衡模型，在经济、工程等领域有着广泛的应用。期望残差最小化（ERM）是为求解SVIP而建立的模型，其目标函数是SVIP的一个合适的价值函数的期望值。然而，ERM仅限于分布事先已知的情况。我们扩展的ERM，以确保实现鲁棒的解决方案的SVIP下的不确定性分布（扩展的ERM被称为分布鲁棒预期残差最小化（DRERM），其中最坏情况下的分布是来自一组概率测度，其中的期望值和方差采取相同的样本均值和方差，分别）。在适当的假设下，我们证明了DRRM可以重新表示为确定性凸非线性半定规划，以避免数值积分。
2023-01-24 math.OC
The Stochastic Fejér-Monotone Hybrid Steepest Descent Method and the Hierarchical RLS
本文介绍了随机Fejér-monotone混合最速下降方法（S-FM-HSDM），用于求解带约束的复合凸极小化问题。最小化任务并不确切知道;噪声污染了关于复合损失函数和仿射约束的信息。S-FM-HSDM生成随机变量序列，在某些条件下，相对于概率空间，逐点收敛到无噪声最小化任务的解。S-FM-HSDM具有优化技术的理想属性，例如变量的分裂和恒定的步长（学习率）。此外，它提供了一种新的方式来利用信息的仿射约束通过适当的非扩张映射的不动点集。在S-FM-HSDM的后代中，分层递归最小二乘（HRLS）利用S-FM-HSDM对仿射约束的多功能性，并通过生成收敛到分层优化任务的解决方案的估计序列来提供对LS的新扭曲：最小化集合LS损失的最小化的凸损失。稀疏感知LS任务的数值测试表明，HRLS相比有利的几个国家的最先进的凸，以及非凸，随机近似和在线学习的同行。
2019-03-16 math.OC
Generalized Conditional Gradient with Augmented Lagrangian for Composite Minimization
本文提出了一种将广义条件梯度与近似步长相结合的分裂算法，我们称之为CGALP算法，用于实希尔伯特空间中极小化三个真凸下连续函数之和.最小化受到仿射约束，这特别允许通过通常的积空间技术以单独的方式处理复合问题（三个以上函数的和）。虽然经典的条件梯度法要求目标的可微部分的梯度的Lipschitz连续性，但CGALP只需要可微性（在适当的子集上），从而避免了梯度的Lipschitz连续性的复杂问题。对于目标函数中剩下的两个函数，我们不需要任何额外的正则性假设。第二个函数，可能是非光滑的，假设是简单的，即，相关联的邻近映射是容易计算的。对于第三个函数，也是非光滑的，我们只假设它的域也是有界的，并且线性扰动最小化预言是可访问的。特别是，这最后一个功能可以选择为一个非空的有界闭凸集的指标，以处理额外的约束。最后，仿射约束的增广拉格朗日方法来解决。我们的分析进行了广泛的选择，算法参数满足所谓的“开环”规则。作为主要结果，在较弱的条件下，我们证明了关于仿射约束的渐近可行性，对偶乘子的有界性，以及拉格朗日值收敛到鞍点最优值。我们还提供了可行性差距和拉格朗日值的收敛速度。
2019-10-07 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Mean-Variance Optimization of Discrete Time Discounted Markov Decision Processes
本文研究了无限时域离散时间折扣马尔可夫决策过程（MDP）的均值-方差最优化问题。目标是在平均性能约束下最小化系统报酬方差。不同于文献中大多数要求平均性能已经达到最优的工作，我们可以让平均折扣性能等于任何常数。方差函数的二次型使得方差最小化问题不是一个标准的MDP问题，这是造成该问题困难的主要原因。通过证明可行策略空间的可分解结构，在一个新的折扣准则和一个新的报酬函数下，将约束方差最小化问题转化为一个等价的无约束MDP问题.通过一个差分公式量化了任意两种可行策略下马尔可夫链的方差之差。基于方差差公式，提出了一种求解最优策略的策略迭代算法。我们还证明了确定性策略对在均值约束策略空间中生成的随机策略的最优性。数值实验证明了该方法的有效性。
2017-08-23 math.OC
Variance Reduced Random Relaxed Projection Method for Constrained Finite-sum Minimization Problems
针对大量凸约束下的有限和凸最小化问题，提出结合半空间松弛投影与方差缩减的RPM，并证明其更快的次线性收敛及实验优势。
2024-04-05 math.OC
Minimization of a One Class of Maximum Functions with Applications to Some Eigenvalue Problems
Marmara University（马尔马拉大学）；Eskişehir Technical University（埃斯基谢希尔技术大学）
提出一种最小化凸函数（表示为仿射线性函数的最大值）的方法，构造收敛的极小化序列，计算时间与步数线性相关，并应用于特征值最小化、对称镇定和Riccati矩阵不等式等问题。
2026-06-25 math.OC
Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文研究了非凸优化中无界方差条件下SGD变种的下界，并提出PASTA算法在多种非凸情形下达到最优复杂度。
2026-04-17 cs.LG math.OC
Optimal exploration strategies for finite horizon regret minimization in some adaptive control problems
本文研究了自适应最小方差控制和线性二次型控制中的后悔最小化问题。遗憾最小化已被广泛研究的文献中的两种类型的适应控制问题。大多数这些作品给出的结果的最佳率的遗憾的渐近制度。在最小方差的情况下，后悔的最佳渐近速率是$\log(T)$，它可以达到没有任何额外的外部激励。相反，对于大多数自适应线性二次型问题，为了得到$\sqrt{T}$的最优渐近速率，需要添加一个外部激励。在本文中，我们将实际上表明，从理论研究，以及，在模拟中，当控制地平线是预先指定的一个较低的遗憾，可以得到无论是没有外部激励或一个新的勘探类型称为立即。
2022-11-15 cs.SY eess.SY math.OC
Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance
本文在坐标级广义光滑和仿射噪声方差假设下，首次给出RMSProp和Adam在非凸优化中的严格收敛分析，证明二者均以O(ε⁻⁴)迭代复杂度收敛到ε-平稳点，达到已知下界。
2025-03-08 cs.LG math.OC stat.ML
Quasinonexpansive Iterations on the Affine Hull of Orbits: From Mann's Mean Value Algorithm to Inertial Methods
不动点迭代在大量优化算法的设计和分析中起着核心作用。我们研究了一种新的迭代格式，其中的更新是通过将拟非扩张算子的组合应用于到当前点生成的轨道的仿射包中的一个点来获得的。这项调查统一了几个算法结构，包括曼的平均值方法，惯性方法，和多层无记忆方法。它还提供了一个框架，为发展新的算法，如我们提出的解决单调包含和最小化问题。
2017-08-13 math.OC
Stochastic Control with Affine Dynamics and Extended Quadratic Costs
扩展二次函数是一个二次函数加上仿射集的指示函数，即带有嵌入线性等式约束的二次函数。我们证明了，在一定的技术条件下，随机凸扩展的二次函数是封闭的下，除了，与仿射函数，期望和部分最小化，即最小化的一些参数。这些性质意味着，动态规划可以对具有随机仿射动力学和扩展的二次费用函数的随机控制问题进行可追踪地执行。虽然动态规划迭代的方程比传统的线性二次控制复杂得多，但它们非常适合于我们描述的面向对象的实现。我们还介绍了一些已知的和新的应用程序。
2018-11-01 math.OC
High Probability Convergence of Adam Under Unbounded Gradients and Affine Variance Noise
本文分析无界梯度、逐坐标仿射方差噪声下 Adam 在非凸随机优化中的高概率收敛性，给出 $\mathcal{O}({\rm poly}(\log T)/\sqrt{T})$ 速率及梯度幅值界，并研究简化版的噪声自适应收敛。
2023-11-03 cs.LG math.OC stat.ML
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法，用于含协变量信息的随机规划，具有理论一致性和计算可行性，数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法（ProPPA）.该算法迭代计算最后估计的解的邻近点投影到一个仿射空间，这本身是平行的，并接近可行集。我们提供了理论上支持的一般算法的收敛性分析，然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中，包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明，该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
Composite Difference-Max Programs for Modern Statistical Estimation Problems
许多现代统计估计问题由三个主要组成部分定义：假设输出变量对输入特征的依赖性的统计模型;测量观测输出与模型预测输出之间的误差的损失函数;以及控制模型中的过拟合和/或变量选择的正则化器。我们研究了这个通用的统计估计问题的抽样版本，其中模型参数估计的经验风险最小化，这涉及到的经验平均值的损失函数在数据点加权模型正则化的最小化。在我们的设置中，我们允许上面讨论的所有三个分量函数都是凸差分（dc）类型，并使用大量常用的例子来说明它们，包括连续分段仿射回归和深度学习中的例子（其中激活函数是分段仿射的）。我们描述了一个非单调优化最小化（MM）算法解决统一的非凸，不可微最优化问题，这是制定为一个特殊结构的复合DC程序的逐点极大值型，并提出收敛结果的方向固定的解决方案。提出了一种有效的半光滑牛顿法来求解MM子问题的对偶。数值结果表明，所提出的算法的有效性和连续分段仿射回归优于标准的线性模型。
2018-10-07 math.OC
Variance-Aware Optimal Power Flow
随机负荷和随机发电量的引入会使电网运行面临随机风险。这种风险已经解决了在以前的工作中，通过各种机制，如场景生成或机会约束，可以纳入OPF计算。然而，数值实验表明，由此产生的操作决策可以产生非常高的方差的功率流。在本文中，我们介绍了各种凸变量的OPF明确解决（潮流）方差与成本最小化的相互作用，并提出了数值实验，突出我们的贡献。
2017-11-02 math.OC
Flatness of the nuclear norm sphere, simultaneous polarization, and uniqueness in nuclear norm minimization
本文通过同时极化的概念和核范数次微分的精确表达式，建立了核范数球面上存在线段（或平面）的充要条件.这是利用提供（点为基础的）充要条件和充分条件的唯一性的解决方案，最小化核范数的仿射流形。我们进一步建立了另一套充分条件的唯一性，基于核范数的次微分和问题定义的线性算子的范围的相互作用。最后，利用凸对偶，我们展示了如何将原问题的唯一性结果转化为一类具有严格凸保真度项的核范数正则化极小化问题。
2022-05-17 math.OC
End-to-End Large Portfolio Optimization for Variance Minimization with Neural Networks through Covariance Cleaning
Université Paris-Saclay, CentraleSupélec, Mathématiques et Informatique pour la Complexité et les Systèmes（巴黎-萨克雷大学，中央超算学院，复杂性与系统数学与计算机学院）；Dipartimento di Fisica e Chimica, Università degli Studi di Palermo（物理与化学系，巴勒莫大学）；Complexity Science Hub（复杂性科学中心）
本文提出一种旋转不变的神经网络，通过联合学习滞后转换历史收益和边际波动性以及正则化大等权重协方差矩阵的特征值，实现全球最小方差投资组合，展现出良好的泛化能力和稳健性。
2026-04-21 cs.AI math.OC physics.data-an
Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations
University of Chicago（芝加哥大学）；Tencent AI Lab（腾讯人工智能实验室）
针对经验风险最小化问题，提出了一种新的小批量随机最优化方法，该方法有效地利用了方差约化的一阶和子采样高阶信息，加快了收敛速度.对于二次目标，我们证明了在合理的假设下，改进的迭代复杂性。我们还提供了经验证据的优势，我们的方法相比，现有的方法在文献中。
2017-10-11 cs.LG math.OC stat.ML
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Structure-Adaptive, Variance-Reduced, and Accelerated Stochastic Optimization
在这项工作中，我们探讨了最先进的随机一阶算法的正则化经验风险最小化任务，其中的解决方案具有内在的低维结构（如稀疏性和低秩）的基本结构自适应性。这种结构通常由非光滑正则化或约束来强制执行。我们首先建立快速线性收敛速率的SAGA算法的非强凸目标的凸约束，通过锥限制强凸性的参数。然后，针对带有坐标可分凸正则项的复合最小化问题，提出并分析了两阶段加速坐标下降算法（Two-Stage APCG）。我们提供的收敛性分析表明，所提出的方法具有整体收敛性一般，并享有局部加速线性收敛速率的低维结构的解决方案。然后，基于这个收敛结果，我们提出了一个自适应变种的两阶段APCG方法，不需要预先预知的限制强凸性，但估计它的飞行。在数值实验中，我们比较了自适应两阶段APCG与各种最先进的方差减少的随机梯度法稀疏回归任务，并证明了我们的方法的有效性。
2017-12-12 math.OC
Minimizing the expected value of the asymmetric loss and an inequality of the variance of the loss
对于一些估计和预测，我们解决了非对称损失函数的最小化问题。通常，我们估计这些问题的回归系数。在本文中，我们不做这样的估计，而是通过校正任何预测，使预测误差遵循一般正态分布的解决方案。该方法不仅能使非对称损失的期望值最小，而且能降低损失的方差。
2019-07-18 math.CA math.OC math.ST
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Deep ReLU Programming
前馈ReLU神经网络将其输入域划分为许多具有恒定神经元激活模式和仿射行为的“仿射区域”。我们分析了它们的数学结构，并提供了一个有效的应用程序的线性规划相关技术的算法原语，这种非凸函数的迭代最小化。特别是，我们提出了一个扩展的单纯形算法，它是迭代诱导顶点，但除此之外，能够改变其可行域计算有效地相邻的“仿射区域”。通过这种方式，我们得到了LAD回归的Barrodale-Roberts算法作为特例，但也能够训练第一层神经网络，每一步L1训练损失都在减少。
2021-03-08 math.OC
A Proximal Stochastic Variance Reduced Zeroth-order Algorithm using Structured Finite-Differences
Université Côte d’Azur, Inria, CNRS, LJAD（蔚蓝海岸大学、法国国家研究院、法国国家科学研究中心、拉格朗日分析几何与概率实验室）；Toulouse School of Economics, Toulouse Capitole University（图卢兹经济学院、图卢兹第一大学）；Malga-DIMA, University of Genova（热那亚大学马尔加-数学与应用数学系）；Malga - DIBRIS, University of Genova（热那亚大学马尔加-信息科学与生物工程系）；SAIL Unit, Istituto Italiano di Tecnologia（意大利理工大学SAIL研究组）
针对梯度不可用的非光滑有限和最小化问题，提出一种结构化方差缩减有限差分算法，为非凸及满足PL条件的函数建立收敛速率，在保持最先进收敛速率的同时降低单次迭代成本。
2026-09-29 math.OC
A Unified Analysis of Variational Inequality Methods: Variance Reduction, Sampling, Quantization and Coordinate Descent
本文基于改进外梯度方法建立变分不等式统一分析框架，并提出量化、坐标、分布式随机局部等新鲁棒方法，通过GAN实验验证其有效性。
2022-02-03 math.OC
On a minimization problem of the maximum generalized eigenvalue: properties and algorithms
本文研究对称矩阵值仿射函数最大广义特征值的最小化问题，该问题非光滑且拟凸，应用于桁架结构特征频率优化。作者推导了Clarke次微分公式，证明其伪凸性，并提出平滑方法及加速、不精确平滑等启发式技术，通过数值实验验证了收敛性和效率。
2023-12-04 math.OC
Gradient Support Projection Algorithm for Affine Feasibility Problem with Sparsity and Nonnegativity
令$A$是实$M \times N$测量矩阵，并且$b\in \mathbb{R}^M$是观测向量。具有稀疏性和非负性的仿射可行性问题（简称$AFP_{SN}$）是找到具有$Ax=b$的稀疏和非负向量$x\in \mathbb{R}^N$，如果这样的$x$存在。在本文中，我们专注于建立优化方法来解决$AFP_{SN}$。通过对稀疏约束的切锥和法锥的讨论，给出了用$AFP_{SN}$求解相关极小化问题的第一最最优性条件、$α$ -稳定性、T-稳定性和N-稳定性，以及第二最优性充分必要最优性条件.采用Armijo型步长规则，给出了$AFP_{SN}$的梯度支撑投影算法框架，并证明了当矩阵$A$是$s$ -正则矩阵时，梯度支撑投影算法的完全收敛性.通过数值实验，我们证明了新算法对无噪声和有噪声的$AFP_{SN}$的优良性能。
2014-06-27 math.OC
New Aspects of Black Box Conditional Gradient: Variance Reduction and One Point Feedback
针对无法获取梯度的黑箱优化问题，提出记忆迭代信息、仅需$\mathcal{O}(1)$次预言机调用的JAGUAR近似方法，将其应用于Frank-Wolfe和梯度下降算法并证明多场景收敛性，实验证实其优于现有方法。
2024-09-17 math.OC
Fast Approximate Dynamic Programming for Input-Affine Dynamics
本文提出了两种新的数值格式，用于近似实现具有仿射输入动态的离散时间系统的有限时域最优控制的动态规划~（DP）运算。所提出的算法涉及离散化的状态和输入空间，并基于一个替代的路径，解决了对偶问题对应的DP操作。我们提供了所提出的算法的误差界，以及其计算复杂性的详细分析。特别是，对于一类特定的问题与可分离的数据的状态和输入变量，所提出的方法可以减少DP操作的典型时间复杂度从$O(XU)$到$O (X+U)$，其中$X$和$U$分别表示离散状态和输入空间的大小。通过将DP运算中的最小化算法变换为经由离散共轭的加法来实现这种减少。
2022-03-17 cs.SY eess.SY math.OC
Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities
本文提出VR-SDA-A算法，通过自适应步长和曲率验证机制，解决随机变分不等式中的随机性壁垒问题，实现非凸优化的最优收敛速率。
2026-10-20 cs.LG math.OC
Necessary and Sufficient Conditions for Success of the Nuclear Norm Heuristic for Rank Minimization
在控制理论、机器学习和离散几何学的许多应用中，最小化受约束的矩阵的秩是一个具有挑战性的问题。这类最优化问题，称为秩最小化，是NP难的，对于大多数实际问题，没有有效的算法产生精确解。一种流行的启发式算法用决策变量的核范数（等于奇异值之和）代替秩函数。在本文中，我们提供了一个量化的充要条件时，这种启发式成功地找到了最小秩的解决方案的线性约束集。我们还提供了一个概率分布的仿射秩最小化问题的实例，使从这个分布中采样的实例满足我们的条件，以压倒性的概率成功提供的约束的数量是适当的大。最后，我们给出了经验证据，这些概率界提供了准确的预测的启发式的性能在非渐近的情况下。
2008-09-07 math.OC stat.CO stat.ML
