Penalty decomposition derivative free method for the minimization of partially separable functions over a convex feasible set
本文提出一种罚分解无导数方法，用于在凸可行集上高效求解部分可分离函数的最小化问题，通过结合无导数线搜索方法，实现全局收敛性并验证其有效性。
2026-01-09 math.OC
Stochastic PDEs via convex minimization
我们证明了加权能量耗散变分原理[50]对抽象形式的非线性抛物型随机偏微分方程的适用性。WED原理在于在整个轨迹上最小化依赖于参数的凸泛函。其唯一的最小值对应于随机微分问题的时间椭圆正则化。当正则化参数趋于零时，极限问题的解被恢复。这特别为非线性随机偏微分方程的逼近提供了一种直接的凸优化方法。
2020-05-12 math.AP math.OC math.PR
The sum of a maximally monotone linear relation and the subdifferential of a proper lower semicontinuous convex function is maximally monotone
单调算子理论中最重要的公开问题是在Rockafellar的约束规格成立的条件下，两个极大单调算子之和的极大单调性.本文证明了$A+\partial f$的极大单调性，条件是$A$是极大单调线性关系，$f$是满足$\dom A\cap\inte\dom \partial f\neq\varnothing$的真下连续凸函数.此外，$A+\partial f$是（FPV）型。$A+\partial f$的最大单调性时，$\intdom A\cap\dom \partial f\neq\varnothing$如下从维罗纳和维罗纳的结果，本工作的补充。
2010-10-21 math.FA math.OC
Non-Convex Compressed Sensing Using Partial Support Information
在本文中，我们解决的恢复条件的加权$\ell_p$最小化的信号重建压缩感知测量时，部分支持信息。我们表明，加权$\ell_p$最小化与$0<p<1$是稳定的，鲁棒性较弱的充分条件相比，加权$\ell_1$最小化。此外，如果至少$50%$的支持度估计是准确的，则加权$\ell_p$的充分恢复条件弱于常规$\ell_p$的充分恢复条件.我们还回顾了一些算法，存在解决非凸$\ell_p$问题，并说明我们的结果与数值实验。
2013-11-15 cs.IT math.IT math.OC
On inequalities between norms of partial derivatives on convex domains
本文研究凸区域上边界为零的二元凹函数偏导数 $L_p$-范数比值的有界性问题，证明了 $p=1$ 时比值始终有界并给出精确估计，而 $p>1$ 时结论依赖于区域几何。
2025-05-02 math.CA math.FA math.OC
Connecting Hamilton--Jacobi partial differential equations with maximum a posteriori and posterior mean estimators for some non-convex priors
Brown University（布朗大学）
许多成像问题可以用逆问题的形式表示，逆问题可以表示为有限维最优化问题。这些最优化问题通常包括最小化数据保真度和正则化项之和。在[23，26]中，这些最优化问题和（多时间）Hamilton-Jacobi偏微分方程之间的联系已经在数据保真度和正则化项的凸性假设下提出。特别地，在这些凸性假设下，可以得到极小元的一些表示公式。从贝叶斯的角度来看，这样的最小值可以被视为最大后验估计。在这一章中，我们考虑了一类非凸正则化，并证明了类似的表示公式的极小也可以得到。这是通过利用最小-加代数技术来实现的，这些技术最初是为求解在最优控制中产生的某些Hamilton-Jacobi偏微分方程而开发的。请注意，粘性Hamilton-Jacobi偏微分方程与具有高斯数据保真度项和对数凹先验的贝叶斯后验均值估计之间的联系已在[25]中突出显示。我们还提出了类似的结果，某些贝叶斯后验均值估计与高斯数据保真度和某些非对数凹先验使用模拟最小代数技术。
2021-04-22 cs.CV math.OC
A Fast Convergent Algorithm for Solving Non-convex Partially-Decoupled Generalized Nash Equilibrium Problems
Smead Aerospace Engineering Sciences Department（斯米德航空航天科学与工程系）
提出FALCON算法，利用序列凸规划将非凸微分博弈转化为凸子博弈，并证明其在温和假设下全局收敛到开环纳什均衡。
2026-06-26 cs.MA math.OC
Exponential Stability of Partial Primal-Dual Gradient Dynamics with Nonsmooth Objective Functions
本文研究了求解$ \min\limits_{x\in X,y\inΩ}\ f({x})+h(y),\ \textit{s.t.}\ A{x}+By=C $形式的凸优化问题的连续时间部分原始-对偶梯度动力学（P-PDGD），其中$ f({x}) $是强凸光滑的，而$ h(y) $是强凸非光滑的.包括仿射等式和集合约束。我们证明了P-PDGD的指数稳定性，并给出了衰减率的界。此外，它也表明，衰减率可以通过设置步长进行调节。
2020-03-17 math.OC
Decomposition in conic optimization with partially separable structure
线性规划的分解技术很难推广到具有一般非多面体凸锥的锥最优化问题，因为锥不等式在变量之间引入了额外的非线性耦合。然而，在许多应用中，凸锥具有部分可分离的结构，这允许它们以更简单的低维锥来表征。最重要的例子是弦稀疏模式的稀疏半定规划。在这里，部分可分性来自于团分解定理，该定理描述了具有弦稀疏模式的半正定和半正定可完备矩阵。本文描述了一种利用部分分离性的二次曲线线性最优化的分解方法。该方法基于Spingarn的等式约束凸优化方法，结合一种快速的邻近点方法来计算邻近算子。
2013-06-01 math.OC
A convex duality approach for pricing contingent claims under partial information and short selling constraints
本文研究了未定权益卖方的定价问题。我们假设这个卖方有一定程度的部分信息，并且他不被允许卖空某些资产。这个定价问题，这是我们的原始问题，是一个约束随机优化问题。我们利用Rockafellar提出的共轭对偶理论导出了这个问题的对偶。此外，我们给出了强对偶成立的条件。这给出了一个刻画的价格索赔涉及鞅和上鞅条件的价格过程的可选的投影。
2019-02-27 math.OC q-fin.MF
Piecewise SOS-Convex Moment Optimization and Applications via Exact Semi-Definite Programs
本文提出含分段SOS凸函数与投影谱多面体支撑集的无限维矩优化问题的精确SDP重构，可单次求得最优值与概率测度，并通过Newsvendor和收益最大化问题验证。
2024-07-02 math.OC
Unique Minimizers and the Representation of Convex Envelopes in Locally Convex Vector Spaces
众所周知，一个严格凸极小元至多允许一个极小元。我们证明了一个部分逆：设$X$是一个局部凸Hausdorff空间，$f \colon X \mapsto \left( - \infty , \infty \right]$是一个具有紧子水平集的函数，且具有某种轻度超线性增长.然后每个倾斜极小化问题\begin{equation} \label{eq. minimization problem} \min_{x \in X} f(x) - \langle x' , x \rangle_X \end{equation}承认最多一个极小作为$x'$范围在$\text{dom} \left( \partial f^* \right)$当且仅当双共轭$f^{**}$本质严格凸的，并同意$f$在所有点，其中$f^{**}$是次可微的。我们证明了这一点，通过一个表示公式$f^{**}$，可能是独立的利益。
2021-08-12 math.OC
On moment relaxations for linear state feedback controller synthesis with non-convex quadratic costs and constraints
本文提出一种基于状态和输入矩矩阵的线性状态反馈控制器设计方法，通过将非凸约束松弛为期望约束来处理非凸代价与约束，并揭示了凸化变量与矩矩阵块的对应关系。
2024-03-22 cs.SY eess.SY math.OC
A Stochastic Derivative Free Optimization Method with Momentum
我们考虑的问题，无约束极小化的光滑的目标函数在$\mathbb{R}^d$设置只有功能评估是可能的。提出并分析了带重球动量的随机零阶方法。特别是，我们建议，SMTP，动量版本的随机三点法（STP）\cite{Bergou_2018}。我们证明了新的复杂性结果的非凸，凸和强凸函数。我们测试我们的方法在几个MuJoCo \cite{Todorov_2012}环境中学习到不同难度的连续控制任务的集合上，并与STP，其他最先进的无导数优化算法和策略梯度法进行比较。SMTP显著优于STP和我们在数值实验中考虑的所有其他方法。我们的第二个贡献是SMTP与重要性抽样，我们称之为SMTP_IS。我们提供这种方法的收敛性分析非凸，凸和强凸的目标。
2020-02-16 math.OC
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University（波士顿大学）
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性，扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近，{ \it随机动量}方法已被广泛用于训练深度神经网络。然而，他们的收敛性分析仍然是欠探索的时刻，特别是对非凸优化。本文通过对两种随机动量法，即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析，填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考，也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架，揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化，这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外，我们优化深度神经网络的经验结果表明，Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡（在训练误差的收敛速度和测试误差的收敛鲁棒性之间）。
2016-05-04 math.OC stat.ML
Finite convergence of the Moment-SOS hierarchy under hidden convexity
CNRS（法国国家科学研究中心）；Nanyang Technological University（南洋理工大学）；LAAS-CNRS（法国国家科学研究中心自动分析与控制研究所）；Toulouse School of Economics (TSE)（图卢兹经济学院）；University of Toulouse（图卢兹大学）
本文研究了在隐含凸性下，矩-SOS层次在有限步内收敛的条件，并提供了精确阶的计算方法，证明了该层次能适应特定实例的隐含凸性特性。
2026-08-06 math.OC
Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney（悉尼大学）
提出了一种求解黎曼非凸优化问题的随机递归动量方法，该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度，从而得到了$ε$ -近似解.也就是说，我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估，并且不需要重新启动大批量梯度，这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research（脸书人工智能研究院）
动量方法现在在机器学习社区中广泛使用，用于训练非凸模型，例如深度神经网络。从经验上讲，它们优于传统的随机梯度下降（SGD）方法。在这项工作中，我们开发了一个李雅普诺夫分析的SGD与动量（SGD+M），利用等效重写的方法称为随机原始平均（SPA）的形式。在非凸情况下，这种分析比以前的理论要严格得多，因此，我们能够精确地了解SGD+M何时可能优于SGD，以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）
带动量的随机梯度法在应用中得到了广泛的应用，并且是许多流行机器学习库中优化子程序的核心。然而，他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数，证明的复杂性，可以实现没有任何调整的动量参数的建设。对于光滑的问题，我们扩展了已知的复杂性约束的情况下，并演示了如何无约束的情况下，可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
A Note on Cores and Quasi Relative Interiors in Partially Finite Convex Programming
最小化受线性约束的熵泛函问题是部分有限凸规划的一个有用的例子。在20世纪90年代，Borwein和Lewis提供了广泛且易于验证的条件，保证了此类问题的强对偶性。他们的方法是在相关的无限维集合的拟相对内部构造一个函数，这确保了相关的有限维集合的核心中存在一个点。我们重新审视这个问题，并提供了一个替代的证明，直接呼吁的核心的定义，而不是依靠任何性质的准相对内部。我们的方法承认一个轻微的放松的线性独立性的要求，在Borwein和Lewis的框架，这使我们能够与某些分段定义的时刻功能排除他们的条件。我们提供了这样一个计算的例子，说明了如何松弛可以用来驯服观察到的吉布斯现象时，基础数据是不连续的。这种放松说明了我们可以从有限维和无限维两个方面处理部分有限问题所获得的理解。这两种方法的比较是有益的，因为这两种证明都是建设性的。
2020-05-07 math.FA math.OC
Solving a class of non-convex min-max games using adaptive momentum methods
Splunk；University of Florida（佛罗里达大学）
自适应动量方法最近在深度神经网络的训练中引起了很多关注。它们使用目标函数的过去梯度的指数移动平均来更新搜索方向和学习速率。然而，这些方法不适合解决在训练生成对抗网络中出现的最小-最大最优化问题。在本文中，我们提出了一个自适应动量最小-最大算法，推广自适应动量方法的非凸最小-最大制度。此外，我们建立了非渐近收敛速度的算法时，在一个合理的广泛的类非凸最小最大最优化问题。实验结果表明，它的优越性能与基准方法解决此类问题。
2021-04-26 cs.LG math.OC stat.ML
On the Partial Convexification for Low-Rank Spectral Optimization: Rank Bounds and Algorithms
本文研究低秩谱优化问题的部分凸化松弛，推导其可行集极点的紧秩界，并开发列生成与秩缩减算法，确保解满足理论秩界，数值实验验证了松弛强度与算法有效性。
2023-06-21 math.OC stat.ML
Compositions and Averages of Two Resolvents: Relative Geometry of Fixed Points Sets and a Partial Answer to a Question by C. Byrne
我们证明了两个预解式的平均值的不动点的集合可以从与标度单调算子相关的两个预解式的合成的不动点的集合中找到。最近，在凸分析中，邻近平均值引起了相当大的关注。我们的结果意味着，与标度凸函数相关的两个邻近映射的复合的不动点集合可以找到邻近平均函数的极小值。当近似平均中的两个凸函数都是凸集的指示函数时，由两个投影映射的合成给出的极限环可以完全恢复最小二乘解.这部分回答了C.伯恩我们的方法的一个新颖之处是使用的概念，预解平均和近端平均。
2010-03-25 math.FA math.OC
Negative Momentum for Convex-Concave Optimization
UPenn（宾夕法尼亚大学）；Yale（耶鲁大学）
本文研究了凸-凹优化中负动量的收敛性，证明了其在通用性和快速收敛性上的优势，扩展了动量方法的应用范围。
2026-04-18 cs.DS cs.LG math.OC
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics（上海财经大学）
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先，我们提出了新的minibatch基于模型的方法，涉及一组样本近似模型函数在每次迭代。对于第一次，我们表明，随机算法实现线性加速的批量大小，即使是非光滑和非凸（特别是，弱凸）的问题。为此，我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次，在动量随机梯度下降算法成功的基础上，提出了一种新的基于模型的随机外推算法，将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时，我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化，我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外，基于Nesterov的动量的加速模型为基础的方法，我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group（中国电子科技集团公司研究所）；School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文研究未知线性预算约束下的在线凸优化问题，提出安全高效的Lyapunov优化算法SELO，实现$O(\sqrt{T})$遗憾与零累积约束违反，计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Shuffling Momentum Gradient Algorithm for Convex Optimization
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Statistics and Operations Research, The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校统计与运筹学系）；IBM Research, Thomas J. Watson Research Center（IBM研究中心托马斯·J·沃森研究中心）
该研究将洗牌动量梯度方法的分析拓展至凸与强凸有限和优化问题，首次给出强凸设置下该类方法的收敛速率分析，达到与现有最优洗牌随机梯度算法相当的水平。
2024-03-05 cs.LG math.OC
Jensen-type geometric shapes
给出了凸闭形$X$的充要条件，使得不等式$$ \frac{1}{|X|} \int_X f(x)\:dx \le \frac{1}{|\partial X|} \int_{\partial X} f(x)\:dx$$对每个凸函数$f \colon X \to \mathbb{R}$（$\partial X$表示$X$的边界）成立.证明了当$X$是（i）$n$ -维平行多面体，（ii）$n$ -维球，（iii）内接球面（与其所有刻面相切）的中心在$\partial X$质心上的凸多胞体时，该不等式成立.
2018-04-10 math.CA math.OC
$L^p$- Partially null controllability of abstract fractional differential inclusion with nonlocal condition
本文研究一致凸Banach空间中具有非局部条件的半线性分数阶微分包含的$L^p$-部分零能控性，通过近似可解性方法约化到有限维子空间，并解决凸性问题以实现控制构造。
2025-05-06 math.CA math.OC
Partial minimization of strict convex functions and tensor scaling
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文研究了严格凸函数在不同变量分组下的部分最小化问题，并提出了一种几何收敛的算法。该方法将经典对角缩放算法视为特定log-凸函数的部分最小化过程。
2019-06-05 cs.NA math.NA math.OC
