Notes on optimality conditions using Newton diagrams and sums of squares
Yoshiyuki Sekiguchi
我们考虑使用牛顿图的最优性条件与多项式和幂级数的平方和之间的关系。
We consider relationships between optimality conditions using Newton diagrams and sums of squares of polynomials and power series.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Optimality conditions and subdifferential calculus for infinite sums of functions
本文推广解耦技术至无限函数族，提出均匀下半连续性的扩展概念，并给出无需Lipschitz假设的模糊次微分乘子规则与和规则，同时探讨了更精细的“拟”版本性质。
Non-optimality of conical parts for Newton's problem of minimal resistance in the class of convex bodies and the limiting case of infinite height
我们考虑牛顿的最小阻力问题，特别是我们解决的问题所产生的限制，如果高度趋于无穷大。我们建立的解决方案的存在性和缺乏径向对称的解决方案。此外，我们表明，某些圆锥部分包含在边界的凸体抑制最优性的经典牛顿问题的有限高度。这一结果被应用到某些机构在文献中考虑，这被证明是最佳的经典牛顿问题，我们表明，他们不是。
Heaviside Set Constrained Optimization: Optimality and Newton Method
现实世界中的数据经常涉及二元状态：真或假，正或负，相似或不相似，垃圾或非垃圾，以及仅举几例，应用于回归，分类问题等。为了表征二元状态，理想的函数之一是Heaviside阶梯函数，它为一种状态返回1，为另一种状态返回0。因此，它是不连续的。正因为如此，处理二元状态的传统方法极大地受益于其连续代理。本文以Heaviside阶梯函数为目标，研究了Heaviside集约束优化问题：计算了可行集的切锥和法锥，建立了几个一阶最优性充分必要条件最优性条件，并发展了一个局部平方收敛的Newton型方法.
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
Lagrange optimality system for a class of nonsmooth convex optimization
本文研究一类非光滑凸优化的增广拉格朗日方法。给出了与问题相关的增广拉格朗日量的Lagrange最优性系，并建立了它与增广拉格朗日量的标准最优性条件和鞍点条件的联系，为数值算法的发展提供了有力的工具.将线性牛顿法应用于Lagrange最优性系统，得到了一种新的算法，可用于实际应用中出现的各种非光滑凸优化问题。在适当的条件下，我们证明了牛顿系统的非奇异性和算法的局部收敛性。
Bilinear control of semilinear elliptic PDEs: Convergence of a semismooth Newton method
本文针对半线性椭圆PDE的双线性控制问题，分析了半光滑牛顿方法，证明了状态方程解的存在唯一性、最优性条件，并证明了该方法在无间隙二阶充分条件和严格互补条件下的超线性收敛性。
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
Semismooth Newton Method for Boundary Bilinear Control
针对边界双线性作用的半线性椭圆约束最优控制问题，分析状态方程与最优性条件，并证明半光滑 Newton 方法在严格互补和无间隙二阶充分条件下超线性收敛。
Optimal Control of the Linear Wave Equation by Time-Depending BV-Controls: A Semi-Smooth Newton Approach
研究了一类线性波动方程的最优控制问题，控制代价为时间上的BV半范数。该公式增强了分段常数最优控制并惩罚了跳跃次数。得到了最优解的存在性和最优性的必要最优性条件。考虑到数值实现，正则化的H1泛函进行了研究，并分析了这种正则化趋于零的渐近行为。对于H ~ 1正则化问题，半光滑牛顿算法可用于求解一阶最优性条件，具有超线性收敛速率。构造的例子表明，一个最优控制的分布导数可以是一个混合的绝对连续的措施相对于勒贝格测度，一个可数的线性组合的狄拉克措施，和康托措施。数值结果验证并支持了分析结果。
Quadratic Convergence of Smoothing Newton's Method for 0/1 Loss Optimization
0/1损失函数是对分类误差进行建模的最自然的选择之一，并且它具有广泛的应用，包括支持向量机和1位压缩感知。由于0/1损失函数的组合性质，基于凸松弛或平滑近似的方法已经主导了现有的研究，并且通常能够提供良好质量的近似解。然而，这些方法不是直接优化0/1损失函数，因此没有为原始问题建立最优性。本文研究0/1函数极小化的最优性条件，并首次提出了在合理的条件下直接优化0/1函数的局部平方收敛的牛顿法。大量的数值实验表明其优越的性能，因为人们会期望从牛顿型方法。大量的数值实验表明其优越的性能，因为人们会期望从牛顿型方法。
Finding global solutions of some inverse optimal control problems using penalization and semismooth Newton methods
针对一类特殊的椭圆型最优控制问题，提出了一种求解其参数辨识问题的方法。通过下层问题的最优值函数将双层问题重新表述。重新表述的问题是非凸的，违反了标准的正则性条件，如罗宾逊的CQ。通过放松约束，问题可以分解成一个家庭的凸问题，这是一个解决算法的基础。分析了算法的收敛性。结果表明，惩罚方法可以用来解决这个家庭的问题，同时保持收敛速度。对于一个例子的问题，使用的身份作为罚函数允许通过半光滑牛顿法的解决方案。数值结果。我们的方法来解决一个非凸问题的全局最优性的困难和局限性进行了讨论。
Sequential Henig proper optimality conditions for multiobjective fractional programming problems via sequential proper subdifferential calculus
本文在没有任何约束规格的情况下，利用函数的$ε$ -次微分和次微分，给出了约束多目标分式规划问题存在Henig正常有效解的序列最优性充要条件.这是通过采用序列Henig次微分规则的总和$m \ (m\geq 2)$正常的凸向量值映射与两个凸向量值映射的组合。为了举例说明本文的主要结果，我们在Moreau-Rockafellar条件下建立了经典的最优性条件。我们的主要结果是在自反巴拿赫空间中给出的，避免了网的使用。
A Semidefinite Relaxation for Sums of Heterogeneous Quadratic Forms on the Stiefel Manifold
本文针对 Stiefel 流形上异构二次型之和最大化这一非凸问题，提出一种新的半定规划松弛，通过对偶证书给出全局最优性认证，并证明该松弛对可联合对角化及接近可联合对角化问题（如 HPPCA）是紧的。
SAN: Stochastic Average Newton Algorithm for Minimizing Finite Sums
本文提出一种基于重写平稳性和子采样牛顿-拉夫森法的随机平均牛顿（SAN）算法，用于有限和优化，每次迭代仅需一个数据点，无需调参，且与SAG、SVRG等方法相比具有竞争力。
Convergence analysis of the semismooth Newton method for sparse control problems governed by semilinear elliptic equations
本文证明在二阶充分条件和严格互补条件下，半光滑牛顿法求解半线性椭圆方程稀疏最优控制问题具有超线性收敛性，允许盒式约束和稀疏项。
Quasi-Newton Method for Set Optimization Problems with Set-Valued Mapping Given by Finitely Many Vector-Valued Functions
本文提出一种求解无约束集合优化问题弱极小解的拟牛顿法，通过划分构造向量优化问题族并随迭代切换，证明了算法的良定性、收敛性及局部超线性收敛。
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton}，其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施，我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的，允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体，其中一个是自适应地选择沿计算搜索方向的步长，另一个是预定义的步长。为了获得二阶最优性，我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说，我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
Learning optimal spatially-dependent regularization parameters in total variation image restoration
考虑了电视图像恢复模型中空间相关正则化参数选择的函数空间双层优化方法。当空间相关参数属于索伯列夫空间$H^1(Ω)$时，研究了双层问题的一阶和二阶最优性条件。提出了一种Schwarz区域分解-半光滑牛顿法的组合算法，并分析了半光滑牛顿法的局部超线性收敛。最后进行了详尽的数值计算，以显示该方法的适用性。
Constrained Optimization via Constraint-Induced Geometry: Implicit Feasible Dynamics and Optimality from Stationarity
该研究提出几何感知约束优化框架Gravidy，针对不同可行集设计适配几何与隐式算法，实验表明其收敛快且能保持迭代可行性，可利用稀疏性。
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性，改进和推广了Cartis，Gould和Toint（2010，2011）的结果.为了这个目的，我们考虑一个新的一般类的不精确的二阶算法无约束优化，包括正则化和信赖域变化的牛顿法，以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$，我们展示了一个具有有界范围的光滑目标函数，其梯度是全局Lipschitz连续的，其Hessian是$α-$ Hölder连续的（对于给定的$α\in [0,1]$），对于该方法，至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外，我们还构造了另一个函数，牛顿的$\lfloorε^{-2}\rfloor$评估，但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法，在我们的类时，应用到满足相关假设的光滑问题的下限。此外，对于$α=1$，该下限在$ε$中与Curtis，Robinson和samadi（2017）或Royer和Wright（2017）中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序，因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度，而牛顿法是次优的。
Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares
我们考虑潜在的非凸优化问题，其中最佳逼近率取决于参数空间的维数和函数的光滑性进行优化。在本文中，我们提出了一种算法，实现接近最优的先验计算保证，同时也提供了最优性的后验证书。我们的一般配方建立在无限维平方和和傅立叶分析，并实例化的多元周期函数的最小化。
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
本文针对含噪线性测量下的低 Tucker 秩张量估计问题，提出黎曼高斯-牛顿方法，首次证明其在含噪环境下的局部二次收敛性，并给出匹配的误差上下界以证明统计最优性，通过张量回归和张量 SVD 应用及仿真验证了理论结果。
A Semismooth Newton-Type Method for the Nearest Doubly Stochastic Matrix Problem
研究了Jacobi矩阵的可微性和非奇异性均失效的最近邻双随机阵问题的半光滑Newton型方法。该问题的最优性条件被表示为一个强半光滑函数组。我们表明，所谓的局部误差界条件不适用于这个系统。因此，牛顿型方法的保证收敛速度至多是超线性的。通过利用问题的结构，我们构造了一个修改的两步半光滑牛顿法，保证在每次迭代的非奇异雅可比矩阵，并收敛到最近的双随机阵二次。据我们所知，这是第一个牛顿型的方法，收敛$Q$ -二次在没有局部误差的限制条件。
Optimality conditions for minimizers at infinity in polynomial programming
本文研究最优化问题$$\textrm{infimum}f_0(x) \quad \textrm{ subject to } \quad x \in S,$$的最优性必要最优性条件，其中$f_0 \colon \mathbb{R}^n \rightarrow \mathbb{R}$是多项式函数，$S \subset \mathbb{R}^n$是由多项式不等式定义的集合.假设该问题是有界的，并且在无穷远处具有Mangasarian-Fromovitz性质。我们首先表明，如果问题没有{ \em不}有一个最优解，然后在无穷大的弗里茨-约翰最优性条件的版本举行。由此，我们得到一个版本在无穷远的Karush-Kuhn-Tucker最优性条件。作为应用，我们得到了一个Frank-Wolfe型定理，即只要目标函数$f_0$是方便的，则问题的最优解集是非空的.最后，在无约束的情况下，我们证明了问题的最优值是某个多项式的最小临界值。所有的结果都是在牛顿多面体的多项式定义的问题。
Optimal Control of the Kirchhoff Equation
我们考虑了定态Kirchhoff方程的一个最优控制问题，它是非局部偏微分方程的一个原型，不同于闭算子的分数幂。建立了状态方程解的存在唯一性、全局最优解的存在性、控制-状态映射的可微性和一阶最优性必要条件最优性条件。上述结果要求控制是$H^1$中的函数，并服从逐点上界和下界。为了得到最优性条件的Newton可微性，我们采用Moreau-Yosida-型罚函数方法处理控制约束，并研究了其收敛性.证明了正则化问题的一阶最优性条件是Newton可微的，并给出了一种广义Newton方法。提出了用分段线性有限元离散最优控制问题的方法，并给出了数值结果。
Newton Method for Set Optimization Problems with Set-Valued Mapping of Finitely Many Vector-Valued Functions
本文针对由有限多个强凸二次连续可微向量值函数构成的无约束集优化问题，提出一种基于划分集和Gerstewitz标量化函数的牛顿法，用于求弱极小解，并证明了该方法在相应连续性条件下的局部超线性与二次收敛性。
Refined Asymptotics for Multigraded Sums of Squares
要证明一个多项式在R^n上是非负的，可以尝试证明它是多项式平方和（SOS）。后者的问题是现在已知的是减少到一个半定规划（SDP）的计算速度比经典的代数方法，从而使新的加速代数优化。然而，究竟有多少次非负多项式实际上是多项式的平方和仍然是一个悬而未决的问题。布莱克曼最近能够证明，对于n个变量的k次多项式（k>=4固定），当n趋于无穷大时，SOS多项式在R^n上的非负多项式中所占的比例非常小。着眼于小n的情况下，我们完善Blekherman的边界纳入基础的牛顿多面体，同时锐化他的一些老边界的道路上。我们改进的渐近性表明，某些牛顿多面体可能会导致家庭的多项式，有效的SDP仍然可以用于大多数输入。
Strong duality in infinite convex optimization
本文针对无限维凸优化提出两种含无穷多对偶变量与无穷和函数的拉格朗日型对偶形式，在 Slater 条件下实现零对偶间隙与可解性，并利用无穷和次微分法则导出一般最优性条件。
Gradient Projection Newton Algorithm for Sparse Collaborative Learning Using Synthetic and Real Datasets of Applications
探索来自同一组的多组数据之间的关系使从业者能够在医学科学和工程中做出更好的决策。在本文中，我们提出了一个稀疏协作学习（SCL）模型，一个优化与双稀疏约束，处理问题的两组数据和一个共享的响应变量。它能够处理依赖于响应变量的离散性的分类问题或回归问题，以及同时探索两个数据集之间的关系。为了求解SCL，我们首先给出了一些最优性的充分必要条件，然后设计了一个梯度投影牛顿算法，该算法已被证明以至少平方收敛速率全局收敛到唯一的局部最优解.最后，数值实验验证了该方法的有效性.
Exact Safety Verification of Hybrid Systems Using Sums-Of-Squares Representation
在本文中，我们讨论了如何产生归纳不变量的安全验证的混合系统。提出了一种计算系统不等式归纳不变量的符号-数值混合方法。给定系统的数值不变量可以通过求解一个参数化多项式优化问题，通过平方和（SOS）松弛。采用高斯-牛顿加细和有理向量恢复的方法得到了满足不变量条件的有理系数不变量。给出了几个例子来说明我们的算法。
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景，分析了不同非凸条件下的复杂度与收敛性，并通过机器学习问题实验验证了算法的鲁棒性。
Sums of squares representations on singular loci
问题的特点是一个真正的多项式$f$作为一个总和的平方多项式对一个真正的代数品种$V$可以追溯到开创性的工作希尔伯特在[数学年鉴32.3（1888年）：342-350]。在本文中，我们研究这个问题的重点是在$V$上的$f$的实零点是$V$的奇点的情况。利用最优性条件和不可约分解，我们对多项式优化的下列基本问题给出了肯定的回答：是否总有精确的半定规划来计算给定实代数簇上的多项式所能达到的最小值？我们的回答意味着，拉萨尔的层次，这是已知的凸和非凸的代数结构的程序之间的桥梁，有有限的收敛，不仅在一般情况下，而且在一般情况下。因此，我们构造性地证明了每一个双曲规划都等价于一个半定规划。
A Sinkhorn-Newton method for entropic optimal transport
本文提出一种基于对数牛顿迭代的熵正则化最优运输求解方法，证明其二次收敛性，并验证其在小正则化强度下优于Sinkhorn-Knopp算法，同时探讨了离散化网格大小对方法鲁棒性的影响。
Inexact Gauss-Newton methods with matrix approximation by sampling for nonlinear least-squares and systems
本研究开发并分析了用于非线性最小二乘与方程组的随机不精确Gauss-Newton方法，通过矩阵采样构建随机模型，推导了最坏情况期望迭代次数以指导采样策略，并给出了数值验证结果。
Computing Necessary Conditions for Near-Optimality in Capacity Expansion Planning Problems
在电力系统中，大规模优化问题被广泛用于规划超国家层面的容量扩张。然而，他们的成本最优解往往是不利用的决策者谁是更好地寻找解决方案的功能，可以适应他们的不同要求。本文提出了一个通用的框架来解决这个问题。它是基于一个给定的优化问题的ε-最优可行空间的概念，并在这个空间上的必要条件的识别。这个框架已被开发在一个通用的情况下，随后描述了一个特定的情况下，条件约束的变量和解决这个问题的方法。该方法进行了测试的欧洲电网的容量扩展规划的案例研究，以确定必要条件的最小投资在传输，存储和发电容量。
On the uniqueness of the optimal control for 2-dimensional second grade fluids
本文研究二维有界区域中带Navier滑移边界条件的二级流体最优控制问题，在适当假设下证明二阶充分最优性条件，并建立一阶最优性系统解的全局唯一性。
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。