A Fast Eigenvalue Approach for Solving the Trust Region Subproblem with an Additional Linear Inequality
研究了扩展置信域子问题（eTRS），其中置信域与单位球相交，且带有一个线性不等式约束.通过将eTRS的Lagrangian对偶转化为一个双参数线性本征值问题，给出了其强对偶性的一个充要条件，即线性约束二元凹极大化问题的最优解.这将导致一个有效的算法，用于解决大尺寸的eTRS时，检测到的强对偶性。最后，通过数值实验验证了该方法的有效性.
2015-10-28 math.OC
On Solving L-SR1 Trust-Region Subproblems
在这篇文章中，我们考虑大规模的置信域子问题时，二次模型定义的有限记忆对称秩一（L-SR 1）拟牛顿矩阵的求解器。我们提出了一个求解器，利用L-SR 1矩阵的紧凑表示。我们的方法利用L-SR 1矩阵的特征空间的规范正交基和Sherman-Morrison-Woodbury公式来计算置信域子问题的全局解。为了计算置信域约束的最优拉格朗日乘子，我们使用牛顿法，并使用一个明智的初始猜测，不需要保护。该求解器的一个重要特性是，即使在所谓的困难情况下，它也能够计算高精度的解决方案。此外，最优解直接由公式确定，而不是迭代。数值实验证明了该方法的有效性。
2016-08-12 math.OC
A linear-time algorithm for generalized trust region subproblems
在本文中，我们提供了第一个可证明的线性时间（在输入的非零元素的数目）算法近似解决广义置信域子问题（GTRS）的最小化二次函数在二次约束下在一些正则条件。我们的算法是由Hazan和Koren [Math. Program.，2016，158（1-2）：363-381]。然而，由于可行域的非凸性和非紧性，这样的扩展是非平凡的。我们的主要贡献是证明了在一定的正则条件下，最优解是在一个紧凸集上，并且最优值的上界可以在线性时间内计算。利用这些性质，我们开发了一个线性时间算法的GTRS。
2019-05-06 math.OC
Trust Region Subproblem with a Fixed Number of Additional Linear Inequality Constraints has Polynomial Complexity
具有固定数量m个附加线性不等式约束的置信域子问题（Tm）近年来受到广泛关注。至于问题（Tm）是属于P类还是NP类的问题仍然没有解决。到目前为止，唯一肯定的一般结果是（T1）有一个精确的SOCP/SDP重构，因此是多项式可解的。通过采用Martinez关于置信域子问题的局部非全局极小值的早期结果，我们可以将（Tm）中的任何实例归纳地归结为一系列置信域子问题（T0）。尽管要求解的（T0）的总数为m的指数阶，但归约方案仍然提供了一个论点，即对于每个固定的m，类（Tm）具有多项式复杂度。与此相反，我们通过一个简单的例子证明，求解包含比问题维数更多的线性不等式约束的扩展置信域子问题类，或由任意数量的线性约束组成的实例类是NP-难的.当m较小时，如m = 1，2，我们的归纳算法应该比SOCP/SDP重构更有效，因为（T0）的最多2个或5个子问题分别被处理。最后，我们改进了Jeyakumar和Li最近提出的一个维数条件，在这个维数条件下，（Tm）存在一个精确的SDP松弛。实例表明，这种改进确实可以是严格的。
2013-12-05 math.OC
Local Nonglobal Minima for Solving Large Scale Extended Trust Region Subproblems
研究了大规模扩展置信域子问题（eTRS），一般二次函数在范数约束下的最小化，称为置信域子问题（TRS），但带有附加的线性不等式约束。众所周知，强对偶性适用于TRS，并且存在求解大规模TRS问题的有效算法。它也是已知的，可以存在最多一个局部非全局极小（LNGM）的TRS。我们将其与已知的强对偶eTRS的特征相结合，特别是将其与所谓的TRS的硬情况相连接。我们开始与最近的表征TRS通过一个广义本征值问题的最小值，并将这一结果的LNGM。然后，我们使用这个推导出一个有效的算法，找到了最多三个广义本征值问题的eTRS的全局极小值。
2015-12-23 math.OC
On local minimizers of generalized trust-region subproblem
广义置信域子问题（GT）是一个具有单一二次约束的非凸二次优化问题。当约束集是欧氏球时，它归结为经典的置信域子问题（T）. (GT)基于其固有的隐藏凸性是多项式可解的。本文研究了（GT）的局部极小问题.与（T）至多有一个局部非线性极小不同，我们可以证明二维（GT）至多有两个局部非线性极小，并通过例子证明了这两个局部非线性极小是可达到的。本文的主要贡献是证明了在（GT）的任何局部非线性极小点处，不仅严格互补条件成立，而且标准的二阶充分最优性条件仍然是必要的.作为推论，找到（GT）的所有局部非线性极小或证明其不存在性可以在多项式时间内完成。最后，对复域上的（GT），我们证明了不存在局部非线性最小值，这说明实值最优化问题可能比复值问题更难求解.
2021-09-13 math.OC
Hölderian error bounds and Kurdyka-Łojasiewicz inequality for the trust region subproblem
本文研究了单位球上最小化一般的、可能非凸的二次函数的置信域子问题（TRS）的最优解集的局部变分几何。具体地说，我们证明了一个Hölderian误差界成立的TRS与模1/4和Kurdyka-Eschojasiewicz（KL）不等式局部成立的TRS与KL指数3/4在任何最优解。我们进一步证明，除非在特殊情况下，Hölderian误差界模，以及KL指数，是1/2。最后，基于所得到的KL性质，我们进一步证明了[A. Beck和Y. Vaisbourd，SIAM J. Optim.，28（2018），pp. 1951--1967]，以获得次线性或甚至线性的收敛速率。
2020-05-18 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
A new alternating direction trust region method based on conic model for solving unconstrained optimization
本文将一种新的基于锥模型的交替方向置信域方法用于求解无约束最优化问题。利用交替方向法，在两个正交方向上分两步求解新的锥模型置信域子问题。该方法克服了锥模型子问题求解困难的缺点。在一定的条件下证明了该方法的整体收敛性。数值实验表明，该方法对子问题的求解，尤其是对大规模问题的求解，可能优于折线法。
2018-12-05 math.OC
Inexact Variable Metric Stochastic Block-Coordinate Descent for Regularized Optimization
块坐标下降法是求解具有块可分结构的大规模正则化最优化问题的一种常用框架。现有的方法有几个局限性。他们通常假设子问题可以在每次迭代中精确求解，这在实际中通常限制子问题中的二次项是对角的，从而失去了高阶导数信息的大部分好处。此外，与平滑情况相比，块的非均匀采样尚未被证明可以提高正则化问题的收敛速度界限。本文提出了一种基于正则化二次子问题的不精确随机BCD方法，其中二次项可以从迭代到迭代而变化：一个“可变度量”。我们提供了一个详细的收敛性分析凸和非凸问题。我们的分析推广到正则化的情况下Nesterov的建议，以提高收敛的BCD块的Lipschitz常数成比例的采样。我们通过削弱对初始目标值的依赖性来提高凸情形下的收敛速度。实证结果还表明，使用可变指标会产生显著的效益。
2019-11-01 math.OC
Strengthened SDP Relaxation for an Extended Trust Region Subproblem with an Application to Optimal Power Flow
本文研究了一个扩展的置信域子问题，该问题在具有$\|x - c\| \le b^T x - a$形式的全维二阶锥（SOC）约束的空心球$r \le \|x\| \le R$上极小化一个非凸函数。特别是，我们提出了一类有效的削减，改善现有的半定规划（SDP）松弛和可分离的多项式时间。我们连接我们的削减文献上的最优潮流（OPF）的问题，证明以前推导的削减捕获一个重要的OPF的凸包实际上只是我们的削减的特殊情况。此外，我们应用我们的方法来获得一类新的封闭形式，局部有效的，SOC削减非凸二次规划的混合多面体圆锥集$\{x \ge 0 : \| x \| \le 1 \}$。最后，我们计算随机生成的实例，我们的削减是有效的，在进一步关闭的差距最强的SDP松弛在文献中，特别是在低维。
2021-07-29 math.OC
Novel reformulations and efficient algorithms for the generalized trust region subproblem
本文提出了一种新的求解框架来求解二次约束下最小化二次目标的广义置信域子问题。更具体地说，我们推导出一个凸二次重构（CQR）通过最小化的线性目标在两个凸二次约束的GTRS。我们表明，GTRS的最优解可以从CQR的最优解恢复。我们进一步证明，这个CQR是等价于最小化的最大的两个凸二次函数来自CQR的情况下，我们的调查。虽然后者极大极小问题是非光滑的，但它是结构良好的凸问题。因此，我们开发了两个最速下降算法对应于两个不同的线搜索规则。我们证明了这两种算法的全局次线性收敛速度。在较弱的条件下，通过估计第一种算法在任意最优解处的Kurdyka-Lojasiewicz指数，我们还得到了第一种算法的局部线性收敛速率。最后，我们证明了我们的算法在我们的数值实验的效率。
2018-03-04 math.OC
Positive semidefinite interval of matrix pencil and its applications for the generalized trust region subproblems
我们关心的是找到实值集$I_{\succeq}(A,B)$ $μ$使得矩阵束$A+μB$是半正定的。如果$A, B$不能通过同余（SDC）同时对角化，则$I_{\succeq}(A,B)$为空或只有一个值$μ.$当$A, B$为SDC时，$I_{\succeq}(A,B),$如果不为空，则可以是单例或区间。特别地，如果$I_{\succeq}(A,B)$是一个区间，并且至少有一个矩阵是非奇异的，那么它的内部是正定区间$I_{\succ}(A,B).$。如果$A, B$都是奇异的，那么甚至$I_{\succeq}(A,B)$也是一个区间，它的内部可能不是$I_{\succ}(A,B),$，但$A, B$然后被分解为具有$B_1$非奇异的子矩阵$A_1, B_1$的块对角，使得$I_{\succeq}(A,B)=I_{\succeq}(A_1,B_1).$应用$I_{\succeq}(A,B),$广义信赖域子问题的硬情况（GTRS）可以通过仅求解线性方程组来处理，或者简化为较小尺寸的GTRS的简单情况。
2023-02-28 math.OC
A Second-Order Cone Based Approach for Solving the Trust Region Subproblem and Its Variants
研究了单位球上带圆锥约束的非凸二次函数极小化的信赖域子问题。尽管有一个非凸的目标，它是已知的，经典的TRS和它的一些变种是多项式时间可解的。在本文中，我们遵循二阶锥（SOC）为基础的方法来获得一个精确的凸重新TRS锥约束下的结构条件。我们的结构条件是立即满足时，没有额外的圆锥约束，它推广了文献中研究的几个这样的条件。因此，我们的研究突出了经典的非凸TRS和光滑凸二次最小化，这使得廉价的迭代法，如Nesterov的加速梯度下降，TRS的应用程序之间的明确连接。此外，在稍强的条件下，我们给出了一个低复杂性的非凸二次函数的epigram的凸包的定义域的限制，没有任何额外的变量。我们还探讨了列入额外的空心约束域的TRS，和凸化的相关epigraph。
2016-11-17 math.OC
SOCP Reformulation for the Generalized Trust Region Subproblem via a Canonical Form of Two Symmetric Matrices
研究了在一般二次不等式约束下极小化一般二次目标函数的广义置信域子问题。通过同时块对角化方法，我们得到了目标函数和约束函数中对称矩阵的一个全等标准形。通过利用规范型的块可分性，我们证明了所有具有下有界的最优值的GTRS都是二阶锥规划（SOCP）可表示的。我们的结果推广了Ben-Tal和Hertog（Math. Program. 143（1-2）：1-29，2014），其在目标和约束函数中的两个矩阵的同时对角化的假设下建立了GTRS的SOCP可表示性。与将GTRS转化为半定规划问题的最新方法相比，我们的SOCP转化提供了更快的求解算法。我们进一步扩展我们的方法的GTRS中的不等式约束被替换为一个等式约束或区间约束的两个变种。我们的方法也使我们能够得到简化版本的经典S-引理，S-引理与平等，和S-引理与区间界。
2016-02-25 math.OC
Solving Trust Region Subproblems Using Riemannian Optimization
置信域子问题是置信域方法中的一个基本最优化问题。然而，这个问题及其变体也出现在相当多的其他应用中。在这篇文章中，我们提出了一个家庭的迭代黎曼优化算法的变体的置信域子问题，取代了不等式约束与等式约束，并收敛到一个全局最优值。我们的方法使用平凡或非平凡的黎曼几何的搜索空间，只需要最小的频谱信息的二次分量的目标函数。我们进一步展示了黎曼优化理论如何促进对置信域子问题及其困难的更深入理解，例如，深入的联系之间的置信域子问题和问题的仿射特征向量，并根据全局最优值的黎曼Hessian算子的条件数的所谓的硬的情况下，一个新的检查。最后，我们建议通过仔细选择一个可变的黎曼度量，并建立预处理条件近似输入矩阵的渐近收敛率的界限。
2022-08-18 cs.NA math.NA math.OC
A Trust-Region Method For Nonsmooth Nonconvex Optimization
针对一类非光滑非凸最优化问题，提出了一种置信域方法，其中目标函数是一个（可能非凸的）光滑函数和一个（可能非光滑的）凸函数之和.我们的置信域子问题的模型函数始终是二次的，模型的线性项使用抽象的下降方向生成。因此，置信域子问题可以很容易地构造，以及有效地解决了廉价和标准的方法。当模型函数在子问题解处的精度不够时，我们在步长上增加了一个安全措施以提高精度。针对一类可截断的函数，定义了一个额外的截断步长，并设计了步长修改策略。整个方案的全局收敛，我们建立快速的局部收敛适当的假设下。特别地，利用光滑黎曼置信域方法，证明了部分光滑函数在严格互补条件下的局部平方收敛。报告了一族$\ell_1$ -最优化问题的初步数值结果，并证明了我们方法的效率。
2021-10-23 math.OC
$ρ$-regularization subproblems: Strong duality and an eigensolver-based algorithm
信赖域（TR）型方法是求解无约束极小化问题最成功的方法之一，它基于二次模型，如信赖域子问题（TRS）和$ p $ -正则化子问题（$p$ RS）.本文研究了一般正则化子问题（称为$ ρ$ RS），它将TRS和$p$ RS作为特例.在正则化项的一般假设下，我们得到了$ ρ$ RS的强对偶定理及其最优性的充要最优性条件。然后，我们定义的Rendl-Wolkowicz（RW）对偶问题的$ ρ$ RS，这是一个最大化的问题，其目标函数是凹的，可微的，除了可能在两个点。值得指出的是，我们的定义是基于另一种推导的RW-对偶问题的TRS。然后，我们提出了一个基于特征值求解器的算法来解决$ ρ$ RS的RW-对偶问题。该算法通过每次迭代寻找某个矩阵的最小特征值及其单位特征向量来实现。最后，我们提出了随机生成的$p$ RS的数值结果，并结合TRS和$p$ RS的一类新的正则化问题，以说明我们的算法。
2021-09-04 math.OC
A Trust Region Method with Regularized Barzilai-Borwein Step-Size for Large-Scale Unconstrained Optimization
针对大规模无约束优化问题，提出一种结合非单调技术与正则化Barzilai-Borwein步长的信赖域方法，在信赖域内自适应生成步长并保证算法收敛性，数值结果验证了其有效性。
2024-09-22 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
Inexact Successive Quadratic Approximation for Regularized Optimization
连续二次逼近或二阶邻近方法对于最小化平滑部分和促进正则化的凸（可能非平滑）部分之和的函数很有用。大多数迭代复杂性的分析集中在近似梯度法的特殊情况下，或其加速变体。只有少数研究的方法，使用二阶近似的光滑部分，部分原因是在每次迭代获得封闭形式的解决方案的子问题的困难。实际上，可能需要使用迭代算法来找到这些子问题的不精确解。在这项工作中，我们提出了全球分析的不精确逐次二次逼近方法的迭代复杂性，表明一个不精确的解决方案的子问题，是在一个固定的乘法精度的最优性足以保证相同的顺序的收敛速度的准确版本，与复杂性相关的不精确的措施，在一个直观的方式。我们的结果允许灵活选择的二阶项，包括牛顿和拟牛顿的选择，并不一定需要增加精度的子问题的解决方案在以后的迭代。对于具有强凸性的问题，算法以全局线性速度收敛。对于一般凸问题，早期收敛速度是线性的，而总体收敛速度是$O(1/k)$。对于非凸问题，一阶最优性准则以$O(1/\sqrt{k})$的速率收敛到零。
2019-01-24 math.OC
Regularized Interior Point Methods for Constrained Optimization and Control
正则化方法和内点方法为解决控制应用中的约束非线性最优化问题提供了有价值的前景。本文讨论了这些技术之间的相互作用，并提出了一种算法，协同结合起来。建立一系列密切相关的子问题，并近似地解决每个问题，这种方法固有地利用了热启动，提前终止，并有可能采用针对特定问题结构的子求解器。此外，通过放松等式约束与邻近的惩罚，正则化的子问题是可行的，并满足强约束规格的建设，允许安全使用高效的求解器。我们展示了正则化如何使底层线性代数受益，详细的收敛性分析表明极限点倾向于最小化约束违反并满足合适的最优性条件。最后，我们报告的数值结果的鲁棒性，表明相结合的方法相比，毫不逊色于两个内点和增广拉格朗日代码。
2022-10-28 math.OC
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network
National Taiwan University（台湾大学）；Institute of Statistical Mathematics（统计数理研究所）
本文提出正则化自适应动量对偶平均算法 RAMDA，通过设计非精确子问题求解器和利用流形识别理论，在保证收敛的同时获得局部最优模型结构，并在大规模视觉、语言和语音任务中优于现有方法。
2024-12-26 cs.LG math.OC
Extended-Krylov-subspace methods for trust-region and norm-regularization subproblems
Computational Mathematics Theme, Scientific Computing Department, Rutherford Appleton Laboratory（拉瑟福德·阿普尔顿实验室科学计算部计算数学主题）
本文提出了一种基于扩展Krylov子空间的方法，用于高效求解信任区域和范数正则化子问题，通过低维子空间和高效根寻找方法提升计算效率。
2026-03-02 cs.NA math.NA math.OC
Certificate-Coupled DCA for the Trust-Region Subproblem: Early Structural Escape and Progressive Global Certification
Facilty of Mathematics and Computer Science, University of Science, Vietnam National University Ho Chi Minh City（越南国立大学胡志明市科大学数学与计算机学院）
本研究提出证书耦合DCA算法，利用Krylov子空间和谱信息解决非凸信任域子问题，实现早期结构逃逸与渐进全局认证，数值实验验证了其高效性。
2026-10-02 math.OC
New results on the local-nonglobal minimizers of the generalized trust-region subproblem
本文研究广义信赖域子问题及其等式约束版本的局部非全局极小值点，在联合正定或负定条件下证明其数量上界，并给出寻找全部此类极小值点或确认其不存在的算法。
2024-09-03 math.OC
A Reduced-Space Algorithm for Minimizing $\ell_1$-Regularized Convex Functions
提出了一种新的极小化可微凸函数与$\ell_1$ -范数正则化子之和的方法。该新方法的主要特征包括：$(i)$一组与被预测为在解处为非零的变量相对应的指数的演化（即，支持）; $(ii)$是根据预测支持度定义的缩减空间子问题; $(iii)$条件，确定每个子问题必须如何精确求解，这允许使用牛顿、牛顿-CG和坐标下降技术; $(iv)$是计算上的实际条件，确定何时应该更新预测支持度;以及$(v)$减小的近端梯度步骤，其确保当决定变量应当被添加到预测支持时目标函数的充分减小。我们证明了我们的方法的收敛保证，并证明了它的效率在一个大的模型预测问题。
2016-02-23 math.OC
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes（法国国立应用科学学院）；GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique（GERAD与蒙特利尔高等商学院数学与工业工程系）；Department of Mathematics, Université de Sherbrooke（舍布鲁克大学数学系）
研究全内存和有限内存方法族求解对称正定线性系统，推导共轭梯度法与Broyden类拟牛顿法的新关系，扩展至LBFGS和DIOM，并推广至非凸无约束优化的信赖域步计算，实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
MSS: MATLAB Software for L-BFGS Trust-Region Subproblems for Large-Scale Optimization
Wake Forest University（维克森林大学）；University of California, Merced（加州大学默塞德分校）
本文提出一种MATLAB实现的More-Sorensen序列（MSS）方法，用于求解由有限记忆BFGS矩阵定义的二次函数在二范数信赖域约束下的极小化问题，该方法通过稳定快速直接法求解大规模移位BFGS方程组，数值实验表明其作为信赖域子问题求解器相比Steihaug-Toint方法可显著减少函数和梯度评估次数。
2013-07-15 cs.NA math.NA math.OC
A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SAS Institute（SAS研究所）
在这项工作中，我们描述了一种使用有限记忆拟牛顿（LQN）矩阵进行大规模非凸无约束优化的三次自适应正则化（ARC）方法。ARC方法是一个相对较新的优化策略家族，它利用正则化（CR）项代替信任域和线搜索。LQN方法提供了一个大规模的替代使用显式二阶信息，通过采取相同的输入流行的一阶方法，如随机梯度下降（SGD）。精确求解CR子问题需要牛顿法，但使用LQN矩阵的内部结构的属性，我们能够找到CR子问题的精确解，以无矩阵的方式，提供大的加速比和扩展到现代尺寸的要求。此外，我们扩大了以前的ARC工作，并明确地将一阶更新到我们的算法。我们提供了使用SR1更新时的实验结果，与Adam和深度神经网络（DNN）上的其他二阶优化器相比，这些结果显示出显著的速度提升和竞争性能。我们发现，我们的新方法ARCLQN与具有最小调整的现代优化器相比，这是二阶方法的常见痛点。
2022-04-19 cs.LG math.OC stat.ML
Implicit regularity and linear convergence rates for the generalized trust-region subproblem
在本文中，我们开发了有效的一阶算法的广义置信域子问题（GTRS），它在信号处理，压缩感知和工程应用。虽然GTRS，如前所述，是非线性和非凸的，它是众所周知的，目标值的精确性，其SDP松弛斯莱特条件下。虽然多项式时间的基于SDP的算法存在的GTRS，其相对较大的计算复杂性的动机和刺激的定制的方法来解决GTRS的发展。特别是，最近在这个方向上的工作已经开发了一阶方法的GTRS的运行时间是线性的稀疏性（非零条目的数量）的输入数据。在这些算法相比，在本文中，我们开发的算法计算$ε$ -近似解的GTRS的运行时间是线性的输入稀疏性和精度$\log(1/ε)$时，正则性参数是积极的。我们补充我们的理论保证与数值实验比较我们的方法对算法从文献中。我们的数值实验强调，我们的新算法显着优于现有的最先进的算法稀疏的大规模实例。
2021-12-27 cs.DS math.OC
Riemannian Trust Region Methods for SC$^1$ Minimization
本文提出了首个具有收敛保证的SC$^1$函数极小化黎曼信赖域方法，证明了其全局与局部超线性收敛性，并将其作为子问题求解器应用于流形上的非光滑非凸增广拉格朗日方法，利用二阶信息取得了优于现有方法的性能。
2024-05-31 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
Homotopy trust-region method for phase-field approximations in perimeter-regularized binary optimal control
针对带周长正则化的二元最优控制问题，提出一种结合相场松弛的同伦信赖域算法，将相场辨识度参数与信赖域更新耦合并驱动其趋零以实现收敛，同时给出方法假设限制及声波控制应用的首批计算结果。
2025-01-14 math.OC
Efficient Solution of Discrete Subproblems Arising in Integer Optimal Control with Total Variation Regularization
我们考虑一类整数线性规划（IP），它是求解控制问题的信赖域算法的信赖域子问题的离散化，其中控制输入是一维域上的整数值函数，并在目标中用全变差项正则化，这可以解释为不同控制模式之间切换代价的惩罚.我们证明，解决所考虑的问题类的一个实例是相当于解决一个资源受限的最短路问题（RCSPP）的分层有向无圈图。这种结构的发现产生了一个算法的解决方案的拓扑排序和相应的运行时的复杂性，是二次的离散化间隔的数量的基础上的控制问题，一个问题实例的大小的主要量词的基础上。我们还考虑了RCSPP的解决方案与$A^*$算法。具体而言，拉格朗日松弛的分析产生一致的启发式函数的$A^*$算法和预处理过程，可以用来加速$A^*$算法的RCSPP而不失去最优的计算解决方案。我们通过对几个整数最优控制问题执行信赖域算法来生成IP实例。数值结果表明，加速的$A^*$算法和拓扑排序明显优于通用IP求解器。此外，加速的$A^*$算法能够优于较大的问题实例的拓扑排序。
2022-06-03 math.OC
Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架，实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的，因此，它们偏离了在实践中被证明是最有效的算法。在本文中，我们考虑置信域牛顿法，最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改，我们得到了两种方法-一种是基于精确子问题解决方案，另一种是利用不精确子问题解决方案，如在流行的“置信域牛顿共轭梯度”（置信域牛顿CG）方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG，我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
Line Search and Trust-Region Methods for Convex-Composite Optimization
我们考虑求解非有限值非光滑凸复合最优化问题的下降法，该问题采用高斯-牛顿子问题来确定迭代更新。具体来说，我们建立了整体收敛性能的下降法，使用回溯线搜索，弱Wolfe线搜索，或置信域更新。所有这些方法的目的是利用与凸复合问题的结构。
2019-09-10 math.OC
An interior-point trust-region method for nonsmooth regularized bound-constrained optimization
针对非光滑正则化界约束优化，提出迭代求解无约束非光滑障碍子问题的内点信赖域方法，证明全局收敛性，并在两组问题上以更少评估取得更优目标值。
2024-02-28 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中，例如，具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题，它仍然是一个挑战，设计可证明有效的算法，非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法，其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题，其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下，我们建立了我们的方法的计算复杂性，寻找一个几乎稳定点。
2023-03-23 math.OC
A Derivative-Free Trust-Region Algorithm for Reliability-Based Optimization
本文提出了一种求解可靠性优化问题的无导数信赖域算法。该算法包括解决一组子问题，其中简单的代理模型的可靠性约束的构造和用于解决的子问题。利用RBO问题的特殊结构，我们采用了一个样本重新加权的方法来评估的失效概率，它构造的替代品的可靠性约束，在每次迭代中只执行一个完整的可靠性评估。数值实验表明，该算法与现有方法相比具有很强的竞争力。
2016-10-02 math.OC stat.CO
The Generalized Trust Region Subproblem: solution complexity and convex hull results
本文研究非凸二次约束下极小化非凸二次目标的广义信赖域子问题。提升这个问题重铸GTRS最小化线性目标的两个非凸二次约束。我们的第一个主要贡献是结构：我们给出了一个明确的描述的凸包的非凸集的广义特征值的相关矩阵束。这一结果可能是感兴趣的非凸二次规划的建设松弛。此外，这一结果使我们能够重新制定的GTRS作为两个凸二次函数在原始空间中的最小化。我们的下一组贡献是算法：我们提出了一种算法，用于解决GTRS的基础上，这个重新的一个可加性误差。我们仔细处理的数值问题，所产生的不精确的广义特征值和特征向量的计算，并建立明确的运行时间保证这些算法。值得注意的是，我们的算法在线性（输入的大小）时间内运行。此外，我们的算法用于计算ε-最优解有一个稍微改进的运行时间依赖于最先进的算法的最大值。我们的分析表明，在解决GTRS的主要成本在于解决广义特征值问题-建立这些问题之间的自然联系。最后，我们的凸包结果的推广，使我们能够应用我们的算法和理论保证直接平等，间隔，和空心约束的GTRS的变种。这给出了第一个线性时间算法在文献中的这些变种的GTRS。
2020-11-13 cs.DS math.OC
A Stochastic Trust-Region Framework for Policy Optimization
在本文中，我们研究了一些具有挑战性的理论和数值问题，众所周知的置信域政策优化的深度强化学习。我们的目标是找到一个政策，最大化总的期望回报时，代理根据该政策。置信域子问题由一个与总期望回报一致的代理函数和一个围绕最新策略的一般距离约束构成。我们使用一个预处理的随机梯度法与线搜索方案，以确保每一步促进模型功能，并留在置信域的子问题。为了克服随机设置下抽样对函数估计的偏差，我们将总期望回报的经验标准差与预测增量之比相加，以更新置信域半径并决定是否接受试验点。此外，对于通常用于连续动作空间的高斯策略，分别执行关于均值和协方差的最大化以控制熵损失。我们的理论分析表明，所提出的算法的确定性版本往往会产生一个单调改善的总期望回报和整体收敛是有保证的适度的假设。与最先进的方法的比较证明了我们的方法在机器人控制和OpenAI Gym游戏中的有效性和鲁棒性。
2019-11-26 math.OC
Shape-Changing Trust-Region Methods Using Multipoint Symmetric Secant Matrices
在这项工作中，我们考虑大规模和非凸无约束优化的方法。我们提出了一个新的置信域方法，其子问题的定义是使用所谓的“形状变化”的规范与密集初始化的多点对称割线（MSS）矩阵近似的海森。变形规范和稠密初始化已成功地用于传统的拟牛顿法的背景下，但尚未探索的MSS方法的情况下。数值结果表明，置信域方法，使用密集初始化MSS矩阵连同形状变化的范数优于MSS与其他置信域方法。
2022-10-09 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题，提出结合近端梯度下降与信赖域投影的子问题求解器，并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
Integer optimal control problems with total variation regularization: Optimality conditions and fast solution of subproblems
本文研究带全变差正则化的整数最优控制问题，通过有限维切换点问题推导一阶和二阶局部最优性条件，并提出基于 Bellman 最优性原理的近端梯度算法快速求解离散子问题。
2022-07-12 math.OC
Trust-Region Stochastic Optimization with Variance Reduction Technique
本文提出TR-SVR算法，将信赖域、SQP与方差缩减梯度估计相结合，以提升无约束随机优化的稳定性、计算效率和收敛稳健性。
2024-12-01 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
On the Universality of Simple Trust-Region Algorithms
Weierstrass Institute for Applied Analysis and Stochastics (WIAS)（魏尔斯特拉斯应用分析与随机性研究所）
研究为二次信赖域方法建立通用复杂度保证，基于新模型减少估计确定通用行为机制。证明基本方法在凸性下通用，给出复杂度界，还表明相关变体在多情况通用，揭示信赖域机制适应性，为其实际成功提供理论支持。
2026-07-23 math.OC
The Indefinite Proximal Gradient Method
提出不定近端梯度方法TRDH及变体iTRDH，通过结合对角不定二次项与信赖域，在无约束和边界约束问题中提供了闭式步长解，并在数值实验中展现出优于R2和TR-R2的性能。
2023-09-15 math.OC
An Alternating Trust Region Algorithm for Distributed Linearly Constrained Nonlinear Programs, Application to the AC Optimal Power Flow
提出了一种求解线性约束非线性规划的新的置信域方法。所提出的技术是服从分布式实现，因为它的显着成分是一个交替的投影梯度扫描柯西点计算的地方。证明了该算法产生的序列全局收敛于一个临界点。由于一些变化的标准置信域方法，即一个近端正则化的置信域子问题，它示出的局部收敛率是线性的任意小的比率。因此，在标准的正则性假设下，收敛是局部几乎超线性的。所提出的方法被成功地应用于计算局部解的输电和配电网络的交流最优潮流问题。此外，计算柯西点的新机制与标准的投影搜索相比，其活动检测特性更为有利。
2015-08-01 math.OC
A Line-Search Algorithm Inspired by the Adaptive Cubic Regularization Framework and Complexity Analysis
自适应正则化框架使用立方已经成为一种替代线搜索和信赖域算法的光滑非凸优化，具有最佳的复杂性之间的二阶方法。在本文中，我们提出并分析了使用迭代相关的缩放范数的自适应正则化框架，使用立方。在这样的缩放范数内，所获得的方法表现为沿着拟牛顿方向的线搜索算法，并具有特殊的回溯策略。在适当的假设下，新算法具有与基于三次函数的自适应正则化算法相同的收敛性和复杂性。该算法的二阶版本可以提高找到一个近似的一阶稳定点的复杂性是最佳的。以类似的方式，使用相同的缩放范数来定义信赖域邻域，我们证明了信赖域算法的行为是一个线搜索算法。在一组大规模最优化问题上显示了所得到算法的良好潜力。
2018-05-29 math.OC
A simple and practical adaptive trust-region method
University of Pittsburgh（匹兹堡大学）
提出一种简单实用的自适应信赖域方法，通过非精确子问题求解实现最优收敛界，在CUTEst基准上比现有方法快1.2至2倍，并增强了实用性能。
2026-09-22 math.OC
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
