On Solving L-SR1 Trust-Region Subproblems
在这篇文章中，我们考虑大规模的置信域子问题时，二次模型定义的有限记忆对称秩一（L-SR 1）拟牛顿矩阵的求解器。我们提出了一个求解器，利用L-SR 1矩阵的紧凑表示。我们的方法利用L-SR 1矩阵的特征空间的规范正交基和Sherman-Morrison-Woodbury公式来计算置信域子问题的全局解。为了计算置信域约束的最优拉格朗日乘子，我们使用牛顿法，并使用一个明智的初始猜测，不需要保护。该求解器的一个重要特性是，即使在所谓的困难情况下，它也能够计算高精度的解决方案。此外，最优解直接由公式确定，而不是迭代。数值实验证明了该方法的有效性。
2016-08-12 math.OC
A linear-time algorithm for generalized trust region subproblems
在本文中，我们提供了第一个可证明的线性时间（在输入的非零元素的数目）算法近似解决广义置信域子问题（GTRS）的最小化二次函数在二次约束下在一些正则条件。我们的算法是由Hazan和Koren [Math. Program.，2016，158（1-2）：363-381]。然而，由于可行域的非凸性和非紧性，这样的扩展是非平凡的。我们的主要贡献是证明了在一定的正则条件下，最优解是在一个紧凸集上，并且最优值的上界可以在线性时间内计算。利用这些性质，我们开发了一个线性时间算法的GTRS。
2019-05-06 math.OC
Trust Region Subproblem with a Fixed Number of Additional Linear Inequality Constraints has Polynomial Complexity
具有固定数量m个附加线性不等式约束的置信域子问题（Tm）近年来受到广泛关注。至于问题（Tm）是属于P类还是NP类的问题仍然没有解决。到目前为止，唯一肯定的一般结果是（T1）有一个精确的SOCP/SDP重构，因此是多项式可解的。通过采用Martinez关于置信域子问题的局部非全局极小值的早期结果，我们可以将（Tm）中的任何实例归纳地归结为一系列置信域子问题（T0）。尽管要求解的（T0）的总数为m的指数阶，但归约方案仍然提供了一个论点，即对于每个固定的m，类（Tm）具有多项式复杂度。与此相反，我们通过一个简单的例子证明，求解包含比问题维数更多的线性不等式约束的扩展置信域子问题类，或由任意数量的线性约束组成的实例类是NP-难的.当m较小时，如m = 1，2，我们的归纳算法应该比SOCP/SDP重构更有效，因为（T0）的最多2个或5个子问题分别被处理。最后，我们改进了Jeyakumar和Li最近提出的一个维数条件，在这个维数条件下，（Tm）存在一个精确的SDP松弛。实例表明，这种改进确实可以是严格的。
2013-12-05 math.OC
Local Nonglobal Minima for Solving Large Scale Extended Trust Region Subproblems
研究了大规模扩展置信域子问题（eTRS），一般二次函数在范数约束下的最小化，称为置信域子问题（TRS），但带有附加的线性不等式约束。众所周知，强对偶性适用于TRS，并且存在求解大规模TRS问题的有效算法。它也是已知的，可以存在最多一个局部非全局极小（LNGM）的TRS。我们将其与已知的强对偶eTRS的特征相结合，特别是将其与所谓的TRS的硬情况相连接。我们开始与最近的表征TRS通过一个广义本征值问题的最小值，并将这一结果的LNGM。然后，我们使用这个推导出一个有效的算法，找到了最多三个广义本征值问题的eTRS的全局极小值。
2015-12-23 math.OC
On local minimizers of generalized trust-region subproblem
广义置信域子问题（GT）是一个具有单一二次约束的非凸二次优化问题。当约束集是欧氏球时，它归结为经典的置信域子问题（T）. (GT)基于其固有的隐藏凸性是多项式可解的。本文研究了（GT）的局部极小问题.与（T）至多有一个局部非线性极小不同，我们可以证明二维（GT）至多有两个局部非线性极小，并通过例子证明了这两个局部非线性极小是可达到的。本文的主要贡献是证明了在（GT）的任何局部非线性极小点处，不仅严格互补条件成立，而且标准的二阶充分最优性条件仍然是必要的.作为推论，找到（GT）的所有局部非线性极小或证明其不存在性可以在多项式时间内完成。最后，对复域上的（GT），我们证明了不存在局部非线性最小值，这说明实值最优化问题可能比复值问题更难求解.
2021-09-13 math.OC
On the p-regularized trust region subproblem
$p$ -正则化子问题（p-RS）是一种计算无约束优化牛顿步的正则化技术，它全局最小化目标函数的局部二次近似，同时结合加权正则化项$\fracσ{p} \|x\|^p$。$p=3$的$p$正则化子问题的全局解，也称为立方正则化，已经在文献中被表征。在本文中，我们解决了全局和局部非全局极小（p-RS）的$p>2$的最优性条件。此外，我们证明了一个并行的结果Mart\'ınez \cite{Mar}的（p-RS）$p>2$，类似于置信域子问题，可以有最多一个局部非全局极小。当（p-RS）受到固定数目的$m$附加线性不等式约束时，我们证明了（p-RS）的局部解的唯一性（如果存在的话），特别是对于$p=4$，可以应用于在多项式时间内求解这样的扩展.
2014-09-16 math.OC
Hölderian error bounds and Kurdyka-Łojasiewicz inequality for the trust region subproblem
本文研究了单位球上最小化一般的、可能非凸的二次函数的置信域子问题（TRS）的最优解集的局部变分几何。具体地说，我们证明了一个Hölderian误差界成立的TRS与模1/4和Kurdyka-Eschojasiewicz（KL）不等式局部成立的TRS与KL指数3/4在任何最优解。我们进一步证明，除非在特殊情况下，Hölderian误差界模，以及KL指数，是1/2。最后，基于所得到的KL性质，我们进一步证明了[A. Beck和Y. Vaisbourd，SIAM J. Optim.，28（2018），pp. 1951--1967]，以获得次线性或甚至线性的收敛速率。
2020-05-18 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
A new alternating direction trust region method based on conic model for solving unconstrained optimization
本文将一种新的基于锥模型的交替方向置信域方法用于求解无约束最优化问题。利用交替方向法，在两个正交方向上分两步求解新的锥模型置信域子问题。该方法克服了锥模型子问题求解困难的缺点。在一定的条件下证明了该方法的整体收敛性。数值实验表明，该方法对子问题的求解，尤其是对大规模问题的求解，可能优于折线法。
2018-12-05 math.OC
Strengthened SDP Relaxation for an Extended Trust Region Subproblem with an Application to Optimal Power Flow
本文研究了一个扩展的置信域子问题，该问题在具有$\|x - c\| \le b^T x - a$形式的全维二阶锥（SOC）约束的空心球$r \le \|x\| \le R$上极小化一个非凸函数。特别是，我们提出了一类有效的削减，改善现有的半定规划（SDP）松弛和可分离的多项式时间。我们连接我们的削减文献上的最优潮流（OPF）的问题，证明以前推导的削减捕获一个重要的OPF的凸包实际上只是我们的削减的特殊情况。此外，我们应用我们的方法来获得一类新的封闭形式，局部有效的，SOC削减非凸二次规划的混合多面体圆锥集$\{x \ge 0 : \| x \| \le 1 \}$。最后，我们计算随机生成的实例，我们的削减是有效的，在进一步关闭的差距最强的SDP松弛在文献中，特别是在低维。
2021-07-29 math.OC
Novel reformulations and efficient algorithms for the generalized trust region subproblem
本文提出了一种新的求解框架来求解二次约束下最小化二次目标的广义置信域子问题。更具体地说，我们推导出一个凸二次重构（CQR）通过最小化的线性目标在两个凸二次约束的GTRS。我们表明，GTRS的最优解可以从CQR的最优解恢复。我们进一步证明，这个CQR是等价于最小化的最大的两个凸二次函数来自CQR的情况下，我们的调查。虽然后者极大极小问题是非光滑的，但它是结构良好的凸问题。因此，我们开发了两个最速下降算法对应于两个不同的线搜索规则。我们证明了这两种算法的全局次线性收敛速度。在较弱的条件下，通过估计第一种算法在任意最优解处的Kurdyka-Lojasiewicz指数，我们还得到了第一种算法的局部线性收敛速率。最后，我们证明了我们的算法在我们的数值实验的效率。
2018-03-04 math.OC
SOCP Reformulation for the Generalized Trust Region Subproblem via a Canonical Form of Two Symmetric Matrices
研究了在一般二次不等式约束下极小化一般二次目标函数的广义置信域子问题。通过同时块对角化方法，我们得到了目标函数和约束函数中对称矩阵的一个全等标准形。通过利用规范型的块可分性，我们证明了所有具有下有界的最优值的GTRS都是二阶锥规划（SOCP）可表示的。我们的结果推广了Ben-Tal和Hertog（Math. Program. 143（1-2）：1-29，2014），其在目标和约束函数中的两个矩阵的同时对角化的假设下建立了GTRS的SOCP可表示性。与将GTRS转化为半定规划问题的最新方法相比，我们的SOCP转化提供了更快的求解算法。我们进一步扩展我们的方法的GTRS中的不等式约束被替换为一个等式约束或区间约束的两个变种。我们的方法也使我们能够得到简化版本的经典S-引理，S-引理与平等，和S-引理与区间界。
2016-02-25 math.OC
Positive semidefinite interval of matrix pencil and its applications for the generalized trust region subproblems
我们关心的是找到实值集$I_{\succeq}(A,B)$ $μ$使得矩阵束$A+μB$是半正定的。如果$A, B$不能通过同余（SDC）同时对角化，则$I_{\succeq}(A,B)$为空或只有一个值$μ.$当$A, B$为SDC时，$I_{\succeq}(A,B),$如果不为空，则可以是单例或区间。特别地，如果$I_{\succeq}(A,B)$是一个区间，并且至少有一个矩阵是非奇异的，那么它的内部是正定区间$I_{\succ}(A,B).$。如果$A, B$都是奇异的，那么甚至$I_{\succeq}(A,B)$也是一个区间，它的内部可能不是$I_{\succ}(A,B),$，但$A, B$然后被分解为具有$B_1$非奇异的子矩阵$A_1, B_1$的块对角，使得$I_{\succeq}(A,B)=I_{\succeq}(A_1,B_1).$应用$I_{\succeq}(A,B),$广义信赖域子问题的硬情况（GTRS）可以通过仅求解线性方程组来处理，或者简化为较小尺寸的GTRS的简单情况。
2023-02-28 math.OC
A Second-Order Cone Based Approach for Solving the Trust Region Subproblem and Its Variants
研究了单位球上带圆锥约束的非凸二次函数极小化的信赖域子问题。尽管有一个非凸的目标，它是已知的，经典的TRS和它的一些变种是多项式时间可解的。在本文中，我们遵循二阶锥（SOC）为基础的方法来获得一个精确的凸重新TRS锥约束下的结构条件。我们的结构条件是立即满足时，没有额外的圆锥约束，它推广了文献中研究的几个这样的条件。因此，我们的研究突出了经典的非凸TRS和光滑凸二次最小化，这使得廉价的迭代法，如Nesterov的加速梯度下降，TRS的应用程序之间的明确连接。此外，在稍强的条件下，我们给出了一个低复杂性的非凸二次函数的epigram的凸包的定义域的限制，没有任何额外的变量。我们还探讨了列入额外的空心约束域的TRS，和凸化的相关epigraph。
2016-11-17 math.OC
Solving Trust Region Subproblems Using Riemannian Optimization
置信域子问题是置信域方法中的一个基本最优化问题。然而，这个问题及其变体也出现在相当多的其他应用中。在这篇文章中，我们提出了一个家庭的迭代黎曼优化算法的变体的置信域子问题，取代了不等式约束与等式约束，并收敛到一个全局最优值。我们的方法使用平凡或非平凡的黎曼几何的搜索空间，只需要最小的频谱信息的二次分量的目标函数。我们进一步展示了黎曼优化理论如何促进对置信域子问题及其困难的更深入理解，例如，深入的联系之间的置信域子问题和问题的仿射特征向量，并根据全局最优值的黎曼Hessian算子的条件数的所谓的硬的情况下，一个新的检查。最后，我们建议通过仔细选择一个可变的黎曼度量，并建立预处理条件近似输入矩阵的渐近收敛率的界限。
2022-08-18 cs.NA math.NA math.OC
A Trust-Region Method For Nonsmooth Nonconvex Optimization
针对一类非光滑非凸最优化问题，提出了一种置信域方法，其中目标函数是一个（可能非凸的）光滑函数和一个（可能非光滑的）凸函数之和.我们的置信域子问题的模型函数始终是二次的，模型的线性项使用抽象的下降方向生成。因此，置信域子问题可以很容易地构造，以及有效地解决了廉价和标准的方法。当模型函数在子问题解处的精度不够时，我们在步长上增加了一个安全措施以提高精度。针对一类可截断的函数，定义了一个额外的截断步长，并设计了步长修改策略。整个方案的全局收敛，我们建立快速的局部收敛适当的假设下。特别地，利用光滑黎曼置信域方法，证明了部分光滑函数在严格互补条件下的局部平方收敛。报告了一族$\ell_1$ -最优化问题的初步数值结果，并证明了我们方法的效率。
2021-10-23 math.OC
Extended-Krylov-subspace methods for trust-region and norm-regularization subproblems
Computational Mathematics Theme, Scientific Computing Department, Rutherford Appleton Laboratory（拉瑟福德·阿普尔顿实验室科学计算部计算数学主题）
本文提出了一种基于扩展Krylov子空间的方法，用于高效求解信任区域和范数正则化子问题，通过低维子空间和高效根寻找方法提升计算效率。
2026-03-02 cs.NA math.NA math.OC
Certificate-Coupled DCA for the Trust-Region Subproblem: Early Structural Escape and Progressive Global Certification
Facilty of Mathematics and Computer Science, University of Science, Vietnam National University Ho Chi Minh City（越南国立大学胡志明市科大学数学与计算机学院）
本研究提出证书耦合DCA算法，利用Krylov子空间和谱信息解决非凸信任域子问题，实现早期结构逃逸与渐进全局认证，数值实验验证了其高效性。
2026-10-02 math.OC
New results on the local-nonglobal minimizers of the generalized trust-region subproblem
本文研究广义信赖域子问题及其等式约束版本的局部非全局极小值点，在联合正定或负定条件下证明其数量上界，并给出寻找全部此类极小值点或确认其不存在的算法。
2024-09-03 math.OC
$ρ$-regularization subproblems: Strong duality and an eigensolver-based algorithm
信赖域（TR）型方法是求解无约束极小化问题最成功的方法之一，它基于二次模型，如信赖域子问题（TRS）和$ p $ -正则化子问题（$p$ RS）.本文研究了一般正则化子问题（称为$ ρ$ RS），它将TRS和$p$ RS作为特例.在正则化项的一般假设下，我们得到了$ ρ$ RS的强对偶定理及其最优性的充要最优性条件。然后，我们定义的Rendl-Wolkowicz（RW）对偶问题的$ ρ$ RS，这是一个最大化的问题，其目标函数是凹的，可微的，除了可能在两个点。值得指出的是，我们的定义是基于另一种推导的RW-对偶问题的TRS。然后，我们提出了一个基于特征值求解器的算法来解决$ ρ$ RS的RW-对偶问题。该算法通过每次迭代寻找某个矩阵的最小特征值及其单位特征向量来实现。最后，我们提出了随机生成的$p$ RS的数值结果，并结合TRS和$p$ RS的一类新的正则化问题，以说明我们的算法。
2021-09-04 math.OC
Using Subproblem Objective Gaps in Inexact Augmented Lagrangian and ADMM Algorithms, with Applications to Stochastic Mixed Integer Programming
Rutgers University（罗格斯大学）
研究随机混合整数规划问题，利用“部分强凸性”引理，在不精确增广拉格朗日和交替方向乘子法中用子问题目标间隙计算拉格朗日界，改进求解子问题准则，收敛分析更简单，且弗兰克 - 沃尔夫变体选择更自由。
2026-08-24 math.OC
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes（法国国立应用科学学院）；GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique（GERAD与蒙特利尔高等商学院数学与工业工程系）；Department of Mathematics, Université de Sherbrooke（舍布鲁克大学数学系）
研究全内存和有限内存方法族求解对称正定线性系统，推导共轭梯度法与Broyden类拟牛顿法的新关系，扩展至LBFGS和DIOM，并推广至非凸无约束优化的信赖域步计算，实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
MSS: MATLAB Software for L-BFGS Trust-Region Subproblems for Large-Scale Optimization
Wake Forest University（维克森林大学）；University of California, Merced（加州大学默塞德分校）
本文提出一种MATLAB实现的More-Sorensen序列（MSS）方法，用于求解由有限记忆BFGS矩阵定义的二次函数在二范数信赖域约束下的极小化问题，该方法通过稳定快速直接法求解大规模移位BFGS方程组，数值实验表明其作为信赖域子问题求解器相比Steihaug-Toint方法可显著减少函数和梯度评估次数。
2013-07-15 cs.NA math.NA math.OC
Implicit regularity and linear convergence rates for the generalized trust-region subproblem
在本文中，我们开发了有效的一阶算法的广义置信域子问题（GTRS），它在信号处理，压缩感知和工程应用。虽然GTRS，如前所述，是非线性和非凸的，它是众所周知的，目标值的精确性，其SDP松弛斯莱特条件下。虽然多项式时间的基于SDP的算法存在的GTRS，其相对较大的计算复杂性的动机和刺激的定制的方法来解决GTRS的发展。特别是，最近在这个方向上的工作已经开发了一阶方法的GTRS的运行时间是线性的稀疏性（非零条目的数量）的输入数据。在这些算法相比，在本文中，我们开发的算法计算$ε$ -近似解的GTRS的运行时间是线性的输入稀疏性和精度$\log(1/ε)$时，正则性参数是积极的。我们补充我们的理论保证与数值实验比较我们的方法对算法从文献中。我们的数值实验强调，我们的新算法显着优于现有的最先进的算法稀疏的大规模实例。
2021-12-27 cs.DS math.OC
Riemannian Trust Region Methods for SC$^1$ Minimization
本文提出了首个具有收敛保证的SC$^1$函数极小化黎曼信赖域方法，证明了其全局与局部超线性收敛性，并将其作为子问题求解器应用于流形上的非光滑非凸增广拉格朗日方法，利用二阶信息取得了优于现有方法的性能。
2024-05-31 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
Efficient Solution of Discrete Subproblems Arising in Integer Optimal Control with Total Variation Regularization
我们考虑一类整数线性规划（IP），它是求解控制问题的信赖域算法的信赖域子问题的离散化，其中控制输入是一维域上的整数值函数，并在目标中用全变差项正则化，这可以解释为不同控制模式之间切换代价的惩罚.我们证明，解决所考虑的问题类的一个实例是相当于解决一个资源受限的最短路问题（RCSPP）的分层有向无圈图。这种结构的发现产生了一个算法的解决方案的拓扑排序和相应的运行时的复杂性，是二次的离散化间隔的数量的基础上的控制问题，一个问题实例的大小的主要量词的基础上。我们还考虑了RCSPP的解决方案与$A^*$算法。具体而言，拉格朗日松弛的分析产生一致的启发式函数的$A^*$算法和预处理过程，可以用来加速$A^*$算法的RCSPP而不失去最优的计算解决方案。我们通过对几个整数最优控制问题执行信赖域算法来生成IP实例。数值结果表明，加速的$A^*$算法和拓扑排序明显优于通用IP求解器。此外，加速的$A^*$算法能够优于较大的问题实例的拓扑排序。
2022-06-03 math.OC
Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架，实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的，因此，它们偏离了在实践中被证明是最有效的算法。在本文中，我们考虑置信域牛顿法，最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改，我们得到了两种方法-一种是基于精确子问题解决方案，另一种是利用不精确子问题解决方案，如在流行的“置信域牛顿共轭梯度”（置信域牛顿CG）方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG，我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
Line Search and Trust-Region Methods for Convex-Composite Optimization
我们考虑求解非有限值非光滑凸复合最优化问题的下降法，该问题采用高斯-牛顿子问题来确定迭代更新。具体来说，我们建立了整体收敛性能的下降法，使用回溯线搜索，弱Wolfe线搜索，或置信域更新。所有这些方法的目的是利用与凸复合问题的结构。
2019-09-10 math.OC
A Derivative-Free Trust-Region Algorithm for Reliability-Based Optimization
本文提出了一种求解可靠性优化问题的无导数信赖域算法。该算法包括解决一组子问题，其中简单的代理模型的可靠性约束的构造和用于解决的子问题。利用RBO问题的特殊结构，我们采用了一个样本重新加权的方法来评估的失效概率，它构造的替代品的可靠性约束，在每次迭代中只执行一个完整的可靠性评估。数值实验表明，该算法与现有方法相比具有很强的竞争力。
2016-10-02 math.OC stat.CO
The Generalized Trust Region Subproblem: solution complexity and convex hull results
本文研究非凸二次约束下极小化非凸二次目标的广义信赖域子问题。提升这个问题重铸GTRS最小化线性目标的两个非凸二次约束。我们的第一个主要贡献是结构：我们给出了一个明确的描述的凸包的非凸集的广义特征值的相关矩阵束。这一结果可能是感兴趣的非凸二次规划的建设松弛。此外，这一结果使我们能够重新制定的GTRS作为两个凸二次函数在原始空间中的最小化。我们的下一组贡献是算法：我们提出了一种算法，用于解决GTRS的基础上，这个重新的一个可加性误差。我们仔细处理的数值问题，所产生的不精确的广义特征值和特征向量的计算，并建立明确的运行时间保证这些算法。值得注意的是，我们的算法在线性（输入的大小）时间内运行。此外，我们的算法用于计算ε-最优解有一个稍微改进的运行时间依赖于最先进的算法的最大值。我们的分析表明，在解决GTRS的主要成本在于解决广义特征值问题-建立这些问题之间的自然联系。最后，我们的凸包结果的推广，使我们能够应用我们的算法和理论保证直接平等，间隔，和空心约束的GTRS的变种。这给出了第一个线性时间算法在文献中的这些变种的GTRS。
2020-11-13 cs.DS math.OC
A Stochastic Trust-Region Framework for Policy Optimization
在本文中，我们研究了一些具有挑战性的理论和数值问题，众所周知的置信域政策优化的深度强化学习。我们的目标是找到一个政策，最大化总的期望回报时，代理根据该政策。置信域子问题由一个与总期望回报一致的代理函数和一个围绕最新策略的一般距离约束构成。我们使用一个预处理的随机梯度法与线搜索方案，以确保每一步促进模型功能，并留在置信域的子问题。为了克服随机设置下抽样对函数估计的偏差，我们将总期望回报的经验标准差与预测增量之比相加，以更新置信域半径并决定是否接受试验点。此外，对于通常用于连续动作空间的高斯策略，分别执行关于均值和协方差的最大化以控制熵损失。我们的理论分析表明，所提出的算法的确定性版本往往会产生一个单调改善的总期望回报和整体收敛是有保证的适度的假设。与最先进的方法的比较证明了我们的方法在机器人控制和OpenAI Gym游戏中的有效性和鲁棒性。
2019-11-26 math.OC
Shape-Changing Trust-Region Methods Using Multipoint Symmetric Secant Matrices
在这项工作中，我们考虑大规模和非凸无约束优化的方法。我们提出了一个新的置信域方法，其子问题的定义是使用所谓的“形状变化”的规范与密集初始化的多点对称割线（MSS）矩阵近似的海森。变形规范和稠密初始化已成功地用于传统的拟牛顿法的背景下，但尚未探索的MSS方法的情况下。数值结果表明，置信域方法，使用密集初始化MSS矩阵连同形状变化的范数优于MSS与其他置信域方法。
2022-10-09 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题，提出结合近端梯度下降与信赖域投影的子问题求解器，并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
An interior-point trust-region method for nonsmooth regularized bound-constrained optimization
针对非光滑正则化界约束优化，提出迭代求解无约束非光滑障碍子问题的内点信赖域方法，证明全局收敛性，并在两组问题上以更少评估取得更优目标值。
2024-02-28 math.OC
Proximal gradient-type method with generalized distance and convergence analysis without global descent lemma
The Institute of Statistical Mathematics, Japan（日本统计数学研究所）；Joint Support-Center for Data Science Research, Japan（日本数据科学研究联合支持中心）；Department of Mathematics, College of Science and Technology, Nihon University, Japan（日本大学理工学部数学科）
本文提出了一种无需全局下降引理的近端梯度型方法，用于解决非凸复合优化问题，同时提供了新的锥优化内梯度方法收敛性结果。
2026-04-08 math.OC
Trust-Region Stochastic Optimization with Variance Reduction Technique
本文提出TR-SVR算法，将信赖域、SQP与方差缩减梯度估计相结合，以提升无约束随机优化的稳定性、计算效率和收敛稳健性。
2024-12-01 math.OC
On the Universality of Simple Trust-Region Algorithms
Weierstrass Institute for Applied Analysis and Stochastics (WIAS)（魏尔斯特拉斯应用分析与随机性研究所）
研究为二次信赖域方法建立通用复杂度保证，基于新模型减少估计确定通用行为机制。证明基本方法在凸性下通用，给出复杂度界，还表明相关变体在多情况通用，揭示信赖域机制适应性，为其实际成功提供理论支持。
2026-07-23 math.OC
The Indefinite Proximal Gradient Method
提出不定近端梯度方法TRDH及变体iTRDH，通过结合对角不定二次项与信赖域，在无约束和边界约束问题中提供了闭式步长解，并在数值实验中展现出优于R2和TR-R2的性能。
2023-09-15 math.OC
An Alternating Trust Region Algorithm for Distributed Linearly Constrained Nonlinear Programs, Application to the AC Optimal Power Flow
提出了一种求解线性约束非线性规划的新的置信域方法。所提出的技术是服从分布式实现，因为它的显着成分是一个交替的投影梯度扫描柯西点计算的地方。证明了该算法产生的序列全局收敛于一个临界点。由于一些变化的标准置信域方法，即一个近端正则化的置信域子问题，它示出的局部收敛率是线性的任意小的比率。因此，在标准的正则性假设下，收敛是局部几乎超线性的。所提出的方法被成功地应用于计算局部解的输电和配电网络的交流最优潮流问题。此外，计算柯西点的新机制与标准的投影搜索相比，其活动检测特性更为有利。
2015-08-01 math.OC
A simple and practical adaptive trust-region method
University of Pittsburgh（匹兹堡大学）
提出一种简单实用的自适应信赖域方法，通过非精确子问题求解实现最优收敛界，在CUTEst基准上比现有方法快1.2至2倍，并增强了实用性能。
2026-09-22 math.OC
Homotopy trust-region method for phase-field approximations in perimeter-regularized binary optimal control
针对带周长正则化的二元最优控制问题，提出一种结合相场松弛的同伦信赖域算法，将相场辨识度参数与信赖域更新耦合并驱动其趋零以实现收敛，同时给出方法假设限制及声波控制应用的首批计算结果。
2025-01-14 math.OC
Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems
本文提出全随机信赖域序列二次规划算法TR-StoSQP，通过自适应松弛技术和信赖域半径分解处理等式约束优化中的不可行性问题，并证明了全局几乎必然收敛性。
2024-01-29 math.OC stat.CO stat.ML
A trust-region method for optimal control of ODEs with continuous-or-off controls and TV regularization
Brandenburgische Technische Universität Cottbus–Senftenberg, Institute of Mathematics（勃兰登堡科技大学科特布斯-森夫滕贝格分校数学研究所）
本文提出了一种求解特定最优控制问题的算法，这些问题受常微分方程约束，控制具有连续或断开结构，并通过凸函数定价，同时应用总变分正则化来惩罚切换。方法结合了信赖域方法和近端梯度方法，子问题通过贝尔曼最优性原理求解，并证明了收敛性。数值示例中使用SIR模型解决了一个简单的最优控制问题。
2026-08-31 math.OC
MATRO: Metric-Aware Trust-Region Optimization with Fully Quadratic Models
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出MATRO算法，通过椭圆信赖域和度量选择（基于插值Hessian的曲率度量）处理目标函数的病态缩放或局部各向异性，保持一阶评估复杂度O(n^2 epsilon^{-2})，实验表明曲率形状区域在稳定各向异性时最有效。
2026-06-01 math.OC
PANTR: A proximal algorithm with trust-region updates for nonconvex constrained optimization
本文提出PANTR算法，结合前向-后向迭代与信赖域子问题求解非凸约束优化，利用线性牛顿近似和约束结构加速更新，并在非线性模型预测控制中验证了其有效性。
2023-06-29 math.OC
A Fully Stochastic Second-Order Trust Region Method
提出了一种随机二阶置信域方法，该方法可以看作是Curtis等人提出的信赖域ish（TRish）算法的二阶扩展（INFORMS J. Optim. 1（3）200-220，2019）。在每次迭代中，通过（近似）求解由随机梯度和Hessian估计定义的置信域子问题来计算搜索方向。该算法具有收敛保证随机最小化在完全随机制度，这意味着保证举行时，每个随机梯度只需要是一个无偏估计的真梯度有界方差和随机海森估计一致有界的范数。该算法还配备了一个最坏情况下的复杂性保证，在几乎确定性的制度，即，当随机梯度和Hessian估计在期望上非常接近真实梯度和Hessian时。训练卷积神经网络的图像分类和训练的递归神经网络的时间序列预测的数值实验的结果。这些结果表明，该算法在实际应用中的性能优于随机梯度方法和一阶TRish算法。
2019-11-16 math.OC
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种近似信任区域方法，用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题，并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息，可解决由偏微分方程等约束的无限维问题，证明了方法的全局收敛性。
2026-10-22 math.OC
Trust Region Algorithm for Stochastic Minimax Problems with Decision-Dependent Distributions
针对环境响应决策导致不确定性的概率分布依赖于决策变量的随机极小极大优化问题，提出一种信赖域算法，通过线性回归学习分布依赖关系并求解信赖域子问题更新决策变量，在非凸-强凹条件下证明了几乎必然收敛性，并在合成与真实数据集上验证了有效性。
2025-09-16 math.OC
An augmented Lagrangian trust-region method with inexact gradient evaluations to accelerate constrained optimization problems using model hyperreduction
提出一种增广拉格朗日信赖域方法，结合即时构建的超降阶模型和不精确梯度评估，高效求解偏微分方程约束优化问题，在气动外形设计中实现12.7倍加速。
2024-05-23 cs.NA math.NA math.OC
Fast convergence of trust-regions for non-isolated minima via analysis of CG on indefinite matrices
本文针对非孤立极小值下信赖域方法收敛慢的问题，从理论上证明了TR-tCG在PŁ条件下的超线性收敛性，并开发了分析不定矩阵上CG动力学的新工具。
2024-09-23 cs.NA math.NA math.OC
Trust--Region Problems with Linear Inequality Constraints: Exact SDP Relaxation, Global Optimality and Robust Optimization
球上非凸二次函数极小化的信赖域问题是求解非线性最优化问题的信赖域方法中的一个关键子问题。它具有精确半定线性规划松弛（SDP松弛）和强对偶性等性质。不幸的是，这样的属性不，在一般情况下，持有扩展的信赖域问题具有额外的线性约束。本文证明了经典信赖域问题的两个有用而强大的特征在新的维数条件下对于带线性不等式约束的扩展信赖域问题仍然成立。首先，我们建立了一类扩展信赖域问题有一个精确的SDP-松弛，它没有斯莱特约束规格。这是通过证明一个系统的二次和仿射函数参与的模型满足范围凸性时，尺寸条件得到满足。其次，我们证明了尺寸条件与斯莱特条件一起确保了一组组合的第一和第二阶拉格朗日乘子条件是必要的和充分的扩展信赖域问题的全局最优性，从而为强对偶。最后，我们证明了扩展的信赖域模型的维数条件是容易满足的，所产生的鲁棒最小二乘问题（LSP），以及作为一个等价的半定线性规划问题的鲁棒二阶锥规划模型问题（SOCP）的重新制定。这使我们得出结论，在温和的假设下，求解矩阵范数不确定性或多面体不确定性下的鲁棒（LSP）或（SOCP）相当于求解SDP，因此，它们的解可以在多项式时间内验证。
2013-09-11 math.OC
A multilevel proximal trust-region method for nonsmooth optimization with applications
本文提出了一种多级近端信任区域方法，用于解决非光滑优化问题，并在偏微分方程约束优化和机器学习中展示了其效率和鲁棒性。
2025-11-29 math.OC
A Dense Initialization for Limited-Memory Quasi-Newton Methods
考虑一类有限记忆拟牛顿法的稠密初始化。建议的初始化利用一个特征分解为基础的分离成两个互补的子空间的完整的空间，分配一个不同的初始化参数，每个子空间。这个家庭的密集初始化提出了一个有限的记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）的信赖域方法，利用形状变化的规范来定义每个子问题的背景下。与传统上使用对角初始化的L-BFGS方法一样，稠密初始化和生成的拟牛顿矩阵序列从未显式形成。在CUTEst测试集上的数值实验表明，该初始化方法和形状变化信赖域方法在求解一般非凸无约束最优化问题时，性能优于其它L-BFGS方法.虽然这种稠密初始化是在一个特殊的信赖域方法的背景下提出的，但它对更一般的拟牛顿信赖域和线搜索法具有广泛的应用。事实上，这种初始化适合于与任何准牛顿更新，承认一个紧凑的表示，特别是任何成员的Broyden类的更新。
2019-05-22 math.OC
