Accelerating Trust-Region Methods: An Attempt to Balance Global and Local Efficiency
Shanghai University of Finance and Economics（上海财经大学）
无约束凸优化二阶方法中平衡全局效率与局部收敛性是核心挑战。本文提出首个加速信赖域型方法，主要贡献是带局部检测的加速信赖域方法，其利用拉格朗日乘子检测局部区域，有全局复杂度及二次局部收敛性，还介绍相关方法揭示相变现象，数值实验验证权衡。
2026-07-08 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
Trust--Region Problems with Linear Inequality Constraints: Exact SDP Relaxation, Global Optimality and Robust Optimization
球上非凸二次函数极小化的信赖域问题是求解非线性最优化问题的信赖域方法中的一个关键子问题。它具有精确半定线性规划松弛（SDP松弛）和强对偶性等性质。不幸的是，这样的属性不，在一般情况下，持有扩展的信赖域问题具有额外的线性约束。本文证明了经典信赖域问题的两个有用而强大的特征在新的维数条件下对于带线性不等式约束的扩展信赖域问题仍然成立。首先，我们建立了一类扩展信赖域问题有一个精确的SDP-松弛，它没有斯莱特约束规格。这是通过证明一个系统的二次和仿射函数参与的模型满足范围凸性时，尺寸条件得到满足。其次，我们证明了尺寸条件与斯莱特条件一起确保了一组组合的第一和第二阶拉格朗日乘子条件是必要的和充分的扩展信赖域问题的全局最优性，从而为强对偶。最后，我们证明了扩展的信赖域模型的维数条件是容易满足的，所产生的鲁棒最小二乘问题（LSP），以及作为一个等价的半定线性规划问题的鲁棒二阶锥规划模型问题（SOCP）的重新制定。这使我们得出结论，在温和的假设下，求解矩阵范数不确定性或多面体不确定性下的鲁棒（LSP）或（SOCP）相当于求解SDP，因此，它们的解可以在多项式时间内验证。
2013-09-11 math.OC
LAGO: A Local-Global Optimization Framework Combining Trust Region Methods and Bayesian Optimization
Institute of Mathematics EPFL（瑞士联邦理工学院数学研究所）；Dipartimento di Scienze Matematiche Politecnico di Torino（都灵理工大学数学系）
提出LAGO框架，通过自适应竞争机制耦合贝叶斯优化和基于梯度的信赖域局部细化，用于光滑且梯度可用的昂贵目标函数优化，在提议层面分离全局探索与局部细化。
2026-06-05 cs.LG math.OC
On the p-regularized trust region subproblem
$p$ -正则化子问题（p-RS）是一种计算无约束优化牛顿步的正则化技术，它全局最小化目标函数的局部二次近似，同时结合加权正则化项$\fracσ{p} \|x\|^p$。$p=3$的$p$正则化子问题的全局解，也称为立方正则化，已经在文献中被表征。在本文中，我们解决了全局和局部非全局极小（p-RS）的$p>2$的最优性条件。此外，我们证明了一个并行的结果Mart\'ınez \cite{Mar}的（p-RS）$p>2$，类似于置信域子问题，可以有最多一个局部非全局极小。当（p-RS）受到固定数目的$m$附加线性不等式约束时，我们证明了（p-RS）的局部解的唯一性（如果存在的话），特别是对于$p=4$，可以应用于在多项式时间内求解这样的扩展.
2014-09-16 math.OC
Certificate-Coupled DCA for the Trust-Region Subproblem: Early Structural Escape and Progressive Global Certification
Facilty of Mathematics and Computer Science, University of Science, Vietnam National University Ho Chi Minh City（越南国立大学胡志明市科大学数学与计算机学院）
本研究提出证书耦合DCA算法，利用Krylov子空间和谱信息解决非凸信任域子问题，实现早期结构逃逸与渐进全局认证，数值实验验证了其高效性。
2026-10-02 math.OC
Nonsmooth trust-region algorithm with applications to robust stability of uncertain systems
本文提出了一种求解局部Lipschitz函数极小化问题的束置信域算法。我们证明了我们的方法的整体收敛，并通过一个例子表明，经典的收敛性参数的置信域方法的基础上的柯西点失败的非光滑设置。我们的方法进行了实验测试，在自动控制的三个问题。
2015-04-02 math.OC
On the Globalization of ASPIN Employing Trust-Region Control Strategies -- Convergence Analysis and Numerical Examples
例如由非线性偏微分方程的离散化引起的大规模非线性规划问题的并行求解是一项高要求的任务。在这里，提出了一种新的解决方案，这是内在的并行和全局收敛。每个全局非线性迭代步骤包括局部非线性规划问题的异步解，然后是全局重组步骤。重组步骤，这是一个二次规划问题的解决方案，设计的方式，以确保整体收敛。事实证明，新的策略可以被认为是一个全球化的加性预条件不精确牛顿（ASPIN）方法。然而，在我们的方法中，ASPIN的非线性预处理器对梯度的影响被控制，以确保充分的减少条件。两种不同的控制策略进行了描述和分析。收敛到一阶临界点我们的非线性解决方案的战略是在标准的置信域假设。该策略是沿着困难的最小化问题所产生的非线性弹性在3D上解决了一个大规模并行计算机上有几千个核心。
2021-04-12 cs.NA math.NA math.OC
Line Search and Trust-Region Methods for Convex-Composite Optimization
我们考虑求解非有限值非光滑凸复合最优化问题的下降法，该问题采用高斯-牛顿子问题来确定迭代更新。具体来说，我们建立了整体收敛性能的下降法，使用回溯线搜索，弱Wolfe线搜索，或置信域更新。所有这些方法的目的是利用与凸复合问题的结构。
2019-09-10 math.OC
Cutting plane oracles for non-smooth trust-regions
本文证明了求解非光滑非凸优化问题的一个束置信域算法整体收敛，其中割平面由遵从四个基本规则的预言机生成。这样做的好处是，收敛理论适用于实践中遇到的各种方法。这特别包括下移切线的方法，对于该方法，以前在置信域框架中没有收敛结果是已知的。我们还表明，某些分裂技术可以看作是特殊情况下的束置信域技术。
2019-05-16 math.OC
Convergence Certificate for Stochastic Derivative-Free Trust-Region Methods based on Gaussian Processes
在许多机器学习应用中，人们希望从可用数据中学习优化问题的未知目标和约束函数，然后应用某种技术来获得学习模型的局部优化器。这项工作认为高斯过程作为全球代理模型，并利用它们与无导数的信赖域方法。众所周知，无导数信赖域方法全局收敛-假设代理模型是概率完全线性的。我们证明了\glspl{gp}确实是概率完全线性的，从而导致快速（线性或二次局部代理模型相比）和全局收敛。我们利用化学反应器的优化来证明基于\gls{gp}的信赖域方法的效率。
2020-10-02 cs.SY eess.SY math.OC
A new nonmonotone adaptive trust region algorithm
本文提出了一种新的有效的非单调自适应置信域算法来求解无约束最优化问题。该算法结合了两个新颖之处：它受益于一个半径依赖收缩参数调整的置信域半径，避免不必要的方向，它利用了一种新的策略，以防止突然增加的目标函数值的非单调置信域技术。在较弱的条件下证明了算法的整体收敛性。数值实验表明，该算法的效率和鲁棒性在解决一系列无约束最优化问题从CUTEst包。
2021-05-09 math.OC
Local Nonglobal Minima for Solving Large Scale Extended Trust Region Subproblems
研究了大规模扩展置信域子问题（eTRS），一般二次函数在范数约束下的最小化，称为置信域子问题（TRS），但带有附加的线性不等式约束。众所周知，强对偶性适用于TRS，并且存在求解大规模TRS问题的有效算法。它也是已知的，可以存在最多一个局部非全局极小（LNGM）的TRS。我们将其与已知的强对偶eTRS的特征相结合，特别是将其与所谓的TRS的硬情况相连接。我们开始与最近的表征TRS通过一个广义本征值问题的最小值，并将这一结果的LNGM。然后，我们使用这个推导出一个有效的算法，找到了最多三个广义本征值问题的eTRS的全局极小值。
2015-12-23 math.OC
On the equivalence between the modifier-adaptation and trust-region frameworks
在这个简短的说明中，最近流行的修改器自适应框架的实时优化的讨论与发达的置信域框架的数值优化，它表明，前者的基本版本是一个简化的问题是无约束时，后者。然后利用这种关系提出了一个全局收敛的修改器自适应算法，使用已经开发的置信域理论。案件时，这两个可能是不等价的，并扩展到约束问题进行了讨论。
2014-07-28 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题，提出结合近端梯度下降与信赖域投影的子问题求解器，并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
A new alternating direction trust region method based on conic model for solving unconstrained optimization
本文将一种新的基于锥模型的交替方向置信域方法用于求解无约束最优化问题。利用交替方向法，在两个正交方向上分两步求解新的锥模型置信域子问题。该方法克服了锥模型子问题求解困难的缺点。在一定的条件下证明了该方法的整体收敛性。数值实验表明，该方法对子问题的求解，尤其是对大规模问题的求解，可能优于折线法。
2018-12-05 math.OC
A hybrid algorithm for the two-trust-region subproblem
两信赖域子问题（TTRS）是两个全维椭球相交点上一般二次函数的极小化问题，是近年来研究的热点。针对TTRS问题，提出了一种求解置信域子问题的全局和局部非线性最小解的有效算法和乘子的交替方向法（ADMM）的混合算法。在一定条件下证明了ADMM步收敛于一阶平稳条件。在几类测试问题上，我们将新算法与Sakaue等人的最新算法进行了比较。al的\cite{SakaueNakat:16}和Snopt软件。
2018-07-19 math.OC
A globally convergent method to accelerate topology optimization using on-the-fly model reduction
本文提出了一种基于投影的降阶模型和信赖域方法的全局收敛方法来加速基于密度的拓扑优化。为了加快拓扑优化，我们取代了大规模的有限元模拟，这占主导地位的计算成本，与ROM，降低成本的目标函数和梯度评估的数量级。为了保证收敛性，我们首先介绍了一个信赖域方法，采用广义信赖域约束，并证明它是全局收敛的。然后，我们设计了一类全局收敛的ROM加速拓扑最优化方法通知两个理论：上述信赖域理论，确定ROM的精度条件，保证该方法收敛到一个临界点的原始拓扑最优化问题;后验误差估计理论的投影为基础的ROM，通知ROM的建设过程，以满足精度条件。这导致信赖域方法，构建和更新ROM的飞行过程中优化，该方法保证收敛到一个临界点的原始，未简化的拓扑最优化问题，无论起点。对三个不同结构拓扑最优化问题的数值实验表明，所提出的约简拓扑最优化方法使收敛速度提高了数量级.
2020-12-10 cs.NA math.NA math.OC
Trust-Region Stochastic Optimization with Variance Reduction Technique
本文提出TR-SVR算法，将信赖域、SQP与方差缩减梯度估计相结合，以提升无约束随机优化的稳定性、计算效率和收敛稳健性。
2024-12-01 math.OC
Enclosing minima in nonsmooth optimization via trust regions of higher-order cutting-plane models
Technical University of Munich（慕尼黑工业大学）
本文提出一种全局收敛的信赖域束法，用于求解下$C^2$函数的最小值，通过高阶切割平面模型，并在满足一定增长假设下，能计算出包含极小值的无限多个缩小信赖域。
2026-03-25 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training
UniDistance Suisse（UniDistance瑞士）；King Abdullah University of Science and Technology（卡布斯大学）；Università della Svizzera italiana（瑞士意大利大学）
本文提出一种非单调预-conditioned信任区域方法，结合并行子域修正与全局粗空间方向，通过窗口接受准则控制目标函数增长，提升训练效率。
2026-05-14 cs.LG math.OC
An Adaptive Sample Size Trust-Region Method for Finite-Sum Minimization
我们提出了一个置信域方法有限和最小化的自适应样本量调整技术，这是实际的意义上说，它导致了一个全局收敛的方法，表现出强大的性能经验，而不需要由用户进行实验。在优化过程中，样本的大小根据目标函数的进展自适应地增加（或减少）。我们证明了经过有限次迭代后样本包含了数据集中的所有点，并且该方法成为一个全批置信域方法。凸和非凸问题的数值实验支持我们的主张，我们的算法相比，目前国家的最先进的方法具有显着的优势。
2019-10-08 math.OC
Convergence Rate Analysis of a Stochastic Trust Region Method via Submartingales
提出了一种新的框架，用于分析具有自适应步长的随机最优化算法的收敛速度。这个框架是基于分析一个基本的通用随机过程的属性，特别是通过推导出这个过程的预期停止时间的界限。我们利用这个框架来分析预期的整体收敛速度的一个传统的置信域方法，在\cite{ChenMenickellyScheinberg2014}中引入的随机变量的界限。虽然传统的置信域方法依赖于梯度、Hessian和目标函数值的精确计算，但该方法假设这些值可达到某些动态调整的精度。此外，这种准确性被假定为仅在某些足够大但固定的概率下保持，而对误差的方差没有任何附加限制。此设置适用于例如标准随机最优化和机器学习公式。改进后的分析\cite{ChenMenickellyScheinberg2014}，我们表明，该算法定义的随机过程满足我们提出的一般框架的假设，与停止时间定义为达到精度$\|\nabla f(x)\|\leq ε$。在充分精确的随机梯度的假设下，这个停止时间的界是$O(ε^{-2})$，并且是随机信赖域方法的第一个全局复杂性界。最后，我们应用相同的框架，在一些额外的假设下，推导出二阶复杂性界。
2018-10-19 math.OC
On Solving L-SR1 Trust-Region Subproblems
在这篇文章中，我们考虑大规模的置信域子问题时，二次模型定义的有限记忆对称秩一（L-SR 1）拟牛顿矩阵的求解器。我们提出了一个求解器，利用L-SR 1矩阵的紧凑表示。我们的方法利用L-SR 1矩阵的特征空间的规范正交基和Sherman-Morrison-Woodbury公式来计算置信域子问题的全局解。为了计算置信域约束的最优拉格朗日乘子，我们使用牛顿法，并使用一个明智的初始猜测，不需要保护。该求解器的一个重要特性是，即使在所谓的困难情况下，它也能够计算高精度的解决方案。此外，最优解直接由公式确定，而不是迭代。数值实验证明了该方法的有效性。
2016-08-12 math.OC
A primal-dual interior point trust region method for second-order stationary points of Riemannian inequality-constrained optimization problems
Graduate School of Information Science and Technology, The University of Tokyo（东京大学大学院信息理工学系研究科）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）；Faculty of Science and Technology, Seikei University（立教大学理学部）
本文提出了一种用于黎曼不等式约束优化问题的对偶内点信赖域方法，证明其全局收敛性，并在非线性不等约束下具有二次收敛性。
2026-05-10 math.OC
Extended Trust-Region Problems with One or Two Balls: Exact Copositive and Lagrangian Relaxations
对于两个二次约束和多个线性约束下的非凸二次最优化问题，建立了一个保证精确共正松弛的几何条件，并用广义Karush-Kuhn-Tucker乘子给出了全局最优性的充分条件.余正松弛比通常的拉格朗日松弛更紧。我们说明这一点，提供了一个完整的类二次最优化问题，享受正松弛的精确性，而通常的拉格朗日对偶间隙是无限的。最后，我们还提供了可验证的条件下，通常的拉格朗日松弛和共正松弛是精确的扩展CDT（两球置信域）问题。重要的是，该充分条件可以通过求解线性最优化问题来验证。
2017-10-02 math.OC
An Alternating Trust Region Algorithm for Distributed Linearly Constrained Nonlinear Programs, Application to the AC Optimal Power Flow
提出了一种求解线性约束非线性规划的新的置信域方法。所提出的技术是服从分布式实现，因为它的显着成分是一个交替的投影梯度扫描柯西点计算的地方。证明了该算法产生的序列全局收敛于一个临界点。由于一些变化的标准置信域方法，即一个近端正则化的置信域子问题，它示出的局部收敛率是线性的任意小的比率。因此，在标准的正则性假设下，收敛是局部几乎超线性的。所提出的方法被成功地应用于计算局部解的输电和配电网络的交流最优潮流问题。此外，计算柯西点的新机制与标准的投影搜索相比，其活动检测特性更为有利。
2015-08-01 math.OC
Solving Trust Region Subproblems Using Riemannian Optimization
置信域子问题是置信域方法中的一个基本最优化问题。然而，这个问题及其变体也出现在相当多的其他应用中。在这篇文章中，我们提出了一个家庭的迭代黎曼优化算法的变体的置信域子问题，取代了不等式约束与等式约束，并收敛到一个全局最优值。我们的方法使用平凡或非平凡的黎曼几何的搜索空间，只需要最小的频谱信息的二次分量的目标函数。我们进一步展示了黎曼优化理论如何促进对置信域子问题及其困难的更深入理解，例如，深入的联系之间的置信域子问题和问题的仿射特征向量，并根据全局最优值的黎曼Hessian算子的条件数的所谓的硬的情况下，一个新的检查。最后，我们建议通过仔细选择一个可变的黎曼度量，并建立预处理条件近似输入矩阵的渐近收敛率的界限。
2022-08-18 cs.NA math.NA math.OC
A Trust-Region Method For Nonsmooth Nonconvex Optimization
针对一类非光滑非凸最优化问题，提出了一种置信域方法，其中目标函数是一个（可能非凸的）光滑函数和一个（可能非光滑的）凸函数之和.我们的置信域子问题的模型函数始终是二次的，模型的线性项使用抽象的下降方向生成。因此，置信域子问题可以很容易地构造，以及有效地解决了廉价和标准的方法。当模型函数在子问题解处的精度不够时，我们在步长上增加了一个安全措施以提高精度。针对一类可截断的函数，定义了一个额外的截断步长，并设计了步长修改策略。整个方案的全局收敛，我们建立快速的局部收敛适当的假设下。特别地，利用光滑黎曼置信域方法，证明了部分光滑函数在严格互补条件下的局部平方收敛。报告了一族$\ell_1$ -最优化问题的初步数值结果，并证明了我们方法的效率。
2021-10-23 math.OC
ProxSTORM -- A Stochastic Trust-Region Algorithm for Nonsmooth Optimization
Sandia National Laboratories（桑迪亚国家实验室）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（乔治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院）
本文提出ProxSTORM算法，用于求解光滑但可能非凸函数与凸但可能非光滑函数之和的最小化问题，改进并简化了STORM分析，展示了在神经网络训练和不确定性拓扑优化中的应用。
2026-06-26 math.OC
Hölderian error bounds and Kurdyka-Łojasiewicz inequality for the trust region subproblem
本文研究了单位球上最小化一般的、可能非凸的二次函数的置信域子问题（TRS）的最优解集的局部变分几何。具体地说，我们证明了一个Hölderian误差界成立的TRS与模1/4和Kurdyka-Eschojasiewicz（KL）不等式局部成立的TRS与KL指数3/4在任何最优解。我们进一步证明，除非在特殊情况下，Hölderian误差界模，以及KL指数，是1/2。最后，基于所得到的KL性质，我们进一步证明了[A. Beck和Y. Vaisbourd，SIAM J. Optim.，28（2018），pp. 1951--1967]，以获得次线性或甚至线性的收敛速率。
2020-05-18 math.OC
Riemannian Trust Region Methods for SC$^1$ Minimization
本文提出了首个具有收敛保证的SC$^1$函数极小化黎曼信赖域方法，证明了其全局与局部超线性收敛性，并将其作为子问题求解器应用于流形上的非光滑非凸增广拉格朗日方法，利用二阶信息取得了优于现有方法的性能。
2024-05-31 math.OC
Trust-Region Method for Optimization of Set-Valued Maps Given by Finitely Many Functions
本文提出一种全局收敛且具有下降性质的信赖域方法，用于求解由有限多个二次连续可微函数定义的集值优化问题的临界点，并通过性能剖面图验证其有效性。
2025-09-09 math.OC
Stochastic trust-region and direct-search methods: A weak tail bound condition and reduced sample sizing
该研究提出随机无导数优化的新弱尾界概率条件，开发随机直接搜索与信赖域方法，将每次迭代样本量从O(Δ_{k}^{-4})降至O(Δ_k^{-2 - ε})并证明全局收敛性。
2023-06-15 math.OC
PANTR: A proximal algorithm with trust-region updates for nonconvex constrained optimization
本文提出PANTR算法，结合前向-后向迭代与信赖域子问题求解非凸约束优化，利用线性牛顿近似和约束结构加速更新，并在非线性模型预测控制中验证了其有效性。
2023-06-29 math.OC
MTRBO: Multiple trust-region based Bayesian optimization
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
本文提出MTRBO方法，通过在信任区域内适应性探索和利用，提升高维非凸问题的优化效率，验证了其在投资组合优化中的实用性。
2026-05-07 math.OC
Nonmonotone Trust-Region Methods for Optimization of Set-Valued Mapping of Finite Cardinality
本文针对有限基数集值映射优化问题，提出最大值型和平均值型两种非单调信赖域方法，通过向量化和有向距离标量化寻找K-临界点，并证明其全局收敛性，数值实验表明其优于现有方法。
2025-09-22 math.OC
Novel reformulations and efficient algorithms for the generalized trust region subproblem
本文提出了一种新的求解框架来求解二次约束下最小化二次目标的广义置信域子问题。更具体地说，我们推导出一个凸二次重构（CQR）通过最小化的线性目标在两个凸二次约束的GTRS。我们表明，GTRS的最优解可以从CQR的最优解恢复。我们进一步证明，这个CQR是等价于最小化的最大的两个凸二次函数来自CQR的情况下，我们的调查。虽然后者极大极小问题是非光滑的，但它是结构良好的凸问题。因此，我们开发了两个最速下降算法对应于两个不同的线搜索规则。我们证明了这两种算法的全局次线性收敛速度。在较弱的条件下，通过估计第一种算法在任意最优解处的Kurdyka-Lojasiewicz指数，我们还得到了第一种算法的局部线性收敛速率。最后，我们证明了我们的算法在我们的数值实验的效率。
2018-03-04 math.OC
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种近似信任区域方法，用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题，并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息，可解决由偏微分方程等约束的无限维问题，证明了方法的全局收敛性。
2026-10-22 math.OC
Stochastic Optimization Using a Trust-Region Method and Random Models
本文提出并分析了一种基于置信域模型的求解无约束随机最优化问题的算法。我们的框架利用随机模型的目标函数$f(x)$，从随机观测的功能或其梯度。我们的方法还利用函数值的估计来衡量正在取得的进展。收敛性分析依赖于这些模型和这些估计值足够准确且具有足够高但固定的概率的要求。除该等条件外，概无就如何产生该等模型及估计作出假设。在这些一般条件下，我们证明了该方法几乎必然整体收敛到一阶稳定点。在本文的第二部分中，我们给出了在有偏或无偏噪声假设下生成足够准确的随机模型的例子。最后，我们提出了一些计算结果显示所提出的方法相比，现有的方法是基于样本平均或随机梯度的好处。
2016-09-23 math.OC
A Stochastic Trust-Region Framework for Policy Optimization
在本文中，我们研究了一些具有挑战性的理论和数值问题，众所周知的置信域政策优化的深度强化学习。我们的目标是找到一个政策，最大化总的期望回报时，代理根据该政策。置信域子问题由一个与总期望回报一致的代理函数和一个围绕最新策略的一般距离约束构成。我们使用一个预处理的随机梯度法与线搜索方案，以确保每一步促进模型功能，并留在置信域的子问题。为了克服随机设置下抽样对函数估计的偏差，我们将总期望回报的经验标准差与预测增量之比相加，以更新置信域半径并决定是否接受试验点。此外，对于通常用于连续动作空间的高斯策略，分别执行关于均值和协方差的最大化以控制熵损失。我们的理论分析表明，所提出的算法的确定性版本往往会产生一个单调改善的总期望回报和整体收敛是有保证的适度的假设。与最先进的方法的比较证明了我们的方法在机器人控制和OpenAI Gym游戏中的有效性和鲁棒性。
2019-11-26 math.OC
Trust Region Subproblem with a Fixed Number of Additional Linear Inequality Constraints has Polynomial Complexity
具有固定数量m个附加线性不等式约束的置信域子问题（Tm）近年来受到广泛关注。至于问题（Tm）是属于P类还是NP类的问题仍然没有解决。到目前为止，唯一肯定的一般结果是（T1）有一个精确的SOCP/SDP重构，因此是多项式可解的。通过采用Martinez关于置信域子问题的局部非全局极小值的早期结果，我们可以将（Tm）中的任何实例归纳地归结为一系列置信域子问题（T0）。尽管要求解的（T0）的总数为m的指数阶，但归约方案仍然提供了一个论点，即对于每个固定的m，类（Tm）具有多项式复杂度。与此相反，我们通过一个简单的例子证明，求解包含比问题维数更多的线性不等式约束的扩展置信域子问题类，或由任意数量的线性约束组成的实例类是NP-难的.当m较小时，如m = 1，2，我们的归纳算法应该比SOCP/SDP重构更有效，因为（T0）的最多2个或5个子问题分别被处理。最后，我们改进了Jeyakumar和Li最近提出的一个维数条件，在这个维数条件下，（Tm）存在一个精确的SDP松弛。实例表明，这种改进确实可以是严格的。
2013-12-05 math.OC
An interior-point trust-region method for nonsmooth regularized bound-constrained optimization
针对非光滑正则化界约束优化，提出迭代求解无约束非光滑障碍子问题的内点信赖域方法，证明全局收敛性，并在两组问题上以更少评估取得更优目标值。
2024-02-28 math.OC
Inexact restoration with subsampled trust-region methods for finite-sum minimization
凸和非凸有限和最小化出现在许多科学计算和机器学习应用中。最近，一阶和二阶方法，其中目标函数，梯度和海森近似随机抽样分量的总和受到了极大的关注。我们提出了一种新的置信域方法，采用适当的近似的目标函数，梯度和海森通过随机子采样技术建立。样本量的选择是确定性的，并由不精确的恢复方法决定。我们讨论了局部和全局性质，找到近似的第一和第二阶最优点和功能评估的复杂性结果。数值实验表明，新的程序是更有效的，在总的计算成本方面，比标准的置信域计划与下采样海森。
2020-05-10 cs.NA math.NA math.OC
A trust-region funnel algorithm for gray-box optimization
School of Chemistry and Chemical Engineering, University of Surrey（萨里大学化学与化工学院）；Department of Chemical Engineering, Imperial College London（帝国理工学院化学工程系）；Department of Chemical Engineering, Carnegie Mellon University（卡内基梅隆大学化学工程系）
本文提出一种新的信赖域隧道算法，用于解决灰盒优化问题，通过将部分问题建模为代数模型，其他部分作为黑盒模型，该算法简化了传统方法，提高了收敛性和效率。
2026-04-14 cs.NA math.NA math.OC
A Trust Region Proximal Gradient Method for Nonlinear Multi-objective Optimization Problems
针对光滑与非光滑函数之和构成的复合多目标优化问题，提出一种无需预设参数和目标排序的全局收敛信赖域近端梯度法，并通过实验验证其有效性。
2024-10-25 cs.NA math.NA math.OC
Explicit pseudo-transient continuation and the trust-region updating strategy for unconstrained optimization
本文研究了无约束最优化问题的显式延拓方法和置信域更新策略。此外，为了提高算法的计算效率和鲁棒性，新方法采用了切换预处理技术。在充分条件阶段，新方法使用L-BFGS方法作为预处理技术，以提高其计算效率。另外，为了提高算法的鲁棒性，新方法使用了黑塞矩阵的逆矩阵作为预条件。数值结果表明，该方法比传统的最优化方法如置信域法和线搜索法具有更好的鲁棒性和更快的计算速度。对于大规模问题，新方法的计算时间约为置信域法（MATLAB 2019 a环境下的子程序fminunc.m，由置信域法设置）的1%，约为线搜索法（fminunc.m由拟牛顿法设置）的1/5。最后，给出了新方法的整体收敛性分析。
2021-02-14 cs.NA math.DS math.NA
Scalable First-Order Interior Point Trust Region Algorithms for Linearly Constrained Optimization
Peking University（北京大学）；Stanford University（斯坦福大学）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉学科研究院）
本文提出一种近似第一次顺序内部点信任区域框架，通过低秩更新维护近似投影来解决信任区域子问题计算瓶颈，提高大规模优化问题的计算效率。
2026-04-27 cs.DS math.OC
Generalized continuation Newton methods and the trust-region updating strategy for the underdetermined system
本文研究非线性方程组欠定组的广义连续牛顿法和信赖域更新策略。此外，为了提高其计算效率，当当前雅可比矩阵性能良好时，新方法不更新雅可比矩阵。数值计算结果表明，该方法比传统的最优化方法如Levenberg-Marquardt方法（置信域方法的一种变体，MATLAB R2020 a环境中的内置子程序fsolve.m）具有更好的鲁棒性和更快的计算速度。新方法的计算时间约为fsolve的1/8 ~ 1/50。在一些标准假设下，证明了新方法的整体收敛和局部超线性收敛性。
2021-05-25 cs.NA math.DS math.NA
Continuation Newton methods with the residual trust-region time-stepping scheme for nonlinear equations
对于非线性方程组，同伦方法（延拓方法）因其收敛域大、求解可靠而在工程领域中得到广泛应用。经典同伦方法的缺点是在中间延拓过程中需要求解许多辅助非线性系统，计算量大。为了克服这一缺点，我们考虑了带剩余置信域时间步格式的显式连续牛顿法。数值实验表明，该方法比传统的最优化方法（MATLAB环境中内置的子程序fsolve.m）和同伦延拓方法（HOMPACK90和NAClab）具有更强的鲁棒性，能更快地找到实际问题的所需解.进一步分析了新方法的整体收敛和局部超线性收敛性。
2021-03-26 cs.NA math.DS math.NA
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington（华盛顿大学）；ETH Zrich（苏黎世联邦理工学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO，通过拉格朗日对偶推导闭式更新，理论上证明了单调提升与全局收敛，并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Primal-dual path-following methods and the trust-region updating strategy for linear programming with noisy data
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文研究了标准线性规划问题的原始-对偶路径跟踪方法和置信域更新策略。对于小噪声数据的秩亏问题，给出了基于列主元QR分解的预处理方法。在初始点严格原始-对偶可行的条件下，证明了新方法的整体收敛。最后，对于一些秩亏的问题，或没有小的噪声数据从NETLIB收集，我们比较它与其他两个流行的相邻点的方法，即子程序pathfollow.m和MATLAB环境中内置的子程序linprog.m。数值结果表明，对于小噪声数据的秩亏问题，新方法比其他两种方法具有更好的鲁棒性。
2021-02-22 cs.LG cs.NA math.DS
Sequential Hierarchical Least-Squares Programming for Prioritized Non-Linear Optimal Control
Nanyang Technological University（南洋理工大学）；University of Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
该研究提出结合信赖域与分层步长滤波器的序列分层最小二乘规划求解器，通过内点法和零空间信赖域自适应等技术实现全局收敛，在多类测试问题中验证了计算效率，可应用于带优先级的离散非线性最优控制。
2024-02-01 cs.NA cs.RO math.NA
