A non-conforming dual approach for adaptive Trust-Region Reduced Basis approximation of PDE-constrained optimization
在这篇文章中,我们提出并严格分析了新的变种自适应置信域方法的参数最优化PDE约束和双边参数约束。该方法采用连续丰富的减少基代理模型,在外部优化循环期间构造并用作置信域方法的模型函数。每个置信域子问题采用投影BFGS方法求解。此外,我们提出了一个非协调对偶(NCD)的方法来改善最优性系统的标准RB近似。严格的改进后验误差界的推导和使用证明收敛的NCD校正的自适应置信域减少的基础算法。数值实验表明,该方法能够显著降低大规模或多规模PDE约束最优化问题的计算量。
2020-06-16 cs.NA math.NA math.OC
Stratified adaptive sampling for derivative-free stochastic trust-region optimization
North Carolina State University(北卡罗来纳州立大学)
本文提出分层自适应采样策略,用于提升信赖域框架中目标函数估计的准确性,从而优化达到给定ε精度所需蒙特卡洛样本数量,通过理论分析和数值实验验证了方法的有效性。
2026-03-31 math.OC q-fin.MF
Adaptive Augmented Lagrangian Methods: Algorithms and Practical Numerical Experience
在本文中,我们考虑增广拉格朗日(AL)算法来解决大规模的非线性最优化问题,执行自适应策略更新的罚参数。我们的工作受到Curtis,Jiang和Robinson最近提出的自适应AL置信域方法的激励[Math. Prog.,DOI:10.1007/s10107-014-0784-y,2013]。本文的第一个焦点是一个新的变种的方法,采用线搜索,而不是一个置信域战略,其中一个关键的算法功能线搜索策略是使用的凸化分段二次模型的AL函数计算的搜索方向。我们证明了我们的线搜索算法的整体收敛保证与先前提出的置信域方法。本文的第二个重点是Matlab软件中的线搜索和置信域算法变体的实际性能,以及Lancelot软件中包含的自适应罚参数更新策略的实际性能。我们测试这些方法的问题,从CUTEst和COPS集合,以及具有挑战性的测试问题有关的最优潮流。我们的数值实验表明,自适应算法优于传统的AL方法的效率和可靠性。与传统的AL算法一样,自适应方法是无矩阵的,因此代表了解决极端规模问题的可行选择。
2014-08-20 math.OC
A simple and practical adaptive trust-region method
University of Pittsburgh(匹兹堡大学)
提出一种简单实用的自适应信赖域方法,通过非精确子问题求解实现最优收敛界,在CUTEst基准上比现有方法快1.2至2倍,并增强了实用性能。
2026-09-22 math.OC
A Line-Search Algorithm Inspired by the Adaptive Cubic Regularization Framework and Complexity Analysis
自适应正则化框架使用立方已经成为一种替代线搜索和信赖域算法的光滑非凸优化,具有最佳的复杂性之间的二阶方法。在本文中,我们提出并分析了使用迭代相关的缩放范数的自适应正则化框架,使用立方。在这样的缩放范数内,所获得的方法表现为沿着拟牛顿方向的线搜索算法,并具有特殊的回溯策略。在适当的假设下,新算法具有与基于三次函数的自适应正则化算法相同的收敛性和复杂性。该算法的二阶版本可以提高找到一个近似的一阶稳定点的复杂性是最佳的。以类似的方式,使用相同的缩放范数来定义信赖域邻域,我们证明了信赖域算法的行为是一个线搜索算法。在一组大规模最优化问题上显示了所得到算法的良好潜力。
2018-05-29 math.OC
Adaptive Sampling Trust Region Optimization for Derivative-free Stochastic Functions and Deterministic Equality Constraints
North Carolina State University(北卡罗来纳州立大学);University of Melbourne(墨尔本大学)
针对含噪声零阶目标与可求导确定性等式约束的优化问题,提出ASTRO-DF的受限变体,证明其几乎必然收敛并在等式约束随机活动网络问题中取得数值结果。
2026-08-18 cs.NA math.NA math.OC
Adaptive Replication Strategies in Trust-Region-Based Bayesian Optimization of Stochastic Functions
Inria, Université Côte d’Azur, CNRS, LJAD(法国国家信息与自动化研究所、蔚蓝海岸大学、法国国家科学研究中心、联合数据分析实验室);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学部)
本文提出了一种基于信任区域的贝叶斯优化方法,通过自适应复制策略提高随机函数优化的准确性和效率。
2026-09-03 math.OC stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
A Trust Region Method with Regularized Barzilai-Borwein Step-Size for Large-Scale Unconstrained Optimization
针对大规模无约束优化问题,提出一种结合非单调技术与正则化Barzilai-Borwein步长的信赖域方法,在信赖域内自适应生成步长并保证算法收敛性,数值结果验证了其有效性。
2024-09-22 math.OC
TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
Department of Mathematics, University of California, Berkeley, CA, USA(加州大学伯克利分校数学系);Boston University, MA, USA(波士顿大学);Department of IEOR, University of California, Berkeley, CA, USA(加州大学伯克利分校工业工程与运筹学系)
TRSVR 通过结合 SVRG 和信任区域方法,在非凸优化中实现加速收敛,并利用 Hessian 信息提升性能。
2026-01-21 cs.LG math.OC stat.ML
Adaptive Reduced Basis Trust Region Methods for Parabolic Inverse Problems
针对抛物型偏微分方程参数识别中的非线性反问题,提出自适应降基信赖域方法,通过在线降阶建模加速状态与伴随方程评估,并结合误差感知信赖域框架确保IRGNM迭代的可靠性,有效降低了计算成本。
2025-07-15 cs.NA math.NA math.OC
Iteration Complexity and Finite-Time Efficiency of Adaptive Sampling Trust-Region Methods for Stochastic Derivative-Free Optimization
本文提出基于坐标基对角 Hessian 局部模型和坐标直接搜索的 ASTRO-DF 改进方法,首次在无函数估计与模型质量假设下证明其几乎必然具有 O(ε⁻²) 迭代复杂度,并通过数值实验验证其早期计算效率优势。
2024-01-17 math.OC math.PR
An adaptive projected Newton non-conforming dual approach for trust-region reduced basis approximation of PDE-constrained parameter optimization
在这方面的贡献,我们设备和分析的非协调对偶方法的置信域减少基础(TR-RB)逼近的PDE约束参数最优化,最近已在[Keil等人。偏微分方程约束优化的自适应置信域缩减基逼近的非协调对偶方法。arXiv:2006.09297,2020]。所提出的方法使用模型降阶技术的参数化偏微分方程显着减少的参数最优化的计算需求,在大规模或多尺度应用的背景下,偏微分方程的约束。自适应TR方法允许沿着优化路径相对于参数空间局部化减少,而不会在离线阶段浪费不必要的资源。改进的变体采用投影牛顿法来解决每个TR步骤内的局部最优化问题,以受益于高收敛速度。这意味着新的战略,在建设的RB空间,以及估计的近似海森。此外,我们提出了一个新的证明收敛的TR-RB方法的基础上无限维的参数,不限于特定情况下的RB近似,并提供了一个后验误差估计的最佳参数的近似。数值实验证明了所提出方法的有效性。
2020-12-21 cs.NA math.NA math.OC
Adaptive Reduced Basis Trust Region Methods for Parameter Identification Problems
针对椭圆型偏微分方程参数识别反问题,提出一种自适应降基信赖域方法,在在线阶段自适应构建降维参数空间并结合状态空间降维,有效降低计算复杂度。
2024-10-11 cs.NA math.NA math.OC
An online adaptive finite-element method for nonsmooth PDE-constrained optimization
George Mason University(乔治梅森大学);Sandia National Laboratories(桑迪亚国家实验室);South Asian University(南亚大学)
本文提出一种基于信任区域的自适应有限元算法,用于求解包含稀疏正则化和凸约束的非光滑偏微分方程约束优化问题,结合了非光滑问题的鲁棒性和自适应有限元的效率,通过自动细化离散化来平衡计算成本与解的精度。
2026-04-27 math.OC
Adaptive Reduced-Basis Trust-Region Methods for Defect Identification in Elastic Materials
University of Münster(明斯特大学);Saarland University(萨尔兰大学)
针对弹性材料缺陷识别中的高维参数反演问题,提出一种结合自适应简化基空间与信赖域框架的降阶建模方法,实现高效可靠的缺陷检测。
2026-06-01 cs.NA math.NA math.OC
Scalable adaptive cubic regularization methods
自适应三次正则化(ARC)方法用于无约束优化计算线性系的步骤,涉及Levenberg-Marquardt方法和信赖域方法的精神中的移位Hessian。标准的方法包括在执行迭代搜索的转变类似于解决长期方程的信赖域方法。这种搜索需要在每次迭代时计算试探性移位海森的Cholesky分解,这限制了可以合理考虑的问题的大小。我们提出了一个可扩展的实施ARC命名为ARCqK,我们解决了一组移位系统同时通过适当修改的共轭梯度(CG)方法的Lanczos制定。在求解具有n个变量的问题的ARCqK的每次迭代中,选择m << n个移位参数的范围。CG中超出Lanczos过程的计算开销是十三个标量操作,以更新长度为m的五个向量和每个移位值的两个n向量更新。CG变体每次迭代仅需要一个Hessian向量积和一个点积,与移位参数的数量无关。与不适当的移位参数相对应的求解被提前中断。所有移位系统都不精确求解。这种适度的成本使我们的实现可扩展,适合大规模的问题。我们提供了一个新的分析不精确ARC方法,包括其最坏情况下的评估复杂性,全球和渐近收敛。我们描述了我们的实现,并提供初步的数值观察,证实,对于大小至少为100的问题,我们的实施ARCqK是更有效的比一个经典的Steihaug-Toint置信域方法。最后,我们将我们的收敛结果推广到不精确Hessians和非线性最小二乘问题。
2021-03-30 math.OC
Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems
本文提出全随机信赖域序列二次规划算法TR-StoSQP,通过自适应松弛技术和信赖域半径分解处理等式约束优化中的不可行性问题,并证明了全局几乎必然收敛性。
2024-01-29 math.OC stat.CO stat.ML
ASTRO-DF: A Class of Adaptive Sampling Trust-Region Algorithms for Derivative-Free Stochastic Optimization
Purdue University(普渡大学);Virginia Tech(弗吉尼亚理工大学)
本文提出ASTRO-DF算法,通过自适应采样平衡采样误差与模型偏差,实现随机优化问题的几乎 surely 收敛到一阶临界点。
2016-10-20 cs.NA math.NA math.OC
TREGO: a Trust-Region Framework for Efficient Global Optimization
高效全局优化(Efficient Global Optimization,EGO)是贝叶斯优化的标准形式,已成功应用于解决评估费用黑盒问题的全局优化。然而,EGO难以随维度扩展,并且提供了有限的理论保证。在这项工作中,一个置信域框架的EGO(TREGO)的建议和分析。TREGO在置信域内在常规EGO步骤和局部步骤之间交替。通过遵循置信域的经典方案(基于充分减少条件),所提出的算法具有整体收敛特性,而仅在优化步骤的子集上偏离EGO。利用广泛的数值实验的基础上著名的COCO {界约束问题},我们首先分析了TREGO对自己的参数的敏感性,然后表明,由此产生的算法是一贯优于EGO和获得竞争力与其他国家的最先进的黑盒最优化方法。
2022-04-23 math.OC stat.ML
Discrete Variable Topology Optimization Using Multi-Cut Formulation and Adaptive Trust Regions
本文提出一种结合广义Benders分解与自适应信赖域的拓扑优化新框架,通过维持二进制设计变量并引入参数松弛方案,在保持最优目标值的同时将优化迭代次数减少约一个数量级,显著提升了大规模混合整数非线性规划问题的计算效率与可扩展性。
2024-11-18 cs.GR cs.NA math.NA
DOFFO_TR: a Decentralized Objective Function-Free Optimization method with Trust-Region
Dipartimento di Ingegneria Industriale, Università degli studi di Firenze(佛罗伦萨大学工业工程系)
提出DOFFO_TR无目标函数的去中心化信赖域优化方法,兼容一阶、二阶模型,无需智能体共享函数值与梯度,迭代复杂度有理论保证,性能效率权衡良好且通信开销适中。
2026-09-02 cs.NA math.NA math.OC
Entropic trust region for densest crystallographic symmetry group packings
分子晶体结构预测(CSP)在给定分子的化学组成和压力-温度条件下寻求最稳定的周期结构。现代CSP求解器使用全局最优化方法来搜索由分子间势能引起的复杂能量景观中具有最小自由能的结构。这些方法的一个主要警告是,初始配置是随机的,因此搜索容易收敛于局部极小值。提供相对于分子的几何表示密集堆积的初始构型可以显著地加速CSP。基于这些观察,我们定义了一类限制在晶体对称群(CSG)上的周期填充,并在信息几何框架下设计了一种搜索法来搜索离散CSG填充。由于CSG在位形空间上引入了一个环面拓扑,通过扩展多元von Mises分布,在由定义在$n$维平坦单位环面上的概率分布组成的统计流形上实现了一种非欧置信域方法.引入适应度函数的自适应分位数重构到优化调度中,通过局部对偶测地流为算法提供了几何表征。此外,我们检查的自适应选择分位数定义的置信域的几何形状,并表明该算法执行扩展的多元冯米塞斯分布随机向量的元素之间的随机依赖性的最大化。我们实验评估的行为和性能的方法上的各种denumbering包装的凸多边形在$2$维CSG的最优解是已知的,并展示其应用在并五苯薄膜CSP。
2023-02-19 cond-mat.mtrl-sci cs.IT cs.NE