Solving Stochastic Optimization by Newton-type methods with Dimension-Adaptive Sparse Grid Quadrature
随机最优化问题最小化随机费用函数的期望。我们采用先优化后离散的方法来解决随机优化问题。在我们的方法中，需要精确的求积方法来计算实际上是积分的目标、梯度或Hessian。当问题是高维的时候，我们应用维数自适应的稀疏网格求积来近似这些积分。自适应稀疏网格求积方法在计算光滑被积函数的积分时具有较高的精度和效率。它是经典稀疏网格方法的一种推广，根据其重要性细化不同的维度。我们表明，维数自适应稀疏网格求积有更好的性能，在优化后离散的方法比离散后优化的方法。
2022-02-21 cs.NA math.NA
Adaptive Density Tracking by Quadrature for Stochastic Differential Equations
密度追踪求积法（DTQ）是一种用于计算描述随机微分方程（SDEs）概率密度的福克-普朗克方程解的数值方法。在本文中，我们通过利用允许非结构化、自适应网格的灵活求积规则来扩展现有的张量化DTQ程序。我们提出并描述了$N$维的程序，并证明了由此产生的自适应程序比张量化方法更有效。虽然我们考虑二维的例子，我们所有的计算程序是可扩展的高维问题。
2022-06-08 cs.NA math.NA
An explicit adaptive time-stepping scheme for superlinear stochastic diffusion systems
Tiangong University（天津工业大学）；Northeast Normal University（东北师范大学）
本文提出了一种自适应时间步长方法，用于求解具有局部Lipschitz系数的随机扩散系统，实现了强收敛性，并通过实验验证了其计算效率的提升。
2026-08-13 cs.NA math.NA
Adaptive time-step control for a monolithic multirate scheme coupling the heat and wave equation
我们考虑一个抛物型和一个双曲型方程耦合在一个共同的接口和开发的时间步长计划，可以使用不同的时间步长的每个子问题的动力学。这个问题是制定在一个强耦合（单片）的时空框架。耦合两个不同的步长单片产生大型代数系统的方程，其中多个状态的子问题必须一次解决。为了有效地解决这些代数系统，我们继承了分区制度的思想，并提出了两种解耦方法，即分区松弛计划和打靶法。此外，我们开发了一个后验误差估计作为一个自适应时间步进过程的平均值。我们的目标是最佳平衡的时间步长的两个子问题。误差估计是基于双加权残差方法，并依赖于时空Galerkin制定的耦合问题。作为一个例子，我们采取一个线性设置与热方程耦合的波动方程。我们制定了一个整体的方式使用时空框架的问题。在数值测试的情况下，我们证明了解决方案的过程中的效率，我们也验证了后验误差估计的准确性和它的使用控制的时间步长。
2020-07-10 cs.NA math.NA
Adaptive Multilevel Monte Carlo Methods for Stochastic Variational Inequalities
Freie Universität Berlin（柏林自由大学）
本文提出基于确定性自适应网格细化的自适应多级蒙特卡罗有限元方法，用于求解路径问题，并通过数值实验验证了方法的理论和效率。
2017-12-19 cs.NA math.NA
Adaptive time-stepping for Stochastic Partial Differential Equations with non-Lipschitz drift
我们引入了一个明确的，自适应的时间步进计划的模拟SPDE与单边Lipschitz漂移系数。强收敛速度证明了充分的空间-时间离散与乘性迹类噪声分别考虑空间和时间离散。适应的时间步长，以确保强大的收敛数值计算时，产生更准确的解决方案相比，其他固定的时间步进策略相同的计算工作量。
2019-08-21 cs.NA math.NA
An adaptive ANOVA stochastic Galerkin method for partial differential equations with high-dimensional random inputs
本文提出一种结合 ANOVA 分解与 gPC 展开的自适应随机 Galerkin 方法，通过筛选有效基函数降低高维随机偏微分方程的逼近空间维数，并在扩散和 Helmholtz 问题中验证了效率。
2024-01-27 cs.NA math.NA
Two-level a posteriori error estimation for adaptive multilevel stochastic Galerkin FEM
研究了一类参数椭圆型偏微分方程（PDE），其中方程的系数和右端函数依赖于无穷多个（不确定）参数.我们引入了一个两级后验估计来控制这类偏微分方程问题的多级随机伽辽金近似的能量误差。我们证明了两层估计总是为未知的逼近误差提供一个下界，而上界等价于一个饱和假设。我们提出并实证比较三种自适应算法，其中利用估计器的结构来执行空间细化以及参数富集。本文还讨论了实现方面的计算多级随机Galerkin近似。
2021-03-17 cs.NA math.NA
Goal-oriented adaptive surrogate construction for stochastic inversion
Technical University Munich（慕尼黑工业大学）
本文提出一种面向目标的自适应替代模型构建方法，通过改进局部近似特性，结合两种层级替代模型，利用局部误差指标指导迭代优化，提升在不确定性下的预测精度。
2018-03-01 cs.NA math.NA
A fully adaptive multilevel stochastic collocation strategy for solving elliptic PDEs with random data
我们提出并分析了一个完全自适应的策略，解决椭圆型偏微分方程的随机数据在这项工作中。一个层次序列的自适应网格细化的空间近似相结合的自适应各向异性稀疏的Scorpak网格在随机空间中的方式，以尽量减少计算成本。我们的策略的新颖之处在于，空间近似的层次结构是样本相关的，因此每个配置点的计算工作量可以单独优化。我们概述了一个严格的分析的自适应多级算法的收敛性和计算复杂性，我们提供了最佳的选择，在每个级别的误差容限。两个数值例子证明了差错控制的可靠性和显着降低的复杂性时，出现相比，单级算法和多级算法，采用自适应性只在空间离散化或配置过程。
2019-12-04 cs.NA math.NA
Adaptive Finite Element Method Assisted by Stochastic Simulation of Chemical Systems
University of Oxford（牛津大学）；Czech Academy of Sciences（捷克科学院）
提出一种利用化学系统随机模拟轨迹识别高概率密度区域，进而指导有限元网格自适应加密与粗化的方法，用于高效求解Fokker-Planck方程。
2011-11-09 cs.NA math.NA
Convergence of adaptive stochastic Galerkin FEM
University of Birmingham（伯明翰大学）；TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出并分析了求解具有参数不确定性的椭圆偏微分方程的新自适应算法，通过四种不同的标记策略改进随机伽辽金有限元近似，并基于双层a posteriori误差指标进行空间近似和参数近似的后验误差分析，证明所提算法能驱动能量误差估计趋于零。
2018-11-23 cs.NA math.NA
An adaptive stochastic Galerkin method based on multilevel expansions of random fields: Convergence and optimality
本文研究了二阶椭圆型偏微分方程的随机Galerkin方法。它结合了随机变量的算子压缩和空间变量的基于树的样条小波逼近。依赖于给定的随机扩散系数的多级扩展，该方法被证明可以实现最佳的计算复杂性的对数因子。与现有的结果相比，这尤其适用于当可实现的收敛速度受限于随机场的规则性，而不是受限于空间近似阶。数值实验证明了算法的收敛性和复杂性.
2022-06-01 cs.NA math.NA
Learning adaptive coarse spaces of BDDC algorithms for stochastic elliptic problems with oscillatory and high contrast coefficients
本文研究了一类随机椭圆问题的自适应粗空间平衡区域分解算法。在粗空间的建设的关键成分是当地的谱问题，这取决于偏微分方程的系数的解决方案。这对随机系数提出了重大挑战，因为对于系数的每个实现，解决局部谱问题在计算上是昂贵的。为了解决这个计算负担，我们提出了一种机器学习方法。我们的方法是基于使用深度神经网络（DNN）来近似随机系数和粗糙空间之间的关系。对于DNN的输入，我们应用Karhunen-Loève展开，并在展开中使用前几个主导项。DNN的输出是产生的粗空间，然后使用标准自适应BDDC算法应用。我们将给出一些数值结果与振荡和高对比度系数显示所提出的计划的效率和鲁棒性。
2021-04-19 cs.NA math.NA
A convergent adaptive finite element stochastic Galerkin method based on multilevel expansions of random fields
提出一种基于随机场多水平展开的自适应随机伽辽金有限元方法，通过稀疏乘积多项式展开和独立网格细化，实现均匀误差缩减，并保证细化过程的饱和性质，数值实验验证了有效性。
2025-03-27 cs.NA math.NA
Stochastic diagonal estimation with adaptive parameter selection
本文研究大型或隐式矩阵的对角估计，提出一种结合投影方法与自适应参数优化的随机对角估计算法，推导了随机查询向量数量的下界，数值实验证明了其高效性与稳定性。
2024-10-15 cs.NA math.NA stat.ML
Adaptive Fast-Slow Operator Splitting for Multiscale Biochemical Stochastic Dynamics
Northeastern University（东北大学）
本文提出自适应算子分裂框架，通过自适应离散化方法，实现多尺度生物化学随机动力学的高效准确模拟，结合比例-积分控制器优化时间步长选择。
2026-03-31 cs.NA math.NA
An adaptive reduced basis collocation method based on PCM ANOVA decomposition for anisotropic stochastic PDEs
University of Maryland（马里兰大学）
本文提出一种基于PCM ANOVA分解的自适应降阶校准方法，用于求解高维参数化随机PDEs，通过两阶段适应性策略有效识别有效维度并优化参数空间，验证了该方法在求解各向异性随机对流-扩散方程中的有效性。
2017-09-25 cs.NA math.NA
Stochastic Analysis of an Adaptive Cubic Regularisation Method under Inexact Gradient Evaluations and Dynamic Hessian Accuracy
在这里，我们将[3]中用于非凸优化的具有动态不精确Hessian信息的自适应三次正则化方法的扩展版本适应于随机优化设置。虽然仍然考虑精确的函数评估，但这种新的变体继承了[3]中引入的Hessian近似的自适应精度要求的创新使用，并且还采用了梯度的不精确计算。在不限制误差方差的情况下，我们假设这些近似在足够大但固定的概率内可用，并且我们本着[18]的精神将框架的确定性分析扩展到其随机对应物，表明达到一阶稳定点的预期迭代次数与众所周知的最差情况最优复杂度相匹配。实际上，对于一阶误差容差，这仍然由O（θ ^（-3/2））给出。最后，非凸有限和最小化的数值试验证实，使用不精确的一阶和二阶导数可以是有益的计算节省。
2020-09-12 cs.NA math.NA
An Adaptive Stochastic Sequential Quadratic Programming with Differentiable Exact Augmented Lagrangians
考虑求解具有随机目标和确定性等式约束的非线性最优化问题。我们假设目标的评估，梯度和Hessian是不可访问的，而可以通过例如子采样来计算它们的随机估计。我们提出了一种基于序列二次规划（SQP）的随机算法，该算法使用可微的精确增广拉格朗日函数作为评价函数。为了激励我们的算法设计，我们首先回顾和简化了一个老的SQP方法\citep{Lucidi1990Recursive}解决确定性问题，这是我们的随机算法的骨架。基于简化的确定性算法，我们提出了一种非自适应SQP处理随机目标，其中的梯度和Hessian被替换为随机估计，但步长是确定的和预先指定的。最后，我们将最近的随机线搜索过程\citep{Paquette2020Stochastic}到非自适应随机SQP自适应地选择随机步长，从而导致自适应随机SQP。证明了非自适应和自适应SQP方法的全局“几乎必然“收敛性。在CUTEst测试集上对非线性问题的数值实验表明了自适应算法的优越性。
2022-06-06 cs.NA math.NA math.OC
Time-adaptive high-order compact finite difference schemes for option pricing in a family of stochastic volatility models
本文提出一种用于随机波动率模型期权定价的时间自适应高阶紧致有限差分格式，结合半离散空间离散与自适应时间离散，将已有思想扩展至四阶多步时间方法。
2021-07-19 cs.NA math.NA q-fin.CP
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent
CEREMADE, Université Paris Dauphine - PSL Research University（CEREMADE，巴黎多芬大学-巴黎文理研究大学）
损失函数的最小化在深度神经网络中至关重要。另一方面，许多流行的优化算法已被证明是对应于一些梯度流类型的发展方程。受一般发展方程数值方法的启发，我们引入了一个二阶随机龙格库塔法，并证明了它产生了一个一致的程序的损失函数的最小化。此外，在自适应框架中，它可以与随机梯度下降（SGD）耦合，以自动调整SGD的学习率，而不需要关于损失泛函的Hessian的任何附加信息。自适应SGD，称为SGD-G2，已在标准数据集上成功测试。
2020-02-20 cs.LG cs.NA math.NA
A tamed-adaptive Milstein scheme for stochastic differential equations with low regularity coefficients
针对低正则系数随机微分方程，提出驯化自适应Milstein格式，在增长条件下实现L2范数下(1+α)/2收敛速率，覆盖有限与无限区间。
2025-07-09 cs.NA math.NA math.PR
Adaptive timestepping strategies for nonlinear stochastic systems
The University of the West Indies（西印度群岛大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文提出了一类适用于非利普希茨漂移系数的随机微分方程自适应时间步长策略，证明了该策略下欧拉-马尔可夫方案的强收敛性，并展示了其在数值测试问题中的应用效果。
2016-10-13 cs.NA math.NA math.PR
Convergence analysis of the adaptive stochastic collocation finite element method
本文针对含参数系数的稳态扩散方程，分析结合参数域稀疏网格配点与空间域有限元、由参数及空间后验误差指标驱动的自适应随机配点算法的收敛性，证明其对有限维参数化的一般扩散系数可使误差估计趋于零，涵盖仿射与非仿射参数依赖问题。
2025-01-20 cs.NA math.AP math.NA
An adaptive time-stepping fully discrete scheme for stochastic NLS equation: Strong convergence and numerical asymptotics
本文针对带乘性噪声的随机非线性薛定谔方程，提出并分析了一种具有最优强收敛阶的自适应时步全离散格式.基于分裂技巧和自适应策略，得到了该问题数值解的$H^1$ -指数可积性，这是导出强收敛阶的关键.我们表明，该计划的强收敛顺序$\frac12$在时间和$2$在空间。为了研究数值解的渐近性态，我们建立了数值解的大偏差原理。这是关于漂移超线性增长的随机偏微分方程数值格式的大偏差原理研究的第一个结果。作为副产品，最终得到了数值解和精确解之间的质量误差。
2022-12-05 cs.NA math.NA math.PR
An adaptive Euler-Maruyama scheme for stochastic differential equations with discontinuous drift and its convergence analysis
本文研究了具有不连续漂移系数和（可能）退化扩散系数的随机微分方程的强近似问题，提出了一种自适应步长策略的显式欧拉-马约拉塔方案，实现了平均计算成本下的强收敛阶为1/2（至对数项），并通过数值例子验证了理论结果。
2019-04-24 cs.NA math.NA math.PR
Adaptive deep density approximation for stochastic dynamical systems
本文针对随机动力系统提出时间KRnet（tKRnet）显式密度模型，结合自适应配点生成和时间分解技术高效逼近Liouville方程解的概率密度函数，缓解维数灾难并改善长时间积分。
2024-05-05 cs.NA math.NA stat.ML
Adaptive Sampling Trust Region Optimization for Derivative-free Stochastic Functions and Deterministic Equality Constraints
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
针对含噪声零阶目标与可求导确定性等式约束的优化问题，提出ASTRO-DF的受限变体，证明其几乎必然收敛并在等式约束随机活动网络问题中取得数值结果。
2026-08-18 cs.NA math.NA math.OC
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Monte Carlo Integration with adaptive variance selection for improved stochastic Efficient Global Optimization
本文探讨了多维积分计算中计算量的最小化问题。更具体地说，提出了一种基于自适应方案的蒙特卡罗积分（MCI）误差方差选择方法。它使用随机有效全局优化（sEGO）框架来指导优化搜索。MCI被用来近似积分，因为它提供了积分误差的方差。在所提出的方法中，通过在MCI中设置目标方差，将积分误差的方差包含到随机克里格框架中。我们表明，MCI的误差方差可以由设计者控制，其值强烈影响的计算成本和探索能力的优化过程。因此，我们提出了一个自适应的计划，自动选择的目标方差在sEGO搜索。在全局优化随机基准函数和调谐质量阻尼器设计问题上，对所提出的自适应方法的鲁棒性和有效性进行了评估。结果表明，所提出的自适应方法始终优于常数方法和多起点最优化方法。此外，MCI的使用使得该方法能够应用于具有大量随机维数的问题。另一方面，该方法的主要限制是继承自sEGO加上克里格元模型：当设计变量的数量增加时，该方法的效率降低。
2019-06-26 cs.NA math.NA stat.AP
A stochastic Galerkin method with adaptive time-stepping for the Navier-Stokes equations
Department of Mathematics and Statistics, University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校数学与统计系）；The Center for Mathematics and Artificial Intelligence and the Center for Computational Fluid Dynamics, George Mason University（乔治梅森大学数学与人工智能中心及计算流体力学中心）
本文提出了一种适用于纳维-斯托克斯方程的随机伽辽金方法，结合自适应时间步长和预条件Krylov子空间方法，通过数值实验验证了其有效性。
2022-07-10 cs.NA math.NA math.PR
Adaptive Single- and Multilevel Stochastic Collocation Methods for Uncertain Gas Transport in Large-Scale Networks
在本文中，我们关注的是量化的不确定性，所产生的一天内的振荡，通过大规模的网络输送天然气的需求。的气体流动的短期瞬态动力学建模的层次的双曲系统的平衡法的基础上的等熵欧拉方程。我们扩展了一种新的自适应策略，解决椭圆偏微分方程的随机数据，最近提出和分析郎，Scheichl，和西尔维斯特[J.计算。物理、419：109692，2020]，不确定的气体运输问题。样本相关的自适应网格和模型的细化在物理空间中的自适应各向异性稀疏Scorpak网格在随机空间相结合。一个单级的方法，平衡的物理和随机逼近和多层次的方法，另外最大限度地减少计算成本的离散化误差被认为是。取自公共气体库的两个例子证明了从感兴趣的随机量计算的期望值的差错控制的可靠性，以及随机内插的进一步使用，例如，网络出口处的最小和最大压力值的近似密度函数。
2020-12-07 cs.CE cs.NA math.NA
Spatially Adaptive Stochastic Multigrid Methods for Fluid-Structure Systems with Thermal Fluctuations
University of California, Department of Mathematics（加州大学数学系）
针对微观机械系统中弹性结构与溶剂流体之间的流体动力学相互作用及热涨落，提出基于多重网格的随机数值方法，实现空间自适应网格下的高效计算，复杂度为O(N log(N))。
2010-03-13 cond-mat.soft cs.NA math.NA
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
High-Dimensional Stochastic Design Optimization by Adaptive-Sparse Polynomial Dimensional Decomposition
The University of Iowa（爱荷华大学）；Georgia Southern University（佐治亚南方大学）；San Diego State University（圣地亚哥州立大学）
本文提出了一种自适应稀疏多项式维度分解方法，用于复杂系统的随机设计优化，通过结合自适应稀疏PDD近似与分数函数，提高了统计矩和可靠性分析的效率，展示了在工程问题中的应用潜力。
2016-01-11 cs.NA math.NA math.OC
Sensitivity-driven adaptive sparse stochastic approximations in plasma microinstability analysis
量化现实世界问题的预测模拟中的不确定性至关重要-而且远非微不足道，主要是由于大量的随机参数和显著的计算要求。自适应稀疏网格近似是克服这些挑战的既定方法。然而，标准的自适应性是基于全局信息的，因此在实际应用中常见的输入方向的较低的内在随机维数或各向异性耦合等属性没有得到充分利用。我们提出了一种新的结构开发的维度自适应稀疏网格逼近方法，使用Sobol'分解在每个子空间中引入一个敏感性评分系统来驱动自适应过程。通过采用局部敏感性信息，我们探索和利用各向异性耦合的随机输入以及较低的内在随机维数。所提出的方法是通用的，即，它可以用任意的近似算子和点集来表示。特别地，我们考虑稀疏网格插值和伪谱投影构造（L）-Leja序列。通过将该方法应用于聚变等离子体中的回旋动力学微不稳定性的分析，证明了该方法的有效性和实用性，这是等离子体物理和聚变研究中的关键科学问题之一。在这种情况下，它示出了12 D参数空间可以被非常有效地扫描，获得超过一个数量级的计算成本超过标准的自适应方法。此外，它允许在高维等离子体微湍流问题，这将是几乎不可能解决的标准筛选方法的不确定性传播和灵敏度分析。
2019-11-21 cs.CE cs.NA math.NA
