A note on the complexity of random subspace model-based methods for derivative-free optimization
University of Oxford（牛津大学）；University of Melbourne（墨尔本大学）
该研究针对无导数优化，证明对Johnson-Lindenstrauss变换重缩放后，可改进基于随机子空间模型的DFO算法最坏情况评估复杂性界，且与同类最优界匹配。
2026-10-20 math.OC
Augmenting Subspace Optimization Methods with Linear Bandits
本文提出了一种利用线性UCB机制增强子空间优化方法，以提高无导数优化和前向模式微分设置下的计算效率。
2025-11-24 math.OC
$Q$-fully Quadratic Modeling and its Application in a Random Subspace Derivative-free Method
Department of Mathematics, University of British Columbia（不列颠哥伦比亚大学数学系）
本文提出基于二次逼近的随机子空间信任区域算法，无需特殊形式的目标函数，研究样本集几何、逼近误差界及子空间质量，提供$Q$-fully quadratic模型构造技术，并给出算法的几乎全球收敛性及迭代次数上界，通过数值实验比较线性与二次逼近模型的性能。
2023-12-05 math.OC
Relationships between full-space and subspace quadratic interpolation models and simplex derivatives
University of British Columbia（不列颠哥伦比亚大学）
本文研究了全空间与子空间二次插值模型及简单形导数之间的关系，推导了转换公式并分析了其在优化中的应用。
2026-02-10 cs.NA math.NA math.OC
Scalable Second-Order Optimization Algorithms for Minimizing Low-rank Functions
本文提出三次正则化算法的随机子空间变体，依据投影二阶导数矩阵的秩自适应确定子空间规模，在低秩函数优化中保持最优全局收敛速率并提升可扩展性。
2025-01-08 math.OC
A Noise-Aware Scalable Subspace Classical Optimizer for the Quantum Approximate Optimization Algorithm
ANASTAARS通过自适应随机子空间策略提升QAOA参数优化效率，有效应对噪声和大规模层问题，展示出在近期量子计算中的可扩展性。
2025-07-15 math.OC quant-ph
Projected Stein Variational Newton: A Fast and Scalable Bayesian Inference Method in High Dimensions
提出了一种用于高维参数空间贝叶斯推理的快速、可扩展的变分方法，我们称之为投影Stein变分牛顿（pSVN）方法.我们利用内在的低维几何结构的后验分布在高维参数空间通过其Hessian（的日志后验）运营商和执行并行更新的参数样本投影到一个低维子空间的SVN方法。该子空间是自适应构造的平均海森在当前样本的特征向量。我们证明了所提出的方法的快速收敛性和其可扩展性的参数，样本和处理器内核的数量。
2020-02-09 math.OC
A stochastic subspace approach to gradient-free optimization in high dimensions
提出一种将梯度投影到低维随机子空间的无梯度随机下降算法，仅需少量方向导数，给出凸性下收敛证明，并在机器学习与形状优化问题上优于多种基线方法。
2021-05-06 math.OC
Powell-Style Model-Based Derivative-Free Optimization with Complexity Guarantees
Department of Applied Mathematics, University of Colorado, Boulder（科罗拉多大学博尔德分校应用数学系）；School of Industrial and Systems Engineering, Georgia Tech（佐治亚理工学院工业与系统工程学院）
本文提出Powell风格的基于模型的信赖域导数无优化方法变体，推导其复杂度界限，并在随机子空间和噪声场景下验证，实现理论与实践性能的对比。
2026-09-10 math.OC
Subspace accelerated measure transport methods for fast and scalable sequential experimental design, with application to photoacoustic imaging
提出一种基于导数上界与条件测度传输的序贯最优实验设计框架，通过似然信息子空间降维，高效近似增量期望信息增益，可扩展至高维问题，并在光声成像等PDE反问题中验证有效性。
2025-02-27 cs.NA math.NA math.OC
MpSub: A Momentum $p$-Dimensional Subspace Trust-Region Method for Derivative-Free Fine-Tuning of Large Language Models
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出动量p维子空间信赖域方法（MpSub），用于大语言模型无导数微调，无需学习率，在匹配预算下达到与调优MeZO相当的准确率。
2026-09-09 cs.LG math.OC
Scalable Derivative-Free Optimization for Nonlinear Least-Squares Problems
Mathematical Institute, University of Oxford（牛津大学数学研究所）；The Alan Turing Institute for Data Science（艾伦·图灵数据科学研究所）；Big Data Institute, University of Oxford（牛津大学大数据研究所）；Mathematical Sciences Institute, Australian National University（澳大利亚国立大学数学科学研究所）
无导数或零阶优化（DFO）最近因其解决包括机器学习在内的各种应用领域中的问题的能力而受到关注，特别是涉及随机和/或计算昂贵的目标。在这项工作中，我们开发了一种新的基于模型的DFO方法来解决非线性最小二乘问题。我们通过使用草图方法在观测空间中进行降维来改进最先进的DFO，避免了构建完整的局部模型。我们的方法有一个每次迭代的计算成本，这是线性的问题尺寸在大数据制度，数值证据表明，与现有的软件相比，它大大提高了运行时性能超定最小二乘问题。
2020-08-01 cs.LG math.OC
Randomized subspace gradient method for constrained optimization
本文提出将梯度投影到活动约束梯度张成子空间的随机投影上的随机子空间梯度方法，用于高维约束优化，理论证明其可比确定性版本采用更大步长，并在梯度难以直接获取时具有时间复杂度优势。
2023-07-07 math.OC
Optimization by moving ridge functions: Derivative-free optimization for computationally intensive functions
针对无约束和有界约束优化问题，提出了一种新的无导数优化算法--移动岭函数优化算法（OMoRF）。该算法将置信域方法与基于输出的降维方法相结合，以加速基于模型的优化策略的收敛。降维子空间随着置信域在函数域中的移动而更新，从而允许OMoRF应用于没有已知全局低维结构的函数。此外，它的低计算要求使其能够在优化高维函数时取得快速进展。一组测试问题的中高维和高维设计最优化问题的性能进行了检查。结果表明，OMoRF优于其他常见的衍生物自由最优化方法，即使在没有底层的全球低维结构是已知的功能。
2021-01-06 math.OC
Accurate, scalable, and efficient Bayesian optimal experimental design with derivative-informed neural operators
针对高维贝叶斯最优传感器设计计算昂贵的问题，本文提出基于导数信息维度归约与 DINO 替代模型的框架，并结合改进交换贪心算法实现误差可控、可扩展且超1000倍加速。
2024-09-09 cs.CE math.OC stat.ME
Scalable Acceleration for Classification-Based Derivative-Free Optimization
Supreium Technology（北京 Supreium 科技公司）
针对无法获取导数信息的优化问题，本文重新分析SRACOS的计算复杂度上界，提出加入随机区域收缩步骤的RACE-CARS算法，通过定理证明加速效果，并经合成函数与LMaaS黑盒调优实验验证效率，提供超参数调优指导。
2024-12-19 cs.LG cs.NA math.NA
An optimally fast objective-function-free minimization algorithm using random subspaces
本文提出一种用于无约束非凸优化的无目标函数随机子空间极小化算法，证明其随机近似不影响收敛性与评估复杂度，并验证使用近似 Hessian 矩阵的变体及二阶导数设置能显著提升性能且极具竞争力。
2025-01-30 math.OC
Derivative-Free Optimization via Adaptive Sampling Strategies
针对无梯度信息的无约束随机优化问题，提出融合自适应采样的无导数优化框架，涵盖多种梯度估计技术，给出理论收敛与复杂度分析，并在两类问题上验证了实证性能。
2024-04-18 math.OC
Scalable Mean-Variance Portfolio Optimization via Subspace Embeddings and GPU-Friendly Nesterov-Accelerated Projected Gradient
本文提出基于sketch的因子降维和GPU加速的Nesterov加速投影梯度算法，解决大规模约束均方差投资组合优化问题，通过子空间嵌入、谱截断和岭稳定化构建有效因子，并在GPU上高效求解，实验显示其在真实数据上运行时间显著减少。
2026-04-03 cs.CE cs.DC cs.LG
Model-Driven Subspaces for Large-Scale Optimization with Local Approximation Strategy
本文提出模型驱动子空间算法MD-LAMBO，结合局部逼近策略求解大规模优化问题，理论分析保证收敛，数值实验显示其优势。
2025-09-10 cs.NA math.NA math.OC
Residual subspace evolution strategies for nonlinear inverse problems
SolarSud T.R.E.
本文提出残差子空间演化策略，通过无导数方法高效解决非线性反问题，减少残差并在非光滑或高协方差情况下表现优异。
2025-12-14 cs.LG math.OC
A Riemannian gossip approach to subspace learning on Grassmann manifold
The University of Electro-Communications（电气通信大学）
本文主要研究Grassmann流形上的子空间学习问题。在这种情况下，有趣的应用包括低秩矩阵完成和低维多元回归等。出于对隐私的关注，我们的目标是在分散的环境中解决这些问题，在这种环境中，多个代理只能访问（并解决）整个优化问题的一部分。代理相互通信以达成共识，即，通过流言协议达成一个共同的数量我们提出了一种新的成本函数的子空间学习的格拉斯曼流形上，这是一个加权和的几个子问题（每个解决的代理）和代理之间的通信成本。成本函数具有有限和结构。在所提出的建模方法中，不同的代理学习个别的局部子空间，但他们实现全局学习子空间的渐近共识。该方法具有可扩展性和并行性。数值实验表明，所提出的分散算法的各种矩阵完成和多元回归基准的有效性。
2018-02-28 cs.LG math.OC
Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
NAG Ltd（NAG有限公司）
本文提出ARC算法的随机子空间变体，仅利用导数的低维投影计算步长，在保持最优全局收敛速率的同时提升可扩展性，并可自适应低秩函数的真实秩。
2025-01-16 cs.LG cs.NA math.NA
