Solving deterministic and stochastic equilibrium problems via augmented Walrasian
本文描述了一种求解确定性和随机Walras均衡模型的方法,该方法是将最大值点为平衡点的双函数与给定问题相联系.数值过程依赖于这个双函数的增广。所提出的程序的收敛性证明依赖于相关的片面收敛。在我们的模型的动态版本中,确定性和随机性,我们主要关注的是为代理人提供一种将商品从一个时间段转移到下一个时间段的机制的模型,可能只是储蓄,但也允许通过生产进行商品转换
2016-12-05 math.OC
The max-plus finite element method for solving deterministic optimal control problems: basic properties and convergence analysis
本文提出最大加Petrov-Galerkin有限元方法求解有限时域确定性最优控制问题,基于最大加变分公式,证明了误差界由值函数与其在最大加和最小加半模上的投影之差决定,并给出了两种基于哈密顿量的近似及其收敛性分析。
2006-03-27 cs.NA math.NA math.OC
A deterministic global optimization using smooth diagonal auxiliary functions
Università della Calabria(卡拉布里亚大学);Lobachevsky State University of Nizhni Novgorod(下诺夫哥罗德罗巴切夫斯基国立大学)
本文提出一种确定性'分最佳'算法,用于解决目标函数及其梯度均为黑盒函数的全局优化问题,通过高效的对角分区和光滑辅助函数实现收敛性分析与数值实验。
2015-09-15 cs.MS cs.NA math.NA
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化,允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出,并显示其亲和力的近端梯度。最后,对L1和全变差正则化问题进行了实验,并给出了相应的结果。
2021-10-20 cs.CV math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响,强调了分段线性函数等目标,这些目标可能不是弱凸的。我们专注于维度无关分析,稍微修改了Zhang等人(2020)的黑盒算法,该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本,实现$O(ε^{-5})$的任何差异的凸目标,和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量,相关的,有趣的是,负的一部分,定向二阶导数的目标,理解的分布意义上。
2022-10-07 math.OC
Sample Average Approximation for Black-Box VI
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对黑盒VI,提出基于样本平均近似(SAA)的方法,通过将随机优化转化为确定性问题并结合拟牛顿法与线搜索,避免了随机梯度上升的步长选择难题,实验证明其比现有方法更简单且性能更快。
2023-05-17 cs.LG math.OC stat.ML
Certificates of infeasibility via nonsmooth optimization
约束满足问题求解过程中的一个重要方面是确定排除盒,即不包含可行点的盒。本文提出了一个证明,不可行的寻找这样的盒子解决线性约束非光滑最优化问题。此外,所构造的证书可以用于通过求解非线性约束非光滑最优化问题来扩大排除框。
2015-06-27 math.OC
Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem under "Overparametrization" Condition
针对无法计算梯度但可计算目标函数值的过参数化凸随机优化问题,提出基于$l_2$随机化梯度近似的无偏Accelerated SGD算法,推广了AC-SA收敛性并分析了对抗噪声的最大容许水平。
2024-02-12 math.OC
CASL-HJX: A Comprehensive Guide to Solving Deterministic and Stochastic Hamilton-Jacobi Equations
本研究提出计算框架CASL-HJX,融合双曲PDE数值方法、算子分裂与隐式方法,可高效求解二维确定性与随机哈密顿-雅可比方程,适用于多领域,填补了确定性控制与随机模型间的空白。
2025-05-20 cs.CE cs.NA math.NA
Thinking Out of the Box: Hybrid SAT Solving by Unconstrained Continuous Optimization
Department of Computer Science, Rice University(计算机科学系,里士大学);Department of Applied Mathematics and Statistics, Colorado School of Mines(应用数学与统计系,科罗拉多矿业学院);Department of Mathematics, University of California, Los Angeles(数学系,加州大学洛杉矶分校)
本文针对混合SAT求解问题,提出基于惩罚项的无约束连续优化公式,并通过理论与实验证明Adam等无约束优化器能有效提升混合基准上的SAT求解性能。
2025-05-31 cs.AI cs.LG cs.LO
An extensive numerical benchmark study of deterministic vs. stochastic derivative-free global optimization algorithms
无导数全局优化的研究正在积极发展,今天有许多解决方案。因此,以前的和新兴的算法的实验比较必须保持最新。本文考虑了有界约束的、可能是黑箱的全局最优化问题的求解。它比较了64个无导数确定性算法对经典和国家的最先进的随机求解器。在确定性的,一个特别强调的是直接型,在那里,近年来,取得了重大进展。一组由著名的GKLS生成器生成的800个测试问题和397个来自DIRECTGOLib v1.2集合的传统测试问题被用于计算研究。超过239400求解器运行进行,需要超过531天的单CPU时间来完成它们。已经发现,确定性算法在GKLS型和低维问题上表现出色,而随机算法在高维问题上表现得更有效。
2022-09-13 cs.NA math.NA math.OC
Privacy-Preserving Black-Box Optimization (PBBO): Theory and the Model-Based Algorithm DFOp
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出DFOp算法,首次解决具有步加密和隐私保护的黑盒优化问题,结合无导数优化与隐私保护机制。
2025-12-28 cs.CR cs.NA math.NA
Stabilization of a delayed quantum system: the photon box case-study
本文研究了一种在微波腔中稳定任意光子数态的反馈方案。腔态的量子非破坏测量允许Fock态的非确定性制备。在这里,通过受控的场注入,我们希望使该制备过程确定性。该系统通过离散时间马尔可夫过程的发展,我们设计的反馈律应用李雅普诺夫技术。此外,在我们的反馈设计中,我们考虑到一个不可避免的纯延迟,我们补偿它的随机版本的史密斯预测。在通过仿真说明了所提出的反馈律的有效性之后,我们基于随机稳定性分析的工具提供了闭环系统的全局稳定性的严格证明。对线性化系统在目标状态附近的李雅普诺夫指数的简要研究表明了该方法的鲁棒性。
2010-11-10 math.OC
Derivative-Free Bound-Constrained Optimization for Solving Structured Problems with Surrogate Models
提出一种基于代理模型的无导数边界约束优化算法,通过低成本近似函数值和回归方案利用历史数据,在化学工程最小二乘问题中优于现有DFO算法。
2024-01-02 math.OC
A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中,我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题,如最大特征值极小化问题。确定性的一阶格式,如Nesterov的平滑技术或标准的Prox-Prox方法,需要在每次迭代时精确计算矩阵指数,限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性,其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
2011-12-06 math.OC
Solving Constrained CASH Problems with ADMM
IBM Research(IBM研究院)
CASH问题已经在机器学习(ML)流水线的自动化配置的背景下被广泛研究,并且各种求解器和工具包可用。然而,CASH求解器不直接处理黑盒约束,如公平性,鲁棒性或其他特定于域的自定义约束。我们提出了我们最近的方法[Liu等人,2020],利用ADMM优化框架将CASH分解为多个小问题,并演示ADMM如何促进黑盒约束的合并。
2020-07-11 cs.LG math.OC stat.ML
Derivative-free optimization methods
在科学、工程和人工智能应用中产生的许多最优化问题中,目标和约束函数仅作为不提供衍生信息的黑盒或模拟预言的输出而可用。这种设置需要使用无导数或零阶优化方法。我们对这些方法的发展进行了回顾和展望,重点强调了最近的发展和非线性最优化和机器学习文献中对这些问题的统一处理。我们根据黑盒函数的假设属性以及方法的特征对方法进行分类。我们首先概述了应用于无约束、非凸优化问题的确定性方法的主要设置,其中目标函数由确定性黑盒预言器定义。然后,我们讨论了随机方法的发展,方法,假设一些额外的结构的目标(包括凸性,可分性和一般的非光滑成分),方法的问题,其中的输出的黑盒预言是随机的,和处理不同类型的约束的方法。
2019-06-25 math.OC
A scaled conjugate gradient based direct search algorithm for high dimensional box constrained derivative free optimization
在这项工作中,我们提出了一个有效的方法来解决盒约束导数自由最优化问题涉及高维。所提出的方法依赖于探索可行域使用直接搜索方法的基础上缩放共轭梯度与二次插值模型。对不同维数的试验问题进行了大量的数值计算,结果表明所提出的无导数优化方法具有良好的性能。
2019-01-16 math.OC
Volume of quasi-homogeneous sublevel sets: Two linear algebra deterministic algorithms with convergence rates
LAAS-CNRS, University of Toulouse(法国图卢兹大学 LAAS-CNRS);Faculty of Electrical Engineering, Czech Technical University in Prague(捷克布拉格捷克理工大学电气工程学院);Toulouse School of Economics(法国图卢兹经济学院)
针对正拟齐次多项式的单位子水平集体积计算问题,提出两种仅依赖数值线性代数的确定性算法,分别以多项式和指数速率收敛,改进了多变量矩-SOS体积层级的收敛速率。
2026-08-03 math.OC
META-SMGO-$Δ$: similarity as a prior in black-box optimization
Politecnico di Milano(米兰理工大学);Eindhoven University of Technology(埃因霍温理工大学)
针对实际中常反复求解相似全局优化问题的情况,本文将元学习思路融入SMGO-$Δ$方法,利用相似经验先验高效求解新问题,通过基准算例验证了实际效果并给出性能理论界。
2023-04-30 cs.LG cs.SY eess.SY
Global Deterministic Optimization with Artificial Neural Networks Embedded
人工神经网络(ANN)用于各种应用中,用于数据驱动的黑盒建模和后续优化。在这里,我们提出了一个有效的方法,确定性全局优化的人工神经网络嵌入最优化问题。所提出的方法基于在缩减空间中使用McCormick松弛的算法的松弛[ \textit{SIOPT},20(2009),pp. 573-601],包括ANN的非线性激活函数的凸包络和凹包络。最优化问题使用我们内部的全局确定性求解器MAiNGO解决。所提出的方法的性能显示在四个优化的例子:说明性功能,发酵过程,压缩机厂和化工过程优化。结果表明,计算解决方案的时间是有利的相比,全球通用的优化求解器BARON。
2018-10-15 math.OC
Deterministic Team Problems with Signaling Incentive
本文考虑线性二次团队判定问题,其中团队中的参与者通过他们的决策影响彼此的信息结构。而随机版本的问题是众所周知的是复杂的非线性最优解,很难找到,确定性的对应被证明是易于处理的。我们表明,在一些假设的权重矩阵和信令信道,线性决策是最佳的,可以找到有效地解决一个半定的计划。
2013-02-03 math.OC
Solving Stochastic Constraints by Oracle-based Gradient Descent and Interval Arithmetic
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, University of Chinese Academy of Sciences(中国科学院软件研究所)
本文提出一种新框架,通过结合随机优化与符号技术,利用基于Oracle的随机梯度下降寻找高质量参数候选,结合区间算术计算严格认证的下界,以解决随机约束问题。
2026-04-19 cs.LO cs.SC math.OC
An Adaptive Stochastic Sequential Quadratic Programming with Differentiable Exact Augmented Lagrangians
考虑求解具有随机目标和确定性等式约束的非线性最优化问题。我们假设目标的评估,梯度和Hessian是不可访问的,而可以通过例如子采样来计算它们的随机估计。我们提出了一种基于序列二次规划(SQP)的随机算法,该算法使用可微的精确增广拉格朗日函数作为评价函数。为了激励我们的算法设计,我们首先回顾和简化了一个老的SQP方法\citep{Lucidi1990Recursive}解决确定性问题,这是我们的随机算法的骨架。基于简化的确定性算法,我们提出了一种非自适应SQP处理随机目标,其中的梯度和Hessian被替换为随机估计,但步长是确定的和预先指定的。最后,我们将最近的随机线搜索过程\citep{Paquette2020Stochastic}到非自适应随机SQP自适应地选择随机步长,从而导致自适应随机SQP。证明了非自适应和自适应SQP方法的全局“几乎必然“收敛性。在CUTEst测试集上对非线性问题的数值实验表明了自适应算法的优越性。
2022-06-06 cs.NA math.NA math.OC
Non-convex Quadratic Programming Using Coherent Optical Networks
我们研究了利用相互作用量子光学振荡器网络求解连续非凸优化问题的可能性。我们提出了一个本地编码的连续变量与一组量子光学模式的正交运营商的模拟信号。光耦合的模式和噪声引入的真空波动从外部水库或弱测量的模式被用来光学模拟一组连续的随机变量的扩散过程。该过程运行足够长的时间,以使其松弛到定义在连续域上的能量势的稳定状态。作为第一个演示,我们数值基准解决箱约束二次规划(BoxQP)问题使用这些设置。我们认为延迟线和测量反馈的实验变种。我们的基准测试结果表明,在这两种情况下,光网络能够解决BoxQP问题的速度比最先进的经典启发式算法快三个数量级。
2023-03-08 cs.DS math.OC quant-ph
APP-Hom Method for Box Constrained Quadratic Programming
基于求解箱约束二次规划(BQP)问题的邻近点(PP)算法的$Q$ -线性收敛性分析和线性收敛因子估计,提出了求解BQP问题的加速邻近点(APP)算法.针对APP算法中每步求解的严格凸BQP问题,给出了一种跟踪参数二次规划解路径的同伦方法。以APP算法为外迭代,同伦方法为内迭代的算法称为APP-Hom。内部同伦方法是有效的,通过实施,一个热启动技术的基础上的加速近端梯度(APG)的方法,一个$\varepsilon$ -松弛技术检查素数和对偶的可行性和确定/校正的活动集。对随机生成的稠密和稀疏BQP、图像去模糊产生的BQP、SVM中的BQP以及离散化障碍问题、弹塑性扭转问题和滑动轴承问题的数值试验表明,APP算法比PP算法所需的步骤少得多,同伦方法对严格凸BQP非常有效,因此,APP-Hom对非凸BQP非常有效。
2020-01-14 math.OC
Stochastic Optimization with Parametric Cost Function Approximations
一个广泛使用的启发式求解随机最优化问题是使用确定性滚动时域过程,它已被修改,以处理不确定性(如缓冲库存,进度松弛)。这种方法因其使用随机问题的确定性近似而受到批评,这是随机规划的主要动机。我们通过确定确定性和随机性方法作为解决随机基础模型(可能是模拟器或真实世界)的策略来重新定义这一争论。随机前瞻模型(随机规划)需要一系列的近似,以保持问题易于处理。相比之下,所谓的确定性模型实际上是参数修改的费用函数近似,其使用对目标函数和/或约束的参数调整。然后,这些参数在随机基础模型中进行优化,该模型不需要进行随机规划所需的任何类型的简化。我们正式提出了这种策略,并描述了一个基于梯度的随机搜索策略,以优化参数。
2017-03-14 math.OC
A Quadratic Programming Algorithm with $O(n^3)$ Time Complexity
本文提出一种求解盒约束二次规划的可行内点法,通过近似牛顿步和秩1更新实现O(n^3)数据无关时间复杂度,并证明其迭代次数为O(√n)。
2025-07-06 cs.SY eess.SY math.OC
Adjoint-based gradient estimation from gray-box solutions of unknown conservation laws
许多工程应用可以表述为受守恒律约束的优化。这种优化可以有效地解决伴随方法,计算梯度的目标设计变量。传统上,伴随方法一直未能在许多“灰箱”守恒律模拟器中实现。在灰箱模拟器中,守恒律的解析和数值形式是未知的,但相关的流动量的完整解是可用的。在本文中,我们考虑的情况下,通量函数是未知的。本文介绍了一种由解推导出通量函数,然后求解推导出的守恒律的伴随方程来估计梯度的方法。该方法在两个流动问题的灵敏度分析中得到了验证。
2015-12-22 math.OC
A Non-Asymptotic Theory of Seminorm Lyapunov Stability: From Deterministic to Stochastic Iterative Algorithms
Purdue(普渡大学);Amazon Web Services, Inc.(亚马逊网络服务公司);Georgia Tech(佐治亚理工学院)
本文建立半范数压缩算子在确定性与随机迭代下的非渐近稳定性理论,并将其用于统一推导平均奖励强化学习算法的有限样本界。
2025-02-20 cs.LG math.OC stat.ML
Deterministic Nonsmooth Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校);Weizmann Institute of Science(魏茨曼科学研究院)
研究非光滑非凸Lipschitz函数的优化复杂度,证明确定性算法存在Ω(d)下界且需访问函数值,但通过为ReLU网络提出一种确定性平滑方法,实现了首个无维度确定性优化算法。
2025-05-02 cs.LG math.OC
The Black-Box Optimization Problem: Zero-Order Accelerated Stochastic Method via Kernel Approximation
本文针对无法计算梯度的黑盒优化问题,提出了一种基于核近似的零阶加速随机梯度下降方法(ZO-AccSGD),该方法利用目标函数的高阶平滑性改进了SOTA算法的迭代复杂度并分析了最大允许噪声水平。
2024-09-26 math.OC
ZO-AdaMM: Zeroth-Order Adaptive Momentum Method for Black-Box Optimization
University of Minnesota(明尼苏达大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Northeastern University(东北大学);Princeton University(普林斯顿大学)
自适应动量方法(AdaMM)利用过去的梯度同时更新下降方向和学习率,已成为解决机器学习问题的最流行的一阶优化方法之一。然而,AdaMM是不适合解决黑盒优化问题,显式梯度形式是困难的或不可行的。在本文中,我们提出了一个零阶AdaMM(ZO-AdaMM)算法,推广AdaMM的梯度自由制度。我们发现,ZO-AdaMM的凸和非凸优化的收敛速度大致是$O(\sqrt{d})$的一个因素比一阶AdaMM算法,其中$d$是问题的大小。特别是,我们提供了一个深刻的理解,为什么Mahalanobis距离事项的ZO-AdaMM和其他AdaMM类型的方法的收敛。作为一个副产品,我们的分析使第一步了解自适应学习率方法的非凸约束优化。此外,我们展示了两个应用程序,设计每图像和通用的对抗攻击从黑盒神经网络,分别。我们在ImageNet上进行了大量的实验,并根据经验表明,与$6$最先进的ZO优化方法相比,ZO-AdaMM收敛到高精度的解决方案要快得多。
2019-10-16 cs.LG math.OC stat.ML
QUBO formulation for the Snake-in-the-box and Coil-in-the-box problems
本文为 SITB、CITB 及最大公共诱导子图问题提出并证明了新的 QUBO 建模,且经经典与量子求解器验证可求得至多 5 维的最优解。
2024-09-05 math.CO math.OC quant-ph
Solving The Dynamic Volatility Fitting Problem: A Deep Reinforcement Learning Approach
本文提出利用深度强化学习(DRL)方法,特别是DDPG和SAC的变体,解决股票衍生品中的动态波动率拟合问题,证明其效果不逊于标准算法且更适合复杂目标函数与在线学习。
2024-10-15 math.OC math.PR q-fin.CP
Travel the Same Path: A Novel TSP Solving Strategy
University of Michigan(密歇根大学)
本文提出了一种求解旅行商问题的新策略,这是一个著名的组合优化问题。特别是,我们考虑了模仿学习框架,它有助于确定性算法在需要时做出正确的选择,从而在保持解决方案的准确性的同时加快速度,而不会受到不可预测性和潜在的大偏差的影响。此外,我们证明了一个强大的泛化能力的图神经网络下训练的模仿学习框架。具体来说,该模型能够比基线更快地解决大型TSP实例,而在训练时只看到小型TSP实例。
2022-10-12 cs.AI cs.LG math.OC