Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL(洛桑联邦理工学院)
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络,这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$,恒定的一阶和二阶矩参数,并可能无界的优化域。最后,我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF(挪威科学与工业研究基金会);ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学);TIFR Centre for Applicable Mathematics(塔塔基础研究院应用数学中心)
提出了一种新的主动学习算法--迭代代理模型优化算法(ISMO),用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络,其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下,我们证明了所得到的优化收敛指数快速(和指数衰减方差),相对于训练样本的数量增加。最优控制,参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论,并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators
Technical University of Munich(慕尼黑工业大学)
针对高维随机黑盒模拟器参数的约束优化问题,提出Scout-Nd算法,通过高效估计梯度、降低噪声及多保真度方案减少计算量,在标准基准上表现优于现有方法。
2023-11-25 cs.LG math.OC stat.ML
On Riemannian Approach for Constrained Optimization Model in Extreme Classification Problems
Internation Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
我们提出了一种新的黎曼方法来解决极端多标签分类问题,利用稀疏低维局部嵌入模型的几何结构。将约束最优化问题表示为矩阵流形上的最优化问题,并采用黎曼最优化方法求解。该方法在几个真实世界的大规模多标签数据集上进行了测试,并通过数值实验证明了其有效性。数值实验表明,该方法是最快的训练和最小的嵌入式方法中的模型大小。本文还简要介绍了所提出的黎曼最优化方法的收敛性证明。
2021-09-30 cs.LG cs.NA math.NA
End-to-End Constrained Optimization Learning: A Survey
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
本文综述了利用机器学习解决约束优化问题的最新尝试。它的重点是调查的工作集成组合求解器和优化方法与机器学习架构。这些方法有望开发新的混合机器学习和优化方法,以预测组合问题的快速、近似解决方案,并实现结构逻辑推理。本文提出了一个概念性的审查,在这一新兴领域的最新进展。
2021-03-30 cs.AI cs.LG
A Constrained Optimization Perspective of Unrolled Transformers
研究提出训练变压器的约束优化框架,通过对目标函数施加逐层下降约束及采用原对偶训练方案,应用于视频去噪和文本分类任务,使模型对扰动更鲁棒,分布外泛化能力更强,且保持分布内性能。
2026-07-08 cs.LG
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University(得克萨斯农工大学);Purdue University(普渡大学)
本文研究贝叶斯框架下机会约束随机优化问题,证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率,同时证明问题的凸可行性,并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Cooper: A Library for Constrained Optimization in Deep Learning
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
Cooper 是一个开源库,通过实现多种基于拉格朗日的一阶更新方案,将约束优化算法与 PyTorch 的自动微分及深度学习架构无缝结合,适用于深度学习及一般非凸连续约束优化问题。
2025-04-01 cs.LG cs.MS
Distributionally-Constrained Policy Optimization via Unbalanced Optimal Transport
Rutgers University-Newark(罗格斯大学纽瓦克分校)
我们考虑强化学习中的约束策略优化,其中约束以状态访问和全局动作执行的边缘形式存在。鉴于这些分布,我们制定政策优化的空间占用措施的不平衡最优运输。我们提出了一个通用的RL目标的基础上Bregman分歧,并使用Dykstra的算法进行优化。该方法允许一个演员批评算法时,状态或动作空间是大的,只有样本的边缘。我们讨论了我们的方法的应用程序,并提供演示,以显示我们的算法的有效性。
2021-02-15 cs.LG
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK(香港中文大学);Shenzhen University(深圳大学);University of Chicago(芝加哥大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对约束多目标优化问题,提出COMBOO算法,结合乐观约束估计与水平集主动学习,实现高效可行区域探索,并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Multi-objective Ranking via Constrained Optimization
Amazon(亚马逊);University of Washington(华盛顿大学)
在本文中,我们介绍了一个增广拉格朗日为基础的方法,将多个目标(MO)的搜索排名算法。优化生产任务是建立生产排序模型的基本要求和现实要求。所提出的方法制定MO约束优化和解决问题的流行的Boosting框架-我们的工作的一个新的贡献。此外,我们提出了一个程序来设置所有的优化参数的问题。实验结果表明,该方法成功地实现了MO标准比现有的方法更有效。
2020-02-13 cs.IR cs.LG
Implicit Rate-Constrained Optimization of Non-decomposable Objectives
Google Research(谷歌研究院)
我们考虑一个流行的家庭的约束优化问题中出现的机器学习,涉及优化一个不可分解的评价指标与一定的阈值形式,同时限制另一个度量的兴趣。这样的问题的例子包括优化假阴性率在一个固定的假阳性率,优化精度在一个固定的召回率,优化区域下的精度召回率或ROC曲线等,我们的关键思想是制定一个率约束优化,表示阈值参数作为一个函数的模型参数通过隐函数定理。我们将展示如何使用标准的基于梯度的方法来解决由此产生的优化问题。基准数据集上的实验表明,我们提出的方法比现有的最先进的方法,这些问题的有效性。所提出的方法的代码可在https://github.com/google-research/google-research/tree/master/implicit_constrained_optimization上获得。
2021-07-29 cs.LG stat.ML
Clustering using Max-norm Constrained Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛,并研究我们的方法的有效性,和其他相关的凸松弛,相比其他聚类方法。
2012-04-13 cs.LG stat.ML
A Constrained-Optimization Approach to the Execution of Prioritized Stacks of Learned Multi-Robot Tasks
University of Waterloo(滑铁卢大学)
本文提出了一种约束优化配方的优先执行学习机器人任务。该框架适用于执行由价值函数编码的任务,例如使用强化学习范式学习的任务。通过使用控制李雅普诺夫函数的凸优化程序的约束的任务进行编码。此外,为了指定任务之间的相对优先级,强制执行附加约束。所提出的方法是展示在模拟使用一组移动机器人执行协调的多机器人任务。
2023-01-13 cs.LG cs.RO cs.SY
Constrained Bayesian Optimization with Max-Value Entropy Search
Amazon(亚马逊)
贝叶斯优化(BO)是一种基于模型的方法,用于顺序优化昂贵的黑盒函数,例如深度神经网络关于其超参数的验证误差。在许多现实世界的情况下,优化进一步受到先验未知的约束。例如,当模型太大时,训练深度网络配置可能会失败,并出现内存不足错误。在这项工作中,我们专注于一个一般的配方高斯过程为基础的BO连续或二进制的约束。我们提出了约束最大值熵搜索(cMES),一种新的信息理论为基础的采集功能,实现这一配方。我们还重新审视的有效性,采用快速计算的MES采集功能的因式分解近似,经验表明,这会导致不准确的结果。在一组广泛的现实世界的约束超参数优化问题,我们表明,cMES相比有利的先前的工作,同时更简单的实现和速度比其他约束扩展熵搜索。
2019-10-15 cs.LG stat.ML
A Nonmyopic Approach to Cost-Constrained Bayesian Optimization
SigOpt: An Intel Company(SigOpt(英特尔旗下公司));Facebook(脸书);Amazon(亚马逊)
贝叶斯优化(BO)是一种流行的方法,用于优化昂贵的评估黑盒函数。BO预算通常在迭代中给出,这隐含地假设每个评估具有相同的成本。事实上,在许多BO应用程序中,评估成本在搜索空间的不同区域中变化很大。在超参数优化中,神经网络训练所花费的时间随着层的大小而增加;在临床试验中,药物化合物的货币成本不同;在最优控制中,控制动作具有不同的复杂性。成本约束BO测量与替代成本度量(诸如时间、金钱或能量)的收敛,标准BO方法的样本效率不适合于这些成本度量。对于成本受限的BO,成本效率远比样本效率重要。在本文中,我们制定成本约束BO作为一个约束马尔可夫决策过程(CMDP),并开发一个有效的推出近似的最佳CMDP政策,同时考虑到成本和未来的迭代。我们验证了我们的方法收集的超参数优化问题,以及传感器组选择的应用。
2021-06-10 cs.LG stat.ML
Feature Extraction for Universal Hypothesis Testing via Rank-constrained Optimization
Dept. of ECE and CSL, UIUC(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系及协调科学实验室)
本文研究了在备择假设模型不完善且观测空间较大的情况下,通用假设检验问题的检验构造问题。不匹配通用测试是用于此目的的基于特征的技术。在以前的工作中,它表明,它的有限观察性能可以比(最佳)Hoeffding测试,良好的性能取决于关键的功能的选择。本文的贡献包括:1)得到了指数族中ε可区别分布个数的界。2)这激发了一个新的框架特征提取,铸造作为一个秩约束的优化问题。3)我们得到了一个基于梯度的算法来解决秩约束优化问题,并证明了其局部收敛性。
2010-06-13 cs.IT cs.LG math.IT
humancompatible.train: Implementing Optimization Algorithms for Stochastically-Constrained Stochastic Optimization Problems
Artificial Intelligence Center, Czech Technical University in Prague(捷克技术大学布拉格分校人工智能中心)
本文提出humancompatible.train,一个基于PyTorch的可扩展Python包,用于实现随机约束随机优化算法,并通过公平性约束任务验证其有效性。
2025-09-25 cs.LG math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University(斯坦福大学)
研究了一类具有凸复合结构的(潜在非凸)约束最优化问题。通过一种新的分析非光滑几何,我们表明,近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下,我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构,我们精确地确定了因子分解问题中二次增长的条件,这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems
ExxonMobil Research and Engineering(埃克森美孚研究与工程公司)
讨论了一种外逼近引导的线性单元修正约束神经网络反问题的最优化方法。约束神经网络逆问题指的是一个最优化问题,用于找到给定训练神经网络的最佳输入值集合,以便在输入值存在约束的情况下产生预定义的期望输出。分析了具有修正激活单元的神经网络反问题的最优解的特点,并利用其特点提出了一种外逼近算法。所提出的外近似引导优化包括原始和对偶阶段。原始阶段将邻近曲率与邻近外近似相结合以加快该过程。对偶阶段识别并利用局部凸区域的结构来提高收敛到局部最优解的能力。最后通过计算实验验证了该算法相对于投影梯度法的优越性。
2020-02-24 cs.LG math.OC
CONFIG: Constrained Efficient Global Optimization for Closed-Loop Control System Optimization with Unmodeled Constraints
EPFL(洛桑联邦理工学院);Swiss Federal Laboratories for Materials Science and Technology(瑞士联邦材料科学与技术研究所)
本文将一种简单有效的约束全局优化算法CONFIG算法应用于具有未建模约束的未知系统的闭环控制性能优化问题。现有的基于高斯过程的闭环最优化方法,或者只能保证局部收敛(例如,SafeOPT),或者没有已知的最优性保证(例如,约束的预期改进),而最近推出的CONFIG算法已被证明享有理论上的全局最优性保证。在这项研究中,我们证明了CONFIG算法在应用中的有效性。该算法首先应用于一个人工数值基准问题,以证实其有效性。然后将其应用于连续搅拌釜式反应器的经典约束稳态最优化问题。仿真结果表明,我们的CONFIG算法可以实现性能竞争的流行的CEI(约束预期改善)算法,它没有已知的最优性保证。因此,CONFIG算法提供了一种新的工具,具有可证明的全局最优性保证和有竞争力的经验性能,以优化具有软未建模约束的系统的闭环控制性能。最后,但并非最不重要的是,开放的信源编码作为Python包提供,以方便未来的应用程序。
2022-12-18 cs.LG cs.SY eess.SY
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University(上海交通大学);ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题,本文提出ACPO,通过对抗式交替优化实现奖励提升与成本预算自适应,并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Efficient Gradient Approximation Method for Constrained Bilevel Optimization
针对非凸不可微的约束双层优化问题,提出通过计算当前估计邻域内代表性梯度确定下降方向的梯度近似法,证明其渐近收敛于Clarke平稳点集,经超参数优化与元学习实验验证有效。
2023-02-03 cs.LG
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country(巴斯克大学);Lehigh University(理海大学)
本文提出了一种使用深度强化学习(RL)解决约束组合优化问题的框架。为此,我们扩展了神经组合优化(NCO)理论,以处理其制定的约束。值得注意的是,我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程(CMDP)。在该上下文中,基于与环境的交互迭代地构造解决方案。该模型,除了奖励信号,依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外,在优化过程中访问完整的状态表示允许我们依赖于无内存架构,增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比,经典的启发式,元启发式,约束编程(CP)求解器的优越性。
2020-06-22 cs.LG stat.ML
Reward Constrained Policy Optimization
Technion Israel Institute of Technology(以色列理工学院);DeepMind(深度思维)
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励,它经常学会利用奖励信号中的漏洞和错误指定,从而导致不必要的行为。虽然约束可以解决这个问题,但对于一般约束没有封闭形式的解决方案。在这项工作中,我们提出了一种新的多时间尺度的约束策略优化方法,称为“奖励约束策略优化”(RCPO),它使用一个替代的惩罚信号,以指导政策对一个约束满足。我们证明了我们的方法的收敛性,并提供了经验证据,它的能力,训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束,RMDPs可以在模型不确定性下表现良好。在本文中,我们建议将这两个框架结合起来,产生强大的约束MDPs(RCMDPs)。我们的动机是开发一个框架,可以满足安全约束,同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标,推导出梯度更新公式来优化这个目标,然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs,产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
Constrained Policy Optimization via Bayesian World Models
ETH Zurich(苏黎世联邦理工学院)
在高风险的现实世界应用中部署强化学习时,提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA,一种新的基于模型的方法,通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型,并利用由此产生的不确定性,以最大限度地提高乐观的任务目标的上限,以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO