H$_2$ Optimal Model Order Reduction over a Finite Time Interval
对于一个时间有限的版本的H $_2$范数定义在一个固定的时间间隔,我们得到一个封闭的形式表达的梯度。在此基础上,我们利用梯度提出了一种限时模型降阶方法。该方法涉及到获得一个减少的模型,最大限度地减少了时间限制的H $_2$规范,制定为一个非线性优化问题。使用标准优化软件解决优化问题。
2022-01-03 cs.SY eess.SY math.OC
A Regularized Limited Memory BFGS method for Large-Scale Unconstrained Optimization and its Efficient Implementations
Kyoto University(京都大学)
有限记忆BFGS(L-BFGS)方法是求解大规模无约束优化问题的常用方法之一。由于标准的L-BFGS方法使用线搜索来保证其整体收敛,因此它有时需要大量的函数求值。为了克服这个困难,我们提出了一个新的L-BFGS与一定的正则化技术。在通常的假设下,证明了算法的整体收敛.为了使该方法更加鲁棒和有效,我们还扩展了几个技术,如非单调技术和同时使用的Wolfe线搜索。最后,我们给出了一些数值结果测试问题在CUTEst,这表明所提出的方法是强大的解决问题的数量。
2021-01-12 cs.LG math.OC stat.ML
Robust Design Optimization with Limited Data for Char Combustion
本文针对炭燃烧过程在有限数据条件下提出鲁棒设计优化方法,通过PDD代理模型、变量变换、稀疏系数估计和单遍训练提升计算效率,为优化工艺参数以保障稳定高能量产出提供依据。
2025-03-09 math.OC
Spatially-distributed coverage optimization and control with limited-range interactions
本文提出了协调算法组的移动代理执行部署和覆盖任务。作为一个重要的建模约束,我们假设每个移动代理有一个有限的传感/通信半径。基于Voronoi划分和邻近图的几何关系,分析了一类聚集目标函数,提出了连续时间和离散时间的覆盖算法。这些算法具有收敛保证,并且相对于适当的邻近图在空间上分布。数值模拟说明了结果。
2004-01-22 math.DS math.OC
Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization
University of Freiburg(弗莱堡大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Vorarlberg University of Applied Sciences(福拉尔贝格应用科学大学)
协方差矩阵自适应演化策略(CMA-ES)是一种在梯度信息不可用的情况下处理非凸和/或随机优化问题的流行方法。基于CMA-ES,最近提出的矩阵自适应演化策略(MA-ES)提供了一个相当令人惊讶的结果,即协方差矩阵和所有相关操作(例如,潜在不稳定的本征分解)可以在CMA-ES中由更新的变换矩阵代替而没有任何性能损失。为了进一步简化MA-ES,将其$\mathcal{O}\big(n^2\big)$时间和存储复杂度降低为$\mathcal{O}\big(n\log(n)\big)$,提出了有限内存矩阵自适应演化策略(LM-MA-ES),用于零阶大规模优化。该算法在一组已建立的大规模基准测试中表现出最先进的性能。我们探讨了算法的问题上产生对抗性的输入(非平滑)随机森林分类器,展示了一个令人惊讶的脆弱性的分类器。
2017-05-18 cs.LG cs.NE math.OC
Parametric Scenario Optimization under Limited Data: A Distributionally Robust Optimization View
我们考虑最优化问题与不确定的约束,需要满足概率。当数据可用时,获得此类问题的可行解的常用方法是施加采样约束,遵循所谓的情景优化方法。然而,当数据大小是小的,采样的约束可能不支持统计上的可行性保证所获得的解决方案。本文研究了如何利用参数信息和蒙特卡罗模拟的力量,以获得小数据情况下的可行解。我们的方法利用了一个分布式鲁棒优化(DRO)配方,将数据大小的要求转化为蒙特卡洛样本量的要求,我们称之为生成分布。我们表明,虽然这个生成分布的最佳选择是一个引出的数据或基线分布在一个非参数的分歧为基础的DRO,它不一定是这样的参数的情况下。相应地,我们开发的程序,以获得生成分布,改善这些基本的选择。我们支持我们的研究结果与几个数值例子。
2020-07-08 math.OC math.ST stat.TH
Chance-Constrained Optimization under Limited Distributional Information: A Review of Reformulations Based on Sampling and Distributional Robustness
机会约束规划(CCP)是最优化问题中最困难的一类,自20世纪50年代以来一直受到研究者的关注。在本调查中,我们关注的是只有有限的分布信息可用的情况,例如分布的样本或分布的时刻。我们首先回顾了最近的发展,在混合整数线性配方的机会约束规划,产生有限的离散分布(或样本平均近似)。我们强调成功的重构和分解技术,使解决方案的大规模的实例。然后,我们回顾了分布鲁棒CCP的积极研究,这是一个框架,以解决随机数据分布中的模糊性。我们审查的重点是可扩展的配方,可以很容易地实现与国家的最先进的优化软件。此外,我们强调CCP的流行与跨多个领域的应用程序的审查。
2022-02-13 math.OC
Limited-Memory LRSGA: An Iterative Method for Computing Nash Equilibria in Competitive Optimization Problems
University of Calabria(卡拉布里亚大学);Institute for High Performance Computing and Networking, Italian National Research Council(意大利国家研究委员会高性能计算与网络研究所)
有限记忆LRSGA通过低秩信息保留辛校正稳定性,用于高效计算竞争优化问题的纳什均衡。
2026-01-13 math.OC
Learning for Integer-Constrained Optimization through Neural Networks with Limited Training
Virginia Tech(弗吉尼亚理工学院暨州立大学);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们研究了一个基于神经网络的学习方法解决整数约束规划问题,使用非常有限的训练。具体来说,我们引入了一个对称和分解的神经网络结构,这是完全可以解释的功能,其组成部分。通过利用整数约束的基本模式以及目标函数的仿射性质,与不利用整数约束的固有结构的其他通用神经网络结构相比,所引入的神经网络在有限的训练下提供了优越的泛化性能。此外,我们表明,所介绍的分解方法可以进一步扩展到半分解框架。所介绍的学习方法进行评估,通过分类/符号检测任务的背景下,可用的训练集通常是有限的无线通信系统。评估结果表明,引入的学习策略是能够有效地执行分类/符号检测任务,在各种各样的无线信道环境中指定的3GPP社区。
2020-11-10 cs.LG math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法,提出了一种正则化有限记忆子空间最小共轭梯度法,它包含两种迭代方式。在SMCG迭代中,我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中,结合正则化技术和BFGS方法,在子空间中采用了一种改进的正则化拟牛顿法,以提高算法的正交性。此外,设计了一些简单的加速准则和一种改进的初始步长选择策略,以提高算法的效率。此外,利用广义非单调线搜索,并在较弱的条件下证明了算法的整体收敛性。最后,数值结果表明,该算法比ASMCG_PR算法有明显的改进,并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT(6.8)和CGOPT(2.0).
2023-01-07 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg(维尔茨堡大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本文提出一种近端有限记忆拟牛顿方法,用于求解可微函数与非光滑函数之和的最小化问题,通过自适应更新正则化参数实现全局收敛,并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Limited memory gradient methods for unconstrained optimization
本研究回顾无约束优化的有限内存最速下降法(LMSD),分析其在严格凸二次函数下的数值特性,提出改进调和Ritz值的方法及割线条件,并针对一般非线性问题提出两种新变体,同时证明原方法可从新视角解释。
2024-04-16 cs.NA math.NA math.OC
Online Convex Optimization with Memory and Limited Predictions
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(人工智能与自动化学院,华中科技大学);College of Automation and College of Artificial Intelligence, Nanjing University of Posts and Telecommunications(自动化学院和人工智能学院,南京邮电大学)
本文提出了一种具有记忆和有限预测的在线凸优化算法,通过截断高斯平滑技术实现指数衰减的动态遗憾,并在一般凸优化中达到线性收敛速度。
2025-12-25 cs.LG math.OC
Optimal Disturbance Accommodation with Limited Model Information
KTH-Royal Institute of Technology(皇家理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究在有限模型信息下设计最优动态扰动调节控制器,通过分布式子控制器构造并利用竞争比评估闭环性能。
2012-03-13 cs.SY eess.SY math.OC
Parameter-free Online Linear Optimization with Side Information via Universal Coin Betting
UC San Diego(加利福尼亚大学圣地亚哥分校);Gauss Labs Inc.(高斯实验室公司)
提出了一类无参数的在线线性优化算法,该算法通过自适应一些边信息来利用对抗序列的结构。这些算法结合了Orabona和P{á}l(2016)的归约技术,用于将硬币投注算法用于在线线性优化,并结合了信息论中的通用压缩技术,用于将顺序边信息纳入硬币投注。具体的例子进行了研究,其中的边信息具有树结构,并由量化值的对抗序列,包括固定顺序和可变顺序马尔可夫的情况下,以前的符号。通过修改Willems,Shtarkov和Tjalkens(1995)的上下文树加权技术,所提出的算法被进一步改进,以实现最佳性能的所有自适应算法与树结构的边信息的一个给定的最大阶在计算上有效的方式。
2022-02-04 cs.IT cs.LG math.IT
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题,该函数可能是非光滑和非凸的,受边界约束。我们提出了一个算法,使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略,该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性,我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度,第二个使用迭代校正循环,增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现,并给出了一组标准测试问题的数值结果,以说明我们方法的有效性。
2016-12-21 math.OC
Inexact Limited Memory Bundle Method
University of Turku(图尔库大学)
本文提出了一种新的不精确有限记忆束法,用于解决大规模非光滑非凸优化问题,证明了该方法能全局收敛到近似 stationary 点,并通过不同噪声水平的实验展示了其在精确和噪声数据中的有效性。
2026-04-09 math.OC
Information-constrained optimization: can adaptive processing of gradients help?
我们重新审视一阶优化下的局部信息约束,如局部隐私,梯度量化,和计算限制访问几个坐标的梯度。在这种设置中,不允许优化算法直接访问梯度预言机的完整输出,而是仅获得关于其受限于局部信息约束的有限信息。我们研究了自适应性在处理梯度输出中的作用,以从梯度输出中获得有限的信息。当允许自适应梯度处理时,我们考虑了凸函数和强凸函数的优化,并获得了收敛速度的紧或接近紧的下界。以前的工作仅限于凸函数,只允许非自适应处理的梯度。对于这两个函数类和上述三个信息约束,我们的下界意味着梯度的自适应处理不能优于非自适应处理在大多数制度的利益。我们补充这些结果表现出一个自然的最优化问题的信息约束下,自适应处理的梯度严格优于非自适应处理。
2021-04-02 cs.DS cs.IT math.IT
On Maintaining Linear Convergence of Distributed Learning and Optimization under Limited Communication
Stockholm University(斯德哥尔摩大学);KTH Royal Institute of Technology(瑞典皇家理工学院);EPFL(洛桑联邦理工学院);Harvard John A. Paulson School of Engineering and Applied Science(哈佛大学约翰·A·保尔森工程与应用科学学院)
在分布式优化和机器学习中,多个节点协调解决大型问题。要做到这一点,节点需要将重要的算法信息压缩为比特,以便可以通过数字信道进行通信。这些算法的通信时间遵循a)算法的收敛特性、b)压缩方案和c)由数字信道提供的传输速率之间的复杂相互作用。我们探讨这些关系的一般类线性收敛的分布式算法。特别是,我们说明了如何设计这些算法的量化器,压缩通信信息到几个比特,同时仍然保持线性收敛。此外,我们的特点,这些算法的通信时间作为可用的传输速率的函数。我们说明了我们的研究结果学习算法使用不同的通信结构,如分散式算法,其中一个单一的主协调信息从许多工人和完全分布式算法,只有邻居在通信图可以通信。我们的结论是,机器学习和通信协议的共同设计是强制性的,以繁荣机器学习网络。
2020-10-05 cs.LG math.OC stat.ML
Quantized control via locational optimization
本文研究了有限信息控制系统反馈镇定的状态量化方案。重点是在给定的信息约束下设计最不稳定的量化器。我们探索了几种方法来测量量化器对闭环系统的不稳定影响,包括(但不限于)最坏情况下的量化误差。在每种情况下,我们展示了如何量化器的设计可以自然地减少到所谓的多中心问题的位置优化的版本。解决这些问题的算法进行了讨论。特别是,迭代求解器开发了一种新的加权多中心问题,最准确地表示最不稳定的量化器设计。
2002-12-22 math.OC
An optimization-free approximation Framework for Connected and Automated Vehicles Eco-Trajectory Planning Under limited computing capacity
针对网联自动驾驶车辆生态轨迹规划计算难度大的问题,提出含离线建轨迹库、在线场景化规划的无优化框架,在保证有限最优性损失的前提下提升效率,还可应对突发情况,经混合交通流测试验证了性能。
2024-11-22 math.OC
Residuals-based distributionally robust optimization with covariate information
我们考虑数据驱动的方法,该方法将机器学习预测模型集成到分布式鲁棒优化(DRO)中,给出了不确定参数和协变量的有限联合观测。我们的框架是灵活的,因为它可以适应各种回归设置和DRO模糊集。我们调查的渐近和有限样本性质的解决方案,使用Wasserstein,样本鲁棒优化,并在我们的DRO配方基于φ发散的模糊集,并探讨交叉验证方法,这些模糊集的大小。通过数值实验,我们验证了我们的理论结果,研究我们的方法的有效性大小的模糊集,并说明我们的DRO配方在有限的数据制度的好处,即使当预测模型是错误的。
2022-05-25 math.OC stat.ML
Learning the Step-size Policy for the Limited-Memory Broyden-Fletcher-Goldfarb-Shanno Algorithm
Université Catholique de Louvain(鲁汶大学);Linköping University(林雪平大学);KTH Royal Institute of Technology(KTH皇家理工学院)
我们考虑的问题,如何学习的步长政策的有限内存Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)算法。这是一个有限的计算内存的拟牛顿法广泛用于确定性无约束优化,但目前避免在大规模的问题,需要在每次迭代提供的步长。用于L-BFGS的步长选择的现有方法使用设计参数的启发式调整和目标函数和梯度的大量重新评估来找到合适的步长。我们提出了一个神经网络的结构与当前的局部信息作为输入。步长策略是从类似优化问题的数据中学习的,避免了对目标函数的额外评估,并保证输出步长保持在预定义的区间内。相应的训练过程被制定为一个随机优化问题,通过时间算法使用反向传播。所提出的方法的性能进行评估的MNIST数据库的手写数字和CIFAR-10的分类器的训练。结果表明,该算法的性能优于ADAM,RMSprop,L-BFGS与回溯线搜索,L-BFGS与固定步长的启发式调整优化。数值结果还表明,学习的政策,可以作为一个热启动训练新的政策,为不同的问题后,一些额外的训练步骤,突出其在多个大规模优化问题的潜在用途。
2021-02-09 cs.LG math.OC stat.ML
Limited Communications Distributed Optimization via Deep Unfolded Distributed ADMM
School of ECE, Ben-Gurion University of the Negev(内盖夫本-古里安大学电子与计算机工程学院)
本文提出展开的D-ADMM算法,通过深度展开方法在有限通信下实现分布式优化,保留原算法性能并减少通信次数,适用于分布式估计和学习任务。
2024-08-20 cs.LG eess.SP math.OC
Information-theoretic lower bounds on the oracle complexity of stochastic convex optimization
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);QUT, Brisbane, Australia(昆士兰科技大学)
本文通过信息论方法,在预言机计算模型下研究了随机凸优化的复杂度,改进了已知结果并获得了多种函数类的紧极小极大复杂度估计。
2011-11-20 cs.SY eess.SY math.OC
Information-Geometric Optimization on Spheres
Faculty of Natural Sciences and Mathematics University of Montenegro(自然科学与数学学院蒙特内格罗大学)
针对球面上的黑箱优化问题,基于庞加莱球和伯格曼球的超几何信息几何,设计了两种信息几何优化流,并展示了广义Kuramoto振子集合如何计算自然搜索梯度并实现IGO算法。
2026-05-27 cs.LG cs.NE math.OC
Information Preserving Line Search via Bayesian Optimization
University of Hamburg(汉堡大学)
本文提出一种基于贝叶斯优化的线搜索方法,通过保留并利用传统方法丢弃的函数值与梯度信息改进步长选择,保证收敛,并在CUTEst测试集上优于现有方法。
2025-07-21 cs.LG math.OC
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Data-Efficient Structured Pruning via Submodular Optimization
Samsung - SAIT AI Lab(三星-三星先进技术研究院人工智能实验室);Harvard University(哈佛大学);Mila(米拉研究所);Université de Montreal(蒙特利尔大学)
结构化剪枝是压缩大型预训练神经网络而不显著影响其性能的有效方法。然而,大多数当前的结构化修剪方法不提供任何性能保证,并且经常需要微调,这使得它们不适用于有限的数据制度。我们提出了一个原则性的数据有效的结构化修剪方法的基础上子模块优化。特别地,对于给定的层,我们选择要修剪的神经元/通道以及下一层的相应新权重,这使得修剪引起的下一层输入的变化最小化。我们表明,这个选择问题是一个弱次模极大化问题,因此它可以证明近似使用一个有效的贪心算法。在合理的假设下,我们的方法保证在原始模型和修剪后的模型输出之间具有指数递减的误差。它也是文献中仅使用有限数量的训练数据且不使用标签的少数方法之一。我们的实验结果表明,我们的方法优于国家的最先进的方法在有限的数据制度。
2023-02-10 cs.AI cs.DM cs.LG
Behavior of Limited Memory BFGS when Applied to Nonsmooth Functions and their Nesterov Smoothings
研究有限内存BFGS(L-BFGS)在非光滑最优化问题上的行为的动机是基于两个经验观察:L-BFGS在解决大规模光滑最优化问题方面的广泛成功,以及基于使用梯度而不是次梯度的Oracle范例的完全BFGS方法在解决中小规模非光滑最优化问题方面的有效性。首先,我们总结了我们的理论结果的缩放L-BFGS方法的行为与一个更新应用于一个简单的凸非光滑函数,是无界以下,说明条件下,该方法收敛到一个非最佳点,无论起点。然后,我们转向实证调查是否有同样的现象更普遍,重点是一个困难的问题Nesterov,以及特征值最优化问题中出现的半定规划应用。我们发现,当直接应用到一个非光滑函数,L-BFGS,特别是其缩放的变种,往往打破了一个穷人的近似最优解,在鲜明的对比,充分BFGS。未缩放的L-BFGS不太容易崩溃,但每次迭代执行的函数计算比缩放的L-BFGS多得多,因此它很慢。尽管如此,通常情况下,这两种变体都比可证明收敛但速度慢的次梯度方法获得更好的结果。另一方面,当应用于Nesterov对非光滑函数的光滑近似时,缩放L-BFGS通常比未缩放L-BFGS更有效,即使问题非常病态,也经常获得良好的结果。总之,对于完全BFGS和其他非光滑最优化方法不实用的大规模非光滑最优化问题,将L-BFGS应用于非光滑问题的光滑近似通常比将其直接应用于非光滑问题更好。
2020-06-18 math.OC
A Riemannian quasi-Newton algorithm for optimization with Euclidean bounds
AGH University of Krakow(克拉科夫AGH科技大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出一种结合有限记忆quasi-Newton更新和黎曼适应的广义Cauchy点策略的黎曼有限记忆BFGS方法,用于处理欧几里得约束的优化问题,展示了在协方差矩阵估计和神经影像等领域中的高效性。
2026-05-11 cs.MS math.DG math.OC
Dynamic optimization with side information
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运营研究中心)
我们开发了一个易于处理和灵活的方法,将边信息的不确定性下的动态最优化。所提出的框架使用预测机器学习方法(如$k$ -最近邻,核回归和随机森林)来加权各种数据驱动的不确定性集的相对重要性,在一个强大的优化配方。通过对一类机器学习方法的新的测度集中结果,证明了该方法对于带边信息的多周期随机规划是渐近最优的.我们还描述了一个通用的近似这些最优化问题,重叠的线性决策规则,这是计算上易于处理,并产生高质量的解决方案,动态问题的许多阶段的基础上。在库存管理,财务和运输计划的各种例子中,我们的方法实现了高达15%的替代方案的改进,并需要小于一分钟的计算时间的问题,12个阶段。
2020-07-21 cs.LG math.OC stat.ML
Transferable Optimization Network for Cross-Domain Image Reconstruction
University of Florida(佛罗里达大学);Georgia State University(佐治亚州立大学)
本文提出一种可迁移优化网络,通过双层优化解决跨域图像重建中数据有限的问题,利用通用特征提取器和领域适配器实现高质量重建。
2026-03-08 cs.CV cs.LG math.OC
Matrix Completion with Side Information using Manifold Optimization
我们解决了基于流形优化的矩阵完备化(MC)问题,通过加入边信息,在该边信息下,从低维子空间的并集中提取预期矩阵的列。证明了这些边信息引导我们构造新的流形,作为常秩矩阵流形的$\it{embedded}$子流形,利用它可以更精确地求解MC问题。上述流形所需的几何性质,然后提出矩阵完成。仿真结果表明,无论是基于边信息还是不基于边信息,该方法的性能都优于现有的一些方法。
2019-08-16 eess.SP math.OC
Stabilization of Uncertain Discrete-time Linear System via Limited Information
提出了一种利用有限的稳定输入信息对不确定离散网络控制系统进行控制的方法。该系统主要受时变、范数有界、失配参数不确定性的影响。由于通信网络的不可靠性,输入信息是有限的。采用基于事件触发的鲁棒控制策略来捕捉网络的不可靠性。在事件触发控制中,只有当违反预先指定的事件条件时,才在系统端计算和更新控制输入。通过求解基于虚拟标称动态和修正的代价泛函的最优控制问题,得到鲁棒控制输入,使不确定性系统镇定。所设计的有限信息鲁棒控制律在不匹配不确定性存在的情况下保证了原系统的输入-状态稳定性。推导离散不确定性系统的事件触发条件,并通过解析方法保证系统的稳定性是本文的主要贡献。最后通过一个算例验证了所提出的基于事件的控制算法的有效性。
2015-12-22 math.OC
Distributed Optimization over Time-varying Graphs with Imperfect Sharing of Information
我们研究强凸分布最优化问题,其中一组代理有兴趣解决一个可分离的最优化问题合作。在本文中,我们提出并研究了两个时间尺度分散梯度下降算法的一个广泛的类的有损信息共享的时变图。一个时间尺度淡出来自相邻代理的(有损的)传入信息,并且一个时间尺度调节局部损失函数的梯度。对于强凸损失函数,通过适当选择步长,我们证明了智能体的估计以$O(T^{-1/2})$的速度收敛到全局最优状态。这项工作的另一个重要贡献是提供了新的工具来处理随时间变化的图形的平均权重递减。
2022-08-14 math.OC
Communication-Efficient Distributed Optimization with Quantized Preconditioners
我们调查快速和通信效率的算法,为经典的问题,最小化的总和强凸和光滑函数,分布在$n$不同的节点,可以使用有限数量的位进行通信。大多数以前的通信有效的方法,这个问题是有限的一阶优化,因此有\emph{linear}依赖于条件数的通信复杂性。我们表明,这种依赖是不是固有的:通信有效的方法,实际上可以有次线性依赖的条件数。为此,我们设计和分析的第一个通信有效的分布式变量的预条件梯度下降的广义线性模型,和牛顿法。我们的研究结果依赖于一种新的技术,用于在算法的每一步量化预条件和下降方向,同时控制它们的收敛速度。我们还通过实验验证了我们的发现,显示出快速收敛和减少通信。
2021-06-17 cs.DC math.OC
The Informational Approach to Global Optimization in presence of very noisy evaluation results. Application to the optimization of renewable energy integration strategies
我们考虑从非常嘈杂的评价函数f的全局优化的问题。我们采用贝叶斯序贯方法:选择评估点以减少关于f的全局最优位置的不确定性,如通过相应随机变量的熵所测量的(全局优化的信息方法,Villemonteix等人,2009年)。当评估是非常嘈杂的,来自使用条件模拟的熵的估计的误差变得不可忽略相比,其在输入域上的变化。我们提出了一个解决这个问题的方法,选择评价点,如果几个评价将在这些点。该方法被施加到可再生能源的整合到配电网的策略的优化。
2015-06-15 math.OC stat.AP stat.CO
A Robust Optimization Approach to Network Control Using Local Information Exchange
本文针对网络智能体策略设计提出一种仅依赖邻居局部信息交换的分散式鲁棒优化框架,将原本难解的非凸问题转化为可高效求解的松耦合凸优化问题,并在能源管理与供应链应用中验证了其以较低计算代价逼近集中式解的效果。
2024-04-30 math.OC
On stochastic and deterministic quasi-Newton methods for non-Strongly convex optimization: Asymptotic convergence and rate analysis
受大规模优化和机器学习应用的启发,我们考虑求解无约束凸优化问题的随机拟牛顿(SQN)方法。SQN方法的收敛性分析,无论是完全的和有限的记忆变体,要求目标函数是强凸的。然而,这个假设是相当严格的,并不适用于应用程序,如最小化的逻辑斯谛回归损失函数。据我们所知,在没有这种假设的情况下,目前还没有SQN方法的速率声明。此外,在现有的一阶方法解决随机最优化问题,只是凸目标,那些配备了可证明的收敛速度采用平均。然而,这种平均技术对诱导稀疏性有不利影响。(i)针对大规模随机最优化问题,提出了一种迭代正则化随机有限记忆BFGS(IRS-LBFGS)算法,该算法的步长、正则化参数和Hessian逆逼近矩阵都是迭代更新的。我们建立了收敛到原问题的最优解的几乎肯定和平均意义。我们推导出的目标函数的值方面的收敛速度,并表明它是为了$\mathcal{O}\left(k^{-\left(\frac{1}{3}-ε\right)}\right)$,其中$ε$是一个任意的小正标量;(ii)在确定性制度,我们表明,正则化的有限内存BFGS算法显示的顺序$\mathcal{O}\left(\frac{1}{k^{1 -ε'}}\right)$,其中$ε'$是一个任意的小正标量的速度。我们提出了一个大规模的文本分类问题进行数值实验。
2019-10-01 math.OC
A low-cost alternating projection approach for a continuous formulation of convex and cardinality constrained optimization
我们考虑凸约束最优化问题,也包括基数约束。基数约束的最优化问题是一类复杂的数学规划问题,通常采用离散最优化的全局优化方法求解。我们假设由凸约束定义的区域可以被写为凸集的有限集合的交集,使得投影到它们中的每一个上是容易且廉价的(例如,盒、超平面或半空间)。利用最近开发的连续重新制定,放松基数约束,我们提出了一个专门的惩罚梯度投影方案结合交替投影的想法来解决这些问题。为了说明组合方案,我们集中在标准的均值方差投资组合最优化问题,我们只能投资于一个预先确定的有限数量的资产。对于这些基数约束的投资组合问题,我们提出了一个数值研究的各种数据集,涉及现实世界的资本市场指数从主要股票市场。在这些数据集上,我们说明了所提出的计划的计算性能,以产生不同的值的有限数量的允许资产的有效边界。
2022-09-06 math.OC
Optimizing Line Segment Inspection with Limited-Range Drones
Department of Applied Mathematics, University of Seville, Spain(应用数学系,塞维利亚大学,西班牙)
本文研究如何利用无人机高效检测线段,提出近似算法解决NP难问题,证明在单行线段和两架无人机情况下问题的复杂性,实验显示算法在多种场景下表现接近最优。
2026-05-15 cs.CG cs.DS cs.RO
CSG: A stochastic gradient method for a wide class of optimization problems appearing in a machine learning or data-driven context
最近的一篇文章介绍了连续随机梯度法(CSG),有效解一类随机最优化问题。虽然已知的随机梯度型方法的适用性通常限于预期的风险函数,但是对于CSG不存在这样的限制。这一优势源于设计相关的积分权重的计算,允许最佳使用可用信息,因此更强的收敛性能。然而,用于这些积分权重的公式的性质基本上限制了该方法的实际适用性,其中随机性通过低维和足够简单的概率分布进入的问题。在本文中,我们显着扩大CSG方法的范围,提出了替代方法来计算积分权重。一个完整的收敛性分析,这个新的变体的CSG方法,并证明其效率相比,更经典的随机梯度法通过一些问题类相关的随机最优化和机器学习。
2021-11-14 math.OC
Reaching a Consensus with Limited Information
在其最简单的形式,众所周知的共识问题的一个网络家庭的自主代理是设计一组协议或更新规则,一个为每个代理,这可以使所有的代理,以调整或调整其“协议变量”相同的值,通过利用实时信息从他们的“邻居”在网络内。本文的目的是研究在有限的信息传递代理人之间达成共识的问题。这意味着每个代理不是从其每个邻居接收协议变量或实值状态向量,而是接收每个状态的线性函数。制定的具体问题的利益和可证明正确的算法开发的一些特殊情况下的问题。
2022-09-14 math.OC
Shadow price of information in discrete time stochastic optimization
信息的影子价格在随机最优化中起着核心作用,自从它在70年代中期被Rockafellar和Wets引入以来。本文研究了这一概念的推广形式,并给出了它存在的放松的充分条件。我们允许一般适应的决策策略,这使人们能够建立解决方案的存在性和缺乏一个二元差距,例如在金融数学的各种问题,通常的有界性假设失败。作为应用,我们计算了整泛函的共轭和次微分以及正规被积函数的条件期望。我们还给出了一般动态规划递归的一个对偶形式,它刻画了信息的影子价格。
2016-01-20 math.OC math.PR
Complexity of near-optimal robust versions of multilevel optimization problems
近似最优鲁棒性扩展了多级优化,其中较低级别与其最优解的有限偏差由较高级别预测。我们分析了接近最优的鲁棒性多级问题的复杂性,其中接近最优的鲁棒性是通过额外的对抗性决策者建模的。多级问题的近优鲁棒版本保持在相同的复杂性类的问题,没有近优鲁棒性在一般条件下。
2020-11-02 cs.CC math.OC