An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中,经典的ADMM精确地解决了两个子问题。然而,在许多应用中,获得子问题的精确解是昂贵的或不可能的。为了克服这一困难,在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题,因此需要更多的迭代。这一事实促使我们考虑,一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中,我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新(或有限内存BFGS)在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明,建议的近端ADMM的有效性。
2019-03-06 math.OC
Minimum energy configurations on a toric lattice as a quadratic assignment problem
我们考虑了二次指派问题(QAP)的三个已知界:特征值界、凸二次规划(CQP)界和半定规划(SDP)界。由于前两个界没有直接比较,我们证明了SDP界比CQP界更强。然后,我们应用这些改进已知的边界上的离散能量最小化问题,重新制定为一个QAP,其目的是最大限度地减少一个复曲面网格上的排斥粒子之间的势能。因此,我们能够证明粒子和网格尺寸的几种配置的最优性,补充Bouman,Draisma和Van Leeuwaarden的早期结果[ SIAM Journal on Discrete Mathematics,27(3):1295- 1312,2013]。所讨论的半定规划太大,不进行预处理就无法求解,我们使用Parrilo和Permenter [数学规划,181:51- 84,2020]的对称约化方法来计算SDP边界。
2020-12-14 math.OC
Coordinated Frequency Control through MTDC Transmission Systems
在本文中,我们提出了一种分布式动态控制器,用于共享通过多端HVDC(MTDC)电网连接的异步交流系统的频率控制储备。我们得到了充分的稳定性条件,这保证了交流系统的频率收敛到标称频率。同时,发电的全局二次成本最小化,导致发电控制储备的最优分配。所提出的控制器还调节MTDC电网的电压,渐近最小化偏离标称电压的二次费用函数。所提出的控制器进行了测试的电力系统的高阶动态模型组成的异步交流电网,建模为IEEE 14总线网络,通过六端高压直流输电网连接。通过仿真成功地评估了控制器的性能。
2015-12-11 math.OC
Structured exploration in the finite horizon linear quadratic dual control problem
本文提出了一种新的方法来综合双重控制器的未知线性定常系统的任务优化的二次成本,同时减少不确定性。为此,定义了一个综合问题,其中反馈法必须同时获得系统的知识和鲁棒优化成本。通过将问题框定在有限时域设置中,当任务包括识别和控制时所产生的权衡被正式捕获在优化问题中。结果表明,有效的探索策略时,利用问题的结构。
2021-04-10 cs.SY eess.SY math.OC
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);Google DeepMind(谷歌DeepMind)
线性二次型调节器(LQR)是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略,近年来,在强化学习场景(如无模型或基于模型的设置)方面,LQR被重新审视和分析。在本文中,我们介绍了\textit{Structured Policy Iteration}(S-PI)的LQR,一种方法能够推导出一个结构化的线性政策。这种具有(块)稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势:更可解释,内存效率更高,并且非常适合分布式设置。为了得到这样的政策,我们首先铸造一个正则化的LQR问题时,模型是已知的。然后,我们的结构化策略迭代(S-PI)算法,它需要一个策略评估步骤和策略改进步骤,在迭代的方式,可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下,我们证明了在适当的参数选择下的收敛性分析。最后,通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Deep Structured Teams with Linear Quadratic Model: Partial Equivariance and Gauge Transformation
受人工智能最新发展的启发,本文引入了线性二次深度结构团队。定义了等变系统和部分等变系统的概念,证明了此类系统可以划分为若干决策者子种群,其中每个子种群中的决策者通过一组所有决策者的状态和行为的线性回归在动态和费用函数中耦合.考虑了两种非经典信息结构:深度状态共享和部分深度状态共享,其中深度状态是指每个子种群中决策者状态的线性回归。对于具有深度状态共享结构的风险敏感费用函数,得到了全局最优策略的一个封闭形式的低复杂度表示,其计算复杂性与每个子种群中决策者的数目无关.此外,它表明,风险敏感的解决方案收敛到风险中性的决策者的数量增加到无穷大。通过引入基于有限种群模型和基于无限种群模型的两个类卡尔曼滤波器,提出了部分深层状态共享信息结构下的两种次优序贯策略.证明了当决策者数目趋于无穷大时,与上述次最优解相关的信息价格收敛于零。此外,引入了一类具有多层加权和和积的前馈深度神经网络,其中显式地获得了最佳权重和偏差。一个供应链管理的例子来证明所获得的结果的有效性。
2020-08-30 math.OC
A max-plus based fundamental solution for a class of discrete time linear regulator problems
有效的Riccati方程为基础的技术的近似解的离散时间线性调节器问题的限制,在其应用程序的问题与二次终结支付。在需要非二次终结支付的情况下,这些技术由于所涉及的伴随的非二次值函数而失败。为了计算这些非二次值函数,通常需要直接求助于动态规划,其形式为值函数的基于网格或基于元素的迭代。这些迭代在问题维度和时间范围方面具有较差的可扩展性。本文提出了一种新的基于最大加的方法,用于求解具有非二次型支付的离散时间线性调节器问题的近似解。这种新方法的基础是新的基本解的发展,这样的线性调节器的问题,通过最大加对偶。与典型的基于网格的方法相比,在应用这种新的最大加方法中观察到计算工作量的大幅减少。一些简单的例子来说明这一点和其他意见。
2014-04-30 math.OC
Distributed Frequency Control through MTDC Transmission Systems
在本文中,我们提出了分布式动态控制器共享通过多端HVDC(MTDC)电网连接的异步交流系统的频率遏制和恢复储备。控制器的通信结构是分布式的,在这个意义上,只需要本地和相邻的状态信息,而不是完整的状态。我们得到充分的稳定性条件,保证交流频率收敛到标称频率。同时,全局二次发电费用函数被最小化。所提出的控制器还调节MTDC电网的电压,渐近最小化的二次费用函数的偏离标称直流电压。结果是有效的分布式电缆模型的HVDC电网(例如$π$ -链接),以及交流系统的任意数量的同步机,每个由摆动方程建模。我们还提出了一个分散的,无通信版本的控制器。所提出的控制器进行了测试的高阶动态模型的电力系统组成的异步交流电网,建模为IEEE 14总线网络,通过六端HVDC电网连接。通过仿真成功地评估了控制器的性能。
2015-12-11 math.OC
LQ-optimal Sample-data Control under Stochastic Delays: Gridding Approach for Stabilizability and Detectability
研究了一类随机时滞采样系统的线性二次型最优控制问题。延迟由最后几次延迟随机确定。所提出的最优控制器可以有效地计算迭代求解Riccati差分方程,提供了离散时间马尔可夫跳系统等效的采样数据系统是随机可镇定和可检测。这些概念的充分条件的形式提供的线性矩阵不等式,从稳定控制器和状态观测器可以构造。
2018-05-17 math.OC
Structured two-point stepsize gradient methods for nonlinear least squares
本文提出了两种求解非线性最小二乘问题的结构谱梯度法。在所提出的方法中,单位逼近的Hessian逆的标量倍通过施加结构化的拟牛顿条件。此外,我们提出了一个简单的策略来选择结构标量的情况下,负曲率方向。利用非单调线搜索和二次插值回溯技术,我们证明了在适当的条件下,这些方法是全局收敛的。数值实验表明,该方法与最近发展的一些方法相比具有竞争力。
2018-07-30 math.OC
Structured interpolation for multivariate transfer functions of quadratic-bilinear systems
针对高维非线性动力系统的计算瓶颈问题,本文提出二次双线性系统的对称子系统结构化变体与广义传递函数定义,给出频域保结构插值条件,通过数值算例验证了理论结果的有效性。
2023-04-27 cs.NA cs.SY eess.SY
A Comprehensive Methodology for Volt-VAR Optimization in Active Smart Grids
研究了有源智能电网中的电压无功优化问题。主动智能电网配备了分布式发电机、分布式存储系统和允许拓扑重构的联络线开关。在本文中,联合操作的遥控开关,存储单元,有载分接开关,并联电容器制定了一天前的操作计划。建议的VVO问题的目标是最小化系统中的预期有功功率损耗,并制定为一个混合整数二次规划。通过一阶马尔可夫链模型来描述风力发电的随机性。一个33节点,12.66千伏主动智能电网使用的智能电表和风力涡轮机的真实数据的数值结果,并比较各种测试情况。
2016-09-29 math.OC
Reinforcement Learning in Nonzero-sum Linear Quadratic Deep Structured Games: Global Convergence of Policy Optimization
我们研究基于模型和无模型的政策优化一类非零和随机动态博弈称为线性二次(LQ)的深度结构游戏。在这样的游戏中,玩家通过一组状态和动作的加权平均(线性回归)相互作用。在本文中,我们专注于齐次权重,然而,对于无限人口的特殊情况下,所得到的结果扩展到渐近消失的权重,其中玩家学习序列加权平均场均衡。尽管在政策空间中的优化的非凸性和政策优化一般不收敛于游戏设置的事实,我们证明了所提出的基于模型和无模型的策略梯度下降和自然策略梯度下降算法全局收敛到子游戏完美纳什均衡。据我们所知,这是第一个结果,提供了一个全局收敛的证明,在一个非零和LQ游戏的政策优化。所提出的算法的显着特点之一是,他们的参数空间是独立的球员的数量,当状态空间的维度是显着大于动作空间,他们提供了一个更有效的计算方式相比,在行动空间中的规划和学习的算法。最后,通过数值模拟验证了理论结果。
2020-12-14 cs.GT math.OC
Computing D-Optimal solutions for huge-scale linear and quadratic response-surface models
针对大规模高度结构化设计矩阵的 D-optimality 问题,结合行生成、局部搜索与连续松弛的分支定界技术,设计了实用求解算法。
2023-09-07 math.OC
Optimal Demand Shut-offs of AC Microgrid using AO-SBQP Method
本文提出AO-SBQP算法解决微电网需求最优关断问题,证明其在非凸问题上的局部超线性收敛性,并在IEEE 30节点案例中验证有效性。
2023-04-07 math.OC
Linearly-constrained Linear Quadratic Regulator from the viewpoint of kernel methods
线性二次型调节器问题是最优控制中的核心问题,自控制理论一开始就被研究。然而,当它包括仿射状态约束时,从经典的"最大值原理“的角度来看,它仍然非常具有挑战性。在这项研究中,我们提出了如何矩阵值再生核允许另一种观点。我们表明,二次目标配对的线性动力学编码相关的内核,定义一个希尔伯特空间的控制轨迹。利用核形式主义,我们引入了一个加强的连续时间凸优化问题,可以解决有限维求解器,并解决内部的约束。当细化时间离散网格时,可以使该解任意接近于状态约束线性二次调节器的解。我们说明了这种方法的实施路径规划问题。
2021-03-29 math.OC
Guaranteed cost structured control in infinite-horizon linear-quadratic cooperative differential games
本文研究了具有输出反馈信息结构的无限时间线性二次合作微分博弈,提出反馈保证成本结构控制概念,分析其性质并验证了Pareto最优控制的子最优性。
2026-08-25 cs.SY eess.SY math.OC
Well-solvable cases of the QAP with block-structured matrices
研究了二次指派问题(QAP)中两个矩阵之一具有简单块结构的特殊情况。对于第二矩阵是单调反Monge矩阵的特殊情况,我们得到了一类截问题的多项式时间结果。对于第二个底层矩阵是一个产品矩阵的特殊情况下,我们确定两组条件的块结构,使这个QAP多项式可解分别NP-困难。
2014-03-04 math.OC
Distributed Optimization using ALADIN for MPC in Smart Grids
针对智能电网中的优化问题,提出了一种分布式优化算法。详细地说,我们提出了一种基于增广拉格朗日的交替方向不精确牛顿(ALADIN)方法的变体,该方法具有全局收敛保证,适用于所考虑的线性二次优化问题。我们建立了局部二次收敛的建议计划,并阐述其优势相比,交替方向乘法(ADMM)。特别是,我们表明,在更多的通信成本,ALADIN需要更少的迭代,以达到所需的精度。此外,它是数值证明的迭代次数是独立的子系统的数量。运行ALADIN和ADMM基于模型预测控制器的基准案例研究所提出的方案的有效性说明。
2020-04-03 cs.SY eess.SY math.OC
Overlapping Schwarz Decomposition for Constrained Quadratic Programs
提出了求解约束二次规划问题的一种重叠Schwarz分解算法。Schwarz算法传统上用于解决线性代数系统所产生的偏微分方程,但我们最近表明,他们也是有效的解决结构化最优化问题。在建议的计划中,我们认为量子点的代数结构可以表示的图形。图域被划分成重叠的子域(产生一组耦合的子问题),子问题的解决方案并行计算,并通过更新重叠区域中的原始-对偶信息来执行收敛。我们表明,收敛是有保证的,如果重叠是足够大的,并且收敛速度的重叠的大小呈指数级提高。收敛结果依赖于图结构问题的一个关键属性,即灵敏度的指数衰减。在这里,我们建立的条件下,此属性为约束QP(如网络优化和最优控制中发现的),从而扩展现有的工作,解决无约束QP。Schwarz格式的数值行为通过使用一个定义在具有9,241个节点的网络上的DC最优潮流问题来证明。
2020-08-31 math.OC
Reinforcement Learning in Linear Quadratic Deep Structured Teams: Global Convergence of Policy Gradient Methods
Concordia University(康考迪亚大学)
本文研究了线性二次型深度结构团队的基于模型和无模型的策略梯度下降算法和自然策略梯度下降算法的全局收敛性。在这样的系统中,代理被划分成几个子群体,其中每个子群体中的代理通过所有代理的状态和动作的一组线性回归在动态和成本函数中耦合。每个智能体观察其局部状态和状态的线性回归,称为深度状态。对于一个足够小的风险因素和/或足够大的人口,我们证明了基于模型的策略梯度方法全局收敛到最优解。给定任意数量的代理,我们开发的无模型策略梯度和自然策略梯度算法的风险中性成本函数的特殊情况。所提出的算法是可扩展的代理的数量,由于事实上,他们的政策空间的维度是独立的代理在每个子群体的数量。仿真结果验证了理论分析的正确性。
2020-12-15 cs.LG cs.MA cs.SY
Structured Sparsity Promoting Functions
受高维线性回归中基于极小极大凹罚的变量选择方法的启发,提出了一种由凸稀疏促进函数及其Moreau包络构造结构化凸凸稀疏促进函数的简单方法.这些函数的属性是通过利用它们的结构来开发的。特别是,我们提供稀疏性保证的一般家庭的功能。进一步研究了几种特殊函数的邻近算子的性质,包括闭凸集的指示函数、分段二次函数以及它们的线性组合。为了证明这些属性,提出了几个具体的例子和现有的实例作为特殊情况。
2018-09-18 math.OC
Robust Feasibility of Systems of Quadratic Equations Using Topological Degree Theory
本文针对二次方程组系统的鲁棒可行性边际测量问题,提出基于拓扑度理论的方法,将其转化为非线性优化问题并开发内外界程序以高效求解紧的下界和上界,在MATPOWER和NESTA电网实例上验证了方法的有效性。
2023-05-21 math.AT math.OC
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California(南加州大学)
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸($m<<n$)。我们制定的恢复问题作为一个非凸的优化问题,通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降,当初始化的期望信号的邻域中,以线性速度收敛到未知信号。这些结果适用于任何约束集(凸或非凸)提供收敛保证的全局最优,即使当目标函数和约束集是非凸的。此外,这些结果与测量的数量保持一致,所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法,这种数据贫乏的制度,打破了局部样本的复杂性障碍,出现在最近的文献。在配套文件中,我们展示了有利的性能的优化问题,可以使类似的结果继续持有更多的全球性(在整个环境空间)。总的来说,这两篇论文利用并开发了强大的工具,统一收敛的经验过程,可能有更广泛的影响,严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路,该系统可以利用先验信息显着减少采集时间并增强图像重建,从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA
Solving convex QPs with structured sparsity under indicator conditions
本文研究了由二元指示变量控制且受基数等条件约束的凸优化问题,将其表述为可分凸二次形式,并提出多项式时间近似算法与负面复杂性结果。
2024-11-18 cs.CC cs.DS math.OC
Improved Spectral Clustering for Multi-Objective Controlled Islanding of Power Grid
我们提出了一个两步算法的最佳控制孤岛划分成岛屿的容量有限的电网,同时优化几个标准:高发电机内的一致性岛屿,最小的潮流中断,由于撕裂线,最小的甩负荷。在第一步中使用几个谱聚类策略来降低问题的维度(仅考虑相干性和中断),并且在第二步中使用用于混合整数二次问题的CPLEX工具来选择聚合网格的平衡分区,以最小化相干性、中断和甩负荷的组合。一个贪婪的启发式有效地限制搜索空间,产生精确算法的起始解。第二步问题的维数仅取决于所需的岛的数量K,而不是原始网格的维数。该算法在标准系统上进行了测试,118,2383和9241节点显示高质量的分区和竞争力的计算时间。
2017-05-04 math.CO math.OC
Optimal parameter selection for the alternating direction method of multipliers (ADMM): quadratic problems
乘子的交替方向法(ADMM)已成为一种强大的技术,用于大规模结构优化。尽管ADMM的收敛性能的许多最近的结果,算法参数的收敛时间的方法的影响的定量表征仍然缺乏。在本文中,我们找到了最佳的算法参数,最小化的ADMM迭代的收敛因子的上下文中的l2-正则化的最小化和约束二次规划。数值例子表明,我们的参数选择规则显着优于现有的替代品在文献中。
2014-04-12 math.DS math.OC
Introducing the quadratically-constrained quadratic programming framework in HPIPM
本文介绍了二次约束二次规划(QCQP)框架最近添加到HPIPM与原来的二次规划(QP)框架。新框架的目标是不变的,即提供有效和可靠地解决(更一般的类)最优控制问题(OCP)的积木。新引入的QCQP框架提供了与原始QP框架相同的全部功能:三种类型的QCQP(密集、最优控制和树结构最优控制QCQP)和内点法(IPM)求解器以及(部分)压缩和其他预处理例程。利用HPIPM的模块化结构,新的QCQP框架建立在QP构建块的基础上,同样提供了快速可靠的IPM求解器。
2021-12-22 cs.SY eess.SY math.OC
Dynamical Programming for off-the-grid dynamic Inverse Problems
在这项工作中,我们考虑的算法重建时变数据到一个有限的离散轨迹,或者,离网稀疏尖峰分解,这是连续的时间。最近的工作表明,这种分解是可能的,通过最小化一个凸变分模型,结合了二次数据保真度与动态最优输运。我们概括了这个框架,并提出了新的数值方法,利用高效的经典算法计算最短路径的有向无圈图。我们的理论分析证实,这些方法收敛到全局最优的重建,代表了有限数量的离散轨迹。在数值上,我们展示了新的例子不平衡的最优输运处罚,平衡的例子,我们是100倍的速度相比,以前已知的方法。
2022-12-23 cs.NA math.NA math.OC
The quadratic balanced optimization problem
我们引入了二次平衡最优化问题(QBOP),它可以用来模拟资源的公平分配与成对的相互作用。即使可行解族具有非常简单的结构,QBOP也是强NP难的。提出了几种通用的精确算法和启发式算法。广泛的计算实验的结果报告使用随机生成的二次背包问题作为测试床。这些结果说明了我们的精确和启发式算法的有效性。我们还表明,当成本矩阵是特殊结构,QBOP可以解决作为一个序列的线性平衡最优化问题。因此,我们有几个多项式可解的情况下QBOP。
2013-08-14 cs.DM math.CO math.OC