Approximate Dynamic Programming for Delivery Time Slot Pricing: a Sensitivity Analysis
我们认为,收入管理的问题,找到利润最大化的价格为交付时间段的背景下,参加送货上门。这个多阶段的最优控制问题承认一个动态规划制定是棘手的现实问题的大小,由于所谓的“维数灾难”。因此,我们研究了三个近似的动态规划算法从控制理论的角度来看,并在参数数值的情况下研究。我们的数值分析是基于真实世界的数据,从中我们生成多个场景,以压力测试的鲁棒性的定价政策模型参数估计的错误。我们的理论分析和数值基准测试表明,这些算法之一,即梯度有界动态规划,占主导地位的其他方面的计算时间和利润生成能力的交付插槽定价政策,它产生。最后,我们表明,模型参数估计的不确定性进一步增加了这种方法的盈利优势。
2020-08-03 math.OC
Approximate solutions for robust multiobjective optimization programming in Asplund spaces
本文研究了任意Asplund空间中带不确定约束的非光滑/非凸多目标最优化问题。首先给出了近似弱鲁棒有效解的模糊形式的最优性必要条件最优性条件,然后利用Frechet次微分的模糊最优性条件,在极限次微分意义下建立了近似弱鲁棒拟有效解的最优性必要定理.在广义伪凸函数的新概念下,得到了该问题近似(弱)鲁棒拟有效解的充分条件.最后,我们解决了一个近似的Mond-Weir型对偶鲁棒问题的参考问题,并探讨弱,强,逆对偶性质的假设下的伪凸性。
2022-11-14 math.OC
Backward Approximate Dynamic Programming with Hidden Semi-Markov Stochastic Models in Energy Storage Optimization
我们考虑一个储能问题,涉及一个风电场预测的功率输出,一个随机的负载,一个储能设备,并连接到更大的电网随机价格。电价和风力发电预测误差使用一种新型的隐式半马尔可夫模型进行建模,该模型不仅准确地复制了误差的分布,而且还准确地复制了交叉时间,捕获了每个过程保持高于或低于预测等基准的时间量。这是涉及存储问题的随机过程的一个重要性质。我们表明,我们实现了更强大的解决方案,使用该模型比更常见的随机模型被认为是。新的模型引入了一些额外的复杂性的问题,因为它的信息状态是部分隐藏的,形成一个部分可观察的马尔可夫决策过程。我们推导出一个接近最优的时间依赖的政策,向后近似动态规划,克服了经典的(精确)向后动态规划的计算障碍,具有更高的质量的解决方案比更熟悉的向前近似动态规划方法。
2020-02-02 math.OC
Guaranteed Bounds for General Approximate Dynamic Programming
在本文中,我们将发展一个系统的方法来推导保证界的近似动态规划(ADP)计划在最优控制问题。我们的方法的灵感来自于我们最近的结果绑定的贪婪策略的性能优化字符串次模函数在有限的地平线。该方法是推导出一个弦-子模最优化问题,其中最优策略是最优控制解,贪婪策略是ADP解。使用这种方法,我们表明,任何ADP解决方案实现的性能是至少一个因素的$β$的性能的最优控制解决方案,满足贝尔曼的最优性原则。因子$β$取决于特定的ADP方案,我们将明确描述。为了说明我们的边界技术的适用性,我们提出了ADP计划的例子,包括流行的推出方法。
2014-03-28 math.OC
Approximate Dynamic Programming based on High Dimensional Model Representation
本文介绍了Bellman方程的隐式高维模型表示(HDMR)算法。这种近似技术大大减少了算法的内存需求。此外,我们表明,HDMR使快速近似最小化,这是必不可少的贝尔曼函数的评价。在每个时间步中,参数化的HDMR最小化问题被松弛为置信域问题,所有问题共享同一矩阵。找到它的特征值分解,我们有效地实现所有极小值的估计。HDMR避免了它们的全域表示,然后在下一个时间步中递归地使用相同的方法。一个说明性的例子,N臂bandid问题。我们假设新建立的近似HDMR最小化和置信域问题之间的联系也可以有益于许多其他应用。
2012-10-02 math.OC
Value iteration for approximate dynamic programming under convexity
本文研究了无限水平收缩马氏决策过程在凸性假设下的值迭代问题,当状态空间不可数时。用一种更易处理的形式代替原值迭代,并证明了修正Bellman算子的不动点在紧集上一致收敛于原算子.对于随机干扰,这在各种采样方法下都成立。此外,本文将提出的条件,在这些不动点形成单调序列的下界或上界函数的原始不动点。这种方法,然后证明了数字上的永久性的可转换认沽期权。
2018-02-20 math.OC
A Theoretical Difficulty in Approximate Dynamic Programming with Input Constraints
为近似动态规划(ADP)引入输入约束具有重要意义。这使得ADP能够应用于具有执行器限制的系统,这在动态系统中是很常见的。在传统的约束ADP框架中,通过策略迭代算法搜索最优控制,其中约束控制下的值由Hamilton-Jacobi-Bellman(HJB)方程求解,约束控制策略基于当前估计值进行改进,这种简洁适用的方法得到了广泛的应用。然而,现有的策略迭代算法的收敛性存在理论上的困难,这可能是由于在控制策略已经改变的情况下,仍要对相同的概率进行强制评估而造成的。本文将对这一问题进行探讨。
2018-05-23 math.OC
Mitigation of Coincident Peak Charges via Approximate Dynamic Programming
消费者年度电力成本的很大一部分可以由重合的峰值费用组成:当整个系统处于峰值需求时,电力消耗的传输附加费。这种收费每年只发生几次,但每兆瓦的价格比非高峰时期高出几个数量级。虽然在整个计费周期的过程中预测峰值需求收费的时刻是可能的,但尚未探索基于这些预测的最佳成本缓解策略。在本文中,我们铸造重合高峰成本缓解作为一个最优化问题,并分析了最佳和接近最佳的缓解政策的条件。对于小型消费者,我们使用近似动态规划首先证明接近最优策略的存在,然后训练神经策略,以在受到斜坡约束时减少同时发生的峰值收费。
2019-08-02 math.OC
Exploiting Low-Rank Structure in Semidefinite Programming by Approximate Operator Splitting
与许多其他凸优化类相比,最先进的半定规划求解器还不能有效地解决大规模的情况。这项工作的目的是减少这种可扩展性的差距,提出了一种新的近似算法解决一般半定规划问题。所提出的方法,基于原始-对偶混合梯度法,允许存在的线性不等式,而不需要添加额外的松弛变量,并避免在每次迭代求解一个线性系。更重要的是,它同时计算与线性约束相关的对偶变量。这项工作的主要贡献是通过有效地调整所提出的算法,以利用几个半定规划问题固有的低秩属性,以实现大幅加速。这种修改是允许算子分裂方法有效地扩展到更大实例的关键因素。收敛性的保证,以及一个直观的解释算法。此外,一个开源的半定规划求解器,称为ProxSDP,提供和实施细节进行了讨论。案例研究,以评估所提出的方法的性能。
2018-12-19 math.OC
Robust Approximate Dynamic Programming for Large-scale Unit Commitment with Energy Storages
考虑到可再生能源实现的不确定性,多阶段鲁棒机组组合(UC)对于实现可靠运行至关重要。典型的仿射决策规则方法和鲁棒可行域方法由于只依赖于当前阶段的信息,可能导致不经济的调度。通过对未来剩余成本函数的逼近,基于对偶动态规划的方法可以很好地解决多阶段鲁棒最优化问题,但存在较高的计算复杂性。因此,我们提出了鲁棒近似动态规划(RADP)方法,以提高计算速度和经济性能的大规模鲁棒UC问题。RADP算法首先确定候选点,保证值函数上界的可行性,然后求解基于线性McCormick松弛的双线性规划,得到最坏情况,最后将原始更新和对偶更新相结合,实现快速收敛。我们可以证明,RADP方法享有有限终止保证的多级鲁棒最优化问题获得次优解。对118节点和2383节点输电系统的数值试验表明,RADP可以在显著提高计算效率的情况下接近次优经济性能。
2023-03-06 math.OC
A quadratic penalty algorithm for linear programming and its application to linearizations of quadratic assignment problems
本文提供了第一个有意义的文件和分析的既定技术,其目的是获得一个近似解,线性规划问题之前,应用原始单纯形法。底层算法是一个惩罚方法,在每次迭代中具有朴素近似最小化。在初始迭代过程中,使用类似于增广拉格朗日的方法。后来的技术密切对应于一个经典的二次罚分法。也有一个讨论的程度,它可以用来获得快速近似解的LP问题,特别是当应用到线性化的二次指派问题。
2018-04-24 math.OC
Energy Aware Architecture for Coordinated Mobility: An Approximate Dynamic Programming Approach
我们的目标是设计分布式协调策略,使代理实现全球性能保证,同时最大限度地减少能源成本,他们的行动,强调实时实施的可行性。作为一个激励的情况下,说明了在代理级别引入能源意识的重要性,我们认为一个团队的移动节点被分配的任务,建立两个基站之间的通信链路,以最小的能量消耗。我们制定这个问题作为一个动态的程序中,每个代理的总成本是移动性和通信成本的总和。为了确保解决方案是分布式的,实时可执行的,我们提出了多个次优政策的基础上近似动态规划的概念。为了提供性能保证,我们计算上界的性能差距建议的次优政策和全球最优政策。最后,我们讨论了所提出的政策的优点和缺点,并使用模拟比较它们的性能。
2016-07-25 math.OC
An Alternating Approach to Approximate Dynamic Programming
提出一种交替近似动态规划方法,通过近似决策变量和核近似基函数求解大规模MDP问题,并成功应用于期权定价验证了经典结论与高维比较。
2025-07-13 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电,本文提出了一种基于状态的决策模型,目标是减轻负荷损失,以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态,例如,由展开事件驱动的馈线开/关状态被建模为马尔可夫状态,并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程(MDP)的递归最优化模型,在每个决策时间,系统重新配置。为了克服由于大量状态和动作而导致的维数灾难,采用基于后决策状态和迭代的近似动态规划(ADP)方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Approximate Constrained Discounted Dynamic Programming with Uniform Feasibility and Optimality
本文针对带一致可行性约束的无限时域折扣CMDP,提出一种动态规划方程,证明由其构造的策略在所有状态上达到最优值,并基于策略迭代思想设计了具有局部收敛性的离线和在线算法。
2023-08-07 math.OC
Efficient Semidefinite Programming with approximate ADMM
半定规划乘子的交替方向法(ADMM)只需近似投影到半定锥上,就能在几乎不降低鲁棒性和可证明收敛性的情况下,使计算速度提高10倍.我们建议使用最先进的无因子分解的近似本征解算器,而不是通过“精确”本征分解来计算投影,该本征分解与矩阵大小成立方,并且不能热启动,从而实现几乎二次缩放和热启动的关键能力。使用来自[Goulart等人,2020],我们能够规避特征分解的数值不稳定性,从而保持对投影精度的严格控制。这反过来又保证了ADMM算法的收敛性,无论是收敛到解还是不可行性证明。为了实现这一点,我们扩展了最近的结果[Banjac等人,2019]证明即使存在近似误差,也可以使用ADMM进行可靠的不可行性检测。在SDPLIB的所有考虑的问题中,“精确”ADMM可以在几千次迭代中解决,我们的方法带来了显著的,高达20倍的加速,而没有明显增加ADMM的迭代。
2021-12-24 math.OC
An Approximate Dynamic Programming Algorithm for Monotone Value Functions
许多序贯判定问题可以用马尔可夫决策过程(Markov Decision Process,MDP)来表示,其中的最优值函数(或剩余成本函数)在某些或全部维度上满足单调结构。当状态空间变大时,传统技术,例如后向动态规划算法(即,反向归纳法或值迭代法)可能不再有效地在合理的时间范围内找到解决方案,因此我们被迫考虑其他方法,例如近似动态规划(ADP)。我们提出了一个可证明收敛的ADP算法称为单调ADP,利用单调性的值函数,以提高收敛速率。在本文中,我们描述了一个一般的有限时域问题设置的最优值函数是单调的,提出了一个收敛性证明单调ADP在各种技术假设下,并显示三个应用领域的数值结果:最佳停止,能量存储/分配,糖尿病患者的血糖控制。实证结果表明,通过利用单调性,我们可以在相对较少的迭代次数内获得高质量的解决方案,使用高达两个数量级的计算比所需的精确计算最优解。
2015-09-01 math.OC
Tropical Dynamic Programming for Lipschitz Multistage Stochastic Programming
本文提出了一种称为热带动态规划(TDP)的算法,它建立了风险中性多阶段随机规划(MSP)中Bellman值函数的上下近似,具有有限支撑的独立噪声。为了解决维数灾难,近似动态规划的流行参数变体将贝尔曼值函数近似为基函数的线性组合。在这里,热带动态规划建立了上层(分别为。较低的)近似的给定值函数作为最小加线性(分别)。最大加线性)组合。在每次迭代中,TDP都会根据Baucke,Downward和Zackeri在2018年为随机对偶动态规划的变体引入的确定性标准向当前组合添加一个新的基本函数。我们证明了,对于每一个Lipschitz MSP,生成的逼近函数的TDP的Bellman值函数的兴趣集上的渐近收敛。我们用线性动力学和多面体代价在MSP上说明了这个结果。
2020-10-20 math.OC
An approximate dynamic programming approach to the admission control of elective patients
在本文中,我们提出了一个近似的动态规划(ADP)算法来解决一个马尔可夫决策过程(MDP)制定的选修病人的入院控制。为了公平有效地管理来自多个专科的择期患者,我们建立了一个等待列表,并为每个患者分配一个随时间变化的动态优先级评分。然后,考虑到病人的随机到达,每周做出连续的决定。在每个周末,我们从等待名单中选择下一周接受治疗的患者。通过在无限范围内最小化MDP的费用函数,我们寻求在患者的等待时间和手术资源的过度利用之间实现最佳权衡。考虑到现实规模的问题的大规模造成的维数的诅咒,我们首先分析的MDP的结构特性,并提出了一种算法,便于搜索最佳的行动。然后,我们开发了一种新的基于并行学习的ADP算法的解决方案技术。实验结果表明,与传统的动态规划方法相比,所提出的算法具有更少的计算时间。此外,该算法被证明是能够计算高质量的接近最优的政策,现实规模的问题。
2021-02-01 math.OC
A General Framework for Bounding Approximate Dynamic Programming Schemes
由于Bellman最优性最优性原理所描述的最优解计算的内在复杂性,多年来人们一直对求解动态规划问题的近似方法感兴趣。现在存在广泛的近似动态规划(ADP)方法。保证ADP方案的性能至少是最优的某个已知分数(例如$β$)是非常有意义的。本文介绍了一种通用的方法来限制ADP方法的性能,在这个意义上说,在随机设置。该方法是基于新的结果绑定贪婪的解决方案在字符串最优化问题,其中一个必须选择一个字符串(有序集)的行动,以最大限度地提高目标函数。这种定界技术受到子模块理论的启发,但子模块性并不是建立边界所必需的。相反,边界是基于量化弦函数的曲率的某些概念;曲率越小,边界越好。关键的见解是,任何ADP计划是一个贪婪的计划,一些代理字符串目标函数,符合其最优解和价值与原来的最优控制问题。ADP方案然后屈服于上述边界技术,并且代理目标的曲率确定边界的值$β$。替代目标及其曲率取决于特定的ADP。
2020-06-16 math.OC
Approximate Dynamic Programming for Real-time Dispatching and Relocation of Emergency Service Engineers
快速响应时间对于最大限度地减少医疗和制造设备等资本货物备件网络的停机时间至关重要。为了保证及时进行维护,备件和服务工程师的战略管理至关重要。虽然有大量的研究文献致力于备件管理,服务工程师的实时管理问题已经引起了相对较少的关注。受此启发,我们考虑如何派遣服务工程师到故障,以及如何重新定位基站之间的空闲工程师。我们开发了一个近似动态规划(ADP)的方法来产生调度和搬迁政策,并提出了两个新的算法来调整ADP政策。我们进行了大量的计算实验,比较ADP政策对两个基准政策,通过模拟。这表明ADP方法可以生成高质量的解决方案,在广泛的网络和参数范围内优于两个基准。我们观察到显着的改善,迟到的分数超过两个基准,而不增加平均响应时间。
2019-10-03 math.OC
Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems
本文将对偶动态规划(DDP)推广到求解凸非线性动态规划方程。我们称之为不精确的DDP(IDDP)这种扩展适用于一些或所有的原始和对偶子问题,以解决沿迭代的方法解决有界误差的情况。我们证明了决策序列的任何聚点都是动态规划方程的近似解。当这些错误趋于零的迭代次数趋于无穷大,我们表明,IDDP解决了动态规划方程。我们扩展的分析随机凸非线性动态规划方程,引入不精确随机对偶动态规划(ISDDP),SDDP的不精确的变种对应的情况下,一些或所有的问题要解决的前向和向后传递的SDDP近似解决。我们还证明了ISDDP在误差消失时的几乎必然收敛。
2017-11-22 math.OC
Dynamic programming using radial basis functions
提出了一种基于径向基函数和Shepard移动最小二乘逼近方法的动态规划最优性原理的离散化方法。我们证明了近似最优值函数收敛于真值函数,并给出了几个数值实验。
2014-05-15 math.OC
On the Convergence of Inexact Predictor-Corrector Methods for Linear Programming
内点方法是求解线性规划问题的一种常用方法,具有很强的理论保证和可靠的经验性能。这些方法的时间复杂度由在每次迭代中求解线性系方程的成本决定。在线性规划的常见应用中,特别是在机器学习和科学计算中,该线性系统的大小可能变得过大,需要使用迭代求解器,其提供对线性系的近似解。然而,在IPM的每次迭代中近似求解线性系会使常见IPM分析的理论保证失效。为了解决这个问题,我们在理论上和经验上分析(略有修改)预测校正IPM使用近似线性求解器时:我们的方法保证,当满足某些条件时,IPM迭代的次数不会增加,最终的解决方案仍然可行。我们还提供了实际的近似线性求解器,满足这些条件的特殊类的约束矩阵,使用随机线性代数的实例。
2022-02-03 math.OC
Online Abstract Dynamic Programming with Contractive Models
本文讨论了在线场景中的抽象动态规划(DP),其中抽象DP映射是时变的,而不是静态的。在这种情况下,在不同时刻的最优成本和策略通常是不相同的,并且该问题相当于跟踪随时间变化的最优成本和策略,这对许多实际问题都很有意义。因此,有必要分析经典的值迭代(VI)和策略迭代(PI)算法在在线情况下的性能。在此过程中,本文开发并提供了几个在线算法,包括近似在线VI,在线PI,近似在线PI,在线乐观PI,近似在线乐观PI,和异步在线PI和VI算法的理论分析。证明了所有算法的跟踪误差界都依赖于任意两个连续抽象映射之间的最大差。同时,给出了实例来说明理论结果.
2021-07-03 math.OC
Approximate Dynamic Programming via Sum of Squares Programming
ETH Zurich(苏黎世联邦理工学院)
针对无限状态和输入空间的随机控制问题,提出一种基于平方和规划的高阶多项式近似动态规划方法,通过半定规划离线计算近似值函数,并在自主直升机模型上验证。
2012-12-06 cs.SY eess.SY math.OC
Approximate dynamic programming for profit estimation of connected hydro reservoirs
本文研究了不确定动态环境下的水库群调度问题。该问题传统上被制定为一个随机动态计划占电力价格和水库流入的不确定性。这个公式受到维数灾难的影响,因为状态空间随着水库的数量以及价格和流入的历史而爆炸。为了避免计算未来价值函数的期望值,该模型利用了所谓的决策后状态。为了进一步解决维数问题,我们提出了一个近似的动态规划的方法,估计未来的价值水使用线性逼近架构。当价格和流入的时间序列遵循自回归过程时,我们的近似提供了未来价值函数的上界。我们使用基于价格和流入的历史数据的离线训练算法,并运行样本内和样本外模拟。两个实际的测试系统的级联和网络连接的水库服务于证明我们的方法的计算易处理性。特别是,我们提供了数值证据的收敛性和质量的解决方案。对于我们的测试系统,我们的研究结果表明,利润估计提高了20%时,包括流入的线性逼近。
2022-05-16 math.OC
A Dual Approximate Dynamic Programming Approach to Multi-stage Stochastic Unit Commitment
本文研究了多阶段随机机组组合问题,在该问题中,机组组合和发电决策可以在每个时段内进行调整。我们制定这个问题作为一个马尔可夫决策过程,这是“弱耦合”的意义上说,如果需求约束放松,问题分解成一个单独的,低维的,马尔可夫决策过程为每个发电机。我们演示了如何调整Barty,Carpentier和Girardeau的对偶近似动态规划方法(RAIRO运筹学,44:167-183,2010)来获得该问题的边界和策略。以前的方法让拉格朗日乘子只依赖于时间,这可能会导致弱下界。其他方法让乘数依赖于过去随机观测的整个历史;虽然这提供了一个强大的下界,但它处理大量样本路径或场景的能力有限。我们演示了如何桥接这些方法的随机机组承诺问题,让乘数取决于当前观察到的需求。这允许在强下界与场景数量的良好可伸缩性之间进行良好的权衡。我们说明了这种方法数值上的168阶段的随机机组组合问题,包括最小的故障,停机时间,和斜坡的限制。
2018-06-22 math.OC
Approximate dynamic programming using fluid and diffusion approximations with applications to power management
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
神经元动态规划是求解动态规划方程的一类强有力的逼近技术。在他们的计算最有吸引力的配方,这些技术提供的近似解只在一个规定的有限维函数类。因此,经常出现的问题是应该如何选择函数类?本文的目标是提出一种方法,使用相关的流体和扩散近似的解决方案。为了说明这种方法,本文重点介绍了一个应用程序的动态速度缩放的电源管理在计算机处理器。
2013-07-09 cs.LG math.OC
A Concave Value Function Extension for the Dynamic Programming Approach to Revenue Management in Attended Home Delivery
我们研究的近似动态规划方法的收入管理的背景下,参加了家庭交付。我们利用动态规划理论的马尔可夫判定问题,凸优化和离散凸分析的结果表明,基本的动态规划运营商有一个独特的不动点。此外,我们还表明,在一定的假设下,所有的时间步骤中的动态程序,价值函数承认一个连续的扩展,这是一个有限值,凹函数的状态变量。这一结果开辟了道路,为实现可扩展的实现所提出的配方,因为它允许在近似动态规划上下文中的基函数作出明智的选择。我们用一个简单的数值例子来说明我们的研究结果,并得出结论,建议如何利用我们的结果在未来的工作中,以获得更接近的值函数。
2019-03-15 math.OC
Approximate Multiparametric Mixed-integer Convex Programming
本文提出了一个在给定次优容限内生成多参数混合整数凸规划显式解的算法。该算法适用于一类非常一般的最优化问题,但最有用的混合模型预测控制,其中在线实施受到阻碍的混合整数求解器的最坏情况下的指数复杂性。输出是一个单纯分区,它定义了从当前状态到次优解的静态映射。本文的主要理论贡献是引入一个非零的最优成本重叠度量,这是必要的和充分的收敛。重叠大小还与分区复杂度有关。该算法是大规模并行化和我们的实现,这是公开的,是运行在一个集群的几百个处理器。我们的解决方案不仅具有确定性的运行时间,模拟表明,我们的方法比在线优化快三个数量级。
2019-06-10 math.OC
Safe Approximate Dynamic Programming Via Kernelized Lipschitz Estimation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Purdue University(普渡大学);Georgia Institute of Technology(佐治亚理工学院)
我们开发了一种方法,通过近似动态规划(ADP)技术获得安全的初始策略,用于强化学习的不确定系统与离散时间动态演化。我们采用核化Lipschitz估计和半定规划计算可容许的初始控制策略,可证明的高概率。这样的容许控制器,使安全的初始化和约束的强制执行,同时提供指数稳定的闭环系统的平衡。
2019-07-03 cs.LG cs.SY eess.SY
Commodity Resource Valuation And Extraction: A Pathwise Programming Approach
与商品资源估值和提取相关的复杂性和不确定性需要适用于高维状态的随机控制方法。最近的进展,在对偶性和automotory明智的技术,介绍了各种新的想法,这一领域的令人惊讶的结果。本文提出了第一个应用程序,这一有前途的发展商品提取问题。我们引入有效的算法,获得近似解与诊断技术,它提供了一个定量的措施,解决方案的性能之间的距离近似和最优控制政策。
2016-07-13 math.OC
Quadratic approximate dynamic programming for scheduling water resources: a case study
本文用近似动态规划的方法研究了电力系统的水资源调度问题,建立了具有凸阶段费用和仿射动态的有限时间经济调度模型,并考虑了值函数的二次逼近。评价所实现的政策需要解决一个二次规划在每一个时间步,而价值函数拟合可以作为一个半定规划。我们测试我们提出的算法上的一个简化版本的乌拉圭电力系统,实现了百分之四的成本降低方面的短视政策
2020-10-05 cs.SY eess.SY math.OC
Proximity in Concave Integer Quadratic Programming
Cook、Gerards、Schrijver和Tardos的一个经典结果提供了一个关于可解线性规划问题最优解的接近度的$n Δ$的上界及其标准线性松弛。在该界限中,$n$是变量的数量,并且$Δ$表示约束矩阵的子行列式的绝对值的最大值。Hochbaum和Shanthikumar,以及Werman和Magagnosc表明,如果更一般的凸函数被最小化,而不是线性函数,则相同的上界是有效的。当目标函数是非凸的时,不知道这种类型的邻近结果。事实上,如果我们最小化一个凹二次函数,没有上限可以作为$n$和$Δ$的函数给出。我们的关键观察是,在这种情况下,邻近现象仍然发生,但只有当我们考虑近似解,而不是最优解。在我们的主要结果中,我们提供了近似(分别为,最优)解决方案的凹二次规划问题和最优(分别,近似)解的连续松弛。我们的边界是$n, Δ$的函数,以及控制近似质量的参数$ε$。此外,我们讨论了如何远离最佳的是我们的邻近边界。
2021-04-14 math.OC
An Enhanced Approximate Dynamic Programming Approach to On-demand Ride Pooling
本研究提出增强型近似动态规划(ADP)方法,引入上下车截止时间、车辆再平衡及多乘客容量等扩展,并与NeurADP对比,发现NeurADP适用于大规模复杂场景而ADP在小规模设置中更优。
2023-05-19 math.OC
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为,证明足够高阶时仅靠外推即可达到障碍参数减小速率,并给出二次规划数值验证。
2025-07-02 math.OC
Optimal Hour-Ahead Bidding in the Real-Time Electricity Market with Battery Storage using Approximate Dynamic Programming
人们越来越感兴趣的是使用电网级存储来平滑随着风能和太阳能的使用增加而可能出现的供应变化。能源套利,即购买、储存和出售电力以利用电力现货价格变化的过程,正在成为支付电网级存储昂贵投资的重要方式。独立系统运营商,如NYISO(纽约独立系统运营商),要求电池存储运营商提前一小时投标市场(尽管结算可能以5分钟的增量发生,这被认为是接近“实时”)。运营商必须在不知道电池在一小时开始时的能量水平的情况下进行这些投标,同时考虑到在一小时结束时剩余能量的价值。该问题被表述为一个动态规划。我们描述并采用了收敛的近似动态规划(ADP)算法,利用单调性的价值函数,找到一个产生收入的投标政策,使用最佳基准,我们凭经验证明算法的计算效益。此外,我们提出了ADP算法的一个无分布的变体,它不需要价格过程的分布的任何知识(也不对特定的实时价格模型做任何假设)。我们证明了使用这种无分布方法对NYISO的历史实时价格数据进行训练的政策确实有效。
2015-08-31 math.OC
Approximate Dynamic Programming based on Projection onto the (min,+) subsemimodule
Dept Of CSA, IISc(印度科学学院计算机科学与自动化系)
本文提出基于(min,+)子半模块投影的近似动态规划方法,用于求解无限时间折扣奖励马尔可夫决策过程。通过(min,+)线性组合基础函数的投影,解决(min,+)投影Bellman方程,并证明算法收敛性。
2014-03-17 cs.SY eess.SY math.OC
Approximate Dynamic Programming based Model Predictive Control of Nonlinear systems
针对离散时间非线性系统最优控制,提出基于近似动态规划的MPC,通过切换系统近似计算二次值函数,并用多阶段方案提升精度、纳入状态约束,多水箱实验表明其在线计算量显著低于非线性MPC。
2023-12-10 cs.SY eess.SY math.OC
DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming
在本文中,我们提出了求解器DuQuad专门解决一般凸二次问题,在许多工程应用中出现的。当难以投影到原始可行集上时,利用(增广)拉格朗日松弛法处理复杂的约束条件,然后利用基于不精确对偶梯度信息的对偶一阶算法求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解:原始最后一次迭代和原始迭代的平均值。我们提供了计算复杂性估计的原始次优性和可行性违反所产生的近似原始解决方案。然后,在DuQuad中用C语言实现了这些算法,并针对低迭代复杂度和低内存占用进行了优化。DuQuad具有动态的Matlab接口,使得测试、比较和分析算法的过程变得简单。该算法只使用基本的算术和逻辑运算来实现,并且适合于在低成本硬件上运行。结果表明,如果一个近似解是足够的一个给定的应用程序,存在的问题,其中一些实现的算法获得的解决方案比国家的最先进的商业求解器。
2015-04-22 math.OC
Undiscounted Control Policy Generation for Continuous-Valued Optimal Control by Approximate Dynamic Programming
本文提出了一种数值方法,用于生成与一般连续状态变量的无折扣、定值、无限时域、非线性最优控制问题有关的状态反馈控制策略。该方法基于近似动态规划,与近似策略迭代密切相关。现有方法通常基于控制策略的收敛而终止,并且要么需要折扣问题公式化,要么要求费用函数位于函数的特定子类中。所提出的方法扩展了现有的终止标准,要求控制策略和由此产生的系统状态收敛,允许使用未贴现的有界和连续的费用函数。本文定义了数值方法,推导了相关的数学性质,并通过典型算例验证了数值方法的有效性。带有所示示例的MATLAB实现是免费提供的。
2021-04-22 cs.SY eess.SY math.OC
An Optimal-Storage Approach to Semidefinite Programming using Approximate Complementarity
Cornell University(康奈尔大学);California Institute of Technology(加州理工学院)
本文提出了一种新的存储优化算法,可证明解决一般半定规划(SDP)的标准式。该方法对弱约束的SDP特别有效。其关键思想是建立一个近似互补原理:给定对偶SDP的一个近似解,原始SDP有一个近似解,其范围包含在对偶松弛矩阵的小特征值的特征空间中。对于弱约束的SDP,该特征空间具有非常低的维度,因此该观察结果显著减小了原始解的搜索空间。该结果提出了一种可以以最小存储实现的算法策略:(1)近似求解对偶SDP;(2)将原始SDP压缩到对偶松弛矩阵的具有小特征值的特征空间;(3)求解压缩的原始SDP。本文还提供了数值实验表明,这种方法是成功的一系列有趣的大规模的SDP。
2020-06-17 cs.LG math.OC
Approximate Dynamic Programming For Linear Systems with State and Input Constraints
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Georgia Southern University(佐治亚南方大学)
在连续状态空间中的强化学习(RL)期间强制执行状态和输入约束是一个开放但关键的问题,其仍然是在安全关键应用中使用RL的障碍。本文利用不变集更新控制策略的近似动态规划(ADP)的框架内,保证约束满足所有的时间和收敛到最优的政策(在线性二次型调节器的意义)渐近。提供了一种用于以数据驱动的方式实现所提出的约束ADP方法的算法。这种形式主义的潜力是通过数值例子证明。
2019-06-26 cs.LG cs.SY eess.SY
An Error Bound for Aggregation in Approximate Dynamic Programming
本文针对折扣有限状态无限时域动态规划问题,提出一般聚合框架,并推导出聚合问题与原始问题最优代价函数之间的误差界,将Tsitsiklis和van Roy的硬聚合结果推广到软聚合和基于特征的聚合方案。
2025-07-02 cs.SY eess.SY math.OC
Fast Approximate Dynamic Programming for Input-Affine Dynamics
本文提出了两种新的数值格式,用于近似实现具有仿射输入动态的离散时间系统的有限时域最优控制的动态规划~(DP)运算。所提出的算法涉及离散化的状态和输入空间,并基于一个替代的路径,解决了对偶问题对应的DP操作。我们提供了所提出的算法的误差界,以及其计算复杂性的详细分析。特别是,对于一类特定的问题与可分离的数据的状态和输入变量,所提出的方法可以减少DP操作的典型时间复杂度从$O(XU)$到$O (X+U)$,其中$X$和$U$分别表示离散状态和输入空间的大小。通过将DP运算中的最小化算法变换为经由离散共轭的加法来实现这种减少。
2022-03-17 cs.SY eess.SY math.OC
Risk-Averse Approximate Dynamic Programming with Quantile-Based Risk Measures
在本文中,我们考虑了有限时间范围的马尔可夫决策过程(MDP),其中每个阶段的目标是最小化未来成本序列的基于分位数的风险度量(QBRM);我们称总体目标为动态的基于分位数的风险度量(DQBRM)。特别是,我们考虑优化动态风险度量,其中一步风险度量是QBRM,一类风险度量,包括流行的风险价值(VaR)和条件风险价值(CVaR)。虽然在文献中有相当大的理论发展的风险厌恶MDP,计算的挑战还没有被彻底探讨。提出了基于数据驱动和模拟的近似动态规划(ADP)算法来解决风险规避型序贯判定问题。我们解决了在模拟环境中的风险应用程序的采样效率低下的问题,并提出了一个程序,基于重要性抽样,直接样本对“风险区域”的ADP算法的进展。最后,我们展示了我们的算法的数值结果的背景下,涉及风险规避投标的能量存储的应用程序。
2017-05-09 cs.AI math.OC
A new problem qualification based on approximate KKT conditions for Lipschitzian optimization with application to bilevel programming
针对Lipschitz优化中约束资格失效问题,提出基于近似KKT条件的子集Mangasarian-Fromovitz条件(subMFC),该问题资格弱于拟正规性,并应用于双层规划,可在部分平静性失效时成立。
2025-02-26 math.OC
A Supplementary Condition for the Convergence of the Control Policy during Adaptive Dynamic Programming
基于强化学习的自适应/近似动态规划(ADP)是一种为动力系统确定近似最优控制器的强大技术。这些方法绕过了解析求解非线性Hamilton-Jacobi-Bellman方程的需要,该方程的解通常难以确定,但是需要确定最优控制策略。ADP方法通常采用策略迭代算法,该算法在每一步评估和改进值函数以找到最优控制策略。以往的ADP算法缺乏更强的条件来保证策略迭代算法的收敛性。本文给出了ADP算法收敛的一个充分但非必要条件。该条件为基于ADP的非线性动力系统控制算法设计提供了一个更为坚实的理论框架。
2018-05-23 math.OC
Approximate Dynamic Programming for Degradation-aware Market Participation of Battery Energy Storage Systems: Bridging Market and Degradation Timescales
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种近似动态规划框架,用于设计考虑退化因素的电池储能系统市场参与策略,通过分离长期退化动态与短期市场动态,提升计算可行性。
2026-03-22 cs.SY eess.SY math.OC
Iteration complexity analysis of dual first order methods for conic convex programming
本文详细分析了求解锥凸问题的对偶一阶方法的迭代复杂性。当难以投影到凸约束描述的原始可行集上时,利用拉格朗日松弛法处理复杂的约束,然后利用对偶一阶算法求解相应的对偶问题。我们给出了对偶一阶算法(对偶梯度算法和快速梯度算法)的收敛性分析:我们提供了次线性或线性估计的原始次最优性和可行性违反所产生的近似原始解决方案。我们的分析依赖于Lipschitz性质的对偶函数的梯度或误差界的双重性质。此外,迭代复杂性分析是基于两种类型的近似原始解:最后原始序列或平均原始序列。
2015-03-13 math.OC
Approximate Dynamic Programming with Feasibility Guarantees
针对网络化系统优化方案求解大规模问题计算负担重、分布式迭代技术仅渐近可行的问题,提出一种树结构耦合子问题下可一次性给出可行解的近似动态规划方案,推广了多领域方法并通过数值算例验证了对非凸约束问题的有效性。
2024-01-29 cs.SY eess.SY math.OC
A feasible adaptive refinement algorithm for linear semi-infinite optimization
提出了一种求解线性半无限规划问题的数值方法,该方法所产生的迭代对原问题是可行的。这是通过构建一系列标准的线性规划问题的连续离散化的索引集,使近似区域包括在原来的可行域。证明了所得到的近似解收敛于原问题的解,并且所得到的近似问题的最优目标函数值是单调递减的,并收敛于LSIP的最优值.一个自适应的细化过程的设计离散的指标集和更新的近似问题的约束。数值实验验证了该算法的性能。
2021-01-25 math.OC
Approximate Dynamic Programming for a Mean-field Game of Traffic Flow: Existence and Uniqueness
针对高速公路多车交通流控制问题,本文构建折扣成本无限时域鲁棒平均场博弈及DP PDE系统,并用ADP自适应求次优控制,证明其ODE-PDE系统弱解唯一且通过仿真验证。
2023-06-05 cs.SY eess.SY math.OC