On-line Non-stationary Inventory Control using Champion Competition
通常采用的平稳需求假设不能真实反映波动需求，在实际应用中会削弱求解的有效性。考虑一类在线非平稳库存控制问题（ONICP），在该问题中，对需求不作任何具体的假设，允许需求的概率分布随时间变化并相互关联.非平稳需求的性质使静态（s，S）策略的最优性及其相应算法的适用性失效。ONICP成为计算棘手的使用一般的基于仿真的优化（SO）方法，特别是在一个在线的决策环境下，没有奢侈的时间和计算资源，以负担巨大的计算负担。我们开发了一种新的SO方法，称为“冠军竞争”（CC），它提供了一个不同的框架，并绕过了耗时的样本平均常规采用一般SO方法。另一种类型的最优解，称为“冠军解决方案”，追求在CC框架，这符合传统的最优性意义在一定条件下，并作为一个近最优解的一般情况下。在求解包括ONICP在内的一类SO问题时，CC可以将一般SO方法的复杂性降低几个数量级。一个多项式算法，被称为“更新循环算法”（RCA），进一步发展，以履行CC框架中的一个重要步骤，在解决这个ONICP。数值例子来证明与RCA嵌入的CC框架的性能。
2016-01-14 math.OC
Optimal Control of a Non-Stationary Inventory-Queue, with Applications to EV-Battery Swapping
Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
针对电动汽车电池更换站的非平稳排队系统，提出连续时间MDP方法，推导出显式阈值结构的最优控制策略，并通过数值实验验证其鲁棒性。
2026-09-29 math.OC
Non-Stationary Inventory Control with Lead Times
KU Leuven（鲁汶大学）；Northwestern University（西北大学）
本文提出了一种自适应在线算法，用于具有交期的非平稳库存控制问题，通过优化基础库存策略并建立性能保证，实现了在变化需求下的高效库存管理。
2026-08-06 cs.LG math.OC stat.ML
A study of the problem of optimal management of discrete product inventory in the stochastic regeneration model with continuous consumption and random delivery delay
研究了顾客需求为泊松流的离散产品再生库存的最优控制问题。在该系统中，允许延迟需求，延迟需求的数量受到给定值的限制。控制参数是库存水平，在该水平下，有必要发出补货订单。管理有效性的指标是在一个再生周期内获得的平均单位利润。最优控制问题是在离散概率分布集合上的分数线性积分泛函极值的陈述的基础上解决的。工作的重要内容是推导出再生期利润泛函增量的数学期望的解析表达式。所得到的解析表达式使我们能够明确地确定固定成本指标的控制效率，这是介绍了在第一部分的研究。因此，它成为可能，以数字方式解决库存的最优控制问题的模型正在考虑。
2020-01-30 math.OC
On the Optimality Equation for Average Cost Markov Decision Processes and its Validity for Inventory Control
众所周知，平均费用最优性不等式意味着单位时间平均费用的马尔可夫决策过程存在平稳最优策略，并且这些不等式在广泛的自然条件下成立。本文对具有弱连续转移概率和可能无界的一步费用和非紧行动集的无限状态问题，给出了平均费用最优性方程有效的充分条件.这些条件也意味着折扣相对值函数序列收敛于平均费用相对值函数和平均费用相对值函数的连续性。如本文所示，经典的库存检查库存控制问题满足这些条件。因此，对于这个问题，最优性不等式以具有连续平均成本相对值函数的等式的形式成立。此外，当折扣因子增大到1时，折扣相对值函数的$K$ -凸性及其收敛于平均费用相对值函数的性质，也隐含了平均费用相对值函数的$K$ -凸性.这意味着库存控制问题的平均成本最优$(s,S)$策略可以从平均成本最优性方程导出。
2016-10-02 math.OC
Optimal strategies in a production-inventory control model
考虑了两种不同生产率的有限生产能力的生产-库存控制模型，假设顾客需求的累积过程是一个复合泊松过程。可以在任何时候从不同的生产率切换，但当库存过程达到最大存储容量时必须关闭。我们考虑持有、生产、短缺惩罚和转换成本。该模型由Doshi、Van Der Duyn Schouten和Talman于1978年提出。我们的目标是最小化的预期折扣的累积成本无穷大的所有容许的切换策略。我们证明了不同生产率下的最优费用函数满足相应的Hamilton-Jacobi-Bellman方程组，并证明了一个验证定理。最优费用函数求解不同的变分不等式的方法给出了最优策略的切换区域，因此它在只依赖于当前生产率和库存量的意义下是平稳的。我们定义了有限波段策略的概念，并利用标度函数导出了一个波段和两个波段的波段策略的不同成本的公式。我们还表明，有一些例子中，Doshi等人提出的切换策略。不是最优策略。
2020-08-13 math.OC
A dynamic ordering policy for a stochastic inventory problem with cash constraints
本文研究了一个随机库存管理问题，其中一个现金有限的小型零售商定期从供应商购买产品，并将其销售到一个市场，而面对非平稳的需求。在每个时期，零售商的可用现金限制了可以订购的最大数量。零售商在采购时存在一个固定的订货成本。我们部分地刻画了最优订货策略的$\bf s-C$结构：对于每个时期，当初始库存高于$\bf$的阈值时，无论初始现金有多少，都不应该订货;当初始库存不足以成为$\bf s$阈值时，当初始现金低于$C$阈值时，也最好不订货. $C$的值可以是依赖于状态的，并且与每个时期的初始库存相关。提出了一种启发式策略$(s, C(x), S)$：当初始库存$x$小于$s$且初始现金大于$C(x)$时，订购一个使库存尽可能接近$S$的数量，否则不订购.我们首先确定的值的控制参数$s$，$C(x)$和$S$的基础上的随机动态规划的结果，并通过广泛的计算研究测试其性能。结果表明，$(s, C(x), S)$策略性能良好，最大最优性差距小于1%，平均差距约为0.01%.然后，我们开发了一个简单的和时间有效的启发式方法计算策略$(s, C(x), S)$通过解决混合整数线性规划问题和近似报童模型：这种启发式的平均差距约为2\%，我们的测试床。
2019-12-16 math.OC
Inventory Management with Partially Observed Nonstationary Demand
考虑了一类具有马尔可夫调制的非平稳需求的连续时间模型。我们通过假设世界的状态是不可观察的，并且必须由管理者推断来引入主动学习。我们还假设，只有当需求被完全满足时，它们才被观察到。我们首先推导出显式滤波方程，并传递到一个等价的充分观察脉冲控制问题的充分统计量，后验概率过程和当前的库存量。然后，我们解决这个等价的配方，并直接表征最优库存策略。我们还描述了一个计算过程来计算价值函数和最优策略，并提出了两个数值例子。
2012-06-27 math.OC math.PR q-fin.GN
Cash-Flow Based Dynamic Inventory Management
中小型企业（SMEs），包括许多初创公司，需要管理相互关联的现金流和货物库存。在本文中，我们建立了一个公司，可以资助其库存（订购或制造）贷款，以满足随机需求，一般可能不是时间平稳的。该公司从手头的现金中赚取利息，并支付债务利息。其目标是在有限的规划期结束时，使公司的%营运资本的期望值最大化。我们的研究表明，最优订货策略的特点是由一对阈值变量为每个周期的初态的周期。此外，门限值的上限和下界是使用两个简单的计算排序策略开发的。在此基础上，我们提出了一个有效的算法来计算这两个门限值。由于底层状态空间是二维的，这导致了优化算法的高计算复杂性，我们还通过将最优化问题简化为一维来推导最优值函数的上界。随后，当贷款利率和存款利率是分段线性函数，当存在最大贷款限额和未满足的需求是延期交货时，类似结构的政策是最优的。最后，进一步的管理见解提供了数值研究。
2015-09-22 math.OC
Optimal run time for an EPQ model with scrap, rework, setup time and machine breakdown (failure) under learning effect assumption
在制造系统中，准备时间和生产时间起着重要的作用，通过人类学习效应可以减少这些时间。此外，生产线的缺陷产品被分类为不完美（可修复）和报废（不可修复）产品。为此，本研究的目的是确定最佳的运行时间的经济生产量（EPQ）模型与报废，返工，安装时间，和机器故障下的学习效应假设。机器故障发生在产生特定数量的缺陷产品后，随后进行返工。在本研究中，一部分不良品被视为报废品，其余的则被返工，同时借由学习效应减少生产与设定的时间。所提出的问题扩展到一个生产库存费用函数。其次，证明了模型的凸性，并得到了模型的最优运行时间。最后通过算例说明了模型的实用性。
2019-12-24 math.OC
Computing optimal policies for managing inventories with noisy observations
针对含噪声观测、设置成本和延迟交货的部分可观测库存控制问题，本文采用 DDPG 计算近似最优策略，并在高斯情形下利用均值信念证明 (s_t,S_t) 策略结构及通过离散化数值验证性能。
2025-07-26 math.OC
Stochastic Dynamic Programming Heuristic for the (R, s, S) Policy Parameters Computation
本文提出一种结合贪心松弛与修改版Scarf（s, S）SDP的启发式方法，用于计算非平稳随机库存问题中的（R, s, S）策略参数，并利用K-凸性和记忆化技术显著加速计算，实验表明其速度远超现有方法。
2022-02-28 math.OC
Structure-Informed Deep Reinforcement Learning for Inventory Management
Amazon（亚马逊）
本文针对经典库存管理问题，提出基于DirectBackprop的通用深度强化学习方法，性能优于传统基准，还提出结构感知策略网络技术提升可解释性与鲁棒性，打通数据驱动学习与运筹解析洞察的壁垒。
2025-07-29 cs.LG math.OC
Impulse Control with Discontinuous Setup Costs: Discounted Cost Criterion
本文研究了Helmes等人（2015）提出的一个连续评审的积压库存模型，但每个订单的设置成本是不连续的。特别地，设置成本的特征在于两步函数，并且一旦订单数量超过阈值$Q$，则将收取更高的成本。与Helmes等人（2015）在折扣成本准则下获得的连续设置成本的$(s,S)$型策略的最优性不同，我们发现，在我们的模型中，尽管某些$(s,S)$型策略在某些情况下确实是最优的，但$(s,S)$型策略并不总是最优的。特别是，我们表明，存在的情况下，$(s,S)$政策是最佳的一些初始水平，但它是严格比一般的$(s,\{S(x):x\leq s\})$政策的其他初始水平。在$(s,\{S(x):x\leq s\})$策略下，它不为$x>s$订购任何东西，而为$x\leq s$订购最高级别的$S(x)$，其中$S(x)$是$x$的非常数函数.我们进一步证明了这样的$(s,\{S(x):x\leq s\})$政策的最优性在一个大的子集，这些初始水平的容许政策。此外，通过建立一个更一般的下界定理，得到了最优性，该下界定理也适用于用一般下界方法求解其他最优化问题。
2020-09-02 math.OC
Reduction of total-cost and average-cost MDPs with weakly continuous transition probabilities to discounted MDPs
本文描述了具有一般状态空间和动作空间，且具有弱连续转移概率的总费用和平均费用马尔可夫决策过程（MDP）可约化为折扣MDP的充分条件.对于非折扣问题，这些减少意味着最优性方程的有效性和存在的静态最优策略。这些约简还提供了计算最优策略的方法。结果被应用到一个容量限制的库存控制问题的固定成本和销售损失。
2017-11-18 math.OC
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca（米兰-比可卡大学）；ESSCA School of Management（ESSCA管理学院）；Eindhoven University of Technology（埃因霍温理工大学）
本研究针对药品供应链的易腐性、非平稳需求等挑战，比较了OUT、PIL和深度强化学习（PPO）三种库存策略，发现经典与DRL策略各有优劣，需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
The Price of Simplicity: Analyzing Decoupled Policies for Multi-Location Inventory Control
本研究分析多地点库存控制中解耦策略的性能代价，证明其最优基库存不变，给出性能界，并验证在线算法，为耦合系统控制提供权衡指导。
2025-04-22 cs.SY eess.SY math.OC
A graph-based heuristic for the non-stationary stochastic lot-sizing problem under penalty costs
Business School, University of Edinburgh（爱丁堡大学商学院）
提出一种基于有向无环图的最短路径算法，通过松弛非负订单约束并采用重复增广过程解决不可行性，高效求解非平稳随机需求下的单物品批量问题。
2026-06-24 math.OC
A 5/3 Guarantee for Echelon Stock (R,nQ) Policies in Two-Stage Stochastic Serial Systems
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
针对两阶段串联库存系统，提出阶梯库存(R,nQ)策略，证明其成本至多为最优的1.73倍，且数值实验显示比率接近1。
2026-09-29 cs.DS math.OC
Global Convergence of Policy Gradient Algorithms for Indefinite Least Squares Stationary Optimal Control
我们考虑不定最小二乘平稳最优控制的策略梯度算法，例如，具有不定状态和输入惩罚矩阵的线性二次型调节器（LQR）。这样的设置在具有冲突目标的控制设计中具有重要的应用，例如线性二次动态博弈。我们证明了这类不定最小二乘问题的梯度、自然梯度和拟牛顿策略的整体收敛性。
2020-02-10 cs.SY eess.SY math.OC
Continuity of Cost in Borkar Control Topology and Implications on Discrete Space and Time Approximations for Controlled Diffusions under Several Criteria
我们首先证明了当策略被给定Borkar引入的拓扑结构时，包含受控非退化扩散的折扣成本、直到退出时刻的成本和遍历成本在平稳控制策略空间上是连续的。Borkar，马尔可夫控制的拓扑结构，应用数学和优化20（1989），55-62]。这同样适用于有限时域问题时，控制策略是马尔可夫和拓扑结构的修改，包括时间也作为一个参数。然后，我们建立了有限的行动/分段常数平稳策略是密集的空间中的平稳马尔可夫策略在这个拓扑结构。利用上述连续性和稠密性结果，我们建立了有限行动/分段常数策略以任意精度逼近最优平稳策略。这就产生了许多数值方法，如政策迭代和随机学习方法的折扣成本，成本退出时间，遍历成本最优控制问题的连续时间的适用性。对于有限的地平线设置，我们建立了一个类似的论点，另外接近最优的时间离散化的政策。因此，我们提出了一个统一的和简洁的方法近似直接适用于几个常用的成本标准。
2022-11-10 math.OC
Computing and Learning Stationary Mean Field Equilibria with Low-Dimensional Interactions: Algorithms and Applications
National University of Singapore（新加坡国立大学）
本文提出利用低维交互结构的迭代算法，在温和假设下全局收敛地计算和学习平均场均衡，无需单调性或压缩性质，并应用于动态竞争、宏观经济及在线市场等模型。
2026-09-10 cs.GT econ.TH math.OC
A global constraint for the capacitated single-item lot-sizing problem
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Universite Clermont Auvergne（克莱蒙奥弗涅大学）
本文的目标是建立一个约束规划框架来解决批量问题。更具体地说，我们考虑了一个单一的项目批量问题与时变的下限和上界的生产和库存。费用结构包括随时间变化的持有成本、单一生产成本和设置成本。我们建立了一个新的下界，这个问题通过使用一个微妙的时间分解。我们制定这个NP-难的问题作为一个全球性的约束，并表明，绑定的一致性可以实现在伪多项式时间，不包括成本时，在多项式时间。我们开发过滤规则的基础上，现有的动态规划算法，利用上述时间分解困难的情况下。在数值研究中，我们比较了几个公式的问题：混合整数线性规划，约束规划和动态规划。我们表明，我们的全球约束是能够找到解决方案，不像分解的约束规划模型和约束规划可以竞争，特别是当添加组合侧约束。
2019-07-04 cs.AI math.OC
A note on Tempelmeier's β-service measure under non-stationary stochastic demand
本文指出Tempelmeier在非平稳随机需求下提出的β服务水平度量（填充率）不满足标准定义，并通过数值例子说明其可能导致次优策略。
2011-04-18 cs.SY eess.SY math.OC
