Interpretable Reinforcement Learning via Neural Additive Models for Inventory Management
Merantix Momentum GmbH(Merantix Momentum有限公司)
COVID-19疫情凸显了供应链的重要性以及数字化管理在应对环境动态变化方面的作用。在这项工作中,我们专注于发展动态库存订购政策的多级,即多阶段,供应链。传统的库存优化方法的目标是确定一个静态的再订购策略。因此,该等政策无法适应动态变化,例如COVID-19危机期间观察到的变化。另一方面,传统的战略提供了可解释的优势,这是供应链管理者的一个关键特征,以便将决策传达给利益相关者。为了解决这一限制,我们提出了一种可解释的强化学习方法,其目标是与传统静态策略一样可解释,同时与其他基于深度学习的强化学习解决方案一样灵活和环境不可知。我们建议使用神经加法模型作为强化学习代理的可解释动态策略,表明这种方法与标准的全连接策略具有竞争力。最后,我们使用的可解释性财产获得洞察到一个简单的,线性的三级库存供应链的复杂订购策略。
2023-03-22 cs.LG cs.MA
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca(米兰-比可卡大学);ESSCA School of Management(ESSCA管理学院);Eindhoven University of Technology(埃因霍温理工大学)
本研究针对药品供应链的易腐性、非平稳需求等挑战,比较了OUT、PIL和深度强化学习(PPO)三种库存策略,发现经典与DRL策略各有优劣,需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
Optimizing Day-Ahead Energy Trading with Proximal Policy Optimization and Blockchain
Kennesaw State University(肯纳邦大学)
本文提出结合PPO与区块链的框架,用于优化日前能源市场中prosumers的自动化交易策略,实现供需平衡与电网韧性。
2025-12-07 cs.CR cs.LG cs.MA
Solving Dual Sourcing Problems with Supply Mode Dependent Failure Rates
University of Twente(特文特大学);Fieldmade AS(菲尔德梅德公司)
本文针对双源采购中供应模式相关故障率问题,提出迭代启发式与结合内生参数化学习的强化学习方法,实现单一策略处理多物品参数,并在能源案例中显著优于基准。
2025-04-11 cs.AI cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
A Deep Q-Network for the Beer Game: A Deep Reinforcement Learning algorithm to Solve Inventory Optimization Problems
Department of Industrial and Systems Engineering, Lehigh University(利哈伊大学工业与系统工程系)
啤酒游戏是一种广泛使用的课堂游戏,在供应链管理课程中播放,以展示牛鞭效应。该博弈是一个分散的、多代理人的合作问题,可以建模为一个串行供应链网络,其中代理人合作试图使网络的总成本最小化,即使每个代理人只能观察到自己的本地信息。每个代理商选择订单数量来补充库存。在一定条件下,基本库存补充策略是最优的。然而,在一个分散的供应链中,一些代理(阶段)可能会采取非理性的行动(如他们在啤酒游戏),有没有已知的最优策略,希望采取最佳行动的代理。我们提出了一种基于深度Q网络的机器学习算法,以优化给定阶段的补货决策。当与遵循基本库存策略的代理一起玩时,我们的算法获得了接近最优的订单数量。当其他代理使用更现实的人类订购行为模型时,它的表现要比基本库存策略好得多。与文献中的大多数其他算法不同,我们的算法对啤酒游戏参数值没有任何限制。像任何深度学习算法一样,训练算法可能是计算密集型的,但这可以提前执行;当玩游戏时,算法会实时的执行。此外,我们提出了一个迁移学习的方法,使一个代理和一组成本系数进行的训练,可以迅速适应其他代理和成本。我们的算法可以扩展到其他分散的多智能体合作博弈与部分可观察的信息,这是一种常见的情况下,在现实世界的供应链问题。
2020-10-14 cs.LG cs.MA
Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning
School of Computing and Information Systems, University of Melbourne, Parkville, Australia(墨尔本大学计算机与信息系统学院,墨尔本,澳大利亚)
提出SCAB攻击,通过污染仅3%的训练经验即可激活超过90%的触发动作,使受害者平均每轮回报降低80%,揭示了强化学习供应链中的后门攻击风险。
2026-06-25 cs.LG
An Analysis of Multi-Agent Reinforcement Learning for Decentralized Inventory Control Systems
Imperial College London(帝国理工学院);The University of Manchester(曼彻斯特大学)
针对现实供应链信息无法集中的库存管理难题,提出多智能体强化学习的去中心化方案,对比三种PPO变体,发现带集中critic的方案性能接近集中式方案且优于分布式模型方法,适配信息约束。
2023-07-21 cs.LG cs.MA cs.SY
Physical policy gradient theorem for in situ stochastic-adjoint training
Virginia Tech(弗吉尼亚理工大学)
本文提出物理策略梯度定理的随机伴随梯度估计器,通过非简并扩散解除互易性限制,并仅用测量轨迹训练非线性谐振子网络对抗时间调制。
2026-11-10 cond-mat.dis-nn cs.LG physics.optics
Reinforcement Learning Policy Recommendation for Interbank Network Stability
Duke university(杜克大学);Università degli studi di Bari Aldo Moro(巴里大学阿尔多·莫罗大学);Universitat Jaume I(海梅一世大学);Università di Bologna(博洛尼亚大学)
本文提出基于强化学习的政策建议框架,通过结合公共与私人信号引导银行间信贷决策,生成动态网络,证明核心-边缘结构与机构规模同质性对系统韧性至关重要,且最优政策能有效缓解系统性风险。
2023-05-17 cs.LG econ.GN q-fin.EC
Agent based modelling for continuously varying supply chains
Wuhan University of Technology(武汉理工大学);University of Southampton(南安普顿大学);The Alan Turing Institute(阿兰·图灵研究所)
本文研究连续变化供应链中的智能体控制,比较PPO与RPPO算法,发现RPPO凭借记忆能力在极端任务间更稳定,强调智能体协作可提升非平稳环境性能。
2023-12-24 cs.AI cs.LG cs.SY
DROP: Deep relocating option policy for optimal ride-hailing vehicle repositioning
The University of Alabama(阿拉巴马大学);Purdue University(普渡大学)
在网约车系统中,优化空置车辆的重新配置可以显著减少车队空闲时间,平衡供需分布,提高系统效率,提高驾驶员满意度和保留率。无模型深度强化学习(DRL)已被证明可以通过与大规模网约车系统中的内在动力学进行主动交互来动态学习重新定位策略。然而,稀疏的奖励信号和不平衡的需求和供应分布的问题,在开发有效的日间行车线模型的关键障碍。常规勘探策略(例如,$ε$ -贪婪)在这样的环境下可能几乎不工作,因为在远离高收入区域的低需求区域中抖动。本研究提出了深度搬迁选择政策(DROP),监督车辆代理商逃离供应过剩的地区,并有效地搬迁到潜在的服务不足的地区。我们建议学习拉普拉斯嵌入的时间扩展的搬迁图,作为系统搬迁政策的近似表示。嵌入生成任务不可知的信号,其与任务相关的信号组合,构成用于生成DROP的伪奖励函数。我们提出了一个分层的学习框架,训练一个高层次的搬迁政策和一组低层次的DROP。我们的方法的有效性证明了使用定制的高保真模拟器与真实世界的旅行记录数据。我们报告说,DROP显着改善了基线模型,每小时收入增加了15.7%,并可以有效地解决低需求领域的抖动问题。
2021-09-09 cs.AI cs.LG cs.MA
Can an AI agent hit a moving target?
University of Warwick(华威大学)
我用人工智能文献中的深度强化学习算法对经济主体在货币政策制度变化(货币供应加速)期间的信念形成和决策过程进行了建模。我表明,当货币供应量加速,学习代理人只有调整他们的行动,其中包括消费和需求的实际平衡,在收集学习经验的许多时期。这种延迟的调整导致过渡时期的低回报。一旦他们开始适应新环境,他们的福利就会改善。他们的信念和行动的变化导致了暂时的通货膨胀波动。我还表明,1。探索其环境的AI代理人更快地适应政策制度的变化,这导致福利改善和通货膨胀波动较小,以及2。经历过结构变化的AI代理比没有经验的学习代理更快地调整他们的信念和行为。
2022-10-24 cs.LG econ.TH
Equilibrium Inverse Reinforcement Learning for Ride-hailing Vehicle Network
Mobility Technologies Co., Ltd.(移动技术有限公司)
无处不在的移动计算使得网约车服务能够收集乘客和司机的大量行为数据,并实时的优化供需匹配。虽然这些移动服务提供商通过向请求分配车辆对市场有一定程度的控制,但他们需要处理由自私的驾驶员行为引起的不确定性,因为工人通常在没有分配任务时可以自由驾驶。在这项工作中,我们制定了稀疏连接图中的车辆-车辆匹配问题,并提出了一种算法,以获得在多智能体环境中的平衡策略。我们的框架结合了价值迭代方法来估计最优的政策给定预期的状态访问和政策传播计算多智能体的状态访问频率。此外,我们开发了一种方法来学习驾驶员的奖励功能转移到一个环境中具有显着不同的动态从训练数据。我们使用真实世界的出租车轨迹数据集评估了时空供需分布变化和数据质量恶化的鲁棒性;我们的方法在模仿准确性方面显着优于几个基线。获得所有车辆共享的均衡策略所需的计算时间不依赖于代理的数量,即使在现实世界的服务规模上,在单个CPU上也只需要几秒钟。
2021-02-13 cs.AI cs.LG
Cooperative Multi-Agent Reinforcement Learning for Inventory Management
Walmart Global Tech(沃尔玛全球科技)
本文提出一种基于GPU并行化环境与共享奖励的协作式多智能体强化学习系统,用于优化包含单仓库多门店的供应链库存管理,并在单一产品场景下超越基础库存策略等基线。
2023-04-18 cs.LG cs.MA
Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains
University of Milan-Bicocca(米兰-比科卡大学);Polytechnic of Turin(都灵理工大学)
本文构建随机季节性需求下的两级供应链环境,比较多种深度强化学习算法,证明其优于传统(s, Q)策略,并开源可定制的数据驱动库存管理库。
2023-11-17 cs.AI cs.LG math.OC
Dynamic Pricing with Limited Supply
Microsoft Research Silicon Valley(微软研究院硅谷);University of Southern California(南加州大学);Cornell University(康奈尔大学)
研究了有限供给下的动态定价问题。卖方有$k$相同的物品出售,并且面对顺序到达的$n$潜在买方(“代理”)。每个代理商都有兴趣购买一件商品。每个代理的项目值是来自某个固定分布的IID样本,支持$[0,1]$。卖方向每个到达的代理人提供一个要么接受要么放弃的价格(不同的代理人可能会有不同的价格),目的是最大化他的预期收入。我们专注于“优先级独立”的机制--不使用任何关于分布的信息。它们是可取的,因为在许多实际情况下,知道分布是不现实的。我们研究如何收入的这种机制相比,最佳的离线机制,知道的分布(“离线基准”)的收入。我们提出了一个优先独立的动态定价机制,其收入是最多$O((k \log n)^{2/3})$低于离线基准,为每一个分布是定期的。事实上,如果将基准放宽到固定价格机制,这种保证在没有任何假设的情况下都成立。此外,我们证明了一个匹配的下界。如果$k/n$足够小,则相同机制的性能保证可以改进为具有分布依赖常数的$O(\sqrt{k} \log n)$。我们表明,在最坏的情况下,在所有的需求分布,这基本上是最好的速度,可以得到一个分布特定的常数。在技术层面上,我们利用与多武装匪徒(MAB)的联系。虽然无限供应的动态定价可以很容易地被视为MAB问题,但当应用于有限供应的设置时,MAB方法背后的直觉就被打破了。我们的高层次概念贡献是,即使是有限的供应设置可以卓有成效地处理作为一个强盗问…
2013-11-26 cs.DS cs.GT cs.LG
Bandits with Knapsacks
Google Research(谷歌研究院);Cornell University(康奈尔大学);Microsoft Research(微软研究院)
多臂强盗问题是学习中探索-利用权衡的主要理论模型,它们有无数的应用,从医学试验到通信网络,再到网络搜索和广告。在许多这些应用领域中,学习者可能受到一个或多个供应(或预算)限制的约束,除了对时间范围的习惯限制之外。文献缺乏一个涵盖这类问题的一般模型。我们引入这样一个模型,称为“土匪与背包”,结合随机整数规划方面的在线学习。与现有的遗憾最小化文献相比,我们的问题的一个显着特点是,对于一个给定的潜在分布的最优策略可能会显着优于发挥最佳固定arm. Consequently的政策,实现次线性遗憾的背包强盗问题是显着更具挑战性比传统的强盗问题。我们提出了两个算法,其奖励接近信息理论的最优:一个是基于一种新的“平衡探索”的范式,而另一个是原始-对偶算法,使用乘法更新。此外,我们证明了这两种算法实现的遗憾是最佳的多对数因子。我们说明了问题的一般性,提出了一些不同的领域,包括电子商务,路由和调度的应用程序。作为具体应用的一个例子,我们考虑了有限供应的动态定价问题,并得到了第一个算法,其遗憾,相对于最优动态策略,是次线性的供应。
2017-09-05 cs.DS cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University(大阪大学)
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中,通过下界的两个政策的性能差异,我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果,我们提供了一个信赖域策略优化方法,使用经验重放作为我们的界限的朴素应用,并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Structural Consequences of Policy-Based Interventions on the Global Supply Chain Network
Department of Engineering, University of Cambridge(剑桥大学工程系);The Alan Turing Institute(艾伦·图灵研究所)
研究分析了政策干预对全球电动汽车供应链网络的影响,探讨了Friendshoring等政策对国家集群和国际贸易结构的作用,发现Friendshoring促进全球化但增加交易成本。
2026-04-14 cs.LG econ.GN physics.soc-ph
Learning to Price Supply Chain Contracts against a Learning Retailer
Purdue University(普渡大学);Cornell University(康奈尔大学)
大数据分析的兴起使公司的决策自动化,并提高了供应链的敏捷性。本文研究了数据驱动的供应商需要对下游零售商的库存决策做出响应的供应链契约设计问题。供应商和零售商对市场需求都是不确定的,需要不断地了解。供应商的目标是开发数据驱动的定价策略,在一个固定的时间范围内,在广泛的可能的零售商库存政策的次线性遗憾界。为了捕捉动态引起的零售商的学习政策,我们首先作出连接到非平稳在线学习的概念变化预算。变化预算量化了零售商的学习策略对供应商决策的影响。然后,我们提出了动态定价策略的供应商离散和连续的需求。我们还注意到,我们提出的定价政策只需要获得需求分布的支持,但关键的是,不需要供应商有任何先验知识的零售商的学习政策或需求实现。我们研究了几个著名的数据驱动的零售商的政策,包括样本平均近似,分布鲁棒优化,和参数的方法,并表明我们的定价政策导致次线性遗憾界在所有这些情况下。在管理层面上,我们肯定地回答,有一个次线性后悔约束下的零售商的学习政策,即使她面对一个学习的零售商和一个未知的需求分布的定价政策。我们的工作还提供了一个新的视角,在数据驱动的运营管理中,校长必须学会对系统中其他代理所采用的学习策略做出反应。
2022-11-02 cs.GT cs.LG cs.MA
Decision-Aware Learning for Optimizing Health Supply Chains
University of Pennsylvania(宾夕法尼亚大学);Macro-Eyes(Macro-Eyes公司)
我们研究在发展中国家,特别是塞拉利昂分配有限医疗资源的问题。我们通过将机器学习(预测需求)与优化(优化分配)相结合来解决这个问题。一个关键的挑战是需要将用于训练机器学习模型的损失函数与下游优化问题相关的决策损失对齐。传统的解决方案在模型架构中的灵活性有限,并且无法扩展到大型数据集。我们提出了一个决策感知的学习算法,使用一种新的泰勒展开的最佳决策损失,以获得机器学习损失。重要的是,我们的方法只需要对训练数据进行简单的重新加权,确保它既灵活又可扩展,例如,我们将其合并到使用多任务学习框架训练的随机森林中。我们与塞拉利昂的决策者合作,运用我们的框架来优化基本药物的分配;目前,高度不确定的需求和有限的预算导致了过度的未满足需求。样本外的结果表明,我们的端到端方法可以大大减少整个塞拉利昂1040个卫生设施的未满足需求。
2022-11-15 cs.LG
Spatial Supply Repositioning with Censored Demand Data
Rotman School of Management, University of Toronto(多伦多大学罗特曼管理学院);Stanford University(斯坦福大学);Faculty of Engineering and Faculty of Business and Economics, University of Hong Kong(香港大学工程学院和商学院)
针对单向车辆共享网络,提出基础库存重定位策略并证明其渐近最优性,设计替代优化与自适应重定位算法达到最优遗憾,凸显简单策略的实用价值。
2025-10-17 cs.LG math.OC stat.ML