TetraGrip: Sensor-Driven Multi-Suction Reactive Object Manipulation in Cluttered Scenes
University of Washington（华盛顿大学）
本文提出TetraGrip，一种配备四个带ToF传感器吸盘的反应式真空抓取系统，通过强化学习策略在堆叠和遮挡场景中比单吸盘夹爪提升22.86%的抓取成功率。
2025-03-12 cs.LG cs.RO cs.SY
OpComm: A Reinforcement Learning Framework for Adaptive Buffer Control in Warehouse Volume Forecasting
Amazon（亚马逊）
OpComm通过结合监督学习和强化学习，有效提升仓库体积预测的准确性，降低误差率并提高决策透明度。
2025-12-17 cs.LG
Playing hide and seek: tackling in-store picking operations while improving customer experience
INESC TEC；Faculty of Engineering, University of Porto（波尔图大学工程学院）
零售业务的发展带来了新的挑战，并提出了如何重塑商店和供应链以满足在线渠道日益增长的需求的关键问题。全渠道零售商最近采取的措施之一是使用店内拣选来解决在线销售的增长，这允许使用现有资产来服务在线订单。然而，它带来了损害离线客户体验的缺点。为了实现拣选策略适应零售商店的动态客户流，我们正式提出了一个新的问题，称为动态店内拣选路由问题（diPRP）。在这个相关的问题- diPRP -一个采摘尝试挑选在线订单，同时尽量减少客户的遭遇。我们将问题建模为马尔可夫决策过程（MDP），并使用包括数学规划和强化学习组件的混合解决方案来解决它。合成实例的计算实验表明，该算法收敛到有效的政策。此外，我们应用我们的方法在一个大型的欧洲零售商的背景下，评估结果的建议政策的数量挑选和遇到的客户。我们的工作表明，零售商应该能够在不损害线下客户体验的情况下，扩大在线订单的店内拣选。与只关注拣选订单的策略相比，使用建议的解决方案方法学习的策略将客户接触的数量减少了50%以上。因此，为了追求充分权衡运营效率和客户体验的全渠道策略，零售商不能依赖于实际的简单化拣选策略，例如选择最短的可能路线。
2023-01-05 cs.LG math.OC
Autonomous Warehouse Robot using Deep Q-Learning
North South University（南北大学）
在仓库中，专门的代理需要导航，避免障碍物，并最大限度地利用仓库环境中的空间。由于这些环境的不可预测性，可以应用强化学习方法来完成这些任务。在本文中，我们提出使用深度强化学习（DRL）来解决机器人导航和避障问题，并使用传统的Q学习来最大限度地利用空间进行产品放置。我们首先调查的问题，为单一的机器人的情况。接下来，基于单机器人模型，我们扩展我们的系统的多机器人的情况下。我们使用Q表的策略变化来执行多智能体Q学习。我们成功地测试了我们的模型在2D仿真环境中的单机器人和多机器人的情况下的性能。
2022-02-21 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers
Indian Institute of Management Bangalore（班加罗尔印度管理学院）；University of Antwerp（安特卫普大学）
研究随机订单到达下自主订单拣选机器人的动态电池充电问题，提出基于近端策略优化的深度强化学习框架，能动态学习充电站选择和充电时长，实验表明该框架可提高订单完成率、减少充电时间并验证其鲁棒性。
2026-07-08 cs.LG cs.MA math.OC
Reinforcement Learning for Multi-Product Multi-Node Inventory Management in Supply Chains
TCS Research（塔塔咨询服务公司研究院）；Robert Bosch Centre for Data Science and AI, IIT Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心）
本文描述了强化学习（RL）在供应链多产品库存管理中的应用。问题描述和解决方案都改编自现实世界的业务解决方案。这个问题的新颖之处就供应链文献是（i）我们考虑并发库存管理的大量（50到1000）的产品共享能力，（ii）我们考虑了一个多节点的供应链，由一个仓库，供应三个商店，（iii）仓库，商店和运输从仓库到商店有有限的能力，（iv）仓库和商店补货发生在不同的时间尺度上，并且具有实际的时间滞后，以及（v）商店对产品的需求是随机的。我们描述了一种新的配方在多代理（分层）强化学习框架，可用于并行决策，并使用优势演员评论（A2C）算法与量化的行动空间来解决这个问题。实验表明，该方法是能够处理多目标奖励最大化的产品销售和最小化易腐产品的浪费。
2020-06-07 cs.AI cs.LG cs.MA
Joint Order Selection, Allocation, Batching and Picking for Large Scale Warehouses
针对大型仓库订单拣选问题，提出一种将订单选择纳入分批问题的新颖表述，并验证了两种基线算法，发现纳入订单选择能显著提升解决方案质量。
2025-06-25 math.OC
Modified Dynamic Programming Algorithms for Order Picking in Single-Block and Two-Block Rectangular Warehouses
University of Newcastle（纽卡斯尔大学）；University of South Florida（南佛罗里达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；International Computer Science Institute, University of California at Berkeley（加州大学伯克利分校国际计算机科学研究所）
本文提出改进的动态规划算法，通过优化仓库拣货路径计算，提升计算效率并保持最优性。
2026-01-16 math.OC
Picking Operations in Warehouses with Dynamically Arriving Orders: How Good is Reoptimization?
University of Passau（帕绍大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究评估了Reopt算法在动态订单拣选中的性能，证明其在随机环境下几乎渐近最优，并通过实验验证其近优性。
2024-09-19 math.OC
The Multi-Agent Pickup and Delivery Problem: MAPF, MARL and Its Warehouse Applications
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
我们研究了两个国家的最先进的解决方案的多智能体的皮卡和交付（MAPD）问题的基础上不同的原则-多智能体路径寻找（MAPF）和多智能体强化学习（MARL）。具体来说，最近的MAPF算法称为基于冲突的搜索（CBS）和当前的MARL算法称为共享经验演员评论家（SEAC）进行了研究。虽然这些算法的性能是使用完全不同的指标，在他们各自的工作线测量，我们的目标是基准测试这两种方法全面模拟仓库自动化环境。
2022-03-14 cs.LG cs.MA stat.ML
Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment
Tsinghua University（清华大学）；Shenzhen Academy of Robotics（深圳机器人研究院）
本文提出了一种新的机器人抓取系统，用于在复杂场景中自动拾取物体。设计了一种由吸盘和夹持器组成的复合机械手，用于稳定抓取物体。吸盘用于首先将物体从杂物中提起，并且抓持器用于相应地抓持物体。我们利用示能图为吸盘提供像素级提升点候选。为了获得良好的示能图，系统引入了主动探索机制。设计了一个有效的度量来计算当前示能图的奖励，并采用深度Q网络（DQN）来引导机器人手主动探索环境，直到生成的示能图适合抓取。实验结果表明，所提出的机器人抓取系统是能够大大提高机器人抓取的成功率在混乱的场景。
2023-02-21 cs.CV cs.LG cs.RO
Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains
University of Milan-Bicocca（米兰-比科卡大学）；Polytechnic of Turin（都灵理工大学）
本文构建随机季节性需求下的两级供应链环境，比较多种深度强化学习算法，证明其优于传统（s, Q）策略，并开源可定制的数据驱动库存管理库。
2023-11-17 cs.AI cs.LG math.OC
Reinforcement Learning for Location-Aware Scheduling
University of California, Irvine（加州大学欧文分校）；Zebra Technologies（斑马技术公司）
动态调度和资源管理的最新技术已经在仓库环境中找到了应用，因为它们能够以更高的时间分辨率组织和优先化任务。深度强化学习作为一种学习范式的兴起，使分散的代理种群能够发现复杂的协调策略。然而，同时训练多个代理在训练中引入了许多障碍，因为观察和动作空间变得指数级大。在我们的工作中，我们通过实验量化了仓库环境的各个方面（例如，平面图复杂度、关于代理的活动位置的信息、任务并行性级别）影响性能和执行优先级。为了实现效率，我们提出了一个紧凑的表示的状态和动作空间的位置感知多智能体系统，其中每个代理只有自我和任务坐标的知识，因此只有部分的可观测性的底层马尔可夫决策过程。最后，我们展示了在某些环境中训练的代理如何在完全看不见的设置中保持性能，并将性能下降与平面图几何形状相关联。
2022-03-07 cs.LG cs.MA
Reinforcement Learning for Efficient Returns Management
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所 IAIS）；University of Bonn（波恩大学）
针对零售仓库退货存储效率低下的问题，提出将退货重新分配转化为在线多背包问题，并采用强化学习进行求解，在模拟数据上仅损失3%性能，却将平均存储时间降低96%。
2025-01-24 cs.LG
Cooperative Multi-Agent Reinforcement Learning for Inventory Management
Walmart Global Tech（沃尔玛全球科技）
本文提出一种基于GPU并行化环境与共享奖励的协作式多智能体强化学习系统，用于优化包含单仓库多门店的供应链库存管理，并在单一产品场景下超越基础库存策略等基线。
2023-04-18 cs.LG cs.MA
Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Vanderlande Industries B.V.（范德兰德工业有限公司）
在电子商务市场中，准时交货对客户满意度至关重要。在本文中，我们提出了一种深度强化学习（DRL）方法，用于决定如何以及何时在仓库中分批和拣选订单，以最大限度地减少延迟订单的数量。特别地，该技术有助于做出关于订单是否应该被单独拣选（逐订单拣选）或与其他订单一起批量拣选（逐批次拣选）的决定，以及如果是，则与哪些其他订单一起拣选。我们的方法制定它作为一个半马尔可夫决策过程的问题，并开发一个基于向量的状态表示，包括仓库系统的特点。这使我们能够创建一个深度强化学习解决方案，通过与环境交互来学习策略，并使用近端策略优化算法解决问题。我们评估的性能，建议DRL的方法，通过比较它与几个在不同的问题设置的排序和sequencing。结果表明，DRL方法是能够开发出一种策略，产生一致的，良好的解决方案，并表现得更好，比建议的策略。
2020-06-16 cs.AI cs.LG
Integrated Optimization of Automated Warehouse Operations and Last-Mile Transport for Differentiated On-Demand Delivery
Toronto Metropolitan University（多伦多城市大学）
针对差异化按需配送，提出集成AGV智能仓库与最后一公里运输的深度强化学习联合优化框架，实现仓储100%准时率，末公里时间降29.3%-53.2%，高优先级服务率超92%。
2026-09-17 cs.LG
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck（吕贝克大学）；KION Group AG（凯傲集团股份公司）；Montanuniversität Leoben（莱奥本矿业大学）
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中，自动引导车辆配备了LiDAR和正面RGB传感器，并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题，我们提出NavACL-Q作为一种自动课程学习的方法，结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估，以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明，经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道，其智能体目标距离增加了3米，初始相对智能体目标旋转了45度。消融研究还表明，NavACL-Q极大地促进了学习过程，与随机开始的训练相比，性能增益约为40%，并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
On picking operations in e-commerce warehouses: Insights from the complete-information counterpart
本文通过计算完全信息最优策略解，为电商仓库拣选作业揭示动态调整已开始批次和战略性重新部署空闲拣货员等决策模式，并挑战战略性等待概念，从而改进完工时间与订单周转。
2024-10-18 math.OC
Improved formulations of the joint order batching and picker routing problem
订单拣选是从仓库的存储位置检索订购产品的过程。在拣货员到零件的订单拣货系统中，两个或多个客户订单可以被分组并分配给单个拣货员。然后，必须做出关于拣货行程期间物品的访问顺序的路由决策。（J.Won和S.Olafsson 2005）发现，与单独和顺序解决这两个问题相比，解决配送和路由的集成问题使仓库管理员能够更有效地组织订单拣选操作。因此，我们调查的数学规划制定这一综合问题。我们根据Valle，Beasley和da Cunha 2017的发现提出了几种改进的公式，可以显着改善计算结果。更具体地说，我们重建的连接约束，并产生新的切割平面在我们的分支和切割框架。我们还讨论了一些问题的性质，通过研究的图形表示的结构，我们提出了两种类型的附加约束。我们还考虑了这个问题的无逆转的情况。我们提出了有效的配方，通过建立不同的辅助图。最后，我们提出了计算结果公开可用的测试问题，单块和多块仓库配置
2022-07-12 math.OC
MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale
Robotics at Google（谷歌机器人）
通用机器人系统必须掌握大量不同的技能，才能在一系列日常任务中发挥作用。虽然强化学习为获取个体行为提供了一个强大的框架，但获得每项技能所需的时间使得用RL训练的通才机器人的前景令人生畏。在本文中，我们研究了一个大规模的集体机器人学习系统如何能够同时获得一系列行为，在任务之间共享探索，经验和表示。在这个框架中，新的任务可以从以前学习的任务中不断地实例化，从而提高系统的整体性能和能力。为了实例化这个系统，我们开发了一个可扩展和直观的框架，通过用户提供的期望结果的例子来指定新任务，设计了一个多机器人集体学习系统，用于同时收集多个任务的经验的数据汇集，并开发了一个可扩展和可推广的多任务深度强化学习方法，我们称之为MT-Opt。我们演示了MT-Opt如何学习广泛的技能，包括语义挑选（即，从特定类别中挑选对象），放置到各种固定装置中（例如，将食物放置在盘子上）、覆盖、对准和重新排列。我们训练和评估我们的系统上的一组12个现实世界的任务，从7个机器人收集的数据，并证明了我们的系统的性能，无论是在其能力，以概括到结构相似的新任务，并获得不同的新任务更快地利用过去的经验。我们建议您在https://karolhausman.github.io/mt-opt/上观看视频
2021-04-27 cs.LG cs.RO
Unsupervised Reward Shaping for a Robotic Sequential Picking Task from Visual Observations in a Logistics Scenario
Boston University（波士顿大学）；Pickle Robot Co.（Pickle机器人公司）
针对物流卸货的顺序拣选任务，本文提出一种基于专家观测的无监督奖励塑形算法，以降低强化学习对监督的依赖并提升其性能。
2023-05-27 cs.LG cs.RO cs.SY
Post-Convergence Sim-to-Real Policy Transfer: A Principled Alternative to Cherry-Picking
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）
本文提出一种收敛后仿真到现实迁移的最坏情况性能优化方法，通过凸二次约束线性规划实现策略选择，避免挑拣，并在腿式机器人运动策略迁移中验证有效性。
2025-04-21 cs.LG cs.RO
Hierarchically Structured Scheduling and Execution of Tasks in a Multi-Agent Environment
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Zebra Technologies（斑马技术公司）
在仓库环境中，任务是动态出现的。因此，过早地将他们与劳动力相匹配的任务管理系统（例如，提前几周）是次优的。此外，这种系统的动作空间的快速增加的大小构成了传统调度器的一个重要问题。然而，强化学习适合于处理需要为长期目标（通常是远程目标）做出连续决策的问题。在这项工作中，我们设置自己的一个问题，提出了一个层次结构：任务调度，由一个集中的代理，在一个动态的仓库多智能体环境和执行这样的时间表，由分散的代理，只有部分的可观测性。我们建议使用深度强化学习来解决高级调度问题和调度执行的低级多代理问题。最后，我们还设想的情况下，集中化是不可能的，在测试时，工人必须学会如何合作，在执行任务的环境中，没有时间表，只有部分可观测性。
2022-03-06 cs.LG cs.MA stat.ML
Deep Reinforcement Learning for Picker Routing Problem in Warehousing
School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）；University of South Florida（南佛罗里达大学）；Carey Business School, Johns Hopkins University（约翰霍普金斯大学凯里商学院）；International Computer Science Institute, University of California at Berkeley（加州大学伯克利分校国际计算机科学研究所）
针对仓库运营中的订单拣货路径问题，提出基于注意力神经网络与强化学习的求解方法，相比传统启发式算法在速度与准确性上更优，并能降低路径感知复杂度。
2024-02-05 cs.AI cs.LG
Dynamic AGV Task Allocation in Intelligent Warehouses
Toronto Metropolitan University（多伦多城市大学）；University of Edinburgh（爱丁堡大学）
本文提出神经近似动态规划方法，协调人与AGV混合团队，解决动态仓库订单拣选中的任务分配问题，以最大化订单吞吐量和运营效率。
2023-12-26 cs.AI math.OC
Reinforcement learning for multi-item retrieval in the puzzle-based storage system
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学伯克利深圳学院）
如今，快速交付服务创造了对高密度仓库的需求。基于拼图的存储系统是一种提高存储密度的实用方法，但在检索过程中面临困难。在这项工作中，深度强化学习算法，特别是双重和决斗深度Q网络，被开发用于解决系统中的多项检索问题，其中多个所需的项目，护送和I/O点被随机放置。此外，我们提出了一个通用的紧凑的整数规划模型来评估解决方案的质量。大量的数值实验表明，强化学习方法可以产生高质量的解决方案，并优于三个相关的最先进的启发式算法。此外，转换算法和分解框架分别提出了处理同时运动和大规模的实例，从而提高PBS系统的适用性。
2022-02-05 cs.AI cs.DM cs.LG
Learning Synergies between Pushing and Grasping with Self-supervised Deep Reinforcement Learning
Princeton University（普林斯顿大学）；Google（谷歌）；Massachusetts Institute of Technology（麻省理工学院）
熟练的机器人操作受益于非易失性（例如推动）和易失性（例如抓取）动作之间的复杂协同作用：推动可以帮助重新排列杂乱的物体，为手臂和手指腾出空间;同样，抓取可以帮助移动物体，使推动运动更加精确和无碰撞。在这项工作中，我们证明了通过无模型深度强化学习从头开始发现和学习这些协同作用是可能的。我们的方法涉及训练两个完全卷积的网络，从视觉观察映射到动作：一个推断推动的效用，用于末端执行器方向和位置的密集像素采样，而另一个则用于抓取。这两个网络都是在Q学习框架中联合训练的，并且完全通过试错来自我监督，其中奖励来自成功的抓握。通过这种方式，我们的策略学习推动运动，使未来的把握，同时学习把握，可以利用过去的推动。在模拟和现实场景中的挑选实验中，我们发现我们的系统在具有挑战性的混乱情况下快速学习复杂的行为，并且在短短几个小时的训练后，比基线替代品实现了更好的抓取成功率和挑选效率。我们进一步证明，我们的方法是能够推广到新的对象。定性结果（视频）、代码、预训练模型和仿真环境可在http://vpg.cs.princeton.edu上获得
2018-09-30 cs.AI cs.CV cs.LG
Proximal Curriculum for Reinforcement Learning Agents
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文针对多任务强化学习中的自动课程设计问题，提出受最近发展区启发的 ProCuRL，并通过理论推导与深度 RL 实用变体验证其可加速训练。
2023-04-25 cs.LG
Learning General Inventory Management Policy for Large Supply Chain Network
The University of Tokyo（东京大学）；Preferred Networks Inc.（Preferred Networks公司）
仓库的库存管理直接影响到制造商的利润。特别地，大型制造商生产非常多种类的产品，这些产品由相当多数量的零售商处理。在这种情况下，经典库存管理算法的计算复杂性是非常大的。近年来，以学习为基础的方法已经成为解决这些问题的流行。然而，以前的研究还没有管理系统的产品和零售商的数量都很大。本研究提出一种基于强化学习的仓库库存管理算法，可用于产品和零售商数量都很大的供应链系统。为了解决处理大型系统的计算问题，我们提供了一种在训练阶段对系统进行近似模拟的方法。我们在真实和人工数据上的实验表明，我们的算法与近似模拟可以成功地处理大型供应链网络。
2022-04-28 cs.AI cs.LG
Learning Adaptive Evolutionary Computation for Solving Multi-Objective Optimization Problems
Eindhoven University of Technology（埃因霍温理工大学）；Nobleo Manufacturing（Nobleo制造公司）
多目标进化算法被广泛应用于求解多目标优化问题。这些算法依赖于设置适当的参数来找到好的解决方案。然而，在解决非试验（组合）优化问题时，这种参数调整可能在计算上非常昂贵。本文提出了一个框架，集成MOEA与自适应参数控制使用深度强化学习（DRL）。DRL策略被训练为自适应地设置值，这些值指示优化期间的解的突变强度和概率。我们测试所提出的方法与一个简单的基准问题和现实世界中，复杂的仓库设计和控制问题。实验结果表明，我们的方法在解决方案的质量和计算时间方面的优势，以达到良好的解决方案。此外，我们还证明了学习策略是可转移的，即，在简单的基准问题上训练的策略可以直接应用于有效地解决复杂的仓库优化问题，而不需要再训练。
2022-11-01 cs.LG cs.NE
Double Traversals in Optimal Picker Routes for Warehouses with Multiple Blocks
针对多横向通道仓库的最优拣货路径问题，研究证明连接横向通道路线无需子通道双重遍历，简化可行路径结构以支撑更高效的算法。
2025-06-13 math.OC
Learning to Manipulate Deformable Objects without Demonstrations
University of California, Berkeley（加利福尼亚大学伯克利分校）
在本文中，我们通过无模型的视觉强化学习（RL）来解决可变形对象的操作问题。为了避免RL的样本效率低下，我们提出了两个加速学习的关键思想。首先，我们提出了一个迭代拾取放置动作空间，编码的条件之间的关系，拾取和放置在可变形的对象。显式结构编码可以在复杂的对象动态下实现更快的学习。其次，我们只明确学习以随机挑选点为条件的放置策略，而不是联合学习挑选和放置位置。然后，通过选择具有配售下最大值（MVP）的挑选点，我们获得了我们的挑选策略。这为我们在测试期间提供了一个明智的挑选策略，而在训练期间只使用随机挑选点。在实验上，这个学习框架获得了一个数量级的速度比独立的动作空间的学习我们的一套可变形对象操作任务与视觉RGB观察。最后，使用域随机化，我们将我们的策略转移到一个真正的PR2机器人上，以完成具有挑战性的布料和绳索覆盖任务，并在平均覆盖率上展示了标准RL技术的显着改进。
2020-03-02 cs.CV cs.LG cs.RO
A bi-level priority sorting framework for flexible AGV service scheduling in smart warehouses
Toronto Metropolitan University（多伦多都会大学）
本文提出双层优化框架，通过动态调整调度参数和实时路径优化，提升AGV在智能仓库中的服务级别和效率，降低系统成本。
2026-04-16 math.OC
Designing a Robust Low-Level Agnostic Controller for a Quadrotor with Actor-Critic Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
目的：使用四旋翼的实际应用引入了许多干扰和时变特性，这对飞行控制器构成了挑战。我们观察到，当一个四旋翼的任务是拿起和放下一个有效载荷，传统的PID和RL为基础的控制器在文献中发现的斗争，以保持飞行后，车辆改变其动力学由于与此外部对象的相互作用。研究方法：在这项工作中，我们介绍了域随机化在训练阶段的低级别的路点制导控制器的基础上软演员批评。由此产生的控制器上建议的有效载荷拾取和下降任务与增加的干扰，模拟现实生活中的车辆操作进行评估。结果与结论：我们表明，通过在训练过程中引入一定程度的不确定性，在四旋翼动力学，我们可以获得一个控制器，能够使用较大的四旋翼参数的变化来执行所提出的任务。此外，基于RL的控制器在此任务中优于具有优化增益的传统位置PID控制器，同时保持对不同仿真参数的不可知性。
2022-10-06 cs.LG cs.RO
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard（先锋领航）
在咨询和财务规划的世界里，很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功，但它的成功往往取决于从数据集中选择正确的特征，这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法，可以用于复杂的数据集，在这些数据集中几乎不可能选择正确的特征。在本文中，我们将探讨如何使用机器学习进行财务预测，预测经济指标，并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习，可识别多个目标和收入来源的最佳储蓄率，以帮助客户实现财务成功。Vanguard学习算法经过训练，可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为，相反，它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信，强化学习可以用来为顾问和最终投资者创造价值，创造效率，更个性化的计划和数据，以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG
Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban
DeepMind（深度思维）
智能机器人需要使用具体的、时空复杂的感觉信息和运动控制来实现抽象的目标。Tabula rasa深度强化学习（RL）已经解决了视觉、抽象或物理推理方面的高要求任务，但联合解决这些问题仍然是一个艰巨的挑战。最近，一个未解决的基准任务是Mujoban，它集成了这些挑战，其中机器人需要安排从2D推箱子拼图生成的3D仓库。我们探讨了像Mujoban这样的集成任务是否可以通过将RL模块组合在一起来解决，其中模块具有类似于经典机器人架构的明确定义的角色。与通常基于模型的经典架构不同，我们仅使用通过RL或监督学习训练的无模型模块。我们发现，我们的模块化RL方法大大优于Mujoban上最先进的单片RL代理。此外，当例如，使用不同的机器人平台来解决相同的任务。总之，我们的研究结果为研究模块化RL设计的重要性提供了强有力的证据。项目网址：https://sites.google.com/view/modular-rl/
2020-10-03 cs.AI cs.LG cs.RO
Reinforcement Learning for Block Decomposition of CAD Models
Georgia Institute of Technology（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一种新的AI辅助方法，用于将平面CAD（计算机辅助设计）模型分解（分割）成形状良好的矩形块，作为适用于复杂2D和3D CAD模型的一般分解方法的原理证明。分解块需要生成高质量的网格（四边形或六面体的平铺），适用于守恒定律所管辖的物理系统的数值模拟。一般CAD模型的六面体网格生成问题已经困扰了研究人员超过30年，分析人员通常花费超过50%的设计分析周期时间将复杂模型分解为可通过现有技术网格化的简单部分。我们的方法使用强化学习来训练代理对CAD模型执行一系列优化切割，从而产生高质量的块分解。我们表明，代理快速学习一个有效的策略，选择的位置和方向的削减，并最大限度地提高其回报，而不是随机削减。本文是第一个成功的演示代理自主学习如何有效地执行这个块分解任务，从而保持一个可行的方法来自动化这个具有挑战性的过程的承诺。
2023-02-21 cs.AI cs.LG
Deep Reinforcement Learning for Single-Shot Diagnosis and Adaptation in Damaged Robots
ABV-Indian Institute of Information Technology and Management, Gwalior（ABV印度信息技术与管理学院（瓜廖尔））
机器人技术已被证明是许多工业和社会应用中不可或缺的工具，如仓库自动化，制造，灾难机器人等，在大多数情况下，在完成关键任务时对代理的损坏可能导致失败。为了使机器人适应在这种情况下，代理需要采取的政策是强大的一组不同的损害，必须做到这一点，以最小的计算复杂性。因此，我们提出了一个损伤感知控制架构，诊断损伤之前的步态选择，同时也将域随机化的损伤空间学习一个强大的政策。为了实现损伤感知，我们使用了基于长短期记忆的监督学习网络，该网络诊断损伤并预测损伤类型。这种方法的主要新颖之处在于，只有一个单一的政策被训练来适应各种各样的损害，并且在损害发生时在一次试验中进行诊断。
2019-10-02 cs.AI cs.LG cs.RO
On Simple Reactive Neural Networks for Behaviour-Based Reinforcement Learning
University of Glasgow（格拉斯哥大学）
我们提出了一种基于行为的强化学习方法，灵感来自布鲁克的包容架构，其中简单的全连接网络被训练为反应行为。我们的工作假设是，拾取和放置机器人任务可以简化利用领域知识的机器人开发人员分解和训练这种反应行为，即，方法，把握，和收回。然后，机器人自主学习如何通过Actor-Critic架构将它们组合在一起。Actor-Critic策略是确定反应行为在特定时间序列中的激活和抑制机制。我们验证我们的方法在模拟机器人环境中的任务是挑选一块，并把它带到一个目标位置，同时从顶部把握方向的抓手。后者代表了一个额外的自由度，当前的端到端强化学习无法推广。我们的研究结果表明，如果每个行为都是孤立学习的，然后将它们结合起来完成任务，机器人学习可能会更有效。也就是说，我们的方法在8，000集中学习了拾取和放置任务，这代表了端到端方法和现有最先进算法所需的训练集数量的大幅减少。
2020-05-29 cs.LG cs.RO
Multi-Objective Reinforcement Learning for Large-Scale Tote Allocation in Human-Robot Collaborative Fulfillment Centers
Department of Computer and Information Science, University of Pennsylvania, Philadelphia, PA, USA（计算机与信息科学系，宾夕法尼亚大学，费城，PA，USA）；Amazon（亚马逊）
本文提出了一种多目标强化学习方法，用于解决大规模人机协作分拣中心中的托盘分配问题，通过权衡处理速度、资源使用和空间利用等目标，实现了高效且满足约束的策略学习。
2026-02-27 cs.LG
Distributionally Robust Multi-Agent Reinforcement Learning for Dynamic Chute Mapping
Amazon Robotics（亚马逊机器人公司）；Duke University（杜克大学）
针对亚马逊仓库包裹导入率动态不确定导致的再循环问题，提出结合分组 DRO 与上下文老虎机最坏分布预测的 DRMARL 框架，实现鲁棒滑槽映射并平均降低 80% 再循环。
2025-03-12 cs.LG cs.RO
Use statistical analysis to approximate integrated order batching problem
订单拣选和订单包装需要从仓库中取出物品并根据客户要求进行包装。这些活动一直是公司在降低仓库管理成本方面的主要关注点。本文提出并研究了订单分批和订单装箱问题，它考虑了这些活动联合。提出了一种新的基于遗传算法的框架，即最大相关重构问题，以找到一个近似的混合整数规划模型。在这个框架内，在两个阶段的近似模型。首先提出了一种低维模型。然后努力增加其与原始配方的相关系数。最后，一个强大的对交换算法与近似模型相结合。数值实验表明，这种新发现的方法优于文献中的主流方法。结果表明，该方法可以显着降低成本的拣选和包装操作在仓库中。
2022-06-23 math.OC
Jointly Learning to Construct and Control Agents using Deep Reinforcement Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Chicago（芝加哥大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
机器人的物理设计和控制其运动的策略是内在耦合的，并且应该根据任务和环境来确定。在越来越多的应用中，数据驱动和基于学习的方法，如深度强化学习，已被证明在设计控制策略方面是有效的。对于大多数任务，评估物理设计与这种控制策略的关系的唯一方法是经验性的，即，由于训练这些策略是耗时的，因此训练用于所有可能设计的单独策略作为识别最佳设计的手段在计算上是不可行的。在这项工作中，我们通过引入一种方法，同时进行联合优化的物理设计和控制网络来解决这个限制。我们的方法在设计上保持一个分布，并使用强化学习来优化控制策略，以最大化设计分布上的预期回报。我们让控制器访问设计参数，使其能够定制其政策，以每个设计的分布。在整个训练过程中，我们将分布转向更高性能的设计，最终收敛到联合最优的设计和控制策略。我们评估了我们的方法的上下文中的腿运动，并证明它发现了新颖的设计和步行步态，在性能和效率方面优于基线。
2018-09-14 cs.LG cs.RO
Together We Rise: Optimizing Real-Time Multi-Robot Task Allocation using Coordinated Heterogeneous Plays
TCS Research（塔塔咨询服务研究中心）
针对动态仓库中的实时多机器人任务分配问题，提出双智能体强化学习框架MRTAgent，结合改进LQR控制器，在支持连续运动的同时优化任务分配与机器人选择，以最小化行驶距离和延迟。
2025-02-22 cs.AI cs.LG cs.MA
Deep Reinforcement Learning-Based Long-Range Autonomous Valet Parking for Smart Cities
University of Hull（赫尔大学）；Northumbria University（诺森比亚大学）；Queen Mary University of London（伦敦玛丽女王大学）；Wuhan University（武汉大学）
为了降低城市中心的拥堵率，提高用户的体验质量，提出了远程自主代客泊车（LAVP）的框架，在城市中部署一辆自主车辆（AV），它可以在用户需要的地点接送用户，然后自主行驶到市中心以外的停车场。在这个框架中，我们的目标是最小化AV的总距离，同时保证所有用户都得到服务，即，通过优化AV的路径规划和服务时隙数，在用户所需的地点上下车。为此，我们首先提出了一种基于学习的算法，这是命名为双层蚁群优化算法（DL-ACO），以解决上述问题的迭代方式。然后，为了做出实时决策，同时考虑动态环境（即，AV可以从不同位置接送用户），我们进一步提出了一种基于深度强化学习（DRL）的算法，称为深度Q网络（DQN）。实验结果表明，基于DL-ACO和DQN的算法都取得了相当的性能。
2022-05-04 cs.AI cs.LG
Data-efficient visuomotor policy training using reinforcement learning and generative models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架，解决可视化顺序决策问题，利用强化学习（RL）和潜变量生成模型的组合。我们的框架通过引入动作潜在变量来训练深度可视化策略，使得前馈策略搜索可以分为三个部分：（i）训练子策略，该子策略在给定系统状态的情况下输出关于动作潜在变量的分布，（ii）无监督地训练生成模型，该生成模型输出以潜在动作变量为条件的运动动作序列，以及（iii）以端到端的方式对深度可视化策略进行监督训练。我们的方法可以安全探索，并解决数据效率低下的问题，因为它利用了有关有效的电机动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们定义了两个新的措施，去纠缠和本地线性评估潜在的代表性的质量，并补充他们与现有的措施，评估的学习分布。我们通过实验确定了不同的生成模型的特性，这些模型对机器人采摘任务的最终策略训练的性能影响最大。
2020-11-06 cs.LG cs.RO
Structured Cooperative Multi-Agent Reinforcement Learning: a Bayesian Network Perspective
本文提出基于贝叶斯网络的结构化合作MARL方法，通过定义价值依赖集构建P-DTDE范式，证明其策略梯度估计器方差小于CTDE，并开发可扩展actor-critic算法，在大规模多智能体应用中实现更高效收敛。
2025-10-11 cs.LG cs.MA cs.SY
Formulating and solving integrated order batching and routing in multi-depot AGV-assisted mixed-shelves warehouses
Leuphana University of Lüneburg（吕讷堡大学）；Beijing Hanning Tech Co., Ltd（北京汉宁科技有限公司）
不同的零售和电子商务公司都面临着组装大量时间紧迫的拣选订单的挑战，这些订单包括小批量和多批量订单。为了减少非生产性的采摘工作时间，在传统的采摘到零件仓储系统，不同的解决方案，提出了在文献和实践中。例如，在混合货架存储策略中，同一库存单位的物品分布在仓库中的几个货架上;或者使用自动导引车（AGV）将拣选的物品从存储区域运输到包装站，而不是人工拣选。这是第一篇结合这两种解决方案的论文，创建了我们所谓的AGV辅助混合货架拣选系统。我们将这种系统中的新的集成订单管理和路径问题建模为具有三指标和两商品网络流公式的扩展多仓库车辆路径问题。由于集成问题的复杂性，我们开发了一种新的可变邻域搜索算法来解决集成问题更有效。我们测试我们的方法与不同大小的实例，并得出结论，混合货架存储策略比通常的存储策略在AGV辅助的混合货架系统的订单与不同大小的订单行（节省高达62%的AGV行驶距离）更合适。我们的可变邻域搜索算法在可接受的计算时间内提供了最优解。
2022-04-12 cs.AI cs.RO math.OC
DC-MRTA: Decentralized Multi-Robot Task Allocation and Navigation in Complex Environments
University of Maryland, College Park（马里兰大学帕克分校）
提出了一种新的基于强化学习（RL）的仓库环境中移动机器人任务分配和分散导航算法。我们的方法是专为多个机器人被用来执行各种拾取和交付任务的场景。研究了分布式任务分配和导航问题，提出了一种两层的求解方法，在高层，通过马尔可夫决策过程来求解任务分配问题，并选择合适的奖励以最小化总行程延迟（TTD）.在较低级别，我们使用基于ORCA的分散导航方案，使每个机器人能够以独立的方式执行这些任务，并避免与其他机器人和动态障碍物发生碰撞。我们通过将较高级别的奖励定义为来自较低级别导航算法的反馈来组合这些较低级别和较高级别。我们进行了广泛的评估，在复杂的仓库布局与大量的代理，并强调了国家的最先进的算法的基础上近视皮卡距离最小化和遗憾为基础的任务选择的好处。我们观察到机器人的任务完成时间提高了14%，计算无碰撞轨迹提高了40%。
2022-09-07 cs.LG cs.MA cs.RO
Introducing Combi-Stations in Robotic Mobile Fulfilment Systems: A Queueing-Theory-Based Efficiency Analysis
University of Twente（特温特大学）
本文针对仓库履约瓶颈，提出组合站以同时支持拣选与补货，基于排队论分析证明其能减少所需机器人数量并缩短订单周转时间，为仓库自动化提供新方向。
2024-03-19 cs.RO math.OC
Dynamic Object Masks as Goal Representations for Visual Goal-Conditioned Reinforcement Learning
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；University of Ottawa（渥太华大学）；AMII；CIFAR Canada AI Chair（CIFAR加拿大人工智能主席）；Vector Institute（向量研究所）
该研究针对视觉目标条件强化学习，提出动态目标掩码作为目标表示，结合Detic等预训练检测器生成掩码，在机械臂和仿真导航任务中实现高成功率与高效学习，支持仿真到现实迁移。
2026-08-07 cs.CV cs.LG
Decentralizing Multi-Agent Reinforcement Learning with Temporal Causal Information
Research Center Trustworthy Data Science and Security of the University Alliance Ruhr（可信数据科学与安全大学联盟鲁尔研究中心）；Department of Computer Science, TU Dortmund University（图腾大学计算机科学系）；Arizona State University（亚利桑那州立大学）
本文研究去中心化多智能体强化学习，通过扩展局部策略兼容性检查工具并提供时间演化符号知识，在保证理论可靠性的同时显著加速学习过程。
2025-10-14 cs.AI cs.LG cs.MA
Advancing Household Robotics: Deep Interactive Reinforcement Learning for Efficient Training and Enhanced Performance
Old Dominion University（欧道明大学）
本研究提出一种基于持久规则系统的深度交互式强化学习方法，通过保存和重用指导信息，加速家庭机器人训练并减少重复，提升其学习效率与性能。
2024-05-29 cs.LG cs.RO
