Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Vanderlande Industries B.V.（范德兰德工业有限公司）
在电子商务市场中，准时交货对客户满意度至关重要。在本文中，我们提出了一种深度强化学习（DRL）方法，用于决定如何以及何时在仓库中分批和拣选订单，以最大限度地减少延迟订单的数量。特别地，该技术有助于做出关于订单是否应该被单独拣选（逐订单拣选）或与其他订单一起批量拣选（逐批次拣选）的决定，以及如果是，则与哪些其他订单一起拣选。我们的方法制定它作为一个半马尔可夫决策过程的问题，并开发一个基于向量的状态表示，包括仓库系统的特点。这使我们能够创建一个深度强化学习解决方案，通过与环境交互来学习策略，并使用近端策略优化算法解决问题。我们评估的性能，建议DRL的方法，通过比较它与几个在不同的问题设置的排序和sequencing。结果表明，DRL方法是能够开发出一种策略，产生一致的，良好的解决方案，并表现得更好，比建议的策略。
2020-06-16 cs.AI cs.LG
Intentional Updates for Streaming Reinforcement Learning
Openmind Research Institute（Openmind研究 institutes）；Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）
本文提出意图更新方法，通过定义更新目标来优化流式强化学习的稳定性与性能，实验表明其在流式环境下表现优异。
2026-04-21 cs.AI cs.LG
Batch Reinforcement Learning from Crowds
Kyoto University（京都大学）；RIKEN（理化学研究所）
批量强化学习的一个缺点是它需要数据中的奖励，因此不适用于没有奖励函数的任务。现有的缺乏奖励的设置，如行为克隆，依赖于从人类收集的最佳示范。不幸的是，需要广泛的专业知识来确保最优性，这阻碍了复杂任务的大规模数据采集。本文通过从偏好中学习奖励函数来解决批量强化学习设置中缺乏奖励的问题。生成偏好只需要对任务有基本的了解。作为一个心理过程，产生偏好比进行演示要快。因此，偏好可以通过众包从非专业人员那里大规模收集。本文解决了从非专家人类收集数据时出现的一个关键挑战：偏好中的噪音。提出了一种新的概率模型来建模标签的可靠性，它利用标签协作。此外，所提出的模型平滑的估计与学习的奖励函数。Atari数据集上的评估证明了所提出的模型的有效性，随后进行了消融研究，以分析所提出的想法的相对重要性。
2022-11-29 cs.AI cs.LG
A Deep Graph Reinforcement Learning Model for Improving User Experience in Live Video Streaming
KTH Royal Institute of Technology（KTH皇家理工学院）；Hive Streaming AB（Hive流媒体公司）；University of Thessaly（色萨利大学）
在本文中，我们提出了一个深度图强化学习模型，以预测和改善用户体验在直播视频流事件，精心策划的代理/跟踪器。我们首先将用户体验预测问题制定为分类任务，考虑到由于低带宽连接和与跟踪器的有限交互，事件开始时大多数观众的体验质量较差。在我们的模型中，我们考虑不同的因素，影响用户体验的质量和训练不同的状态动作转换时，观众与跟踪器交互的模型。此外，假设过去的事件具有各种用户体验特征，我们遵循梯度提升策略来计算从不同事件学习的全局模型。我们的实验与实时视频流事件的三个真实世界的数据集证明了所提出的模型对几个基线策略的优越性。此外，由于大多数观众在活动开始时体验不佳，我们表明我们的模型可以显着增加具有高质量体验的观众数量，在第一个流媒体分钟内至少增加75%。我们的评估数据集和实施可在https://publicresearch.z13.web.core.windows.net上公开获取
2021-07-28 cs.AI cs.LG
Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；New York University（纽约大学）
强化学习算法在在线学习环境中取得了巨大的成功。然而，这些成功依赖于算法代理与其环境之间的低风险交互。在许多RL可能有用的环境中，例如医疗保健和自动驾驶，大多数在线RL算法在早期训练中所犯的错误都会带来不可接受的成本。这些设置需要开发可以在所谓的批处理设置中操作的强化学习算法，其中算法必须从固定的、有限的并且从一些（可能未知的）策略生成的数据集学习。评估与收集数据的政策不同的政策被称为政策外评估，自然会提出反事实的问题。在这个项目中，我们将展示如何关闭政策评估和因果推理中的治疗效果估计是解决同一问题的两种方法，并比较这两个领域的最新进展。
2020-06-03 cs.AI cs.LG
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University（麦吉尔大学米拉研究所）；Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果，有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中，我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试，数据由单个部分训练的行为策略生成。我们发现，在这些条件下，这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN，以及部分训练的行为策略。为了引入一个强大的基线，我们将批量约束Q-学习算法适应于离散动作设置，并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
该研究针对带可验证奖励的强化学习，提出双时钟框架，解释了更大回滚批次学习慢但按计划失败的原因，推导了多步RLVR训练计划，实验验证了相关预测。
2026-10-14 cs.AI cs.LG
On BatchNorm Forward Modes in Value-Based Reinforcement Learning
FAIR at Meta（Meta FAIR）；Technical University of Darmstadt（达姆施塔特工业大学）
本文证明在离散动作值强化学习中，将批归一化的前向模式从运行统计量切换为批统计量，可显著提升C51和PQN在Atari基准上的性能与稳定性。
2026-09-09 cs.AI cs.LG
When Do Larger Batches Help Scale LLM Reinforcement Learning?
Tencent（腾讯）
该研究针对大语言模型强化学习，通过分离算法与系统效应，提出更大批次缩短目标时间的决策规则，结合GRPO、PPO实验验证了学习率调整与批次优化可缩短目标时间。
2026-09-01 cs.AI cs.LG
Information-Theoretic Considerations in Batch Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在批处理模式下运行的值函数逼近方法对于强化学习（RL）具有基础性的重要性。这些方法的有限样本保证通常关键地依赖于两种类型的假设：（1）温和的分布偏移，和（2）比可实现性更强的表示条件。然而，必要性（“我们为什么需要它们？”）和自然性（“它们什么时候成立？”）的假设在很大程度上逃避了文献。在本文中，我们重新审视这些假设，并提供理论结果来回答上述问题，并进一步加深对值函数逼近的理解。
2019-05-01 cs.AI cs.LG stat.ML
Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们证明了两个算法的性能保证近似$Q^\star$在批量强化学习。与经典的迭代法相比，如拟合Q迭代-其性能损失引起对水平的二次依赖-这些方法估计（某些形式的）贝尔曼误差并享受线性水平误差传播，这是第一次为仅依赖于批量数据和输出稳定策略的算法建立的属性。其中一个算法使用了一个新的和明确的重要性加权校正，以克服臭名昭著的“双采样”困难贝尔曼误差估计，并不使用任何平方损失。我们的分析揭示了它的显着特点和潜在的优势相比，经典的算法。
2020-08-24 cs.AI cs.LG stat.ML
Streaming Deep Reinforcement Learning Finally Works
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出Stream-X配方，结合信号归一化、表示稳定化和受控参数更新，使流式深度强化学习算法首次克服流屏障，在Atari和连续控制任务上达到与批量算法相当的性能。
2026-09-22 cs.AI cs.LG
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
最近，批量深度强化学习（DRL）的研究激增，其目的是从给定的数据集中学习高性能的策略，而无需与环境进行额外的交互。我们提出了一种新的算法，最佳行动模仿学习（BAIL），力求简单性和性能。BAIL学习V函数，使用V函数选择它认为高性能的动作，然后使用这些动作使用模仿学习来训练策略网络。对于MuJoCo基准测试，我们提供了BAIL的全面实验研究，将其性能与其他四种批量Q学习和模仿学习方案进行了比较。我们的实验表明，BAIL的性能远远高于其他计划，也是计算速度远远快于批量Q学习计划。
2020-11-02 cs.AI cs.LG stat.ML
Scalable Reinforcement Learning via Adaptive Batch Scaling
Jongchan Park
本文提出自适应批处理缩放方法，通过动态调整有效批处理大小来平衡强化学习早期的可塑性需求和晚期的稳定收敛，发现增大网络和批处理大小的组合在强化学习中取得最佳性能。
2026-06-04 cs.AI cs.LG stat.ML
Sample-Efficiency in Multi-Batch Reinforcement Learning: The Need for Dimension-Dependent Adaptivity
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）
本文理论分析多批量强化学习中样本效率与自适应性的关系，证明仅增加批次（K>1）不足以保证样本效率，并建立维度相关的批次下界，揭示自适应边界取决于问题维度。
2024-05-28 cs.AI cs.LG
Iterative Batch Reinforcement Learning via Safe Diversified Model-based Policy Search
Siemens AG（西门子公司）
本文提出一种基于安全多样化模型策略搜索的迭代批量强化学习方法，通过引导策略在部署时高效收集数据，在已收集数据支持范围内持续改进策略。
2024-11-14 cs.AI cs.LG stat.ML
Silent Neuron Theory and Plasticity Preservation for Deep Reinforcement Learning in Adaptive Video Streaming
Department of Computer and Network Engineering, the University of Electro-Communications, Japan（电子通信大学计算机与网络工程系，日本）
本文提出静默神经元理论，通过神经元重置机制提升深度强化学习在异构网络环境下的适应能力，实现比特率和QoE的显著提升。
2026-07-09 cs.AI cs.LG
Adaptive Social Metaverse Streaming based on Federated Multi-Agent Deep Reinforcement Learning
针对社交元宇宙中隐私保护与高质量低延迟流媒体传输的冲突，提出基于联邦多智能体近端策略优化的ASMS系统，动态调整比特率，在保护隐私的同时将用户体验提升至少14%。
2025-06-19 cs.AI cs.LG cs.MM
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
RLScheduler: An Automated HPC Batch Job Scheduler Using Reinforcement Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Iowa State University（爱荷华州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
今天，高性能计算（HPC）平台仍然由批处理作业主导。因此，有效的批作业调度是获得高系统效率的关键。现有的HPC批处理作业调度器通常利用启发式优先级函数来对作业进行优先级排序和调度。但是，一旦由专家配置和部署，这样的优先级函数很难适应作业负载、优化目标或系统设置的变化，当发生变化时，可能导致系统效率降低。为了解决这个根本问题，我们提出了RLSTOM，一个自动化的HPC批处理作业调度建立在强化学习。RLSTOM依赖于最少的人工干预或专家知识，但可以通过自己的连续“试错”学习高质量的调度策略。我们在RL调度器中引入了新的基于内核的神经网络结构和轨迹过滤机制，以改善和稳定学习过程。通过广泛的评估，我们确认RLSTOM可以学习高质量的调度策略，对各种工作负载和各种优化目标，相对较低的计算成本。此外，我们表明，即使应用于看不见的工作负载时，学习的模型也能稳定地执行，使其适用于生产使用。
2020-09-02 cs.AI cs.DC cs.LG
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Elan Corporation（Elan公司）
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功，但考虑到高样本效率的要求以及如何收集训练数据，直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中，我们解决了几个挑战，我们遇到的时候，我们试图减轻严重的交通拥堵发生在大都市地区。具体而言，我们需要提供一种解决方案，能够（1）在检索强化学习信息的某些监控摄像机停机时处理交通信号控制，（2）在没有交通模拟器的情况下从批量数据中学习，（3）在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法，给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习，能够学习批量数据的援助，提出了三个组件，有界的行动，批量扩增，和代理奖励裁剪。我们的实验表明，所提出的框架减少了36%的交通拥堵的等待时间相比，目前使用的固定时间的交通信号灯计划。此外，该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Demystifying Design Choices of Reinforcement Fine-tuning: A Batched Contextual Bandit Learning Perspective
University of Science and Technology of China（中国科学技术大学）；Daqing Oilfield Chongqing Company（重庆大庆油田公司）；IFlyTek (China)（iFlytek（中国））
本文从批量上下文老虎机学习视角，探讨强化微调中设计选择的作用与关键性，通过实验揭示各因素对学习和泛化的影响。
2026-01-30 cs.AI cs.LG
B2RL: An open-source Dataset for Building Batch Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
批处理强化学习（BRL）是强化学习领域的一个新兴研究领域。它只从静态数据集（即重放缓冲区）学习，而不与环境交互。在离线环境中，现有的重放经验被用作BRL模型的先验知识，以找到最优策略。因此，生成重放缓冲区是BRL模型基准测试的关键。在我们的B2RL（Building Batch RL）数据集中，我们收集了来自建筑管理系统的真实数据，以及模拟环境中几种行为策略生成的缓冲区。我们相信它可以帮助建立BRL研究专家。据我们所知，我们是第一个为BRL学习而开源构建数据集的公司。
2022-09-30 cs.LG
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University（普林斯顿大学）
研究了具有一般价值函数逼近的批量强化学习（RL）。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设，并通过一般函数类的（局部）Rademacher复杂性来表征泛化性能，这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说，我们将Bellman误差看作是最优性缺口的替代损失，证明了：（1）在双抽样条件下，经验风险最小化（ERM）的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中，无论算法如何，如果没有进一步的假设，样本有效的风险最小化是不可能的。然而，在完备性假设下，FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类，包括有限类，线性空间，核空间，稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Provably Good Batch Reinforcement Learning Without Great Exploration
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
批量强化学习（RL）是将RL算法应用于许多高风险任务的重要方法。以在大型域中产生可靠的新策略的方式进行批量RL是具有挑战性的：新决策策略可能会访问批量数据支持之外的状态和动作，并且有限样本的函数近似和优化可以进一步增加对未来性能过于乐观的学习策略的潜力。最近的算法已经显示出了希望，但在其预期结果中仍然过于乐观。理论工作，提供了强有力的保证，输出政策的性能依赖于一个强大的集中性假设，这使得它不适合的情况下，行为政策和一些候选政策的状态-动作分布之间的比例是大的。这是因为在传统的分析中，误差界随着该比率而增大。我们表明，一个小的修改贝尔曼最优性和评估备份采取更保守的更新可以有更强的保证。在某些情况下，他们可以找到近似最好的政策内的状态-动作空间探索的批量数据，而不需要先验假设的集中性。我们强调了我们的保守更新的必要性和以前的算法和分析的局限性说明MDP的例子，并展示了我们的算法和其他国家的最先进的批RL基线在标准基准的实证比较。
2020-07-22 cs.AI cs.LG stat.ML
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Smaller Batches, Bigger Gains? Investigating the Impact of Batch Sizes on Reinforcement Learning Based Real-World Production Scheduling
Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）；Hochschule Bielefeld（比勒费尔德应用科学大学）；University of Groningen（格罗宁根大学）
本研究探究了批次大小对基于强化学习的现实世界生产调度的影响，发现可系统确定批次大小边界，并引入两种课程学习策略以实现小批次训练，为工业调度提供决策依据。
2024-06-04 cs.LG
Meta-Reinforcement Learning via Buffering Graph Signatures for Live Video Streaming Events
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hive Streaming AB（Hive Streaming公司）；University of Thessaly（色萨利大学）
在这项研究中，我们提出了一个元学习模型，以适应观众之间的网络容量的预测谁参加了现场视频流媒体事件。我们提出了MELANIE模型，其中事件被制定为马尔可夫决策过程，对强化学习任务执行元学习。通过考虑一个新的事件作为一个任务，我们设计了一个行动者-评论家学习计划来计算估计观众的高带宽连接的最优策略。为了确保快速适应新的连接或观众之间的变化在一个事件中，我们实现了一个优先重放内存缓冲区的基础上的回报/吞吐量的观众的连接的Kullback-Leibler分歧。此外，我们采用了一个模型不可知的元学习框架，从过去的事件中生成一个全局模型。由于观众很少参与几个事件，挑战在于如何解释不同事件的低结构相似性。为了解决这个问题，我们设计了一个图签名缓冲区来计算几个流事件的结构相似性，并相应地调整全局模型的训练。我们评估所提出的模型的链接权重预测任务上的三个真实世界的数据集的实时视频流媒体事件。我们的实验证明了我们所提出的模型的有效性，与最先进的策略相比，平均相对增益为25%。出于复制目的，我们的评估数据集和实现可在https://github.com/stefanosantaris/melanie上公开获取
2021-10-03 cs.AI cs.LG cs.NI
Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization
Technical University of Darmstadt（达姆施塔特技术大学）；University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Robotics Institute Germany (RIG)（德国机器人研究所）
本研究针对离线策略强化学习中的样本效率瓶颈，通过将权重归一化集成到CrossQ框架中，解决了高更新-数据比率下的训练不稳定问题，并在25个连续控制任务上实现了可扩展的性能提升。
2025-05-22 cs.AI cs.LG
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning
Tsinghua University（清华大学）
本文研究了有限时域马尔可夫决策过程模型下具有批量约束的情景强化学习问题。多批次强化学习框架，其中，代理被要求提供一个时间表，以更新之前的一切，这是特别适合的情况下，代理遭受广泛的自适应改变策略。给定一个具有$S$状态、$A$动作和规划时域$H$的有限时域MDP，我们设计了一个计算效率高的算法，使用带有置信度参数$δ$的$O\left(H+\log_2\log_2(K) \right)$批次，在$K$事件中实现$\tilde{O}(\sqrt{SAH^3K\ln(1/δ)})$ \footnote{$\tilde{O}(\cdot)$ hides logarithmic terms of $(S,A,H,K)$}的近最优后悔.据我们所知，这是第一个与$O(H+\log_2\log_2(K))$批处理复杂性绑定的$\tilde{O}(\sqrt{SAH^3K})$遗憾。同时，我们表明，要实现$\tilde{O}(\mathrm{poly}(S,A,H)\sqrt{K})$遗憾，批次的数量至少是$Ω\left(H/\log_A(K)+ \log_2\log_2(K) \right)$，这符合我们的上限对数项。我们的技术贡献有两个方面：1）一个接近最优的设计方案，以探索未学习的状态; 2）一个计算效率高的算法，以探索某些方向与近似的过渡模型。
2022-10-15 cs.LG
Way Off-Policy Batch Deep Reinforcement Learning of Implicit Human Preferences in Dialog
Massachusetts Institute of Technology（麻省理工学院）
大多数深度强化学习（RL）系统都无法有效地从非策略数据中学习，特别是如果它们无法在环境中进行在线探索。这些都是将RL应用于现实世界问题的关键缺点，在现实世界中，收集数据是昂贵的，并且模型必须在部署与环境交互之前进行离线测试-例如，从人类交互中学习的系统。因此，我们开发了一类新的非策略批量RL算法，它能够有效地离线学习，而无需从固定的一批人类交互数据中进行探索。我们利用在数据上预先训练的模型作为强先验，并使用KL控制来惩罚RL训练期间与此先验的偏差。我们还使用基于丢弃的不确定性估计来降低目标Q值，作为双Q学习的更有效的替代方案。该算法在开放域对话生成问题上进行了测试-这是一个具有20，000维动作空间的具有挑战性的强化学习问题。使用我们的Way Off-Policy算法，我们可以从收集的人类交互数据中事后提取多个不同的奖励函数，并从所有这些中有效地学习。我们通过将这些系统部署到开放域环境中与人类对话来测试这些系统的真实泛化，并证明我们的算法在离线批量RL中比以前的方法有了显着的改进。
2019-07-08 cs.AI cs.LG stat.ML
Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Cornell University（康奈尔大学）；Netflix, Inc.（网飞公司）
本文提出用对数损失训练拟合Q迭代（FQI-log），证明其样本复杂度与最优策略的累积成本成比例，并在最优行动零成本的问题中实现小成本界，实验表明其样本效率优于平方损失FQI。
2024-08-01 cs.LG
Goal-conditioned Batch Reinforcement Learning for Rotation Invariant Locomotion
University of California, San Diego（加州大学圣迭戈分校）
我们提出了一种新的方法来学习目标条件的政策，在一个批RL设置运动。批处理数据由不受目标限制的策略收集。对于运动任务，这转化为数据汇集，使用代理学习的策略在一个方向上笔直行走，并使用该数据学习目标条件策略，使代理能够在任何方向上行走。所使用的数据汇集策略应该对代理所面向的方向是不变的，即，无论其初始方向如何，代理都应该采取相同的动作来向前行走。我们利用这一特性来学习目标条件策略，使用两个关键思想：（1）通过在不同方向上生成具有相同动作的轨迹来增强数据，以及（2）学习一个编码器，该编码器使用Siamese框架来强制这些旋转轨迹之间的不变性。我们表明，我们的方法优于现有的RL算法的3-D运动代理，如蚂蚁，人形和Minitaur。
2020-04-17 cs.AI cs.LG stat.ML
Algorithms for Batch Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
分层强化学习（HRL）利用时间抽象来解决大型马尔可夫决策过程（MDP），并提供可转移的子任务策略。在本文中，我们介绍了一种非策略HRL算法：分层Q值迭代（HQI）。我们表明，它是可以有效地学习递归最优策略的任何有效的层次分解的原始MDP，给定一个固定的数据集收集从一个平面的随机行为的政策。我们首先正式证明了该算法的收敛性表MDP。然后我们在Taxi域上的实验表明，HQI比平坦Q值迭代收敛得更快，并且易于进行状态抽象。此外，我们证明了我们的算法能够从相同的固定数据集学习不同层次结构的最佳策略，这使得模型比较无需重新收集数据。
2016-03-29 cs.AI
Continuous Doubly Constrained Batch Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
目前的强化学习（RL）算法依赖于太多的实验来学习好的动作，在现实世界中的适用性有限，这可能太昂贵而无法进行探索。我们提出了一种批量RL算法，其中只使用固定的离线数据集而不是与环境的在线交互来学习有效的策略。批量RL中的有限数据产生了在训练数据中未充分表示的状态/动作的值估计中的固有不确定性。当我们的候选政策与生成数据的政策不同时，这会导致特别严重的外推。我们建议通过两个简单的惩罚来缓解这个问题：一个是减少这种分歧的政策约束，另一个是阻止过于乐观估计的价值约束。在一组全面的32个连续动作批量RL基准测试中，我们的方法与最先进的方法相比毫不逊色，无论离线数据是如何收集的。
2021-12-06 cs.LG stat.ML
Iterative Learning Control-Informed Reinforcement Learning for Batch Process Control
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University（工业控制技术国家重点实验室，系统与控制研究所，浙江大学）；Department of Chemical Engineering, Chung-Yuan Christian University（Chung-Yuan Christian University 化学工程系）
本文提出一种结合迭代学习控制与深度强化学习的框架，用于设计满足操作约束和稳定性保证的批量过程控制器。
2026-03-16 cs.AI cs.SY eess.SY
Diverse Mini-Batch Selection in Reinforcement Learning for Efficient Chemical Exploration in de novo Drug Design
本文提出强化学习中的多样化小批量选择框架，通过在从头药物设计任务中增强化学探索的多样性，在保持高质量解的同时显著提升解的多样性，有望加速满足未被满足的医疗需求。
2025-11-07 cs.LG
ORIS: Online Active Learning Using Reinforcement Learning-based Inclusive Sampling for Robust Streaming Analytics System
George Mason University（乔治梅森大学）；Amazon（亚马逊公司）
针对流分析系统中标记数据收集的挑战，提出ORIS方法，通过基于强化学习的包容性采样进行在线主动学习，在情感识别任务中其人类标记性能和模型性能均优于传统基线。
2024-11-27 cs.LG
Large Batch Simulation for Deep Reinforcement Learning
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；University of Southern California（南加利福尼亚大学）；Simon Fraser University（西蒙菲莎大学）
我们在视觉复杂的3D环境中将基于深度强化学习的训练速度提高了两个数量级，在单个GPU上实现了每秒超过19，000帧的端到端训练速度，在单个八GPU机器上达到每秒72，000帧。我们的方法的核心思想是设计一个3D渲染器和具身导航模拟器周围的“批处理模拟”的原则：同时接受和执行大批量的请求。除了一次暴露大量工作之外，批处理模拟允许实现在许多模拟请求中分摊场景资产的内存存储、渲染工作、数据加载和同步成本，从而显著提高每个GPU的模拟代理数量和整体模拟吞吐量。为了平衡DNN推理和训练成本与更快的模拟，我们还建立了一个计算效率高的策略DNN，以保持高任务性能，并修改训练算法，以保持样本效率时，训练大的小批量。通过结合批处理模拟和DNN性能优化，我们证明了PointGoal导航代理可以在1.5天内在单个GPU上在复杂的3D环境中进行训练，其准确率为使用64 GPU集群在三天内训练的现有最先进系统的97%。我们提供了批处理3D渲染器和模拟器的开源参考实现，以促进将这些想法纳入RL系统。
2021-03-12 cs.AI cs.CV cs.GR
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
Comparison and Unification of Three Regularization Methods in Batch Reinforcement Learning
Department of Applied Mathematics, Harvard University（哈佛大学应用数学系）；Department of Computer Science, Harvard University（哈佛大学计算机科学系）；Department of Statistics, Harvard University（哈佛大学统计学系）
在批处理强化学习中，可能存在探索不足的状态-动作对，从而导致学习不足、不准确的模型和执行不良的关联策略。各种正则化方法可以缓解马尔可夫决策过程（MDP）中学习过于复杂的模型的问题，但是它们在技术上和直观上都是不同的，并且缺乏一种通用的形式来比较它们。本文将三种正则化方法统一到一个通用的框架--加权平均转移矩阵中。以这种常见形式考虑正则化方法说明了批量数据集的MDP结构和状态-动作对分布如何影响正则化方法的相对性能。我们通过对一系列MDP和数据汇集政策的实证评估，证实了从共同框架中产生的直觉。
2021-09-16 cs.LG stat.ML
Soft-Robust Algorithms for Batch Reinforcement Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）；University of New Hampshire（新罕布什尔大学）
在强化学习中，针对有限数据的高风险决策问题，通常通过优化百分位数准则来计算鲁棒策略，该准则最小化灾难性失败的概率。不幸的是，这样的策略通常过于保守，因为百分位标准是非凸的，难以优化，并且忽略了平均性能。为了克服这些缺点，我们研究了软鲁棒准则，它使用风险度量来更好地平衡均值和百分位数准则。本文建立了软鲁棒准则的基本性质，证明了软鲁棒准则的优化问题是NP-难的，并提出了两种近似优化算法，理论分析和实验结果表明，与现有的近似优化算法相比，本文的算法具有更小的保守性。
2021-02-26 cs.AI cs.LG math.OC
Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Rutgers University（罗格斯大学）
该研究针对RLVR长窗口成本高的问题，提出CCR方法，在保证推理质量的同时大幅降低4B、8B数学推理模型的训练每步token数，节省超79%的成本。
2026-10-21 cs.AI cs.CL cs.LG
Distilling Reinforcement Learning into Single-Batch Datasets
Brigham Young University
本文提出将强化学习环境蒸馏为单批次监督学习数据集的方法，通过扩展近端策略优化进行元学习，验证了该方法在多种环境中的压缩能力与跨架构泛化性。
2025-08-12 cs.LG
TASAC: a twin-actor reinforcement learning framework with stochastic policy for batch process control
Indian Institute of Technology Delhi（印度理工学院德里分校）；International Institute of Information Technology Hyderabad（印度国际信息技术学院海得拉巴分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
由于其复杂的非线性动力学和批间变异性，间歇过程对过程控制提出了挑战。由于缺乏精确的模型和由此产生的工厂模型不匹配，这些问题变得更难解决先进的基于模型的控制策略。强化学习（RL），其中代理通过直接与环境交互来学习策略，在这种情况下提供了一种潜在的替代方案。具有Actor-Critic架构的RL框架最近变得流行，用于控制状态和动作空间连续的系统。它已被证明，演员和评论家网络的合奏进一步帮助代理学习更好的政策，由于增强的探索，由于同时策略学习。为此，目前的研究提出了一种随机演员-评论家RL算法，称为双演员软演员-评论家（TASAC），通过将演员学习的合奏，在最大熵框架，批处理控制。
2022-05-02 cs.LG cs.SY eess.SY
Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The Hong Kong University of Science and Technology（香港科技大学）
尽管多智能体强化学习（MARL）在多个社区中的兴趣越来越大，但理解其理论基础一直被认为是一个具有挑战性的问题。在这项工作中，我们解决这个问题，通过提供一个有限样本分析分散批MARL与网络代理。具体来说，我们考虑两个分散的MARL设置，其中代理团队通过时变通信网络连接，并且在零和游戏设置中合作或竞争，没有任何中央控制器。这些设置涵盖了文献中许多常规的MARL设置。对于这两种设置，我们开发的批处理MARL算法，可以实现在一个分散的方式，并量化估计的动作价值函数的有限样本误差。我们的误差分析捕获了函数类，每次迭代中的样本数量以及迭代次数如何确定所提出算法的统计精度。我们的结果，相比于有限样本的单代理RL的界限，涉及额外的误差项所造成的分散计算，这是固有的在我们的分散MARL设置。这项工作似乎是第一批MARL的有限样本分析，一个严格的理论理解一般MARL算法在有限样本制度的一步。
2020-12-14 cs.AI cs.LG cs.MA
Min Max Generalization for Two-stage Deterministic Batch Mode Reinforcement Learning: Relaxation Schemes
针对确定性批量模式强化学习中的最小最大优化问题，提出两种松弛方案（约束丢弃和拉格朗日对偶化）以降低计算复杂度，并证明其优于现有方法。
2012-10-30 cs.LG cs.SY eess.SY
FairStream: Fair Multimedia Streaming Benchmark for Reinforcement Learning Agents
Technical University of Darmstadt（达姆施塔特工业大学）；La Trobe University（拉筹伯大学）
本文提出 FairStream 多智能体基准，纳入部分可观测、多目标、异构与异步挑战，并通过五类流量基线揭示 PPO 劣于简单贪婪启发式。
2024-10-28 cs.AI cs.MA cs.MM
Batch-Constrained Distributional Reinforcement Learning for Session-based Recommendation
TCS Research（塔塔咨询服务研究院）
大多数现有的深度强化学习（RL）方法都依赖于与真实用户的昂贵在线交互，或者依赖于潜在的基于规则或数据驱动的用户行为模型进行学习。在这项工作中，我们专注于学习纯批量或离线设置中的推荐策略，即仅从离线历史交互日志或从未知和次优行为策略生成的批量数据中学习策略，而无需进一步访问来自真实世界或用户行为模型的数据。我们提出了BCD4Rec：基于会话推荐的批量约束分布式强化学习。BCD4Rec建立在批处理（离线）RL和分布式RL的最新进展基础上，从离线日志中学习，同时处理由于不同的潜在兴趣偏好（环境）而导致的用户奖励的内在随机性。我们证明，BCD4Rec显着提高了行为策略，以及强大的RL和非RL基线在批量设置方面的标准性能指标，如点击率或购买率。BCD4Rec的其他有用性质包括：推荐来自正确潜在类别的项目，所述正确潜在类别指示更好的价值估计，尽管有大的动作空间（项目数量级），以及ii.克服离线日志中通常存在的点击或购买物品的受欢迎程度偏见。
2020-12-16 cs.IR cs.LG
Structured Reinforcement Learning for Media Streaming at the Wireless Edge
University of California at San Diego（加利福尼亚大学圣迭戈分校）；Texas A&M University（德克萨斯农工大学）
本研究将无线边缘视频流的客户端优先级决策建模为CMDP，利用问题结构设计收敛到全局最优的结构化CRL算法，实现快速学习与低延迟部署，在资源受限场景下将QOE提升超30%。
2024-04-16 cs.AI cs.LG cs.SY
Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning
East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）
针对流式视频多轮推理中在线状态遗漏视觉细节的问题，提出WTI闭环框架，结合自然语言记忆与选择性回忆，并构建WTI-82K数据集及Stream-GDPO强化学习算法，在StreamingBench和OVO-Bench上取得最优性能。
2026-09-30 cs.AI
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon（亚马逊Prime视频）；Nvidia（英伟达）
本文提出BRAL-T框架，结合TrustSet和强化学习，解决批量主动学习中样本选择的不确定性与多样性平衡问题，提升模型性能和数据效率。
2026-04-14 cs.LG
