Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
University of Information Technology, Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学信息技术大学）；Monash University（莫纳什大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
提出QRLQ框架，将参数化量子电路与决斗双深度Q网络结合，在量子云编排中实现成本与延迟权衡，相比启发式方法降低成本延迟，且参数更少。
2026-09-24 cs.AI cs.DC cs.ET
Tradeoffs When Considering Deep Reinforcement Learning for Contingency Management in Advanced Air Mobility
NASA Langley Research Center（NASA兰利研究中心）
本文研究先进空中交通中应急管理问题，将深度强化学习与经典方法进行对比，从性能、验证难度和开发过程等方面分析其权衡。
2024-06-28 cs.AI cs.LG
Exploration Conscious Reinforcement Learning Revisited
Technion（以色列理工学院）
探索-利用权衡出现在强化学习中，当人们无法判断一个策略是否是最优的时候。然后，需要不断探索新的行动，而不是利用过去的经验。在实践中，通常通过使用固定的探索机制（例如$ε$贪婪探索）或通过添加高斯噪声来解决折衷，同时仍然尝试学习最优策略。在这项工作中，我们采取了不同的方法和研究探索意识的标准，导致最佳的政策方面的探索机制。正如我们所建立的，解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析，并描述了两个一般的方法来解决这样的标准。在这些方法的基础上，我们对现有的表格和深度强化学习算法进行了简单的修改，并在经验上证明了相对于非探索意识的同行，无论是离散还是连续的动作空间，都具有更好的性能。
2019-05-13 cs.LG stat.ML
On the Bias-Variance Tradeoff: Textbooks Need an Update
Université de Montréal（蒙特利尔大学）
这篇论文的主要目的是指出偏差-方差权衡并不总是正确的（例如在神经网络中）。我们主张在教科书中承认这种普遍性的缺乏，并在涵盖权衡的入门课程中教授。我们首先回顾了偏差-方差权衡的历史，它在教科书中的流行程度，以及关于偏差-方差权衡的一些主要主张。通过大量的实验和分析，我们发现当增加网络宽度时，神经网络缺乏偏差-方差权衡。我们的发现似乎与Geman等人（1992）的里程碑式工作相矛盾。由于这种矛盾，我们重新回顾了Geman等人（1992）的实验测量。我们讨论，从来没有强有力的证据表明，在神经网络的权衡时，改变参数的数量。我们通过一组深度强化学习实验观察到了监督学习之外的类似现象。我们认为，教科书和讲座的修订是为了传达这种微妙的偏差方差权衡的现代理解。
2019-12-17 cs.LG stat.ML
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
Identifying optimal cycles in quantum thermal machines with reinforcement-learning
Freie Universität Berlin（柏林自由大学）；Rice University（莱斯大学）；Microsoft Research（微软研究院）
开放量子系统的最优控制是一项具有挑战性的任务，但在改善现有的量子信息处理技术方面具有关键作用。我们介绍了一个基于强化学习的一般框架，以发现最佳热力学循环，最大限度地提高非平衡量子热机和冰箱的功率。我们应用我们的方法，基于软行动者-批评者算法，到三个系统：一个基准两级系统热机，在那里我们找到最佳的已知循环;一个实验现实的制冷机基于超导量子位产生的相干性，在那里我们找到一个非直观的控制序列，优于以前的循环文献中提出的;一个基于量子谐振子的热机，在那里我们发现了一个具有复杂结构的循环，其性能优于优化的奥托循环。然后，我们评估相应的效率在最大功率。
2022-01-17 cond-mat.mes-hall cs.LG quant-ph
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency
本文提出语义信息G理论，通过R(G)函数参数解优化范围控制，在目的性与信息效率间取得权衡，可作为信息最大-最小方法的理论基础。
2024-10-19 cs.IT cs.LG math.IT
Fundamental Tradeoffs in Learning with Prior Information
Princeton University（普林斯顿大学）
本文提出优先风险概念及基于归约的下界方法，并推广 Fano 不等式以分析先验失配下统计估计、回归和强化学习中的先验准确性与性能权衡。
2023-04-26 cs.AI cs.IT cs.LG
A Multiobjective Reinforcement Learning Framework for Microgrid Energy Management
Cornell University（康奈尔大学）；Cornell Energy Systems Institute（康奈尔能源系统研究所）
提出一种多目标强化学习框架，利用外生信息训练参数化策略以揭示微电网冲突目标间的权衡，并在CU-MG上验证其可全面提升运行性能。
2025-02-14 cs.LG cs.SY eess.SY
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题，提出可学习的安全模型进行信用分配，并通过对偶梯度方法动态调整奖励与安全的权衡，实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）
提出一种潜在Q-屏障屏蔽方法，通过学习上下文表示、潜在动力学和集成成本评论家，在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作，从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。
2026-05-24 cs.AI cs.LG
Information-Theoretic Confidence Bounds for Reinforcement Learning
Stanford University（斯坦福大学）
我们将信息理论的概念整合到乐观算法和汤普森采样的设计和分析中。通过信息理论的数量和置信区间之间的连接，我们得到的结果，每一个时期的代理性能与其有关的环境的信息增益，从而明确表征的探索开发权衡。由此产生的累积遗憾界取决于代理人的不确定性的环境和量化的先验信息的价值。我们展示了这种方法在几种环境中的适用性，包括线性土匪，表格MDPs和因子MDPs。这些例子证明了一个通用的信息理论方法的设计和分析的强化学习算法的潜力。
2019-11-21 cs.AI cs.LG stat.ML
Policy Complexity, Reaction Time, and Bounded Rationality in Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出MI-SARSA算法，通过互信息正则化在强化学习中引入认知约束，实现策略复杂度与反应时间的权衡，并揭示鲁棒性与容量的权衡，为有界理性下的序列学习提供模型。
2026-09-25 cs.AI cs.IT cs.LG
Stagewise Reinforcement Learning and the Geometry of the Regret Landscape
Timaeus（泰缪斯）；University of Oxford（牛津大学）
该研究提出通过局部学习系数分析强化学习的后悔景观几何，揭示了深度强化学习中策略分阶段发展的机制。
2026-02-25 cs.LG
Exploring Deep Reinforcement Learning for Holistic Smart Building Control
在本文中，我们采取整体的方法来处理商业建筑的能源使用和舒适性之间的权衡。我们开发了一个名为OCTOPUS的系统，该系统采用了一种新型的深度强化学习（DRL）框架，该框架使用数据驱动的方法来找到所有建筑子系统的最优控制序列，包括HVAC，照明，百叶窗和窗户系统。DRL架构包括一个新的奖励功能，允许框架探索能源使用和用户舒适度之间的权衡，同时由于四个不同的建筑子系统的相互作用，使高维控制问题的解决方案。为了应对OCTOPUS的数据训练要求，我们认为，校准模拟，匹配目标建筑物的操作点是车辆产生足够的数据，能够训练我们的DRL框架，找到目标建筑物的控制解决方案。在我们的工作中，我们使用10年的天气数据和在EnergyPlus建筑模拟器中实现的建筑模型来训练OCTOPUS，该模型使用来自真实生产建筑的数据进行校准。通过大量的模拟，我们证明，OCTOPUS可以实现14.26%和8.1%的节能相比，最先进的基于规则的方法在LEED金牌认证的建筑和最新的DRL为基础的方法在文献中，同时保持人体舒适度在所需的范围内。
2023-01-27 cs.LG cs.SY eess.SY
Exploration-Exploitation Tradeoff in Universal Lossy Compression
Viterbi Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（维特比电气工程与计算机科学学院，技术学院–以色列理工学院）；Department of Electrical Engineering-Systems, Tel Aviv University（电气工程-系统系，特拉维夫大学）
将通用有损压缩的序列模式重构为多臂老虎机问题，研究探索与利用的权衡，提出适用于任意块长度的鲁棒成本导向MAB算法以克服现有方案的局限性。
2025-06-25 cs.IT cs.LG math.IT
A Bellman Optimality Equation for Plasticity
本文针对持续强化学习中的可塑性优化问题，基于Abel等人对可塑性的新定义，证明了在马尔可夫决策过程中存在可塑性的贝尔曼最优性方程，为可塑性优化提供了理论基础。
2026-09-11 cs.LG
An Investigation of the Bias-Variance Tradeoff in Meta-Gradients
University of Oxford（牛津大学）；DeepMind（深度思维）
元梯度为优化强化学习（RL）算法的元参数提供了一种通用方法。元梯度的估计对于这些元算法的性能至关重要，并且已经在MAML风格的短期元RL问题的设置中进行了研究。在这种情况下，先前的工作已经研究了RL目标的Hessian的估计，以及通过进行采样校正来解决信用分配到预适应行为的问题。然而，我们表明，海森估计，例如由DiCE及其变体实现，总是增加偏差，也可以增加方差的元梯度估计。同时，元梯度估计在重要的长视野设置中研究较少，其中通过完整的内部优化轨迹的反向传播是不可行的。我们研究了截断反向传播和采样校正所产生的偏差和方差权衡，并与演化策略进行了比较，这是最近流行的长期元学习的替代策略。虽然以前的工作隐含地选择点在这个偏差方差空间，我们解开的偏差和方差的来源，并提出了一个实证研究，现有的估计相互关联。
2022-09-22 cs.LG
Which Channel to Ask My Question? Personalized Customer Service Request Stream Routing using Deep Reinforcement Learning
School of Software, Shandong University, Jinan 250101, Shandong, China（中国山东省济南市山东大学软件学院，邮编250101）；RMIT University, GPO Box 2476, Melbourne VIC 3001 Australia（澳大利亚维多利亚州墨尔本皇家墨尔本理工大学，GPO Box 2476，邮编3001）；Alibaba Group, 969 West Wen Yi Road, Hangzhou 311121, Zhejiang, China（中国浙江省杭州市阿里巴巴集团，文一西路969号，邮编311121）；School of Computer Science and Engineering, Nanyang Technological University, 50 Nanyang Avenue, Singapore, 639798（新加坡南洋理工大学计算机科学与工程学院，南洋大道50号，邮编639798）
客户服务对所有公司都至关重要，因为它们可能直接关系到品牌声誉。由于客户数量庞大，电子商务公司通常采用多种沟通渠道来回答客户的问题，例如聊天机器人和热线。一方面，每个渠道响应客户需求的能力有限，另一方面，客户对这些渠道的偏好也各不相同。现有的生产系统主要是基于业务规则建立的，只考虑资源和客户满意度之间的权衡。为了实现资源和客户满意度之间的最佳权衡，我们提出了一个新的框架，基于深度强化学习，它直接考虑资源和用户模型。除了该框架之外，我们还提出了一种新的基于深度强化学习的路由方法-双重决斗深度Q学习与优先经验重放（PER-DoDDQN）。我们使用来自一家大型金融科技公司的合成和真实客户服务日志数据来评估我们提出的框架和方法。我们表明，我们提出的基于深度强化学习的框架优于现有的生产系统。此外，我们还证明了我们提出的PER-DoDDQN在实践中优于所有其他深度Q学习变体，这提供了更优化的路由计划。这些观察结果表明，我们提出的方法可以寻求折衷的渠道资源和客户的满意度是最佳的。
2019-11-24 cs.AI cs.LG eess.SP
Continuous-Time Mean-Variance Portfolio Selection: A Reinforcement Learning Framework
Columbia University（哥伦比亚大学）
本文利用强化学习方法研究了连续时间均值-方差投资组合问题。该问题是为了实现勘探和开采之间的最佳权衡，并制定为熵正则化，放松随机控制问题。我们证明了这个问题的最优反馈策略必须是高斯的，具有时间衰减方差。然后，我们建立熵正则MV和经典MV之间的连接，包括可解性等价性和收敛性的探索加权参数衰减到零。最后，我们证明了一个策略改进定理，在此基础上，我们设计了一个可实现的RL算法。我们发现，我们的算法优于基于自适应控制的方法和基于深度神经网络的算法在我们的模拟大幅度。
2019-05-05 cs.CE cs.LG math.OC
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）的经典理论集中于价值函数的表格和线性表示。进一步的进展取决于将RL与核函数和深度神经网络等现代函数逼近器相结合，事实上，在大规模应用中利用这种组合已经取得了许多经验性的成功。然而，在开发一种理论来支持这一企业方面存在着深刻的挑战，最值得注意的是需要考虑RL核心的探索-利用权衡，以及现代基于函数近似的学习系统中出现的计算和统计权衡。我们通过研究最小二乘值迭代算法的乐观修改来接近这些挑战，在由核函数或过参数化神经网络表示的动作价值函数的上下文中。我们建立多项式运行时复杂度和多项式样本复杂度的算法，没有额外的假设的数据生成模型。特别是，我们证明了该算法招致的$\tilde{\mathcal{O}}(δ_{\mathcal{F}} H^2 \sqrt{T})$遗憾，其中$δ_{\mathcal{F}}$的特点是内在的复杂性的功能类$\mathcal{F}$，$H$是每个情节的长度，和$T$是情节的总数。我们的遗憾界是独立的状态的数量，这一结果清楚地表现出在RL函数逼近的好处。
2020-12-29 cs.AI cs.LG math.OC
RLPlanner: Reinforcement Learning based Floorplanning for Chiplets with Fast Thermal Analysis
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出RLPlanner，一种基于强化学习的芯粒布局规划工具，结合快速热评估方法，在相似运行时间内相比模拟退火方法将线长与温度联合目标平均优化20.28%。
2024-01-16 cs.AR cs.LG
Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards
Cohere Labs（Cohere实验室）
针对部分可验证任务，提出基于检查表分解的软奖励框架Soft-RLVR及其自验证变体Soft-SVeRL，通过密集部分信用信号提升强化学习训练效果，并解决自验证中的奖励膨胀问题。
2026-05-27 cs.CL cs.LG
FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Holiday Robotics
FIRE通过量化稳定性与可塑性，平衡神经网络在非平稳数据训练中的稳定性与可塑性权衡，优于传统重初始化方法。
2026-04-01 cs.AI cs.LG
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法，依据智能体近期表现动态调节探索幅度，以改善强化学习中的探索-利用权衡，并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Applicability and Challenges of Deep Reinforcement Learning for Satellite Frequency Plan Design
深度强化学习（DRL）模型的研究和基准测试已经成为许多行业的趋势，包括航空航天工程和通信。这些领域的最新研究提出了这类模型来解决某些复杂的实时决策问题，其中经典方法不满足时间要求或无法获得最优解。虽然DRL模型的良好性能已被证明为特定的用例或场景，但大多数研究都没有讨论在实际操作中这种模型的妥协和可推广性。在本文中，我们将探讨DRL模型的不同元素的权衡，以及它们如何影响最终性能。为此，我们选择的频率规划设计（FPD）问题的背景下，多波束卫星星座作为我们的用例，并提出了一个DRL模型来解决它。我们确定了6个不同的核心元素，有一个主要影响其性能：政策，政策优化器，状态，动作，和奖励表示，和训练环境。我们分析了这些元素中的每一个不同的替代品，并描述了它们的效果。我们还使用多个环境来解释不同的场景，在这些场景中，我们改变维度或使环境非平稳。我们的研究结果表明，DRL是一个潜在的方法来解决FPD问题，在实际操作中，特别是因为它的决策速度。然而，没有一个单一的DRL模型能够在所有场景中优于其他模型，并且6个核心元素中的每一个的最佳方法取决于操作环境的特征。虽然我们同意DRL的潜力，以解决未来的复杂问题，在航空航天工业，我们也反映了设计适当的模型和培训程序，了解这些模型的适用性，并报告主要的性能权衡的重要性。
2021-01-12 cs.LG
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最大熵强化学习（MaxEnt RL）算法，如Soft Q-Learning（SQL）和Soft Actor-Critic权衡奖励和策略熵，这有可能提高训练稳定性和鲁棒性。然而，大多数MaxEnt RL方法使用恒定的权衡系数（温度），与直觉相反，温度应该在训练早期较高，以避免过度拟合噪声值估计，并在训练后期降低，因为我们越来越相信高值估计确实会带来良好的回报。此外，我们对价值估计的信心是依赖于状态的，每当我们使用更多的证据来更新估计时，信心就会增加。在本文中，我们提出了一个简单的基于状态的温度调度方法，并将其实例化为基于计数的软Q学习（CBSQL）的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域，并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
Target-Aligned Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）
本文提出了一种目标对齐的强化学习方法，通过强调目标网络和在线网络估计高度一致的过渡，改进了传统深度强化学习算法的稳定性与收敛速度，实验证明在多个基准环境中取得了显著提升。
2026-05-19 cs.AI cs.LG
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
Indian Institute of Science（印度科学学院）；Aalto University（阿尔托大学）
研究针对基于优势的强化学习算法理论理解不足的问题，提出V-SHARE算法，结合跨动作值共享与重要性加权Bellman残差校正，完成其收敛性等理论刻画，缓解异步Q学习的稀有动作瓶颈，经实验验证有效。
2026-10-16 cs.AI cs.LG
Distributed Multi-Agent Deep Reinforcement Learning Framework for Whole-building HVAC Control
Amazon Web Services（亚马逊云科技）
据估计，商业建筑中约40%-50%的总电力消耗可归因于供暖、通风和空调（HVAC）系统。由于建筑物内各种HVAC控制和热动力学之间的未知和复杂关系，在考虑居住者的热舒适性的同时最小化能量成本是非常具有挑战性的。为此，我们提出了一个基于Energy Plus仿真环境的多智能体分布式深度强化学习（DRL）框架，用于优化商业建筑中的HVAC。该框架学习建筑物中复杂的热动力学，并利用建筑物中冷却和加热系统的差异效应来降低能源成本，同时保持居住者的热舒适度。通过自适应惩罚，RL算法可以优先考虑节能或保持热舒适性。使用DRL，我们实现了超过75%的能源消耗节省。分布式DRL框架可以扩展到异构类型的多个GPU和CPU。
2021-10-26 cs.AI cs.LG cs.SY
Stochastic Gradient Descent with Dependent Data for Offline Reinforcement Learning
在强化学习（RL）中，离线学习将学习与数据汇集解耦，并且在处理探索-利用权衡方面是有用的，并且在许多应用中实现数据重用。在这项工作中，我们研究了两个离线学习任务：策略评估和策略学习。对于政策评估，我们制定它作为一个随机优化问题，并表明它可以使用近似随机梯度下降（aSGD）与时间相关的数据来解决。当损失函数是强凸的且利率与折扣因子$γ$无关时，aSGD达到了$\tilde O(1/t)$收敛.这个结果可以扩展到包括近似压缩迭代的算法，如TD（0）。然后将策略评估算法与策略迭代算法相结合来学习最优策略。为了达到$ε$精度，算法的复杂度为$\tilde O(ε^{-2}(1-γ)^{-5})$，这与经典在线RL算法（如Q学习）的复杂度界限相匹配。
2022-02-06 cs.LG math.OC
DeepThermal: Combustion Optimization for Thermal Power Generating Units Using Offline Reinforcement Learning
JD Technology（京东科技）
优化火力发电机组（TPGU）的燃烧效率是能源行业中极具挑战性的关键任务。我们开发了一个新的数据驱动的AI系统，即DeepThermal，以优化TPGU的燃烧控制策略。其核心是一个新的基于模型的离线强化学习（RL）框架，称为MORE，它利用TGPU的历史操作数据通过纯离线训练来解决高度复杂的约束马尔可夫决策过程问题。在DeepThermal中，我们首先从离线数据集学习数据驱动的燃烧过程模拟器。然后，通过结合真实的历史数据以及经过仔细过滤和处理的模拟数据，通过一种新的限制性探索方案来训练MORE的RL代理。DeepThermal已成功部署在中国的四个大型燃煤火电厂。真实世界的实验表明，DeepThermal有效地提高了TPGU的燃烧效率。我们还报告了更优越的性能，通过比较与国家的最先进的算法在标准的离线RL基准。
2022-04-05 cs.AI cs.LG cs.SY
Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization
Faculty of Engineering and Computer Science, University of Victoria（维多利亚大学工程与计算机科学学院）
本研究提出基于多目标策略优化的无模型安全强化学习算法SORL，无需约束策略搜索空间即可平衡安全与最优性，经理论分析给出安全保证条件与调节参数，在七个机器人环境中优于六种前沿方法，适配安全关键场景。
2024-02-23 cs.AI cs.LG cs.RO
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
Enforcing KL Regularization in General Tsallis Entropy Reinforcement Learning via Advantage Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Osaka University（大阪大学）；Advanced Telecommunication Research（国际电气通信基础技术研究所）
强化学习中的最大Tsallis熵（Maximum Tsallis entropy，MTE）框架由于其灵活的建模选择（包括广泛使用的Shannon熵和稀疏熵）而近年来得到了广泛的应用。然而，非香农熵遭受近似误差和随后的表现不佳，无论是由于其敏感性或缺乏封闭形式的政策表达。为了提高灵活性和经验性能之间的权衡，我们建议通过在Munchausen DQN（MDQN）激励的MTE中执行隐式Kullback-Leibler（KL）正则化来加强其错误鲁棒性。我们这样做，通过绘制MDQN和优势学习之间的连接，MDQN被证明是失败的推广到MTE框架。经过大量实验验证，所提出的方法Tsallis优势学习（TAL）不仅在各种非封闭形式Tsallis熵方面显着改进了Tsallis-DQN，而且表现出与最先进的最大香农熵算法相当的性能。
2022-05-16 cs.AI cs.LG
Thermal Control of Laser Powder Bed Fusion Using Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于粉末的增材制造技术提供了构建难以使用常规方法制造的复杂结构的工具。在激光粉末床融合中，通过选择性地熔化粉末床的特定区域来构建部件，以形成特定部件的二维横截面。然而，缺陷的高发生率影响了该方法在精密应用中的采用。因此，一个控制策略，用于动态地改变工艺参数，以避免导致缺陷发生的现象是必要的。提出了一种深度强化学习（DRL）框架，该框架可以导出一种通用的控制策略，以最大限度地减少这些缺陷的可能性。生成的控制策略在熔化过程中改变激光的速度，以确保熔池的一致性并减少生成的产品中的过热。控制策略的训练和有效的模拟各种激光轨迹下的粉末床层的连续温度分布的验证。
2021-01-29 cs.LG eess.SP physics.app-ph
Scenario-based Thermal Management Parametrization Through Deep Reinforcement Learning
Porsche Engineering Group GmbH（保时捷工程集团有限公司）；Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；RWTH Aachen（亚琛工业大学）
针对热管理控制器参数化耗时费力的问题，提出利用自动场景生成与图像化参数表示的深度强化学习整定方法，并经实车验证达到基线性能。
2024-08-04 cs.AI cs.CE cs.LG
Offline Oracle-Efficient Learning for Contextual MDPs via Layerwise Exploration-Exploitation Tradeoff
本文提出一种从上下文马尔可夫决策过程到离线密度估计的高效归约算法，通过分层探索-利用权衡实现统计上接近最优的性能，仅需O(HlogT)次预言机调用，且无需结构假设。
2024-05-28 cs.LG stat.ML
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型，通过强化学习绕过分类器，优化探索与利用平衡，以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
Evaluation-Aware Reinforcement Learning
本文提出EvA-RL框架，通过在训练时考虑评估准确性，解决传统策略评估方法中高方差或偏倚问题，理论和实验表明其在评估精度与预期回报间取得平衡。
2026-03-20 cs.AI cs.LG
TDPNavigator-Placer: Thermal- and Wirelength-Aware Chiplet Placement in 2.5D Systems Through Multi-Agent Reinforcement Learning
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院（I2R））；Institute of Microelectronics (IME), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）微电子研究院（IME））
TDPNavigator-Placer通过多智能体强化学习，实现2.5D系统中热和布线长度感知的芯片片放置优化，提升性能平衡。
2026-01-30 cs.AI cs.LG
Quantifying Empirical Compute-Supervision Tradeoffs in RLVR
Princeton University（普林斯顿大学）
通过 GSM8K 上的 GRPO 实验，研究验证器噪声对 RLVR 的影响，发现计算扩展无法弥补监督噪声，且假阴性比假阳性危害更大。
2026-05-27 cs.AI cs.LG
Making Sense of Reinforcement Learning and Probabilistic Inference
DeepMind（深度思维）
强化学习（RL）将控制问题与统计估计相结合：系统动态对智能体来说是未知的，但可以通过经验来学习。最近的一系列研究将RL视为推理，并提出了一个特定的框架来将RL问题概括为概率推理。我们的论文表面在这种方法的一个关键缺点，并澄清了RL可以连贯地铸造作为一个推理问题的意义。特别是，RL代理必须考虑其行为对未来奖励和观察的影响：探索-开发权衡。除了最简单的设置，在所有情况下，由此产生的推理在计算上是难以处理的，因此实际的RL算法必须采用近似。我们证明了流行的“RL作为推理”近似在非常基本的问题中也会表现不佳。然而，我们表明，通过一个小的修改，框架确实产生了可以证明表现良好的算法，并且我们表明，由此产生的算法相当于最近提出的K-学习，我们进一步将其与汤普森采样联系起来。
2020-11-04 cs.AI cs.LG
Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling
Columbia University（哥伦比亚大学）
强化学习研究如何平衡现实世界系统中的探索和利用，优化与世界的交互，同时学习世界如何运作。用于这种学习的一个一般类的算法是多臂强盗设置。随机概率匹配，在20世纪30年代推出的汤普森抽样方法的基础上，最近已被证明表现良好，并享有可证明的最优属性。它允许在贝叶斯设置中生成可解释的建模，其中包含先验知识，并且计算的后验自然捕获知识的全部状态。在这项工作中，我们利用贝叶斯后验中包含的信息，并通过抽样估计其充分统计量。在几个应用领域，例如在健康和医学中，与世界的每次交互都可能是昂贵的和侵入性的，而从模型中提取样本相对便宜。利用这一观点，我们开发了一种由学习过程中的不确定性驱动的双重抽样技术：当确定每个臂的属性时，它有利于开发，否则进行探索。该算法不做任何分布假设，只要贝叶斯后验更新是可计算的，它适用于复杂的回报分布。利用估计的后验充分统计量，双重抽样自主地平衡探索-开发权衡，以做出更明智的决策。我们的经验表明，减少累积遗憾相比，国家的最先进的替代品在代表性的土匪设置。
2018-08-08 cs.LG stat.CO stat.ML
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法，例如近端策略优化或Q学习，通常需要与环境进行数千次交互，以近似最佳控制器，由于安全性和时间消耗，这在机器人技术中可能并不总是可行的。基于模型的方法，如PILCO或BlackDrops，虽然数据效率高，但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题，我们引入了基于主动不确定性减少的虚拟环境，它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理，这是用来作为一个度量自我改进的点，通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数，同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明，我们的方法提供了一个更好的建模能力，复杂的系统动力学相比，已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Distributionally Robust Self Paced Curriculum Reinforcement Learning
University of Maryland College Park（马里兰大学学院公园分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
分布鲁棒自适应课程强化学习通过动态调整鲁棒性预算，平衡性能与鲁棒性，提升在分布偏移下的稳定性与表现。
2026-03-08 cs.LG
A Reinforcement Learning Approach to Quiet and Safe UAM Traffic Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Hong Kong University of Science and Technology（香港科技大学）
针对城市空中交通（UAM）融入城市面临的噪声与安全挑战，提出多智能体强化学习方法，通过高度调整平衡垂直间隔保障与噪声缓解，验证了该技术的应用潜力。
2025-01-15 cs.LG cs.MA cs.RO
Improving thermal state preparation of Sachdev-Ye-Kitaev model with reinforcement learning on quantum hardware
QTF Centre of Excellence, Department of Physics, University of Helsinki, Finland（量子技术卓越中心，物理系，赫尔辛基大学，芬兰）
本文提出将强化学习与卷积神经网络相结合，迭代优化参数化量子电路，以在近期量子硬件上高效制备 Sachdev-Ye-Kitaev 模型的热态，显著降低 CNOT 门数量并保持高精度。
2025-06-04 cs.AI cs.LG hep-lat
HALO: Hierarchical Reinforcement Learning for Large-Scale Adaptive Traffic Signal Control
University of Exeter Department of Computer Science Exeter UK（埃克塞特大学计算机科学系埃克塞特英国）；University of Warwick Department of Computer Science Coventry UK（沃里克大学计算机科学系科文特里英国）；University of Exeter（埃克塞特大学）；University of Warwick（沃里克大学）
HALO通过分层强化学习框架解决大规模自适应交通信号控制中的可扩展性与协调性矛盾，采用高低层策略协同优化，实现高效交通管理。
2026-03-19 cs.AI cs.LG
Foundations of Multivariate Distributional Reinforcement Learning
Mila — Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）；Gatsby Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）
本文首次提出可证明收敛且无需预言机的多元分布强化学习算法，解决了类别型时序差分学习在高维奖励下的分析失效问题，并揭示了分布表示对实际性能的影响。
2024-08-31 cs.LG math.OC stat.ML
[Re] FairDICE: A Fair Tradeoff in Multi-objective Offline RL
University of Amsterdam（阿姆斯特丹大学）
该研究探讨了多目标离线强化学习中公平权衡的问题，提出FairDICE算法通过自适应学习多目标权重来实现公平妥协，但发现代码错误导致其在连续环境中退化为标准行为克隆，并需修正超参数以提升实验有效性。
2026-05-21 cs.LG
Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising
Alibaba Group（阿里巴巴集团）；University College London（伦敦大学学院）；Shanghai JiaoTong University（上海交通大学）
实时广告允许广告商为访问用户的每个印象出价。为了优化特定的目标，如最大化的收入和投资回报率（ROI）的广告投放，广告客户不仅需要估计广告和用户的兴趣之间的相关性，但最重要的是需要一个战略响应相对于其他广告客户在市场上出价。在本文中，我们制定投标优化与多智能体强化学习。为了处理大量的广告客户，我们提出了一种聚类方法，并为每个聚类分配一个策略投标代理。提出并实现了一种实用的分布式协调多代理竞价系统（DCMAB），以平衡广告主之间的竞争与合作。对行业规模的真实世界数据的实证研究证明了我们的方法的有效性。我们的研究结果表明，基于集群的投标将在很大程度上优于单代理和土匪的方法，和协调投标实现更好的整体目标比纯粹的自利投标代理。
2018-09-11 cs.AI cs.LG stat.ML
