Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach
Stevens Institute of Technology（斯蒂文斯理工学院）
针对带延迟反馈的随机环境控制问题，提出一种采用随机规划、可嵌入风险偏好的基于模型的强化学习方法，该方法可恢复确定性转移问题的最优策略，在Atari游戏控制任务中性能优于现有两种方法。
2024-02-01 cs.LG cs.SY eess.SY
Inverse Reinforcement Learning Based Stochastic Driver Behavior Learning
Texas Tech University（德克萨斯理工大学）
驾驶员在交通中操纵车辆时，有着独特而丰富的驾驶行为。本文提出了一种新的驾驶员行为学习方法，捕捉人类驾驶员行为的独特性和丰富性，在现实的驾驶场景。提出了一种随机逆强化学习（SIRL）方法来学习成本函数的分布，该成本函数表示具有给定的一组驾驶员特定示范的人类驾驶员行为的丰富性。对从3D驾驶员在环驾驶模拟中收集的真实驾驶数据进行评估。结果表明，学习的随机驾驶员模型能够表达人类驾驶策略的丰富性，在不同的现实驾驶场景。与确定性基准驾驶员行为模型相比，结果表明，所提出的随机驾驶员行为模型可以更好地复制驾驶员在各种交通条件下独特而丰富的驾驶策略。
2021-08-05 cs.LG cs.SY eess.SY
A Lifetime Extended Energy Management Strategy for Fuel Cell Hybrid Electric Vehicles via Self-Learning Fuzzy Reinforcement Learning
建模难度大、模型时变、外部输入不确定是燃料电池混合动力汽车能量管理面临的主要挑战。为降低燃料电池混合动力汽车的燃油消耗，维持电池的长期运行，延长燃料电池系统的使用寿命，提出了一种基于模糊强化学习的能量管理策略。模糊Q学习是一种无模型强化学习，它可以通过与环境的交互来自我学习，因此不需要对燃料电池系统进行建模。此外，燃料电池的频繁启动将减少燃料电池系统的剩余使用寿命。该方法通过在强化学习的奖励中考虑对燃料电池启动次数的惩罚来抑制燃料电池的频繁启动。此外，应用模糊逻辑来近似Q-学习中的价值函数，可以解决连续状态和动作空间问题。最后，基于Python的训练测试平台验证了该方法在初始状态变化、模型变化和驾驶条件变化情况下的有效性和自学习能力的提高。
2023-02-13 cs.AI cs.LG cs.SY
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology（北京理工大学）；Delft University of Technology（代尔夫特理工大学）
基于深度强化学习的能量管理策略（EMS）已成为混合动力汽车（HEV）的一种有前途的解决方案。当行驶工况发生变化时，需要对神经网络进行重新训练，这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习（DRL）与迁移学习结合起来，可以将一个领域的知识迁移到另一个新领域，使新领域的网络快速达到收敛值。在迁移学习过程中，比较了不同的DRL探索方法，包括加入动作空间噪声和参数空间噪声。结果表明，加入参数空间噪声的神经网络比其他神经网络更稳定，收敛速度更快。总之，可转移EMS的最佳探索方法是在参数空间中添加噪声，而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics
GRASP Lab, University of Pennsylvania, USA（宾夕法尼亚大学GRASP实验室）；Department of Computer and Information Science, University of Pennsylvania, USA（宾夕法尼亚大学计算机与信息科学系（注：根据机构粒度要求，这里提取到大学级别，即“宾夕法尼亚大学”，但原文明确写了具体部门，所以保留原文部门名+大学的组合））
本文提出了一个安全的强化学习框架，可以处理随机非线性动力系统。我们专注于设置的名义动态是已知的，并受到已知分布的添加剂随机干扰。我们的目标是确保使用强化学习训练的控制策略的安全性，例如，在一个模拟的环境中。我们基于模型预测屏蔽（MPS）的思想，其中备份控制器用于根据需要覆盖学习的策略以确保安全。关键的挑战是如何在随机动态的背景下计算备份策略。我们建议使用基于管的鲁棒NMPC控制器作为备份控制器。我们使用采样轨迹来估计管道，利用统计学习理论的思想来获得高概率的保证。我们的经验表明，我们的方法可以确保安全的随机系统，包括车杆和非完整粒子与随机障碍。
2020-01-24 cs.LG cs.RO cs.SY
Average Cost Optimal Control of Stochastic Systems Using Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
研究了带乘性噪声和加性噪声的离散时间系统的强化学习平均成本最小化问题。通过使用Q函数，我们提出了一种在线学习方案来估计Q函数的核矩阵，并使用沿系统轨迹的数据来更新控制增益。证明了所得到的控制增益和核矩阵收敛于最优值。为了实现该学习方案，给出了一种在线无模型强化学习算法，其中使用递归最小二乘法估计Q函数的核矩阵。数值例子来说明所提出的方法。
2020-10-13 cs.LG cs.SY eess.SY
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
A Hybrid PAC Reinforcement Learning Algorithm
University of Delaware（特拉华大学）
针对马尔可夫决策过程（MDP）提出了一种新的混合可能近似正确（PAC）强化学习（RL）算法，该算法智能地保持了MDP的有利特征.所设计的算法，称为动态延迟Q学习（DDQ）算法，结合了无模型和基于模型的学习方法，同时在大多数情况下优于两者。本文包括PAC分析的DDQ算法和推导其样本复杂度。数值结果提供支持索赔的新算法的样本效率相比，它的父母，以及最知名的无模型和基于模型的算法在应用中。
2021-01-28 cs.LG stat.ML
Hybrid Multi-agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
针对自主按需出行系统，提出结合多智能体软演员-评论家与加权二分匹配的前瞻性控制策略，在真实数据上优于现有基准。
2023-05-10 cs.LG cs.MA cs.SY
Hybrid Reinforcement Learning with Expert State Sequences
IBM Research AI（IBM研究院人工智能部门）
现有的模仿学习方法通常需要完整的演示数据，包括动作序列和状态，是可用的。在本文中，我们考虑一个更现实和困难的情况下，强化学习代理只能访问的状态序列的专家，而专家的行动是不可观察的。我们提出了一种新的基于张量的模型来推断未观察到的专家状态序列的行动。然后通过结合强化学习和模仿学习的混合目标优化代理的策略。我们评估了我们的混合方法的说明域和雅达利游戏。实证结果表明，（1）智能体能够利用状态专家序列比纯强化学习基线学习得更快，（2）与标准深度神经网络相比，我们的基于张量的动作推理模型在推理专家动作方面具有优势，（3）混合策略优化目标对专家状态序列中的噪声具有鲁棒性。
2019-03-11 cs.AI cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University（重庆大学）
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题，并取得了巨大的成功。然而，大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习（drl）应用于混合行动空间的多智能体问题的研究还很少。因此，我们提出了一种新的算法：深度多智能体混合软Actor-Critic（MAHSAC）来填补这一空白。该算法遵循集中式训练分散式执行（CTDE）的思想，扩展了软Actor-Critic算法（SAC），使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的，它具有连续的观察和离散的动作空间，以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时，它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Hybrid Beamforming for mmWave MU-MISO Systems Exploiting Multi-agent Deep Reinforcement Learning
Southeast University（东南大学）；ZTE Corporation（中兴通讯股份有限公司）
在这封信中，我们研究了基于深度强化学习（DRL）的混合波束形成用于毫米波（mmWave）多用户（MU）多输入单输出（MISO）系统。提出了一种多智能体DRL方法来解决DRL中的探索效率问题。在所提出的方法中，优先重放缓冲区和更多的信息奖励，以加速收敛。仿真结果表明，与基准算法相比，该算法具有更高的频谱效率和更少的时间消耗，更适合于实际应用。
2021-02-01 cs.AI cs.LG eess.SP
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind（深度思维）
许多现实世界的控制问题既涉及离散决策变量（如控制模式的选择、档位切换或数字输出），也涉及连续决策变量（如速度设定值、控制增益或模拟输出）。然而，当定义相应的最优控制或强化学习问题时，通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者，专家逻辑学被用来从连续空间中删除离散的动作。相比之下，我们建议通过混合强化学习解决混合问题，同时优化离散和连续动作。在我们的实验中，我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后，我们显示，无论是在模拟和机器人硬件上，删除可能不完美的专家设计的prostitics的好处。最后，混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题，例如，通过添加Meta动作，以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Deep Reinforcement Learning with Hybrid Intrinsic Reward Model
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东方理工学院）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）
针对单一内在奖励限制探索多样性与效率的问题，提出HIRE框架，通过融合策略构建混合内在奖励，在通用与无监督RL基准上系统验证，显著提升探索效率、多样性与技能获取。
2025-01-22 cs.LG
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
几个现实世界的场景，如远程控制和传感，是由行动和观察延迟。延迟的存在降低了强化学习（RL）算法的性能，通常会导致算法无法学习任何实质性内容。本文正式描述了马尔可夫决策过程（MDP）的概念与随机延迟，并表明延迟MDP可以转化为等价的标准MDP（无延迟）显着简化的成本结构。我们采用这种等价性来推导出一个无模型的延迟解析RL框架，并表明即使是建立在这个框架上的简单RL算法，在行动和观察具有随机延迟的环境中也能获得接近最优的奖励。延迟分辨深度Q网络（DRDQN）算法在包括多步和随机延迟的各种环境上进行基准测试，并且相对于当前建立的算法，在实现接近最优的奖励和最小化其计算开销方面都产生更好的性能。
2021-08-17 cs.AI cs.LG cs.SY
SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving
National Natural Science Foundation (NNSF) of China（中国国家自然科学基金委员会）；National Science and Major Project（国家科学技术重大专项）
提出SARAD框架，结合大语言模型和深度强化学习，通过检索增强生成和碰撞预测模块提升自动驾驶的安全性和效率。
2026-05-27 cs.AI cs.LG cs.RO
PrecoderNet: Hybrid Beamforming for Millimeter Wave Systems with Deep Reinforcement Learning
Southeast University（东南大学）
本文研究了基于深度强化学习（Deep Reinforcement Learning，DRL）的毫米波大规模多输入多输出（Multiple-Input Multiple-Output，MIMO）系统的混合波束形成。假设不完美的信道状态信息（CSI）在基站（BS）处可用。为了在低时间消耗的情况下实现高频谱效率，我们提出了一种新的基于DRL的方法称为PrecoderNet来设计数字预编码器和模拟组合器。DRL代理将前一次学习迭代的数字波束形成器和模拟组合器作为状态，并将当前学习迭代的这些矩阵作为动作。仿真结果表明，该预编码器网络在频谱效率、误比特率（BER）和时间消耗等方面都有较好的性能，并且对信道状态信息的不完善具有较好的鲁棒性。
2020-06-19 cs.LG eess.SP
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
UAV-assisted Semantic Communication with Hybrid Action Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of North Texas（北德克萨斯大学）
本文针对偏远地区元宇宙用户上行数据收集效率问题，提出一种混合动作强化学习框架，联合优化语义模型规模、信道分配、功率和无人机轨迹，实验表明其优于基准方案。
2023-12-01 cs.AI cs.LG cs.NI
Multi-Fidelity Hybrid Reinforcement Learning via Information Gain Maximization
King's College London（伦敦国王学院）
本文提出MF-HRL-IGM算法，在固定成本预算下通过自举方法基于信息增益最大化选择模拟器保真度，实现多保真度混合离线-在线强化学习，并证明其无遗憾性质及优于现有基准的性能。
2025-09-18 cs.LG eess.SP
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu（作者）
本文提出了一种整合模仿学习与强化学习的LLM微调框架，通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Learning Two-Step Hybrid Policy for Graph-Based Interpretable Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
我们提出了一个两步的混合强化学习（RL）的政策，旨在生成可解释的和强大的分层策略的RL问题与基于图的输入。与之前由端到端黑盒图神经网络参数化的深度强化学习策略不同，我们的方法将决策过程分解为两个步骤。第一步是一个简化的分类问题，它将图形输入映射到一个动作组，其中所有动作都具有相似的语义含义。第二步实现了一个复杂的规则挖掘机，进行显式的一跳推理的图形，并确定在图形输入的决定性的边缘，而不需要沉重的领域知识。这种两步混合策略提供了人性化的解释，并在泛化和鲁棒性方面实现了更好的性能。四个层次的复杂的基于文本的游戏进行了广泛的实验研究表明，所提出的方法相比，国家的最先进的优越性。
2022-10-19 cs.AI cs.CL cs.LG
A Hybrid Approach for Reinforcement Learning Using Virtual Policy Gradient for Balancing an Inverted Pendulum
Center for Research in Scientific Computation, North Carolina State University（北卡罗来纳州立大学科学计算研究中心）
利用策略梯度算法，我们训练了一个单隐层神经网络来平衡一个物理上精确的模拟单级倒立摆。然后，训练好的权重和偏差可以转移到一个物理代理，在那里它们足够强大，可以平衡一个真正的倒立摆。这种训练模拟的混合方法可以比现实世界中更快地完成数千次试运行，从而大大减少训练时间和更多迭代，产生更强大的模型。与现有的强化学习方法相比，所得到的控制更平滑，学习速度更快，并且能够承受强制干扰。
2021-02-06 cs.LG cs.RO
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Lancaster University（兰卡斯特大学）
本文针对分层有向容量约束弧路由问题（HDCARP）提出混合强化学习与启发式算法HRDA，利用强化学习动态引导局部搜索算子选择，在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Hybrid Reward Architecture for Reinforcement Learning
Microsoft Maluuba（微软 Maluuba）；McGill University（麦吉尔大学）
强化学习（RL）的主要挑战之一是泛化。在典型的深度RL方法中，这是通过使用深度网络用低维表示来近似最佳价值函数来实现的。虽然这种方法在许多领域都很有效，但在最佳价值函数不能轻易简化为低维表示的领域中，学习可能非常缓慢且不稳定。本文通过提出一种称为混合奖励架构（HRA）的新方法，为解决这些具有挑战性的领域做出了贡献。HRA将分解的奖励函数作为输入，并为每个分量奖励函数学习单独的价值函数。因为每个分量通常仅依赖于所有特征的子集，所以对应的价值函数可以更容易地通过低维表示来近似，从而实现更有效的学习。我们演示了HRA的玩具问题和雅达利游戏吃豆人女士，HRA实现了高于人类的性能。
2017-11-28 cs.LG
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University（大西洋理工大学）；Al Yamamah University（亚马玛大学）；Lahore Leads University（拉合尔利兹大学）；National University of Technology（国立理工大学）
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制，以实现两者的优势互补，从而提高系统容量。网络条件的动态变化，如雾、灰尘和沙尘暴，使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题，我们开始研究深度强化学习（DRL）的混合FSO/RF系统的链路切换。具体来说，在这项工作中，我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络（DQN）称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题，我们定义的状态，行动，和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略，导致高切换成本。为了克服这个问题，我们将这个问题提升到基于集成共识的表示学习来进行深度强化，称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实，建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF，DQN-FSO/RF，和MyOpic FSO/RF链路切换，同时保持切换成本显着较低。
2022-11-07 cs.LG
Decision Making in Monopoly using a Hybrid Deep Reinforcement Learning Approach
Purdue University（普渡大学）；University of Southern California（南加州大学）
学习在动态和复杂的环境中适应并做出实时明智的决策是一个具有挑战性的问题。大富翁是一种流行的战略棋盘游戏，要求玩家在游戏过程中做出多个决定。垄断中的决策涉及许多现实世界的因素，如战略，运气和对手的政策建模。在本文中，我们提出了新的表示的状态和动作空间的完整版本的垄断，并定义了一个改进的奖励函数。使用这些，我们证明了我们的深度强化学习代理可以学习垄断对不同的固定政策代理的获胜策略。在大富翁中，玩家可以采取多个行动，即使不是轮到他们掷骰子。这些动作中的一些动作比其他动作发生得更频繁，从而导致对学习代理的性能产生不利影响的偏斜分布。为了解决行动的非均匀分布，我们提出了一种混合方法，将深度强化学习（用于频繁但复杂的决策）与固定策略方法（用于不频繁但简单的决策）相结合。实验结果表明，我们的混合代理比标准的深度强化学习代理在与固定策略代理的比赛中获胜的次数高出30%。
2022-04-06 cs.AI cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
A General Family of Robust Stochastic Operators for Reinforcement Learning
IBM Research（IBM研究院）
我们考虑一个新的家庭的运营商强化学习的目标是减轻负面影响，并成为更强大的近似或估计误差。建立了各种理论结果，其中包括显示在样本路径的基础上，我们的家庭运营商保持最优性，并增加行动差距。我们的实证结果说明了我们的家庭运营商的强大优势，显着优于经典的贝尔曼运营商和最近提出的运营商。
2019-05-28 cs.LG stat.ML
HyAR: Addressing Discrete-Continuous Action Reinforcement Learning via Hybrid Action Representation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）
离散-连续混合动作空间是机器人控制、游戏人工智能等许多实际问题的自然背景。然而，大多数强化学习（RL）的工作只展示了成功的控制与离散或连续的动作空间，而很少考虑到混合的动作空间。解决混合动作RL的一种简单方法是通过离散化或连续化将混合动作空间转换为统一的齐次动作空间，以便可以应用常规RL算法。然而，这忽略了混合动作空间的底层结构，也导致了可扩展性问题和额外的近似困难，从而导致退化的结果。在本文中，我们提出了混合动作表示（HyAR）学习一个紧凑的和可解码的潜在的表示空间的原始混合动作空间。HyAR构造了隐空间，并通过嵌入表和条件变分自动编码器（VAE）嵌入离散动作和连续参数之间的依赖关系。为了进一步提高有效性，通过无监督的环境动态预测来训练动作表示以使其在语义上平滑。最后，代理然后学习其政策与传统的DRL算法在学习的表示空间和与环境进行交互，通过解码的混合动作嵌入到原始的动作空间。我们评估HyAR在各种环境中的离散连续的动作空间。结果表明，HyAR的优越性相比，以前的基线，特别是对于高维动作空间。
2022-03-16 cs.AI cs.LG
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Towards Optimal Energy Management Strategy for Hybrid Electric Vehicle with Reinforcement Learning
Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）；University of Stuttgart（斯图加特大学）
本文提出一种将基于强化学习的能量管理策略与开源车辆仿真工具FASTSim集成的新框架，解决了现有专有模型适用性窄的问题，并在多种车型和驾驶循环下验证了其提升能效的有效性。
2023-05-21 cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Convergent Reinforcement Learning Algorithms for Stochastic Shortest Path Problem
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文提出两种收敛强化学习算法，用于解决随机最短路径问题，并展示了其在表格和函数逼近设置中的优越性能。
2025-12-02 cs.LG
Hybrid Reinforcement Learning from Offline Observation Alone
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
本文研究仅观测离线数据下的混合强化学习，在迹模型和可采纳性假设下提出首个可证明匹配复位模型算法性能的方法，并通过实验验证其有效性。
2024-06-11 cs.LG
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University（天津大学）；Fuxi AI Lab in Netease（网易伏羲人工智能实验室）
深度强化学习（Deep Reinforcement Learning，DRL）已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而，据我们所知，没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合（或参数化）的行动空间，这是非常常见的实践。我们的工作填补了这一空白，提出了两个新的算法：深度多智能体参数化Q网络（深度MAPQN）和深度多智能体层次混合Q网络（深度MAHHQN）。我们遵循集中式训练但分散式执行的范式：不同代理之间的不同级别的通信用于促进训练过程，而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务（模拟RoboCup足球和游戏Ghost Story）的实证结果表明，Deep MAPQN和Deep MAHHQN都是有效的，并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
Stochastic Reinforcement Learning
Victoria University（维多利亚大学）；Hong Kong Baptist University（香港浸会大学）；University of California, San Diego（加州大学圣地亚哥分校）
在强化学习中，奖励和惩罚通常是不确定的，并且总是有随机因素控制潜在的情况。这种随机因素往往很多，无法事先知道，而且它们往往会掩盖潜在的奖惩模式。事实上，如果没有随机因素，每次都会出现相同的结果，所涉及的学习问题可以大大简化。此外，在大多数实际情况下，观察获得奖励或惩罚的成本可能很大，人们希望通过产生最小成本来得出正确的学习结论。在本文中，我们提出了一个随机的方法来强化学习，明确建模的变化存在于学习环境和观察的成本。定量地分析了学习成功的准则和规则，并得到了超过观测成本界的概率。
2019-02-11 cs.AI cs.LG stat.ML
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Hybrid Zero Dynamics Inspired Feedback Control Policy Design for 3D Bipedal Locomotion using Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Southern University of Science and Technology（南方科技大学）
本文提出了一种新的无模型强化学习（RL）框架，设计反馈控制政策的3D双足步行。现有的RL算法通常以端到端的方式进行训练，或者依赖于一些参考关节轨迹的先验知识。不同于这些研究，我们提出了一种新的政策结构，适当地结合了物理的见解，从混合性质的步行动力学和成熟的混合零动态方法为3D双足步行。因此，整个RL框架具有几个关键优势，包括轻量级网络结构，训练时间短，对先验知识的依赖性较小。我们证明了该方法的有效性Cassie，一个具有挑战性的3D双足机器人。所提出的解决方案产生稳定的极限步行周期，可以跟踪不同方向上的各种步行速度。令人惊讶的是，在没有经过专门的干扰训练以实现鲁棒性的情况下，它也可以鲁棒地对抗施加在躯干上的向前和向后方向的各种对抗力。
2019-10-03 cs.LG cs.NE cs.RO
Quantum-Enhanced Hybrid Reinforcement Learning Framework for Dynamic Path Planning in Autonomous Systems
Central Research Laboratory, Bharat Electronics Limited（巴拉特电子有限公司中央研究实验室）
本研究提出量子-经典混合强化学习框架，利用量子并行性生成Q表与转向成本估计并融合经典强化学习，提升动态路径规划的收敛速度与导航性能，经仿真和真实场景验证有效。
2025-05-20 cs.ET cs.IT cs.LG
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace（柯林斯航空航天公司）
本文提出Hybrid GRPO框架，通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO，在提升样本效率与学习稳定性的同时缓解方差放大问题，并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
Hybrid Reinforcement Learning Framework for Mixed-Variable Problems
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）；UKG AI（UKG人工智能公司）；Ultimate Kronos Group（终极 Kronos 集团）
针对离散与连续变量共存的优化问题，提出一种结合强化学习与贝叶斯优化的混合框架，在合成函数与机器学习超参数调优任务中均优于传统方法。
2024-05-30 cs.LG math.OC
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模，其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法，实现了一个次线性的遗憾相比，与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径，这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策，UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略，其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Hybrid Supervised and Reinforcement Learning for the Design and Optimization of Nanophotonic Structures
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Northrop Grumman Corporation（诺斯罗普·格鲁曼公司）；California NanoSystems Institute（加州纳米系统研究所）
从更高的计算效率到能够发现新颖复杂的结构，深度学习已经成为设计和优化纳米光子电路和组件的强大框架。然而，数据驱动和基于探索的机器学习策略对于纳米光子逆设计的有效性都有局限性。受监督的机器学习方法需要大量的训练数据来产生高性能模型，并且由于设计空间的复杂性，难以推广到训练数据之外。另一方面，无监督和基于强化学习的方法可能会有非常长的训练或优化时间。在这里，我们展示了一种混合监督学习和强化学习的方法来逆向设计纳米光子结构，并表明这种方法可以减少训练数据的依赖性，提高模型预测的泛化能力，并缩短探索性训练时间的数量级。因此，所提出的策略解决了许多当代基于深度学习的挑战，同时为新的设计方法打开了大门，这些方法利用多类机器学习算法为光子设计产生更有效和实用的解决方案。
2022-09-08 cs.LG physics.optics
Stochastic Minimum-Cost Reach-Avoid Reinforcement Learning
Key Laboratory of System Software (Chinese Academy of Sciences), Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院系统软件重点实验室，软件研究所，中国科学院，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学交叉学科学院，中国科学院大学，北京，中国）
本文研究了随机最小成本到达-避免强化学习问题，提出了一种新的方法来在满足概率至少p的到达-避免约束的同时最小化预期累积成本。通过引入到达-避免概率证书（RAPCs）和基于收缩的Bellman公式，该方法能够将到达-避免考虑整合到强化学习中，并在概率约束下实现成本优化。
2026-05-18 cs.LG
A Demonstration of Issues with Value-Based Multiobjective Reinforcement Learning Under Stochastic State Transitions
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
我们报告了一个以前未识别的问题，无模型，基于值的方法，多目标强化学习的环境中的随机状态转换。一个例子多目标马尔可夫决策过程（MOMDP）是用来证明，在这种条件下，这些方法可能无法发现的政策，最大化的标量预期收益，实际上可能会收敛到帕累托主导的解决方案。我们讨论了几种替代方法，这可能是更适合于最大化SER MOMDPs随机过渡。
2020-04-14 cs.LG cs.MA stat.ML
