Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Blind Decision Making: Reinforcement Learning with Delayed Observations
Purdue University(普渡大学)
强化学习通常假设来自先前动作的状态更新是瞬时发生的,因此可以用于做出未来的决策。然而,这可能并不总是正确的。当状态更新不可用时,由于不能依赖于当前状态信息,因此所采取的决策部分是盲目的。本文提出了一种方法,其中可以使用状态知识的延迟,并且基于可能不包括当前状态信息的可用信息做出决策。一种方法可以是将最后已知状态之后的动作作为状态信息的一部分包括在内,然而,这会导致状态空间增加,使得问题复杂且收敛较慢。所提出的算法给出了一种替代的方法,状态空间不扩大,相比的情况下,没有延迟的状态更新。在基本强化学习环境下的测试结果进一步说明了该算法的性能改进。
2020-11-16 cs.LG
QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning
Fudan University(复旦大学);ShanghaiTech University(上海科技大学);Shanghai Innovation Institute(上海创新研究院)
QAMM将评论家伴随信号转化为对MeanFlow平均速度的监督,实现少步离线强化学习,在HumanoidMaze任务上两步生成动作并达到竞争性能。
2026-09-29 cs.LG
Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Harvard University(哈佛大学);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院)
本文提出了一种基于流模型的SAC变体,通过重要性采样流匹配技术提升策略更新效率,并在LQR问题中验证了其学习最优动作分布的能力。
2025-12-29 cs.LG
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University(石溪大学)
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题,提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法,首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
SALSA-RL: Stability Analysis in the Latent Space of Actions for Reinforcement Learning
Pennsylvania State University(宾夕法尼亚州立大学)
SALSA-RL通过动作潜空间的局部稳定性分析,为强化学习提供可解释性,使在不损害性能的前提下评估预训练智能体的动作稳定性。
2026-04-08 cs.LG
Neuromechanics-based Deep Reinforcement Learning of Neurostimulation Control in FES cycling
Imperial College London(伦敦帝国理工学院)
功能性电刺激(FES)可以恢复瘫痪者肌肉的运动。然而,控制刺激许多肌肉以恢复整个肢体的实际功能是一个未解决的问题。目前的神经刺激工程仍然依赖于20世纪的控制方法,相应地只显示出需要日常修补才能操作的适度结果。在这里,我们提出了我们的最先进的深度强化学习(RL)的实时的自适应神经刺激瘫痪的腿FES自行车。我们方法的核心是将个性化的神经机械组件集成到我们的强化学习框架中,使我们能够有效地训练模型,而无需与患者进行扩展训练课程并开箱即用。我们的神经机械组件包括合并肌肉和/或肌腱功能的肌肉骨骼模型和肌肉疲劳的多状态模型,以使神经刺激响应于截瘫患者的骑自行车者瞬时肌肉能力。我们的RL方法优于PID和模糊逻辑控制器的精度和性能。至关重要的是,我们的系统学会了刺激骑自行车者的腿,从开始时的加速到在肌肉疲劳时保持稳定状态的高节奏。我们的RL神经刺激系统的一部分已成功部署在Cybathlon 2020仿生奥运会的FES学科中,我们的截瘫自行车选手在9支参赛队伍中获得银牌。
2021-04-02 cs.LG
Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates
Mila(米拉人工智能研究所);McGill University(麦吉尔大学);DeepMind(深度思维)
我们研究了学习一组好的策略的问题,这样当它们组合在一起时,它们可以在没有或很少有新数据的情况下解决各种各样看不见的强化学习任务。具体来说,我们认为广义的政策评估和改进的框架,其中所有感兴趣的任务的奖励被假定为一个固定的功能集的线性组合表示。我们从理论上表明,在某些假设下,可以访问一组特定的不同的政策,我们称之为一组独立的政策,可以允许瞬间实现高水平的性能,对所有可能的下游任务,这些任务通常比代理人接受培训的任务更复杂。基于这一理论分析,我们提出了一个简单的算法,迭代地构造这一套政策。除了从经验上验证我们的理论结果,我们比较我们的方法与最近提出的不同的政策集的建设方法,并表明,虽然其他人失败,我们的方法是能够建立一个行为的基础,使瞬时转移到所有可能的下游任务。我们还从经验上证明,使用一组独立的策略可以更好地引导下游任务的学习过程,其中新的奖励函数不能被描述为特征的线性组合。最后,我们展示了这个策略集如何在终身强化学习环境中发挥作用。
2022-03-14 cs.LG
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences(库里计算机科学学院);Northeastern University(东北大学)
来自多步返回的离策略学习对于样本有效的强化学习至关重要,特别是在现在常用于深度神经网络的经验重放设置中。传统上,政策外估计偏差是以每决策的方式校正的:过去的时间差误差在每次行动后由瞬时重要性采样(IS)比率(通过资格跟踪)重新加权。许多重要的非策略算法,如树备份和回溯依赖于这种机制以及不同的协议,用于截断(“切割”)比率(“痕迹”),以抵消IS估计器的过度变化。不幸的是,在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割,这种效果以后就不能逆转,可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法,我们提出了一个多步算子,允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估,和最优控制时,目标贪婪的限制政策。我们的定理建立了许多现有的算法,包括截断IS,非马尔可夫回溯,历史依赖TD($λ$)的第一个收敛保证。我们的理论研究结果也提供了指导的新算法,共同考虑多个过去的决策,更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
Uniform Last-Iterate Guarantee for Bandits and Reinforcement Learning
University of Washington(华盛顿大学);University of California Los Angeles(加州大学洛杉矶分校);Peking University(北京大学)
针对现有强化学习指标仅评估累积性能、允许任意时刻采用差策略的问题,本文提出一致末轮迭代(ULI)保证指标,证明其强于传统指标,并给出多类老虎机及在线强化学习下的ULI可实现性结果与对应算法。
2024-10-31 cs.LG stat.ML
Provably Efficient RL for Linear MDPs under Instantaneous Safety Constraints in Non-Convex Feature Spaces
The Ohio State University(俄亥俄州立大学);New Jersey Institute of Technology(新泽西理工学院);University at Buffalo(布法罗大学)
本文针对非凸特征空间中线性MDP的瞬时安全约束问题,提出可证明高效的强化学习算法,在星凸与非星凸情形下均达到次线性遗憾界且零约束违反,并通过自动驾驶仿真验证有效性。
2025-02-25 cs.LG
Stepping Out of the Shadows: Reinforcement Learning in Shadow Mode
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对强化学习在信息物理系统中训练慢、易损设备且仿真差距大的问题,提出影子模式训练方法,借助常规控制器引导RL智能体学习并逐步接管控制权,降低训练遗憾值、提升性能,在到达-规避任务上验证了有效性。
2024-10-30 cs.LG
SafeSlice: Enabling SLA-Compliant O-RAN Slicing via Safe Deep Reinforcement Learning
University of Calgary(卡尔加里大学);Cairo University(开罗大学)
针对O-RAN中DRL切片策略缺乏SLA安全保证的问题,本文提出SafeSlice,通过风险敏感奖励和监督学习安全层同时满足累积与瞬时时延约束,并在真实VR流量实验中显著降低时延违规和资源消耗。
2025-03-17 cs.AI cs.LG cs.NI
Autonomous Adaptive Solver Selection for Chemistry Integration via Reinforcement Learning
本文提出基于强化学习的自适应求解器选择方法,通过马尔可夫决策过程自主选择隐式BDF求解器和准稳态求解器,提升化学积分效率,同时保持精度约束。
2026-03-31 cs.LG
Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation
School of Vehicle and Mobility & College of AI, Tsinghua University(车辆与移动学院及人工智能学院,清华大学);Berkeley AI Research (BAIR), UC Berkeley(伯克利人工智能研究(BAIR),加州大学伯克利分校);The University of Hong Kong(香港大学)
本文提出均速度策略(MVP),通过引入瞬时速度约束来提升动作生成效率,实现高效的一步动作生成并在机器人操作任务中取得最佳性能。
2026-03-08 cs.AI cs.LG
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University(厄勒布鲁大学);IT University of Copenhagen(哥本哈根信息技术大学)
提出约束归一化流策略,通过解析构造可解释变换序列保证瞬时安全约束满足,实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
A Reinforcement Learning Approach to Age of Information in Multi-User Networks
Department of Electrical and Electronic Engineering Imperial College London(帝国理工学院电气与电子工程系(Imperial College London, Department of Electrical and Electronic Engineering))
调度传输的时间敏感的数据到多个用户在易出错的通信信道进行了研究,目标是最小化的长期平均年龄的信息(AoI)在用户的约束下,在源节点的平均传输次数。在每次传输之后,源从预期接收器接收瞬时ACK/NACK反馈,并决定何时以及向哪个用户传输下一次更新。最优调度策略首先研究不同的反馈机制下,当信道统计是已知的,特别是,标准的自动重传请求(ARQ)和混合ARQ(HARQ)协议被认为是。然后介绍了一种强化学习(RL)方法,该方法不假设任何关于信道状态随机过程的先验信息。通过数值模拟对不同的RL方法进行了验证和比较。
2018-06-01 cs.LG stat.ML
Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada(阿尔伯塔大学计算机科学系);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA(东北大学计算机科学学院)
本文提出了一种多步算子,用于表达轨迹感知和每决策方法,并通过理论分析为非策略强化学习提供了收敛保证,同时引入RBIS方法在不同λ值下实现稳健性能。
2025-12-21 cs.LG
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis(加州大学戴维斯分校);Shanghai Jiao Tong University(上海交通大学);University of Minnesota(明尼苏达大学)
随着移动网络的激增,我们正在经历一个强大的服务多样化,这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案,以解决这一迫切需求。在网络切片中,动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是,这个过程太复杂,传统的方法是有效的,由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程(CMDP)不知道模型和隐藏结构。此外,我们提出了解决这个问题,使用约束强化学习的资源分配算法的REACH A。特别是,我们分析了累积和瞬时约束,分别使用自适应邻域点策略优化和投影层。评价显示,在有服务需求保证的情况下,联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
Variational Inference for Model-Free and Model-Based Reinforcement Learning
变分推理(VI)是一种特殊类型的近似贝叶斯推理,它用一个易处理的分布来近似一个难处理的后验分布。VI将推理问题转换为优化问题,更具体地说,目标是最大化关于近似后验的参数的边际似然的对数的下限。另一方面,强化学习(RL)处理的是自主智能体,以及如何使它们的行为最优,例如最大化某些预期未来累积奖励的概念。在非顺序设置中,代理人的行为不会对环境的未来状态产生影响,RL被上下文强盗和贝叶斯优化所覆盖。然而,在一个适当的顺序场景中,代理人的行为会影响未来的状态,需要仔细权衡瞬时奖励与潜在的长期奖励。这份手稿显示了VI和RL的明显不同的主题是如何以两种基本方式联系在一起的。首先,RL的优化目标,以最大限度地提高未来的累积回报,可以恢复通过VI目标下的软政策约束,在非顺序和顺序设置。这种策略约束不仅仅是人为的,而且已被证明是许多RL任务中有用的正则化器,可以显着提高代理性能。其次,在基于模型的强化学习中,代理的目标是了解他们所处的环境,模型学习部分可以自然地被描述为控制环境动态过程的推理问题。对于后者,我们将区分两种情况:第六种情况是环境状态完全可被智能体观察到,第六种情况是环境状态只能通过观察分布部分观察到。
2022-12-18 cs.LG
Efficient Bayesian Policy Reuse with a Scalable Observation Model in Deep Reinforcement Learning
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
针对深度强化学习中的策略迁移问题,提出用即时状态转移样本和可扩展观测模型改进贝叶斯策略复用,并扩展至持续学习以避免负迁移。
2023-07-13 cs.LG
Synthetic Monitoring Environments for Reinforcement Learning
Technical University Munich(慕尼黑技术大学)
本文提出合成监控环境(SMEs),通过可配置的任务特征和已知最优策略,为强化学习提供精确评估框架,用于分析算法在分布内和分布外性能的差异。
2026-03-06 cs.LG stat.ML
Model-Based Reinforcement Learning under Random Observation Delays
Department of Computer Science(计算机科学系);University of California, Irvine(加州大学尔湾分校)
本文研究了POMDPs中的随机传感器延迟问题,提出了一种基于模型的过滤过程和延迟感知框架,以提升强化学习在随机延迟环境中的性能。
2026-04-15 cs.AI cs.LG
Adaptive Outer-Loop Control of Quadrotors via Reinforcement Learning
Texas A&M University(德克萨斯大学)
本文提出了一种新颖的自适应控制架构,通过强化学习和残差动力学预测器来提高四旋翼飞行器在动态扰动下的控制性能,实验证明其在现实环境中具有更高的轨迹跟踪精度。
2026-05-18 cs.LG cs.RO
Empirical Analysis of AI-based Energy Management in Electric Vehicles: A Case Study on Reinforcement Learning
Jilin University(吉林大学)
基于强化学习(RL)的能量管理策略(EMS)被认为是具有多个电源的电动汽车的能量管理的有前途的解决方案。它已被证明优于传统的方法,在能源管理问题的节能和实时性能。然而,以前的研究并没有系统地研究基于RL的EMS的基本要素。本文提出了一种基于RL的EMS在插电式混合动力电动汽车(PHEV)和燃料电池电动汽车(FCEV)的实证分析。从算法、感知和决策粒度、超参数和奖励函数四个方面进行了实证分析。结果表明,与其他算法相比,Off-policy算法有效地开发了一个更省油的解决方案在完整的驾驶循环。提高感知和决策粒度并不会产生更理想的节能解决方案,但会更好地平衡电池电量和燃料消耗。基于瞬时荷电状态(SOC)变化的等效能量优化目标是参数敏感的,并且可以帮助RL-EMS实现更有效的能量成本策略。
2022-12-18 cs.AI cs.LG
Scalable Semantic Non-Markovian Simulation Proxy for Reinforcement Learning
Arizona State University(亚利桑那州立大学);Scientific Systems Company, Inc.(科学系统公司)
针对强化学习中仿真器带来的可扩展性、可解释性和马尔可夫假设问题,提出基于注释逻辑时间扩展的语义仿真代理,实现高达三个数量级加速并保持策略质量,支持非马尔可夫动力学与瞬时动作建模。
2023-10-15 cs.AI cs.LG cs.LO
Safe Reinforcement Learning using Ideas from Model Predictive Control
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);Paris Lodron University of Salzburg(萨尔茨堡巴黎洛德伦大学)
针对强化学习在安全约束方面的挑战,提出结合深度强化学习与模型预测控制的通用框架,利用系统动力学模型定义可行状态 - 动作空间,经安全过滤器投影动作,在实验室试验台验证该方法可成功探索并稳定收敛。
2026-07-09 cs.LG cs.RO
Safety-Regulated Transfer Reinforcement Learning with Adaptive Teacher Guidance
State Key Laboratory of Advanced Design and Manufacturing Technology for Vehicle, College of Mechanical and Vehicle Engineering, Hunan University(湖南大学机械与运载工程学院,先进设计与制造技术国家重点实验室);Key Laboratory of Intelligent Air-Ground Cooperative Control for Universities in Chongqing, School of Automation, Chongqing University of Posts and Telecommunications(重庆邮电大学自动化学院,重庆市高校智能空地协同控制重点实验室);School of Traffic and Transportation Engineering, Central South University(中南大学交通运输工程学院)
提出一种安全迁移强化学习框架,通过自适应教师干预、奖励塑形和策略比率重加权,解决自动驾驶高速公路变道中的分布偏移和训练安全问题,在安全性和学习效率上分别提升52.2%和5.0%。
2026-07-23 cs.LG
The Option Keyboard: Combining Skills in Reinforcement Learning
DeepMind(深度思维)
将已知技能结合起来创造新技能的能力,对于解决长时间展开的复杂强化学习问题至关重要。我们认为,一个强大的方式相结合的技能是定义和操纵他们在伪奖励(或“累积”)的空间。基于这一前提,我们提出了一个框架,结合技能使用的形式主义的选项。我们表明,每一个确定性的选择可以明确表示为一个累积量定义在一个扩展的域。基于这种见解和以前的迁移学习的结果,我们展示了如何近似的累积量是已知选项的累积量的线性组合的选项。这意味着,一旦我们学会了与一组累积量相关的选项,我们就可以立即合成由它们的任何线性组合所诱导的选项,而不需要任何学习。我们描述了这个框架提供了一个层次化的接口,其抽象的行动对应于基本技能的组合的环境。我们证明了我们的方法在资源管理问题和导航任务,涉及四足模拟机器人的实际好处。
2021-06-24 cs.AI cs.LG
Extensive Exploration in Complex Traffic Scenarios using Hierarchical Reinforcement Learning
The Ohio State University(俄亥俄州立大学)
针对DRL控制器在复杂交通中泛化性不足的问题,提出分层框架将决策分解为子任务,通过两步训练分别优化高低层控制器,在复杂高速公路驾驶中展现优越性。
2025-01-25 cs.LG cs.RO
Learning to Undo: Rollback-Augmented Reinforcement Learning with Reversibility Signals
School of Computing and Communications, Lancaster University, Lancaster LA1 4WA, United Kingdom(1 计算与通信学院,兰卡斯特大学,英国兰卡斯特 LA1 4WA);Neubility, 2F 115 (04768) Wangsimni-ro, Seongdong-gu, Seoul, South Korea(2 Neubility,韩国首尔松江区 Wangsimni-ro 2F 115 (04768))
提出可逆学习框架,通过可逆性度量Phi和选择性回滚操作,提升强化学习智能体的安全性和性能,在CliffWalking和Taxi环境中显著减少灾难性步骤并提高回报。
2025-10-16 cs.LG
A Reinforcement Learning Approach to Age of Information in Multi-User Networks with HARQ
Imperial College London(伦敦帝国理工学院);Middle East Technical University(中东技术大学);DeepMind
调度传输的时间-敏感信息从一个源节点到多个用户在易出错的通信信道进行了研究,目标是最小化的长期平均年龄的信息(AoI)在用户。一个长期的平均资源约束施加在源上,这限制了平均传输次数。源在每个时隙只能向单个用户发送,并且在每次发送之后,它从预期接收器接收瞬时ACK/NACK反馈,并且决定何时以及向哪个用户发送下一次更新。假设信道统计是已知的,最优调度策略的标准自动重传请求(ARQ)和混合ARQ(HARQ)协议进行了研究。然后,一个强化学习(RL)的方法被引入到找到一个接近最优的政策,它不假设任何先验信息的随机过程中的信道状态。通过数值模拟,应用并比较了不同的强化学习方法,包括线性函数近似(LFA)的平均成本SARSA、上置信度强化学习(UCRL 2)和深度Q网络(DQN
2021-02-19 cs.IT cs.LG math.IT
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research(爱立信研究院)
本文提出利用奖励机强化学习优化移动网络睡眠控制,在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
Multi-agent reinforcement learning for wall modeling in LES of flow over periodic hills
California Institute of Technology(加州理工学院)
我们开发了一个壁面模型的大涡模拟(LES),考虑到各种压力梯度的影响,使用多智能体强化学习(MARL)。该模型是使用低雷诺数流动周期性的山丘与代理分布在墙上沿计算网格点。该模型利用壁涡粘度制剂作为边界条件,这是示出提供更好的预测的平均速度场,而不是典型的壁剪切应力制剂。每个代理接收基于离壁位置处的局部瞬时流量的状态,基于估计的壁剪切应力计算奖励,并提供一个动作来更新每个时间步的壁涡流粘度。通过对高雷诺数下周期性地形绕流的壁面模拟大涡模拟(WMLES),验证了模型的有效性。训练模型的分析表明,该模型能够区分存在于流动中的各种压力梯度状态。
2022-11-29 cs.LG physics.comp-ph physics.flu-dyn
Deep Reinforcement Learning for Joint Spectrum and Power Allocation in Cellular Networks
Northwestern University(西北大学)
无线网络运营商通常将其拥有的无线电频谱划分为多个子带。在蜂窝网络中,这些子带然后在许多小区中被重用。为了减轻同信道干扰,联合频谱和功率分配问题通常被公式化以最大化和速率目标。用于解决这种问题的最佳已知算法通常需要瞬时全局信道状态信息和集中式优化器。事实上,这些算法在实践中还没有在具有时变子带的大型网络中实现。深度强化学习算法是解决复杂资源管理问题的有前途的工具。这里的一个主要挑战是频谱分配涉及离散子带选择,而功率分配涉及连续变量。在本文中,提出了一个学习框架,以优化离散和连续的决策变量。具体来说,两个独立的深度强化学习算法被设计为同时执行和训练,以最大化联合目标。仿真结果表明,该方案优于最先进的分数规划算法和以前的解决方案基于深度强化学习。
2020-12-19 cs.IT cs.LG eess.SP
Game-Theoretic Inverse Reinforcement Learning for Modeling Competitive Human Driving: A Cut-in Prediction Study
University of Wyoming(怀俄明大学)
本研究提出博弈论逆强化学习(IRL)模型,在highD数据集上验证其在激进切入车道变更预测中,相比基于物理的基准方法,显著提升了高风险场景的预测精确率与召回率,为混合自主环境交互建模提供可靠基础。
2026-08-10 cs.LG physics.soc-ph
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley(加州大学伯克利分校)
本文介绍了快速线性化自适应策略(FLAP),这是一种新的Meta强化学习(元RL)方法,能够很好地外推到分布外的任务,而不需要重用训练数据,并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上,以便在适应新任务时,预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练,这样在适配过程中,我们可以直接使用适配器网络来预测这些线性权重,而不是通过梯度下降来更新元策略,例如在MAML等现有的元RL方法中,以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间,而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明,与现有方法相比,FLAP在分布外任务上表现出更强的性能,平均回报率高达两倍,自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Real-Time Optimization of Pumps in Water Distribution Systems
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
在配水系统中,对水泵进行实时的【形】控制是一项不可行的任务,因为寻找最佳水泵转速的计算是资源密集型的。当使用常规优化技术时,即使具有智能水网的能力,也不能降低计算需求。深度强化学习(DRL)在这里被提出作为两个WDS中的泵的控制器。基于决斗深度q网络的代理被训练以基于瞬时节点压力数据来保持泵速度。一般优化技术(例如,Nelder-Mead方法,差分进化)作为基线。与最佳性能基线相比,DRL代理实现的总效率高于0.98,而与此相比,加速约为2倍。所提出的方法的主要贡献是,代理可以运行泵在实时的【形】,因为它只依赖于测量数据。如果用水力模拟代替WDS,该代理在搜索速度上仍然优于传统技术。
2020-10-13 cs.AI cs.LG physics.flu-dyn
Reinforcement Learning for Adaptive Mesh Refinement
LLNL(劳伦斯利弗莫尔国家实验室);Texas A&M University(得克萨斯农工大学);Georgia Tech(佐治亚理工学院)
偏微分方程(PDE)控制的复杂物理系统的大规模有限元模拟关键取决于自适应网格加密(AMR)以将计算预算分配到需要更高分辨率的区域。现有的可扩展AMR方法基于瞬时误差估计做出启发式细化决策,因此不以整个模拟的长期最优性为目标。我们提出了一种新的AMR公式作为马尔可夫决策过程,并应用深度强化学习(RL)直接从模拟中训练细化策略。AMR提出了一个新的问题,RL的状态维度和可用的动作集的变化,在每一步,我们解决了提出新的政策架构具有不同的一般性和归纳偏见。这些策略架构的模型大小与网格大小无关,因此可以部署在比训练时使用的更大的模拟上。我们在静态函数估计和时间相关方程的综合实验中证明,RL策略可以在不使用地面实况解决方案的情况下对问题进行训练,与广泛使用的误差估计器竞争,并推广到更大,更复杂和看不见的测试问题。
2023-02-22 cs.LG cs.NA math.NA
Robust Remote Reinforcement Learning over Unreliable Communication Channels using Homomorphic State Encoding
本文提出一种名为HR3L的新型学习架构,使在不可靠通信信道上分布式训练RL代理成为可能,无需交换梯度信息,实验表明其在样本效率上显著优于现有方法,且能适应不同场景。
2026-05-11 cs.IT cs.LG cs.MA
Anticipatory Risk-Guided Reinforcement Learning for Safe Flight Through Dynamic Clutter
Huazhong University of Science and Technology(华中科技大学)
研究在动态杂波中四旋翼安全飞行问题,提出预期风险引导强化学习框架,利用特权模拟器状态构建风险地图,通过非对称架构训练网络自我预测风险,结合轻量级编码器提取线索,实验证明该方法有效提高安全裕度和飞行效率,且能实现模拟到现实的零样本转移。
2026-07-28 cs.LG cs.RO
Transfer in Deep Reinforcement Learning Using Successor Features and Generalised Policy Improvement
DeepMind
跨任务转移技能的能力有可能将强化学习(RL)代理扩展到目前无法触及的环境。最近,一个框架的基础上的两个想法,继任者的功能(SF)和广义的政策改进(GPI),已被引入作为一个原则性的方式转移技能。在本文中,我们扩展SF和GPI框架在两个方面。SF和GPI的原始公式的基本假设之一是,所有感兴趣的任务的奖励可以计算为固定特征集的线性组合。我们放松了这一约束,并表明,支持框架的理论保证可以扩展到任何一组任务,只有不同的奖励功能。我们的第二个贡献是表明,可以使用奖励函数本身作为未来任务的功能,而不会损失任何表现力,从而消除了预先指定一组功能的需要。这使得SF和GPI与深度学习以更稳定的方式结合成为可能。我们在一个复杂的3D环境中,从第一人称的角度观察图像,经验验证了这一说法。我们表明,转移促进SF和GPI导致非常好的政策看不见的任务几乎瞬间。我们还描述了如何学习专门的新任务的方式,允许他们被添加到代理的一组技能,从而在未来被重用的政策。
2019-01-30 cs.AI cs.LG
Information-Directed Offline-to-Online Reinforcement Learning
School of Electrical, Computer and Energy Engineering, Arizona State University(电气、计算机与能源工程学院,亚利桑那州立大学)
本文提出信息导向采样(IDS)方法,通过条件互信息量化离线数据后的残余不确定性,在离线到在线强化学习中平衡即时遗憾与信息增益,并证明其贝叶斯遗憾界及在偏置残余不确定性场景下的优势。
2026-05-28 cs.LG
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers?
Peking University(北京大学);Princeton University(普林斯顿大学);Northwestern University(西北大学);UC Berkeley(加州大学伯克利分校)
本文研究了多人一般和马氏对策,其中一个人被指定为领导者,其他人被视为追随者。特别是,我们专注于一类游戏的追随者是近视,即,他们的目标是最大化他们的即时回报。对于这样的博弈,我们的目标是找到一个斯塔克伯格-纳什均衡(SNE),它是一个策略对$(π^*, ν^*)$,使得(i)当跟随者总是采取他们的最佳对策时,$π^*$是领导者的最优策略,(ii)$ν^*$是跟随者的最佳对策,这是由$π^*$诱导的跟随者博弈的纳什均衡。我们开发了样本高效的强化学习(RL)算法,用于在线和离线设置中求解SNE。我们的算法是乐观和悲观的最小二乘值迭代的变种,他们很容易能够将函数逼近工具在大的状态空间的设置。此外,对于线性函数逼近的情况,我们证明了我们的算法分别在在线和离线设置下实现次线性遗憾和次最优。据我们所知,我们建立了第一个可证明有效的RL算法求解SNE在一般和马尔可夫游戏近视的追随者。
2021-12-27 cs.GT cs.LG stat.ML
Model Mediated Teleoperation with a Hand-Arm Exoskeleton in Long Time Delays Using Reinforcement Learning
German Aerospace Center(德国航空航天中心);Hamburg University(汉堡大学);Technical University of Munich(慕尼黑工业大学)
远程机器人系统必须适应新的环境条件,并处理长时间延迟造成的高度不确定性。强化学习(RL)作为人类智能的最佳替代方案之一,可能会提供一个解决方案来应对这些问题。本文提出将RL与模型中介遥操作(MMT)概念相结合。遥控操作员与提供即时反馈的模拟虚拟环境进行交互。虽然来自真实环境的反馈是延迟的,但来自模型的反馈是即时的,这导致了高透明度。MMT与两层智能系统相结合实现。第一层利用动态运动基元(Dynamic Movement Primitives,缩写为MOM),它可以解释化身环境中的某些变化。并且,第二层使用RL方法解决模型中的不确定性所引起的问题。还提供了增强现实来融合化身设备和遥控操作员的虚拟环境模型。在DLR的Exodex Adam手臂触觉外骨骼上实现,结果表明,当演示后对象位置发生变化时,RL方法能够找到不同的解决方案。结果还表明,DMPs在适应新的条件下是有效的,其中没有不确定性。
2021-07-01 cs.AI cs.LG cs.RO
Group-Theoretic Reinforcement Learning of Dynamical Decoupling Sequences
JILA, Department of Physics, University of Colorado Boulder, Boulder, Colorado 80309, USA(JILA物理系,科罗拉多大学博尔德分校,博尔德,科罗拉多州80309,美国)
基于群论的强化学习方法用于设计量子比特上的动态解耦序列,无需显式了解噪声谱即可学习最优脉冲序列。
2025-12-15 cs.LG cs.SY eess.SY
Deep Reinforcement Learning-Based User Scheduling for Collaborative Perception
National Mobile Communications Research Laboratory, Southeast University(东南大学国家移动通信研究实验室);Purple Mountain Laboratories(紫金山实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院)
针对协同感知中通信资源受限问题,提出基于DDQN的SchedCP框架,融合CSI与感知语义并采用无标签目标实现自适应V2X用户调度。
2025-02-12 cs.LG cs.RO
Configuration Path Control
Harik Shazeer Labs(哈里克·沙齐尔实验室)
强化学习方法通常会产生脆弱的策略--在训练过程中表现良好的策略,但在直接训练经验之外的推广效果很差,因此在小干扰下变得不稳定。为了解决这个问题,我们提出了一种方法,用于稳定的控制策略的配置路径的空间。它在训练后应用,完全依赖于训练期间产生的数据以及瞬时控制矩阵估计。经验上的平面双足步行机受到各种扰动的方法进行评估。通过强化学习获得的控制策略进行比较,其稳定的同行。在不同的实验中,我们发现两到四倍的稳定性增加,当测量的扰动幅度。我们还提供了一个零动态解释我们的方法。
2022-04-05 cs.LG cs.RO cs.SY
A Reinforcement Learning Inspired Latent Yield Based Adaptive Algorithm Switching Mechanism
Indian Institute of Technology Patna(印度理工学院帕纳布分校);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
针对在线或动态环境中算法选择困难的问题,提出一种受强化学习启发的潜在收益方法,通过封装奖励和惩罚触发探索与利用,实现自适应算法切换,并在排序算法和机器人避障任务中验证了有效性。
2026-05-23 cs.LG cs.MA cs.RO
Longitudinal Dynamic versus Kinematic Models for Car-Following Control Using Deep Reinforcement Learning
University of Waterloo, Ontario, Canada(加拿大温哥华大学)
本文研究了在考虑车辆动力学的情况下,使用深度强化学习的纵向汽车跟随控制问题,通过引入延迟的控制输入和实际车辆加速度到强化学习环境状态中,改进了DRL框架,从而在考虑车辆动力学时实现了接近最优的控制性能。
2019-07-05 cs.LG cs.RO cs.SY
Brain-Inspired Planning for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学)
本论文受人类大脑规划机制启发,提出空间抽象注意力、Skipper任务分解框架和可行性评估器,以提升强化学习智能体的零样本系统化泛化能力并避免妄想性规划。
2025-11-09 cs.AI cs.LG
$QD$-Learning: A Collaborative Distributed Strategy for Multi-Agent Reinforcement Learning Through Consensus + Innovations
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文考虑一类多智能体马尔可夫决策过程(MDP),其中网络智能体对全局受控状态和远程控制器的控制行为的响应不同(表现为瞬时单阶段随机代价).本文研究了一种分布式强化学习设置,没有全局状态转移和本地代理成本统计的先验信息。具体地说,与代理的目标,包括最小化的网络平均无限地平线的折扣成本,本文提出了一个分布式版本的$Q$ -学习,$\mathcal{QD}$ -学习,其中网络代理合作,通过本地处理和相互信息交换稀疏(可能是随机的)通信网络,以实现网络目标。在每个Agent只知道其本地在线费用数据且Agent间通信网络是\emph{weakly}连通的假设下,所提出的分布式方案几乎必然(a.s.)所示的收益率渐近期望值函数和最优稳态控制策略在每个网络代理。在本文中开发的分析技术,以解决混合的时间尺度随机动态的\emph{consensus + innovations}形式,这是由于所提出的交互式分布式计划,是独立的利益。
2012-10-25 cs.LG cs.MA math.OC
Constrained Reinforcement Learning for Dynamic Material Handling
Research Institute of Trustworthy Autonomous Systems (RITAS), Southern University of Science and Technology(南方科技大学可信自主系统研究院);Southern University of Science and Technology(南方科技大学);Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd(华为技术有限公司可信理论研究中心)
本文针对动态物料搬运中的自动导引车调度问题,将其建模为受约束的马尔可夫决策过程,并提出结合拉格朗日松弛与无效动作掩蔽的自适应约束强化学习算法RCPOM,同时开发了DMH-GYM模拟器作为基准,实验证明其性能优于多种现有算法和调度规则。
2023-05-23 cs.AI cs.LG cs.RO
Adaptive Reinforcement Learning for Unobservable Random Delays
KTH Royal Institute of Technology(皇家理工学院)
研究现实动态环境中智能体与系统交互因延迟导致标准强化学习假设不成立的问题,提出交互层框架,在此基础上开发ACDA算法,能自适应处理不可观测和时变延迟,在多种环境中性能显著优于现有方法。
2026-07-14 cs.AI cs.LG cs.RO