Generative Support Realignment for Cross-Domain Offline Reinforcement Learning
Ulsan National Institute of Science and Technology, UNIST(乌山国立科学技术研究院,UNIST)
本文提出TCE框架,通过目标对齐生成扩展状态覆盖,有效缓解领域差异,提升跨领域离线强化学习性能。
2026-09-30 cs.AI cs.LG
Imagine Beyond! Distributionally Robust Auto-Encoding for State Space Coverage in Online Reinforcement Learning
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、信息科学研究所)
针对在线视觉强化学习中自编码器潜在空间状态覆盖不足的问题,提出结合$β$-VAE与分布鲁棒优化的DRAG方法,通过对抗性神经加权器施加分布偏移,显著提升了困难探索环境中的状态覆盖与下游控制性能。
2025-11-04 cs.AI cs.LG
On Gap-dependent Bounds for Offline Reinforcement Learning
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文对离线强化学习中间隙依赖的样本复杂度进行了系统的研究。以前的工作表明,当最优策略和行为策略之间的密度比是上界(最优策略覆盖假设),那么代理可以实现$O\left(\frac{1}{ε^2}\right)$率,这也是最小最大最优的。在最优策略覆盖假设下,当最优$Q$ -函数中存在一个正的次优间隙时,可以将速率提高到$O\left(\frac{1}ε\right)$.此外,我们表明,当访问概率的行为政策是一致的最优策略的访问概率是积极的状态(统一的最优策略覆盖假设)的下界,确定最优策略的样本复杂性是独立的$\frac{1}ε$。最后,我们提出了接近匹配的下限,以补充我们的间隙依赖的上限。
2022-08-03 cs.AI cs.LG
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
Mila (Quebec AI Institute)(米拉(魁北克人工智能研究所));Université Laval(拉瓦尔大学);CIFAR AI Chair(CIFAR人工智能教席)
发现事后重标记在多目标强化学习中导致偏好覆盖坍缩,提出her_mix方法恢复性能并大幅降低弃权偏好质量。
2026-09-24 cs.AI cs.LG
Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);College of Science and Technology, Nihon University(日本立命馆大学科学技术学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Waseda Institute for Advanced Study, Waseda University(早稻田大学高级研究机构)
SMART框架通过LLM引导强化学习,结合结构验证与功能验证,提升游戏更新测试的覆盖率和任务完成率。
2025-12-14 cs.AI cs.SE
PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization
School of Mathematics, Hunan University(湖南大学数学学院);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院)
PPO-HSC是用于解决大语言模型微调中模式崩溃问题的探索性强化学习框架,通过纳入高阶采样覆盖奖励及维护动态轨迹库,提高解决方案多样性与状态空间覆盖,在数学推理和代码生成任务中表现出色。
2026-07-21 cs.AI
MAIDCRL: Semi-centralized Multi-Agent Influence Dense-CNN Reinforcement Learning
Missouri State University(密苏里州立大学)
本文提出半集中式多智能体密集CNN强化学习MAIDCRL,通过在MAIDRL中引入卷积层,显著提升了在复杂异构SMAC场景下的学习性能、收敛速度及胜率。
2024-02-12 cs.AI cs.LG
Optimizing Coverage and Difficulty in Reinforcement Learning for Quiz Composition
CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学)
本文旨在自动化从多项选择题中生成测验,通过强化学习方法优化测验的覆盖范围和难度,通过实验验证不同算法在不同数据分布下的表现。
2026-03-29 cs.LG
Improving Playtesting Coverage via Curiosity Driven Reinforcement Learning Agents
SEED - Electronic Arts (EA)(艺电SEED部门)
随着现代游戏的规模和复杂性不断增长,确保所有相关内容都经过测试,并正确识别和修复任何潜在问题变得越来越具有挑战性。然而,试图仅使用人类参与者来最大化测试覆盖率,会导致繁琐且难以编排的过程,这通常会减慢开发周期。通过自主智能体补充游戏测试已经显示出加速和简化这一过程的巨大前景。本文解决了自动探索和测试一个给定的情况下,使用强化学习代理训练,以最大限度地提高游戏状态覆盖率的问题。这些代理中的每一个都根据其动作的新颖性而获得奖励,从而鼓励在复杂的3D场景中的好奇和探索行为,其中先前提出的探索技术表现不佳。好奇的智能体能够学习到达地图周围不同区域所需的复杂导航机制,从而提供必要的数据来识别潜在的问题。此外,本文还探讨了不同的可视化策略,并评估如何更好地利用收集到的数据来驱动设计决策,并认识到可能的问题和疏忽。
2021-06-23 cs.LG
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group(阿里巴巴集团)
本文提出PE-MORL算法,通过排列等变模型和悲观Q学习弥合模拟器与现实差距,在真实数据上扩展状态覆盖,超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
CovRL: Fuzzing JavaScript Engines with Coverage-Guided Reinforcement Learning for LLM-based Mutation
Yonsei University(延世大学);Suresofttech Inc.(Suresofttech公司)
本文提出CovRL技术,通过TF-IDF构建加权覆盖率图并结合强化学习将覆盖率反馈直接集成到LLM变异器中,显著提升了JavaScript引擎模糊测试的代码覆盖率与漏洞发现能力。
2024-02-19 cs.CL cs.CR cs.LG
Scheduling Out-of-Coverage Vehicular Communications Using Reinforcement Learning
Huawei Technologies Duesseldorf GmbH(华为技术杜塞尔多夫有限公司);Technische Universität Berlin(柏林工业大学)
车对车(V2V)通信的性能在很大程度上取决于所采用的调度方法。虽然集中式网络路由器提供高V2V通信可靠性,但它们的操作通常限于具有全蜂窝网络覆盖的区域。相反,在蜂窝覆盖区域外,使用相对低效的分布式无线电资源管理。为了利用集中式方法的优势来增强缺乏蜂窝网络覆盖的道路上V2V通信的可靠性,我们提出了VRLS(车辆强化学习),这是一种集中式调度器,可以主动为覆盖范围外的V2V通信\textit{before}车辆离开蜂窝网络覆盖范围分配资源。通过在模拟车辆环境中进行训练,VRLS可以学习鲁棒且适应环境变化的调度策略,从而无需在复杂的现实环境中进行有针对性的(重新)训练。我们评估VRLS在不同的移动性,网络负载,无线信道和资源配置下的性能。VRLS通过在高负载条件下将分组出错率降低一半并在低负载情况下实现接近最大的可靠性,在没有蜂窝网络覆盖的区域中优于最先进的分布式调度算法。
2022-07-13 cs.AI cs.NI eess.SP
Distributed Area Coverage with High Altitude Balloons Using Multi-Agent Reinforcement Learning
NREIP Intern(NREIP实习生);U.S. Naval Research Laboratory(美国海军研究实验室);U.S. Government(美国政府)
针对小型高空气球编队本地化区域覆盖任务中现有确定性方法表现不佳的问题,本研究扩展RLHAB仿真环境,将QMIX多智能体强化学习算法适配于该任务,实现了与理论最优确定性方法相近的性能,为复杂多HAB自主任务提供基础。
2025-10-04 cs.LG cs.MA cs.RO
What can online reinforcement learning with function approximation benefit from general coverage conditions?
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文系统研究在线强化学习中一般覆盖条件的作用,提出多种新覆盖概念并证明其能带来改进的遗憾界,甚至在线性MDP下实现对数阶遗憾,为覆盖条件在高效在线RL中的应用提供了理论依据。
2023-05-31 cs.LG stat.ML
Active Coverage for PAC Reinforcement Learning
UMPA, ENS Lyon(里昂高等师范学院UMPA);Meta AI;Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信号与自动化信息研究中心)
本文形式化情节式MDP中的主动覆盖问题,提出博弈论算法CovGame,其样本复杂度匹配实例相关下界,并作为构建块解决PAC无奖励探索和最佳策略识别任务,在易探索MDP中优于极小极大复杂度。
2023-06-23 cs.LG
Hilbert-Augmented Reinforcement Learning for Scalable Multi-Robot Coverage and Exploration
本文提出一种基于Hilbert空间的强化学习方法,用于提高多机器人覆盖与探索的效率和可扩展性。
2026-02-23 cs.AI cs.MA cs.RO
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
CrystalGRPO: Target-Aligned and Coverage-Preserving Reinforcement Learning for Flow-Based Crystal Structure Prediction
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);North Carolina Battery Complexity, Autonomous Vehicle and Electrification (BATT CAVE) Research Center(北卡罗来纳州电池复杂性、自动驾驶与电气化(BATT CAVE)研究中心)
该研究提出CrystalGRPO框架,通过强化学习后训练优化基于流模型的晶体结构预测,两种模式在多数据集骨干组合中提升了恢复性能与覆盖率。
2026-09-01 cs.LG
Continuous World Coverage Path Planning for Fixed-Wing UAVs using Deep Reinforcement Learning
TUM School of Engineering and Design, Technical University of Munich(慕尼黑技术大学工程与设计学院);Dept. of Electrical Engineering and Computer Sciences, University of California, Berkeley(加州大学伯克利分校电气工程与计算机科学系)
针对固定翼无人机在连续环境中的覆盖路径规划问题,提出基于AM-SAC与自适应课程的深度强化学习方法,以学习节能且满足曲率约束的完整覆盖策略。
2025-05-13 cs.LG cs.RO cs.SY
Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques
Tsinghua University(清华大学);University of Washington(华盛顿大学);Harvard University(哈佛大学)
该研究提出 PbMARL 框架,从仅含偏好的离线数据中识别一般和博弈 Nash 均衡,证明单边数据覆盖的必要性,并给出时间轴 MSE 正则化与数据分布悲观惩罚两种技术。
2025-01-09 cs.AI cs.GT cs.LG
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia(弗吉尼亚大学)
自动驾驶汽车(AV)安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理(封闭试验场)或虚拟(模拟预定义场景)环境中控制,也可以在现实世界中的操作过程中自发出现(开放道路测试或模拟随机生成的场景)。在自动驾驶测试中,仿真主要有两个目的:帮助开发强大的自动驾驶汽车,并在发布前测试和验证自动驾驶汽车。由于涉及大量变量(其中大多数是连续的),从上述每个来源可以构建大量的情景变化,这带来了挑战。即使连续变量离散化,可能的组合数量也变得实际上不可行。为了克服这一挑战,我们建议使用强化学习(RL)来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果,但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中,如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Symbolic State Partitioning for Reinforcement Learning
ITU(丹麦技术大学);University of Oslo(奥斯陆大学)
本文提出通过符号执行从环境动态中提取状态空间划分,以改善连续状态空间下的强化学习,并在稀疏奖励、覆盖率和策略性能上验证其有效性。
2025-02-04 cs.AI cs.LG
Cooperation-Aware Reinforcement Learning for Merging in Dense Traffic
Stanford University(斯坦福大学);Honda Research Institute(本田研究院)
对于自动驾驶汽车来说,在密集的交通中做出决策可能是一项挑战。仅依赖于预定义的道路优先级并将其他驾驶员视为移动物体的自动系统将导致车辆冻结并导致机动失败。人类驾驶员利用其他驾驶员的合作来避免这种僵局情况,并说服其他人改变他们的行为。决策算法必须考虑与其他驾驶员的互动,并预测广泛的驾驶员行为。在这项工作中,我们提出了一个强化学习的方法来学习如何与不同的合作水平的驱动程序进行交互。我们通过保持对其他驾驶员合作水平的信念来增强传统强化学习算法的性能。我们表明,我们的代理成功地学习如何导航密集的合并方案,比在线规划方法少死锁。
2019-06-26 cs.AI cs.LG cs.RO
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Reinforcement Learning Scheduler for Vehicle-to-Vehicle Communications Outside Coverage
Huawei Technologies German Research Center(华为技术德国研究中心)
车辆到车辆(V2 V)通信中的无线电资源可以由驻留在网络中的集中式调度器(例如,在蜂窝系统的情况下为基站)或分布式调度器,其中资源由车辆自主选择。前一种方法在网络覆盖不中断的情况下产生相当高的资源利用率。然而,在间歇性或覆盖范围外的情况下,由于没有来自集中式调度器的输入,车辆需要恢复到分布式调度。受强化学习(RL)的最新进展的启发,我们研究了集中式学习调度器是否可以被教导为有效地将资源预分配给车辆以进行覆盖范围外的V2 V通信。具体来说,我们使用的演员-评论家RL算法训练集中式调度器提供非干扰资源的车辆之前,他们进入的覆盖范围。我们的初步结果表明,基于RL的调度器可以实现性能一样好,甚至更好的最先进的分布式调度器,往往优于它。此外,学习过程中完成一个合理的时间(从几百到几千epochs),从而使基于RL的调度器V2 V通信间歇性网络覆盖的一个有前途的解决方案。
2019-04-29 cs.IT cs.LG cs.NI
Cellular Network Capacity and Coverage Enhancement with MDT Data and Deep Reinforcement Learning
University of Bologna(博洛尼亚大学);TIM Telecom Italia(意大利电信)
近年来,通信网络中的数据和计算资源的可用性显著增加。这促成了数据驱动算法在网络自动化中的崛起。本文研究了一种最小化路测(MDT)驱动的深度强化学习(DRL)算法,通过调整TIM蜂窝网络中一组小区的天线倾斜度来优化覆盖范围和容量。我们共同利用MDT数据,电磁仿真和网络关键性能指标(KPI)来定义用于训练深度Q网络(DQN)代理的模拟网络环境。对经典的DQN配方进行了一些调整,以提高试剂的样本效率、稳定性和性能。特别是,自定义的探索政策的目的是在训练时引入软约束。实验结果表明,该算法在长期回报和样本效率方面优于DQN和最佳优先搜索等基线方法。我们的研究结果表明,MDT驱动的方法构成了一个有价值的工具,自主覆盖和容量优化的移动无线电网络。
2022-02-22 cs.LG cs.NI
Age Minimization in Massive IoT via UAV Swarm: A Multi-agent Reinforcement Learning Approach
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对无人机集群服务大规模物联网带来的高维决策问题,本文采用多智能体深度强化学习最小化全网信息年龄,并证明协作与部分协作方案优于集中式方法。
2023-09-26 cs.AI cs.LG
Offline Reinforcement Learning in Large State Spaces: Algorithms and Guarantees
本文介绍大状态空间离线强化学习的理论框架,梳理函数近似表达性、数据覆盖性等核心假设,以及对应不同假设与复杂度要求的各类算法和结果,并探讨开放问题与邻域关联。
2025-10-05 cs.AI cs.LG stat.ML
UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations
Muroran Institute of Technology(室兰工业大学)
由于灾害,地面基站(TBS)将部分崩溃。一些用户设备(UE)将不被服务。部署无人机(UAV)作为空中基站是快速覆盖UE的方法。但现有的方法仅涉及无人机的覆盖范围。在这些场景中,他们专注于在所有TBS不再工作的灾后地区部署无人机。现有的TBS和无人机的组合的研究有限。我们提出的方法来部署无人机与可用的TBS作为空中基站合作。并通过强化学习提高覆盖率。此外,在实验中,我们首先使用平衡迭代减少和使用层次分簇(BIRCH)对UE进行分簇。最后,通过Q-learning实现基站对UE的更好覆盖。
2022-02-17 cs.LG
Beyond Binary: Turning Partial Success into Dense Verifiable Rewards for Reinforcement Learning in Code Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(中国电信人工智能技术(北京)有限公司Xingchen AGI实验室);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(人机混合增强智能国家重点实验室,西安交通大学)
提出VeRPO框架,利用代码测试的部分成功作为可验证密集奖励,通过动态密度校准局部奖励修正基数偏差,并与全局执行结果结合,提升代码生成强化学习的性能。
2026-05-26 cs.AI cs.LG
Action Noise in Off-Policy Deep Reinforcement Learning: Impact on Exploration and Performance
University of Innsbruck(因斯布鲁克大学);University of Trento(特伦托大学)
本文系统研究离线策略深度强化学习中高斯与 Ornstein–Uhlenbeck 动作噪声对连续控制探索和性能的影响,提出稳健的状态空间覆盖度量,并给出噪声选择启发式规则。
2023-06-05 cs.AI cs.LG
Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization
Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia(计算统计与机器学习 - 意大利技术研究院);AI Centre, Computer Science Department, University College London(人工智能中心,计算机科学系,伦敦大学学院)
提出一种无奖励预训练方法ROVER,通过最大化状态占据测度的覆盖来学习可迁移探索策略,在稀疏奖励下游任务中快速适应。
2026-06-23 cs.LG
Learning Coverage Paths in Unknown Environments with Deep Reinforcement Learning
Linköping University(林雪平大学);Husqvarna Group(富世华集团);Dalian University of Technology(大连理工大学);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
本文研究未知环境下的覆盖路径规划,提出基于前沿的自我中心地图表示和全变差奖励项,利用深度强化学习在线学习覆盖路径,在多种CPP变体上超越现有方法。
2024-06-07 cs.LG cs.RO cs.SY
RIFT: A Scalable Methodology for LLM Accelerator Fault Assessment using Reinforcement Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
RIFT通过强化学习引导智能故障定位,实现高效LLM加速器故障评估,提升故障覆盖率与成本效益
2025-12-10 cs.AI cs.LG
Offline Constrained Reinforcement Learning under Partial Data Coverage
KAIST(韩国科学技术院);University of Michigan(密歇根大学)
本文提出PDOCRL算法,通过分解线性规划公式实现约束强化学习,避免了需要数据生成分布的策略提取,提供近最优且可行的策略,具有$\widetilde{\mathcal O}(ε^{-2})$样本保证。
2026-05-12 cs.LG stat.ML
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida(中佛罗里达大学);Microsoft(微软);Intel Labs(英特尔实验室)
为稀疏目标学习有效策略是深度强化学习(RL)的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释,但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性,但是是高维的黑箱解决方案,几乎没有可解释性。在本文中,我们提出了一种以低维符号树的形式发现密集奖励的方法,从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励,然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现,密集奖励是RL策略解决基准任务的有效信号。值得注意的是,我们显着优于广泛使用的,当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
D2RL: Deep Dense Architectures in Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California Berkeley(加州大学伯克利分校)
虽然深度学习架构的改进在改善计算机视觉和自然语言处理中的监督和无监督学习状态方面发挥了至关重要的作用,但用于强化学习的神经网络架构选择仍然相对不足。我们从计算机视觉和生成建模的成功架构选择中汲取灵感,并在各种模拟机器人学习基准环境中研究使用更深的网络和密集连接进行强化学习。我们的研究结果表明,目前的方法从密集的连接和更深的网络中受益匪浅,在一系列操纵和运动任务中,无论是本体感受还是基于图像的观察。我们希望我们的结果可以作为一个强有力的基线,并进一步激励未来对强化学习神经网络架构的研究。该项目的网站与代码是在这个链接https://sites.google.com/view/d2rl/home。
2020-11-27 cs.LG
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(离线RL)考虑仅使用先前收集的样本执行学习的问题,并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中,学习者使用根据经验转换频率构建的模型执行估计(或优化)。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中,样本服从马尔可夫决策过程的动态,因此,可能具有相互依赖性。在没有独立样本的假设下,我们提供了一个高概率,多项式样本的复杂性约束香草模型为基础的关闭政策的评估,需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较,我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后,我们提供了一个估计,优于样本均值估计几乎确定性的动态,普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Efficient Domain Coverage for Vehicles with Second-Order Dynamics via Multi-Agent Reinforcement Learning
Simon Fraser University(西蒙弗雷泽大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对二阶动力学多智能体区域覆盖问题,提出基于MAPPO并融合LSTM与自注意力的强化学习方法,显著优于经典控制策略。
2023-10-16 cs.LG cs.MA cs.RO
Learning to Recharge: UAV Coverage Path Planning through Deep Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);TUM School of Engineering and Design(慕尼黑工业大学工程与设计学院);University of California Berkeley(加州大学伯克利分校);Department of Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对电池受限无人机需中途充电的覆盖路径规划问题,提出融合动作掩码、折扣因子调度与位置历史的 PPO 深度强化学习方法,提升长期决策性能并开源框架。
2023-09-07 cs.LG cs.RO
Multi-Agent Off-Policy Deep Reinforcement Learning for Smart Campus Coverage
本文针对现实非凸校园拓扑下的毫米波基站最优部署问题,将其建模为马尔可夫决策过程,通过对比四种深度强化学习方案,发现地理划分多智能体DDPG在密集场景中性能更优、可实现全覆盖且收敛高效。
2026-08-20 cs.LG eess.SP
Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids
本文提出一种深度强化学习框架,用于在不规则海域的六边形网格上解决覆盖路径规划问题,通过Transformer指针策略自回归构造覆盖路径,并采用无评价组相对策略优化方法,实现高效路径规划。
2026-08-11 cs.AI cs.LG cs.NE
Reinforcement Learning-Based Energy-Aware Coverage Path Planning for Precision Agriculture
EECS Department, South Dakota State University(南达科他州立大学电子工程与计算机科学系)
本文提出基于SAC强化学习的能源感知覆盖路径规划方法,通过CNN和LSTM优化覆盖效率与能耗,实验显示其在精准农业中覆盖效率和能耗控制优于传统算法。
2026-01-23 cs.LG cs.RO
Enhancement of High-definition Map Update Service Through Coverage-aware and Reinforcement Learning
本文提出Q学习覆盖时间感知算法,通过优化车载网络服务质量与高精地图更新,在动态车辆场景中显著降低高精地图数据传输时延。
2024-02-08 cs.AI cs.LG cs.NI
On the Complexity of Offline Reinforcement Learning with Q*-Approximation and Partial Coverage
University of Virginia(弗吉尼亚大学)
本文通过信息论下界证明 $Q^\star$ 可实现性与贝尔曼完备性在部分覆盖下不足以实现样本高效的离线强化学习,并提出一个通用决策-估计框架来统一和改进现有结果。
2026-11-20 cs.AI cs.LG stat.ML
Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning
Stanford University(斯坦福大学);Airbus UTM(空客UTM)
随着交通密度的增加,需要新的方法来确保空域保持安全和高效,以适应新的无人驾驶操作。本文探讨了无人驾驶自由飞行交通如何在密集的空域中运行。我们开发和分析了在密集空域中运行的飞机的自主防撞系统,传统的防撞系统失败。我们提出了一个度量的决策负担量化的防撞系统,以及度量的防撞系统对空域的影响。我们使用深度强化学习来计算现有防撞方法的修正,以解决密集空域的问题。结果表明,修正后的防撞系统可以在密集空域中比传统方法更有效地运行,同时保持高水平的安全性。
2019-12-20 cs.AI cs.LG cs.RO
Dynamic Sparse Training for Deep Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能研究院)
深度强化学习(DRL)代理通过与环境的试错交互来训练。这导致密集的神经网络需要很长的训练时间才能达到良好的性能。因此,消耗了禁止的计算和存储器资源。近年来,学习高效的DRL代理受到越来越多的关注。然而,目前的方法集中在加速推理时间。在本文中,我们首次引入了一种用于深度强化学习的动态稀疏训练方法,以加速训练过程。所提出的方法从头开始训练稀疏神经网络,并在训练过程中动态地调整其拓扑结构以适应不断变化的数据分布。对连续控制任务的实验表明,我们的动态稀疏代理比同等的密集方法实现了更高的性能,将参数计数和浮点运算(FLOPs)减少了50%,并且具有更快的学习速度,能够在训练步骤减少40-50%的情况下达到密集代理的性能。
2022-05-05 cs.AI cs.LG
Improved Exploring Starts by Kernel Density Estimation-Based State-Space Coverage Acceleration in Reinforcement Learning
Paderborn University(帕德博恩大学)
强化学习(RL)是当前控制工程领域的一个热门研究课题,具有走向工业和商业应用的潜力。相应的RL控制器在与受控系统的直接交互中进行训练,使其成为数据驱动和面向性能的解决方案。默认情况下,使用探索开始(ES)的最佳实践来支持通过随机选择初始状态的学习过程。然而,如果系统的动态和约束导致状态空间中的不利样本分布(例如,某些状态空间区域中的浓缩样本累积)。为了克服这个问题,提出了一种基于核密度估计的状态空间覆盖加速(DESSCA),它通过在训练期间优先考虑不经常访问的状态以获得更平衡的状态空间覆盖来改进ES概念。与基于计数的探索领域中的相邻方法相比,DESSCA也可以应用于连续状态空间,而不需要对状态进行人工离散化。此外,该算法允许定义任意的参考状态分布,使得状态覆盖可以被成形为w.r.t.应用需要。考虑的测试场景是山地车,cartpole和电动机控制环境。使用DQN和DDPG作为示例性RL算法,可以表明,DESSCA是对所建立的ES方法的简单而有效的算法扩展,其使得能够增加学习稳定性以及最终控制性能。
2021-10-19 cs.LG cs.SY eess.SY
Visual Exploration and Energy-aware Path Planning via Reinforcement Learning
Iowa State University(爱荷华州立大学)
通过自动驾驶汽车进行视觉探索和智能数据收集是各个学科中一个有吸引力的话题。风等干扰会显著影响飞行机器人的功耗和相机的性能。我们提出了一种强化学习方法,该方法结合了功耗和对象检测模块的影响,以制定一项在电池寿命有限的情况下进行大面积对象检测的政策。该学习模型能够基于飞行机器人相对于风场的运动所产生的阻力来动态学习每个动作的负奖励。该算法是在一个接近现实世界的仿真环境中实现的平面运动和飞行在不同的高度。经过训练的代理通常在以高精度检测对象和在其电池寿命内增加区域覆盖之间进行权衡。开发的探索政策优于完全覆盖算法,最小化的旅行路径,同时找到目标对象。在不同的风场下的算法的性能进行了评估,在平面和三维运动。在目标稀疏分布的探测任务中,在无人机的电池寿命内,与中等风场下的覆盖路径规划算法相比,所提出的架构可以检测到两倍以上的目标对象。在高风力强度下,与完全覆盖的算法相比,能量感知算法可以检测到4倍的目标对象。
2021-01-25 cs.AI cs.LG eess.SP
PAC Guarantees for Reinforcement Learning: Sample Complexity, Coverage, and Structure
Independent Researcher(独立研究者)
本文提出CSO框架,用于分析强化学习中PAC保证的样本复杂性、覆盖和结构因素,提供实践工具和开放问题列表。
2026-03-01 cs.LG stat.ML
Integrating Behavior Cloning and Reinforcement Learning for Improved Performance in Dense and Sparse Reward Environments
Texas A&M University(得克萨斯农工大学);US Army Research Laboratory(美国陆军研究实验室);Columbia University(哥伦比亚大学)
本文研究了如何有效地转换和更新政策,最初训练与示范,使用关闭政策的演员-评论强化学习。众所周知,基于示教学习的技术,例如行为克隆,可以在给定有限数据的情况下产生熟练的策略。然而,目前还不清楚如何使用强化学习有效地更新该策略,因为这些方法本质上优化了不同的目标函数。以前的工作使用了损失函数,它将行为克隆损失与强化学习损失相结合,以实现这种更新。然而,这些损失函数的组成部分通常是以轶事的方式设置的,它们各自的贡献并没有得到很好的理解。在这项工作中,我们提出了学习周期(CoL)框架,该框架使用一个演员-评论家架构与损失函数相结合的行为克隆和一步Q学习损失与一个关闭政策的预训练步骤,从人类示范。这使得从行为克隆到强化学习的过渡不会降低性能,并在整体性能和训练时间方面提高了强化学习。此外,我们仔细研究了这些综合损失的构成及其对整体策略学习的影响。我们表明,我们的方法优于国家的最先进的技术相结合的行为克隆和强化学习的密集和稀疏的奖励情况。我们的研究结果还表明,直接包括示范数据的行为克隆损失,有助于确保稳定的学习和地面未来的政策更新。
2020-04-03 cs.AI cs.LG stat.ML
DeepTPI: Test Point Insertion with Deep Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);HiSilicon Technologies Co., Ltd.(海思半导体有限公司)
测试点插入(TPI)是一种广泛使用的可测性增强技术,特别是对于逻辑内建自测试(LBIST),由于其相对较低的故障覆盖率。本文提出了一种基于深度强化学习(DRL)的TPI方法,称为DeepTPI。与以前的基于学习的解决方案不同,将TPI任务制定为监督学习问题,我们训练一种新的DRL代理,实例化为图神经网络(GNN)和深度Q学习网络(DQN)的组合,以最大限度地提高测试覆盖率。具体来说,我们将电路建模为有向图,并设计了一个基于图的值网络来估计插入不同测试点的动作值。DRL代理的策略被定义为选择具有最大值的动作。此外,我们应用预训练模型的一般节点嵌入来增强节点特征,并为价值网络提出了一种专用的可测试性感知注意力机制。在不同规模电路上的实验结果表明,与商业DFT工具相比,DeepTPI显著提高了测试覆盖率。该作品的代码可在https://github.com/cure-lab/DeepTPI上获得。
2022-06-27 cs.AI cs.AR cs.LG
Placement Optimization of Aerial Base Stations with Deep Reinforcement Learning
Xiamen University(厦门大学)
无人驾驶飞行器(UAV)可以用作空中基站(ABS),以协助地面基础设施在各种紧急情况下保持无线连接。在有限的覆盖范围内,通过联合部署多个ABS来最大化N个地面用户的覆盖率是一个NP难问题,其复杂度为N。当覆盖范围由于站点特定的阻塞(例如,建筑物)在三维(3D)空间中的空地通道上。为了解决这一难题,本文采用深度强化学习(Deep Reinforcement Learning,DRL)方法:1)通过覆盖位图表示状态,以捕获GU/ABS的空间相关性,其维数和相关的神经网络复杂度对于任意大的N是不变的;和2)为DRL代理设计动作和奖励,以有效地从与所表示的复杂传播环境的动态交互中学习3D地形图。具体而言,提出了一种新的两级设计方法,包括基于主导视线(LoS)信道模型的初步设计,以及基于站点特定LoS/非LoS信道状态进一步细化ABS位置的高级设计。采用带优先经验回放算法的双深度Q网络(DQN)对多ABS布局决策策略进行训练。仿真结果表明,与DQN算法和K-means算法相比,该算法在复杂环境下的覆盖率有了显著提高.
2020-02-05 cs.AI cs.IT cs.LG
Reinforcement Learning for Classical Planning: Viewing Heuristics as Dense Reward Generators
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
强化学习(RL)的最新进展使得人们对将RL应用于经典规划域或将经典规划方法应用于某些复杂RL域的兴趣越来越大。然而,在经典规划中发现的基于长期目标的问题导致RL的回报稀疏,使得直接应用效率低下。在本文中,我们提出利用领域独立的启发式函数通常用于经典规划文献中,以提高RL的样本效率。这些经典算法充当密集奖励生成器,以缓解稀疏奖励问题,并使我们的RL代理能够学习特定于域的价值函数作为这些算法的残差,使学习更容易。正确应用这种技术需要整合RL中使用的折扣度量和物流中使用的非折扣度量。我们实现的价值函数使用神经逻辑机,一个神经网络架构接地一阶逻辑输入设计。我们在几个经典的规划域上证明,与稀疏奖励RL相比,使用RL的经典算法可以获得良好的样本效率。我们进一步表明,我们学到的价值函数推广到新的问题实例在同一领域。
2022-03-07 cs.AI cs.LG