Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning
Qianyuan Institute of Sciences(乾元科学研究所);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
在视觉强化学习(RL)中,学习能够适应未知环境的可推广策略仍然具有挑战性。现有的方法试图获得一个强大的表示,通过多样化的外观在域观测更好的推广。这些方法受限于对环境的特定观测,忽略了探索不同真实世界图像数据集的可能性。在本文中,我们研究了视觉RL代理将如何从现成的视觉表示中受益。令人惊讶的是,我们发现ImageNet预训练ResNet模型中的早期层可以为视觉RL提供相当普遍的表示。因此,我们提出了用于可推广视觉强化学习(PIE-G)的预训练图像编码器,这是一个简单而有效的框架,可以以zero-shot的方式推广到看不见的视觉场景。在DMControl Generalization Benchmark、DMControl Manipulation Tasks、Drawer World和CARLA上进行了大量实验,验证了PIE-G的有效性。经验证据表明,PIE-G提高了样本效率,并显着优于以前的国家的最先进的方法在泛化性能。特别是,PIE-G在具有挑战性的视频背景设置中平均具有55%的泛化性能增益。项目页面:https://sites.google.com/view/pie-g/home。
2022-12-17 cs.LG
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略,提高传统强化学习的样本效率。然而,很少的努力是投入到连续域,其中一个状态是从来没有访问过两次,和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题,我们提出了可概括的情景记忆(GEM),它有效地组织状态动作值的情景记忆在一个概括的方式,并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明,我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性,我们评估了Atari游戏与离散动作空间,这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
Deep Reinforcement Learning for L3 Slice Localization in Sarcopenia Assessment
CentraleSupélec, Paris-Saclay University(中央高等电力学院、巴黎萨克雷大学);Hôpital Cochin AP-HP(科钦医院 Assistance Publique – Hôpitaux de Paris);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);Centre National de Recherche Scientifique(法国国家科学研究中心);Therapanacea(Therapanacea公司)
肌肉减少症是以肌肉质量和功能减少为特征的医学病症。定量诊断技术包括定位穿过第三腰椎区域(L3)中部的CT切片并在该水平分割肌肉。在本文中,我们提出了一种深度强化学习方法,用于精确定位L3 CT切片。我们的方法通过激励它发现正确的位置来训练强化学习代理。具体来说,训练一个深度Q网络来找到解决这个问题的最佳策略。可视化的训练过程表明,代理模仿有经验的放射科医生的滚动。针对其他最先进的基于深度学习的L3本地化方法的广泛实验证明了我们的技术的优越性,即使在有限的数据和注释量下也表现良好。
2021-08-13 cs.CV cs.LG
Multivariate Distributional Reinforcement Learning Using Sliced Divergences
Department of Electrical Engineering (ESAT), KU Leuven, Leuven, Belgium(电子工程系(ESAT),比利时鲁文大学,鲁文,比利时)
提出SDRL方法,通过投影将一维散度扩展到多变量回报分布,并证明在标量折扣和一般矩阵折扣下的贝尔曼收缩性,支持多种散度并适用于标准单样本贝尔曼更新。
2026-11-18 cs.LG
OnSlicing: Online End-to-End Network Slicing with Reinforcement Learning
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Nokia Bell Labs(诺基亚贝尔实验室);New Jersey Institute of Technology(新泽西理工学院)
网络切片允许移动网络运营商虚拟化基础设施并提供定制切片,以支持具有异构需求的各种用例。在线深度强化学习(DRL)在解决网络问题和消除模拟与现实的差异方面显示出很大的潜力。然而,使用在线DRL优化跨域资源是具有挑战性的,因为DRL的随机探索违反了切片的服务水平协议(SLA)和基础设施的资源约束。在本文中,我们提出了OnSlicing,一个在线的端到端的网络切片系统,以实现最小的资源使用,同时满足切片的SLA。OnSlicing允许对每个切片进行个性化学习,并通过使用一种新的约束感知策略更新方法和主动基线切换机制来维护其SLA。OnSlicing通过使用切片中的动作修改和基础设施中的参数协调的独特设计来遵守基础设施的资源约束。OnSlicing通过离线模仿基于规则的解决方案,进一步缓解了早期学习阶段在线学习的不良性能。此外,我们设计了四个新的域管理器,使动态资源配置在无线接入,传输,核心和边缘网络,分别在亚秒的时间尺度。我们在基于OpenAirInterface设计的端到端切片测试平台上实现了OnSlicing,该测试平台具有4G LTE和5G NR,OpenDayLight SDN平台和OpenAir-CN核心网络。实验结果表明,OnSlicing实现了61.3%的使用减少相比,基于规则的解决方案,并保持在整个在线学习阶段几乎为零违规(0.06%)。随着在线学习的融合,与最先进的在线…
2021-11-02 cs.LG cs.NI
Towards an Adaptable and Generalizable Optimization Engine in Decision and Control: A Meta Reinforcement Learning Approach
Mississippi State University(密西西比州立大学);Purdue University(普渡大学)
针对非平稳环境中 MPC 控制器更新对适应性和泛化能力的需求,提出基于元强化学习学习优化器,无需专家示范即可在未见任务中实现快速适应。
2024-01-04 cs.LG
Learning Generalizable Representations for Reinforcement Learning via Adaptive Meta-learner of Behavioral Similarities
Nanyang Technological University(南洋理工大学)
如何从高层视觉观察中学习有效的基于强化学习的控制任务模型是一个实用且具有挑战性的问题。解决这个问题的关键是从观测中学习低维状态表示,从中可以学习有效的策略。为了促进状态编码的学习,最近的工作集中在捕获状态表示之间的行为相似性或对视觉观察应用数据增强。在本文中,我们提出了一种新的基于元学习者的框架表示学习行为相似性的强化学习。具体来说,我们的框架编码的高维观测到两个分解的嵌入在马尔可夫决策过程(MDP)的奖励和动态。一对元学习器的开发,其中一个量化的奖励相似性和其他量化的动态相似性在相应的分解嵌入。元学习器通过对策略互模拟度量中两个不相交项的近似来自学习更新状态嵌入。为了将奖励和动力学条款,我们进一步开发了一种策略,以适应性地平衡他们的影响,根据不同的任务或环境。我们的经验表明,我们提出的框架优于国家的最先进的基线上的几个基准,包括传统的DM控制套件,分散DM控制套件和自动驾驶任务CARLA。
2022-12-26 cs.LG
MetaDrive: Composing Diverse Driving Scenarios for Generalizable Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong(香港中文大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Centre for Perceptual and Interactive Intelligence(感知与交互智能研究中心)
安全驾驶需要人类和智能代理的多种能力,例如对未知环境的泛化能力,周围交通的安全意识以及复杂多代理设置中的决策。尽管强化学习(RL)取得了巨大的成功,但由于缺乏集成的环境,大多数RL研究工作都是单独研究每个能力。在这项工作中,我们开发了一个名为MetaDrive的新驾驶模拟平台,以支持机器自主性的可推广的强化学习算法的研究。MetaDrive是高度组合的,它可以从过程生成和真实数据导入中生成无限数量的不同驾驶场景。基于MetaDrive,我们在单代理和多代理设置中构建了各种RL任务和基线,包括对未知场景的可推广性进行基准测试,安全探索和学习多代理流量。在程序生成的场景和真实场景上进行的泛化实验表明,增加训练集的多样性和大小导致RL代理的泛化能力的提高。我们进一步评估MetaDrive环境中的各种安全强化学习和多智能体强化学习算法,并提供基准测试。源代码、文档和演示视频可从\url{ https://metadriverse.github.io/metadrive}获得。
2022-07-16 cs.LG cs.RO
PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France(里尔一大学,LIRIS,法国CNRS 5205)
提出一种新的 PAC-Bayesian 泛化界,通过链的混合时间显式考虑数据中的马尔可夫依赖性,并基于此设计 PB-SAC 算法以优化该界指导探索,在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出 ArrayBot 触觉柱阵列系统,通过重塑空间局部与频域低频动作空间训练强化学习策略,实现仅靠触觉的可泛化物体操控,并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO
Generalizable Trajectory Prediction via Inverse Reinforcement Learning with Mamba-Graph Architecture
Department of Mathematics, The University of Hong Kong (HKU)(香港大学数学系);Department of Data and Systems Engineering, HKU(香港大学数据与系统工程系);Musketeers Foundation Institute of Data Science, HKU(穆斯quettes基金会数据科学研究所)
本文提出基于Mamba-图架构的逆强化学习方法,通过推断奖励函数提升轨迹预测的跨场景泛化能力,实验表明其在复杂交通场景中的预测精度和适应性优于现有方法。
2026-02-05 cs.AI cs.LG
Reward-Consistent Dynamics Models are Strongly Generalizable for Offline Reinforcement Learning
Nanjing University(南京大学)
针对离线强化学习中动力学模型泛化性差的问题,提出奖励一致动力学模型构想及MOREC方法,通过学习动力学奖励筛选转移样本,在D4RL和NeoRL基准上显著提升性能,首次在多类任务中达到在线RL性能95%以上。
2023-10-09 cs.LG
Reinforcement Learning with Generalizable Gaussian Splatting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhejiang University(浙江大学);Beijing Innovation Center of Humanoid Robotics Co., Ltd.(北京人形机器人创新中心有限公司)
本文提出GSRL框架,首次以可泛化3D Gaussian Splatting作为强化学习的显式可微场景表示,并在RoboMimic多任务中显著优于基线。
2024-08-06 cs.AI cs.CV cs.LG
Open RAN LSTM Traffic Prediction and Slice Management using Deep Reinforcement Learning
Clemson University(克莱姆森大学)
本文针对5G及未来网络中动态环境下的网络切片管理挑战,提出一种结合分布式深度强化学习xApp与LSTM预测rApp的ORAN切片管理方法,通过联合利用DU异构经验和预测信息显著减少QoS违规。
2024-01-12 cs.AI cs.LG cs.NI
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel(城堡投资);New Jersey Institute of Technology(新泽西理工学院);IBM Research(IBM研究院)
本文研究了流处理中的资源分配问题,在大型分布式系统中,连续的数据流必须得到实时的处理。为了最大化系统吞吐量,将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的,但实际的流媒体系统的关键,许多基于启发式的算法已经开发,以找到合理的好的解决方案。在本文中,我们提出了一个图形感知的编码器-解码器框架,学习一个通用的资源分配策略,可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练,我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明,该模型优于METIS,一个国家的最先进的图分割算法,和基于LSTM的编码器-解码器模型,在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego(加州大学圣地亚哥分校);HKUST(香港科技大学)
我们提出了一个模拟到真实的灵巧操作框架,可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化:(i)使用想象的手部点云作为增强输入;(ii)设计新颖的基于接触的奖励。我们经验性地评估我们的方法,使用快板手抓住新的对象在模拟和现实世界中。据我们所知,这是第一个基于策略学习的框架,可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
When Is Generalizable Reinforcement Learning Tractable?
Carnegie Mellon University(卡内基梅隆大学)
通过强化学习(RL)训练的智能体通常无法泛化到它们所训练的环境之外,即使在出现与训练环境相似的新场景时也是如此。我们研究了查询复杂性所需的训练RL代理,推广到多个环境。只有当环境在某种意义上相似或接近时,才有可能进行直观、易处理的概括。为了抓住这一点,我们引入了弱邻近,这是一种自然的结构条件,要求环境具有高度相似的过渡和奖励函数,并共享一个提供最佳价值的策略。尽管这样的共享结构,我们证明,听话的推广是不可能的最坏的情况下。即使当每个单独的环境可以有效地解决,以获得最佳的线性政策,当代理拥有一个生成模型,这仍然成立。我们的下限适用于更复杂的任务,表示学习的目的是有效的推广到多个环境。在积极的一面,我们引入强邻近,加强条件,我们证明是足够的有效推广。
2021-10-25 cs.AI cs.LG stat.ML
VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents
National Key Laboratory for Novel Software Technology, Nanjing University, China \& School of Artificial Intelligence, Nanjing University, China;Computational Intelligence Center (CIC), School of Computer;Artificial Intelligence, Shandong Jianzhu University, Jinan, 250101, China
本文提出VLGOR框架,结合视觉和语言知识生成虚拟轨迹,提升智能体在未见任务中的泛化能力,实验显示其性能比基线方法高24%以上。
2026-03-24 cs.LG
DRL-based Slice Placement Under Non-Stationary Conditions
Orange Labs(Orange实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
我们考虑在线学习的最佳网络切片放置的假设下,切片请求到达根据非平稳泊松过程。我们提出了一个基于深度强化学习(DRL)的框架,结合启发式算法设计。我们专门设计了两个纯DRL算法和两个家庭的混合DRL启发式算法。为了验证它们的性能,我们在大规模运营商基础设施的背景下进行了大量的模拟。评价结果表明,所提出的混合DRL启发式算法需要三个数量级的学习情节比纯DRL实现收敛。这一结果表明,所提出的混合DRL启发式方法是更可靠的比纯DRL在一个真正的非平稳网络场景。
2021-08-05 cs.LG cs.NI
Reinforcement Learning for Dynamic Resource Optimization in 5G Radio Access Network Slicing
Virginia Tech(弗吉尼亚理工大学);Intelligent Automation, Inc.(智能自动化公司)
本文提出了一种用于5G无线电接入网络切片的动态资源分配的强化学习解决方案。可用的通信资源(频率-时间块和发射功率)和计算资源(处理器使用)被分配给随机到达的网络切片请求。每个请求都有优先级(权重)、吞吐量、计算资源和延迟(最后期限)要求,如果可行,则在其请求的持续时间内分配可用的通信和计算资源。由于资源分配的每个决策使得一些资源暂时不可用于将来,因此仅可以优化当前资源分配的短视解决方案对于网络切片变得无效。因此,提出了一种Q-学习解决方案,以最大限度地提高网络效用,即在通信和计算约束的情况下,在一个时间范围内授予网络切片请求的总权重。结果表明,相对于短视、随机和先到先得的解决方案,强化学习在5G网络效用方面提供了重大改进。虽然强化学习随着服务用户数量的增加而保持可扩展的性能,但当5G需要与可能动态占用一些频率-时间块的现任用户共享频谱时,它也可以有效地用于向网络切片分配资源。
2020-09-14 cs.LG cs.NI
RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning
Nanyang Technological University(南洋理工大学);Sea AI Lab(Sea人工智能实验室)
尽管最近在多智能体强化学习(MARL)方面取得了进展,但MARL智能体很容易过拟合训练环境,并且在其他智能体行为不同的评估场景中表现不佳。因此,获得MARL代理的可推广的政策是必要的,但主要是由于复杂的多代理交互的挑战。在这项工作中,我们用马尔可夫博弈模型的问题,并提出了一个简单而有效的方法,排名策略记忆(RPM),收集不同的多智能体轨迹训练MARL政策具有良好的泛化能力。RPM的主要思想是维护策略的查找存储器。特别是,我们试图通过对训练集回报进行排名来保存策略,从而获得各种级别的行为,即,训练环境中代理的事件返回;当事件开始时,学习代理可以从RPM中选择一个策略作为行为策略。这种创新的自我发挥训练框架利用代理的过去的政策,并保证了训练数据中的多代理交互的多样性。我们在MARL算法的基础上实现RPM,并在Melting Pot上进行了大量的实验。事实证明,RPM使MARL代理能够在多代理泛化评估场景中与看不见的代理进行交互并完成给定的任务,并且它可以显着提高性能,平均可达402%。
2022-10-18 cs.AI cs.LG cs.MA
Generalizable Visual Reinforcement Learning with Segment Anything Model
Tsinghua University, IIIS(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);Tongji University(同济大学);Shanghai AI Lab(上海人工智能实验室)
提出SAM-G框架,利用SAM的可提示分割能力增强视觉RL智能体的泛化性能,在DMControl和Adroit任务上分别取得44%和29%的相对提升。
2023-12-28 cs.CV cs.LG cs.RO
Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for Autonomous Driving
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
强化学习(RL)已被证明可以在各种任务中达到超人水平的性能。然而,与有监督的机器学习不同,能够很好地推广到各种情况的学习策略仍然是现实世界RL最具挑战性的问题之一。自动驾驶(AD)提供了一个多方面的实验场,因为有必要在道路布局的许多变化和可能的交通情况的大分布中学习正确的行为,包括个体驾驶员个性和难以预测的交通事件。在本文中,我们提出了一个具有挑战性的基准测试的可推广的RL AD的基础上可配置的,灵活的,高性能的代码库。我们的基准测试使用了一系列随机场景生成器,包括道路布局和交通变化的多种机制,不同的数值和视觉观察类型,不同的动作空间,不同的车辆模型,并允许在静态场景定义下使用。除了纯粹的算法见解外,我们面向应用的基准测试还可以更好地理解设计决策(如动作和观察空间)对策略可推广性的影响。我们的基准测试旨在鼓励研究人员提出能够成功概括各种场景的解决方案,这是当前RL方法失败的任务。基准测试的代码可以在https://github.com/seawee1/driver-dojo上找到。
2022-07-23 cs.AI cs.LG cs.SY
Small LLMs Do Not Learn a Generalizable Theory of Mind via Reinforcement Learning
NYU Abu Dhabi(纽约大学阿布扎比分校)
本文系统评估了小规模大语言模型通过带可验证奖励的强化学习习得可泛化心智理论的能力,发现其仅在分布内任务上提升,无法迁移到未见任务,且长时间训练会导致统计模式利用和过拟合,而非获得真正的心智理论。
2025-07-21 cs.AI cs.CL cs.LG
Evolutionary Deep Reinforcement Learning for Dynamic Slice Management in O-RAN
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Clemson University(克莱姆森大学)
下一代无线网络需要同时满足多种业务和标准。为了满足即将到来的严格标准,开发了一种新的开放式无线电接入网络(O-RAN),该网络具有灵活的设计,分散的虚拟和可编程组件以及智能闭环控制等独特功能。O-RAN切片正在被研究为在面对不断变化的环境时确保网络服务质量(QoS)的关键策略。然而,必须动态地控制不同的网络切片,以避免由环境中的快速变化引起的服务水平协议(SLA)变化。因此,本文介绍了一种新的框架,能够管理网络切片,通过配置的资源智能。由于不同的异构环境,智能机器学习方法需要充分的探索来处理无线网络中最恶劣的情况并加速融合。为了解决这个问题,提出了一种基于进化的深度强化学习(EDRL)的新解决方案,以加速和优化无线接入网(RAN)智能控制器(RIC)模块中的切片管理学习过程。为此,O-RAN切片被表示为马尔可夫决策过程(MDP),然后使用EDRL方法最优地求解该MDP以进行资源分配以满足服务需求。仿真结果表明,在满足服务需求方面,所提出的方法比日间行车线基线高出62.2%。
2022-09-30 cs.AI cs.IT cs.LG
Automated Cyber Defense with Generalizable Graph-based Reinforcement Learning Agents
Cybermonic LLC(Cybermonic公司);The George Washington University(乔治华盛顿大学)
本文将自动化网络防御建模为基于属性图的部分可观测马尔可夫决策问题,利用关系归纳偏置使强化学习智能体具备零样本泛化能力,在复杂多智能体环境中显著超越现有方法。
2025-09-19 cs.CR cs.LG
BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning
CMU(卡内基梅隆大学);Caltech(加州理工学院);MIT(麻省理工学院);UChicago(芝加哥大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文针对离线MBRL中由潜在混杂因素导致的模型与策略目标不匹配问题,提出BECAUSE算法,通过为状态和动作捕获双线性因果表示以减少分布偏移影响,在18项任务中展现出更优的泛化性、鲁棒性及理论误差界限。
2025-03-03 cs.AI cs.LG
Deep Reinforcement Learning for Resource Management in Network Slicing
Zhejiang University(浙江大学);China Mobile Research Institute(中国移动研究院);Beihang University(北京航空航天大学);VTT Technical Research Centre of Finland(芬兰VTT技术研究中心)
网络切片是运营商的一项新兴业务,允许他们以不同的价格向不同的租户出售定制的切片。为了提供更好的性能和成本效益的服务,网络切片涉及具有挑战性的技术问题,并迫切期待智能创新,使资源管理与每个切片的用户活动一致。在这方面,深度强化学习(DRL),其重点是如何通过尝试替代行动和加强产生更有益的结果的趋势行动与环境互动,被认为是一个有前途的解决方案。本文在简要回顾DRL的基本概念后,研究了DRL在解决无线资源切片和基于优先级的核心网切片等典型网络切片资源管理问题中的应用,并通过大量仿真验证了DRL相对于其他竞争方案的优势。最后,我们还讨论了可能的挑战,应用DRL在网络切片从一般的角度来看。
2018-11-21 cs.LG cs.NI
Attention-based Open RAN Slice Management using Deep Reinforcement Learning
Clemson University(克莱姆森大学);Air Force Research Laboratory(美国空军研究实验室)
针对O-RAN等新兴网络动态环境下切片管理难保障QoS的问题,提出带价值注意力网络的分布式ADRL方法,借助O-RAN解耦模块与智能体协作提升泛化性,仿真显示性能优于现有DRL基准。
2023-06-15 cs.DC cs.LG cs.NI
GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学)
针对安全强化学习早期数据不足导致约束近似难的问题,提出基于降阶马尔可夫决策过程的GenSafe安全增强层,可在保证任务性能的同时提升学习早期安全性,且兼容多种SRL算法。
2025-01-14 cs.AI cs.LG cs.RO
BC-IRL: Learning Generalizable Reward Functions from Demonstrations
Meta AI;Georgia Tech(佐治亚理工学院)
用逆强化学习(IRL)学习的奖励函数推广效果如何?我们说明,国家的最先进的IRL算法,最大限度地提高了最大熵的目标,学习奖励过拟合的示威。这种奖励很难为示威活动未覆盖的国家提供有意义的奖励,这在利用奖励学习新形势下的政策时是一个重大损害。我们引入了BC-IRL,这是一种新的逆强化学习方法,与最大熵IRL方法相比,该方法可以学习更好地推广的奖励函数。与MaxEnt框架相反,它学习最大化演示的奖励,BC-IRL更新奖励参数,以便使用新奖励训练的策略更好地匹配专家演示。我们表明,BC-IRL学习奖励,更好地概括一个说明性的简单任务和两个连续的机器人控制任务,在具有挑战性的概括设置中实现了基线的成功率的两倍以上。
2023-03-28 cs.LG
Building2Building: A Large Scale Benchmark for Generalizable Real-World Reinforcement Learning
介绍用于可泛化现实世界强化学习的Building2Building基准测试,它基于EnergyPlus构建,有多样建筑配置,定义针对RL关键挑战的基准任务,能系统研究泛化与转移,推进RL研究并对HVAC控制有社会意义。
2026-07-21 cs.AI cs.LG
Towards Generalizable Reinforcement Learning via Causality-Guided Self-Adaptive Representations
Shanghai Jiao Tong University(上海交通大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出因果引导的自适应表示方法CSR,通过因果表示学习揭示变量结构关系,使智能体能自主判断并定位环境变化,仅需少量样本即可高效适应新任务并优于现有基线。
2025-03-06 cs.LG
Towards More Efficient, Robust, Instance-adaptive, and Generalizable Sequential Decision making
The Chinese University of Hong Kong(香港中文大学)
本研究面向不确定性下的数据驱动序列决策,针对模型误设、对抗扰动、实例依赖性能及新环境泛化等挑战,发展高效、鲁棒、实例自适应且可泛化的RL与多臂老虎机算法。
2026-10-01 cs.LG
Mind the Gap: Towards Generalizable Autonomous Penetration Testing via Domain Randomization and Meta-Reinforcement Learning
College of Electronic Engineering, National University of Defense Technology(国防科技大学电子工程学院);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
针对基于强化学习的自主渗透测试存在的训练环境困境和泛化能力差问题,提出GAP框架,通过Real-to-Sim-to-Real流水线、大语言模型驱动的域随机化及元强化学习,实现现实环境高效训练与跨场景泛化。
2025-02-11 cs.CR cs.LG
Reinforcement Learning Driven Generalizable Feature Representation for Cross-User Activity Recognition
Department of Electrical, Computer, and Software Engineering, The University of Auckland(电气、计算机与软件工程系,奥克兰大学)
针对跨用户人类活动识别泛化差的问题,提出强化学习驱动的TPRL-DG框架,通过自回归令牌化提取用户不变时间特征,无需目标用户标注,在两个数据集上准确率超越现有最优方法。
2025-08-31 cs.AI cs.HC cs.LG
SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning
RWTH Aachen University(亚琛工业大学)
本文提出SigmaRL框架,通过五种信息密集观测设计策略提升多智能体强化学习在运动规划中的样本效率与泛化能力,实现单CPU一小时内训练并在新交叉口、匝道和环岛场景中零样本泛化。
2025-04-10 cs.LG cs.MA cs.RO
GOPT: Generalizable Online 3D Bin Packing via Transformer-based Deep Reinforcement Learning
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology(华中科技大学机械科学与工程学院智能制造装备与技术国家重点实验室);BOSCH Corporate Research, China(博世中国研究中心);State Key Laboratory of High-end Heavy-load Robots, Midea Group(美的集团高端重载机器人国家重点实验室);Midea Corporate Research Center(美的集团企业研究中心)
针对在线3D装箱问题泛化性不足,提出基于Transformer深度强化学习的GOPT方法,通过Placement Generator和Packing Transformer融合特征,实现对不同尺寸箱子的泛化推理,并在实验和真实机器人部署中验证了优越性能。
2024-09-12 cs.AI cs.LG cs.RO
Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL
Department of Computer Science and Engineering, Sungkyunkwan University(成均馆大学计算机科学与工程系)
提出GenDa框架,通过技能重标定缓解非平稳性,并引入互补信息瓶颈增强泛化性,实现数据高效且鲁棒的无监督强化学习预训练。
2026-07-02 cs.AI cs.LG
Towards Generalizable Reinforcement Learning for Trade Execution
Microsoft Research(微软研究院);IIIS, Tsinghua University(清华大学智能产业研究院)
针对交易执行场景下现有强化学习方法过拟合严重的问题,本文将任务建模为带动态上下文的离线强化学习框架,推导泛化界并提出上下文紧凑表示学习方法,经高保真模拟器验证可有效缓解过拟合、提升性能。
2023-05-12 cs.LG q-fin.TR stat.ML
Topology-Aware and Highly Generalizable Deep Reinforcement Learning for Efficient Retrieval in Multi-Deep Storage Systems
针对多深位存储系统检索中的巷道堵塞问题,提出结合图神经网络与Transformer的深度强化学习框架,以最小化总延迟,并具备跨布局泛化能力。
2025-09-15 cs.AI cs.LG
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中,通过将离线监督纳入强化学习,结合离线与在线训练优点,提升训练效率。经实验验证,该混合方法在保持强大分布外能力的同时,所需训练预算减半,实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
On the Implementation of a Reinforcement Learning-based Capacity Sharing Algorithm in O-RAN
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
无线电接入网络(RAN)切片中的容量共享问题涉及在各个RAN切片之间分配每个RAN节点中可用的容量,以满足它们的业务需求并有效地使用无线电资源。虽然在文献中已经提出了几种容量共享算法解决方案,但它们的实际实现仍然是一个空白。在本文中,一个基于强化学习的能力共享算法的O-RAN架构的实现进行了讨论,提供见解的操作所涉及的接口和容器化的解决方案。此外,实施验证解决方案的测试床的描述,并提出了一些性能和验证结果。
2022-07-21 cs.LG cs.NI
Digital Twin-Enhanced Deep Reinforcement Learning for Resource Management in Networks Slicing
本文提出数字孪生与深度强化学习结合的框架,通过历史数据构建并校准虚拟环境,在虚拟预验证环境中优化网络切片资源管理策略,显著提升性能并支持离线强化学习。
2023-11-28 cs.LG cs.NI
Where and What to Reward? Understanding Generalization Between Verifiable and Open-Ended Domains in Reinforcement Learning
University of California, Riverside(加州大学河滨分校)
GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力,探索其对话能力是否能迁移至数学推理和代码生成等下游任务,展示出高效且低成本的训练方法。
2026-10-27 cs.AI cs.CL cs.LG
SKooP: Symmetric Koopman Predictions for Faster and More Generalizable Legged Robot Locomotion with Reinforcement Learning
Italian Institute of Technology (IIT)(意大利理工学院);University of Manchester(曼彻斯特大学);Dynamic Legged Systems Laboratory, IIT(意大利理工学院动态腿式系统实验室);Generative Bionics S.R.L(生成仿生学有限公司);DAUIN, Politecnico di Torino(都灵理工大学DAUIN);Rehab Technologies Lab, IIT(意大利理工学院康复技术实验室);Newcastle University(纽卡斯尔大学)
研究针对强化学习样本效率低问题展开,提出SKooP方法,结合形态对称与库普曼模型优势,在学习策略时学习系统动力学模型,将其预测用于评论家,还纳入群对称,验证了该方法能减少收敛时间并增加学习奖励,且策略可转移。
2026-07-17 cs.LG cs.RO
Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
针对切片网络准入控制中DRL模型初始不稳定、收敛慢的问题,提出数字孪生辅助的DRL方案,通过DT预训练辅助加速DRL收敛,相比现有对决深度Q学习模型资源利用率提升超40%,同时保留长期奖励优化能力。
2023-11-21 cs.LG cs.SY eess.SP
Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
College of William and Mary(威廉玛丽学院);Tribhuvan University(特里布文大学)
针对现有上下文内知识编辑方法难以平衡可靠、泛化、特定目标的问题,提出多目标强化学习算法MO-IKE,在Llama-3.2上多项指标较以往方法显著提升。
2026-11-10 cs.AI cs.LG
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达)
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而,机器人技能的设计在现实世界的应用中往往是棘手的,因为它需要大量的努力和专业知识。在这项工作中,我们介绍了技能学习在多样化的环境(SLIDE),一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反,我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现,我们的方法训练每个技能专门用于配对任务,并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集,联合训练估计的多样性目标的证据下界。然后,可以将学习到的技能组合在分层强化学习算法中,以解决看不见的目标任务。我们证明,该方法可以有效地学习各种机器人的技能,在两个桌面操作域。我们的研究结果表明,与现有的强化学习和技能学习方法相比,学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning
Nokia Bell Labs(诺基亚贝尔实验室);University of Nebraska Lincoln(内布拉斯加大学林肯分校);Technical University of Munich(慕尼黑工业大学)
针对网络切片中DRL策略部署受异构小区条件影响的问题,提出基于迁移学习辅助的多智能体深度强化学习方法,通过智能体间相似性分析实现资源划分,并集成迁移学习加速策略部署,实验表明性能、收敛速度和样本效率优于现有方法,且额外增益超过27%。
2023-06-23 cs.LG cs.MA cs.NI
Prioritizing Latency with Profit: A DRL-Based Admission Control for 5G Network Slices
针对现有DRL框架忽略服务延迟导致QoS违规的问题,提出延迟与利润感知的准入控制方案DePSAC,通过延迟感知奖励函数和Boltzmann探索优化5G网络切片的QoS与利润权衡。
2025-10-09 cs.LG cs.NI cs.PF
INViT: A Generalizable Routing Problem Solver with Invariant Nested View Transformer
Joint Institute of Michigan, Shanghai Jiao Tong University(上海交通大学密歇根联合研究院);Duke Kunshan University(昆山杜克大学)
针对路由问题求解器泛化能力不足的问题,本文提出INViT架构,通过编码器内的嵌套设计与不变视图增强泛化,并采用改进策略梯度算法,在TSP和CVRP上取得领先的跨分布与跨规模性能。
2024-05-26 cs.LG
Divide-and-Conquer Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);University of Washington Seattle(华盛顿大学西雅图分校)
标准的无模型深度强化学习(RL)算法为每次试验采样一个新的初始状态,使它们能够优化即使在高度随机的环境中也能表现良好的策略。然而,表现出相当大的初始状态变化的问题通常会产生高方差梯度估计的无模型RL,使直接的政策或价值函数优化的挑战。在本文中,我们开发了一种新的算法,而不是分区的初始状态空间成“片”,并优化了合奏的政策,每个不同的切片。该集合逐渐统一为可以在整个状态空间上成功的单个策略。这种方法,我们称之为分治RL,能够解决传统深度RL方法无效的复杂任务。我们的研究结果表明,分治RL大大优于传统的策略梯度方法具有挑战性的抓取,操作和运动任务,并超过了各种先前的方法的性能。通过我们的算法学习的策略的视频可以在http://bit.ly/dnc-rl上查看
2018-04-27 cs.LG cs.RO
Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration
University of Bonn(波恩大学)
提出一种基于非刚性抓取位姿配准的强化学习方法,通过单次演示和多指机械手抓取配置泛化引导策略搜索,使机器人能解决复杂工具使用任务并泛化到未见工具。
2023-08-01 cs.LG cs.RO