PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France(里尔一大学,LIRIS,法国CNRS 5205)
提出一种新的 PAC-Bayesian 泛化界,通过链的混合时间显式考虑数据中的马尔可夫依赖性,并基于此设计 PB-SAC 算法以优化该界指导探索,在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling
该研究针对模型预测任务采样中风险近似的两种失效模式,将风险预测转化为上下文序列建模问题,开发了结合一步前瞻机制与时间加权滑动窗口的风险预测模型,在三类任务中实现了性能提升。
2026-10-14 cs.AI cs.LG
Reinforcement Learning with Generalizable Gaussian Splatting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhejiang University(浙江大学);Beijing Innovation Center of Humanoid Robotics Co., Ltd.(北京人形机器人创新中心有限公司)
本文提出GSRL框架,首次以可泛化3D Gaussian Splatting作为强化学习的显式可微场景表示,并在RoboMimic多任务中显著优于基线。
2024-08-06 cs.AI cs.CV cs.LG
When Is Generalizable Reinforcement Learning Tractable?
Carnegie Mellon University(卡内基梅隆大学)
通过强化学习(RL)训练的智能体通常无法泛化到它们所训练的环境之外,即使在出现与训练环境相似的新场景时也是如此。我们研究了查询复杂性所需的训练RL代理,推广到多个环境。只有当环境在某种意义上相似或接近时,才有可能进行直观、易处理的概括。为了抓住这一点,我们引入了弱邻近,这是一种自然的结构条件,要求环境具有高度相似的过渡和奖励函数,并共享一个提供最佳价值的策略。尽管这样的共享结构,我们证明,听话的推广是不可能的最坏的情况下。即使当每个单独的环境可以有效地解决,以获得最佳的线性政策,当代理拥有一个生成模型,这仍然成立。我们的下限适用于更复杂的任务,表示学习的目的是有效的推广到多个环境。在积极的一面,我们引入强邻近,加强条件,我们证明是足够的有效推广。
2021-10-25 cs.AI cs.LG stat.ML
BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning
CMU(卡内基梅隆大学);Caltech(加州理工学院);MIT(麻省理工学院);UChicago(芝加哥大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文针对离线MBRL中由潜在混杂因素导致的模型与策略目标不匹配问题,提出BECAUSE算法,通过为状态和动作捕获双线性因果表示以减少分布偏移影响,在18项任务中展现出更优的泛化性、鲁棒性及理论误差界限。
2025-03-03 cs.AI cs.LG
Small LLMs Do Not Learn a Generalizable Theory of Mind via Reinforcement Learning
NYU Abu Dhabi(纽约大学阿布扎比分校)
本文系统评估了小规模大语言模型通过带可验证奖励的强化学习习得可泛化心智理论的能力,发现其仅在分布内任务上提升,无法迁移到未见任务,且长时间训练会导致统计模式利用和过拟合,而非获得真正的心智理论。
2025-07-21 cs.AI cs.CL cs.LG
Building2Building: A Large Scale Benchmark for Generalizable Real-World Reinforcement Learning
介绍用于可泛化现实世界强化学习的Building2Building基准测试,它基于EnergyPlus构建,有多样建筑配置,定义针对RL关键挑战的基准任务,能系统研究泛化与转移,推进RL研究并对HVAC控制有社会意义。
2026-07-21 cs.AI cs.LG
Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for Autonomous Driving
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
强化学习(RL)已被证明可以在各种任务中达到超人水平的性能。然而,与有监督的机器学习不同,能够很好地推广到各种情况的学习策略仍然是现实世界RL最具挑战性的问题之一。自动驾驶(AD)提供了一个多方面的实验场,因为有必要在道路布局的许多变化和可能的交通情况的大分布中学习正确的行为,包括个体驾驶员个性和难以预测的交通事件。在本文中,我们提出了一个具有挑战性的基准测试的可推广的RL AD的基础上可配置的,灵活的,高性能的代码库。我们的基准测试使用了一系列随机场景生成器,包括道路布局和交通变化的多种机制,不同的数值和视觉观察类型,不同的动作空间,不同的车辆模型,并允许在静态场景定义下使用。除了纯粹的算法见解外,我们面向应用的基准测试还可以更好地理解设计决策(如动作和观察空间)对策略可推广性的影响。我们的基准测试旨在鼓励研究人员提出能够成功概括各种场景的解决方案,这是当前RL方法失败的任务。基准测试的代码可以在https://github.com/seawee1/driver-dojo上找到。
2022-07-23 cs.AI cs.LG cs.SY
Towards an Adaptable and Generalizable Optimization Engine in Decision and Control: A Meta Reinforcement Learning Approach
Mississippi State University(密西西比州立大学);Purdue University(普渡大学)
针对非平稳环境中 MPC 控制器更新对适应性和泛化能力的需求,提出基于元强化学习学习优化器,无需专家示范即可在未见任务中实现快速适应。
2024-01-04 cs.LG
MetaDrive: Composing Diverse Driving Scenarios for Generalizable Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong(香港中文大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Centre for Perceptual and Interactive Intelligence(感知与交互智能研究中心)
安全驾驶需要人类和智能代理的多种能力,例如对未知环境的泛化能力,周围交通的安全意识以及复杂多代理设置中的决策。尽管强化学习(RL)取得了巨大的成功,但由于缺乏集成的环境,大多数RL研究工作都是单独研究每个能力。在这项工作中,我们开发了一个名为MetaDrive的新驾驶模拟平台,以支持机器自主性的可推广的强化学习算法的研究。MetaDrive是高度组合的,它可以从过程生成和真实数据导入中生成无限数量的不同驾驶场景。基于MetaDrive,我们在单代理和多代理设置中构建了各种RL任务和基线,包括对未知场景的可推广性进行基准测试,安全探索和学习多代理流量。在程序生成的场景和真实场景上进行的泛化实验表明,增加训练集的多样性和大小导致RL代理的泛化能力的提高。我们进一步评估MetaDrive环境中的各种安全强化学习和多智能体强化学习算法,并提供基准测试。源代码、文档和演示视频可从\url{ https://metadriverse.github.io/metadrive}获得。
2022-07-16 cs.LG cs.RO
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出 ArrayBot 触觉柱阵列系统,通过重塑空间局部与频域低频动作空间训练强化学习策略,实现仅靠触觉的可泛化物体操控,并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO
Learning Generalizable Representations for Reinforcement Learning via Adaptive Meta-learner of Behavioral Similarities
Nanyang Technological University(南洋理工大学)
如何从高层视觉观察中学习有效的基于强化学习的控制任务模型是一个实用且具有挑战性的问题。解决这个问题的关键是从观测中学习低维状态表示,从中可以学习有效的策略。为了促进状态编码的学习,最近的工作集中在捕获状态表示之间的行为相似性或对视觉观察应用数据增强。在本文中,我们提出了一种新的基于元学习者的框架表示学习行为相似性的强化学习。具体来说,我们的框架编码的高维观测到两个分解的嵌入在马尔可夫决策过程(MDP)的奖励和动态。一对元学习器的开发,其中一个量化的奖励相似性和其他量化的动态相似性在相应的分解嵌入。元学习器通过对策略互模拟度量中两个不相交项的近似来自学习更新状态嵌入。为了将奖励和动力学条款,我们进一步开发了一种策略,以适应性地平衡他们的影响,根据不同的任务或环境。我们的经验表明,我们提出的框架优于国家的最先进的基线上的几个基准,包括传统的DM控制套件,分散DM控制套件和自动驾驶任务CARLA。
2022-12-26 cs.LG
GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学)
针对安全强化学习早期数据不足导致约束近似难的问题,提出基于降阶马尔可夫决策过程的GenSafe安全增强层,可在保证任务性能的同时提升学习早期安全性,且兼容多种SRL算法。
2025-01-14 cs.AI cs.LG cs.RO
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel(城堡投资);New Jersey Institute of Technology(新泽西理工学院);IBM Research(IBM研究院)
本文研究了流处理中的资源分配问题,在大型分布式系统中,连续的数据流必须得到实时的处理。为了最大化系统吞吐量,将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的,但实际的流媒体系统的关键,许多基于启发式的算法已经开发,以找到合理的好的解决方案。在本文中,我们提出了一个图形感知的编码器-解码器框架,学习一个通用的资源分配策略,可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练,我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明,该模型优于METIS,一个国家的最先进的图分割算法,和基于LSTM的编码器-解码器模型,在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego(加州大学圣地亚哥分校);HKUST(香港科技大学)
我们提出了一个模拟到真实的灵巧操作框架,可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化:(i)使用想象的手部点云作为增强输入;(ii)设计新颖的基于接触的奖励。我们经验性地评估我们的方法,使用快板手抓住新的对象在模拟和现实世界中。据我们所知,这是第一个基于策略学习的框架,可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL
Department of Computer Science and Engineering, Sungkyunkwan University(成均馆大学计算机科学与工程系)
提出GenDa框架,通过技能重标定缓解非平稳性,并引入互补信息瓶颈增强泛化性,实现数据高效且鲁棒的无监督强化学习预训练。
2026-07-02 cs.AI cs.LG
Reinforcement Learning Driven Generalizable Feature Representation for Cross-User Activity Recognition
Department of Electrical, Computer, and Software Engineering, The University of Auckland(电气、计算机与软件工程系,奥克兰大学)
针对跨用户人类活动识别泛化差的问题,提出强化学习驱动的TPRL-DG框架,通过自回归令牌化提取用户不变时间特征,无需目标用户标注,在两个数据集上准确率超越现有最优方法。
2025-08-31 cs.AI cs.HC cs.LG
Topology-Aware and Highly Generalizable Deep Reinforcement Learning for Efficient Retrieval in Multi-Deep Storage Systems
针对多深位存储系统检索中的巷道堵塞问题,提出结合图神经网络与Transformer的深度强化学习框架,以最小化总延迟,并具备跨布局泛化能力。
2025-09-15 cs.AI cs.LG
Reward-Consistent Dynamics Models are Strongly Generalizable for Offline Reinforcement Learning
Nanjing University(南京大学)
针对离线强化学习中动力学模型泛化性差的问题,提出奖励一致动力学模型构想及MOREC方法,通过学习动力学奖励筛选转移样本,在D4RL和NeoRL基准上显著提升性能,首次在多类任务中达到在线RL性能95%以上。
2023-10-09 cs.LG
GOPT: Generalizable Online 3D Bin Packing via Transformer-based Deep Reinforcement Learning
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology(华中科技大学机械科学与工程学院智能制造装备与技术国家重点实验室);BOSCH Corporate Research, China(博世中国研究中心);State Key Laboratory of High-end Heavy-load Robots, Midea Group(美的集团高端重载机器人国家重点实验室);Midea Corporate Research Center(美的集团企业研究中心)
针对在线3D装箱问题泛化性不足,提出基于Transformer深度强化学习的GOPT方法,通过Placement Generator和Packing Transformer融合特征,实现对不同尺寸箱子的泛化推理,并在实验和真实机器人部署中验证了优越性能。
2024-09-12 cs.AI cs.LG cs.RO
CORD: Generalizable Cooperation via Role Diversity
School of Computer Science, Peking University(北京大学计算机学院);Tencent Inc.(腾讯公司)
针对协作式多智能体强化学习策略泛化性差的问题,提出分层方法CORD,通过带约束的角色熵最大化实现角色多样性分配,在多任务泛化测试中性能优于基线。
2025-01-10 cs.AI cs.LG cs.MA
Generalizable Visual Reinforcement Learning with Segment Anything Model
Tsinghua University, IIIS(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);Tongji University(同济大学);Shanghai AI Lab(上海人工智能实验室)
提出SAM-G框架,利用SAM的可提示分割能力增强视觉RL智能体的泛化性能,在DMControl和Adroit任务上分别取得44%和29%的相对提升。
2023-12-28 cs.CV cs.LG cs.RO
VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents
National Key Laboratory for Novel Software Technology, Nanjing University, China \& School of Artificial Intelligence, Nanjing University, China;Computational Intelligence Center (CIC), School of Computer;Artificial Intelligence, Shandong Jianzhu University, Jinan, 250101, China
本文提出VLGOR框架,结合视觉和语言知识生成虚拟轨迹,提升智能体在未见任务中的泛化能力,实验显示其性能比基线方法高24%以上。
2026-03-24 cs.LG
Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
College of William and Mary(威廉玛丽学院);Tribhuvan University(特里布文大学)
针对现有上下文内知识编辑方法难以平衡可靠、泛化、特定目标的问题,提出多目标强化学习算法MO-IKE,在Llama-3.2上多项指标较以往方法显著提升。
2026-11-10 cs.AI cs.LG
SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning
RWTH Aachen University(亚琛工业大学)
本文提出SigmaRL框架,通过五种信息密集观测设计策略提升多智能体强化学习在运动规划中的样本效率与泛化能力,实现单CPU一小时内训练并在新交叉口、匝道和环岛场景中零样本泛化。
2025-04-10 cs.LG cs.MA cs.RO
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中,通过将离线监督纳入强化学习,结合离线与在线训练优点,提升训练效率。经实验验证,该混合方法在保持强大分布外能力的同时,所需训练预算减半,实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
Automated Cyber Defense with Generalizable Graph-based Reinforcement Learning Agents
Cybermonic LLC(Cybermonic公司);The George Washington University(乔治华盛顿大学)
本文将自动化网络防御建模为基于属性图的部分可观测马尔可夫决策问题,利用关系归纳偏置使强化学习智能体具备零样本泛化能力,在复杂多智能体环境中显著超越现有方法。
2025-09-19 cs.CR cs.LG
Where and What to Reward? Understanding Generalization Between Verifiable and Open-Ended Domains in Reinforcement Learning
University of California, Riverside(加州大学河滨分校)
GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力,探索其对话能力是否能迁移至数学推理和代码生成等下游任务,展示出高效且低成本的训练方法。
2026-10-27 cs.AI cs.CL cs.LG
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达)
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而,机器人技能的设计在现实世界的应用中往往是棘手的,因为它需要大量的努力和专业知识。在这项工作中,我们介绍了技能学习在多样化的环境(SLIDE),一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反,我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现,我们的方法训练每个技能专门用于配对任务,并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集,联合训练估计的多样性目标的证据下界。然后,可以将学习到的技能组合在分层强化学习算法中,以解决看不见的目标任务。我们证明,该方法可以有效地学习各种机器人的技能,在两个桌面操作域。我们的研究结果表明,与现有的强化学习和技能学习方法相比,学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
BC-IRL: Learning Generalizable Reward Functions from Demonstrations
Meta AI;Georgia Tech(佐治亚理工学院)
用逆强化学习(IRL)学习的奖励函数推广效果如何?我们说明,国家的最先进的IRL算法,最大限度地提高了最大熵的目标,学习奖励过拟合的示威。这种奖励很难为示威活动未覆盖的国家提供有意义的奖励,这在利用奖励学习新形势下的政策时是一个重大损害。我们引入了BC-IRL,这是一种新的逆强化学习方法,与最大熵IRL方法相比,该方法可以学习更好地推广的奖励函数。与MaxEnt框架相反,它学习最大化演示的奖励,BC-IRL更新奖励参数,以便使用新奖励训练的策略更好地匹配专家演示。我们表明,BC-IRL学习奖励,更好地概括一个说明性的简单任务和两个连续的机器人控制任务,在具有挑战性的概括设置中实现了基线的成功率的两倍以上。
2023-03-28 cs.LG
Mind the Gap: Towards Generalizable Autonomous Penetration Testing via Domain Randomization and Meta-Reinforcement Learning
College of Electronic Engineering, National University of Defense Technology(国防科技大学电子工程学院);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
针对基于强化学习的自主渗透测试存在的训练环境困境和泛化能力差问题,提出GAP框架,通过Real-to-Sim-to-Real流水线、大语言模型驱动的域随机化及元强化学习,实现现实环境高效训练与跨场景泛化。
2025-02-11 cs.CR cs.LG
Towards Generalizable Reinforcement Learning via Causality-Guided Self-Adaptive Representations
Shanghai Jiao Tong University(上海交通大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出因果引导的自适应表示方法CSR,通过因果表示学习揭示变量结构关系,使智能体能自主判断并定位环境变化,仅需少量样本即可高效适应新任务并优于现有基线。
2025-03-06 cs.LG
Towards More Efficient, Robust, Instance-adaptive, and Generalizable Sequential Decision making
The Chinese University of Hong Kong(香港中文大学)
本研究面向不确定性下的数据驱动序列决策,针对模型误设、对抗扰动、实例依赖性能及新环境泛化等挑战,发展高效、鲁棒、实例自适应且可泛化的RL与多臂老虎机算法。
2026-10-01 cs.LG
Training Generalizable Collaborative Agents via Strategic Risk Aversion
Caltech Department of Computing and Mathematical Sciences, California Institute of Technology, Pasadena, CA, USA(加州理工学院计算机与数学科学系);Caltech(加州理工学院)
本文提出了一种基于战略风险规避的多智能体强化学习算法,通过增强协作鲁棒性,实现与未见过的合作伙伴的可靠协作。
2026-02-27 cs.AI cs.LG cs.MA
Towards Generalizable Reinforcement Learning for Trade Execution
Microsoft Research(微软研究院);IIIS, Tsinghua University(清华大学智能产业研究院)
针对交易执行场景下现有强化学习方法过拟合严重的问题,本文将任务建模为带动态上下文的离线强化学习框架,推导泛化界并提出上下文紧凑表示学习方法,经高保真模拟器验证可有效缓解过拟合、提升性能。
2023-05-12 cs.LG q-fin.TR stat.ML
Masked Autoencoding for Scalable and Generalizable Decision Making
UCLA(加州大学洛杉矶分校);UC Berkeley(加州大学伯克利分校)
本文提出MaskDP,通过掩码自编码对状态-动作轨迹进行自监督预训练,使模型具备零样本迁移、技能推断和离线强化学习能力,并展现出良好的扩展性和数据高效微调性能。
2023-05-27 cs.AI cs.LG
Large Language Models as Generalizable Policies for Embodied Tasks
Apple(苹果公司)
本文提出 LLaRP,用强化学习改造冻结 LLM 以直接根据指令和第一人称视觉观察输出动作,显著提升未见具身重排任务的泛化性能,并发布 Language Rearrangement 基准。
2024-04-16 cs.AI cs.CL cs.LG
Generalizable Resource Scaling of 5G Slices using Constrained Reinforcement Learning
University of Waterloo(滑铁卢大学);Rogers Communications Inc.(罗杰斯通信公司)
针对5G切片资源分配中QoS与资源关系复杂、现有方法泛化性差的问题,提出基于回归模型与域随机化离线训练的风险约束强化学习方法,实现可泛化的资源动态伸缩,在未知流量下将QoS下降控制在10%阈值内且最小化资源占用。
2023-06-15 cs.LG cs.NI
Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate
Rutgers University(罗格斯大学);Nvidia Research(英伟达研究院);University of Connecticut(康涅狄格大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Stanford University(斯坦福大学)
针对机器学习模型泛化难题,本文提出新型正则化技术LoT,通过辅助学生学习器与主模型的教学反馈循环捕捉可泛化相关性,在多领域实验中效果显著,可有效剔除虚假相关性。
2024-10-31 cs.AI cs.LG
SKooP: Symmetric Koopman Predictions for Faster and More Generalizable Legged Robot Locomotion with Reinforcement Learning
Italian Institute of Technology (IIT)(意大利理工学院);University of Manchester(曼彻斯特大学);Dynamic Legged Systems Laboratory, IIT(意大利理工学院动态腿式系统实验室);Generative Bionics S.R.L(生成仿生学有限公司);DAUIN, Politecnico di Torino(都灵理工大学DAUIN);Rehab Technologies Lab, IIT(意大利理工学院康复技术实验室);Newcastle University(纽卡斯尔大学)
研究针对强化学习样本效率低问题展开,提出SKooP方法,结合形态对称与库普曼模型优势,在学习策略时学习系统动力学模型,将其预测用于评论家,还纳入群对称,验证了该方法能减少收敛时间并增加学习奖励,且策略可转移。
2026-07-17 cs.LG cs.RO
Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
Department of Automation, Tsinghua University, Beijing, China(自动化系,清华大学,北京,中国);LLM Department, Tencent, Beijing, China(大模型部门,腾讯,北京,中国)
本文提出GPS方法,通过轻量级生成模型进行提示难度的贝叶斯推断,结合中间难度优先和历史锚定多样性,提升大模型强化学习后的训练效率和测试效率。
2026-05-15 cs.AI cs.LG
RoboAssembly: Learning Generalizable Furniture Assembly Policy in a Novel Multi-robot Contact-rich Simulation Environment
Peking University(北京大学);Stanford University(斯坦福大学);Tencent AI Lab(腾讯人工智能实验室)
零件装配是机器人技术中一个典型但具有挑战性的任务,机器人将一组单独的零件装配成一个完整的形状。在本文中,我们开发了一个机器人装配仿真环境的家具装配。我们制定的部分装配任务作为一个具体的强化学习问题,并提出了一个管道,机器人学习组装一套不同的椅子。实验表明,当测试与看不见的椅子,我们的方法实现了74.5%的成功率下,以对象为中心的设置和50.0%下的完整设置。我们采用RRT连接算法作为基线,在显著更长的计算时间后,该算法仅实现了18.8%的成功率。补充材料和视频可在我们的项目网页上找到。
2021-12-19 cs.AI cs.CV cs.LG
Unicorn: A Universal and Collaborative Reinforcement Learning Approach Towards Generalizable Network-Wide Traffic Signal Control
Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);Cisco-NUS Accelerated Digital Economy Corporate Laboratory(Cisco-NUS加速数字经济企业实验室)
本文提出Unicorn框架,通过统一状态动作映射、通用交通表示和对比学习提升交通信号控制的适应性与协作性,解决复杂交通网络的可扩展优化问题。
2026-03-25 cs.AI cs.LG cs.RO
SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning
Beijing Institute of Technology(北京理工大学);University of the Sunshine Coast(阳光海岸大学)
这项工作探讨了如何从基于图像的观察与深度强化学习方法学习强大的和可推广的状态表示。针对现有互模拟度量中存在的计算复杂性、严格假设和表示坍塌等问题,设计了简单状态表示(SimSR)算子. SimSR使我们能够设计一种随机近似方法,可以实际学习从观测到潜在表示空间的映射函数(编码器)。除了与现有工作的理论分析和比较,我们实验和比较我们的工作与最近的国家的最先进的解决方案在视觉MuJoCo任务。结果表明,我们的模型总体上取得了较好的性能,具有较好的鲁棒性和良好的泛化能力。
2022-02-27 cs.AI cs.LG
Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
符号状态空间问题中的强化学习具有挑战性,因为需要长时间的推理。本文提出了一种新的方法,利用关系抽象结合深度学习来学习此类问题的可推广的Q函数。学习的Q函数可以有效地转移到具有不同对象名称和对象数量的相关问题,从而具有完全不同的状态空间。我们表明,学习广义Q函数可以用于zero-shot转移到相关的问题,没有明确的,手工编码的课程。对一系列问题的实证评估表明,我们的方法有利于有效的zero-shot转移的学习知识,包含许多对象的更大的问题实例。
2022-04-27 cs.AI cs.LG
Generalized Inverse Planning: Learning Lifted non-Markovian Utility for Generalizable Task Representation
UCLA(加利福尼亚大学洛杉矶分校)
在寻找时间扩展任务的可推广表示时,我们发现了两个必要的组成部分:效用需要是非马尔可夫的,以将时间关系不变转换为概率转移,效用还需要被提升以抽象出特定的接地对象。在这项工作中,我们研究学习这样的效用,从人类示范。虽然逆强化学习(IRL)已被接受为效用学习的一般框架,其基本公式是一个具体的马尔可夫决策过程。因此,学习的奖励函数不指定独立于环境的任务。除此之外,我们定义了一个泛化域,它跨越了一组规划问题,遵循一个模式。因此,我们提出了一个新的追求,广义逆规划,在这一领域的效用学习。我们进一步概述了一个计算框架,最大熵逆规划(MEIP),学习非马尔可夫效用和相关概念的生成方式。学习的效用和概念形成了一个任务表示,无论概率变化或结构变化如何,它都是通用的。鉴于所提出的泛化问题尚未得到广泛的研究,我们仔细定义了一个评估协议,我们说明了MEIP的有效性的两个概念验证域和一个具有挑战性的任务:学习折叠演示。
2020-11-12 cs.AI cs.LG
DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Laboratory(上海人工智能实验室);UC San Diego(加利福尼亚大学圣迭戈分校)
针对从人类参考开发灵巧操作可泛化神经跟踪控制器的挑战,提出收集大规模机器人跟踪演示并结合强化学习、模仿学习和同伦优化的方法,提升控制器性能与泛化性,在仿真和现实中取得优于基线的结果。
2025-02-13 cs.AI cs.CV cs.LG
Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用因果图增强目标条件强化学习,将其表述为以因果图为潜在变量的变分似然最大化问题,通过交替估计因果图后验和学习泛化模型提升泛化能力,并在九个任务上验证了方法的有效性。
2023-05-17 cs.AI cs.LG cs.RO
INViT: A Generalizable Routing Problem Solver with Invariant Nested View Transformer
Joint Institute of Michigan, Shanghai Jiao Tong University(上海交通大学密歇根联合研究院);Duke Kunshan University(昆山杜克大学)
针对路由问题求解器泛化能力不足的问题,本文提出INViT架构,通过编码器内的嵌套设计与不变视图增强泛化,并采用改进策略梯度算法,在TSP和CVRP上取得领先的跨分布与跨规模性能。
2024-05-26 cs.LG
Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration
University of Bonn(波恩大学)
提出一种基于非刚性抓取位姿配准的强化学习方法,通过单次演示和多指机械手抓取配置泛化引导策略搜索,使机器人能解决复杂工具使用任务并泛化到未见工具。
2023-08-01 cs.LG cs.RO
Bidirectional Distillation: A Mixed-Play Framework for Multi-Agent Generalizable Behaviors
Zhejiang University(浙江大学)
针对多智能体强化学习中群体间泛化难题,提出双向蒸馏混合博弈框架,通过正反交替蒸馏拓展策略空间,无需存储历史策略,在多类任务中实现优异泛化效果。
2025-05-16 cs.AI cs.LG
Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?
University of Oxford(牛津大学);NVIDIA(英伟达)
我们提出了图- $Q$ -SAT,一个分支启发式的布尔SAT求解器训练与基于值的强化学习(RL)使用图神经网络函数逼近。使用Graph- $Q$ -SAT的求解器是完整的SAT求解器,可以提供令人满意的赋值或不可满足性证明,这是许多SAT应用程序所需的。SAT求解器中常用的分支算法在预热期间会做出糟糕的决策,而Graph- $Q$ -SAT则经过训练,可以检查特定问题实例的结构,以便在搜索早期做出更好的决策。训练图- $Q$ -SAT是数据高效的,不需要精心的数据集准备或特征工程。我们训练Graph- $Q$ -SAT使用RL接口与MiniSat求解器,并表明Graph- $Q$ -SAT可以减少2- 3倍的迭代次数来解决SAT问题。此外,它推广到不可满足的SAT实例,以及与5倍以上的变量比它是trainedon. We的问题表明,对于较大的问题,减少迭代次数导致挂钟时间减少,最终目标时,设计算法。我们还显示出积极的zero-shot传输行为时,测试图- $Q$ -SAT的任务家庭不同的训练。虽然需要更多的工作来应用Graph- $Q$ -SAT来减少现代SAT求解设置中的挂钟时间,但这是一个令人信服的概念验证,表明配备图神经网络的RL可以学习SAT搜索的通用分支启发式。
2020-11-25 cs.AI cs.LG
Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control
University of California, Berkeley(加州大学伯克利分校);The Alan Turing Institute(艾伦·图灵研究所)
提出分层多智能体强化学习框架,低层通过约束流形强制执行硬安全约束,高层学习协调策略,实现理论安全保证、稳定训练和高效泛化。
2026-06-24 cs.AI
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络,已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而,观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换(即对抗性扰动)引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中,我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上,而且在深层神经策略领域中更丰富,并且可以通过更自然的方式在黑盒环境中找到。此外,我们发现,与通过最先进的对抗训练技术学习的策略相比,香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性,我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG