Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University(纽约大学)
标准的深度强化学习算法使用策略和价值函数的共享表示,特别是在直接从图像进行训练时。然而,我们认为,需要更多的信息来准确地估计价值函数比学习的最优策略。因此,使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题,我们提出了两种方法,结合起来创建IDAAC:不变解耦优势演员批评。首先,IDAAC使用单独的网络对策略和价值函数进行建模,从而实现了策略和价值函数的优化。其次,它引入了一个辅助损失,鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力,在Procgen基准测试中达到了新的最先进水平,并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
本研究提出CD-RFT方法,定义后训练控制系数揭示RL后训练的共享控制瓶颈,通过正则化减少控制坍缩,在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升,效果可迁移至Llama-3.2-3B。
2026-08-11 cs.LG
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent HY(腾讯HY)
提出DCRL框架,通过策略-奖励流形对齐解决RL中奖励系统不稳定与奖励黑客问题,利用逻辑提示演化和联合更新机制,显著提升LLM推理性能,小模型超越大模型。
2026-09-24 cs.AI cs.LG
The Post-Training Dilemma: Why We Should Rethink the Sequential SFT-RL Paradigm
Theory Laboratory Central Research Institute, 2012 Laboratories(理论实验室中央研究院,2012实验室);Huawei Technologies Co., Ltd(华为技术有限公司)
研究证明在训练后阶段,监督微调与强化学习无法解耦,且在交替训练顺序下会导致性能下降。
2026-11-20 cs.AI cs.IT cs.LG
Group-Theoretic Reinforcement Learning of Dynamical Decoupling Sequences
JILA, Department of Physics, University of Colorado Boulder, Boulder, Colorado 80309, USA(JILA物理系,科罗拉多大学博尔德分校,博尔德,科罗拉多州80309,美国)
基于群论的强化学习方法用于设计量子比特上的动态解耦序列,无需显式了解噪声谱即可学习最优脉冲序列。
2025-12-15 cs.LG cs.SY eess.SY
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology(查尔姆斯理工大学);Gothenburg University(哥德堡大学)
本文提出了一种两阶段奖励课程方法,通过分离任务目标与行为术语,提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Guardian: Decoupling Exploration from Safety in Reinforcement Learning
Sun Yat-sen University(中山大学)
提出RLPD-GX框架,通过守护者机制解耦探索与安全,结合动态课程稳定训练,在Atari-100k上超越现有混合方法45%,兼顾性能与安全性。
2025-10-26 cs.AI cs.LG
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Convergence Theorems for Entropy-Regularized and Distributional Reinforcement Learning
Rutgers University–Newark(罗格斯大学-新布朗斯维尔分校);Mila–Québec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学)
本文提出一种理论框架,通过消失的熵正则化和温度解耦策略,保证强化学习收敛到可解释且保持多样性的最优策略,并实现回报分布的精确估计。
2025-10-09 cs.LG
Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China(中国科学院软件研究所信息处理实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学网络安全学院);National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing, China(中国国家计算机网络应急技术配合中心)
针对RLVR中模型校准退化问题,提出DCPO框架通过解耦推理与校准目标,在保持准确率的同时显著改善校准性能并缓解过度自信。
2026-05-27 cs.AI cs.CL cs.LG
Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
在离线强化学习中,加权回归是一种常见的方法,用于确保学习的策略接近行为策略,并防止选择样本外的动作。在这项工作中,我们表明,由于策略模型的分布表达能力有限,以前的方法在训练过程中仍然可能选择看不见的动作,这偏离了它们的初始动机。为了解决这个问题,我们采用了一种生成方法,将学习到的策略解耦为两个部分:一个表达性的生成行为模型和一个动作评估模型。关键的见解是,这种解耦避免了学习具有封闭形式表达式的显式参数化策略模型。直接学习行为策略使我们能够利用生成建模的现有进展,例如基于扩散的方法,来建模不同的行为。至于行动评估,我们结合我们的方法与样本内规划技术,以进一步避免选择样本外的行动,提高计算效率。在D4RL数据集上的实验结果表明,与最先进的离线RL方法相比,我们提出的方法具有竞争力或优越的性能,特别是在AntMaze等复杂任务中。我们还通过经验证明,我们的方法可以成功地从包含多个独特但同样成功的策略的异构数据集中学习,而以前的单峰策略失败了。
2023-02-28 cs.LG
Decoupling Policy Extraction for Offline Reinforcement Learning
Simplexity Robotics(森普莱西蒂机器人公司);Rensselaer Polytechnic Institute(伦斯勒理工学院);Northeastern University(东北大学)
该研究针对离线强化学习中演员与评论员耦合训练的问题,提出将策略改进与演员训练解耦的范式,通过演员生成动作候选、评论员选择,实验显示其性能优于行为克隆及联合训练的离线RL方法。
2026-08-24 cs.LG cs.RO
Sim-Env: Decoupling OpenAI Gym Environments from Simulation Models
Open University of the Netherlands(荷兰开放大学);APG Algemene Pensioen Groep N.V.(APG通用养老集团有限公司);Radboud University(拉德堡德大学)
本文提出 Sim-Env 工作流与 Python 库,将 OpenAI Gym 强化学习环境与底层基于智能体的领域仿真模型解耦,支持灵活替换视角和奖励模型。
2021-02-22 cs.LG cs.MA
Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning
Qianyuan Institute of Sciences(乾元科学研究所);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
在视觉强化学习(RL)中,学习能够适应未知环境的可推广策略仍然具有挑战性。现有的方法试图获得一个强大的表示,通过多样化的外观在域观测更好的推广。这些方法受限于对环境的特定观测,忽略了探索不同真实世界图像数据集的可能性。在本文中,我们研究了视觉RL代理将如何从现成的视觉表示中受益。令人惊讶的是,我们发现ImageNet预训练ResNet模型中的早期层可以为视觉RL提供相当普遍的表示。因此,我们提出了用于可推广视觉强化学习(PIE-G)的预训练图像编码器,这是一个简单而有效的框架,可以以zero-shot的方式推广到看不见的视觉场景。在DMControl Generalization Benchmark、DMControl Manipulation Tasks、Drawer World和CARLA上进行了大量实验,验证了PIE-G的有效性。经验证据表明,PIE-G提高了样本效率,并显着优于以前的国家的最先进的方法在泛化性能。特别是,PIE-G在具有挑战性的视频背景设置中平均具有55%的泛化性能增益。项目页面:https://sites.google.com/view/pie-g/home。
2022-12-17 cs.LG
DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning
Seoul National University(首尔国立大学);Artificial Intelligence Institute of Seoul National University (AIIS)(首尔国立大学人工智能研究所(AIIS));Automation and Systems Research Institute (ASRI)(自动化与系统研究所(ASRI))
分层强化学习(HRL)通过利用时间抽象在复杂控制任务中取得了显著的进展。然而,以前的HRL算法往往遭受严重的数据效率低下的环境变得很大。扩展组件$i.e.$、目标空间和事件长度对高级和低级策略中的一个或两个施加负担,因为这两个级别共享事件的总视野。本文提出了一种分层强化学习(DHRL)中使用图解耦视野的方法,该方法可以通过解耦高层和低级策略的视野并使用图弥合两个视野长度之间的差距来缓解这个问题。DHRL提供了一个可自由伸缩的高级动作间隔,这有助于在复杂任务中进行更长时间的抽象和更快的训练。我们的方法优于国家的最先进的HRL算法在典型的HRL环境。此外,DHRL实现了长时间和复杂的运动和操纵任务。
2022-11-19 cs.AI cs.LG
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute(向量研究所);NSERC(加拿大自然科学与工程研究理事会)
本文提出一种结合GAN与深度强化学习的生成式框架,通过“强化链接”解耦反馈机制稳定训练,在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
Decoupling regularization from the action space
Mila - Quebec AI institute(米拉-魁北克人工智能研究所);University of Montreal(蒙特利尔大学)
针对熵正则化RL中动作数量或状态相关动作空间导致正则化不一致的问题,提出静态与动态温度选择方法以解耦正则化和动作空间,并提升控制与生物序列设计任务性能。
2024-06-10 cs.LG
Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
深度强化学习(Deep Reinforcement Learning,DRL)将经典的强化学习算法与深度神经网络相结合。DRL的一个问题是CNN是黑箱,很难理解代理的决策过程。为了能够在人类和机器高度危险的环境中使用RL代理,开发人员需要一个调试工具来确保代理做预期的事情。目前,奖励主要用于解释代理的学习情况。然而,如果智能体通过记住策略而不是学习对环境做出反应来获得更多奖励,则可能导致欺骗性结论。在这项工作中,它表明,这个问题可以识别的梯度可视化技术的帮助下。这项工作将图像分类领域的一些最著名的可视化方法引入了深度强化学习领域。此外,还开发了两种新的可视化技术,其中一种效果特别好。这些算法在强化学习领域的应用程度正在被证明。此外,还出现了一个问题:使用不同的可视化技术,DRL算法在不同环境中的可视化效果如何。
2020-12-02 cs.LG
MInCo: Mitigating Information Conflicts in Distracted Visual Model-based Reinforcement Learning
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室);National Engineering Research Center for Visual Information and Applications(视觉信息与应用国家工程研究中心);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院);Xi’an Jiaotong University(西安交通大学);National University of Singapore(新加坡国立大学)
本文提出MInCo算法,通过无负样本对比学习和时变重加权缓解视觉MBRL中表示学习与动力学建模的信息冲突,在动态背景干扰下学习不变表征并提升策略鲁棒性。
2025-07-03 cs.LG
VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents
National Key Laboratory for Novel Software Technology, Nanjing University, China \& School of Artificial Intelligence, Nanjing University, China;Computational Intelligence Center (CIC), School of Computer;Artificial Intelligence, Shandong Jianzhu University, Jinan, 250101, China
本文提出VLGOR框架,结合视觉和语言知识生成虚拟轨迹,提升智能体在未见任务中的泛化能力,实验显示其性能比基线方法高24%以上。
2026-03-24 cs.LG
Higher Resolution, Better Generalization: Unlocking Visual Scaling in Deep Reinforcement Learning
TUM School of Engineering and Design(技术大学慕尼黑工程与设计学院);Technical University of Munich(技术大学慕尼黑);KUIS AI Center(KUIS人工智能中心);Koç University(科克大学);Department of Computer Engineering(计算机工程系)
本文研究了深度强化学习中高分辨率观察对性能和泛化能力的影响,提出通过改进网络架构实现视觉扩展,实验证明Impoola在高分辨率下比Impala性能提升28%。
2026-08-21 cs.LG
Visual Transfer for Reinforcement Learning via Wasserstein Domain Confusion
Brown University(布朗大学)
我们介绍了Wasserstein对抗性近端策略优化(WAPPO),这是一种用于强化学习中视觉传递的新算法,它显式地学习对齐源任务和目标任务之间提取的特征的分布。WAPPO通过一个新的Wasserstein混淆目标来近似和最小化来自源域和目标域的特征分布之间的Wasserstein-1距离。WAPPO在视觉传输方面优于现有技术,并成功地在Visual Cartpole和16个OpenAI Procgen环境的两个实例中传输策略。
2020-06-04 cs.LG stat.ML
Deep Reinforcement Learning Models Predict Visual Responses in the Brain: A Preliminary Result
Vidyasirimedhi Institute of Science and Technology(威达亚西里梅迪科技学院);Imperial College London(帝国理工学院);King Mongkut’s University of Technology Thonburi(国王科技大学)
有监督的深度卷积神经网络(DCNN)是目前最好的计算模型之一,可以解释灵长类动物腹侧视觉流如何解决物体识别问题。然而,在现有的视觉加工模型中没有考虑具身认知。从生态学的角度来看,人类通过与物体的互动来学习识别物体,从而更好地进行分类,专业化和概括。在这里,我们问的计算模型下的体现学习框架可以解释机制的基础上的物体识别在灵长类动物视觉系统比现有的监督模型?为了解决这个问题,我们使用强化学习来训练神经网络模型来玩3D计算机游戏,我们发现这些强化学习模型在早期视觉区域(例如,V1和V2),这些水平与由监督神经网络模型完成的水平相当。相比之下,与强化学习模型相比,监督神经网络模型在更高的视觉区域中产生更好的神经反应预测。我们的初步结果表明,视觉神经科学的未来方向,其中应包括深度强化学习,以填补缺失的体现概念。
2021-06-18 cs.LG q-bio.NC
Utilization of Deep Reinforcement Learning for saccadic-based object visual search
IBM Research(IBM研究院)
本文重点研究的问题,学习眼跳,使视觉对象搜索。所开发的系统将强化学习与用于学习的神经网络相结合,以预测其行动的可能结果。我们验证了解决方案在三种类型的环境组成的(伪)-随机生成的数字矩阵。实验验证之后的讨论所需的系统模仿中央凹运动和可能的进一步研究方向的元素。
2016-10-20 cs.CV cs.LG
Model-Based Inverse Reinforcement Learning from Visual Demonstrations
Facebook AI Research(脸书人工智能研究院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Edinburgh(爱丁堡大学);University of Pennsylvania(宾夕法尼亚大学)
将基于模型的逆强化学习(IRL)扩展到具有未知动力学的真实机器人操作任务仍然是一个悬而未决的问题。关键的挑战在于学习良好的动力学模型,开发可扩展到高维状态空间的算法,以及能够从视觉和本体感受演示中学习。在这项工作中,我们提出了一个基于梯度的逆强化学习框架,该框架利用预先训练的视觉动力学模型来学习成本函数时,只有视觉人类示范。然后,学习的成本函数用于通过视觉模型预测控制再现所演示的行为。我们评估我们的硬件框架上的两个基本的对象操作任务。
2021-01-06 cs.LG cs.RO
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);Informatics Institute(信息学研究所)
由于深度学习在高维问题中表现良好的能力,深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而,清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样,深度强化学习模型在决策过程中往往是不透明的。在这项工作中,我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中,我们强调的重要性,生产的理由,观察到的行动,这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
ViSaRL: Visual Reinforcement Learning Guided by Human Saliency
University of Southern California(南加利福尼亚大学)
针对像素输入强化学习样本效率低的问题,提出ViSaRL方法,利用人类视觉显著性引导CNN和Transformer编码器学习视觉表示,在仿真和真实机器人任务中显著提升成功率、样本效率和泛化能力。
2024-10-20 cs.LG cs.RO
Learning Trajectories for Visual-Inertial System Calibration via Model-based Heuristic Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
视觉惯性系统依赖于相机内函数和传感器间外函数的精确校准,这通常需要在校准目标前面手动执行复杂的运动。在这项工作中,我们提出了一种新的方法来获得有利的轨迹视觉惯性系统校准,使用基于模型的深度强化学习。我们的主要贡献是将校准过程建模为马尔可夫决策过程,然后使用基于模型的深度强化学习和粒子群优化来建立一系列由机器人手臂执行的校准轨迹。我们的实验表明,在保持相似或更短的路径长度的同时,与随机或手工轨迹相比,我们学习的策略生成的轨迹导致较低的校准误差。
2020-11-04 cs.LG cs.RO
Robust Visual Domain Randomization for Reinforcement Learning
Facebook Artificial Intelligence Research(脸书人工智能研究院)
生成可以推广到各种视觉上不同的环境的代理是强化学习中的一个重大挑战。克服这个问题的一种方法是视觉域随机化,在每个训练片段开始时,环境的一些视觉方面被随机化,使得代理暴露于许多可能的变化。然而,域随机化是非常低效的,并且可能导致跨域具有高差异的策略。相反,我们提出了一种正则化方法,通过这种方法,智能体只在环境的一个变化上进行训练,并且在训练过程中将其学习的状态表示正则化,使其在各个域中保持不变。我们进行的实验表明,我们的技术导致更有效和更强大的学习比标准的域随机化,同时实现平等的泛化得分。
2020-03-06 cs.AI cs.LG
ROLL: Visual Self-Supervised Reinforcement Learning with Object Reasoning
Carnegie Mellon University(卡内基梅隆大学)
当前基于图像的强化学习(RL)算法通常在不执行对象级推理的情况下对整个图像进行操作。这导致了低效的目标抽样和无效的奖励功能。在本文中,我们通过结合对象级推理和遮挡推理来改进以前的视觉自监督RL。具体来说,我们使用未知对象分割来忽略场景中的干扰项,以获得更好的奖励计算和目标生成;我们还通过采用新的辅助损失和训练方案来实现遮挡推理。我们证明,我们提出的算法,ROLL(强化学习与对象级学习),学习速度显着更快,并实现了更好的最终性能相比,以前的方法在几个模拟视觉控制任务。项目视频和代码可在https://sites.google.com/andrew.cmu.edu/roll上获得。
2020-11-13 cs.LG cs.RO
Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室);Institute for Advanced Algorithms Research(先进算法研究院);Sangfor Technologies Inc.(深信服科技股份有限公司);Research Institute of China Telecom(中国电信研究院)
针对现有RLHF方法计算成本高的问题,提出Proxy-RLHF解耦LLM的生成与对齐,通过RL训练精简代理模型监督LLM token生成,仅用1%训练参数就达到相当的对齐效果。
2024-03-07 cs.AI cs.CL cs.LG
Visual Diagnostics for Deep Reinforcement Learning Policy Development
University of California, Santa Barbara(加州大学圣巴巴拉分校)
现代基于视觉的强化学习技术通常使用卷积神经网络(CNN)作为通用函数逼近器,以选择对给定的视觉输入采取哪种操作。直到最近,CNN一直被视为黑箱函数,但当用于安全关键设置中的控制时,这种心态尤其危险。在本文中,我们提出了我们的CNN可视化算法的基于视觉的强化学习域的扩展。我们使用模拟无人机环境作为示例场景。这些可视化算法是行为内省的重要工具,并在与物理世界交互时提供对训练策略的质量和缺陷的洞察。视频可以在https://sites.google.com/view/drlvisual上看到。
2018-09-26 cs.CV cs.LG stat.ML
VisualHints: A Visual-Lingual Environment for Multimodal Reinforcement Learning
Ecole Polytechnique(巴黎综合理工学院);IBM Research(IBM研究院)
我们提出了VisualHints,一个新的环境,多模态强化学习(RL)涉及基于文本的交互以及视觉提示(从环境中获得)。现实生活中的问题往往需要代理与环境交互使用自然语言信息和视觉感知解决一个目标。然而,大多数传统的RL环境要么解决纯基于视觉的任务,如Atari游戏或基于视频的机器人操作;要么完全使用自然语言作为交互模式,如基于文本的游戏和对话系统。在这项工作中,我们的目标是弥合这一差距,并将这两种方法统一在一个单一的环境中进行多模式RL。我们引入了TextWorld烹饪环境的扩展,并在整个环境中添加了视觉线索。目标是迫使RL代理使用文本和视觉特征来预测自然语言动作命令,以解决做饭的最终任务。我们使我们的环境中的变化和困难,以模拟各种互动的现实世界的场景。我们提出了一个基线多模态代理解决这些问题,使用基于CNN的特征提取的视觉提示和LSTM文本特征提取。我们相信,我们提出的视觉语言环境将促进RL社区的新问题设置。
2020-10-26 cs.CL cs.LG
Decoupling Learning Rules from Representations
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
在人工智能领域,学习通常对应于改变参数化函数的参数。学习规则是一种算法或数学表达式,它精确地规定了参数应该如何改变。在创建人工智能系统时,我们必须做出两个决定:应该使用什么表示(即,应该使用什么参数化函数)以及应该使用什么学习规则来搜索可表示函数的结果集。使用大多数学习规则,这两个决定以一种微妙的(通常是无意的)方式耦合在一起。也就是说,使用相同的学习规则和可以表示相同函数集的两种不同表示可以导致两种不同的结果。在认为这种耦合是不可取的,特别是当使用人工神经网络,我们提出了一种方法,部分解耦这两个决策的广泛的学习规则,跨越无监督学习,强化学习,和监督学习。
2017-06-09 cs.AI cs.LG stat.ML
Pretrained Visual Representations in Reinforcement Learning
University of Lincoln(林肯大学)
比较视觉强化学习中从头训练CNN与使用预训练视觉表示(PVR)的性能,发现PVR能减少缓冲区大小并加快训练,且休眠比率与模型性能强相关。
2024-07-24 cs.LG cs.RO
An initial attempt of combining visual selective attention with deep reinforcement learning
Tsinghua University(清华大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉注意是知觉系统中特征选择机制的一种手段。受Broadbent的选择性注意的漏过滤器模型的启发,我们评估了这种机制如何实现并影响深度强化学习的学习过程。我们可视化并分析了一个玩具问题Catch的DQN特征图,并提出了一种将视觉选择性注意与深度强化学习相结合的方法。我们在Atari游戏上进行了基于光流的注意力和A2C的实验。实验结果表明,视觉选择性注意可以导致测试游戏的样本效率方面的改善。注意和批量归一化之间的一个有趣的关系也被发现。
2020-06-18 cs.AI cs.CV cs.LG
Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning
NYU(纽约大学);FAIR(Facebook人工智能研究院)
我们提出了DrQ-v2,一个无模型强化学习(RL)算法的视觉连续控制。DrQ-v2建立在DrQ的基础上,DrQ是一种非策略的行动者-批评者方法,使用数据增强直接从像素中学习。我们介绍了几项改进,这些改进在DeepMind Control Suite上产生了最先进的结果。值得注意的是,DrQ-v2能够直接从像素观察中解决复杂的人形运动任务,这是以前无模型RL无法实现的。DrQ-v2概念简单,易于实现,与以前的工作相比,它提供了更好的计算占用空间,大多数任务只需8小时即可在单个GPU上进行训练。最后,我们公开发布DrQ-v2的实现,为RL从业者提供强大且计算效率高的基线。
2021-07-20 cs.AI cs.LG
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说,该方法利用异步优势演员评论家(A3 C)架构,使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法,使用多个代理并行训练目标游戏的不同表示来更新模型,而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能,OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校);Swarm Labs(斯沃姆实验室)
可视化优化景观带来了许多数值优化的基本见解,并对优化技术进行了新的改进。然而,强化学习优化的目标(“奖励表面”)的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面,并首次表明许多流行的强化学习环境经常出现“悬崖”(预期回报突然大幅下降)。我们证明,A2C经常“潜水”这些悬崖到参数空间的低回报区域,而PPO避免他们,确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库,使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败,我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
提出了一种基于深度强化学习(RL)的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题,我们在一个抽象的模拟环境中训练我们的系统,该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
Self-Consistent Model-based Adaptation for Visual Reinforcement Learning
Tsinghua University(清华大学)
本文提出SCMA,通过预训练世界模型驱动的无监督分布匹配训练去噪模型,将杂乱观测转为干净观测,从而在不修改策略的情况下即插即用地提升视觉强化学习的鲁棒性与样本效率。
2025-02-14 cs.CV cs.LG
Disentangling Controllable Object through Video Prediction Improves Visual Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在许多基于视觉的强化学习(RL)问题中,智能体控制其视野中的可移动物体,例如,视频游戏中的玩家化身和视觉抓取和操纵中的机器人手臂。利用动作条件视频预测,我们提出了一个端到端的学习框架,从观察信号中分离出可控对象。解纠缠的表示是有用的RL作为额外的观察渠道的代理。在一组Atari游戏上进行的实验表明,该算法提高了样本效率和游戏性能(从222.8%提高到261.4%,标准化游戏分数,预测奖金奖励)。
2020-02-21 cs.CV cs.LG stat.ML
Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy
Fudan University(复旦大学);Zhejiang University(浙江大学);Wuhan University(武汉大学)
通过微分视觉推理策略增强强化学习的视觉理解能力,提升多模态任务性能。
2026-01-11 cs.AI cs.LG
Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学)
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中,我们解决这个信用分配问题的方法,我们称之为\textit{partial reward decoupling}(PRD),它试图将大型合作多代理RL问题分解为解耦的子问题,涉及代理的子集,从而简化信用分配。我们的经验表明,使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计,提高数据效率,学习稳定性,并在广泛的多代理RL任务的渐近性能,相比其他各种演员-评论家的方法。此外,我们将我们的方法与反事实的多代理策略梯度(COMA),一个国家的最先进的MARL算法,并实证表明,我们的方法优于COMA更好地利用代理的奖励流中的信息,并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
VisualEnv: visual Gym environments with Blender
University of Arizona(亚利桑那大学)
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境,并与Python完全集成。该框架的描述和测试一系列的例子问题,展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley(加州大学伯克利分校);OpenAI
非策略深度强化学习(RL)的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率,并且卷积神经网络(CNN)有效地处理高维输入。然而,这样的技术需要高存储器和计算带宽。在本文中,我们提出了高效强化学习(SEER)的存储嵌入,这是对现有非策略强化学习方法的简单修改,以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销,由于其参数的早期收敛,我们在训练早期冻结了CNN编码器的较低层。此外,我们通过存储低维的潜在向量的经验重放,而不是高维图像,使重放缓冲区容量,一个有用的技术在受限的内存设置的自适应增加,减少内存需求。在我们的实验中,我们表明SEER不会降低RL代理的性能,同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
Normalization Enhances Generalization in Visual Reinforcement Learning
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
针对视觉强化学习对视觉干扰泛化不足的问题,本文结合CrossNorm与SelfNorm两种归一化技术,在DMControl Generalization Benchmark和CARLA上显著提升泛化性能且几乎不损害样本效率。
2023-06-01 cs.AI cs.LG
Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations
University of Oxford(牛津大学)
本文针对基于视觉观测的连续控制离线强化学习,提出一套更贴近真实数据分布的基准任务,并通过对 DreamerV2 和 DrQ-v2 进行简单修改建立了超越现有方法的竞争性基线,同时系统比较了基于模型与无模型方法的差异。
2023-07-06 cs.AI cs.CV cs.LG
Acceleration of Actor-Critic Deep Reinforcement Learning for Visual Grasping in Clutter by State Representation Learning Based on Disentanglement of a Raw Input Image
Hanyang University(汉阳大学)
对于机器人抓取任务,其中各种看不见的目标对象存在于杂乱的环境中,一些基于深度学习的方法已经直接使用视觉输入实现了最先进的结果。相比之下,行动者-批评者深度强化学习(RL)方法在抓取不同对象时通常表现非常差,特别是在从原始图像和稀疏奖励中学习时。为了使这些RL技术可行的视觉为基础的抓取任务,我们采用状态表示学习(SRL),在那里我们编码的基本信息,随后在RL使用。然而,典型的表示学习过程不适合于提取用于学习抓取技能的相关信息,因为用于表示学习的视觉输入(其中机器人试图在杂乱中抓取目标对象)是极其复杂的。我们发现,基于原始输入图像的解纠缠的预处理是有效捕获紧凑表示的关键。这使得深度RL能够从高度多样化的视觉输入中学习机器人抓取技能。我们证明了这种方法的有效性,在一个现实的模拟环境中不同程度的解开。
2020-02-27 cs.LG stat.ML
Continual Visual Reinforcement Learning with A Life-Long World Model
MoE Key Lab of Artificial Intelligence(人工智能MOE重点实验室);AI Institute(人工智能学院);Shanghai Jiao Tong University(上海交通大学)
本文提出终身世界模型与探索-保守行为学习方法,通过高斯混合潜在动力学和生成式经验回放缓解灾难性遗忘,在持续视觉控制任务中显著优于现有持续学习与视觉强化学习的直接组合。
2025-07-06 cs.CV cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University(清华大学);Hongkong University(香港大学);Standford University(斯坦福大学)
视觉强化学习(RL)的关键挑战之一是学习可以推广到不可见环境的策略。最近,旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而,由于RL训练的敏感性,天真地应用数据增强(其以任务不可知的方式变换每个像素)可能遭受不稳定性并损害样本效率,从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题,我们提出了任务感知的Lipschitz数据增强(TLDA)的视觉RL,明确识别任务相关的像素与大Lipschitz常数,只增加任务无关的像素。为了验证TLDA的有效性,我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验,结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research(微软研究院);University of Florida(佛罗里达大学);JD AI Research(京东人工智能研究院)
我们提出了一个层次结构的强化学习方法来解决规划的挑战,为视觉讲故事的任务产生连贯的多句故事。在我们的框架内,给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念(即,主题)中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子,该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事(VIST)数据集。来自自动和人工评估的实证结果表明,与强平深度强化学习基线相比,所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University(米拉 - 麦吉尔大学);Google DeepMind(谷歌DeepMind)
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境,因此已经有几项研究调查了这些算法的泛化性能。然而,还没有类似的研究评估专门为泛化设计的算法的泛化性能,即Meta强化学习算法。在本文中,我们评估这些算法的泛化性能,利用高维,程序生成的环境。我们发现,这些算法可以显示强大的过拟合时,他们具有挑战性的任务进行评估。我们还观察到,在当前的许多Meta强化学习算法中,具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果,我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Software Simulation and Visualization of Quantum Multi-Drone Reinforcement Learning
Korea University(高丽大学);Ajou University(亚洲大学)
量子机器学习(QML)因其训练参数少、速度快而受到广泛关注,量子多智能体强化学习(QMARL)的研究也随之活跃起来。现有的经典多智能体强化学习(MARL)具有非平稳性和不确定性。因此,本文提出了一种新的QMARL控制自主多无人机的仿真软件框架,即,量子多无人机强化学习我们提出的框架完成了合理的回报收敛和服务质量性能与较少的可训练参数。此外,它显示出更稳定的训练结果。最后,我们提出的软件允许我们分析培训过程和结果。
2023-02-03 cs.AI cs.LG cs.MA