Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning
University of Chicago(芝加哥大学);Northwestern University(西北大学);Shanghai AI Laboratory(上海人工智能实验室);Yale University(耶鲁大学)
该研究针对低秩转移的MDPs和MGs场景,提出融合对比损失的UCB类在线强化学习算法,从理论上证明其能恢复真实表示且具备样本效率,并通过实证验证了有效性,是首个可证明高效的结合对比学习做表示学习的在线RL算法。
2024-04-13 cs.LG stat.ML
Improving Context-Based Meta-Reinforcement Learning with Self-Supervised Trajectory Contrastive Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Tsinghua University(清华大学);Facebook Research(Facebook研究院)
Meta-强化学习通常需要比单任务强化学习方法多几个数量级的样本。这是因为元训练需要处理更多样化的分布和训练额外的组件,如上下文编码器。为了解决这个问题,我们提出了一种新的自监督学习任务,我们称之为轨迹对比学习(TCL),以改善元训练。TCL采用对比学习并训练上下文编码器来预测是否从同一轨迹采样两个过渡窗口。TCL利用了基于上下文的元RL的自然层次结构,并做出了最少的假设,使其能够普遍适用于基于上下文的元RL算法。它加速了上下文编码器的训练,并从整体上改进了元训练。实验表明,在大多数环境中,TCL在元RL MuJoCo(6个中的5个)和元世界基准测试(50个中的44个)上的表现都优于或优于强元RL基线。
2021-03-10 cs.AI cs.LG
Contrastive Learning as Goal-Conditioned Reinforcement Learning
CMU(卡内基梅隆大学);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
在强化学习(RL)中,如果给出一个好的表示,解决一个任务会更容易。虽然深度RL应该自动获取这样的良好表示,但先前的工作经常发现,以端到端的方式学习表示是不稳定的,而是为RL算法配备额外的表示学习部分(例如,辅助损失、数据增强)。我们如何设计RL算法,直接获得良好的表示?在本文中,而不是添加表示学习部分现有的RL算法,我们显示(对比)表示学习方法可以作为RL算法在自己的权利。为了做到这一点,我们建立在以前的工作和应用对比表示学习的动作标记的轨迹,在这样一种方式,学习表示(内积)完全对应于一个目标条件价值函数。我们使用这个想法来重新解释先前的RL方法执行对比学习,然后使用这个想法来提出一个更简单的方法,实现类似的性能。在一系列目标条件强化学习任务中,我们证明了对比强化学习方法比以前的非对比方法实现了更高的成功率,包括在离线强化学习设置中。我们还表明,对比RL优于以前的方法对基于图像的任务,而不使用数据增强或辅助目标。
2023-02-17 cs.AI cs.LG
Contrastive Reinforced Policy Optimization via Privileged Self-Distillation
该研究针对在线策略自蒸馏的暴露偏差问题,提出CRPO方法,通过对比学习与分组对比保留优化信号,在13个推理基准上提升了训练稳定性与泛化性。
2026-07-31 cs.LG
Integrating Contrastive Learning with Dynamic Models for Reinforcement Learning from Images
TU Darmstadt(达姆施塔特工业大学);Huazhong University of Science and Technology(华中科技大学)
最近的图像强化学习方法使用辅助任务来学习智能体的策略或Q函数所使用的图像特征。特别地,基于对比学习的方法,其将潜在动态的线性或不变性引入到数据增强,已经被证明大大提高了强化学习算法的样本效率和学习嵌入的泛化能力。我们进一步认为,显式地提高学习嵌入的Markovianity是可取的,并提出了一种自监督的表示学习方法,该方法将对比学习与动态模型相结合,以协同地结合这三个目标:(1)最大化状态和动作之间的互信息的InfoNCE界,嵌入和下一状态的嵌入以引起线性预测嵌入而无需显式地学习线性转换模型,(2)我们通过使用回归显式学习非线性转换模型来进一步改进学习嵌入的马尔可夫性,以及(3)我们最大化基于当前动作和两个独立增强的下一个嵌入的两个非线性预测之间的互信息的当前状态,这自然导致变换不变性不仅为状态嵌入,而且为非线性过渡模型。在Deepmind控制套件上的实验评估表明,与基于对比学习或重构的最新方法相比,我们提出的方法实现了更高的样本效率和更好的泛化能力。
2022-03-02 cs.AI cs.LG
MOOSS: Mask-Enhanced Temporal Contrastive Learning for Smooth State Evolution in Visual Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
MOOSS框架通过图构建时空掩码与多级时序对比学习显式建模视觉强化学习中的状态演化,在多个控制基准上以更高样本效率超越现有方法。
2024-09-02 cs.CV cs.LG
Sample-efficient Reinforcement Learning Representation Learning with Curiosity Contrastive Forward Dynamics Model
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
在强化学习(RL)中开发能够直接从诸如原始像素的高维观察执行复杂控制任务的代理仍然是一个挑战,因为努力提高样本效率和泛化。本文提出了一种电流对比前向动力学模型(CCFDM)的学习框架,以实现直接基于原始像素的样本效率更高的RL。CCFDM结合了前向动力学模型(FDM),并执行对比学习以训练其基于深度卷积神经网络的图像编码器(IE),以提取有益的空间和时间信息,从而为RL实现更高的样本效率。此外,在训练过程中,CCFDM提供基于FDM预测误差产生的内在奖励,鼓励RL代理的好奇心,以提高探索能力。我们的探索策略和对比学习中可用的数据增强提供的发散和较少重复的观察不仅提高了样本效率,而且提高了泛化能力。现有的无模型强化学习方法(如基于CCFDM的Soft Actor-Critic)的性能在DeepMind Control Suite基准测试中优于现有的基于像素的强化学习方法。
2021-10-14 cs.AI cs.LG cs.RO
Enhance Exploration in Safe Reinforcement Learning with Contrastive Representation Learning
HMI Laboratory VNU University of Engineering and Technology(VNU工程技术大学HMI实验室)
针对安全强化学习中因假阳性导致稀疏奖励环境探索不足的问题,提出利用自编码器和对比表示学习构建潜在距离安全检查,使智能体在访问不安全状态时偏向探索,实验证明该方法在MiniGrid环境中有效平衡了安全性与探索效率。
2025-03-13 cs.AI cs.LG
Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning
Tianjin University(天津大学);Tsinghua University(清华大学)
上下文,以前收集的轨迹的嵌入,是Meta-强化学习(Meta-RL)算法的一个强大的结构。通过对有效上下文的调节,元强化学习策略可以在几个适应步骤内轻松地推广到新任务。我们认为,提高上下文的质量涉及到回答两个问题:1。如何训练一个紧凑和足够的编码器,可以嵌入先前轨迹中包含的特定于任务的信息?2.如何收集信息的轨迹,相应的上下文反映了任务的规范?为此,我们提出了一种新的元RL框架称为CCM(对比学习增强的基于上下文的元RL)。我们首先专注于不同任务背后的对比性质,并利用它来训练一个紧凑和足够的上下文编码器。此外,我们训练一个单独的探索政策,并从理论上推导出一个新的信息增益为基础的目标,其目的是在几个步骤中收集翔实的轨迹。从经验上讲,我们评估我们的方法在共同的基准以及几个复杂的稀疏奖励环境。实验结果表明,CCM优于国家的最先进的算法,通过解决上述问题分别。
2020-12-15 cs.AI cs.LG stat.ML
Discovering Hierarchical Achievements in Reinforcement Learning via Contrastive Learning
Seoul National University(首尔大学);KRAFTON(魁匠团)
针对程序生成环境中的层级成就发现问题,本文提出成就蒸馏对比学习方法,增强 PPO 对下一成就的预测能力,并在 Crafter 上以更少参数实现样本高效的最优性能。
2023-11-02 cs.AI cs.LG
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而,类似的收益还没有看到真正的机器人强化学习。在这项工作中,我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习(CoDER)的对比预训练和数据增强,这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习,但我们的主要贡献是将这些不同的技术结合起来,从而产生了一种简单但数据高效的方法。我们证明,只要给出10个演示,一个机器人手臂就可以从像素中学习稀疏奖励操作策略,例如在30分钟的平均真实训练时间内达到,拾取,移动,拉动大型物体,翻转开关和打开抽屉。我们在项目网站上提供了视频和代码:https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley(加州大学伯克利分校);NYU(纽约大学);MetaAI(元人工智能);Covariant(协变公司)
我们介绍了对比内在控制(CIC),无监督的技能发现算法,最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入,并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法,该测试包括一个长时间的无奖励预训练阶段,然后是一个短时间的适应阶段,以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法,比现有的无监督技能发现方法高出1.79倍,比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
Contrastive Learning of Asset Embeddings from Financial Time Series
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院)
本文提出一种基于假设检验统计采样的对比学习框架,利用资产在子窗口的收益相似性生成正负样本,从金融时间序列中学习资产嵌入,在行业分类与投资组合优化任务上显著优于基线。
2024-07-26 cs.LG q-fin.ST
Contrastive Representation Learning: A Framework and Review
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(数据分析洞察中心)
对比学习由于其在计算机视觉领域的自监督表示学习中的成功而受到关注。然而,对比学习的起源可以追溯到20世纪90年代,其发展跨越了许多领域和领域,包括度量学习和自然语言处理。在本文中,我们提供了一个全面的文献综述,我们提出了一个通用的对比表示学习框架,简化和统一了许多不同的对比学习方法。我们还为对比学习的每个组成部分提供了一个分类法,以便总结它并将其与其他形式的机器学习区分开来。然后,我们讨论了归纳的偏见,这是目前在任何对比学习系统,我们分析我们的框架下,从不同的角度从各个子领域的机器学习。还介绍了对比学习如何应用于计算机视觉、自然语言处理、音频处理等以及强化学习的例子。最后,我们讨论了未来的挑战和一些最有前途的研究方向。
2020-10-27 cs.LG stat.ML
Contrastive Learning of General-Purpose Audio Representations
Google(谷歌)
我们介绍COLA,一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习:它学习一种表示,该表示将高相似性分配给从同一录音中提取的音频片段,同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展,设计了一个轻量级的,易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入,并将这些表示转移到9个不同的分类任务中,包括语音,音乐,动物声音和声学场景。我们表明,尽管它的简单性,我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择,并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Averaging $n$-step Returns Reduces Variance in Reinforcement Learning
Department of Computing Science, University of Alberta, Edmonton, AB, Canada(阿尔伯塔大学计算机科学系);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出复合回报方法,通过加权平均 $n$-步回报降低强化学习中的方差,提升样本效率和算法性能。
2025-12-20 cs.LG
When does return-conditioned supervised learning work for offline reinforcement learning?
New York University(纽约大学);MILA(蒙特利尔学习算法研究所);Microsoft Research(微软研究院)
最近的一些工作已经提出了一类算法的离线强化学习(RL)的问题,我们将称为返回条件监督学习(RCSL)。RCSL算法学习以状态和轨迹返回为条件的动作分布。然后,他们以实现高回报为条件来定义政策。在本文中,我们提供了一个严格的RCSL的能力和局限性的研究,这是至关重要的缺失在以前的工作。我们发现,RCSL返回的最优策略下的一组假设,比那些需要更传统的动态规划为基础的算法更强大。我们提供了具体的MDPs和数据集的例子来说明这些假设的必要性和RCSL的局限性。最后,我们提出的经验证据表明,这些限制也将导致在实践中的问题,在简单的点质量环境和D4RL基准的数据集上提供说明性的实验。
2023-01-11 cs.LG
Contrastive Initial State Buffer for Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Robotics and Perception Group(机器人与感知组)
本文提出对比初始状态缓冲区方法,通过复用过去经验中的状态初始化智能体以提升探索效率,并在四足机器人和无人机任务中验证其能提高性能并加速收敛。
2024-02-26 cs.LG
CoBERL: Contrastive BERT for Reinforcement Learning
DeepMind(深度思维)
许多强化学习(RL)代理需要大量的经验来解决任务。我们提出了对比BERT的RL(CoBERL),一个代理,结合了一个新的对比损失和混合LSTM变压器架构,以解决提高数据效率的挑战。CoBERL能够从各种领域的像素中进行高效、鲁棒的学习。我们使用双向掩码预测结合最近的对比方法的推广来学习RL中Transformers的更好表示,而不需要手工设计的数据增强。我们发现,CoBERL在整个Atari套件、一系列控制任务和具有挑战性的3D环境中不断提高性能。
2022-02-22 cs.AI cs.LG
How Does Return Distribution in Distributional Reinforcement Learning Help Optimization?
University of Alberta(阿尔伯塔大学)
本研究在Neural FZI框架下揭示了分布式强化学习利用额外回报分布知识带来的优化优势,证明其分布损失具有平滑特性和稳定梯度,并通过分解回报分布展示了相比经典强化学习的优化稳定性与加速效应。
2024-09-23 cs.LG
Contrastive Variational Reinforcement Learning for Complex Observations
National University of Singapore(新加坡国立大学)
深度强化学习(DRL)在各种机器人任务中取得了重大成功:操纵,导航等,然而,自然环境中复杂的视觉观察仍然是一个重大挑战。本文介绍了对比变分强化学习(CVRL),一种基于模型的方法,处理复杂的视觉观察DRL。CVRL通过对比学习,有区别地最大化潜在状态和观测之间的互信息来学习对比变分模型。它避免了对复杂的观测空间进行不必要的建模,就像常用的生成观测模型经常做的那样,并且更加鲁棒。CVRL在标准Mujoco任务上实现了与最先进的基于模型的DRL方法相当的性能。它在自然Mujoco任务和具有复杂观察的机器人推箱子任务上的表现明显优于它们,例如,动态阴影。CVRL代码可在https://github.com/Yusufma03/CVRL上公开获取。
2020-11-09 cs.LG stat.ML
(When) Are Contrastive Explanations of Reinforcement Learning Helpful?
Harvard University(哈佛大学)
对强化学习(RL)代理的预期行为的全局解释可以使其部署更安全。然而,由于许多RL政策的复杂性,这种解释往往难以理解。有效的人类解释通常是对比的,引用已知的对比(政策)来减少冗余。与此同时,这些解释也需要额外的努力,在评估解释时参考这种对比。我们进行了一项用户研究,以了解对比解释是否以及何时可能优于不需要引用对比的完整解释。我们发现,完整的解释通常是更有效的,当他们是相同的大小或更小的对比解释相同的政策,并没有更糟,当他们更大。这表明,对比解释不足以解决有效解释强化学习策略的问题,需要在这种情况下使用额外的仔细研究。
2022-11-14 cs.HC cs.LG
CLARIFY: Contrastive Preference Reinforcement Learning for Untangling Ambiguous Queries
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China(北京智能体智能系统重点实验室,自动化系,清华大学,北京,中国);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(复杂系统认知与决策智能重点实验室,自动化研究所,中国科学院,北京,中国)
针对人类难以判断相似轨迹偏好的问题,本文提出离线 PbRL 方法 CLARIFY,通过偏好感知的对比轨迹嵌入选择更清晰的查询,并在非理想教师与真实人类反馈中优于基线。
2025-06-10 cs.LG
DAPO: Design Structure-Aware Pass Ordering in High-Level Synthesis with Graph Contrastive and Reinforcement Learning
The Hong Kong University of Science and Technology(香港科学与技术大学);Indian Institute of Technology (Palakkad)(印度理工学院(帕拉卡德));Indian Institute of Technology (Goa)(印度理工学院(果阿));The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
DAPO通过对比学习和强化学习,实现高阶综合中设计结构感知的流程排序,提升优化策略的效率和准确性。
2025-12-12 cs.LG
Contrastive Abstraction for Reinforcement Learning
LIT AI Lab(LIT人工智能实验室);Ellis Unit Linz(林茨埃利斯单元);Institute for Machine Learning(机器学习研究所);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文提出对比抽象学习方法,通过对比学习聚类状态表示并用现代Hopfield网络映射到抽象状态,从而在不依赖奖励的情况下提升强化学习在长轨迹任务中的效率。
2024-10-01 cs.AI cs.LG
Using Contrastive Samples for Identifying and Leveraging Possible Causal Relationships in Reinforcement Learning
TCS Research(塔塔咨询服务公司研究院);IIT Bombay(印度理工学院孟买分校)
强化学习的一个重大挑战是量化行动和长期奖励之间的复杂关系。这些影响可能会在一长串状态-动作对中显现出来,这使得它们很难精确定位。在本文中,我们提出了一种方法来链接过渡状态的显着偏差异常大的变化,在随后的奖励。这种转换被标记为可能的因果效应,并且相应的状态-动作对被添加到单独的重放缓冲器。此外,我们包括对应于从类似状态但具有不同动作的转换的\textit{contrastive}样本。在训练过程中包括这种对比经验回放(CER)显示在2D导航任务上优于基于标准值的方法。我们相信CER可以用于广泛的学习任务,包括任何非策略强化学习算法。
2022-10-28 cs.AI cs.LG
Contrastive Energy Prediction for Exact Energy-Guided Diffusion Sampling in Offline Reinforcement Learning
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Pazhou Lab(琶洲实验室)
本文针对扩散模型能量引导采样中中间引导难以估计的问题,提出对比能量预测(CEP)方法以学习精确引导,并在离线强化学习和图像合成中验证了其优于现有方法的性能与可扩展性。
2023-05-30 cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Syracuse University(雪城大学)
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题,提出CauCRL算法,通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Reinforcement Learning for Efficient Returns Management
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS(弗劳恩霍夫智能分析与信息系统研究所 IAIS);University of Bonn(波恩大学)
针对零售仓库退货存储效率低下的问题,提出将退货重新分配转化为在线多背包问题,并采用强化学习进行求解,在模拟数据上仅损失3%性能,却将平均存储时间降低96%。
2025-01-24 cs.LG
Urban-Focused Multi-Task Offline Reinforcement Learning with Contrastive Data Sharing
Binghamton University(宾汉姆顿大学);San Diego State University(圣地亚哥州立大学);Lehigh University(里海大学);University of Maryland, College Park(马里兰大学学院公园分校);Worcester Polytechnic Institute(伍斯特理工学院);Logistics and Supply Chain MultiTech R&D Centre(物流与供应链多技术研发中心)
针对城市离线强化学习面临的数据稀缺、异质性及分布偏移问题,提出带对比数据共享的多任务方法MODA,通过对比学习共享相似数据增强样本,并结合动力学模型与GAN构建鲁棒MDP,实验证明其性能优于现有最优基线。
2024-06-20 cs.LG
A Risk-Aware Reinforcement Learning Reward for Financial Trading
MNNIT Allahabad(孟加拉国印度理工学院阿拉瓦布)
本文提出一种由年化收益率、下行风险、差异收益率和Treynor比率四项构成的可微复合奖励函数,通过权重参数化和网格搜索平衡金融交易强化学习中的收益与风险,并推导闭式梯度及理论性质,为多目标奖励设计提供通用框架。
2025-06-04 cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University(卡尔顿大学)
在机器人应用中,安全违规行为会导致严重后果,随着强化学习(RL)在机器人领域的广泛应用,推动了对强化学习安全探索(safe RL)的研究。在这项工作中,我们提出了一种安全RL的风险预防训练方法,该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率,我们可以收集风险预防轨迹,并重塑奖励函数与风险惩罚,以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明,该方法具有相当的性能与国家的最先进的基于模型的方法,并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
CURL: Contrastive Unsupervised Representations for Reinforcement Learning
University of California, Berkeley, BAIR(加州大学伯克利分校伯克利人工智能研究所)
我们提出了CURL:用于强化学习的对比无监督表示。CURL使用对比学习从原始像素中提取高级特征,并在提取的特征之上执行离线控制。在DeepMind Control Suite和Atari Games的复杂任务中,CURL的性能优于先前基于像素的方法,无论是基于模型的还是无模型的,在100K环境和交互步骤基准测试中分别显示出1.9倍和1.2倍的性能提升。在DeepMind Control Suite上,CURL是第一个基于图像的算法,几乎可以与使用基于状态的特征的方法的样本效率相匹配。我们的代码是开源的,可以在https://github.com/MishaLaskin/curl上找到。
2020-09-21 cs.CV cs.LG stat.ML
Contrastive Modules with Temporal Attention for Multi-Task Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Cambricon Technologies(寒武纪科技);Intelligent Software Research Center, Institute of Software, CAS(中国科学院软件研究所智能软件研究中心);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Innovation Center for Processor Technologies(上海处理器技术创新中心)
针对多任务强化学习中任务内冲突与模块功能趋同问题,提出CMTA,通过对比学习和时间注意力实现细粒度模块组合,在Meta-World上显著超越基线及单独训练。
2023-11-02 cs.LG
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
实践中的许多强化学习(RL)问题都是离线的,纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的,这需要量化与不同行为相关的风险。在在线设置中,分布式RL算法通过学习收益分布(即,累积回报)而不是预期回报;除了量化风险之外,他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评(CODAC),一个离线RL算法,适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明,CODAC学习保守的回报分布-特别是,对于有限的MDPs,CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中,在两个具有挑战性的机器人导航任务,CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外,在预期和风险敏感性能方面,CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
Offline Goal-conditioned Reinforcement Learning with Quasimetric Representations
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
本文提出了一种结合对比表示和时间距离的离线目标条件强化学习方法,利用准度量表示空间结构和约束,实现最优目标到达,提升缝合任务和高维环境下的性能。
2025-12-02 cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法,结合RCSL的稳定性与Q函数的缝合能力,通过自适应整合Q-辅助到损失函数中,提升离线强化学习性能。
2026-03-13 cs.LG
Distributional Reinforcement Learning for Multi-Dimensional Reward Functions
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
基于值的强化学习(RL)算法的增长趋势是在值网络中捕获比标量价值函数更多的信息。这个分支中最著名的方法之一是分布式RL,它对返回分布而不是标量值进行建模。在另一项工作中,RL中的混合奖励架构(HRA)已经研究了为每个奖励源建模特定于源的价值函数,这也被证明是有益的。为了充分继承分布式RL和混合奖励架构的优势,我们引入了多维分布式DQN(MD3QN),它扩展了分布式RL,可以对来自多个奖励源的联合回报分布进行建模。作为联合分布建模的副产品,MD3QN不仅可以捕获每个奖励来源的回报的随机性,还可以捕获不同来源的随机性之间丰富的奖励相关性。我们证明了联合分布Bellman算子的收敛性,并通过最小化联合收益分布与其Bellman目标之间的最大均值离散来建立我们的经验算法。在实验中,我们的方法在具有丰富相关奖励函数的环境中准确地模拟了联合回报分布,并且在控制设置中利用多维奖励函数的RL方法优于以前的RL方法。
2021-10-26 cs.LG
Learning to Mix n-Step Returns: Generalizing lambda-Returns for Deep Reinforcement Learning
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
强化学习(RL)可以为目标导向的顺序决策任务建模复杂的行为策略。RL算法的一个标志是时间差(TD)学习:当前状态的价值函数被移向使用下一个状态的价值函数估计的自举目标。$λ$ -收益率超越了1步收益率,并在蒙特卡洛和TD学习方法之间取得了平衡。虽然在RL中已经广泛研究了返回值,但在深度RL中还没有进行过很多探索。本文的第一个贡献是一个详尽的基准测试的收益。虽然在数学上是容易处理的,但在多步回报中使用基于n步回报的目标的指数衰减加权是一种相当特别的设计选择。我们的第二个主要贡献是,我们提出了一种称为基于置信度的自学回报(CAR)的一般化的递归回报,其中RL代理以端到端的方式学习n步回报的权重。这允许代理学习决定它想要对基于n步回报的目标加权多少。相比之下,Reynolda-returns限制RL代理使用指数衰减的加权方案。自学返回可以用于改进任何使用TD学习的RL算法。我们的经验表明,使用复杂的加权混合的多步回报(如CAR和ESTA回报)大大优于使用n步回报。我们在Atari 2600域上对异步优势演员评论(A3 C)算法进行了实验。
2017-11-05 cs.AI cs.LG
TW-CRL: Time-Weighted Contrastive Reward Learning for Efficient Inverse Reinforcement Learning
Northwestern University(西北大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出时间加权对比奖励学习框架,利用成功与失败示范学习密集奖励,识别关键状态,避免陷阱状态并促进探索,在导航和机器人操作任务上超越现有方法。
2025-05-22 cs.AI cs.LG
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
批量强化学习(RL)算法试图从设计者提供的一类策略中选择一个策略,给定一组固定的训练数据。选择的政策,最大限度地估计回报往往会导致过度拟合时,只有有限的数据是可用的,由于政策类的大小与可用的数据量。在这项工作中,我们专注于学习策略类,这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点,该原则使用拉德马赫复杂度来确定一个策略类,该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同,我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Equivariant Goal Conditioned Contrastive Reinforcement Learning
Khoury College of Computer Sciences Northeastern University(克劳利计算机科学学院东北大学)
本文提出等变对比强化学习 ECRL,通过目标条件群不变 MDP 和旋转不变 critic 与旋转等变 actor,提升机器人操作任务的样本效率和空间泛化能力,并扩展到离线 RL。
2025-07-22 cs.LG cs.RO
CURLing the Dream: Contrastive Representations for World Modeling in Reinforcement Learning
University of Tsukuba(筑波大学);Federal University of Santa Maria(圣玛丽亚联邦大学);Technological University of Uruguay(乌拉圭理工大学)
本文提出 Curled-Dreamer,将 CURL 对比损失与自编码器重构损失引入 DreamerV3,在 DeepMind Control Suite 上显著提升视觉强化学习的性能、学习速度与策略鲁棒性。
2024-08-31 cs.AI cs.CV cs.LG
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research(谷歌研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);DeepMind(深度思维公司)
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力,我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的,这些方法很少明确地利用这种结构。具体来说,我们引入了一个理论上的动机的政策相似性度量(PSM)测量状态之间的行为相似性。PSM分配高相似性的状态,在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量,我们与PSM实例化,以获得政策相似性嵌入(PSE)。我们证明了PSE在不同的基准测试中提高了泛化能力,包括具有虚假相关性的LQR,从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions
University of Southern Denmark(南丹麦大学)
该研究提出SVDRL方法,以斯坦粒子结合得分场解决多元分布强化学习的罕见事件建模问题,在MuJoCo任务上表现良好且罕见事件准确性优于同规模粒子评论家。
2026-10-14 cs.LG
Parametric Return Density Estimation for Reinforcement Learning
IBM Research - Tokyo(IBM 东京研究院);Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学);Kyoto University(京都大学)
大多数传统的强化学习(RL)算法旨在根据预期收益优化决策规则。然而,特别是为了风险管理的目的,其他风险敏感的标准,如风险价值或预期的短缺,有时在实际应用中更可取。在这里,我们描述了一个参数的方法来估计密度的回报,这使我们能够处理各种标准在一个统一的方式。首先,我们扩展了贝尔曼方程的条件预期回报,以涵盖条件概率密度的回报。然后,我们推导出一个扩展的TD-学习算法估计返回密度在一个未知的环境。作为测试实例,给出了高斯分布、拉普拉斯分布和偏拉普拉斯分布的参数密度估计算法。我们表明,这些算法导致风险敏感,以及强大的RL范例,通过数值实验。
2012-03-15 cs.LG stat.ML
An intelligent algorithmic trading based on a risk-return reinforcement learning algorithm
Shandong University of Finance and Economic(山东财经大学)
这篇科学论文提出了一种新的投资组合优化模型,使用改进的深度强化学习算法。该优化模型的目标函数是投资组合累积收益率的期望值与风险价值(VaR)的加权和。该算法基于actor-critic结构,其中关键网络的主要任务是利用分位数回归学习投资组合累积收益率的分布,actor网络通过最大化上述目标函数输出最优投资组合权重。同时,我们利用一个线性转换函数来实现资产卖空。最后,使用多进程方法Ape-x来加快深度强化学习训练的速度。为了验证我们提出的方法,我们进行了两个代表性的投资组合的回测,并观察到,在这项工作中提出的模型是优于基准策略。
2022-08-28 cs.LG q-fin.RM
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep;AIMS;University of Stellenbosch(斯特伦博斯大学)
本文提出CPPO算法,通过对比性Q值直接优化策略优势,无需奖励函数或回放缓冲区,在连续和离散环境中均表现出色,超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
Contrastive Reinforcement Learning of Symbolic Reasoning Domains
Stanford University(斯坦福大学)
抽象符号推理,如数学和逻辑领域所需,是人类智能的关键组成部分。这些领域的求解器具有重要的应用,特别是计算机辅助教育。但是学习解决符号问题对于机器学习算法来说是具有挑战性的。现有的模型要么从人类解决方案中学习,要么使用手工设计的功能,这使得它们在新领域的应用成本很高。在本文中,我们将符号域视为简单的环境,其中状态和动作以非结构化文本的形式给出,二元奖励指示问题是否得到解决。这种灵活的设置使指定新域变得容易,但搜索和规划变得具有挑战性。我们介绍了受数学共同核心课程启发的四个环境,并观察到现有的强化学习基线表现不佳。然后,我们提出了一种新的学习算法,对比策略学习(ConPoLe),显式优化的InfoNCE损失,降低了当前状态和下一个状态之间的互信息,继续在路径上的解决方案。ConPoLe成功地解决了所有四个域。此外,通过ConPoLe学习的问题表征能够准确预测真实数学课程中的问题类别。我们的研究结果为符号领域的强化学习以及数学教育的应用提供了新的方向。
2021-11-08 cs.AI cs.LG
Maximising the Set-Piece Return: Optimising Football Corner Tactics with Graph Reinforcement Learning
School of Computer Science, University of Birmingham, Birmingham, UK(伯明翰大学计算机科学学院);Nottingham Forest Football Club, Nottingham, UK(诺丁汉森林足球俱乐部);Oxford Robotics Institute, University of Oxford, Oxford, UK(牛津大学机器人研究所);School of Sport, Exercise and Rehabilitation Sciences, University of Birmingham, Birmingham, UK(伯明翰大学运动、体能与康复科学学院)
提出一种基于图强化学习的框架,通过调整进攻球员位置和速度来最大化角球首次触球射门概率,在英超角球数据上优于传统优化方法。
2026-06-04 cs.LG
Hi-DARTS: Hierarchical Dynamically Adapting Reinforcement Trading System
Dept. of Computer Engineering Hongik University Seoul, South Korea;Dept. of Applied Data Science Sungkyunkwan University Seoul, South Korea;Dept. of Economics Hankuk University of Foreign Studies Seoul, South Korea
提出分层多智能体强化学习框架Hi-DARTS,通过元智能体动态激活不同时间频率的交易智能体,在保持计算效率的同时实现超越标准基准的风险调整后收益。
2025-09-15 cs.LG
Self-Confirming Superposition Traps in Reinforcement Learning
本研究揭示强化学习中一种自确认叠加陷阱:表示拟合的最优性可能维持低回报策略,并提出保留被忽略状态访问等干预措施以改善控制性能。
2026-09-29 cs.LG
Q-value Regularized Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Sun Yat-sen University(中山大学);JD Explore Academy(京东探索学院);Nanyang Technological University(南洋理工大学)
针对离线强化学习中条件序列建模难以拼接最优轨迹的问题,提出Q值正则化Transformer(QT),结合Transformer轨迹建模与动态规划价值预测,在D4RL基准上超越传统方法。
2024-05-27 cs.LG
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University(苏塞克斯大学);Air Force Research Laboratory(空军研究实验室)
本文提出对比解释学习框架VisionMask,通过自监督方式对比智能体所选动作与备选动作来生成解释,在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势,提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG