Mask-based Latent Reconstruction for Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
对于从像素进行深度强化学习(RL),学习有效的状态表示对于实现高性能至关重要。然而,在实践中,有限的经验和高维输入阻碍了有效的表示学习。为了解决这个问题,在其他研究领域的成功基于掩码的建模的动机,我们引入基于掩码的重建,以促进状态表示学习在RL。具体来说,我们提出了一个简单而有效的自我监督的方法,基于掩码的潜在重建(MLR),预测完整的状态表示在潜在的空间与空间和时间掩蔽像素的意见。MLR在学习状态表示时能够更好地使用上下文信息,使它们更具信息性,这有利于RL代理的训练。大量的实验表明,我们的MLR显着提高了RL的样本效率,并优于国家的最先进的样本效率RL方法在多个连续和离散控制基准。我们的代码可在https://github.com/microsoft/Mask-based-Latent-Reconstruction上获得。
2022-10-09 cs.LG
Bi-level Off-policy Reinforcement Learning for Volt/VAR Control Involving Continuous and Discrete Devices
Tsinghua University(清华大学)
在有源配电网的电压无功控制中,既有慢时标离散设备(STDD),也有快时标连续设备(FTCD)。有载分接开关(OLTC)等STDD和分布式发电机等FTCD应按时间顺序进行协调。这样的VCC被制定为两个时间尺度的优化问题,以联合优化ADN中的FTCD和STDD。传统的优化方法在很大程度上是基于系统的精确模型,但有时不切实际,因为他们负担不起的建模工作。在本文中,一种新的双层离政策强化学习(RL)算法,提出了解决这个问题的无模型的方式。定义了一个双层马尔可夫决策过程(BMDP)来描述两时间尺度的VVC问题,并为慢时间尺度和快时间尺度的子问题分别设置了智能体。对于快速时间尺度子问题,我们采用了一种具有高采样效率的非策略强化学习方法软行动者-批评者。对于慢的一个,我们开发了一个政策外的多离散软演员批评(MDSAC)算法来解决各种STDD的维数灾难。针对两个智能体学习过程中存在的非平稳性问题,提出了一种采用重要抽样技术的多时间尺度策略外修正方法。综合的数值研究不仅表明,所提出的方法可以实现稳定和令人满意的优化STDD和FTCD没有任何模型信息,但也支持所提出的方法优于现有的两个时标VVC方法。
2021-04-13 cs.AI cs.LG cs.SY
Learning Invariant Representations for Reinforcement Learning without Reconstruction
Facebook AI Research(Facebook AI研究院);University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);McGill University(麦吉尔大学)
我们研究了表示学习如何从丰富的观察(如图像)中加速强化学习,而不依赖于领域知识或像素重建。我们的目标是学习既能提供有效的下游控制又能对任务无关细节保持不变性的表示。互模拟度量量化连续MDP中状态之间的行为相似性,我们建议使用它来学习鲁棒的潜在表示,这些表示仅对来自观察的任务相关信息进行编码。我们的方法训练编码器,使得潜在空间中的距离等于状态空间中的互模拟距离。我们证明了我们的方法的有效性,在忽视任务无关的信息,使用修改后的视觉MuJoCo任务,其中的背景被替换为移动干扰和自然视频,同时实现SOTA性能。我们还测试了第一人称高速公路驾驶任务,我们的方法学习了云,天气和时间的不变性。最后,我们提供的泛化结果来自互模拟度量的属性,并链接到因果推理。
2021-04-07 cs.AI cs.LG stat.ML
Cut-and-Approximate: 3D Shape Reconstruction from Planar Cross-sections with Deep Reinforcement Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
目前的方法从一组平面截面的三维物体重建仍然难以捕捉详细的拓扑结构或需要相当数量的横截面。在本文中,我们提出,尽我们所知的第一个三维形状重建网络来解决这个任务,另外使用正交投影的形状。我们的方法基于应用强化学习算法来学习如何使用依赖于标量奖励的试错方案来有效地解析形状。该方法在每个步骤中切割3D形状的一部分,然后将其近似为多边形网格。代理的目标是最大化的奖励,这取决于表面重建的近似零件的精度。我们还考虑使用启发式方法生成的演示对网络进行预训练,以实现更快的学习。实验表明,我们的训练算法,受益于模仿学习和自我探索,学习有效的政策更快,这导致代理产生视觉上引人注目的结果。
2022-10-22 cs.CV cs.LG
Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces
Technical University of Munich(慕尼黑技术大学);University of Twente(埃因霍温大学)
本文提出距离引导强化学习(DGRL),通过采样动态邻域和基于距离的更新,在高达10^20个动作的问题中实现高效的强化学习,证明了其在结构任务中的局部价值提升,并在混合连续-离散动作空间中实现泛化。
2026-11-10 cs.AI cs.LG
Decoupled Hierarchical Reinforcement Learning with State Abstraction for Discrete Grids
School of Automation Science and Engineering, Xi’an Jiaotong University(自动化科学与工程学院,西安交通大学)
本文提出DcHRL-SA框架,通过解耦分层策略与状态抽象降低离散网格状态维度,实验表明其在探索效率、收敛速度、累积奖励和策略稳定性上均优于PPO。
2025-06-01 cs.AI cs.LG
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab(腾讯人工智能实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
大多数现有的深度强化学习(DRL)框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发,我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间,以前的工作要么近似的混合空间离散化,或放松到一个连续的集合。在本文中,我们提出了一个参数化的深度Q网络(P-DQN)框架的混合行动空间没有近似或松弛。该算法结合了DQN(处理离散动作空间)和DDPG(处理连续动作空间)的思想,将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Harnessing Discrete Representations For Continual Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本研究针对强化学习中离散观测表示的作用开展实证研究,验证其在世界模型学习、无模型RL及持续RL中相比连续表示的优势,揭示性能提升的潜在原因,为持续RL智能体更快适配提供支撑。
2024-07-13 cs.AI cs.LG
DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototypical Representations
Rutgers University(罗格斯大学);ETRI(韩国电子通信研究院)
性能最好的基于模型的强化学习(MBRL)代理,如Dreamer,通过重建图像观察来学习世界模型。因此,他们经常无法丢弃与任务无关的细节,并努力处理视觉干扰。为了解决这个问题,以前的工作提出了对比学习的世界模型,但性能往往是较差的,在没有分心。在本文中,我们试图提高MBRL代理的鲁棒性分心。具体来说,我们考虑将原型表示,这产生了更准确和更强大的结果比对比方法在计算机视觉。然而,它仍然是难以捉摸的原型表示如何有利于MBRL的时间动态学习,因为它们独立地对待每个图像,而不捕捉时间结构。为此,我们建议从世界模型的循环状态中学习原型,从而从过去的观察和动作中提取时间结构到原型中。由此产生的模型DreamerPro成功地将Dreamer与原型相结合,在标准设置和复杂的背景干扰下,都在DeepMind Control套件上取得了巨大的性能提升。代码可在https://github.com/fdeng18/dreamer-pro获得。
2021-10-27 cs.AI cs.LG
Reinforcement Learning-Driven Edge Management for Reliable Multi-view 3D Reconstruction
City University of New York(纽约城市大学)
针对边缘环境中多视图三维重建的可靠性问题,提出基于强化学习的双Q学习智能体框架,分别进行相机和服务器选择,在动态中断环境下平衡延迟与质量,提升应用可靠性。
2025-10-09 cs.AI cs.CV cs.DC
Reinforcement Learning-Based Optimization of CT Acquisition and Reconstruction Parameters Through Virtual Imaging Trials
Duke University(杜克大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本研究提出结合虚拟成像与强化学习(PPO)优化CT采集和重建参数,以最大化肝脏病变可检测性指数,较穷举搜索减少79.7%步骤并达到全局最优,兼具准确性与效率。
2025-10-09 cs.LG
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University(肯尼索州立大学)
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡,实现动态工作负载下的快速自适应,并在标准与自适应试验中优于A2C,同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Reinforcement Learning for a Discrete-Time Linear-Quadratic Control Problem with an Application
University of California, Berkeley(加州大学伯克利分校);College of Computing, Data Science, and Society(计算、数据科学与社会学院)
本文利用熵度量探索成本,证明离散时间LQ控制问题的最优策略为高斯型,并将其应用于均值-方差资产负债管理,验证了RL算法的改进性与收敛性。
2025-02-04 cs.LG math.OC stat.ML
Discrete-Time Mean-Variance Strategy Based on Reinforcement Learning
Shanghai University of Finance and Economics(上海财经大学);The Hong Kong Polytechnic University(香港理工大学);East China Normal University(华东师范大学)
本文提出基于强化学习的离散时间均值-方差模型,放宽资产收益分布假设,利用熵度量探索成本推导高斯型最优策略,并设计相应算法,实验证明其在实际数据中适用性优于连续时间模型。
2023-12-24 cs.LG q-fin.MF q-fin.PM
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法,通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
ORL-LDM: Offline Reinforcement Learning Guided Latent Diffusion Model Super-Resolution Reconstruction
本文提出ORL-LDM,通过构建状态、动作与奖励环境并用PPO在LDM反向去噪中微调,显著提升遥感图像超分辨率质量及复杂场景适应性。
2025-07-23 cs.AI cs.CV
Discrete linear-complexity reinforcement learning in continuous action spaces for Q-learning algorithms
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在这篇文章中,我们勾画了一个算法,扩展的Q-学习算法的连续动作空间域。我们的方法是基于动作空间的离散化。尽管常用的离散化方法,我们的方法不会增加离散化问题的维数指数。我们将证明,我们提出的方法是线性的离散化时的复杂性。在这项工作中提出的Q-学习算法的变体,标记为有限步Q-学习(FSQ),可以部署到浅层和深层神经网络架构。
2018-07-23 cs.AI cs.LG stat.ML
DCT: Dual Channel Training of Action Embeddings for Reinforcement Learning with Large Discrete Action Spaces
本文提出DCT框架,通过编码器-解码器架构与双通道损失学习动作嵌入,平衡动作重建与状态预测,结合标准强化学习算法,在大离散动作空间中显著提升策略学习效果与收敛速度。
2023-06-28 cs.AI cs.LG
Reinforcement Learning for Sampling on Temporal Medical Imaging Sequences
Amazon(亚马逊)
本文提出用双重深度Q学习和REINFORCE算法学习时间医学影像序列的最优采样策略,以加速MRI重建,并验证了强化学习在发现预训练重建器网络最优采样模式上的有效性。
2023-08-28 cs.LG eess.IV
Reinforcement Learning as (Discrete) Potential Theory
SRI International(SRI国际);Computer Science Laboratory(计算机科学实验室)
本文回顾强化学习与概率论、势理论的联系,在固定策略假设下从势理论视角研究强化学习的表示与算法,该视角或可提升样本效率并施加形式约束,且该框架可扩展至非线性情形。
2026-08-19 cs.GT cs.LG
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind(深度思维)
许多现实世界的控制问题既涉及离散决策变量(如控制模式的选择、档位切换或数字输出),也涉及连续决策变量(如速度设定值、控制增益或模拟输出)。然而,当定义相应的最优控制或强化学习问题时,通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者,专家逻辑学被用来从连续空间中删除离散的动作。相比之下,我们建议通过混合强化学习解决混合问题,同时优化离散和连续动作。在我们的实验中,我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后,我们显示,无论是在模拟和机器人硬件上,删除可能不完美的专家设计的prostitics的好处。最后,混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题,例如,通过添加Meta动作,以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology(工程 cybernetics 系,挪威科学与技术大学);Department of Engineering Sciences, University of Agder(工程科学系,阿格德大学)
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架,通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Reconstructing Actions To Explain Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
特征属性一直是解释深度神经网络(DNN)监督学习中输入特征重要性的基本构建块,但在应用于深度强化学习(RL)时面临新的挑战。我们提出了一种新的方法来解释深度RL动作,方法是定义一类\emph{action reconstruction}函数,模仿深度RL中网络的行为。这种方法使我们能够回答比直接应用DNN归因方法更复杂的可解释性问题,我们在构建我们的动作重建时采用了\emph{behavior-level attributions}。它还允许我们定义\emph{agreement},一个定量评估我们的方法的可解释性的度量。我们对各种Atari游戏的实验表明,基于扰动的归因方法比其他归因方法更适合于重建解释深度RL代理的动作,并且比现有的利用注意力的可解释性工作表现出更大的\emph{agreement}。我们进一步表明,行动重建使我们能够演示如何深入的代理学习玩吃豆人游戏。
2021-02-13 cs.AI cs.LG
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia(弗吉尼亚大学);MBZUAI(马克斯·普朗克智能系统研究所)
BraVE通过树状结构动作遍历,在离线强化学习中有效处理离散组合动作空间,实现性能提升20倍。
2026-01-07 cs.LG
Safety-Aware Task Composition for Discrete and Continuous Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文聚焦于强化学习中的布尔任务组合,引入两种安全概念并证明其正确性与权衡,将布尔组合从离散扩展至连续动作空间,通过改进版值迭代、DQN和TD3验证,推进了安全强化学习理论以实现零样本策略组合。
2023-06-29 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University(天津大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室)
深度强化学习(Deep Reinforcement Learning,DRL)已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而,据我们所知,没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合(或参数化)的行动空间,这是非常常见的实践。我们的工作填补了这一空白,提出了两个新的算法:深度多智能体参数化Q网络(深度MAPQN)和深度多智能体层次混合Q网络(深度MAHHQN)。我们遵循集中式训练但分散式执行的范式:不同代理之间的不同级别的通信用于促进训练过程,而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务(模拟RoboCup足球和游戏Ghost Story)的实证结果表明,Deep MAPQN和Deep MAHHQN都是有效的,并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction
Human Inductive Bias Project(人类归纳偏差项目)
该研究提出一种基于强化学习智能体先验的无监督框架,用于从观察中检测环境中的智能体并重构其策略,解决了仅通过观察建模环境智能体的问题。
2026-08-25 cs.AI
Deep Reinforcement Learning in Large Discrete Action Spaces
Google DeepMind(谷歌DeepMind)
能够在具有大量离散行为的环境中进行推理,对于将强化学习应用于更大类的问题至关重要。推荐系统、工业工厂和语言模型只是涉及大量离散动作的许多现实世界任务中的一部分,对于这些任务,当前的方法很难甚至常常不可能应用。在操作集合上进行概括的能力以及相对于集合大小的次线性复杂度对于处理这样的任务都是必要的。目前的方法是不能够提供这两个,这促使在本文中的工作。我们提出的方法利用先验信息的行动,将它们嵌入到一个连续的空间,它可以概括。此外,近似最近邻方法允许相对于动作数量的时间查找复杂度,这对于时间上易处理的训练是必要的。这种组合方法允许将强化学习方法应用于以前用当前方法难以解决的大规模学习问题。我们展示了我们的算法的能力,在一系列的任务有多达一百万的行动。
2016-04-04 cs.AI cs.LG cs.NE
Deep Reinforcement Learning For Modeling Chit-Chat Dialog With Discrete Attributes
Mila, Université de Montréal(蒙特利尔大学Mila);Google Research(谷歌研究院)
开放域对话系统面临的挑战是重复的,并产生通用的反应。在本文中,我们表明,通过调节可解释的离散对话属性和组成属性的响应生成,它有助于提高模型的困惑,并导致不同的和有趣的非冗余的响应。我们建议将对话属性预测公式化为强化学习(RL)问题,并使用策略梯度方法来优化使用长期奖励的话语生成。与现有的RL方法,制定令牌预测作为一个政策,我们的方法通过限制动作空间对话属性,从而降低了策略优化的复杂性,使策略优化更实用和样本效率。我们证明了这一点与实验和人类的评价。
2019-09-14 cs.CL cs.LG
Consolidating Reinforcement Learning for Multimodal Discrete Diffusion Models
University of Chinese Academy of Sciences(中国科学院大学)
针对离散扩散模型强化学习优化的难题,提出MaskGRPO方法,通过构建适配的重要性估计器与视觉序列滚动推演方案,在多类基准上实现更稳定高效的优化,提升推理与生成效果。
2025-10-03 cs.AI
Offline Reinforcement Learning with Discrete Diffusion Skills
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出离散扩散技能(DDS)用于离线强化学习,利用Transformer编码器和扩散解码器构建紧凑离散技能空间,在长时程任务上显著提升性能,并增强可解释性与稳定性。
2025-03-26 cs.AI cs.LG cs.RO
DRLComplex: Reconstruction of protein quaternary structures using deep reinforcement learning
University of Missouri(密苏里大学)
预测的链间残基-残基接触可用于从头开始构建蛋白质复合物的四级结构。然而,只有少数的方法已经开发出使用预测的链间接触来重建蛋白质四级结构。在这里,我们提出了一种基于深度强化学习(DRL Complex)的基于Agent的自学习方法,以链间接触作为距离约束来构建蛋白质复合物结构。我们在同源二聚体和异源二聚体蛋白质复合物的两个标准数据集上严格测试了DRL Complex(即,CASP-CAPRI同源二聚体和Std_32异源二聚体数据集)。利用真实接触作为输入,DRLComplex在两个数据集上分别实现了0.9895和0.9881的高平均TM分数以及0.2197和0.92的低平均界面RMSD(I_RMSD)。当使用预测的接触时,该方法对于同二聚体和异二聚体分别实现0.73和0.76的TM分数。我们的实验发现,重建的四级结构的准确性取决于接触预测的准确性。与其他优化方法相比,DRL Complex的性能与先进的梯度下降方法相近,优于Markov Chain Monte Carlo模拟方法和基于模拟退火的方法,验证了DRL Complex用于蛋白质复合物四级结构重构的有效性.
2022-05-26 cs.AI cs.LG q-bio.BM
HyAR: Addressing Discrete-Continuous Action Reinforcement Learning via Hybrid Action Representation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络空间安全学院)
离散-连续混合动作空间是机器人控制、游戏人工智能等许多实际问题的自然背景。然而,大多数强化学习(RL)的工作只展示了成功的控制与离散或连续的动作空间,而很少考虑到混合的动作空间。解决混合动作RL的一种简单方法是通过离散化或连续化将混合动作空间转换为统一的齐次动作空间,以便可以应用常规RL算法。然而,这忽略了混合动作空间的底层结构,也导致了可扩展性问题和额外的近似困难,从而导致退化的结果。在本文中,我们提出了混合动作表示(HyAR)学习一个紧凑的和可解码的潜在的表示空间的原始混合动作空间。HyAR构造了隐空间,并通过嵌入表和条件变分自动编码器(VAE)嵌入离散动作和连续参数之间的依赖关系。为了进一步提高有效性,通过无监督的环境动态预测来训练动作表示以使其在语义上平滑。最后,代理然后学习其政策与传统的DRL算法在学习的表示空间和与环境进行交互,通过解码的混合动作嵌入到原始的动作空间。我们评估HyAR在各种环境中的离散连续的动作空间。结果表明,HyAR的优越性相比,以前的基线,特别是对于高维动作空间。
2022-03-16 cs.AI cs.LG
Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning
University of Kentucky(肯塔基大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对具身强化学习分布式训练,提出TRACE时间梯度反演攻击,利用跨时间相关性与闭式动作恢复,自回归重建私有轨迹,实现高PSNR与近完美动作恢复,且速度远超基线。
2026-11-10 cs.LG
Discretizing Continuous Action Space with Unimodal Probability Distributions for On-Policy Reinforcement Learning
Nanjing University(南京大学);Research Center for Novel Technology of Intelligent Equipment, Nanjing University(南京大学智能装备新技术研究中心);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出利用 Poisson 单峰概率分布约束离散策略,以保留连续动作空间的顺序与连续性,从而降低策略梯度方差并提升同策略强化学习在复杂控制任务中的收敛速度与性能。
2024-08-01 cs.AI cs.LG
Deep Reinforcement Learning for Data-Driven Adaptive Scanning in Ptychography
Humboldt Universität zu Berlin(柏林洪堡大学)
我们提出了一种方法,通过自适应扫描的标本,从而提供所需的空间信息冗余的最高重要性的区域,降低了重叠关联重建所需的剂量。所提出的方法建立在通过强化学习(RL)训练的深度学习模型上,使用来自训练数据集的样本结构的先验知识。我们表明,等效的低剂量实验,使用自适应扫描优于传统的重叠关联实验重建分辨率。
2022-03-29 cs.CV cs.LG physics.comp-ph
Reinforcement Learning in Non-Stationary Discrete-Time Linear-Quadratic Mean-Field Games
Coordinated Science Laboratory, University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校协同科学实验室)
在本文中,我们研究了离散时间线性二次平均场博弈(LQ-MFG)背景下的大种群多智能体强化学习(RL)。我们的设置不同于大多数现有的工作RL的MFG,因为我们认为一个非平稳的MFG在无限的地平线。我们提出了一个演员评论家算法迭代计算的平均场平衡(MFE)的LQ-MFG。存在两个主要挑战:i)MFG的非平稳性引起线性二次跟踪问题,这需要求解时间上的向后(非因果)方程不能通过标准(因果)RL算法求解; ii)许多RL算法假设状态是从马尔可夫链(MC)的平稳分布中采样的,也就是说,该链已经是混合的,不满足真实数据源的假设。我们首先确定,平均场轨迹遵循线性动力学,使问题被重新表述为线性二次高斯问题。根据这种重新制定,我们提出了一个演员批评的算法,允许从一个未混合的MC的样本。然后提供算法的样本收敛保证。为了描述我们的算法在多智能体RL中的性能,我们已经开发了一个关于有限种群博弈的纳什均衡的误差界。
2020-10-01 cs.GT cs.LG cs.SY
DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
Department of Computer Science University of Bath(计算机科学系巴斯大学);Department of Psychology University of Bath(心理学系巴斯大学)
DHP通过离散可达性检查和递归分解任务,提升分层强化学习代理在长距离视觉规划中的效率和泛化能力。
2025-12-19 cs.AI cs.LG cs.RO
Conjugated Discrete Distributions for Distributional Reinforcement Learning
Department of Mathematics, Linnæus University(林奈大学数学系)
在这项工作中,我们继续建立在有限马尔可夫过程的强化学习的最新进展。在以前的现有算法中,无论是单演员还是分布式算法,一种常见的方法是剪辑奖励或在Q函数上应用变换方法来处理实际贴现收益中的各种幅度。我们从理论上表明,最成功的方法之一可能不会产生最优的政策,如果我们有一个非确定性的过程。作为一种解决方案,我们认为分布式强化学习有助于完全纠正这种情况。通过引入一个共轭分布算子,我们可以处理一个大类的变换,保证理论收敛的实际回报。我们提出了一个近似的单演员算法的基础上,该运营商的训练代理直接使用适当的分配度量的Cramér距离不变的奖励。为了评估其性能在随机设置,我们训练代理商在一套55雅达利2600游戏使用粘性行动,并获得国家的最先进的性能相比,其他知名的算法在多巴胺框架。
2021-12-14 cs.AI cs.LG stat.ML
An Idiosyncrasy of Time-discretization in Reinforcement Learning
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
本文研究强化学习中时间离散化粒度对回报定义的影响,指出直接应用离散时间算法存在不一致性,并提出一种简单修改以对齐连续时间与离散时间回报定义。
2024-09-02 cs.AI cs.LG
Formalising the Foundations of Discrete Reinforcement Learning in Isabelle/HOL
Artificial Intelligence and its Applications Institute (AIAI), School of Informatics, University of Edinburgh(爱丁堡大学信息学院人工智能及其应用研究所)
我们在伊莎贝尔定理证明器中给出了有限马尔可夫决策过程的形式化,并给出了奖励。我们专注于动态规划所需的基础和使用强化学习代理等过程。特别是,我们从第一原理(标量和矢量形式)推导出贝尔曼方程,推导出一个矢量计算,产生任何政策p的期望值,并继续证明存在一个普遍的最优政策,其中有一个折扣因子小于1。最后,我们证明了价值迭代和策略迭代算法在有限时间内工作,分别产生ε-最优和完全最优策略。
2021-12-11 cs.AI cs.LO math.OC
OptiLeak: Efficient Prompt Reconstruction via Reinforcement Learning in Multi-tenant LLM Services
City University of Hong Kong(香港城市大学);ByteDance Inc.(字节跳动公司)
OptiLeak通过强化学习和两阶段微调,在多租户LLM服务中高效重建提示,减少请求次数达12.48倍,提升隐私保护。
2026-02-24 cs.AI cs.CR
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University(重庆大学)
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题,并取得了巨大的成功。然而,大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习(drl)应用于混合行动空间的多智能体问题的研究还很少。因此,我们提出了一种新的算法:深度多智能体混合软Actor-Critic(MAHSAC)来填补这一空白。该算法遵循集中式训练分散式执行(CTDE)的思想,扩展了软Actor-Critic算法(SAC),使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的,它具有连续的观察和离散的动作空间,以及一些基本的模拟物理。实验结果表明,MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时,它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果,并且往往优于actor-critic算法。我们认为,演员批评家的算法是有限的,他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代(BDPI),一种新的无模型强化学习算法的连续状态和离散的行动,与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放,确保高采样效率,而不需要政策外的校正。演员,通过慢慢地模仿平均贪婪的政策的批评,导致高质量和国家特定的探索,我们比较汤普森抽样。因为演员和评论家是完全解耦的,BDPI非常稳定,并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中,BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码:https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Reinforcement Learning in Presence of Discrete Markovian Context Evolution
Huawei UK R&D(华为英国研发中心);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
我们考虑一个上下文相关的强化学习(RL)设置,其特征在于:a)未知的有限数量的不可直接观察的上下文; b)突然(不连续)的上下文变化发生在一个情节;和c)马尔可夫上下文进化。我们认为,这种具有挑战性的情况下,经常遇到的应用程序,我们解决它使用贝叶斯方法和变分推理。我们采用粘性分层狄利克雷过程(HDP)之前的模型学习,这可以说是最适合马尔可夫过程建模。然后,我们推导出一个上下文蒸馏过程,它识别和删除虚假的上下文在一个无监督的方式。我们认为,这两个组件的组合允许从数据中推断出上下文的数量,从而处理上下文基数假设。然后,我们找到的最佳策略,使有效的策略学习使用现成的RL算法的表示。最后,我们经验证明(使用健身房环境推车杆摆动,无人机,十字路口),我们的方法成功的国家的最先进的方法的其他框架失败,并详细说明这种失败的原因。
2022-02-14 cs.AI cs.LG
Model-Based Reinforcement Learning in Discrete-Action Non-Markovian Reward Decision Processes
Fondazione Bruno Kessler(布雷诺·科塞拉基金会);Sapienza University of Rome(罗马萨皮恩扎大学)
提出QR-MAX算法,通过奖励机分解马尔可夫转移学习与非马尔可夫奖励处理,首次在离散NMRDP中获得PAC收敛到ε-最优策略的多项式样本复杂度,并扩展至连续状态空间。
2026-06-08 cs.AI cs.LG
Discrete Flow Matching for Offline-to-Online Reinforcement Learning
Department of Computer Science, University of Kentucky(卡内基梅隆大学计算机科学系)
本文提出DRIFT方法,通过离散流匹配损失和路径空间惩罚,提升离线到在线强化学习的稳定性与性能,实验显示其在离散动作空间任务中表现优异。
2026-11-17 cs.AI cs.LG
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab(华为EI创新实验室);E Fund Innovation Lab(易方达创新实验室)
在算法交易中,最优执行是一个节约成本的序贯决策问题。研究发现,强化学习(RL)可以帮助确定订单拆分大小。然而,一个问题仍然没有解决:如何在适当的限价下限价订单?关键的挑战在于行动空间的“连续-离散二元性”。一方面,使用价格变化百分比的连续行动空间更适合推广。另一方面,由于最小价格变动单位的存在,交易者最终需要离散地选择限价,这需要针对具有不同特征的每只股票进行专业化(例如,流动性和价格范围)。因此,我们需要连续控制的泛化和离散控制的专业化。为此,我们提出了一种混合RL方法,结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集,然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明,我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
Deep Reinforcement Learning with Discrete Normalized Advantage Functions for Resource Management in Network Slicing
Zhejiang University(浙江大学)
网络切片承诺在一个基础设施中提供具有不同需求的多样化服务。深度强化学习(例如,深度$\mathcal{Q}$学习,DQL)被假定为通过将变化的需求和分配的带宽分别视为环境状态和动作来解决网络切片中的需求感知切片间资源管理问题的适当算法。然而,以更精细的分辨率分配带宽通常意味着更大的动作空间,不幸的是,DQL在这种情况下无法快速收敛。在DQL中引入离散归一化优势函数(DNAF),将$\mathcal{Q}$ -价值函数分离为状态-价值函数项和优势项,并利用确定性策略梯度下降(DPGD)算法避免了对每个状态-动作对进行不必要的$\mathcal{Q}$ -值计算。此外,由于DPGD只工作在连续的动作空间中,我们嵌入了一个k-最近邻算法到DQL中,以快速找到一个有效的动作在离散空间中最接近DPGD输出。最后,我们通过大量的模拟验证了基于DNAF的DQL的更快收敛。
2019-06-10 cs.LG stat.ML
When does Self-Prediction help? Understanding Auxiliary Tasks in Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文研究了观测重建和潜在自预测等辅助任务在强化学习表示学习中的作用,通过线性模型假设下的理论分析解释了它们的有效性,并验证了该框架在非线性神经网络中的实用价值。
2024-06-25 cs.LG
cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);AXXX;ETH Zurich(苏黎世联邦理工学院);Innopolis University(因诺波利斯大学);Institute of Mechanics, Armenia(亚美尼亚力学研究所)
cadrille通过强化学习实现多模态CAD重建,首次在CAD任务中应用RL微调,提升重建性能并设定新基准。
2026-02-17 cs.CV cs.LG
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore(新加坡国立大学计算机学院);Department of Statistics, University of Oxford, United Kingdom(英国牛津大学统计系);School of Intelligence Science(智能科学学院);Technology, Nanjing University, China(技术学院,南京大学,中国)
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧,在软思考模式下提升LLM推理性能,使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
PointPatchRL -- Masked Reconstruction Improves Reinforcement Learning on Point Clouds
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人体工程与机器人研究所);HIDSS4Health - Helmholtz Information and Data Science School for Health(HIDSS4Health - 亥姆霍兹健康信息与数据科学学院)
本文提出PointPatchRL,通过点云补丁分词、Transformer编码与掩码重建提升点云强化学习,在复杂可变形物体操作任务中优于强图像观测基线。
2024-10-24 cs.LG cs.RO
Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning
McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所Mila);University of Montreal(蒙特利尔大学);Beijing Institute of Technology(北京理工大学);Harvard University(哈佛大学);DeepMind;Microsoft Research(微软研究院)
目标条件强化学习(RL)是一个很有前途的方向,训练代理,能够解决多个任务,并达到不同的目标集。如何以这样一种方式来实现\textit{specify}和\textit{ground}这些目标,即我们既可以在培训期间可靠地达到目标,又可以在评估期间概括到新的目标,这仍然是一个开放的研究领域。在嘈杂和高维感官输入的空间中定义目标对训练目标条件代理提出了挑战,甚至对新目标的泛化提出了挑战。我们建议通过学习目标的阶乘表示并通过离散化瓶颈处理所得到的表示来解决这个问题,对于粗糙的目标规范,通过一种我们称之为DGRL的方法。我们表明,应用离散化瓶颈可以提高目标条件强化学习设置的性能,通过实验评估这种方法的任务范围从迷宫环境到复杂的机器人导航和操作。此外,我们证明了一个定理下界的预期回报分布的目标,同时仍然允许指定的目标与表达组合结构。
2022-11-01 cs.AI cs.LG