Deep Reinforcement Learning for Shared Autonomous Vehicles (SAV) Fleet Management
Virginia Polytechnic(弗吉尼亚理工学院)
共享自动驾驶汽车(SAV)车队公司正在全国范围内启动试点项目。2020年,弗吉尼亚州费尔法克斯宣布了弗吉尼亚州首个共享自动驾驶车队试点项目。SAV承诺改善生活质量。然而,SAV也会产生额外的车辆行驶里程(VMT),从而导致更多的排放,能源消耗和排放,从而产生一些负外部性。过多的VMT主要是通过空重定位过程产生的。基于强化学习的算法正在被研究,作为解决其中一些问题的可能解决方案:最明显的是最大限度地减少乘客的等待时间。但是,还没有研究使用强化学习减少停车位成本或减少空巡航时间。本研究探讨不同的\textbf {强化学习方法,然后决定最佳的方法,以帮助减少乘客等待时间,停车成本和空行程
2022-01-15 cs.LG cs.RO
Meta Reinforcement Learning with Task Embedding and Shared Policy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
尽管取得了重大进展,但深度强化学习(RL)仍存在数据效率低下和泛化能力有限的问题。最近的努力应用元学习从一组RL任务中学习元学习者,以便可以快速解决新的但相关的任务。虽然在某些方面是特定的,但元强化学习中的不同任务在高层次上通常是相似的。然而,大多数元强化学习方法没有明确和充分地建模不同任务之间的特定和共享信息,这限制了它们学习训练任务和推广到新任务的能力。在本文中,我们建议一方面捕获共享信息,另一方面元学习如何快速提取有关任务的特定信息。在方法上,我们训练SGD元学习器来快速优化每个任务的任务编码器,该任务编码器基于过去的经验生成任务嵌入。同时,我们学习了一个策略,该策略在所有任务之间共享,并以任务嵌入为条件。在四个模拟任务上的实验结果表明,我们的方法在训练和新任务上都具有更好的学习能力,并且与基线相比,获得了高达3到4倍的回报。
2019-06-04 cs.AI cs.LG stat.ML
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问,以使其执行更有效。在这项工作中,我们介绍了共享情景记忆(SEM)的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识,以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
Reinforcement Learning-enhanced Shared-account Cross-domain Sequential Recommendation
Shandong Normal University(山东师范大学);The University of Queensland(昆士兰大学)
共享账户跨域顺序推荐(SCSR)是一个新兴的具有挑战性的研究课题,它同时考虑了共享账户和跨域的特点。现有的SCSR研究主要基于递归神经网络(RNN)和图神经网络(GNN),但忽略了多个用户共享一个帐号,但帐号每次主要由一个用户占用的事实。这种观察激励我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外,虽然现有的工作赋予较低的权重,无关的互动,他们仍然可能稀释域信息,并阻碍跨域推荐。为了解决上述问题,我们提出了一个基于强化学习的解决方案,即RL-ISN,它由一个基本的跨域推荐和一个基于强化学习的域过滤器。具体来说,为了对共享账户场景中的账户表示进行建模,基本推荐器首先将用户的混合行为聚类为潜在用户,然后利用对它们的注意力模型来进行用户识别。为了减少不相关的领域信息的影响,我们制定的领域过滤器作为一个分层的强化学习任务,其中一个高层次的任务是用来决定是否修改整个传输序列或没有,如果是这样,一个低层次的任务是进一步执行,以确定是否删除其中的每个交互或没有。为了评估我们的解决方案的性能,我们在两个真实世界的数据集上进行了广泛的实验,实验结果表明,我们的RL-ISN方法相比,国家的最先进的推荐方法的优越性。
2022-06-16 cs.AI cs.IR cs.LG
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech(康奈尔科技)
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务,但是这些算法目前需要数百万个训练步骤才能学习,使得它们比人类慢大约五个数量级。其中一个原因是,人类构建了适用于问题集合的强大共享表示,使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法,以帮助迁移学习研究,然后通过展示模型可以从相关的建筑先验的结合中大大受益,从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields
针对大规模终身多智能体路径寻优问题,提出基于共享空间场与平均奖励强化学习的导航策略,在10000智能体的6种布局上,吞吐量优于或相当最强基线,执行速度快一个数量级以上。
2026-11-19 cs.LG
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University(纽约大学)
标准的深度强化学习算法使用策略和价值函数的共享表示,特别是在直接从图像进行训练时。然而,我们认为,需要更多的信息来准确地估计价值函数比学习的最优策略。因此,使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题,我们提出了两种方法,结合起来创建IDAAC:不变解耦优势演员批评。首先,IDAAC使用单独的网络对策略和价值函数进行建模,从而实现了策略和价值函数的优化。其次,它引入了一个辅助损失,鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力,在Procgen基准测试中达到了新的最先进水平,并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation
Gwangju Institute of Science and Technology(光州科学技术学院)
研究如何在过程级生成强化学习中实现人类对齐,提出VIPCGRL框架,整合文本、关卡和草图模态,通过四重对比学习训练共享嵌入空间,基于嵌入相似度调整策略,实验证明该框架在类人性上优于现有基线。
2026-07-20 cs.AI
DiGrad: Multi-Task Reinforcement Learning with Shared Actions
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
大多数强化学习算法对于复杂机器人系统中的多个任务的学习是低效的,其中不同的任务共享一组动作。在这样的环境中,可以利用共享的神经网络参数来学习复合策略,其同时执行多个任务。然而,这种复合策略可能会偏向于一个任务,或者来自不同任务的梯度相互抵消,使得学习不稳定,有时数据效率较低。在本文中,我们提出了一种新的方法,同时训练多个任务共享一组共同的行动在连续的行动空间,我们称之为DiGrad(差分策略梯度)。所提出的框架是基于差分策略梯度,可以容纳在一个单一的演员-评论家网络的多任务学习。我们还提出了一个简单的启发式的差分策略梯度更新,以进一步提高学习。在8连杆平面机械臂和27自由度仿人机器人上分别对3个和2个末端执行器的多目标可达性任务进行了学习测试。我们表明,我们的方法支持复杂机器人系统中的高效多任务学习,在连续动作空间中优于相关方法。
2018-02-27 cs.AI cs.LG cs.RO
Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
探索多智能体强化学习是一个具有挑战性的问题,特别是在稀疏奖励的环境中。我们提出了一个通用的方法,有效的探索,通过分享经验之间的代理。我们提出的算法,称为共享经验演员批评(SEAC),适用于演员批评框架中的经验共享。我们在一组稀疏奖励多智能体环境中评估了SEAC,发现它通过更少的步骤学习并收敛到更高的回报,始终优于两个基线和两个最先进的算法。在一些更困难的环境中,经验分享决定了学习解决任务和根本不学习的区别。
2021-05-19 cs.LG cs.MA
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation(神经计算研究所);Ruhr-University Bochum(波鸿鲁尔大学)
在多任务强化学习环境中,学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时,经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法,我们证明了一个不利的影响时,使用一个单一的学习动力学模型的多个任务。因此,我们解决了一个基本问题,即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型,我们看到了任务混乱和性能下降的明显证据。作为补救措施,通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构,在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果,通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Task Offloading in Wireless Edge Networks
LIA, Avignon University(阿维尼翁大学LIA中心);INRIA, Sophia Antipolis, France(法国索菲亚Antipolis研究所)
本文提出一种去中心化多智能体强化学习框架,通过共享约束向量实现隐式协调,解决边缘计算中任务卸载的资源竞争问题,在有限通信下优于集中式和独立基线。
2025-10-23 cs.AI cs.LG cs.NI
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University(莫纳什大学);Cerenaut(塞雷诺特公司)
提出WMAR算法,通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型,在持续强化学习中减少遗忘并提升技能迁移,实验验证其有效性。
2024-07-16 cs.AI cs.LG
Shared Control of Holonomic Wheelchairs through Reinforcement Learning
Swiss Paraplegic Research, SPF(瑞士瘫痪研究机构);SCAI Lab, D-HEST, Swiss Federal School of Technology in Zurich - ETH Zurich(SCAI实验室,瑞士联邦理工学院-苏黎世-ETH Zurich);Centre for Artificial Ingelligece, Zurich University of Applied Sciences - ZHAW. Switzerland(人工智能中心,瑞士应用科学大学-ZHAW)
针对全向轮椅共享控制中行为不直观、未发挥全向能力的问题,提出强化学习方法将二维用户输入映射为三维运动,并通过仿真与实机验证其安全、平滑且低认知负荷。
2025-07-22 cs.LG cs.RO
Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
本研究提出CD-RFT方法,定义后训练控制系数揭示RL后训练的共享控制瓶颈,通过正则化减少控制坍缩,在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升,效果可迁移至Llama-3.2-3B。
2026-08-11 cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院)
Meta强化学习(meta-RL)旨在学习一种策略,同时解决一组训练任务并快速适应新任务。它需要从训练任务中提取大量数据来推断任务之间共享的共同结构。在没有重奖励工程的情况下,长时间任务中的稀疏奖励加剧了元RL中的样本效率问题。元强化学习的另一个挑战是任务之间的难度水平的差异,这可能会导致一个简单的任务支配共享策略的学习,从而妨碍策略适应新任务。这项工作引入了一个新的目标函数来学习训练任务中的动作翻译器。我们从理论上证明了带有动作翻译器的转移策略的值可以接近源策略的值,并且我们的目标函数(近似)上界值差。我们建议将动作翻译器与基于上下文的元RL算法相结合,以在元训练期间更好地收集数据汇集和更有效地探索。我们的方法经验性地提高了样本效率和元RL算法在稀疏奖励任务上的性能。
2022-07-20 cs.AI cs.LG
Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
Gwangju Institute of Science and Technology (GIST)(光州科学技术学院)
Prism通过谱域参数共享机制,在多智能体强化学习中实现智能体间多样性与资源效率的平衡。
2026-02-06 cs.AI cs.LG cs.MA
Fleet Rebalancing for Expanding Shared e-Mobility Systems: A Multi-agent Deep Reinforcement Learning Approach
University of Exeter(埃克塞特大学);The Alan Turing Institute(阿兰·图灵研究所);University of Warwick(华威大学);Tongji University(同济大学);University of Leeds(利兹大学);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
针对扩展中的共享电动出行系统,提出一种考虑续航与充电约束的多智能体深度强化学习车队再平衡方法,通过高保真模拟与动作级联策略优化,显著提升需求满足率和净收入。
2022-11-11 cs.AI cs.LG cs.SY
The Thing That We Tried Didn't Work Very Well : Deictic Representation in Reinforcement Learning
MIT(麻省理工学院)
大多数强化学习方法对世界状态的命题表示进行操作。这样的表示往往是难以处理的大和一般性差。使用指示表示被认为是一种可行的替代方案:它们承诺泛化,同时允许使用现有的重复学习方法。然而,在文献中很少有关于指示表征学习的实验报道。在本文中,我们探讨了两种形式的指示表示和一个朴素的命题表示在一个简单的块世界域的有效性。我们发现,经验,指示表征实际上恶化学习成绩。最后,我们讨论这些结果的可能原因和策略,更有效地学习领域的对象。
2012-12-12 cs.AI cs.LG
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center(分布式计算研究中心)
本文提出RGIA方法,通过正则化梯度反向攻击,有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
Distral: Robust Multitask Reinforcement Learning
DeepMind
大多数深度强化学习算法在复杂和丰富的环境中数据效率低下,限制了它们对许多场景的适用性。提高数据效率的一个方向是具有共享神经网络参数的多任务学习,其中可以通过在相关任务之间的转移来提高效率。然而,在实践中,这通常不会被观察到,因为不同任务的梯度可能会产生负面影响,使学习不稳定,有时甚至降低数据效率。另一个问题是任务之间的奖励方案不同,这很容易导致一个任务主导共享模型的学习。我们提出了一种新的多任务联合训练方法,我们称之为Distral(Distill &迁移学习)。我们建议共享一个“蒸馏”的政策,捕捉跨任务的共同行为,而不是在不同的工人之间共享参数。每个工作者都被训练来解决自己的任务,同时被约束为接近共享策略,而共享策略则通过蒸馏被训练为所有任务策略的质心。学习过程的两个方面都是通过优化联合目标函数来实现的。我们表明,我们的方法支持复杂的3D环境中的高效传输,优于几个相关的方法。此外,所提出的学习过程更鲁棒,更稳定--这些属性在深度强化学习中至关重要。
2017-07-13 cs.LG stat.ML
MORE-3S:Multimodal-based Offline Reinforcement Learning with Shared Semantic Spaces
Beijing University of Posts and Telecommunications(北京邮电大学);University of Waterloo(滑铁卢大学)
本文提出MORE-3S,通过将图像状态与文本动作对齐到共享语义空间,把离线强化学习转化为有监督学习任务,在Atari和OpenAI Gym上显著超越现有基线。
2024-02-20 cs.AI cs.GT
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
SafeDiSTL是一种受限多智能体强化学习框架,通过STL鲁棒性实现联合约束下的信用分配,在三类多智能体任务中较基线显著提升了安全性能与任务表现。
2026-10-12 cs.AI cs.LG
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University(北京师范大学)
针对视觉深度强化学习中高维图像输入问题,受自然语言处理等启发,提出基于掩码预测的自监督任务作辅助,结合transformer提升强化学习样本效率,在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Representation-Driven Reinforcement Learning
Department of Electrical-Engineering, Technion Institute of Technology, Israel(电气工程系,技术学院技术研究所,以色列);Nvidia Research(Nvidia研究);Technion (currently at Google Research)(技术学院(目前在谷歌研究))
本文提出了一种基于表示的强化学习框架,通过将策略表示为预期值的估计,利用上下文老虎机技术提升探索与利用效率,显著改进了传统方法的性能。
2026-01-22 cs.AI cs.LG
Exploring Shared Structures and Hierarchies for Multiple NLP Tasks
Fudan University(复旦大学)
设计共享的神经结构在多任务学习中起着重要的作用。面临的挑战是,找到一个最佳的共享方案在很大程度上依赖于专家知识,是不可扩展的大量不同的任务。受神经结构搜索(NAS)的启发,我们将强化学习应用于自动寻找可能的多任务学习共享结构。具体来说,我们使用一个控制器从一组可共享的模块中进行选择,并组装一个特定于任务的架构,并对其他任务重复相同的过程。控制器通过强化学习进行训练,以最大限度地提高所有任务的预期精度。我们对两种类型的任务进行了广泛的实验,文本分类和序列标记,这证明了我们的方法的好处。
2018-08-23 cs.AI cs.CL
Shared Autonomy via Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在共享自治中,用户输入与半自治控制相结合,以实现共同的目标。目标通常是事先未知的,因此先前的工作使代理能够从用户输入中推断目标并协助任务。这样的方法倾向于假设环境的动态知识、给定用户目标的用户策略以及用户可能瞄准的可能目标的集合的某种组合,这将它们的应用限制于现实世界场景。我们提出了一个深度强化学习框架,用于无模型共享自治,提升了这些假设。我们使用具有神经网络函数近似的人在回路强化学习来学习从环境观察和用户输入到代理动作值的端到端映射,任务奖励作为唯一的监督形式。这种方法提出了以下挑战:足够紧密地跟随用户命令,以向用户提供实时动作反馈,从而确保高质量的用户输入,但也在用户的动作次优时偏离用户的动作。我们通过丢弃值低于某个阈值的动作来平衡这两种需求,然后选择最接近用户输入的剩余动作。控制研究与用户(n = 12)和合成飞行员玩视频游戏,和飞行员研究与用户(n = 4)飞行一个真正的四旋翼机,证明了我们的算法,以帮助用户的实时控制任务,其中代理不能直接访问用户的私人信息,通过观察,但收到的奖励信号和用户输入,都取决于用户的意图。代理学习帮助用户,而不访问这些私人信息,隐式地从用户的输入中推断出来。本文是一个概念证明,说明了深度强化学习的潜力,使灵活和实用的辅助系统。
2018-05-23 cs.HC cs.LG cs.RO
Reinforcement Learning with Prototypical Representations
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
在基于图像的环境中学习有效的表示对于样本有效的强化学习(RL)是至关重要的。不幸的是,在强化学习中,表示学习与智能体的探索性经验相混淆-学习有用的表示需要不同的数据,而有效的探索只有在连贯的表示中才有可能。此外,我们希望学习的表示不仅可以在任务之间进行泛化,还可以加速下游探索,以实现高效的特定任务训练。为了解决这些挑战,我们提出了Proto-RL,一个自我监督的框架,通过原型表示将表示学习与探索联系起来。这些原型同时作为一个代理的探索经验的总结,以及代表观察的基础。我们在没有下游任务信息的环境中预训练这些任务不可知的表示和原型。这使得能够针对一组困难的连续控制任务进行最先进的下游策略学习。
2021-07-20 cs.AI cs.LG
SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning
Beijing Institute of Technology(北京理工大学);University of the Sunshine Coast(阳光海岸大学)
这项工作探讨了如何从基于图像的观察与深度强化学习方法学习强大的和可推广的状态表示。针对现有互模拟度量中存在的计算复杂性、严格假设和表示坍塌等问题,设计了简单状态表示(SimSR)算子. SimSR使我们能够设计一种随机近似方法,可以实际学习从观测到潜在表示空间的映射函数(编码器)。除了与现有工作的理论分析和比较,我们实验和比较我们的工作与最近的国家的最先进的解决方案在视觉MuJoCo任务。结果表明,我们的模型总体上取得了较好的性能,具有较好的鲁棒性和良好的泛化能力。
2022-02-27 cs.AI cs.LG
Action Branching Architectures for Deep Reinforcement Learning
Imperial College London(帝国理工学院)
离散动作算法是深度强化学习最近许多成功的核心。然而,将这些算法应用于高维动作任务需要处理可能动作的数量与动作维度的数量的组合增加。对于需要通过离散化对动作进行精细控制的连续动作任务,该问题进一步恶化。在本文中,我们提出了一种新的神经架构,具有一个共享的决策模块,然后是几个网络分支,每个动作维度一个。这种方法通过允许每个单独动作维度的独立性水平,实现了网络输出的数量与自由度的数量的线性增加。为了说明这种方法,我们提出了一种新的代理,称为分支决斗Q网络(BDQ),作为决斗双深Q网络(决斗DDQN)的分支变体。我们评估我们的代理在一组具有挑战性的连续控制任务的性能。实证结果表明,所提出的代理规模优雅的环境与行动维度的增加,并表明在协调分布式行动分支的共享决策模块的意义。此外,我们表明,所提出的代理执行竞争力对国家的最先进的连续控制算法,深度确定性策略梯度(DDPG)。
2019-01-25 cs.AI cs.LG
A Fairness-Oriented Reinforcement Learning Approach for the Operation and Control of Shared Micromobility Services
Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所);Department of Information Engineering, University of Padova(帕多瓦大学信息工程系)
本文提出一种基于强化学习的方法,通过车辆再平衡在共享微出行服务中实现性能优化与公平性的平衡,减少不公正性达85%的同时仅增加30%成本。
2025-01-17 cs.CY cs.LG cs.SY
Accelerating Representation Learning with View-Consistent Dynamics in Data-Efficient Reinforcement Learning
ShanghaiTech University(上海科技大学);Zhejiang University(浙江大学)
从基于图像的观察中学习信息表示是深度强化学习(RL)的基本关注点。然而,数据效率低下仍然是实现这一目标的一个重大障碍。为了克服这一障碍,我们提出了加速状态表示学习的动态视图一致性。首先,我们介绍了一种形式主义的多视图马尔可夫决策过程(MMDP),它包含了多个视图的状态。根据MMDP的结构,我们的方法,视图一致的动力学(VCD),学习状态表示,通过训练一个视图一致的动力学模型在潜在的空间,其中的意见是通过应用数据增强的状态。对DeepMind Control Suite和Atari-100 k的实证评估表明,VCD是视觉控制任务的SoTA数据高效算法。
2022-01-18 cs.AI cs.LG
Federated Deep Reinforcement Learning
Sun Yat-Sen University(中山大学);WeBank(微众银行)
在深度强化学习中,当状态的特征空间较小且训练数据有限时,构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功,但由于许多隐私感知应用中数据和/或模型的隐私性,通常不允许将数据或模型从代理直接迁移到另一代理。在本文中,我们提出了一种新的深度强化学习框架,联邦建立模型的高质量的代理考虑他们的隐私,即联邦深度强化学习(FedRL)。为了保护数据和模型的隐私,我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中,我们评估我们的FedRL框架在两个不同的领域,网格世界和Text 2Action域,通过比较各种基线。
2020-02-09 cs.AI cs.LG
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中,我们弥合了强化学习和知识表示之间的差距,通过提供一个丰富的知识表示框架,基于正常的逻辑程序与答案集语义,这是能够解决无模型强化学习问题,更复杂的领域,并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外,我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Attacking Slicing Network via Side-channel Reinforcement Learning Attack
Data61, Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织Data61)
针对网络切片共享缓存的安全漏洞,提出基于强化学习的侧信道缓存攻击框架,通过切片间博弈定位敏感数据,成功率达95%-98%,凸显相关安全防护的必要性。
2024-09-17 cs.AI cs.CR
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI(谷歌云AI);University of Technology Sydney(悉尼科技大学)
我们提出了一种新的自适应迁移学习框架,学习迁移学习(L2TL),通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化,并自适应地调整组成损失权重。权重的自适应是基于强化学习(RL)选择策略,以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下,L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations
Harvard University(哈佛大学);Stony Brook University(石溪大学);Meta
本文提出个性化联邦强化学习框架 PFedRL-Rep,通过共享特征表示和个性化权重向量解决异构环境问题,并首次证明 PFedTD-Rep 相对智能体数量具有线性收敛加速,实验验证其在学习和泛化上的优势。
2025-07-16 cs.LG math.OC stat.ML
Learning to Coordinate via Quantum Entanglement in Multi-Agent Reinforcement Learning
Nasdaq, Inc(纳斯达克公司);University of Pennsylvania(宾夕法尼亚大学)
本文提出利用量子纠缠的框架,通过可微策略参数化和量子协调器架构,实现多智能体强化学习中的无通信协作策略,展现量子优势。
2026-08-13 cs.LG cs.MA quant-ph
Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
Delft University of Technology(代尔夫特理工大学)
本文提出复合梯度学习(CGL)方法,将MPC整合进DRL训练过程,通过联合动作表示和交互考虑,在强交互场景下提升控制策略性能,但平均增益有限。
2026-09-17 cs.LG cs.SY eess.SY
Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning
Center for Data Science(数据科学中心);New York University(纽约大学)
我们探索了用简单的对象表示来增强最先进的无模型深度强化算法的好处。在Lake et al.(2017)提出的Frostbite挑战之后,我们将对象表征确定为当前强化学习代理缺乏的关键认知能力。我们发现,提供彩虹模型(Hessel等人,2018年)与简单的,功能工程的对象表示大大提高了其性能的冻伤游戏从雅达利2600。然后,我们分析了不同类型的对象的表示的相对贡献,确定这些表示是最有影响力的环境状态,并检查这些表示如何帮助推广到新的情况。
2020-05-28 cs.AI cs.LG stat.ML
Shared Actors Need Not Share Critics: Effects of Value Mismatch in Parallel Reinforcement Learning
University of Chicago(芝加哥大学);University of Florida(佛罗里达大学)
该研究针对并行强化学习中评论家共享导致的价值不匹配问题,提出仅给评论家环境索引的干预方法,在多类任务中提升了学习稳定性与回报,Procgen 游戏中聚合归一化回报提升 40.8%。
2026-08-28 cs.LG
Mean-Field Control based Approximation of Multi-Agent Reinforcement Learning in Presence of a Non-decomposable Shared Global State
Purdue University(普渡大学)
本文证明在存在不可分解共享全局状态的多智能体强化学习中,平均场控制仍可作为有效近似工具,并给出误差界及基于自然策略梯度的求解算法。
2023-05-26 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Haptic Shared Control in Unknown Tasks
Pontificia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学)
本文提出 TAHSC,将 DDPG 与 CNN 结合用于未知任务的触觉共享控制,依据用户反馈阻力学习个性化引导力策略,从而稳定辅助用户更快完成拾取与放置任务。
2021-01-15 cs.LG cs.RO
All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Fudan University(复旦大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
针对现有记忆方法缺乏共享奖励空间的问题,提出AiO-Mem模型,通过过程奖励强化学习优化记忆策略,在长上下文记忆基准上提升了答案准确率。
2026-10-19 cs.AI
Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
用于强化学习(RL)领域的迁移学习方法促进了使用先前获得的知识获得新技能。绝大多数现有的方法假设代理具有相同的设计,例如相同的形状和动作空间。在本文中,我们解决的问题,以前获得的技能之间的形态不同的代理(MDA)。例如,假设一个双足智能体已经被训练为向前移动,那么这种技能是否可以转移到一个单腿的料斗上,以便使它对同一任务的训练过程更有效?我们框架这个问题的子空间学习,我们的目标是推断潜在的因素代表的控制机制,是共同的MDA之间。我们提出了一种新的配对变分编码器-解码器模型,PVED,解开的MDA的控制到共享和代理特定的因素。共享的因素,然后利用RL的技能转移。理论上,我们推导出一个定理,表明PVED的性能如何取决于共享的因素和代理形态。实验上,PVED已经在四个MuJoCo环境中得到了广泛的验证。我们展示了其性能相比,一个国家的最先进的方法和几个消融病例,可视化和解释隐藏的因素,并确定未来的改进途径。
2019-08-20 cs.LG stat.ML
Who Bears the Burden? Learning Responsibility for Shared Constraints in Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
针对多智能体共享成本约束的惩罚分配问题,提出LiRA方法,通过学习共同乘子的责任份额优化社会福利,在多个基准上提升平均福利达29%。
2026-10-07 cs.AI cs.GT cs.LG
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University(印第安纳大学)
各种各样的表示学习方法已经被研究用于强化学习;然而,很少有人关注稀疏编码的效用。在强化学习之外,稀疏编码表示已被广泛使用,其非凸目标导致区分表示。在这项工作中,我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性,我们证明了所有的局部极小值是全局极小值,使该方法适合简单的优化策略。我们的经验表明,使用监督目标是关键,而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示,称为瓦片编码,证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Multi-Task Reinforcement Learning with Mixture of Orthogonal Experts
TU Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森人工智能中心);Center for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);German Research Center for AI (DFKI)(德国人工智能研究中心);University of Würzburg(维尔茨堡大学)
本文提出MOORE方法,通过正交专家混合和Gram-Schmidt过程学习多样化共享表示,在多任务强化学习基准MiniGrid和MetaWorld上超越现有基线并取得MetaWorld最新最优结果。
2024-05-05 cs.LG
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London(伦敦帝国理工学院)
我们提出了一个新的多任务强化学习(MTRL)的框架。使用变分推理公式,我们学习的政策,概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数,允许不同的动态和目标条件之间的转移,并通过任务特定的潜在空间嵌入,允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外,配备了这种嵌入的策略可以作为分层强化学习的技能(或选项)空间。由于我们可以独立地改变任务动态和目标,我们将我们的框架命名为Disentangled Skill Embeddings(DSE)。
2019-06-21 cs.AI cs.LG stat.ML
The Utility of Sparse Representations for Control in Reinforcement Learning
University of Alberta(阿尔伯塔大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究了强化学习中的稀疏表示控制。虽然这些表示广泛用于计算机视觉,但它们在强化学习中的流行仅限于稀疏编码,其中提取新数据的表示可能是计算密集型的。在这里,我们开始证明,学习控制策略增量与代表从一个标准的神经网络在经典的控制域失败,而学习与代表从一个神经网络,具有稀疏性的属性是有效的。我们提供的证据表明,这是因为稀疏表示提供了局部性,因此避免了灾难性干扰,特别是保持一致,稳定的值自举。然后我们讨论如何学习这种稀疏表示。我们探讨的想法分布正则化,其中隐藏节点的激活被鼓励匹配一个特定的分布,导致在整个时间的稀疏激活。我们确定了一种简单但有效的方法来获得稀疏表示,而不是由以前提出的策略,使其更实用的进一步调查稀疏表示强化学习。
2018-11-15 cs.AI cs.LG stat.ML
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway(戈尔韦大学)
本文提出一种结合进化策略与TD3的进化强化学习模型,通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区,在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Domain Adversarial Reinforcement Learning for Partial Domain Adaptation
Beijing Institute of Technology(北京理工大学);University of Electronic Science and Technology(电子科技大学);Shanghai University of Science and Technology(上海科技大学)
部分领域自适应的目的是将知识从标签丰富的源域转移到标签稀缺的目标域,从而放松了不同域之间完全共享标签空间的假设。在这个更一般和实际的场景中,一个主要的挑战是如何选择跨不同域的共享类中的源实例进行正迁移。为了解决这个问题,我们提出了一个领域对抗强化学习(DARL)框架,自动选择源实例的共享类规避负迁移,以及同时学习域之间的可转移功能,通过减少域转移。具体来说,在这个框架中,我们采用深度Q学习来学习代理的策略,通过近似动作-价值函数来做出选择决策。此外,引入领域对抗学习来学习代理和目标实例所选择的源实例的领域不变特征,并且还基于所选择的源实例与目标领域的相关程度来确定代理的奖励。在几个基准数据集上的实验表明,我们的DARL方法优于现有的部分领域自适应的最新技术水平的性能。
2019-05-10 cs.CV cs.LG stat.ML