Multi-Agent Reinforcement Learning for Dynamic Mobility Resource Allocation with Hierarchical Adaptive Grouping
Ubiquitous \& Urban Computing Lab University of Connecticut Storrs CT USA;Ubiquitous \& Urban Computing Lab University of Connecticut
针对城市出行资源分配中多智能体强化学习的策略自适应共享与内存效率问题,提出融合分层信息、自适应分组与可学习ID嵌入的HAG-PS方法,在纽约共享单车数据集上验证了其性能优势。
2025-07-29 cs.AI
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology(国防科技大学)
近年来,深度强化学习(RL)算法在多智能体领域取得了很大进展。然而,由于RL的特性,复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战,同质代理之间的相互学习策略是必不可少的,这是在以前的研究中,由于大多数现有的方法不考虑使用代理模型的知识,而探索不足。在本文中,我们提出了一种适应方法的大多数多智能体强化学习(MARL)算法称为KnowSR,它利用代理之间的学习差异。我们采用知识蒸馏(KD)的思想,在代理之间共享知识,以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性,我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明,KnowSR优于最近报道的方法,强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Reward-Sharing Relational Networks in Multi-Agent Reinforcement Learning as a Framework for Emergent Behavior
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在这项工作中,我们将“社会”的相互作用,通过用户定义的关系网络的MARL设置和检查的影响,代理代理关系的崛起的紧急行为。利用社会学和神经科学的见解,我们提出的框架模型代理关系使用的概念奖励共享关系网络(RSRN),其中网络边权重作为衡量一个代理的成功投资(或“关心”)另一个。我们构造关系奖励作为RSRN交互权重的函数,通过多智能体强化学习算法来集体训练多智能体系统。针对具有不同关系网络结构(例如,利己主义、社群主义和威权主义网络)。我们的研究结果表明,奖励分享关系网络可以显着影响学习行为。我们认为RSRN可以作为一个框架,不同的关系网络产生不同的涌现行为,往往类似于这种网络的直觉社会学的理解。
2022-07-14 cs.AI cs.MA cs.SI
Kaleidoscope: Learnable Masks for Heterogeneous Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对多智能体强化学习中全参数共享导致策略同质化的问题,提出Kaleidoscope自适应部分参数共享方案,通过为不同智能体学习独特掩码来平衡样本效率与策略多样性,在多种环境中取得优越性能。
2024-10-11 cs.AI cs.LG cs.MA
Achieving Collective Welfare in Multi-Agent Reinforcement Learning via Suggestion Sharing
Warwick Manufacturing Group, University of Warwick, Coventry, UK(沃里克制造集团,沃里克大学,科文特里,英国);School of Electrical Engineering and Computer Science, Louisiana State University, USA(电气工程与计算机科学学院,路易斯安那州立大学,美国);Department of Statistics, University of Warwick, Coventry, UK(统计学系,沃里克大学,科文特里,英国);Alan Turing Institute, London, UK(艾伦·图灵研究所,伦敦,英国)
针对多智能体强化学习中个体利益与集体利益冲突的问题,提出一种通过交换行动建议实现协作的方法,泄露隐私更少且无需设计内在奖励,性能与现有基线相当并得到理论支撑。
2025-06-16 cs.AI cs.LG cs.MA
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);Computer Science Department, Stanford University(斯坦福大学计算机科学系);The Taub Faculty of Computer Science, Technion - Israel Institute of Technology(以色列理工学院陶布计算机科学学院)
提出选择性多智能体优先经验回放方法,通过智能体间共享少量高度相关的经验,在仅需有限通信的去中心化训练下显著提升多智能体强化学习性能。
2024-04-23 cs.AI cs.LG cs.MA
Multi-Agent Transfer Learning in Reinforcement Learning-Based Ride-Sharing Systems
Trinity College Dublin(都柏林三一学院)
强化学习(RL)已经被用于一系列模拟现实世界的任务,例如,传感器协调、交通灯控制和按需移动服务。然而,现实世界的部署是罕见的,因为RL与现实世界环境的动态性质作斗争,需要时间来学习任务并适应环境的变化。迁移学习(TL)可以帮助降低这些适应时间。特别是,有一个显着的潜力,应用TL在多代理RL系统,其中多个代理可以共享知识与对方,以及与新的代理加入系统。为了从代理间转移中获得最大收益,转移角色(即,确定哪些代理充当源以及哪些代理充当目标),以及相关的传送内容参数(例如,传输大小)应当在每个特定情况下动态地选择。作为实现完全动态转移的第一步,在本文中,我们研究了固定源和目标角色的TL转移参数的影响。具体来说,我们标记每个代理环境交互与代理的认知信心,我们使用不同的阈值水平和样本大小过滤共享的例子。我们研究了两种情况下这些参数的影响,一个标准的捕食者-猎物RL基准和一个模拟的乘车共享系统与200车辆代理和10,000乘车请求。
2021-12-01 cs.AI cs.LG cs.MA
Improving Global Parameter-sharing in Physically Heterogeneous Multi-agent Reinforcement Learning with Unified Action Space
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University(北京交通大学交通数据分析与挖掘北京市重点实验室)
针对物理异构多智能体强化学习中全局参数共享未区分动作语义、协作性差,而完全独立参数成本高的问题,提出统一动作空间与跨组逆损失,适配两类算法并在SMAC环境中验证了有效性。
2024-08-14 cs.AI cs.MA
Measuring Policy Distance for Multi-Agent Reinforcement Learning
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
针对多智能体强化学习缺乏通用策略差异度量标准的问题,本文提出可定制的多智能体策略距离MAPD,并基于此设计动态参数共享算法MADPS,实验验证其度量有效性与性能优势。
2024-01-28 cs.AI cs.MA
One Step is Enough: Multi-Agent Reinforcement Learning based on One-Step Policy Optimization for Order Dispatch on Ride-Sharing Platforms
The Hong Kong University of Science and Technology(香港科学与技术大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出基于一步策略优化的多智能体强化学习方法,通过消除价值函数估计误差,提升网约车平台订单调度效率,实验表明其在简化网络结构下表现优异。
2026-04-16 cs.AI cs.ET cs.MA
A Deep Reinforcement Learning Framework for Rebalancing Dockless Bike Sharing Systems
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
自行车共享提供了一种环保的旅行方式,并在世界各地蓬勃发展。然而,由于用户出行模式的高度相似性,自行车不平衡问题不断发生,特别是对于无桩自行车共享系统,对服务质量和公司收入造成重大影响。因此,有效解决这种不平衡已成为自行车共享系统的关键任务。在本文中,我们提出了一种新的深度强化学习框架,用于激励用户重新平衡此类系统。我们将问题建模为马尔可夫决策过程,并考虑空间和时间特征。我们开发了一种新的深度强化学习算法,称为分层强化定价(HRP),它建立在深度确定性策略梯度算法的基础上。与通常忽略空间信息并严重依赖准确预测的现有方法不同,HRP使用具有嵌入式本地化模块的分治结构来捕获空间和时间依赖性。我们进行了大量的实验来评估HRP,基于中国主要的无桩自行车共享公司Zeroke的数据集。结果表明,HRP执行接近24时隙前瞻优化,并优于国家的最先进的方法在服务水平和自行车分配。当应用于看不见的区域时,它也能很好地转移。
2018-12-02 cs.AI
Meta Inverse Reinforcement Learning via Maximum Reward Sharing for Human Motion Analysis
California Institute of Technology(加州理工学院)
这项工作处理逆强化学习(IRL)的问题,只有少量的演示是从每个高维任务的演示,不足以估计一个准确的奖励函数。观察到每个演示者对每个状态都有一个固有的奖励,并且任务特定的行为主要取决于少量的关键状态,我们提出了一种Meta IRL算法,该算法首先将每个任务的奖励函数建模为一个分布,该分布以所有任务共享的基线奖励函数为条件,并且只依赖于演示者,然后在解释任务特定行为的分布中找到最可能的奖励函数。我们在一个模拟环境中测试的路径规划任务的方法与有限的演示,并表明学习的奖励函数的准确性显着提高。我们也应用该方法来分析一个病人的康复运动。
2017-10-12 cs.AI
Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
处理可扩展性问题是多智能体强化学习(MARL)算法应用于通常涉及大量智能体的现实问题的基本问题之一。为此,多个代理之间的参数共享已被广泛使用,因为它通过减少参数数量和提高样本效率来减少训练时间。然而,使用相同的参数跨代理限制了联合政策的代表性能力,因此,性能可能会下降,在多代理任务,需要不同的行为为不同的代理。在本文中,我们提出了一个简单的方法,采用结构化修剪的深度神经网络,以增加联合政策的代表性能力,而不引入额外的参数。我们评估所提出的方法在几个基准任务,数值结果表明,所提出的方法显着优于其他参数共享方法。
2023-03-02 cs.AI cs.MA
Decision Methods for Adaptive Task-Sharing in Associate Systems
Stanford University(斯坦福大学)
本文介绍了关联系统的一些研究成果:基于知识的系统,灵活和自适应地支持他们的人类用户进行复杂的,时间依赖的问题解决任务的不确定性。基于决策理论和决策分析的原理,提出了一种解决问题的方法,它可以克服传统专家系统的许多局限性。这种方法实现了一个明确的模型,人类用户的解决问题的能力,作为一个整体的解决问题的架构中的一个组成部分。这种集成模型,表示为影响图,是实现关联系统和人类用户之间的自适应任务共享行为的基础。这个系统模型已被应用于正在进行的研究火星漫游者经理的助理(MRMA)。MRMA的角色将是管理火星表面上的一个小型机器人漫游者舰队。本文描述了一个特定场景的结果,其中MRMA研究了咨询地球上的人类专家以帮助火星漫游者做出复杂的资源管理决策的好处和成本。
2013-03-13 cs.AI
Spectrum Sharing using Deep Reinforcement Learning in Vehicular Networks
School of Computing;Engineering University of Huddersfield Huddersfield, United Kingdom
针对车载网络动态环境中频谱分配困难的问题,提出DQN模型利用深度强化学习实现高效频谱共享,实验证明SARL和MARL模型能提升V2V通信率并使累积奖励最大化。
2024-10-16 cs.AI eess.SP
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta;Universidade do Vale do Rio dos Sinos(淡水河谷大学);University of Brasilia(巴西利亚大学)
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种,我们的进化与彼此交流知识的能力紧密相连。因此,自主和独立的代理之间的经验共享(ES)可能成为关键,以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能,并提出了三种选择经验的新方法来加速学习过程。首先,我们引入了聚焦ES,它优先考虑状态空间中未探索的区域。其次,我们提出了优先ES,其中的时间差误差被用来作为衡量优先级。最后,我们设计了重点优先ES,它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进,但我们表明所提出的ES方法可以成功地超越基线。特别是,Focused ES将学习速度提高了2倍,将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
DeliverAI: Reinforcement Learning Based Distributed Path-Sharing Network for Food Deliveries
BITS Pilani K K Birla Goa Campus;BITS Pilani Goa;HappyMonk AI;Miami University(迈阿密大学);Nitte Meenakshi Institute of Technology
针对现有食品配送次优问题,提出基于强化学习的路径共享算法DeliverAI,通过多目标优化和智能体交互减少车队规模与行驶距离并提高利用率。
2024-02-11 cs.AI cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
自我监督方法通过利用数据本身来减少对昂贵注释的需求,对于推进深度学习至关重要。然而,如何以原则性的方式进行自监督离线强化学习(RL)的问题仍然不清楚。在本文中,我们解决这个问题,通过研究在半监督设置中的线性马尔可夫决策过程(MDP)中利用无奖励数据的理论优势。此外,我们提出了一种新的,可证明的数据共享算法(PDS),利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估,确保算法的保守性。我们在各种离线RL任务上的结果表明,PDS显着提高了离线RL算法的性能与无奖励数据。总的来说,我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处,同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore(新加坡国立大学计算机学院);TikTok Pte. Ltd., Singapore(新加坡TikTok公司);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架,通过奖励塑形实现知识共享与迁移,在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models
Purdue University(普渡大学);AWS Agentic AI(AWS智能体实验室)
本文提出互强化学习框架,通过共享经验提升异构语言模型性能,采用共享经验交换、多工人资源分配和 tokenizer 异质性层实现跨模型经验共享,验证了在稳定与支持之间取得平衡的可行性。
2026-05-08 cs.AI cs.CL cs.LG
A Distributed Model-Free Algorithm for Multi-hop Ride-sharing using Deep Reinforcement Learning
Purdue University(普渡大学)
自动驾驶汽车、拼车系统和自动驾驶技术的发展将改变叫车平台规划服务的方式。然而,这些技术进步加上道路拥堵、环境问题、燃料使用、车辆排放和车辆使用的高成本,使人们更加关注如何更好地利用车辆及其容量。在本文中,我们提出了一种新的多跳乘车共享(MHRS)算法,该算法使用深度强化学习,通过与外部环境交互来学习最优车辆调度和匹配决策。通过允许客户在车辆之间转移,即,与拼车算法相比,MHRS使用一辆车骑行一段时间,然后转移到另一辆车,有助于实现30%的成本降低和20%的车队利用率提高。这种多跳功能的灵活性为客户和拼车公司提供了无缝体验,从而改善了拼车服务。
2019-10-30 cs.AI cs.LG cs.MA
Conservative Data Sharing for Multi-Task Offline Reinforcement Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)算法在有大量预收集数据的领域已经显示出有希望的结果。然而,先前的方法专注于用离线数据集从头开始解决单个问题,而没有考虑离线RL代理如何获得多种技能。我们认为,离线强化学习的一个自然用例是在这样的环境中,我们可以将在各种场景中收集的大量数据集中起来解决不同的任务,并利用所有这些数据更有效地学习所有任务的行为,而不是孤立地训练每一个任务。然而,在多任务离线RL中的所有任务之间共享数据在实践中表现得非常差。通过深入的实证分析,我们发现共享数据实际上会加剧学习策略和数据集之间的分布变化,这反过来会导致学习策略的发散和性能低下。为了解决这一挑战,我们开发了一种简单的技术,用于多任务离线RL中的数据共享,该技术基于对特定任务数据的改进来路由数据。我们称这种方法为保守数据共享(CDS),它可以应用于多个单任务离线RL方法。在一系列具有挑战性的多任务运动,导航和基于视觉的机器人操作问题上,与先前的离线多任务RL方法和先前的数据共享方法相比,CDS实现了最佳或相当的性能。
2021-09-16 cs.AI cs.LG cs.RO
Temporal-adaptive Hierarchical Reinforcement Learning
分层强化学习(HRL)有助于解决强化学习中的大规模和稀疏奖励问题。在HRL中,策略模型有一个按层次结构的内部表示。利用这种结构,强化学习任务有望被分解成具有子任务的相应级别,因此学习可以更有效。在HRL中,虽然直觉上高层策略只需要以较低的频率进行宏观决策,但准确的频率很难简单地确定。以前的HRL方法通常采用固定时间跳过策略或在不考虑上下文的情况下学习终端条件,然而,这不仅需要手动调整,而且还牺牲了一些决策粒度。在本文中,我们提出了\emph{temporal-adaptive hierarchical policy learning}(TEMPLE)的结构,它使用一个时间门自适应地控制高层决策频率。我们用PPO对TEMPLE结构进行训练,并在一系列环境中测试其性能,包括2-D房间、Mujoco任务和Atari游戏。结果表明,TEMPLE结构可以导致在这些环境中的顺序自适应高级控制的性能改善。
2020-02-06 cs.AI
Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach
Arizona State University(亚利桑那州立大学)
在本文中,我们解决流行的Wordle难题的解决方案,使用新的强化学习方法,适用于更普遍的自适应控制的动态系统和类的部分可观察马尔可夫决策过程(POMDP)的问题。这些方法是基于近似值空间和推出的方法,承认一个简单的实现,并提供各种启发式方法的性能改善。对于Wordle难题,他们产生的在线解决方案的战略,是非常接近最佳的计算成本相对适中。我们的方法是可行的更复杂的版本的Wordle和相关的搜索问题,最佳策略将是不可能计算。它们也适用于广泛的自适应序贯决策问题,涉及一个未知的或经常变化的环境,其参数估计在线。
2022-11-29 cs.AI
Network-wide traffic signal control optimization using a multi-agent deep reinforcement learning
University of Macau(澳门大学);Southeast University(东南大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校);University of Delaware(特拉华大学)
低效的交通控制可能会导致许多问题,例如交通拥堵和能源浪费。提出了一种新的多智能体强化学习方法KS-DDPG(Knowledge Sharing Deep Deterministic策略梯度),通过增强交通信号灯之间的协作来实现最优控制。通过引入支持知识共享的通信协议,每个代理可以访问所有代理收集的交通环境的集体表示。该方法通过两个实验分别使用合成和真实世界的数据集进行评估。与最先进的基于强化学习和传统交通方法的比较表明,所提出的KS-DDPG在控制大规模交通网络和应对交通流量波动方面具有显着的效率。此外,引入的通信机制也被证明可以在不显著增加计算负担的情况下加快模型的收敛速度。
2021-04-20 cs.AI
Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern University(西北大学);Tianjin University(天津大学);Yale University(耶鲁大学);Northwestern Polytechnical University(西北工业大学)
本文提出基于不确定性的多任务数据共享方法,通过悲观值迭代统一单任务与多任务离线强化学习,理论证明其最优性差距仅取决于共享数据覆盖范围,并在三个挑战性领域上超越现有方法。
2024-04-30 cs.AI cs.LG
A Reinforcement Learning Approach for Rebalancing Electric Vehicle Sharing Systems
University of South Florida(南佛罗里达大学);KAIST(韩国科学技术院)
提出了一种强化学习方法,用于自由浮动电动汽车共享系统(FFEVSS)的夜间离线再平衡操作。由于网络中的需求稀疏,FFEVSS需要将电动车辆(EV)重新定位到充电站和需求者节点,这通常由一组驾驶员完成。穿梭巴士用于在整个网络中接送司机。本研究的目的是解决穿梭机路径问题,以最短的时间完成再平衡工作。我们考虑一个强化学习框架的问题,其中一个中央控制器确定多个穿梭机的车队的路由策略。我们部署了一个策略梯度方法训练递归神经网络,并比较所获得的政策结果与启发式解决方案。我们的数值研究表明,与文献中现有的解决方案不同,所提出的方法可以解决一般版本的问题,对城市电动汽车网络结构和电动汽车的充电要求没有限制。此外,学习的策略提供了广泛的灵活性,从而大大减少了重新平衡网络所需的时间。
2021-04-06 cs.AI cs.LG cs.NE
Parameter Sharing Reinforcement Learning Architecture for Multi Agent Driving Behaviors
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
多智能体学习为交通行为的学习和模拟提供了一个潜在的框架。本文提出了一种新的架构,学习多种驾驶行为在交通场景。所提出的架构可以独立地以及同时地学习多个行为。我们利用代理的同质性,并在参数共享范式中学习。为了进一步加快训练过程,在架构中采用异步更新。在同时学习不同行为的同时,给定的框架还能够学习代理之间的合作,而无需任何显式的通信。我们应用这个框架来学习驾驶中的两个重要行为:1)车道保持和2)超车。结果表明,更快的收敛和学习更通用的行为,这是可扩展到任何数量的代理。与现有的方法相比,我们的结果表明,在某些情况下,平等,甚至更好的性能。
2018-11-17 cs.AI cs.LG cs.RO
Fully Dynamic Rebalancing in Dockless Bike-Sharing Systems via Deep Reinforcement Learning
University of Padua(帕多瓦大学)
本文提出基于图的模拟器和马尔可夫决策过程的深度强化学习方法,实现无桩自行车共享系统的全动态再平衡,减少车辆短缺并降低空间不平等。
2026-05-14 cs.AI cs.LG cs.SY
Revisiting Parameter Sharing in Multi-Agent Deep Reinforcement Learning
Swarm Labs(蜂群实验室);Department of Computer Science, University of Maryland, College Park(马里兰大学帕克分校计算机科学系)
本文形式化智能体指示概念并证明其可收敛到最优策略,同时提出将参数共享扩展到异构观测与动作空间的方法,并通过实验验证其有效性。
2023-10-31 cs.AI cs.LG cs.MA
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory(阿贡国家实验室)
我们已经开发了一个模型,在线连续或终身强化学习(RL)的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练,使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移,其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Data Efficient Training for Reinforcement Learning with Adaptive Behavior Policy Sharing
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Google Brain(谷歌大脑);DeepMind(深度思维);Google AI(谷歌人工智能)
深度强化学习(RL)被证明是模拟环境中决策的强大工具。然而,由于交互的昂贵性和部署时的预算限制,训练深度RL模型在现实世界的应用中具有挑战性,例如生产规模的医疗保健或推荐系统。数据效率低下的一个方面来自优化深度神经网络时昂贵的超参数调整。我们提出了自适应行为策略共享(ABPS),一个数据高效的训练算法,允许共享的经验收集的行为策略,是自适应地选择从一个池的代理训练与合奏的超参数。我们进一步扩展ABPS,通过将ABPS与基于人口的训练(ABPS-PBT)的适应版本混合,在训练过程中进化超参数。我们用多个Atari游戏进行实验,最多有16个超参数/架构设置。与传统的独立训练超参数调整相比,ABPS实现了卓越的整体性能,减少了前25%代理的方差,并且在最佳代理上具有相同的性能,尽管ABPS只需要与训练单个代理相同数量的环境交互。我们还表明,ABPS-PBT进一步提高了收敛速度,降低了方差。
2020-02-12 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Dynamic Spectrum Sharing of LTE and NR
Ericsson Research(爱立信研究部)
本文提出了一种4G和5G系统之间的主动动态频谱共享方案。具体地,控制器决定每个子帧在NR和LTE之间的资源划分,同时考虑诸如高干扰子帧和多媒体广播单频网络(MBSFN)子帧的未来网络状态。针对这一问题,提出了一种基于蒙特卡罗树搜索(MCTS)的深度强化学习(RL)算法。所引入的深度RL架构是离线训练的,由此控制器通过从当前网络状态开始模拟随时间的假设带宽划分来预测无线接入网络的未来状态的序列。然后分配导致最佳奖励的动作序列。这是通过预测与规划最直接相关的量来实现的,即,奖励、动作概率和每个网络状态的值。仿真结果表明,该方案能够采取行动,同时考虑未来的状态,而不是贪婪的每一个子帧。结果还表明,该框架提高了系统级的性能。
2021-02-22 cs.AI cs.IT cs.NI
SmartFlow Reinforcement Learning and Agentic AI for Bike-Sharing Optimisation
Department of Data Science, Machine Learning \& Artificial Intelligence, PES University, Bengaluru, Karnataka - 560100, India;1 Sunrise Setting Ltd, 12a Fore Street, St. Marychurch, Torquay, Devon, TQ1 4NE, UK 2 European Alliance for Innovation (EAI), Gent, Belgium
SmartFlow 通过整合强化学习与代理AI,实现城市自行车共享系统的高效再平衡,显著减少网络不平衡并提升运营效率。
2025-12-30 cs.AI cs.LG
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了使用函数逼近的强化学习问题,其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是:近似平方误差,贝尔曼残差,投影贝尔曼残差。提出了行动者-批评者框架下的算法,并证明其收敛。这种自适应的基础上的优势,在模拟中证明。
2010-05-02 cs.AI cs.LG
Real-Time Communication-Aware Ride-Sharing Route Planning for Urban Air Mobility: A Multi-Source Hybrid Attention Reinforcement Learning Approach
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(科学与工程学院,香港中文大学(深圳));Xidian University State Key Laboratory of Integrated Services Network(西安电子科技大学集成服务网络国家重点实验室);Department of Computer Science and Engineering, Kyung Hee University(庆北大学计算机科学与工程系)
本文针对城市空中交通拼车场景中通信质量与实时乘客需求兼顾的路径规划难题,提出基于无线电地图的多源混合注意力强化学习框架MSHA-RL,实现通信合规、高效安全的实时轨迹规划。
2025-07-18 cs.AI cs.RO
Dynamic Bicycle Dispatching of Dockless Public Bicycle-sharing Systems using Multi-objective Reinforcement Learning
Hunan University(湖南大学);State University of New York(纽约州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Agency for Science Technology and Research (A*STAR)(科学、技术与研究局(A*STAR));Institute for Infocomm Research(资讯通信研究院)
作为新一代公共自行车共享系统(PBS),无桩公共自行车(DL-PBS)是信息物理系统和智能交通的重要应用。如何利用人工智能根据动态的自行车租赁需求提供高效的自行车调度解决方案是DL-PBS的一个重要问题。在本文中,我们提出了一个动态的自行车调度算法的基础上,多目标强化学习(MORL-BD),提供最佳的自行车调度解决方案DL-PBS。我们从CPS的角度对DL-PBS系统进行建模,并使用深度学习来预测自行车停车点的布局和自行车调度的动态需求。将多路径自行车调度问题定义为一个多目标优化问题,考虑了调度费用、调度车初始装载量、车辆间工作量平衡、自行车供需动态平衡等多个优化目标。在此基础上,建立了多调度车之间的多路径自行车协同调度问题的多智能体MORL模型。停车点之间的所有调度路径被定义为状态空间,调度成本的倒数被定义为奖励。每个调度车配备了一个代理学习动态DL-PBS网络中的最优调度路径。我们创建一个精英列表来存储在每个动作中找到的自行车调度路径的帕累托最优解,最后,得到帕累托边界。在实际DL-PBS系统上的实验结果表明,与现有方法相比,MORL-BD能以更少的执行时间找到更高质量的Pareto前沿.
2021-01-19 cs.AI cs.LG
PaCo: Parameter-Compositional Multi-Task Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);Horizon Robotics(地平线机器人)
多任务强化学习(MTRL)的目的是训练可以应用于一组不同任务的单个策略。共享参数使我们能够利用任务之间的相似性。然而,不同任务的内容和难度之间的差距给我们带来了哪些任务应该共享参数,哪些任务应该共享参数的挑战,以及参数共享带来的优化挑战。在这项工作中,我们引入了一个参数组成的方法(PaCo),试图解决这些挑战。在这个框架中,学习一组参数表示的策略子空间。所有单个任务的策略都位于这个子空间中,并且可以通过与学习集的插值来组合。它不仅允许灵活的参数共享,而且还可以以自然的方式改进训练。我们展示了国家的最先进的性能元世界基准测试,验证了所提出的方法的有效性。
2022-10-21 cs.AI cs.LG cs.RO
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford(牛津大学)
在这项工作中,我们解决风险规避贝叶斯自适应强化学习。我们提出的问题,优化的条件风险价值(CVaR)的贝叶斯自适应马尔可夫决策过程(MDP)的总收益。我们发现,在这种情况下,政策优化CVaR是风险厌恶的参数的不确定性,由于先验分布在MDP,和内部的不确定性,由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈,并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明,我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI(谷歌云AI);University of Technology Sydney(悉尼科技大学)
我们提出了一种新的自适应迁移学习框架,学习迁移学习(L2TL),通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化,并自适应地调整组成损失权重。权重的自适应是基于强化学习(RL)选择策略,以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下,L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
本文提出了一种无模型的模仿学习,称为熵正则化模仿学习(ERIL),最大限度地减少反向Kullback-Leibler(KL)分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习(RL)。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造,将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数,这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明,最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明,ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为,并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题,通过形式化元学习与元强化学习框架,梳理相关里程碑算法,为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Adaptive Context-Aware Multi-Path Transmission Control for VR/AR Content: A Deep Reinforcement Learning Approach
Iowa State University(爱荷华州立大学);BRAC University(BRAC大学)
本文提出ACMPTCP协议,利用深度强化学习优化MPTCP的端到端路径管理与带宽分配,以提升AR/VR流媒体等数据密集型应用在不同网络环境下的传输性能。
2024-12-27 cs.AI cs.NI
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中,我们研究了一个具体的情况下,纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架,以产生自适应的风险倾向的政策。具体而言,我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计,并使用指数加权平均预测(EWAF),以适应风险趋势,根据估计的不确定性。在模拟和真实世界的实证结果中,我们表明:(1)最有效的风险倾向在不同的状态下是不同的,(2)与风险中性政策或风险厌恶政策基线相比,具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
Apple(苹果公司)
本文提出通过随机跨层注意力机制实现高效的深度-wise缓存共享,减少内存占用并提升推理效率。
2026-04-03 cs.AI cs.LG
A Distributed Model-Free Ride-Sharing Approach for Joint Matching, Pricing, and Dispatching using Deep Reinforcement Learning
Purdue University(普渡大学);Qualcomm(高通公司)
拼车服务的显著发展为城市交通转型提供了大量机会,可以提供个性化和便捷的交通,同时确保大规模拼车的效率。然而,这样的服务的核心问题是为每个驱动程序的路线规划,以满足动态到达的请求,同时满足给定的约束。目前的模型大多局限于静态路线,每辆车只有两个游乐设施(最佳)或三个(有自动驾驶仪)。在本文中,我们提出了一个动态的,需求感知的,基于定价的车辆-乘客匹配和路线规划框架,(1)动态生成最佳路线为每辆车的基础上在线需求,定价与每个乘坐,车辆容量和位置。这种匹配算法使用插入操作随着时间的推移进行优化,(2)通过允许驾驶员基于特定乘车的预期奖励以及未来乘车的目的地位置提出不同的价格,使驾驶员参与决策过程,这受到Deep Q网络计算的供需的影响,(3)允许客户基于他们关于定价和延迟窗口、车辆类型和拼车偏好的偏好集合来接受或拒绝乘坐,以及(4)基于需求预测,我们的方法通过使用深度强化学习(RL)将闲置车辆调度到预期的高需求区域来重新平衡闲置车辆。我们的框架使用纽约市出租车公共数据集进行验证;然而,我们考虑不同的车辆类型并设计客户效用函数来验证设置并研究不同的设置。实验结果表明,我们的方法在实时和大规模设置的有效性。
2021-06-14 cs.AI cs.LG cs.MA
Reinforcement Learning for Adaptive Video Compressive Sensing
Wayne State University(韦恩州立大学);Nokia Bell Labs(诺基亚贝尔实验室);Northwestern University(西北大学)
我们将强化学习应用到视频压缩感知中,以适应压缩比。具体而言,视频快照压缩成像(SCI),它使用低速相机捕获高速视频被认为是在这项工作中,其中多个(B)视频帧可以从快照测量重建。在以往的研究中,一个研究空白是如何适应不同场景的视频SCI系统中的B。在本文中,我们利用强化学习(RL)填补了这一空白。学习RL模型以及用于重构的各种卷积神经网络以实现视频SCI系统的自适应感测。此外,目标检测网络的性能直接使用视频SCI测量而无需重构,也用于执行基于RL的自适应视频压缩感测。因此,我们提出的自适应SCI方法可以在低成本和实时的实施。我们的工作使该技术向视频SCI的实际应用又迈进了一步。
2021-05-18 cs.AI cs.CV
Adaptive Warm-Start MCTS in AlphaZero-like Deep Reinforcement Learning
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所)
AlphaZero在深度强化学习方面取得了令人印象深刻的表现,它利用了一种架构,将搜索和神经网络的训练结合在一起。许多研究人员正在寻找方法来复制和改善其他游戏/任务的结果。然而,该架构旨在从头开始学习,白板,接受自我游戏中的冷启动问题。最近,提出了一种用于蒙特卡罗树搜索的热启动增强方法,以改善自启动阶段。它采用一个固定的参数$I^\prime$来控制热启动长度。据报道,在小型棋盘游戏中的表现有所改善。在本文中,我们提出的结果与自适应开关方法。实验表明,我们的方法比固定的$I^\prime$,特别是“深”,战术,游戏(奥赛罗和连接四)。我们推测$I^\prime$的自适应值也受游戏大小的影响,并且平均而言,$I^\prime$将随着游戏大小而增加。我们得出结论,AlphaZero式深度强化学习受益于基于自适应推出的热启动,就像15年前快速行动价值估计对基于推出的强化学习所做的那样。
2021-05-13 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University(诺丁汉特伦特大学);York University(约克大学)
针对传统HVAC系统无法捕捉个体生理变异性的问题,提出整合多模态感知与强化学习的两阶段个性化热舒适方法,助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Reinforcement Learning for Adaptive Routing
强化学习是指根据环境反馈学习策略--将观察映射为行动。学习可以被看作是浏览一组策略,同时通过与环境的交互来尝试评估它们。我们提出了一个梯度上升算法的强化学习应用到一个复杂的域的数据包路由在网络通信,并比较该算法的性能与其他路由方法的基准问题。
2007-03-28 cs.AI cs.LG cs.NI
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University(罗格斯大学)
在本文中,我们考虑的基本版本的强化学习(RL),涉及到计算最佳的数据驱动(自适应)的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查,该地区的最先进的,我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策,我们在这里开发的,我们称之为MDP-Deterministic最小经验分歧(MDP-DMED),和一个方法的基础上后验抽样(MDP-PS)。
2019-09-13 cs.AI cs.LG stat.ML
Scaling Distributed Multi-task Reinforcement Learning with Experience Sharing
Rice University(莱斯大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对分布式多任务RL中智能体无任务先验却需协作学习的问题,提出DistMT-LSVI,通过任务识别与中央服务器经验共享获得ε-最优策略,并在Atari实验中验证其样本复杂度随N近似线性下降。
2023-07-11 cs.AI cs.LG
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA