Avoiding Jammers: A Reinforcement Learning Approach
研究了部分可观测马尔可夫决策过程（POMDP）模型下认知雷达的抗干扰性能。首先，我们得到了一个明确的表达的干扰动力学的不确定性，这铺平了道路，照亮的性能指标的概率被干扰的雷达超出了传统的信号噪声比（$\mathsf{SNR}$）为基础的分析。考虑到在强化学习（RL）框架中开发的两种跳频策略，在各种不确定性值下，使用深度Q网络（DQN）和长短期记忆（LSTM）网络来分析该性能度量。最后，用softmax算子代替RL算法中对两种网络架构的目标网络的要求。仿真结果表明，该算子较传统的目标网络性能有较大的提高。
2019-11-27 cs.LG eess.SP stat.ML
A Fast Anti-Jamming Cognitive Radar Deployment Algorithm Based on Reinforcement Learning
School of Mathematical Sciences University of Chinese Academy of Sciences（数学科学学院 中国科学院大学）；Information Science Academy China Electronics Technology Group Corporation（信息科学院 中国电子科技集团）
本文提出基于强化学习的快速抗干扰认知雷达部署算法FARDA，通过高效神经网络推理实现雷达部署速度提升7000倍，覆盖能力与进化算法相当。
2026-01-05 cs.AI cs.LG
Uncertainty-based Meta-Reinforcement Learning for Robust Radar Tracking
Infineon Technologies AG（英飞凌科技股份公司）；Technichal University of Munich（慕尼黑工业大学）
如今，深度学习（DL）方法往往克服了传统信号处理方法的局限性。然而，DL方法在实际应用中几乎没有应用。这主要是由于有限的鲁棒性和训练数据与测试数据之间的分布偏移。为此，最近的工作提出了不确定性机制来提高其可靠性。此外，元学习旨在提高DL模型的泛化能力。利用这一点，本文提出了一种基于不确定性的Meta-强化学习（Meta-RL）方法与分布外（OOD）检测。所提出的方法在看不见的环境中执行给定的任务，并提供有关其复杂性的信息。这是通过确定估计奖励的一阶和二阶统计量来完成的。使用有关其复杂性的信息，所提出的算法能够指出何时跟踪是可靠的。为了评估所提出的方法，我们基准它的雷达跟踪数据集。在那里，我们表明，我们的方法在看不见的跟踪场景中的峰值性能比相关的Meta-RL方法高出16%，基线性能高出35%，而检测OOD数据的F1分数为72%。这表明我们的方法对环境变化具有鲁棒性，并可靠地检测OOD场景。
2022-10-26 cs.LG eess.SP
Explainable AI for Radar Resource Management: Modified LIME in Deep Reinforcement Learning
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文提出了一种将深度学习集成到采样过程的改进LIME方法（DL-LIME），应用于雷达资源管理的深度强化学习中，以解决传统LIME忽略特征相关性的问题，并在保真度、任务性能及决策因素洞察上展现优越性。
2025-06-26 cs.LG
A Reinforcement Learning based approach for Multi-target Detection in Massive MIMO radar
Institute of Digital Communication Systems, Ruhr University Bochum（鲁尔大学波鸿分校数字通信系统研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；DR2I-IPSA（DR2I-IPSA机构）；Università di Pisa（比萨大学）
研究了大规模多输入多输出（MMIMO）认知雷达（CR）的多目标检测问题。CR的概念基于感知-行动循环，感知并智能地适应动态环境，以最佳地满足特定任务。然而，这通常需要环境模型的先验知识，而这在大多数情况下是不可用的。提出了一种基于强化学习（RL）的认知多目标检测算法。雷达充当连续感测未知环境的代理（即，目标和干扰）并因此优化发射波形以便通过将能量聚焦在特定的距离-角度单元（即，波束成形）。此外，我们提出了一种解决波束形成优化问题的方法，其复杂度低于现有的方法。数值模拟进行评估所提出的RL为基础的算法在静态和动态环境中的性能。基于RL的波束形成相比，传统的全向方法具有相等的功率分配和自适应波束形成没有RL。正如所提出的数值结果所强调的那样，我们的基于RL的波束形成器在目标检测性能方面优于这两种方法。在环境恶劣的条件下，如低信噪比，重尾干扰和快速变化的情况下，性能改善甚至特别显着。
2021-03-02 cs.LG eess.SP
Multi-Target Radar Search and Track Using Sequence-Capable Deep Reinforcement Learning
PxCDT；Leonardo Electronics（莱昂纳多电子公司）；University of Glasgow（格拉斯哥大学）
本文构建有源相控阵雷达三维仿真环境，比较多种序列神经网络与预训练方法，用深度强化学习优化多目标搜索跟踪中的传感器任务管理。
2025-02-19 cs.LG cs.SY eess.SY
Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications
University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；York University（约克大学）；Sungkyunkwan University（成均馆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
自动驾驶汽车（AV）需要在动态环境中安全有效地运行。为此，配备了联合雷达通信（JRC）功能的AV可以通过利用雷达检测和数据通信功能来提高驾驶安全性。然而，优化的AV系统的性能与两个不同的功能下的不确定性和动态的周围环境是非常具有挑战性的。在这项工作中，我们首先提出了一个基于马尔可夫决策过程（MDP）的智能优化框架，以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最优决策。然后，我们开发了一种有效的学习算法，利用深度强化学习技术的最新进展，在不需要任何有关周围环境的先验信息的情况下找到AV的最佳策略。此外，为了使我们提出的框架更具可扩展性，我们开发了一个迁移学习（TL）机制，使AV能够利用宝贵的经验，加快培训过程中，当它移动到一个新的环境。大量的模拟表明，与其他传统的深度强化学习方法相比，所提出的可转移深度强化学习框架将AV的障碍物漏检概率降低了67%。
2022-06-11 cs.LG cs.RO
Selective Experience Sharing in Reinforcement Learning Enhances Interference Management
Villanova University（维拉诺瓦大学）
提出一种选择性经验共享的多智能体强化学习方法用于小区间干扰缓解，实现去中心化训练与执行，在大幅减少通信开销与经验共享量的同时，性能优于现有去中心化算法。
2025-01-27 cs.LG eess.SP
Online Learning-based Waveform Selection for Improved Vehicle Recognition in Automotive Radar
本文介绍了与调频连续波（FMCW）汽车雷达系统中基于在线学习的波形选择目标识别相关的重要考虑因素和挑战。我们提出了一种新的学习方法的基础上满意汤普森采样，快速识别波形，预计将产生令人满意的分类性能。我们通过测量级仿真证明，即使在雷达必须从大量候选波形中进行选择的情况下，也可以快速学习有效的波形选择策略。雷达学习自适应地选择适当的分辨率的带宽和慢时间单模码的干扰缓解在感兴趣的场景中通过优化预期的分类度量。
2022-12-01 cs.LG eess.SP
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
How can a Radar Mask its Cognition?
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
认知雷达是一种受约束的效用最大化器，它根据环境的变化调整其感知模式。如果对手能够估计出认知雷达的效用函数，就可以确定雷达的感知策略，并通过电子对抗（ECM）来降低雷达的性能。本文讨论了认知雷达如何{ \em hide}其策略，以防止对手发现认知。雷达通过发射有目的地设计的次优响应来欺骗对手的奈曼-皮尔逊检测器。我们通过确保对手的检测器的I型错误概率超过雷达性能损失的指定容限的预定义水平来提供理论保证。我们说明了我们的认知掩蔽方案通过数值例子，涉及波形适应和波束分配。我们表明，有目的地偏离雷达最佳策略的微小偏差会极大地迷惑对手，从而掩盖雷达的认知。我们的方法使用了微观经济学和对抗性反向强化学习中揭示偏好的新思想。我们提出的算法为系统级电子对抗（ECCM）提供了一种原则性的方法来掩盖雷达的认知，即，隐藏雷达的战略对对手。我们还提供了我们的认知掩蔽方案时，对手错误指定的雷达的响应测量的性能界限。
2022-10-20 cs.LG eess.SP
On the Implementation of a Reinforcement Learning-based Capacity Sharing Algorithm in O-RAN
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
无线电接入网络（RAN）切片中的容量共享问题涉及在各个RAN切片之间分配每个RAN节点中可用的容量，以满足它们的业务需求并有效地使用无线电资源。虽然在文献中已经提出了几种容量共享算法解决方案，但它们的实际实现仍然是一个空白。在本文中，一个基于强化学习的能力共享算法的O-RAN架构的实现进行了讨论，提供见解的操作所涉及的接口和容器化的解决方案。此外，实施验证解决方案的测试床的描述，并提出了一些性能和验证结果。
2022-07-21 cs.LG cs.NI
Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing
University of Edinburgh（爱丁堡大学）
在多智能体深度强化学习中共享参数在允许算法扩展到大量智能体方面发挥了至关重要的作用。智能体之间的参数共享显著减少了可训练参数的数量，将训练时间缩短到易于处理的水平，并且与更有效的学习有关。然而，让所有代理共享相同的参数也会对学习产生不利影响。我们展示了参数共享方法对训练速度和收敛回报的影响，并确定当不加区别地应用时，它们的有效性高度依赖于环境。我们提出了一种新的方法来自动识别代理，可以从共享参数的基础上，他们的能力和目标进行分区。我们的方法结合了增加的样本效率的参数共享与多个独立的网络的代表性能力，以减少训练时间，提高最终的回报。
2021-06-12 cs.LG cs.MA
Sharing Knowledge in Multi-Task Deep Reinforcement Learning
TU Darmstadt, IAS（达姆施塔特工业大学，IAS）；Politecnico di Milano, DEIB（米兰理工大学，DEIB）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究多任务深度强化学习中的表示共享问题，给出共享条件的理论保证，并提出三种强化学习算法的多任务扩展，实验显示其样本效率和性能显著优于单任务方法。
2024-01-17 cs.LG
Signal attenuation enables scalable decentralized multi-agent reinforcement learning over networks
Army Research Laboratory（陆军研究实验室）；U.S. Army DEVCOM Adelphi（美国陆军阿德福尔德 DEVCOM）；Industrial Engineering Dept. Purdue University（工业工程系 帕克维尔大学）；Oden Institute University of Texas, Austin（奥登研究所 德州大学奥斯汀）
本文利用无线通信中的信号衰减特性，通过提出受约束的多智能体马尔可夫决策过程公式和去中心化鞍点策略梯度算法，实现了基于局部邻域可观测性的可扩展去中心化多智能体强化学习。
2025-05-28 cs.LG
Adaptive ECCM for Mitigating Smart Jammers
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁高级技术实验室）
本文研究了自适应雷达电子对抗措施（ECCM），以减轻对抗性干扰机的电子干扰。我们的ECCM方法模型的干扰机雷达的相互作用作为一个主要的代理问题（PAP），一个流行的经济学框架，两个实体之间的相互作用与信息不平衡。在我们的设置中，雷达不知道干扰机的效用。相反，雷达使用逆强化学习随着时间的推移自适应地学习干扰机的效用。雷达的自适应ECCM目标是双重的（1）通过求解PAP最大化其效用，和（2）通过观察其响应来估计干扰机的效用。我们的自适应ECCM方案采用了微观经济学中的显示偏好和契约理论中的委托代理问题的深刻思想。我们的数值结果表明，随着时间的推移，我们的自适应ECCM既识别和减轻干扰机的效用。
2022-12-05 cs.LG eess.SP
Revisiting Parameter Sharing in Multi-Agent Deep Reinforcement Learning
Swarm Labs（蜂群实验室）；Department of Computer Science, University of Maryland, College Park（马里兰大学帕克分校计算机科学系）
本文形式化智能体指示概念并证明其可收敛到最优策略，同时提出将参数共享扩展到异构观测与动作空间的方法，并通过实验验证其有效性。
2023-10-31 cs.AI cs.LG cs.MA
Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
Gwangju Institute of Science and Technology (GIST)（光州科学技术学院）
Prism通过谱域参数共享机制，在多智能体强化学习中实现智能体间多样性与资源效率的平衡。
2026-02-06 cs.AI cs.LG cs.MA
Online waveform selection for cognitive radar
Institute for Experiential AI（体验式人工智能研究院）；Northeastern University（东北大学）；DRDO（国防研究与发展组织）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文针对弹道导弹全程跟踪难题，提出基于弹道轨迹领域知识的在线自适应波形选择强化学习算法，实现最小化距离误差与持续跟踪目标的双重目标。
2024-10-14 cs.LG eess.SP
Reinforcement Learning for Optimal Load Distribution Sequencing in Resource-Sharing System
Stony Brook Univesity（石溪大学）
可分负载理论（DLT）是数据密集型系统中可分负载问题建模的有力工具。利用机器学习框架研究了一个最优可分负荷分配排序问题。该问题的目的是确定分配可分负载到处理器的最优顺序，以达到最小的完成时间。调度在资源共享系统中执行，其中每个物理处理器被虚拟化为多个虚拟处理器。一个强化学习方法称为多臂强盗（MAB）用于我们的问题。我们首先提供了一个天真的解决方案，使用MAB算法，然后进行几次优化。进行了各种数值试验。我们的算法在训练过程中表现出越来越好的性能，当样本量足够大时，可以达到全局最优。
2019-02-05 cs.DC cs.LG
Towards Smarter Sensing: 2D Clutter Mitigation in RL-Driven Cognitive MIMO Radar
Institute of Digital Communication Systems, Ruhr University Bochum（鲁尔大学波鸿分校数字通信系统研究所）
本文提出一种RL增强的认知MIMO雷达系统，通过平面阵列自适应波形与波束形成，结合Wald检测器和SARSA算法抑制二维杂波，显著提升低信噪比多目标检测概率。
2025-02-07 cs.LG eess.SP
Data Efficient Training for Reinforcement Learning with Adaptive Behavior Policy Sharing
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；Google Brain（谷歌大脑）；DeepMind（深度思维）；Google AI（谷歌人工智能）
深度强化学习（RL）被证明是模拟环境中决策的强大工具。然而，由于交互的昂贵性和部署时的预算限制，训练深度RL模型在现实世界的应用中具有挑战性，例如生产规模的医疗保健或推荐系统。数据效率低下的一个方面来自优化深度神经网络时昂贵的超参数调整。我们提出了自适应行为策略共享（ABPS），一个数据高效的训练算法，允许共享的经验收集的行为策略，是自适应地选择从一个池的代理训练与合奏的超参数。我们进一步扩展ABPS，通过将ABPS与基于人口的训练（ABPS-PBT）的适应版本混合，在训练过程中进化超参数。我们用多个Atari游戏进行实验，最多有16个超参数/架构设置。与传统的独立训练超参数调整相比，ABPS实现了卓越的整体性能，减少了前25%代理的方差，并且在最佳代理上具有相同的性能，尽管ABPS只需要与训练单个代理相同数量的环境交互。我们还表明，ABPS-PBT进一步提高了收敛速度，降低了方差。
2020-02-12 cs.AI cs.LG stat.ML
Transfer Learning in Multi-Agent Reinforcement Learning with Double Q-Networks for Distributed Resource Sharing in V2X Communication
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本文讨论了车辆到一切（V2X）通信网络中的分散频谱共享问题。目的是提供车辆到基础设施（V2I）和车辆到车辆（V2V）链路的资源高效共存。最近关于该主题的工作提出了一种基于深度Q学习的多智能体强化学习（MARL）方法，该方法利用了基于指纹的深度Q网络（DQN）架构。这项工作考虑了这个框架的扩展，结合双Q学习（通过双DQN）和迁移学习。背后的动机是双Q学习可以缓解传统Q学习中存在的动作值高估的问题，而迁移学习可以利用专家模型获得的知识来加速MARL设置中的学习。所提出的算法在现实的V2X环境中进行评估，其中合成数据是基于几何传播模型生成的，该模型包含模拟环境的特定位置的地理描述符（建筑物，树叶和车辆的轮廓）。所提出的方法的优点是通过数值模拟证明。
2021-07-13 cs.IT cs.LG eess.SP
A Distributed Model-Free Algorithm for Multi-hop Ride-sharing using Deep Reinforcement Learning
Purdue University（普渡大学）
自动驾驶汽车、拼车系统和自动驾驶技术的发展将改变叫车平台规划服务的方式。然而，这些技术进步加上道路拥堵、环境问题、燃料使用、车辆排放和车辆使用的高成本，使人们更加关注如何更好地利用车辆及其容量。在本文中，我们提出了一种新的多跳乘车共享（MHRS）算法，该算法使用深度强化学习，通过与外部环境交互来学习最优车辆调度和匹配决策。通过允许客户在车辆之间转移，即，与拼车算法相比，MHRS使用一辆车骑行一段时间，然后转移到另一辆车，有助于实现30%的成本降低和20%的车队利用率提高。这种多跳功能的灵活性为客户和拼车公司提供了无缝体验，从而改善了拼车服务。
2019-10-30 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models
Purdue University（普渡大学）；AWS Agentic AI（AWS智能体实验室）
本文提出互强化学习框架，通过共享经验提升异构语言模型性能，采用共享经验交换、多工人资源分配和 tokenizer 异质性层实现跨模型经验共享，验证了在稳定与支持之间取得平衡的可行性。
2026-05-08 cs.AI cs.CL cs.LG
Semantic-Aware Spectrum Sharing in Internet of Vehicles Based on Deep Reinforcement Learning
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室及电信工程学院）；School of Engineering, University of Kent（肯特大学工程学院）；Department of Electrical and Computer Engineering, Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对车联网频谱稀缺问题，提出基于深度强化学习SAC的语义感知频谱共享算法SSS，通过优化链路、功率和符号长度，提升HSSE 15%和SRS 7%。
2025-06-19 cs.LG
Conservative Data Sharing for Multi-Task Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
离线强化学习（RL）算法在有大量预收集数据的领域已经显示出有希望的结果。然而，先前的方法专注于用离线数据集从头开始解决单个问题，而没有考虑离线RL代理如何获得多种技能。我们认为，离线强化学习的一个自然用例是在这样的环境中，我们可以将在各种场景中收集的大量数据集中起来解决不同的任务，并利用所有这些数据更有效地学习所有任务的行为，而不是孤立地训练每一个任务。然而，在多任务离线RL中的所有任务之间共享数据在实践中表现得非常差。通过深入的实证分析，我们发现共享数据实际上会加剧学习策略和数据集之间的分布变化，这反过来会导致学习策略的发散和性能低下。为了解决这一挑战，我们开发了一种简单的技术，用于多任务离线RL中的数据共享，该技术基于对特定任务数据的改进来路由数据。我们称这种方法为保守数据共享（CDS），它可以应用于多个单任务离线RL方法。在一系列具有挑战性的多任务运动，导航和基于视觉的机器人操作问题上，与先前的离线多任务RL方法和先前的数据共享方法相比，CDS实现了最佳或相当的性能。
2021-09-16 cs.AI cs.LG cs.RO
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
When is Cognitive Radar Beneficial?
Virginia Tech（弗吉尼亚理工学院）
什么时候基于在线强化学习的频率捷变认知雷达的性能应该优于基于规则的自适应波形选择策略？我们寻求洞察这个问题，通过检查一个动态的频谱接入的情况下，在每个脉冲重复间隔期间，雷达希望在最宽的空闲带宽传输。在线学习相比，一个固定的基于规则的感知和避免策略。我们表明，给定一个简单的马尔可夫信道模型，可以通过随机优势的简单情况下，分析检查的问题。此外，我们表明，对于更现实的信道假设，基于学习的方法表现出更大的泛化能力。然而，对于时间跨度很短的问题，我们发现，机器学习方法可能会表现不佳，由于固有的收敛时间的限制。我们得出结论，以学习为基础的方法，预计将是有益的，并为今后的研究提供指导方针。
2022-12-01 cs.IT cs.LG eess.SP
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
DeliverAI: Reinforcement Learning Based Distributed Path-Sharing Network for Food Deliveries
BITS Pilani K K Birla Goa Campus；BITS Pilani Goa；HappyMonk AI；Miami University（迈阿密大学）；Nitte Meenakshi Institute of Technology
针对现有食品配送次优问题，提出基于强化学习的路径共享算法DeliverAI，通过多目标优化和智能体交互减少车队规模与行驶距离并提高利用率。
2024-02-11 cs.AI cs.LG
Distributed Deep Reinforcement Learning for Collaborative Spectrum Sharing
Bar-Ilan University（巴伊兰大学）；BITS Pilani（皮拉尼比尔拉理工学院）
用户之间的频谱共享是任何无线网络管理中的基本问题。本文讨论了一般未知信道下无中心管理的分布式频谱协作问题。由于通信、协调和控制的成本随着设备的数量和使用的扩展带宽而迅速增加，因此显然需要开发用于频谱协作的分布式技术，其中不使用显式信令。在本文中，我们将博弈论的见解与深度Q学习相结合，为频谱协作问题提供了一种新的渐进最优解决方案。我们提出了一种使用深度Q网络（DQN）的确定性分布式深度强化学习（D3RL）机制。它使用Q值和信道负载来选择信道，同时将用户可用的选项限制为具有最高Q值的几个信道，并且在这些信道中，它选择负载最小的信道。使用从博弈论和组合优化的见解，我们表明，这种技术是大型超载网络的渐近最优。所选择的信道和成功传输的结果被反馈到深度Q网络的学习中，以将其并入Q值的学习中。我们还分析了性能，以了解D3RL在不同环境中的行为。
2021-04-06 cs.IT cs.LG eess.SP
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
自我监督方法通过利用数据本身来减少对昂贵注释的需求，对于推进深度学习至关重要。然而，如何以原则性的方式进行自监督离线强化学习（RL）的问题仍然不清楚。在本文中，我们解决这个问题，通过研究在半监督设置中的线性马尔可夫决策过程（MDP）中利用无奖励数据的理论优势。此外，我们提出了一种新的，可证明的数据共享算法（PDS），利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估，确保算法的保守性。我们在各种离线RL任务上的结果表明，PDS显着提高了离线RL算法的性能与无奖励数据。总的来说，我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处，同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Fully Dynamic Rebalancing in Dockless Bike-Sharing Systems via Deep Reinforcement Learning
University of Padua（帕多瓦大学）
本文提出基于图的模拟器和马尔可夫决策过程的深度强化学习方法，实现无桩自行车共享系统的全动态再平衡，减少车辆短缺并降低空间不平等。
2026-05-14 cs.AI cs.LG cs.SY
Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
Department of Aerospace Engineering, Seoul National University（首尔国立大学航空航天工程系）；Artificial Intelligence Institute, Seoul National University（首尔国立大学人工智能研究所）
针对机器人多任务强化学习数据成本高的问题，提出 MT-Lévy，融合跨任务行为共享、莱维飞行式时间延展探索和基于成功率的自适应调节，显著提升探索与样本效率。
2025-09-29 cs.LG cs.RO
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；TikTok Pte. Ltd., Singapore（新加坡TikTok公司）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架，通过奖励塑形实现知识共享与迁移，在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
A Reinforcement Learning Approach for Rebalancing Electric Vehicle Sharing Systems
University of South Florida（南佛罗里达大学）；KAIST（韩国科学技术院）
提出了一种强化学习方法，用于自由浮动电动汽车共享系统（FFEVSS）的夜间离线再平衡操作。由于网络中的需求稀疏，FFEVSS需要将电动车辆（EV）重新定位到充电站和需求者节点，这通常由一组驾驶员完成。穿梭巴士用于在整个网络中接送司机。本研究的目的是解决穿梭机路径问题，以最短的时间完成再平衡工作。我们考虑一个强化学习框架的问题，其中一个中央控制器确定多个穿梭机的车队的路由策略。我们部署了一个策略梯度方法训练递归神经网络，并比较所获得的政策结果与启发式解决方案。我们的数值研究表明，与文献中现有的解决方案不同，所提出的方法可以解决一般版本的问题，对城市电动汽车网络结构和电动汽车的充电要求没有限制。此外，学习的策略提供了广泛的灵活性，从而大大减少了重新平衡网络所需的时间。
2021-04-06 cs.AI cs.LG cs.NE
Parameter Sharing Reinforcement Learning Architecture for Multi Agent Driving Behaviors
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
多智能体学习为交通行为的学习和模拟提供了一个潜在的框架。本文提出了一种新的架构，学习多种驾驶行为在交通场景。所提出的架构可以独立地以及同时地学习多个行为。我们利用代理的同质性，并在参数共享范式中学习。为了进一步加快训练过程，在架构中采用异步更新。在同时学习不同行为的同时，给定的框架还能够学习代理之间的合作，而无需任何显式的通信。我们应用这个框架来学习驾驶中的两个重要行为：1）车道保持和2）超车。结果表明，更快的收敛和学习更通用的行为，这是可扩展到任何数量的代理。与现有的方法相比，我们的结果表明，在某些情况下，平等，甚至更好的性能。
2018-11-17 cs.AI cs.LG cs.RO
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University（台湾大学）；MediaTek Research（联发科技研究院）
本文提出一种基于核函数近似的离线强化学习算法，有效利用低成本无标签数据，并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）；The Taub Faculty of Computer Science, Technion - Israel Institute of Technology（以色列理工学院陶布计算机科学学院）
提出选择性多智能体优先经验回放方法，通过智能体间共享少量高度相关的经验，在仅需有限通信的去中心化训练下显著提升多智能体强化学习性能。
2024-04-23 cs.AI cs.LG cs.MA
Efficient Online Learning for Cognitive Radar-Cellular Coexistence via Contextual Thompson Sampling
Virginia Tech（弗吉尼亚理工大学）；U.S Army Research Laboratory（美国陆军研究实验室）
本文介绍了一种顺序的，或在线的，自适应雷达传输，促进频谱共享与非合作蜂窝网络的学习计划。首先，雷达和空间上遥远的蜂窝网络之间的干扰信道进行建模。然后，应用线性上下文Bandit（CB）学习框架来驱动雷达的行为。探索和开发之间的基本权衡是平衡的汤普森采样（TS）算法，一个伪贝叶斯方法，选择波形参数的后验概率的基础上，一个特定的波形是最佳的，折扣信道信息作为上下文。结果表明，上下文TS方法收敛更快的行为，最大限度地减少相互干扰，最大限度地提高频谱利用率比可比的上下文强盗算法。此外，我们表明，TS学习计划的结果在一个有利的SINR分布相比，其他在线学习算法。最后，将所提出的TS算法与深度强化学习模型进行了比较。我们证明了TS算法在更复杂的深度Q网络（DQN）中保持了有竞争力的性能。
2020-08-24 cs.IT cs.LG math.IT
Urban-Focused Multi-Task Offline Reinforcement Learning with Contrastive Data Sharing
Binghamton University（宾汉姆顿大学）；San Diego State University（圣地亚哥州立大学）；Lehigh University（里海大学）；University of Maryland, College Park（马里兰大学学院公园分校）；Worcester Polytechnic Institute（伍斯特理工学院）；Logistics and Supply Chain MultiTech R&D Centre（物流与供应链多技术研发中心）
针对城市离线强化学习面临的数据稀缺、异质性及分布偏移问题，提出带对比数据共享的多任务方法MODA，通过对比学习共享相似数据增强样本，并结合动力学模型与GAN构建鲁棒MDP，实验证明其性能优于现有最优基线。
2024-06-20 cs.LG
Kaleidoscope: Learnable Masks for Heterogeneous Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对多智能体强化学习中全参数共享导致策略同质化的问题，提出Kaleidoscope自适应部分参数共享方案，通过为不同智能体学习独特掩码来平衡样本效率与策略多样性，在多种环境中取得优越性能。
2024-10-11 cs.AI cs.LG cs.MA
Achieving Collective Welfare in Multi-Agent Reinforcement Learning via Suggestion Sharing
Warwick Manufacturing Group, University of Warwick, Coventry, UK（沃里克制造集团，沃里克大学，科文特里，英国）；School of Electrical Engineering and Computer Science, Louisiana State University, USA（电气工程与计算机科学学院，路易斯安那州立大学，美国）；Department of Statistics, University of Warwick, Coventry, UK（统计学系，沃里克大学，科文特里，英国）；Alan Turing Institute, London, UK（艾伦·图灵研究所，伦敦，英国）
针对多智能体强化学习中个体利益与集体利益冲突的问题，提出一种通过交换行动建议实现协作的方法，泄露隐私更少且无需设计内在奖励，性能与现有基线相当并得到理论支撑。
2025-06-16 cs.AI cs.LG cs.MA
Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Tianjin University（天津大学）；Yale University（耶鲁大学）；Northwestern Polytechnical University（西北工业大学）
本文提出基于不确定性的多任务数据共享方法，通过悲观值迭代统一单任务与多任务离线强化学习，理论证明其最优性差距仅取决于共享数据覆盖范围，并在三个挑战性领域上超越现有方法。
2024-04-30 cs.AI cs.LG
A Deep Reinforcement Learning Framework for Contention-Based Spectrum Sharing
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm Research Center（高通研究中心）
在未授权频谱中操作的无线设备的数量的增加促进了频谱接入的智能自适应方法的发展。我们认为，分散的基于竞争的介质访问的基站（BS）在未经许可的共享频谱上工作，其中每个BS自主决定是否在给定的资源上进行传输。竞争决策试图最大化的不是它自己的下行链路吞吐量，而是一个网络范围的目标。我们制定这个问题作为一个分散的部分可观察马尔可夫决策过程与一个新的奖励结构，提供长期的比例公平的吞吐量。然后，我们引入了一个两阶段的马尔可夫决策过程中使用的信息，从频谱感知和接收质量，使媒体接入的决定，在每个时隙。最后，我们将这些功能到一个分布式的强化学习框架，基于竞争的频谱访问。我们的公式提供了分散的推理，在线适应性，也迎合了部分可观察性的环境，通过经常性Q学习。经验上，我们发现它的比例公平性度量的最大化是有竞争力的基因辅助的自适应能量检测阈值，同时对信道衰落和小竞争窗口是鲁棒的。
2021-10-05 cs.IT cs.LG eess.SP
Distributionally Robust Inverse Reinforcement Learning for Identifying Multi-Agent Coordinated Sensing
Cornell University（康奈尔大学）
本文提出一种极小极大分布鲁棒逆强化学习算法，通过在Wasserstein模糊集上最小化最坏预测误差来重构多智能体感知系统的效用函数，并证明了其与半无限优化的等价性且在认知雷达网络实验中验证了有效性。
2024-09-22 cs.LG cs.MA eess.SP
Multi-Agent Transfer Learning in Reinforcement Learning-Based Ride-Sharing Systems
Trinity College Dublin（都柏林三一学院）
强化学习（RL）已经被用于一系列模拟现实世界的任务，例如，传感器协调、交通灯控制和按需移动服务。然而，现实世界的部署是罕见的，因为RL与现实世界环境的动态性质作斗争，需要时间来学习任务并适应环境的变化。迁移学习（TL）可以帮助降低这些适应时间。特别是，有一个显着的潜力，应用TL在多代理RL系统，其中多个代理可以共享知识与对方，以及与新的代理加入系统。为了从代理间转移中获得最大收益，转移角色（即，确定哪些代理充当源以及哪些代理充当目标），以及相关的传送内容参数（例如，传输大小）应当在每个特定情况下动态地选择。作为实现完全动态转移的第一步，在本文中，我们研究了固定源和目标角色的TL转移参数的影响。具体来说，我们标记每个代理环境交互与代理的认知信心，我们使用不同的阈值水平和样本大小过滤共享的例子。我们研究了两种情况下这些参数的影响，一个标准的捕食者-猎物RL基准和一个模拟的乘车共享系统与200车辆代理和10,000乘车请求。
2021-12-01 cs.AI cs.LG cs.MA
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
GRLinQ: An Intelligent Spectrum Sharing Mechanism for Device-to-Device Communications with Graph Reinforcement Learning
University of Liverpool（利物浦大学）；National Tsing Hua University（国立清华大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对D2D通信频谱共享的非凸优化难题，提出基于图强化学习的混合模型/数据驱动机制GRLinQ，融合信息论实现可解释的链路调度与功率控制，性能优于现有方法且降低CSI需求与计算复杂度。
2024-08-18 cs.IT cs.LG cs.NI
Dual Policy Reinforcement Learning for Real-time Rebalancing in Bike-sharing Systems
Polytechnique Montréal（蒙特利尔理工学院）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Cornell Tech（康奈尔科技学院）；Technion – IIT（以色列理工学院）；Centre Interuniversitaire de Recherche sur les Reseaux d’Entreprise, la Logistique et le Transport (CIRRELT)（企业网络、物流与运输大学间研究中心）；SCALE-AI Chair in Data-Driven Supply Chains（SCALE-AI 数据驱动供应链讲席）；Canada Excellence Research Chair in Data-Science for Real-time Decision-Making (CERC)（加拿大实时决策数据科学卓越研究讲席）
针对共享单车系统的实时再平衡问题，提出一种解耦库存与路径决策的基于DQN的双策略强化学习算法，有效降低了流失需求并显著提升了性能。
2024-06-02 cs.LG
Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
University of Edinburgh（爱丁堡大学）
探索多智能体强化学习是一个具有挑战性的问题，特别是在稀疏奖励的环境中。我们提出了一个通用的方法，有效的探索，通过分享经验之间的代理。我们提出的算法，称为共享经验演员批评（SEAC），适用于演员批评框架中的经验共享。我们在一组稀疏奖励多智能体环境中评估了SEAC，发现它通过更少的步骤学习并收敛到更高的回报，始终优于两个基线和两个最先进的算法。在一些更困难的环境中，经验分享决定了学习解决任务和根本不学习的区别。
2021-05-19 cs.LG cs.MA
Partially Observable Multi-Agent Reinforcement Learning with Information Sharing
本文研究了在部分可观测随机游戏框架下可证明的多智能体强化学习问题，提出利用智能体间的信息共享来解决计算复杂性问题，并设计了具有准多项式时间复杂度的算法，扩展至合作部分可观测马尔可夫决策过程。
2026-03-12 cs.GT cs.LG cs.MA
