Inverting Self-Triggered Control: Adversarial Reinforcement Learning for Sparse Denial-of-Service Attacks
Iowa State University(爱荷华州立大学);United States Naval Academy(美国海军学院);U.S. Naval Research Laboratory(美国海军研究实验室)
本研究将自触发控制反转,提出对抗强化学习生成最稀疏的拒绝服务攻击调度,以李雅普诺夫递增条件破坏闭环稳定性,实验证明其在多种环境下以100%成功率优于基线。
2026-09-14 cs.LG cs.SY eess.SY
Hearts Gym: Learning Reinforcement Learning as a Team Event
Forschungszentrum Jülich(于利希研究中心);RWTH Aachen University(亚琛工业大学)
在COVID-19大流行期间,本文的作者为数据科学领域的研究生院组织了一门强化学习(RL)课程。我们描述的策略和材料,尽管无处不在的变焦疲劳,创造一个令人兴奋的学习体验,并定性评估课程。关键的组织特征是专注于团队中的竞争性实践环境,并通过最少的讲座提供RL的基本背景。课程的实践部分围绕着Hearts Gym,这是我们作为RL入门教程开发的纸牌游戏Hearts的RL环境。参与者的任务是训练代理,以探索奖励塑造和其他RL超参数。为了进行最后的评估,参与者的代理人相互竞争。
2022-09-07 cs.AI cs.CY cs.LG
RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes
UC Berkeley(加州大学伯克利分校)
本文提出RACER强化学习框架,融合风险敏感控制、自适应动作空间课程与认知不确定性估计,使小型拉力赛车在真实越野环境中学会高速驾驶,并减少训练安全违规、提升策略性能。
2024-05-07 cs.AI cs.LG cs.RO
SAFE: Stable Alignment Finetuning with Entropy-Aware Predictive Control for Reinforcement Learning from Human Feedback (RLHF)
SAFE通过熵感知预测控制提升RLHF稳定性,实现更高的训练奖励和更稳定的优化性能。
2026-02-09 cs.LG
UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations
Muroran Institute of Technology(室兰工业大学)
由于灾害,地面基站(TBS)将部分崩溃。一些用户设备(UE)将不被服务。部署无人机(UAV)作为空中基站是快速覆盖UE的方法。但现有的方法仅涉及无人机的覆盖范围。在这些场景中,他们专注于在所有TBS不再工作的灾后地区部署无人机。现有的TBS和无人机的组合的研究有限。我们提出的方法来部署无人机与可用的TBS作为空中基站合作。并通过强化学习提高覆盖率。此外,在实验中,我们首先使用平衡迭代减少和使用层次分簇(BIRCH)对UE进行分簇。最后,通过Q-learning实现基站对UE的更好覆盖。
2022-02-17 cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University(国立阳明交通大学)
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行,并吸引了研究人员开发游戏程序。由于其简单性和复杂性,2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况,对强化学习和计算机游戏算法进行了全面的研究。首先,本文提出了乐观的时间差学习,它通过采用乐观的初始化来鼓励探索2048,从而显着提高了学习质量。此外,基于这种方法,一个国家的最先进的计划,为2048年的发展,实现了最高的性能在所有的学习为基础的计划,即625377分的平均成绩和率为72%,达到32768瓦片。其次,本文研究了与2048相关的几种技术,包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的,为进一步提高当前国家的最先进的程序的性能。最后,本文通过提出课程设计方案和总结教学经验,探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生,并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Deep Reinforcement Learning for Cryptocurrency Trading: Practical Approach to Address Backtest Overfitting
Columbia University(哥伦比亚大学)
在高度波动的加密货币市场中,设计有利可图且可靠的交易策略是一项挑战。现有的工作应用了深度强化学习方法,并乐观地报告了回测中的利润增加,这可能会由于过拟合而导致误报问题。在本文中,我们提出了一种实用的方法,使用深度强化学习来解决加密货币交易的回测过拟合问题。首先,我们将回测过拟合的检测公式化为假设检验。然后,我们训练DRL代理,估计过拟合的概率,并拒绝过拟合的代理,增加了良好的交易表现的机会。最后,在2022年5月1日至2022年6月27日的测试期内,对10种加密货币进行了测试(在此期间,加密市场崩溃了两次),我们表明,过拟合程度较低的深度强化学习代理的回报率高于过拟合程度较高的代理、等权重策略和S&P DBM指数。(市场基准),为可能部署到真实市场提供信心。
2023-01-31 cs.AI cs.LG q-fin.ST
Structure-aware reinforcement learning for node-overload protection in mobile edge computing
McGill University(麦吉尔大学);Montreal Institute of Learning Algorithms(蒙特利尔学习算法研究所);Ericsson(爱立信)
移动边缘计算(MEC)是指将计算能力和应用程序置于网络边缘的概念,提供诸如减少处理客户端请求的延迟,减少网络拥塞和提高应用程序性能等好处。当集群中的一个或多个边缘服务器过载时,MEC的性能和可靠性会显著下降。特别是当服务器由于过载而崩溃时,它会导致MEC中的服务失败。在这项工作中,自适应接纳控制策略,以防止边缘节点过载。这种方法是基于最近提出的低复杂度的RL(强化学习)算法称为SALMUT(结构感知学习多个队列),它利用了结构的最佳准入控制策略在多类队列的平均成本设置。我们扩展的框架工作在折扣成本设置的节点过载保护问题。使用模拟两种不同设置-计算机模拟和Docker测试床中的真实部署的几种场景来验证所提出的解决方案。我们的经验评估表明,SALMUT产生的总折扣成本类似于最先进的深度RL算法,如PPO(近端策略优化)和A2 C(优势演员评论),但需要一个数量级更少的时间来训练,输出易于解释的策略,并可以在线方式部署。
2021-06-29 cs.LG cs.NI cs.SY
Diffusion-Augmented Reinforcement Learning for Robust Portfolio Optimization under Stress Scenarios
Indian Institute of Technology Mandi(印度理工学院曼迪)
针对金融市场压力情景,提出扩散增强强化学习(DARL)框架,融合去噪扩散概率模型与深度强化学习,生成合成崩盘数据以提升训练稳健性,实证优于传统基线,增强风险调整后收益与危机韧性。
2025-10-08 cs.CE cs.LG q-fin.CP
Concurrent Credit Assignment for Data-efficient Reinforcement Learning
Institut de Neurosciences de la Timone(蒂莫内神经科学研究所);Centrale Marseille(马赛中央理工学院);CNRS(法国国家科学研究中心)
对状态和动作空间进行广泛采样的能力是构建有效的强化学习算法的关键因素。变分优化原理暴露在本文中强调的重要性,占用模型合成的一般分布代理的环境状态,它可以采取行动(定义一个虚拟的“领土”)。随着探索的进展,占用模型是频繁更新的主题,并且在训练过程中不公开新的状态。通过统一的先验假设,所得到的目标表达了两个并行趋势之间的平衡,即占用空间的扩大和回报的最大化,提醒经典的探索/开发权衡。在经典的连续动作基准上的演员-评论家关闭政策上实施,它被证明可以显着提高采样效率,这反映在密集和稀疏奖励的情况下,减少了训练时间和更高的回报。
2022-05-24 cs.AI cs.LG cs.SY
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto(多伦多大学);RBC Capital Markets(加拿大皇家银行资本市场)
强化学习(RL)的进步跨越了各种各样的应用,推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准,但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习(TradeR)的交易执行,旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头,TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划,结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中,TradeR展示了对价格突然变化和灾难性损失的鲁棒性,同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Reinforcement Learning in Agent-Based Market Simulation: Unveiling Realistic Stylized Facts and Behavior
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出基于强化学习智能体的市场模拟框架,验证其能复现真实市场典型事实,并分析智能体在闪崩等外部冲击下的响应行为,为投资者和监管者提供决策预判工具。
2024-03-28 cs.LG cs.MA q-fin.TR
From Rules to Rewards: Reinforcement Learning for Interest Rate Adjustment in DeFi Lending
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);UZH Blockchain Center(苏黎世大学区块链中心)
本文利用离线强化学习优化 DeFi 借贷利率调整,基于 Aave 历史数据比较 CQL、BC 和 TD3-BC,发现 TD3-BC 在平衡利用率、资本稳定性与风险方面表现最优,并能有效应对历史压力事件。
2025-05-31 cs.LG
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而,一个已知的问题是,政策过度适应培训环境,可能无法避免罕见的灾难性事件,如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练,但这种方法只能防止常见情况。最近,鲁棒对抗强化学习(RARL)被开发出来,它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是,只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此,代理不考虑灾难性事件的概率(即,那些诱导异常大的负奖励),除非通过它们对预期目标的影响。在本文中,我们介绍了风险规避鲁棒对抗强化学习(RARARL),使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明,一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手,和经验大大减少崩溃相比,没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Autonomous Navigation via Deep Reinforcement Learning for Resource Constraint Edge Nodes using Transfer Learning
Georgia Institute of Technology(佐治亚理工学院)
智能而敏捷的无人机正在云边缘迅速变得无处不在。这些无人机的使用受到其有限的功率和计算能力的限制。在本文中,我们提出了一种基于迁移学习(TL)的方法,以减少通过深度强化学习训练深度神经网络进行自主导航所需的机载计算,以获得目标算法性能。使用虚幻游戏引擎手动设计3D逼真元环境库,并对网络进行端到端训练。然后,这些经过训练的元权重在测试环境中用作网络的初始化器,并针对最后几个完全连接的层进行微调。无人机动力学和环境特性的变化进行了显示的方法的鲁棒性。使用NVIDIA GPU分析器,能耗和训练延迟分别减少了3.7倍和1.8倍,而在坠毁前平均行驶距离(即平均安全飞行(MSF))方面的性能没有显着下降。该方法还使用DJI Tello无人机在真实环境中进行了测试,并报告了类似的结果。
2019-10-12 cs.LG stat.ML
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University(理海大学)
为了解决图像分类问题,我们提出了一种机器人(代理)的规划和感知机制,它只能部分地观察底层环境。一个三层架构的建议,包括一个元层,决定中间目标,一个行动层,选择本地行动的代理导航到一个目标,和一个分类层,评估奖励,并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数,以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字,这为我们提供了一个层次的解释,同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Online Error Detection in Cyber-Physical Systems
针对传统 CPS 容错机制开销大、覆盖率低且检测延迟长的问题,本文提出基于 DRL 的在线错误检测方法,可区分错误类型并预测系统失效,准确率提升逾2倍、推理时间改善逾5倍。
2023-06-05 cs.AI cs.LG cs.SY
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们考虑的问题,设计一个算法,让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题:模型预测控制(MPC)和强化学习(RL)。在本文中,我们首先建立了国家的最先进的MPC和RL为基础的技术,通过模拟的优点和缺点。我们表明,从安全性和对分布外流量模式的鲁棒性的角度来看,RL代理的性能比MPC解决方案差,即,RL代理在训练期间没有看到的流量模式。另一方面,在效率和乘客舒适度方面,RL代理的性能优于MPC解决方案。随后,我们提出了一种算法,该算法将无模型RL代理与MPC解决方案相结合,并表明它在所有指标-乘客舒适度,效率,碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Formulation and validation of a car-following model based on deep reinforcement learning
Technische Universität Dresden(德累斯顿工业大学)
提出并验证了一种基于深度强化学习的跟车模型。我们的模型被训练为最大化外部给定的奖励函数,而不是复制现有的追随者轨迹。这些奖励函数的参数,如期望速度、时间间隔或加速度,类似于智能驾驶员模型(IDM)等传统模型的参数,并允许显式地实现不同的驾驶风格。此外,它们部分解除了传统神经网络模型的黑箱性质。该模型是训练领先的速度曲线所管辖的截断Ornstein-Uhlenbeck过程反映了一个现实的领导者的运动学。这允许任意驾驶情况和无限供应的训练数据。对于奖励函数的各种参数化,以及各种各样的人工和真实领导者数据,该模型被证明是无条件的字符串稳定,舒适,无崩溃。字符串的稳定性进行了测试与排的五个追随者以下的人工和真正的领先轨迹。与IDM校准的拟合优度的相对差距的交叉比较显示出更高的奖励相比,传统的模型和更好的拟合优度。
2021-09-29 cs.LG cs.RO eess.SP
Beyond expected value: geometric mean optimization for long-term policy performance in reinforcement learning
Aalto University(阿尔托大学)
针对期望累积奖励难以反映单条轨迹长期表现的问题,提出结合系综平均与N滑动窗口几何均值正则化的RL算法,并在仿真中优于传统方法。
2025-08-29 cs.LG cs.SY eess.SY
Modeling Interactions of Autonomous Vehicles and Pedestrians with Deep Multi-Agent Reinforcement Learning for Collision Avoidance
Technical University of Munich(慕尼黑工业大学);EURECOM(欧洲通信学院)
可靠的行人碰撞避免缓解(PCAM)系统是安全自动驾驶汽车(AV)的关键组成部分。车辆-行人交互的性质,其中一个代理的决定直接影响其他代理的最佳行为,反之亦然,是一个具有挑战性的,但往往被忽视的方面,这样的系统。我们解决这个问题,通过建模马尔可夫决策过程(MDP)的模拟AV行人互动在一个没有标记的人行横道。AV的PCAM决策策略通过深度强化学习(DRL)来学习。由于模拟行人现实是具有挑战性的,我们比较两个层次的智能行人行为。虽然基线模型遵循预定义的策略,但我们的高级行人模型被定义为第二个DRL代理。该模型捕捉了人类行为中固有的连续学习和不确定性,使AV-行人交互成为深度多智能体强化学习(DMARL)问题。我们基准开发的PCAM系统,根据碰撞率和由此产生的交通流的效率,专注于观察的不确定性对决策的代理的影响。结果表明,AV能够完全减轻碰撞的大多数调查条件下,DRL行人模型学习智能过街行为。
2022-05-31 cs.AI cs.LG cs.MA
Periodic Intra-Ensemble Knowledge Distillation for Reinforcement Learning
National Tsing Hua University(国立清华大学);Preferred Networks(优选网络)
非策略集成强化学习(RL)方法在一系列RL基准任务中表现出令人印象深刻的结果。最近的工作表明,直接模仿专家的政策,在监督的方式之前或期间的培训,使更快的政策改进的RL代理。受这些最新见解的启发,我们提出了周期性集群内知识蒸馏(PIEKD)。PIEKD是一个学习框架,它使用一组策略在环境中发挥作用,同时通过知识蒸馏在组中的策略之间定期共享知识。我们的实验表明,PIEKD提高了一个国家的最先进的RL方法在样本效率的几个具有挑战性的MuJoCo基准任务。此外,我们进行消融研究,以更好地了解PIEKD。
2020-02-01 cs.AI cs.LG
Applied Machine Learning for Games: A Graduate School Course
University of Southern California(南加州大学)
游戏行业正在进入一个时代,老式的游戏引擎正在被重新设计的系统所取代,这些系统具有嵌入式机器学习技术,用于操作,分析和理解游戏。在本文中,我们描述了我们的机器学习课程,该课程是为有兴趣将深度学习和强化学习的最新进展应用于游戏的研究生设计的。本课程作为桥梁,以促进研究生院之间的跨学科合作,不需要事先设计或构建游戏的经验。参加本课程的研究生应用不同领域的机器学习技术,如计算机视觉,自然语言处理,计算机图形学,人机交互,机器人和数据分析,以解决游戏中的开放性挑战。学生项目涵盖用例,例如在游戏基准环境和比赛中训练AI机器人,了解游戏中的人类决策模式,以及创建智能不可玩角色或环境以促进引人入胜的游戏玩法。项目演示可以帮助学生打开行业职业生涯的大门,瞄准出版物,或为未来的产品奠定基础。我们的学生在应用最先进的机器学习技术来解决游戏中的现实问题方面获得了实践经验。
2021-01-01 cs.AI cs.CY cs.LG
On the Hardness of Reinforcement Learning with Transition Look-Ahead
CREST, ENSAE(CREST,ENSAE);Criteo AI Lab(Criteo AI实验室);FairPlay Joint Team(FairPlay联合团队);Technion(以色列理工学院)
研究了强化学习中利用过渡前瞻的信息对性能的影响,证明了一步前瞻可在线性规划中解决,而两步及以上前瞻则为NP难问题。
2026-10-27 cs.LG stat.ML
Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings
Maastricht University(马斯特里赫特大学)
针对海上四旋翼无人机回收难题,提出基于课程学习和对抗风智能体的HAPPO强化学习方法,在分布外海况下显著提升成功率并降低坠毁率。
2026-09-14 cs.LG
Automated Lane Change Strategy using Proximal Policy Optimization-based Deep Reinforcement Learning
Beijing Institute of Technology(北京理工大学);University of California, Berkeley(加州大学伯克利分校);GAC R&D Center Silicon Valley Inc.(广汽研究院硅谷公司)
车道变换机动通常由驾驶员执行以遵循一定的路线规划、超越较慢的车辆、适应前方的合并车道等。然而,不适当的车道变换行为可能是交通流中断甚至撞车的主要原因。虽然已经提出了许多基于规则的方法来解决自动驾驶的车道变换问题,但由于驾驶环境的不确定性和复杂性,它们往往表现出有限的性能。基于机器学习的方法提供了一种替代方法,因为深度强化学习(DRL)在许多应用领域(包括机器人操纵、导航和玩视频游戏)中已经显示出有希望的成功。然而,将DRL应用于自动驾驶仍然面临着学习率缓慢、样本效率低下和安全问题等诸多实际挑战。在本研究中,我们提出了一种使用基于近端策略优化的深度强化学习的自动变道策略,该策略在学习效率方面表现出很大的优势,同时仍然保持稳定的性能。经过训练的智能体能够学习平稳、安全和有效的驾驶策略,以便在具有挑战性的情况下(如密集的交通场景)做出变道决策(即何时以及如何)。通过任务成功率和冲突率指标验证了该策略的有效性。仿真结果表明,车道变换操纵可以有效地学习和执行在一个安全,平稳,高效的方式。
2020-05-20 cs.AI cs.LG cs.RO
The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches
Yale University(耶鲁大学)
在本文中,我们研究了无模型和基于模型的情景强化学习(RL)的后悔最小化问题。我们专注于学习一般功能类和一般模型类,我们得出的结果,这些类的逃避维度的规模。在现有的工作,主要是建立实例独立的遗憾保证机构,我们专注于实例依赖的设置和显示的遗憾尺度与地平线$T$,只要有一个最好的和第二个最好的行动之间的差距,在每个国家。此外,我们表明,这样的对数遗憾界是可实现的算法与$O(\log T)$切换成本(也称为自适应复杂性)。换句话说,这些算法在执行过程中很少切换策略。最后,我们补充我们的结果与下限表明,即使在表格设置,我们不能希望后悔保证低于$o(\log T)$。
2022-03-03 cs.LG
Decoding Polar Codes with Reinforcement Learning
McGill University(麦吉尔大学);Stanford University(斯坦福大学)
在本文中,我们解决的问题,选择因子图置换的极化码下的置信传播(BP)解码显着提高纠错性能的代码。特别是,我们形式化的因子图排列选择的多臂强盗问题在强化学习,并提出了一个解码器,就像一个在线学习代理,学习选择好的因子图排列在解码过程中。我们使用最先进的算法来解决多臂强盗问题,并表明对于具有64个信息比特的长度为128的5G极化码,与随机选择因子图排列的方法相比,所提出的解码器在目标帧出错率为10^{-4}时具有约0.125 dB的纠错性能增益。
2020-09-15 cs.IT cs.LG eess.SP
Deep Reinforcement Learning to Maximize Arterial Usage during Extreme Congestion
Pacific Northwest National Laboratory(太平洋西北国家实验室);Meta;Walmart(沃尔玛)
本研究提出一种深度强化学习方法,通过训练智能体学习自适应绕行策略以优化利用高速公路车道及邻近干道网络,在极端拥堵场景下将平均交通速度提升21%。
2023-05-16 cs.AI cs.LG
Reinforcement Learning in an Adaptable Chess Environment for Detecting Human-understandable Concepts
Norwegian University of Science and Technology(挪威科技大学)
使用机器学习开发的自我训练的自主智能体在各种控制设置中显示出巨大的前景,也许在涉及自动驾驶汽车的应用中最为显着。与深度神经网络形式的自学代理相关的主要挑战是它们的黑盒性质:人类不可能解释深度神经网络。因此,人类无法直接解释基于深度神经网络的代理的动作,或者预见它们在不同场景中的鲁棒性。在这项工作中,我们展示了一种方法,用于探索自我学习代理在培训过程中内化的概念。为了演示,我们使用一个国际象棋代理在一个快速,轻便的环境中专门开发,适合研究小组,而无需访问巨大的计算资源或机器学习模型。
2022-11-10 cs.AI cs.LG
ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning
Independent Researcher(独立研究者)
提出ZAPS-DA框架,通过解耦演员网络模仿零相位滤波目标,在不引入相位延迟和后处理的情况下减少连续控制策略的动作抖动,并在驾驶仿真中验证了其有效性。
2026-07-10 cs.LG cs.RO cs.SY
Solving Machine Learning Problems
MIT(麻省理工学院);MIT Media Lab(麻省理工学院媒体实验室);University of Waterloo(滑铁卢大学)
机器能学习机器学习吗?这项工作训练了一个机器学习模型来解决大学本科课程中的机器学习问题。我们生成了一组新的训练问题和答案,包括课程练习、作业和来自麻省理工学院6.036机器学习入门课程的测验问题,并训练一个机器学习模型来回答这些问题。我们的系统展示了96%的开放式回答问题和97%的多项选择题的整体准确率,而麻省理工学院学生的平均水平为93%,在课程中实现了A级的表现,所有这些都是实时的。问题涵盖了课程中教授的所有12个主题,不包括编码问题或图像问题。主题包括:(i)基本机器学习原理;(ii)感知器;(iii)特征提取和选择;(iv)逻辑回归;(v)回归;(vi)神经网络;(vii)高级神经网络;(viii)卷积神经网络;(ix)递归神经网络;(x)状态机和MDP;(xi)强化学习;以及(xii)决策树。我们的系统使用Transformer模型的编码器-解码器架构与图形和树表示。我们的方法的一个重要方面是一个数据增强计划产生新的例子问题。我们还训练了一个机器学习模型来生成问题提示。因此,我们的系统自动生成跨主题的新问题,回答开放式回答问题和多项选择题,对问题进行分类,并生成问题提示,推动了STEM教育的AI。
2021-07-02 cs.LG
Learning to Run challenge solutions: Adapting reinforcement learning methods for neuromusculoskeletal environments
在NIPS 2017年学习跑步挑战赛中,参与者的任务是为肌肉骨骼模型构建一个控制器,使其在障碍赛中尽可能快地奔跑。顶级参与者被邀请描述他们的算法。在这项工作中,我们提出了八种使用深度强化学习方法的解决方案,这些方法基于深度确定性策略梯度、近端策略优化和信任域策略优化等算法。许多解决方案使用类似的放松和策略,例如奖励塑造、跳帧、动作空间的离散化、对称性和策略混合。然而,八个团队中的每一个都对已知算法进行了不同的修改。
2018-04-02 cs.AI cs.LG stat.ML
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
Seoul National University(首尔大学)
本文提出奖励膨胀,即在训练中逐步缩放奖励,作为强化学习的健康刺激,通过隐式近期加权和维持梯度信号提升适应性与可塑性,并在ALE和MuJoCo任务上验证其有效性,同时提出自适应变体Fed。
2026-11-13 cs.LG
Introduction to Reinforcement Learning
Wilfrid Laurier University(劳里埃大学)
本文系统介绍强化学习的基本概念、组成要素、算法分类及学习资源,为初学者提供结构化入门路径。
2024-12-03 cs.AI cs.LG
Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies
MIT(麻省理工学院);Harvard Medical School(哈佛医学院);Harvard Pilgrim Healthcare Institute(哈佛朝圣者医疗保健研究所)
强化学习(RL)具有显著改善临床决策的潜力。然而,通过RL从观察数据中学习的治疗策略对研究设计中的微妙选择很敏感。我们强调了一种简单的方法,轨迹检查,使临床医生进入一个迭代的设计过程,基于模型的RL研究。我们确定模型在哪里推荐了意想不到的积极治疗或期望从其建议中获得令人惊讶的积极结果。然后,我们检查临床轨迹与学习的模型和政策一起模拟实际的医院课程。将这种方法应用于最近关于RL用于脓毒症管理的工作,我们发现了对出院的模型偏倚,可能与小样本量有关的高血管加压药剂量的偏好,以及在不停用血管加压药的情况下出院的临床不合理预期。我们希望通过迭代检测和解决我们的方法发现的问题,将导致RL政策,激发更多的部署信心。
2020-12-21 cs.AI cs.LG
TooBadRL: Trigger Optimization to Boost Effectiveness of Backdoor Attacks on Deep Reinforcement Learning
Southeast University(东南大学);Zhejiang University(浙江大学)
针对现有深度强化学习后门攻击触发器设计粗糙、效果受限的问题,提出TooBadRL框架从三方面优化触发器,实验证明其攻击成功率更高且对正常性能影响小,同时评估了防御策略并开源代码。
2025-11-18 cs.CR cs.LG
Remote Electrical Tilt Optimization via Safe Reinforcement Learning
KTH Royal Institute of Technology(KTH皇家理工学院);Ericsson Research(爱立信研究院);LM Ericsson(爱立信公司)
远程电调(RET)优化是一种调整基站(BS)天线垂直倾角以优化网络关键性能指标(KPI)的有效方法。强化学习(RL)由于其自学习能力和对环境变化的适应性,为RET优化提供了一个强大的框架。然而,RL代理可能在其交互过程中执行不安全的动作,即,导致不期望的网络性能下降的动作。由于服务的可靠性对于移动网络运营商(MNO)至关重要,因此性能下降的前景已经禁止了用于RET优化的RL方法的实际部署。在这项工作中,我们在安全强化学习(SRL)框架中建模RET优化问题,目标是学习倾斜控制策略,提供相对于安全基线的性能改进保证。我们利用最近的SRL方法,即通过基线引导(SPIBB)的安全策略改进,从安全基线收集的交互的离线数据集学习改进的策略。实验结果表明,该方法能够学习到一种安全的、改进的倾斜更新策略,为实际网络部署提供了更高的可靠性和潜力。
2021-01-15 cs.LG
Ctrl-Z: Recovering from Instability in Reinforcement Learning
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
当学习行为时,训练数据通常由学习器本身生成;这可能导致不稳定的训练动态,并且这个问题在安全敏感的现实世界控制任务(例如机器人)中具有特别重要的应用。在这项工作中,我们提出了一种原则性和模型不可知的方法,通过在训练过程中维护强化学习代理的历史,并在性能显著下降时恢复到以前代理的参数,来缓解不稳定学习动态的问题。我们开发的技术,通过统计假设检验的持续改进来评估这种性能,并评估他们对一套标准的具有挑战性的基准任务,涉及连续控制的模拟机器人。我们展示了最先进的强化学习算法在性能和对超参数的鲁棒性方面的改进,在6个评估环境中的5个中优于DDPG,并且在TD 3的性能上没有下降,TD 3已知是相对稳定的。通过这种方式,我们的方法朝着提高现实世界机器人应用培训的数据效率和稳定性迈出了重要一步。
2019-10-09 cs.LG cs.RO stat.ML
Maneuver Decision-Making For Autonomous Air Combat Through Curriculum Learning And Reinforcement Learning With Sparse Rewards
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
强化学习是解决决策问题的有效方法。研究基于强化学习的自主空战机动决策方法是一个有意义和价值的方向。然而,当使用强化学习来解决具有稀疏奖励的决策问题时,如空战机动决策,需要花费太多的训练时间,并且训练后的智能体的性能可能不令人满意。为了解决这些问题,提出了基于课程学习的方法。首先,设计了空战机动决策的三种课程:角度课程、远程课程和混合课程。将这些课程分别用于训练空战智能体,并与原无课程训练方法进行了比较。训练结果表明,角度课程可以提高训练的速度和稳定性,提高Agent的性能;距离课程可以提高Agent训练的速度和稳定性;混合课程会使Agent陷入局部最优,对训练有负面影响。仿真结果表明,经过训练,智能体能够处理目标来自不同方向的情况,机动决策结果符合导弹的特点。
2023-02-12 cs.AI cs.LG
Learning and Understanding a Disentangled Feature Representation for Hidden Parameters in Reinforcement Learning
Draper(德雷珀)
隐藏参数是强化学习(RL)环境中的潜在变量,其在轨迹的过程中是恒定的。了解哪些隐藏参数(如果有的话)会影响特定环境,可以帮助开发和适当使用RL系统。我们提出了一种无监督的方法来映射RL轨迹到一个特征空间,其中距离表示由于隐藏参数导致的系统行为的相对差异。我们的方法通过利用基于模型的RL中使用的递归神经网络(RNN)世界模型来解开隐藏参数的影响。首先,我们改变了标准的世界模型训练算法,以隔离隐藏在世界模型内存中的参数信息。然后,我们使用一种度量学习方法将RNN记忆映射到一个空间中,该空间的距离度量近似于隐藏参数的互模拟度量。由此产生的解纠缠特征空间可以用于有意义地将轨迹彼此关联并分析隐藏参数。我们在三个RL环境中的四个隐藏参数上展示了我们的方法。最后,我们提出了两种方法来帮助识别和理解隐藏参数对系统的影响。
2022-11-29 cs.LG
Autonomous UAV Flight Navigation in Confined Spaces: A Reinforcement Learning Approach
Department of Mechanical Engineering, University of São Paulo(机械工程系,圣保罗大学)
本文通过比较PPO和SAC在高保真模拟器中实现精确飞行,发现PPO在高精度安全导航任务中表现更优。
2025-10-11 cs.AI cs.LG cs.RO
Comprehensive Training and Evaluation on Deep Reinforcement Learning for Automated Driving in Various Simulated Driving Maneuvers
Delft University of Technology(代尔夫特理工大学)
本文在 highway-env 中综合比较 DQN 与 TRPO,设计定制奖励并构建 ComplexRoads,证明 TRPO 可训练适应多种机动的统一自动驾驶模型。
2023-08-18 cs.AI cs.LG cs.RO
Unifying Cardiovascular Modelling with Deep Reinforcement Learning for Uncertainty Aware Control of Sepsis Treatment
University of Pittsburgh(匹兹堡大学);University of Pittsburgh School of Medicine(匹兹堡大学医学院);Carnegie Mellon University(卡内基梅隆大学);McGowan Institute for Regenerative Medicine(麦高恩再生医学研究所)
脓毒症是对感染或严重组织损伤的潜在威胁生命的炎症反应。它具有高度可变的临床过程,需要持续监测患者的状态,以指导静脉输液和血管加压药的管理以及其他干预措施。尽管经过几十年的研究,专家们仍然对最佳治疗方法存在争议。在这里,我们首次将分布式深度强化学习与机械生理模型相结合,以找到个性化的脓毒症治疗策略。我们的方法通过利用已知的心血管生理学来处理部分可观测性,引入了一种新的生理学驱动的递归自动编码器,并量化了其自身结果的不确定性。此外,我们引入了一个框架,不确定性意识的决策支持与人类在循环中。我们表明,我们的方法学习生理上可解释的,强大的政策,与临床知识是一致的。此外,我们的方法一致地识别导致死亡的高风险状态,这可能从更频繁的血管加压药给药中受益,为未来的研究提供有价值的指导
2021-06-12 cs.AI cs.LG q-bio.QM
UNIDOOR: A Universal Framework for Action-Level Backdoor Attacks in Deep Reinforcement Learning
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
本文提出首个通用动作级后门攻击框架UNIDOOR,通过性能监控自适应探索后门奖励函数,结合动作篡改机制,在多场景下显著提升攻击性能与隐蔽性。
2025-01-26 cs.AI cs.CR cs.LG
Run, skeleton, run: skeletal model in a physics-based simulation
Reason8(Reason8(机构名))
在本文中,我们提出了我们的方法来解决一个基于物理的强化学习挑战“学习运行”的目标是训练生理为基础的人体模型,以尽快通过一个复杂的障碍课程。环境是计算昂贵的,具有高维连续的动作空间,是随机的。我们对最先进的策略梯度方法进行了基准测试,并测试了几种改进,如层归一化,参数噪声,动作和状态反射,以稳定训练并提高其样本效率。我们发现,深度确定性策略梯度方法是这种环境下最有效的方法,我们引入的改进有助于稳定训练。学习模型能够推广到新的物理场景,例如不同的障碍课程。
2018-01-28 cs.AI cs.LG stat.ML
Implementing TD3 to train a Neural Network to fly a Quadcopter through an FPV Gate
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
本文应用TD3算法训练神经网络作为四旋翼飞行器的速度控制器,使其能快速穿越FPV门并避免碰撞,并成功在实验室环境中验证了策略从仿真到现实世界的迁移与导航能力。
2024-12-18 cs.LG cs.RO
Maximum diffusion reinforcement learning
Northwestern University(西北大学)
本文提出最大扩散强化学习,利用遍历过程的统计力学去相关智能体体验,实现单次学习,推广最大熵方法,并在基准测试中超越现有性能。
2024-05-24 cond-mat.stat-mech cs.AI cs.LG
Safety-Regulated Transfer Reinforcement Learning with Adaptive Teacher Guidance
State Key Laboratory of Advanced Design and Manufacturing Technology for Vehicle, College of Mechanical and Vehicle Engineering, Hunan University(湖南大学机械与运载工程学院,先进设计与制造技术国家重点实验室);Key Laboratory of Intelligent Air-Ground Cooperative Control for Universities in Chongqing, School of Automation, Chongqing University of Posts and Telecommunications(重庆邮电大学自动化学院,重庆市高校智能空地协同控制重点实验室);School of Traffic and Transportation Engineering, Central South University(中南大学交通运输工程学院)
提出一种安全迁移强化学习框架,通过自适应教师干预、奖励塑形和策略比率重加权,解决自动驾驶高速公路变道中的分布偏移和训练安全问题,在安全性和学习效率上分别提升52.2%和5.0%。
2026-07-23 cs.LG
Tactical Optimism and Pessimism for Deep Reinforcement Learning
Grenoble INP(格勒诺布尔国立理工学院);Gatsby Unit, UCL(伦敦大学学院盖茨比研究组);University of Oxford(牛津大学);Microsoft Research(微软研究院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);University of California, Berkeley(加州大学伯克利分校)
近年来,深度偏离策略的行动者-批评者算法已经成为连续控制强化学习的主要方法。这种改进性能的主要驱动因素之一是使用悲观值更新来解决函数近似错误,这在以前会导致令人失望的性能。然而,悲观主义的一个直接后果是减少了探索,这与乐观主义在不确定性面前的功效的理论支持背道而驰。那么,哪种方法最好呢?在这项工作中,我们表明,最有效的乐观程度可以在不同的任务和学习过程中有所不同。受此启发,我们引入了一个新的深度行动者-批评者框架,战术乐观和悲观(TOP)估计,它在线在乐观和悲观价值学习之间切换。这是通过将选择公式化为多臂强盗问题来实现的。我们在一系列连续控制任务中表明,TOP优于依赖于固定乐观度的现有方法,在具有挑战性的基于像素的环境中开创了一个新的艺术状态。由于我们的变化易于实现,我们相信这些见解可以很容易地融入到众多的非策略算法中。
2022-04-06 cs.LG
Reinforcement Learning from Human Feedback
Nathan Lambert(纳瑟恩·拉姆伯特)
本书系统介绍强化学习从人类反馈的核心方法,涵盖指令微调、奖励模型训练及拒绝采样等关键技术,探讨合成数据与评估中的前沿问题。
2026-09-11 cs.LG
COA-GPT: Generative Pre-trained Transformers for Accelerated Course of Action Development in Military Operations
DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出COA-GPT算法,利用大型语言模型结合军事条令,通过上下文学习实现行动方案的秒级生成与指挥官反馈驱动的实时优化,在军事化星际争霸II场景中优于强化学习方法。
2024-03-28 cs.AI cs.CL cs.HC
Deep Graph Convolutional Reinforcement Learning for Financial Portfolio Management -- DeepPocket
National Research Council(加拿大国家研究委员会)
投资组合管理的目标是通过不断重新分配构成投资组合的资产,使投资回报最大化,同时使风险最小化。这些资产不是独立的,而是在短时间内相互关联的。提出了一个名为DeepPocket的图卷积强化学习框架,其目标是利用金融工具之间的时变相互关系。这些相互关系由图表示,其节点对应于金融工具,而边缘对应于资产之间的成对相关函数。DeepPocket包括一个用于特征提取的受限堆栈自动编码器,一个用于收集金融工具之间共享的底层本地信息的卷积网络,以及一个演员-评论家强化学习代理。行动者-批评者结构包含两个卷积网络,其中行动者学习并执行投资策略,该投资策略反过来由批评者评估,以便通过不断重新分配各种投资组合资产来确定最佳行动方案,以优化投资的预期收益率。该代理最初是离线训练与在线随机抽样的历史数据。当新数据可用时,它会使用被动概念漂移方法在线训练,以处理其分布中的意外变化。DeepPocket在三个不同的投资时期(包括2019冠状病毒病危机期间)根据五个真实数据集进行评估,表现明显优于市场指数。
2021-05-06 cs.CE cs.LG q-fin.CP