CDT: Cascading Decision Trees for Explainable Reinforcement Learning
Borealis AI(极光人工智能研究院)
深度强化学习(Deep Reinforcement Learning,DRL)最近在各个领域取得了重大进展。然而,由于几个因素,解释RL代理的策略仍然是一个悬而未决的问题,其中之一是解释神经网络决策的复杂性。最近,一组作品已经使用基于决策树的模型来学习可解释的策略。软决策树(SDTs)和离散可微决策树(DDTs)已被证明可以实现良好的性能,并分享具有可解释的政策的好处。在这项工作中,我们进一步提高了基于树的可解释强化学习的性能和可解释性的结果。我们的建议,级联决策树(CDTs)的决策路径上应用表示学习,以允许更丰富的表达。实证结果表明,在这两种情况下,当CDTs被用作政策函数逼近器或模仿学习器来解释黑箱政策,CDTs可以实现更好的性能与更简洁和可解释的模型比SDTs。作为第二个贡献,我们的研究揭示了通过基于树的可解释模型的模仿学习来解释黑盒策略的局限性,这是由于其固有的不稳定性。
2021-03-30 cs.LG
Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning
Syracuse University(雪城大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学)
本文研究自动驾驶行为决策问题,采用DQN和PPO两种深度强化学习方法并改进奖励函数设计,实验证明其决策策略在多种驾驶任务中优于传统基于规则的方法。
2024-12-27 cs.LG
A reinforcement learning based decision support system in textile manufacturing process
ENSAIT(法国国立纺织艺术与工业学院);Wuhan Textile University(武汉纺织大学)
介绍了一种基于强化学习的纺织生产过程决策支持系统。讨论了臭氧氧化褪色反应的解优化问题,并将其建立为一个以元组{S,A,P,R}表示的马尔可夫决策过程。Q-学习是用来训练一个代理在与设置环境的互动,通过积累奖励R。应用结果表明,所提出的MDP模型能够很好地表达本文所讨论的纺织制造过程优化问题,因此将强化学习应用于纺织制造过程的决策支持具有良好的应用前景。
2020-05-20 cs.AI cs.LG
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California(南加州大学);AWS AI Labs(AWS AI实验室)
本文提出一种校准感知强化学习方法,通过调整决策标记概率,在保持准确性的同时减少过度自信,提升决策LLM的校准性能。
2026-01-19 cs.LG
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome(罗马第一大学)
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集,同时保持动态。我们称之为马尔可夫抽象,因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程(以及POMDP,其中只有有限数量的信念状态是可达的)的基础。在所有这些类型的决策过程中,使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明,马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务,可以采用标准算法。我们表明,我们的方法有PAC的保证时,所采用的算法有PAC的保证,我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco(旧金山大学);Brown University(布朗大学);Cornell University(康奈尔大学);JPMorgan Chase(摩根大通)
本文提出结合深度学习与智能粒子群优化的决策模型,通过深度强化学习优化后端冗余供应链网络,仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
Reinforcement Learning for Decision-Level Interception Prioritization in Drone Swarm Defense
Artificial Twin(人工双)
针对无人机蜂群防御中的拦截优先级决策问题,本文提出在离散动作空间中使用强化学习智能体协调多效应器,并通过高保真仿真验证其相比规则基线的更低损害与更高防御效率。
2025-09-20 cs.LG
Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces
CyberAgent(赛博agent公司);RIKEN(理化学研究所)
本文将 Mamba 框架集成到 Decision Transformer 中提出 Decision Mamba,通过在多种决策环境中的实验验证其能提升序贯决策性能。
2024-03-29 cs.AI cs.LG
Blind Decision Making: Reinforcement Learning with Delayed Observations
Purdue University(普渡大学)
强化学习通常假设来自先前动作的状态更新是瞬时发生的,因此可以用于做出未来的决策。然而,这可能并不总是正确的。当状态更新不可用时,由于不能依赖于当前状态信息,因此所采取的决策部分是盲目的。本文提出了一种方法,其中可以使用状态知识的延迟,并且基于可能不包括当前状态信息的可用信息做出决策。一种方法可以是将最后已知状态之后的动作作为状态信息的一部分包括在内,然而,这会导致状态空间增加,使得问题复杂且收敛较慢。所提出的算法给出了一种替代的方法,状态空间不扩大,相比的情况下,没有延迟的状态更新。在基本强化学习环境下的测试结果进一步说明了该算法的性能改进。
2020-11-16 cs.LG
Maneuver Decision-Making For Autonomous Air Combat Through Curriculum Learning And Reinforcement Learning With Sparse Rewards
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
强化学习是解决决策问题的有效方法。研究基于强化学习的自主空战机动决策方法是一个有意义和价值的方向。然而,当使用强化学习来解决具有稀疏奖励的决策问题时,如空战机动决策,需要花费太多的训练时间,并且训练后的智能体的性能可能不令人满意。为了解决这些问题,提出了基于课程学习的方法。首先,设计了空战机动决策的三种课程:角度课程、远程课程和混合课程。将这些课程分别用于训练空战智能体,并与原无课程训练方法进行了比较。训练结果表明,角度课程可以提高训练的速度和稳定性,提高Agent的性能;距离课程可以提高Agent训练的速度和稳定性;混合课程会使Agent陷入局部最优,对训练有负面影响。仿真结果表明,经过训练,智能体能够处理目标来自不同方向的情况,机动决策结果符合导弹的特点。
2023-02-12 cs.AI cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning
Chongqing University(重庆大学);Chongqing University Three Gorges Hospital(重庆大学三峡医院)
决策模块使自主车辆能够在复杂的城市环境中,特别是在交叉路口的情况下达到适当的机动。提出了一种基于深度强化学习(DRL)的无人驾驶汽车无信号交叉口左转决策框架。研究的目标是在一个四向无信号交叉口的自动车辆进行高效和安全的左转机动。已开发的DRL方法包括深度Q学习(DQL)和双DQL。仿真结果表明,该决策策略能有效降低碰撞率,提高传输效率。本研究亦显示所建构之左转控制结构具有良好之即时性。
2022-12-21 cs.AI cs.LG
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University(萨尔兰大学)
近年来,基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同,他们的特点取决于那些底层的学习方法。在这里,我们考虑一个基准规划问题,从强化学习域,赛道,调查来自不同的深度(强化)学习方法的代理的属性。我们比较了深度监督学习的性能,特别是模仿学习,以及赛道模型的强化学习。我们发现,模仿学习产生的代理人遵循更危险的路径。相比之下,深度强化学习的决策更具预见性,即,避免出现更有可能做出致命决定的状态。我们的评估表明,对于这个顺序决策问题,深度强化学习在许多方面表现最好,即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Identifying Decision Points for Safe and Interpretable Reinforcement Learning in Hypotension Treatment
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院)
许多批处理RL健康应用程序首先将时间离散化为固定的时间间隔。然而,这种离散化既失去了分辨率,又迫使在每个(潜在的精细)间隔进行策略计算。在这项工作中,我们开发了一个新的框架,将连续的轨迹压缩成几个可解释的决策点-批量数据支持多个备选方案的地方。我们应用我们的方法从一组肥胖患者数据集创建推荐。我们减少了状态空间,从而加快了规划速度,并允许临床专家轻松检查。
2021-01-09 cs.LG
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University(哈佛大学)
我们提出了两个优雅的解决方案建模连续时间动态,在一个新的基于基于模型的强化学习(RL)框架半马尔可夫决策过程(SMDP),使用神经常微分方程(ODE)。我们的模型准确地描述了连续时间动态,使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表,以减少与环境的交互率,同时保持接近最佳的性能,这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
Pruning the Path to Optimal Care: Identifying Systematically Suboptimal Medical Decision-Making with Inverse Reinforcement Learning
Harvard University(哈佛大学)
本研究提出一种基于逆强化学习的框架,通过两阶段IRL和轨迹修剪,从ICU观察数据中识别次优临床决策,并发现移除次优行动的效果因疾病和人口群体而异。
2024-11-07 cs.LG q-bio.QM stat.AP
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
深度强化学习是无监督学习的一个分支,其中智能体学习根据环境状态采取行动,以最大化其总奖励。深度强化学习提供了一个很好的机会,通过利用深度神经网络的强大表示,在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中,我们使用直接深度强化学习构建了一个投资组合管理系统,通过学习一个好的因子表示(作为输入),在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明,有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making
Horizon Robotics, inc.(地平线机器人技术有限公司(Horizon Robotics, inc.))
战术驾驶决策对于自动驾驶系统至关重要,近年来引起了人们的极大兴趣。在本文中,我们提出了几个实用的组件,可以加速深度强化学习算法对战术决策任务:1)非均匀动作跳过作为一个更稳定的替代动作重复跳帧,2)计数器为基础的惩罚车道上的自我车辆有较少的路权,和3)启发式推理时间动作掩蔽明显不受欢迎的行动。我们在一个现实的驾驶模拟器中评估所提出的组件,并将它们与几个基线进行比较。结果表明,该方案提供了优越的性能,在安全性,效率和舒适性。
2018-02-01 cs.AI cs.LG
Decision Making in Monopoly using a Hybrid Deep Reinforcement Learning Approach
Purdue University(普渡大学);University of Southern California(南加州大学)
学习在动态和复杂的环境中适应并做出实时明智的决策是一个具有挑战性的问题。大富翁是一种流行的战略棋盘游戏,要求玩家在游戏过程中做出多个决定。垄断中的决策涉及许多现实世界的因素,如战略,运气和对手的政策建模。在本文中,我们提出了新的表示的状态和动作空间的完整版本的垄断,并定义了一个改进的奖励函数。使用这些,我们证明了我们的深度强化学习代理可以学习垄断对不同的固定政策代理的获胜策略。在大富翁中,玩家可以采取多个行动,即使不是轮到他们掷骰子。这些动作中的一些动作比其他动作发生得更频繁,从而导致对学习代理的性能产生不利影响的偏斜分布。为了解决行动的非均匀分布,我们提出了一种混合方法,将深度强化学习(用于频繁但复杂的决策)与固定策略方法(用于不频繁但简单的决策)相结合。实验结果表明,我们的混合代理比标准的深度强化学习代理在与固定策略代理的比赛中获胜的次数高出30%。
2022-04-06 cs.AI cs.LG
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的非策略评估(OPE)允许人们评估新的决策策略,而不需要进行探索,这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程(MDP),行动,奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比,我们称之为双强化学习(DRL)。我们表明,DRL是有效的,当两个组件估计在四根率,也是双重的强大时,只有一个组件是一致的。我们调查这些属性的经验,并证明了性能的好处,由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University(卡内基梅隆大学);University of South Carolina(南卡罗来纳大学)
在强化学习(以及一般的机器学习)领域,人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成,与传统的策略表示相比,它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数,但是这导致比否则所需的树大得多的树。为了解决这一缺点,我们提出了一种新的算法,只有当估计的整体政策的折扣未来奖励将增加足够的金额时,才增加树的大小。通过在模拟环境中的评估,我们表明,它的性能相当或优于传统的基于树的方法,它产生一个更简洁的政策。此外,我们还讨论了调整参数,以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
A Structural Threshold in Decision Capacity Governs Collapse in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究揭示决策能力阈值决定自我对战强化学习代理在不对称规则扰动下的崩溃,通过消除所有正可达条件决策导致快速收敛到确定性利用吸引子,而保留单个正可达条件决策可防止崩溃。
2026-05-04 cs.AI cs.LG
Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
Harvard University(哈佛大学);Nokia Bell Labs(诺基亚贝尔实验室)
本文通过引入识别遗憾和决策遗憾的概念,解耦了基于图像的强化学习中观测过拟合的两种误差来源,并在迷宫和Pong环境中验证了过度具体与不够具体表示的影响。
2025-04-02 cs.LG
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta(阿尔伯塔大学)
在本文中,我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习(RL)来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先,所提出的算法确保了冲突永远不会发生,因此加快了学习过程。其次,该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体(如汽车和行人)的不可预测行为,并使马尔可夫决策过程(MDP)在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
$λ$-models: Effective Decision-Aware Reinforcement Learning with Latent Models
University of Toronto(多伦多大学);Vector Institute(矢量研究院)
本文研究决策感知强化学习模型的关键组件,指出 MuZero 式潜变量模型的重要性及其损失在随机环境中的偏差,并给出不同场景下损失函数选择的实践建议。
2024-02-29 cs.AI cs.LG
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science(印度科学理工学院);Indian Institute of Technology Bombay(印度理工学院孟买分校);Xerox Research Centre India(施乐印度研究中心)
强化学习(RL)框架中的一个最近的目标是选择一系列动作或策略,以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题,其底层马尔可夫决策过程(MDP)的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略,同时最大限度地减少遗憾。在这项工作中,我们开发了新的RL算法,利用最优策略的结构,以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明,该算法具有更好的性能,易于实现,运行时间短,所需的随机数生成次数少.
2016-08-17 cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
决策树因其易用性和可解释性而在机器学习中无处不在。然而,这些模型通常不用于强化学习,因为它们不能通过随机梯度下降在线更新。我们克服了这一限制,允许在整个树,提高样本的复杂性,提供可解释的政策提取梯度更新。首先,我们包括政策梯度学习的需要,通过检查梯度下降的性质可微决策树的理论动机。其次,我们证明了我们的方法在所有领域都等同于或优于神经网络,并且可以在线学习离散的决策树,其平均奖励比批量训练的决策树高出7倍。第三,我们进行了一项用户研究,以量化决策树,规则列表和神经网络的可解释性与统计上显着的结果($p < 0.001$)。
2020-06-25 cs.LG stat.ML
Offline Inverse Constrained Reinforcement Learning for Safe-Critical Decision Making in Healthcare
School of Computer Science and Technology(计算机科学与技术学院);University of Science and Technology of China(中国科学技术大学);School of Data Science(数据科学学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对医疗离线决策中难以指定约束的问题,提出约束Transformer(CT),利用因果注意力机制建模非马尔可夫约束,并通过生成式世界模型增强数据,有效降低不安全行为并实现接近较低死亡率的策略。
2024-10-14 cs.AI cs.LG
A Relative Ignorability Framework for Decision-Relevant Observability in Control Theory and Reinforcement Learning
Sanofi Pharmaceuticals(赛诺菲制药);Department of Mathematics, Texas A&M University(数学系,德克萨斯大学阿姆斯特朗分校)
本文提出相对可忽略性图因果准则,统一因果推断与强化学习视角,证明在非马尔可夫且缺失可忽略条件下Q学习仍可收敛,扩展了安全数据高效AI的理论基础。
2025-08-06 cs.LG stat.ME
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们介绍了一个框架,抽象的强化学习(RL)作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性,以及语言建模(如GPT-x和BERT)的相关进步。特别是,我们提出了决策Transformer,一个架构,铸造的RL作为条件序列建模的问题。与先前的RL方法不同,该方法拟合价值函数或计算策略梯度,决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报(奖励)、过去状态和动作作为自回归模型的条件,我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单,Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
Verifiable Reinforcement Learning via Policy Extraction
MIT(麻省理工学院);CSAIL(计算机科学与人工智能实验室)
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务,但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法,该策略可以表示复杂的策略(因为它们是非参数的),但可以使用现有技术进行有效验证(因为它们是高度结构化的)。挑战在于决策树策略很难训练。我们提出了VIPER算法,该算法结合了模型压缩和模仿学习的思想,以学习由DNN策略(称为oracle)及其Q函数指导的决策树策略,并表明它的性能大大优于两个基线。我们使用VIPER(i)学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间,(ii)学习一个决策树政策的玩具游戏的基础上乒乓球,可证明永远不会输,和(iii)学习一个可证明的稳定决策树政策的cart-pole。在每种情况下,决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);Informatics Institute(信息学研究所)
由于深度学习在高维问题中表现良好的能力,深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而,清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样,深度强化学习模型在决策过程中往往是不透明的。在这项工作中,我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中,我们强调的重要性,生产的理由,观察到的行动,这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
Incorporating Cognitive Biases into Reinforcement Learning for Financial Decision-Making
BITC.edu.cn(北京工业大学计算机学院)
本研究将认知偏差融入强化学习框架,旨在实现更接近人类的交易行为并提升风险调整后的收益。
2026-01-13 cs.LG econ.EM
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology(麻省理工学院)
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程(FMDPs),这是有条件独立的转移组件的MDP。假设因子分解是已知的,我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构,而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法,提出了几个结构依赖的下限FMDPs的遗憾,揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Impact of Markov Decision Process Design on Sim-to-Real Reinforcement Learning
Institute of Production and Informatics(生产与信息研究所);Department of Mathematics(数学系)
本文研究了马尔可夫决策过程设计对强化学习仿真到现实迁移的影响,通过颜色混合任务验证了基于物理的动力学模型在现实应用中的有效性。
2026-03-12 cs.LG
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
针对无人作战飞机自主空战机动决策问题,提出一种无需手工奖励函数的自动课程强化学习方法,按初始状态难度由易到难安排子任务,并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning
Harvard University(哈佛大学);The Ohio State University(俄亥俄州立大学)
在预测-然后-优化框架中,目标是训练预测模型,将环境特征映射到优化问题的参数,从而在随后求解优化时最大化决策质量。最近关于以决策为中心的学习的工作表明,与依赖中间损失函数来评估预测质量相比,在训练管道中嵌入优化问题可以提高决策质量,并有助于更好地推广到看不见的任务。我们研究了预测,然后优化框架的顺序决策问题(制定为MDP)的背景下,通过强化学习解决。特别是,我们给出了环境特征和一组来自训练MDP的轨迹,我们用它来训练一个预测模型,该模型可以推广到没有轨迹的看不见的测试MDP。在将以决策为中心的学习应用于MDP时,出现了两个重要的计算挑战:(i)大的状态和动作空间使得现有技术无法区分MDP问题,以及(ii)由神经网络参数化的高维策略空间使得通过策略进行区分变得昂贵。我们解决了第一个挑战,通过采样可证明无偏的衍生物近似和区分通过最优性条件,和第二个挑战,通过使用一个低秩近似的高维样本为基础的衍生物。我们实现贝尔曼-基于和策略梯度-基于决策为中心的学习三个不同的MDP问题与丢失的参数,并表明,决策为中心的学习表现更好的泛化看不见的任务。
2022-07-16 cs.LG
From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions
Princeton University(普林斯顿大学)
有超过15个不同的社区在顺序决策和信息的一般领域工作,通常被称为不确定性或随机优化下的决策。我们专注于两个最重要的领域:随机最优控制,其根源在确定性最优控制,和强化学习,其根源在马尔可夫决策过程。在先前工作的基础上,我们描述了一个统一的框架,涵盖了所有15个不同的社区,并注意到与随机最优控制的建模框架有很强的相似之处。相比之下,我们的情况下,强化学习的建模框架,继承离散马尔可夫决策过程,是相当有限的。我们的框架(和随机控制)是基于优化政策的核心问题。我们描述了四类政策,我们声称是普遍的,并表明,这两个领域中的每一个,以自己的方式,发展到包括这四个类的例子。
2019-12-18 cs.AI cs.LG cs.SY
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
本文提出预测性在线强化学习框架,证明策略性暂停决策更新优于持续更新,通过计算最优更新-保持比率并实验验证,可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
A Deep Reinforcement Learning Based Multi-Criteria Decision Support System for Textile Manufacturing Process Optimization
ENSAIT(法国国立高等纺织艺术工业学院);Wuhan Textile University(武汉纺织大学)
纺织制造业是一个典型的传统产业,涉及高度复杂的相互关联的过程,在现代技术的应用能力有限。在这一领域的决策通常需要考虑多个标准,这通常会引起更多的复杂性。针对这一问题,提出了一种基于智能数据的随机森林(RF)模型和基于人类知识的层次分析法(AHP)多准则结构相结合的决策支持系统,该系统根据纺织生产过程的客观和主观因素,对纺织生产过程进行决策支持。更重要的是,将纺织品生产过程描述为马尔可夫决策过程(MDP)范式,并采用深度强化学习方案--深度Q网络(DQN)对纺织品臭氧氧化过程进行优化,通过实例验证了该系统的有效性,表明该系统能够更好地掌握纺织品生产过程中具有挑战性的决策任务。
2020-12-29 cs.AI cs.LG
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题,在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反,我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小,该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明,该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
Reinforcement Learning of Markov Decision Processes with Peak Constraints
RISE AI Research Institutes of Sweden(瑞典RISE人工智能研究院)
在本文中,我们考虑强化学习的马尔可夫决策过程(MDP)的峰值约束,其中代理选择一个政策,以优化目标,并在同一时间满足额外的约束。智能体必须根据观察到的状态、奖励输出和约束输出采取行动,而不需要任何关于动态、报酬函数和/或约束函数的知识。我们引入了一种博弈论的方法来构建强化学习算法,其中代理最大化一个无约束的目标,该目标取决于最小化对手的模拟动作,该对手作用于有限集的动作和约束函数(奖励)的输出数据。我们证明了从极大极小Q学习得到的策略收敛到最优策略。据我们所知,这是第一次学习算法保证收敛到最佳的平稳策略的MDP问题的峰值约束的折扣和预期的平均回报。
2019-12-06 cs.LG math.OC
Experimentation Platforms Meet Reinforcement Learning: Bayesian Sequential Decision-Making for Continuous Monitoring
Amazon(亚马逊)
本文针对在线A/B测试持续监控中提前停止的需求,提出了一种基于贝叶斯序贯决策和强化学习的统一框架,在Amazon的大规模元分析中验证了其在最大化客户体验与控制机会成本方面的有效性。
2023-04-02 cs.LG
Generalizing Decision Making for Automated Driving with an Invariant Environment Representation using Deep Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
应用于自动驾驶的数据驱动决策方法需要适当的泛化策略,以确保适用于世界的变化。当前的方法要么不能很好地概括超出训练数据的范围,要么不能考虑可变数量的交通参与者。因此,我们提出了一个不变的环境表示的角度来看,自我车辆。该表示对安全决策所需的所有信息进行编码。为了评估新的环境表示的泛化能力,我们训练我们的代理人在一个小的子集的情况下,并评估整个不同的情况。在这里,我们表明,代理人能够成功地推广到看不见的情况下,由于抽象。此外,我们提出了一个简单的闭塞模型,使我们的代理导航与闭塞的交叉点,而没有显着的性能变化。
2021-05-31 cs.LG
MORAL: A Multimodal Reinforcement Learning Framework for Decision Making in Autonomous Laboratories
Cleveland State University(克利夫兰州立大学);Florida International University(佛罗里达国际大学);Argonne National Laboratory(阿贡国家实验室)
本文提出MORAL多模态强化学习框架,通过早期融合BLIP-2生成的图像描述与视觉特征,结合DQN和PPO算法,显著提升了自主实验室的序列决策效率与任务完成率。
2025-04-04 cs.LG
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司)
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题,本文提出统一的研究框架,分析多样化策略训练的收敛性,提出可证明高效的算法,并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
Interpretable reinforcement learning for heat pump control through asymmetric differentiable decision trees
IDLab Ghent University(根特大学IDLab);imec;Daikin Europe NV(大金欧洲有限公司)
本文针对深度强化学习在家庭能源管理中的黑箱问题,提出一种非对称软微分决策树构建方法,通过按需扩展节点提升可解释性和性能,实现热泵控制的透明高效决策。
2025-06-02 cs.LG cs.SY eess.SY
Lane Change Decision-Making through Deep Reinforcement Learning
由于交通环境的复杂性和波动性,自动驾驶决策是一个非常困难的问题。在这个项目中,我们使用深度Q网络,以及基于规则的约束来做出换道决策。通过将高级横向决策与低级基于规则的轨迹监测相结合,可以获得安全且有效的车道变换行为。预计智能体在训练了总共100集之后,将在类似真实世界的udacity模拟器中执行适当的变道操作。结果表明,基于规则的DQN方法比DQN方法具有更好的性能。基于规则的DQN实现了0.8的安全率和47 MPH的平均速度
2021-12-24 cs.AI cs.LG cs.RO
Automated Speed and Lane Change Decision Making using Deep Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术公司)
介绍了一种基于深度强化学习的通用决策函数自动生成方法。在模拟环境中训练Deep Q-网络代理,以处理卡车-拖车组合的速度和车道变换决策。在高速公路驾驶的情况下,它表明,该方法产生的代理,匹配或超过常用的参考模型的性能。为了证明该方法的通用性,还通过在有迎面而来的车辆的道路上训练它来测试完全相同的算法。此外,还介绍了一种将卷积神经网络应用于表示可互换对象的高级输入的新方法。
2018-11-01 cs.AI cs.LG cs.RO
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich(慕尼黑大学);Siemens AG(西门子公司)
该研究提出一种结合决策树剪枝的可解释强化学习方法,通过定义结构感知与使用感知算子简化策略,在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
针对连续时间情节式MDP,在泊松决策时段和Lipschitz平滑假设下,扩展UCRL和Q-learning,证明$\widetilde{O}(T^{2/3})$遗憾界及匹配下界,实现最优速率。
2026-09-22 cs.LG