Efficient Decision-Theoretic Planning: Techniques and Empirical Analysis
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Carnegie Mellon University(卡内基梅隆大学)
本文讨论了执行有效的决策理论规划的技术。我们给出了一个概述的DRIPS决策理论的细化规划系统,它使用抽象有效地确定最佳计划。我们提出了自动生成搜索控制信息,这可以显着提高规划的性能的技术。我们评估DRIPS的效率与搜索控制规则和没有一个复杂的医疗规划问题,并比较其性能的分支定界决策树算法。
2013-02-20 cs.AI
Improving Human Decision-Making by Discovering Efficient Strategies for Hierarchical Planning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
为了在现实世界中做出好的决策,人们需要有效的规划策略,因为他们的计算资源是有限的。了解哪些规划策略最适合不同情况下的人,对于理解和改进人类决策非常有用。但我们计算这些策略的能力过去仅限于非常小和非常简单的规划任务。为了克服这一计算瓶颈,我们引入了一种认知启发的强化学习方法,可以通过利用人类行为的层次结构来克服这一限制。其基本思想是将顺序决策问题分解为两个子问题:设定目标和规划如何实现目标。这种层次分解使我们能够在比以前可能的更大和更复杂的任务中发现人类规划的最佳策略。所发现的策略优于现有的规划算法,并实现了超人水平的计算效率。我们证明,教人们使用这些策略显着提高了他们的表现,在顺序决策任务,需要规划多达八个步骤。相比之下,以前的方法都不能提高人类在这些问题上的表现。这些研究结果表明,我们的认知知情的方法使得有可能利用强化学习,以改善人类在复杂的顺序决策问题的决策。未来的工作可以利用我们的方法来开发决策支持系统,改善人类在现实世界中的决策。
2021-01-31 cs.AI
Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method
Hong Kong University of Science & Technology(香港科技大学)
人们对使用部分可观察马尔可夫决策过程(POMDP)作为随机域规划的正式模型非常感兴趣。本文主要研究POMDPs的最优策略。我们提出了几个改进的增量修剪,目前最有效的精确算法求解POMDPs。
2013-01-30 cs.AI
Probabilistic Relational Planning with First Order Decision Diagrams
Oregon State University(俄勒冈州立大学);Tufts University(塔夫茨大学)
动态规划算法已成功地应用于命题随机规划问题,通过使用紧凑的表示,特别是代数决策图,捕捉域动态和价值函数。符号动态规划的工作提升了这些想法,一阶逻辑使用几种表示方案。最近的工作介绍了一阶变量的决策图(FODD),并开发了一个值迭代算法,这种表示。本文开发了几个改进的FODD算法,使该方法的实用。这些包括,新的减少运营商,减少的大小表示,几个加速技术,和技术的值近似。在此基础上,提出了一个求解相关随机规划问题的规划系统FODD-Planner。该系统在几个领域进行了评估,包括最近的国际规划竞赛的问题,并显示出与顶级系统的竞争力。这是第一次证明这种方法的可行性,它表明,通过紧凑的表示抽象是一个很有前途的方法随机规划。
2014-01-16 cs.AI
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group(沃尔沃集团);Chalmers University of Technology(查尔姆斯理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互,自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架,它结合了规划和学习的概念,以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法,该算法被扩展到具有连续状态空间的域,其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下,在模拟环境中,它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Decision-Focused Forecasting: A Differentiable Multistage Optimisation Architecture
School of Mathematics University of Edinburgh(数学学院 伦敦大学爱丁堡分校)
本文提出一种循环可微的多阶段优化架构——决策聚焦预测,通过调整梯度考虑预测引起的状态路径与跨期决策效应,在储能套利和投资组合优化中优于现有方法。
2025-05-28 cs.AI cs.LG math.OC
Decision-Theoretic Planning: Structural Assumptions and Computational Leverage
University of British Columbia(不列颠哥伦比亚大学);Brown University(布朗大学);University of Washington(华盛顿大学)
不确定性下的规划是自动顺序决策研究中的一个核心问题,并且已经被许多不同领域的研究人员所解决,包括人工智能规划,决策分析,运筹学,控制理论和经济学。虽然在这些领域采用的假设和观点往往有很大的不同,但这些领域的研究人员感兴趣的许多规划问题可以建模为马尔可夫决策过程(MDP),并使用决策理论的技术进行分析。本文介绍了一个概述和综合的MDP相关的方法,显示他们如何提供一个统一的框架,在人工智能研究的规划问题建模的许多类。它还描述了MDP的结构特性,当表现出特定类别的问题,可以利用在建设最优或近似最优的政策或计划。规划问题通常在用于描述性能标准的回报和价值函数、用于描述状态转换和观察的函数以及用于描述状态、动作、回报和观察的特征之间的关系中具有结构。专门的表示和采用这些表示的算法可以通过利用这些不同形式的结构来实现计算杠杆。某些人工智能技术--特别是那些基于使用结构化、内涵式表示的技术--可以用这种方式来看待。本文调查了几种类型的表示为经典和决策理论规划问题,规划算法,利用这些表示在许多不同的方式,以减轻计算负担的建设政策或计划。它主要关注基于AI风格表示的抽象、聚合和分解技术。
2011-05-27 cs.AI
Existence and Finiteness Conditions for Risk-Sensitive Planning: Results and Conjectures
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Southern California(南加利福尼亚大学)
具有风险敏感规划目标的决策理论规划对于构建自主智能体或决策支持系统具有重要意义。然而,这条研究路线在很大程度上被人工智能和运筹学界所忽视,因为具有风险敏感规划目标的规划比具有风险中性规划目标的规划更复杂。为了弥补这种情况,我们推导出的条件,保证最佳的预期效用的总计划执行奖励存在和有限的完全可观察的马尔可夫决策过程模型的非线性效用函数。在具有正报酬和负报酬的马尔可夫决策过程模型中,我们的大多数结果只适用于平稳策略,但我们猜想它们可以推广到非平稳策略。
2012-07-04 cs.AI
RADAR-X: An Interactive Mixed Initiative Planning Interface Pairing Contrastive Explanations and Revised Plan Suggestions
Arizona State University(亚利桑那州立大学)
决策支持系统力求促成知情决策。近年来,自动化规划技术已被用于使此类系统能够更好地帮助人在回路中。这种决策支持系统的中心思想是用自动规划技术增强人在回路中的能力,并提高决策的质量。除了提供规划支持外,有效的决策支持系统必须能够根据特定的用户查询为其最终用户提供直观的解释。以此为动机,我们提出了我们的决策支持系统雷达-X展示的能力,让用户在一个互动的解释性对话,首先使他们能够指定一个替代建议的决定(我们称之为箔),然后提供对比解释这些用户指定的箔,帮助用户理解为什么选择了一个特定的计划替代(或箔)。此外,该系统使用此对话,以引起用户的潜在偏好,并通过三种不同的交互策略提供修改后的计划建议。
2022-06-03 cs.AI
SPUDD: Stochastic Planning using Decision Diagrams
University of British Columbia(不列颠哥伦比亚大学)
马尔可夫决策过程(MDP)作为决策理论规划的模型越来越受欢迎。虽然传统的动态规划方法对于状态空间较小的问题表现良好,但对于大型问题则需要结构化方法。我们提出并研究了一个MDP的值迭代算法,它使用代数决策图(ADD)来表示价值函数和策略。一个MDP表示使用贝叶斯网络和ADDs和动态规划直接应用于这些ADDs。我们证明了我们的方法在大型MDP(高达6300万个状态),并表明,显着的收益相比,树结构的表示(与高达30倍减少所需的节点数量表示最佳价值函数)。
2013-01-23 cs.AI
Pheromone-Focused Ant Colony Optimization algorithm for path planning
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学)
本文提出基于信息素聚焦的蚁群优化算法,通过三种策略提升路径规划中的收敛速度和解质量。
2026-01-12 cs.AI cs.NE
Optimizations for Decision Making and Planning in Description Logic Dynamic Knowledge Bases
IMT Institute for Advanced Studies(IMT高等研究院)
以工件为中心的业务流程模型最近引起了很多关注,因为它们以无缝的方式将结构(即数据相关)与动态(即流程相关)方面结合起来。然而,在这种方法下开发的许多框架并不是明确为规划而建立的,而规划是与业务流程有关的最重要的业务之一。在本文中,我们试图克服这一点,提出了一个框架,名为动态知识库,旨在通过描述逻辑为基础的本体描述丰富的业务领域,并在一组动作允许系统通过修改这样的本体发展。这个框架,通过提供行动重写和知识偏化,代表了一个可行的和正式的环境,以开发决策和规划技术,基于DL的工件为中心的业务领域。
2015-05-04 cs.AI
Proactive Decision Support using Automated Planning
Arizona State University(亚利桑那州立大学)
主动决策支持(PDS)有助于改善人类决策者在人在环规划环境中的决策经验。在这里,决策的质量和决策的容易性都得到了提高。在这方面,我们提出了一个PDS框架,名为RADAR,基于人工智能中的自动规划研究,通过提供以下警报来帮助人类决策者制定计划以实现其目标:这样的计划是否能够成功,是否存在任何可能挫败她的计划的资源限制,这是通过生成和分析任何成功的计划在实现目标的道路上必须完成的里程碑来实现的。请注意,这种方法也支持自然决策,这被认为是主动决策支持的必要元素,因为它只通过建议和警报来帮助人类决策者,而不是强制执行固定的计划或决策。我们通过在消防领域的搜索和救援的例子证明了所提出的框架的实用性。
2016-06-24 cs.AI cs.HC
Decision-Focused Learning: Through the Lens of Learning to Rank
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universidad de O’Higgins(奥伊金斯大学);KU Leuven(鲁汶大学)
近年来,以决策为中心的学习框架,也被称为预测和优化,受到越来越多的关注。在该设置中,机器学习模型的预测被用作用于决策的离散组合优化问题的目标函数中的估计成本系数。决策集中学习提出通过直接优化优化求解器做出的决策的质量来训练ML模型,通常是神经网络模型。基于最近的一项工作,提出了一个解决方案空间的子集上的噪声对比估计损失,我们观察到,决策为重点的学习可以更普遍地被视为一个学习排名的问题,其中的目标是学习一个目标函数,正确的可行点排名。该观察结果与所使用的优化方法和目标函数的形式无关。我们开发逐点,逐对和逐列的排名损失函数,它可以区分在封闭形式的解决方案的一个子集。我们经验调查我们的通用方法的质量相比,现有的以决策为中心的学习方法具有竞争力的结果。此外,控制解决方案的子集允许相当大地控制运行时,对遗憾的影响有限。
2022-06-17 cs.AI cs.LG
Decision Aids for Adversarial Planning in Military Operations: Algorithms, Tools, and Turing-test-like Experimental Validation
使用智能决策辅助工具可以帮助减轻规划复杂操作的挑战。我们描述的集成算法,和一个工具,能够翻译成一个完整的详细的,可操作的计划,自动生产(或与人类的指导)计划与现实程度的细节和人性化的质量的战术军事行动的高层次的概念。几种算法的紧密交织--规划、对手估计、调度、路由、损耗和消耗估计--包括该工具的计算方法。虽然最初是为陆军大部队作战而开发的,但该技术是通用的,也适用于许多其他领域,特别是在需要在有限时间内进行详细规划的关键情况下。在本文中,我们特别关注的工程权衡工具的设计。在一项实验评估中,让人想起图灵测试,该工具的性能优于人类规划者。
2016-01-22 cs.AI
Speeding Up Planning in Markov Decision Processes via Automatically Constructed Abstractions
University of Alberta(阿尔伯塔大学)
在本文中,我们考虑规划随机最短路径(SSP)问题,马尔可夫决策问题(MDP)的一个子类。我们专注于中等规模的问题,其状态空间可以完全枚举。这个问题有许多重要的应用,如导航和规划下的不确定性。我们提出了一种新的方法来构建一个多层次的层次结构,逐步简单的抽象的原始问题。一旦计算完成,层次结构就可以用来加速规划,首先找到最抽象级别的策略,然后递归地将其细化为原始问题的解决方案。这种方法是完全自动化的,并提供了两个数量级的速度比最先进的MDP求解器的样本问题,同时返回接近最佳的解决方案。我们还证明了理论界的解决方案的最优性损失所造成的使用抽象。
2012-06-13 cs.AI
Decision-Theoretic Planning with Concurrent Temporally Extended Actions
Michigan State University(密歇根州立大学)
我们研究了一个模型,规划下的不确定性与temporallyextended行动,多个行动可以同时采取在每个决策时期。我们的模型是基于选项框架,并结合它与因子化的状态空间模型,其中的一组选项可以被划分为影响不相交的状态变量的类。我们发现,一组decisionepochs并发选项定义了一个半马尔可夫decisionprocess,如果潜在的时间上扩展的行动被并行arenjoined马尔可夫选项。这个属性允许我们使用SMDP算法来计算并发操作上的价值函数。并发选项模型允许选项的重叠执行,以实现更高的性能或执行复杂的任务。我们描述了一个简单的实验,使用navigationtask,说明如何并发选项的结果在一个更快的计划相比,只有一个选项的情况下,在一个时间。
2013-01-10 cs.AI
Automated Tactical Decision Planning Model with Strategic Values Guidance for Local Action-Value-Ambiguity
Technion - Israel Institute of Technology(以色列理工学院)
在许多现实世界的规划问题中,行动的影响因地点、时间和行动应用的背景而异。在不同的上下文或状态下具有相同效果的相同动作可能导致不同的变化。在不完整的前提条件清单中,适用于几个国家和情况的行动,即使在小领域,关于行动影响的模糊性也是具有挑战性的。为了估计行动的实际影响,对效果列表的评估是不够的;相对估计提供的信息更多,适合于估计行动的实际影响。最近关于超额订购计划(OSP)的工作将行动的净效用定义为行动引起的状态价值的净变化。行动净效用的概念允许对价值行动的影响有更广泛的视角,并考虑到国家间和国家内的依赖关系,用于更准确地评估行动的成就。在复杂现实中实现价值理性决策往往需要战略性的、高层次的、具有全局视角和价值观的规划,而许多局部战术决策需要实时信息来估计行动的影响。本文提出了一种离线的行动价值结构分析,利用行动的净效用的复杂表示的信息性,将规划的范围扩展到价值不确定性场景,并提供一个实时的价值理性决策规划工具。离线预处理阶段的结果是一个紧凑的决策规划模型表示灵活,本地推理的净效用的行动(离线)值的模糊性。所获得的灵活性是有益的在线规划阶段和实时执行的行动与价值模糊。我们的实证评估表明,这种方法的有效性,在其行动价值结构的价值模糊的域。
2018-11-30 cs.AI
The Emerging Landscape of Explainable AI Planning and Decision Making
IBM Research AI(IBM研究院人工智能部);Arizona State University(亚利桑那州立大学)
在本文中,我们全面概述了可解释人工智能规划(XAIP)中的不同工作线程,该工作线程在过去几年中已成为一个重点领域,并将其与该领域在技术,目标用户和交付机制方面的早期努力进行了对比。我们希望这项调查将为自动规划的新研究人员提供指导,以了解解释在人在环系统的有效设计中的作用,并为已建立的研究人员提供一些关于可解释规划的令人兴奋的世界演变的观点。
2020-02-26 cs.AI cs.HC
Uncertainty as a Planning Signal: Multi-Turn Decision Making for Goal-Oriented Conversation
The Ohio State University(俄亥俄州立大学)
本文提出CUP框架,通过结合语言模型与结构化规划,解决目标导向对话中不确定性与信息获取之间的平衡问题,提升对话成功率并减少交互轮次。
2026-08-13 cs.AI cs.CL
UniPlanner: A Unified Motion Planning Framework for Autonomous Vehicle Decision-Making Systems via Multi-Dataset Integration
Guangdong Key Laboratory of Intelligent Information Processing, College of Electronics and Information Engineering, Shenzhen University(广东智能信息处理重点实验室,电子与信息工程学院,深圳大学);School of Computer Science and Cyber Engineering, Guangzhou University(计算机科学与网络工程学院,广州大学);School of Artificial Intelligence, Guangzhou University(人工智能学院,广州大学)
针对自动驾驶运动规划单数据集训练鲁棒性不足的问题,提出首个多数据集融合规划框架UniPlanner,通过HFTDN、GFTM和S2D三项创新实现跨数据集统一学习,提升规划安全性与效率。
2025-10-28 cs.AI
Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making
Toyota Research Institute(丰田研究院);Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making(学习规划,规划学习:自适应分层RL-MPC用于样本高效决策)
本文提出了一种融合强化学习和MPC规划的分层方法,通过自适应聚合MPPI样本提升策略鲁棒性,实现在复杂规划问题中提高样本效率和任务成功率。
2026-04-16 cs.AI cs.LG cs.RO
Efficient Public Health Intervention Planning Using Decomposition-Based Decision-Focused Learning
Harvard University(哈佛大学);Google Research India(谷歌研究院印度分部);Google Research(谷歌研究院)
针对公共卫生干预规划中RMAB结合DFL计算成本高的问题,提出解耦不同受益人群规划的分解式方法,在真实数据上速度快两个数量级且性能更优,助力公共卫生项目规模化。
2024-03-08 cs.AI cs.LG
A Look at Value-Based Decision-Time vs. Background Planning Methods Across Different Settings
Mila, McGill University(米拉-麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验两方面比较了基于价值的决策时规划与后台规划方法,发现二者简单实例表现相当,但现代决策时规划在常规RL和迁移学习设定中可达到与后台规划相当或更优的性能。
2024-08-12 cs.AI cs.LG
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute(伍斯特理工学院)
在马尔可夫决策过程(MDP)的层次规划中,时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中,我们提出了一种新的方法,组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合,我们介绍了一种基于广义逻辑组合的策略组合:给定子任务的子策略和一个新的任务表示为子任务的逻辑组合,一个半最优的策略,这是最优的规划与只有子策略,可以通过简单地组合子策略。因此,一个综合算法的开发,以计算最优策略有效地规划与原始行动,子任务的政策,和子政策的组成,以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Minimax Regret Optimisation for Robust Planning in Uncertain Markov Decision Processes
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
马尔可夫决策过程(MDP)的参数通常无法精确指定。不确定MDP(UMDPs)通过定义参数所属的集合来捕获这种模型模糊性。极小极大后悔已被提出作为UMDPs规划的目标,以找到稳健的政策,而不是过于保守。在这项工作中,我们专注于规划随机最短路径(SSP)UMDPs不确定的成本和过渡功能。我们引入Bellman方程来计算保单的后悔率。我们提出了一个动态规划算法,利用遗憾贝尔曼方程,并表明,它优化极小极大遗憾正是UMDPs与独立的不确定性。对于耦合的不确定性,我们扩展我们的方法,使用选项,使计算和解决方案的质量之间的权衡。我们在合成域和现实域上评估了我们的方法,表明它显著优于现有的基线。
2023-02-12 cs.AI
OPO: Making Decision-Focused Data Acquisition Decisions
School of Mathematics University of Edinburgh(数学学院爱丁堡大学)
本文提出OPO模型,利用可微优化整合数据采集与决策,在最短路径问题中通过学习替代线性目标函数制定无人机侦察策略,实验证明优于随机搜索。
2025-04-21 cs.AI math.OC
Decision-Theoretic Planning with non-Markovian Rewards
National ICT Australia(澳大利亚国家信息通信技术研究院);The Australian National University(澳大利亚国立大学)
奖励依赖于历史而不仅仅是当前状态的决策过程被称为非马尔可夫奖励决策过程(NMRDP)。在决策理论规划中,许多期望的行为更自然地表示为执行序列的属性,而不是状态的属性,NMRDPs形成了一个更自然的模型比通常采用的完全马尔可夫决策过程(MDP)模型。虽然更易于处理的解决方案的方法开发的MDPs不直接适用于非马尔可夫奖励的存在下,一些解决方案的方法已经提出了在文献中的NMRDPs。这些都利用了时间逻辑中的非马尔可夫奖励函数的紧凑规范,自动将NMRDP转换为等效的MDP,并使用有效的MDP求解方法来求解。本文介绍了NMRDPP(非马尔可夫奖励决策过程规划器),一个软件平台的开发和实验的方法,决策理论规划与非马尔可夫奖励。当前版本的NMRDPP实现,在一个单一的接口,一个家庭的方法的基础上现有的以及新的方法,我们详细描述。这些方法包括动态规划、启发式搜索和结构化方法。使用NMRDPP,我们比较的方法,并确定某些问题的功能,影响其性能。NMRDPPs对非马尔可夫奖励的处理受到TLPlan规划器中特定于域的搜索控制知识的处理的启发,它将其作为特例。在第一届国际概率规划竞赛中,NMRDPP能够在独立于域和手工编码的轨道上竞争并表现良好,后者使用搜索控制知识。
2011-09-11 cs.AI
Toward a Decision-Assurance Layer for AI-Assisted Flight Planning in Air Traffic Management
George Mason University(乔治梅森大学);Tecnológico de Monterrey(蒙特雷理工学院);Department of Airspace Control (DECEA)(空域控制部(DECEA))
本文提出AI信任与保障层(ATAL),一种模型无关的决策保障架构,通过评估语义稳定性、运营一致性和规范性约束,将AI飞行规划输出映射为决策就绪等级(DRL),以在影响运营前识别不可靠输出,并适用于其他安全关键领域。
2026-09-15 cs.AI
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Scalable Decision-Focused Learning in Restless Multi-Armed Bandits with Application to Maternal and Child Health
Google Research(谷歌研究院)
本文针对不安多臂老虎机问题中训练目标与评估目标不匹配的问题,提出一种直接优化 Whittle 指数解质量的决策聚焦学习方法,并首次实现可扩展到真实世界母婴健康问题规模。
2023-08-13 cs.AI cs.LG
Scaling up Heuristic Planning with Relational Decision Trees
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
目前的启发式规划的评价函数是昂贵的计算。在许多规划问题中,这些函数为解决方案提供了很好的指导,因此它们是值得的。然而,当评价函数具有误导性或规划问题足够大时,必须计算大量的节点评价,这严重限制了启发式规划器的可扩展性。在本文中,我们提出了一种新的解决方案,以减少节点评估启发式规划的基础上机器学习。特别是,我们定义的任务,学习搜索控制的启发式规划作为一个关系分类任务,我们使用现成的关系分类工具来解决这个学习任务。我们的关系分类任务捕获在特定规划域的不同规划上下文中选择的首选操作。这些计划上下文由当前状态的有用操作集、有待实现的目标以及计划任务的静态谓词定义。本文展示了两种方法来指导搜索的启发式规划与学习分类。第一种方法是使用产生的分类器作为动作策略。第二个包括应用分类器在最佳优先搜索算法内生成前瞻状态。在各种领域的实验表明,我们的启发式规划使用学习分类解决更大的问题比国家的最先进的规划。
2014-01-16 cs.AI
DiffuserLite: Towards Real-time Diffusion Planning
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);UC San Diego Jacobs School of Engineering(加州大学圣迭戈分校雅各布工程学院)
针对扩散规划迭代采样慢、决策频率低的问题,本文提出轻量级 DiffuserLite,通过 PRP 由粗到细生成轨迹,在多个基准上达到 SOTA,并实现 122.2Hz 实时规划。
2024-10-25 cs.AI
Estimating Covariance for Global Minimum Variance Portfolio: A Decision-Focused Learning Approach
Ulsan National Institute of Science and Technology(乌山国立科学技术研究所)
针对传统均方误差估计导致次优投资决策的问题,本文采用决策聚焦学习(DFL)方法推导全局最小方差投资组合(GMVP),通过理论推导决策损失梯度并经实证证明其能提供更优的决策性能与波动率降低能力。
2025-08-14 cs.AI q-fin.PM
Decision-Focused Summarization
University of Chicago(芝加哥大学)
摘要中的相关性通常仅基于文本信息来定义,而不包含关于特定决策的见解。因此,为了支持胰腺癌的风险分析,医疗记录的摘要可能包括不相关的信息,例如膝关节损伤。我们提出了一个新的问题,决策为中心的总结,其目标是总结相关信息的决定。我们利用一个预测模型,根据全文做出决策,为如何从文本中推断决策提供有价值的见解。为了构建摘要,我们选择了代表性的句子,这些句子导致了与使用全文相似的模型决策,同时考虑了文本非冗余。为了评估我们的方法(DecSum),我们建立了一个测试平台,任务是总结一家餐厅的前十条评论,以支持预测其在Yelp上的未来评级。DecSum在决策的可信度和代表性方面大大优于纯文本摘要方法和基于模型的解释方法。我们进一步证明,DecSum是唯一一种使人类能够在预测未来哪家餐厅将获得更好评级方面超越随机机会的方法。
2021-09-14 cs.AI cs.CL
Coalition-based Planning of Military Operations: Adversarial Reasoning Algorithms in an Integrated Decision Aid
BBN Technologies(BBN技术公司)
使用以知识为基础的规划工具,有助于减轻各方联盟在敌对环境中规划复杂行动的挑战。我们探讨这些挑战和潜在的贡献,知识为基础的工具,作为一个例子,CADET系统,一个知识为基础的工具,能够自动生产(或与人类的指导)的作战计划与现实程度的细节和复杂性。在正在进行的实验中,它比人类计划者更有利。交错的计划,调度,路由,损耗和消耗过程包括该工具的计算方法。从联盟作战的角度来看,这些工具提供了一个重要的援助,在资产和行动的快速同步异构资产属于多个组织,可能有不同的学说和规则的参与。在本文中,我们讨论了该工具的功能,提供了一个简短的概述的技术方法和实验结果,并概述了这些工具的潜在价值。
2016-01-22 cs.AI
Model-Based Online Decision Making via Generative Trajectory Planning
Harvard University(哈佛大学)
该研究提出基于模型的生成轨迹规划(GTP)框架,通过学习生成模型作为动作序列提议分布,在连续控制等任务中性能优于或匹配现有基准,为生成建模与基于模型决策结合提供新视角。
2026-10-14 cs.AI cs.LG cs.RO
Decision-Focused Evaluation: Analyzing Performance of Deployed Restless Multi-Arm Bandits
Google Research India(谷歌印度研究院)
不安分多臂土匪(RMABs)是一种流行的决策理论框架,已被用于模拟公共卫生,野生动物保护,通信系统等现实世界的顺序决策问题。部署的RMAB系统通常分两个阶段操作:第一阶段预测定义RMAB实例的未知参数,第二阶段采用优化算法来求解构造的RMAB实例。在这项工作中,我们提供和分析的结果,从第一个同类部署的RMAB系统在公共卫生领域,旨在改善孕产妇和儿童的健康。我们的分析重点是了解预测精度和部署的RMAB系统的整体性能之间的关系。这对于确定投资于提高预测准确性以提高最终系统性能的价值至关重要,并且对于诊断、监控部署的RMAB系统非常有用。使用我们部署的RMAB系统的真实数据,我们证明了整体预测精度的提高甚至可能伴随着RMAB系统性能的下降-广泛的资源投资,以提高整体预测精度可能不会产生预期的结果。在此之后,我们开发了以决策为中心的评估指标来评估预测组件,并表明它更好地解释(经验和理论)部署的RMAB系统的整体性能。
2023-01-19 cs.AI
Omni-Decision: Evidence-Ledger Planning for Omni-Modal Agents
Institute of Neuroscience, Chinese Academy of Sciences(中国科学院神经科学研究所);University of Chinese Academy of Sciences(中国科学院大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);Tsinghua University(清华大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
研究全模态问答中证据分散问题,提出全决策系统,将问答转化为证据闭合过程,维护结构化证据状态,通过确定性状态更新处理异构观察,提升了准确率,验证了证据状态控制在多步证据寻求中的作用。
2026-09-25 cs.AI
Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning
Apple(苹果公司)
针对大语言模型决策规划的幻觉问题及现有方法对黑盒模型适配差、成本高的痛点,提出无需logits的单次推理非参数不确定性量化方法,并设计了带偏好征询的决策智能体方案,为AI智能体开发提供低成本高效方案。
2024-02-01 cs.AI cs.CL cs.LG
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
模仿学习的目标是通过演示模仿专家的行为,而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习(IRL)推断(未知)奖励函数,然后通过强化学习(RL)最大化该奖励函数。然而,通过这些方法学习的策略在实践中非常脆弱,即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时(植入),一个新的元算法模仿学习,利用决策时规划,以纠正任何基础模仿政策的复合错误。与现有方法相比,我们在决策时保留了模仿策略和奖励模型,从而受益于这两个组件的学习信号。从经验上讲,我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时,受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Scaling Decision-Focused Learning to Large Problems with Lagrangian Decomposition
Polytechnique Montréal(蒙特利尔综合理工学院);Ecole Polytechnique(巴黎综合理工学院);UCLouvain(鲁汶大学);Mila - Québec AI Institute(魁北克人工智能研究所);KU Leuven(荷语鲁汶大学)
提出结合拉格朗日分解的决策聚焦学习框架,通过新代理目标和两种损失函数,在保持可并行化的同时,有效处理大规模约束优化问题,实验表明在变量数多八倍的实例上优于传统方法。
2026-06-07 cs.AI cs.LG
Adaptive mine planning under geological uncertainty: A POMDP framework for sequential decision-making
Geology & Sustainable Mining Institute (GSMI), University Mohammed VI Polytechnic (UM6P)(地质与可持续采矿研究所(GSMI),穆罕默德六世理工学院(UM6P));Department of Earth and Planetary Sciences, Stanford University(地球与行星科学系,斯坦福大学)
本文提出将采矿调度建模为部分可观测马尔可夫决策过程,通过混合SA-POMDP架构实现自适应决策,减少预期现实差距并提升净现值。
2026-05-13 cs.AI
Decision-Focused Fine-Tuning of Time Series Foundation Models for Dispatchable Feeder Optimization
Institute for Automation and Applied Informatics (IAI), Karlsruhe Institute of Technology (KIT)(自动化与应用信息技术研究所(IAI),卡尔斯鲁厄理工学院);Institute of Biological and Chemical Systems (IBCS), Karlsruhe Institute of Technology (KIT)(生物与化学系统研究所(IBCS),卡尔斯鲁厄理工学院);Scientific Computing Center (SCC), Karlsruhe Institute of Technology (KIT)(科学计算中心(SCC),卡尔斯鲁厄理工学院)
本研究提出在时间序列基础模型Moirai上采用决策聚焦微调,以优化可调度馈线问题,相比预测聚焦微调,平均每日总成本降低9.45%。
2025-03-03 cs.AI cs.LG stat.ML
A Joint Planning and Learning Framework for Human-Aided Decision-Making
Auburn University(奥本大学);NVIDIA Corporation(英伟达公司);Maana Inc.(Maana公司)
传统的强化学习(RL)允许智能体仅通过环境奖励来学习策略,具有长而慢的学习曲线,特别是在开始阶段。相反,人类的学习通常要快得多,因为利用了先验知识和一般知识以及多种信息资源。在本文中,我们提出了一个\textbf{P} lanner- \textbf{A} ctor- \textbf{C} ritic架构为hu \textbf{MAN}为中心的规划和学习(\textbf{PACMAN}),其中一个代理使用先验的,高层次的,确定性的符号知识计划目标导向的行动。PACMAN集成了RL的Actor-Critic算法,以微调其对环境奖励和人类反馈的行为。据我们所知,这是第一个统一的框架,其中基于知识的规划,强化学习和人类教学共同促进代理的策略学习。我们的实验表明,PACMAN导致一个显着的跳跃开始在学习的早期阶段,收敛速度快,方差小,是强大的不一致,罕见的,和误导性的反馈。
2019-12-24 cs.AI
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology(香港科技大学)
规划问题中的行动的影响是不确定的,可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术,利用目标导向加速值迭代,解决马尔可夫决策过程的标准算法。实证研究表明,这些技术可以显着提高速度。
2013-02-06 cs.AI
When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
研究智能体如何学习元推理能力,引入基于反应式策略不确定性得分分配计算的强化学习方法训练元推理策略,通过实证研究表明该设计能让元推理策略学会何时采用反应式策略,何时进行决策时规划,且能随反应式策略改进转向完全反应式控制。
2026-10-08 cs.AI
Towards Feedback-to-Plan Decisions for Self-Evolving LLM Agents in CUDA Kernel Generation
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系);Beijing National Research Center for Information Science and Technology, Beijing, China(北京信息科学国家研究中心)
通过轨迹冻结和选择性反馈注入,提出CUDAnalyst框架以归因规划决策对反馈组件的贡献,揭示显式规划仅在反馈对齐时有效,且有效规划源于结构化多反馈交互。
2026-05-26 cs.AI
Operator Selection While Planning Under Uncertainty
Cooperative Research Centre for Intelligent Decision Systems(智能决策系统合作研究中心);Materials Research Laboratory(材料研究实验室)
本文介绍了最好的第一个搜索策略使用的U-计划(曼塞尔1993年a),规划系统,构建定量排名计划给出了一个不完整的描述不确定的环境。U-Plan使用不确定和不完整的证据来描述环境,使用Dempster-Shafer间隔来描述环境,并生成一组可能的世界状态。计划的构建是在一个抽象的层次结构中进行的,在这个层次结构中,战略决策先于战术决策。通过这种抽象层次结构的搜索是由基于决策理论的定量测量(预期实现)指导的。搜索策略最好首先提供更新预期实现情况的规定,并根据规划发展审查以前的决定。U-Plan为多个可能的世界生成多个计划,并尝试将现有计划用于新的世界情况。然后,基于合并一组计划和适当定时的知识获取操作符来构建超级计划,所述操作符用于在计划执行期间在计划备选方案之间做出决定。
2013-02-27 cs.AI
Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach
Università degli Studi di Verona(维罗纳大学)
部分可观测蒙特卡罗规划(POMCP)是一种功能强大的在线算法,能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而,缺乏明确的表示妨碍了可解释性。在这项工作中,我们提出了一种方法,基于可满足性模理论(SMT)分析POMCP政策,通过检查他们的痕迹,即序列的算法产生的信念-行动-观察三元组。所提出的方法探索本地属性的政策行为,以确定意外的决定。我们提出了一个迭代过程的痕迹分析,包括三个主要步骤,i)定义一个问题,通过一个参数逻辑公式描述(概率)信念和行动之间的关系,ii)通过计算最大化满足子句数量的逻辑公式的参数来生成答案(解决MAX-SMT问题),iii)分析生成的逻辑公式和相关的决策边界,用于识别POMCP关于原始问题做出的意外决策。我们评估我们的方法上的老虎,POMDPs的标准基准,和一个现实世界中的问题,移动机器人导航。结果表明,该方法可以利用人类知识的领域,优于国家的最先进的异常检测方法在识别意外的决定。在我们的试验中,曲线下面积的改善达到了47%。
2021-04-28 cs.AI
Deep Learning Decision Support System for Open-Pit Mining Optimisation: GPU-Accelerated Planning Under Geological Uncertainty
University of Technology Sydney(悉尼科技大学)
本研究提出了一种基于深度学习的决策支持系统,利用变分自编码器和混合元启发式算法,在地质不确定性下实现GPU加速的露天矿优化规划。
2025-11-23 cs.AI
Decision-Focused Scenario Generation and Selection for Efficient and Robust Grid Dispatch
针对电网调度中分布鲁棒优化依赖预测场景构建模糊集存在的问题,提出基于决策聚焦的生成框架,依下游运行成本优化场景,适配多种生成模型,开发可微场景选择器,案例研究显示可有效降低运行成本。
2026-07-08 cs.AI cs.LG
Melding the Data-Decisions Pipeline: Decision-Focused Learning for Combinatorial Optimization
Center for Artificial Intelligence in Society, University of Southern California(南加州大学社会人工智能中心)
在现实世界中创造影响力需要人工智能技术来跨越从数据到预测模型再到决策的整个流程。这些组件通常单独处理:首先通过预测准确性的测量来训练机器学习模型,然后将其预测用作优化算法的输入,从而产生决策。然而,用于训练模型的损失函数可能很容易与最终目标不一致,最终目标是做出可能的最佳决策。手动调整损失函数以与优化一致是一个困难且容易出错的过程(通常完全跳过)。我们专注于组合优化问题,并介绍了一个通用的框架,决策为重点的学习,机器学习模型直接训练结合优化算法,以产生高质量的决策。从技术上讲,我们的贡献是将常见的离散优化问题集成到深度学习或其他预测模型中,这些模型通常通过梯度下降进行训练。其主要思想是使用离散问题的连续松弛来通过优化过程传播梯度。我们实例化这个框架的两大类组合问题:线性规划和次模最大化。跨多个领域的实验结果表明,与传统方法相比,以决策为中心的学习通常会提高优化性能。我们发现,准确性的标准度量并不是预测模型在优化中的实用性的可靠代理,并且我们的方法能够将真正的目标指定为模型的训练目标,从而在一系列决策问题中产生大量的红利。
2018-11-21 cs.AI cs.LG stat.ML
Scalable Decision Focused Learning via Online Trainable Surrogates
University of Bologna(博洛尼亚大学)
本文提出了一种基于在线可训练替代者的决策聚焦学习方法,通过减少昂贵的损失函数评估来提升可扩展性,同时保持解决方案质量。
2025-12-03 cs.AI cs.LG