Reachability and Differential based Heuristics for Solving Markov Decision Processes
University of Southern California（南加利福尼亚大学）；Indiana University（印第安纳大学）
马尔可夫决策过程（MDP）的解决方案的收敛速度可以通过优先级扫描的状态排序，他们对其他状态的潜在影响。在本文中，我们提出了新的算法，以加快解决方案的收敛MDP。首先，我们使用平均第一通过时间（MFPT）量化每个状态的可达性水平，并表明这种可达性表征很好地评估了用于有效的状态优先级的状态的重要性。然后，我们引入了备份差异的概念作为优先扫描机制的扩展，以评估状态的影响，在更细的尺度。最后，我们将状态优先级扩展到时间过程，在某些中间值迭代阶段只能执行部分扫描。为了验证我们的设计，我们已经进行了数值评估，通过比较提出的新算法与相应的经典基线机制。评估结果表明，我们的基于可达性的框架及其差分变体在实际运行时间和迭代次数方面都优于最先进的解决方案。
2019-01-03 cs.AI
Solving Long-run Average Reward Robust MDPs via Stochastic Games
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Masaryk University（马萨里克大学）；Singapore Management University（新加坡管理大学）
本文将长期平均奖励多面体鲁棒MDP归约为基于回合的随机博弈，证明其阈值判定问题属于NP∩coNP，并提出更高效的鲁棒多面体策略迭代算法RPPI。
2024-04-30 cs.AI
Efficient PAC Reinforcement Learning in Regular Decision Processes
Sapienza University of Rome（罗马大学）
最近，正则决策过程被提出来作为非马尔可夫决策过程的一种表现良好的形式。规则决策过程的特征在于依赖于整个历史的转移函数和奖励函数，尽管是规则的（如正则语言）。在实践中，转换和奖励函数都可以被看作是有限的转换器。我们研究规则决策过程中的强化学习。我们的主要贡献是表明，一个接近最优的政策可以PAC学习多项式时间在一组参数，描述了底层的决策过程。我们认为，所确定的参数集是最小的，它合理地捕捉到一个经常性的决策过程的困难。
2022-05-18 cs.AI cs.LG
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究所（UNIST））
MATE通过使用累积转移嵌入的记忆架构，解决了由未观察上下文参数化的上下文马尔可夫决策过程（CMDPs），在保持后验信念的同时，避免了传统方法的计算和梯度问题，实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
CP-MDP: A CANDECOMP-PARAFAC Decomposition Approach to Solve a Markov Decision Process Multidimensional Problem
Pontifical Catholic University of Rio Grande do Sul (PUCRS)（南里奥格兰德天主教大学）
马尔可夫决策过程（MDP）是随机环境中决策理论代理最优规划的基础模型。虽然许多研究都集中在解决MDP问题的表格形式或使用因子表示，没有集中在张量分解方法。使用张量代数求解MDP提供了利用基于张量的计算的进步来进一步提高求解器效率的前景。在本文中，我们开发了一个多维问题的MDP求解器，使用张量分解方法来压缩转换模型，优化值迭代和策略迭代算法。我们根据经验评估我们的方法对表格方法，并表明我们的方法可以计算更大的问题，使用更少的内存，开辟了新的可能性，基于张量的方法在随机规划
2021-02-27 cs.AI
Optimal Nudging: Solving Average-Reward Semi-Markov Decision Processes as a Minimal Sequence of Cumulative Tasks
Universidad de los Andes（安第斯大学）；Colorado State University（科罗拉多州立大学）
本文描述了一种新的方法来解决平均报酬半马尔可夫决策过程，通过减少他们的最小序列的累积报酬问题。这类问题的通常解决方法在观察到采取行动的结果后立即更新增益（最优平均奖励）。引入的替代方案，最优轻推，依赖于将增益设置为某个固定值，这短暂地使问题成为累积奖励任务，通过任何标准的强化学习方法解决它，然后才以最小化最大意义上的不确定性的方式更新增益。最优增益更新的规则是通过利用w-l空间的几何特征导出的，w-l空间是策略空间的简单映射。需要解决的累积奖励任务的总数被证明是小的。通过实验对算法的性能进行了分析，并与其他方法进行了比较。
2015-04-20 cs.AI cs.LG
Solving Markov Decision Processes with Reachability Characterization from Mean First Passage Times
NVIDIA Corporation（英伟达公司）；Indiana University - Bloomington（印第安纳大学伯明顿分校）；University of Southern California（南加利福尼亚大学）
本文提出了一种有效求解马尔可夫决策过程（MDP）的新机制。我们引入了可达性景观的概念，我们使用的平均首次通过时间（MFPT）作为一种手段来表征状态空间中的每个状态的可达性。我们表明，这种可达性表征很好地评估了国家的重要性，从而提供了一个自然的基础，有效地优先考虑国家和近似的政策。建立在这样一个新的观察，我们设计了两个新的算法-平均第一次通过时间为基础的价值迭代（MFPT-VI）和平均第一次通过时间为基础的政策迭代（MFPT-PI）-已被修改的国家的最先进的解决方案的方法。为了验证我们的设计，我们已经进行了数值评估，在机器人决策的情况下，通过比较所提出的新方法与相应的经典基线机制。评估结果表明，MFPT-VI和MFPT-PI在实际运行时间和迭代次数方面都优于最先进的解决方案。除了快速收敛的优点外，这种新的求解方法直观上易于理解，实际上易于实现。
2019-01-04 cs.AI cs.RO
Heuristics, Answer Set Programming and Markov Decision Process for Solving a Set of Spatial Puzzles
Centro Universitário FEI（FEI大学中心）；University of Corunna（科鲁尼亚大学）
由刚性物体、柔性弦和孔洞组成的空间谜题为人们对日常生活中常见的空间实体进行推理提供了有趣的领域。这项工作的目标是调查这类问题的自动化解决方案，采用一种算法，结合答案集编程（ASP）与马尔可夫决策过程（MDP），算法oASP（MDP），使用启发式算法加速学习过程。ASP被用来表示域作为一个MDP，而强化学习算法（Q学习）被用来找到最优策略。在这项工作中，数学是从放松版本的难题的解决方案。实验进行了确定性，非确定性和非平稳版本的难题。结果表明，所提出的方法可以加速学习过程中，呈现出优势相比，非启发式版本的oASP（MDP）和Q-Learning。
2019-02-16 cs.AI cs.LG
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind（深度思维）
在这个简短的说明中，我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Solving the non-preemptive two queue polling model with generally distributed service and switch-over durations and Poisson arrivals as a Semi-Markov Decision Process
University of South Africa（南非大学）
具有切换持续时间的轮询系统是一个有实际应用价值的模型。它被归类为离散事件动态系统（DEDS），没有人同意的建模方法存在。此外，DEDS相当复杂。到目前为止，最复杂的方法来模拟投票系统的利益一直是一个连续时间马尔可夫决策过程（CTMDP）。本文提出了一个半马尔可夫决策过程（SMDP）的轮询系统的制定，以引入额外的建模能力。这种能力是以截断误差和昂贵的数值积分为代价的，这自然会导致SMDP策略是否提供有价值的优势的问题。为了进一步添加到这种情况下，它示出了如何稀疏可以利用CTMDP开发一个计算效率高的模型。使用半马尔可夫过程模拟器评估SMDP和CTMDP策略的折扣性能。这两个政策是伴随着一个启发式的政策，专门为这个轮询系统，以及一个详尽的服务政策。参数和非参数假设检验用于检验性能差异是否具有统计学显著性。
2021-12-13 cs.AI math.OC
An End-to-End Learning Approach for Solving Capacitated Location-Routing Problems
National Key Lab of Autonomous Intelligent Unmanned Systems, Beijing Institute of Technology（中国自动化智能无人系统国家级实验室，北京理工大学）
提出基于深度强化学习与异构查询机制（DRLHQ）的端到端方法，首次将编码器-解码器结构应用于带容量约束的选址-路径问题（CLRP）及其开放变体（OCLRP），通过异构查询注意力机制动态协调选址与路径决策，在合成和基准数据集上优于传统方法和现有DRL基线。
2026-05-26 cs.AI cs.LG
Solving Robust Markov Decision Processes: Generic, Reliable, Efficient
Lancaster University Leipzig（莱比锡兰卡斯特大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Dresden University of Technology（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心（CeTI））
本研究基于RMDP与随机博弈的理论关联，提出通用、可靠、高效的RMDP求解框架，支持多种不确定集与决策目标，可随时提供精度保证，无需显式构建随机博弈，性能较现有工具提升数个数量级，可一分钟内求解百万状态RMDP。
2024-12-13 cs.AI cs.LG
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
A general Markov decision process formalism for action-state entropy-regularized reward maximization
Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作分别讨论了不同形式的行动，状态和行动状态熵正则化，纯探索和空间占领。这些问题对于规则化、泛化、加速学习和以前所未有的水平提供强大的解决方案都变得非常重要。然而，这些问题的解决方案是繁忙的，从凸和非凸优化，无约束优化，约束优化。在这里，我们提供了一个一般的对偶函数形式主义，将约束优化问题转化为一个无约束的凸的任何混合行动和状态熵。纯作用熵和纯状态熵的情况被理解为混合的极限。
2023-02-02 cs.AI cs.LG
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
An Approximate Solution Method for Large Risk-Averse Markov Decision Processes
IBM Research（IBM研究院）
随机域通常涉及风险厌恶的决策者。虽然最近的工作集中在如何使用风险度量在马尔可夫决策过程中建模风险，但它没有解决解决大型风险规避公式的问题。在本文中，我们提出并分析了一种新的方法来解决大型风险厌恶MDP与混合连续离散状态空间和连续行动空间。所提出的方法使用MDP的线性结构迭代地改进值函数的界。我们证明了效用和性能的方法上的投资组合优化问题。
2012-10-16 cs.AI cs.GT q-fin.PM
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Deep Reinforcement Learning for Solving Management Problems: Towards A Large Management Mode
Random Seed Inc.（随机种子公司）；Wuhan Institute for Artificial Intelligence（武汉人工智能研究院）；Guanghua School of Management, Peking University（北京大学光华管理学院）；Xiangjiang Laboratory（湘江实验室）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出统一的深度强化学习框架，通过生成式基础决策模型协调库存、定价与推荐等管理任务，并验证其优于启发式方法。
2024-03-01 cs.AI cs.LG
Policy Optimization with Advantage Regularization for Long-Term Fairness in Decision Systems
UC San Diego（加州大学圣迭戈分校）；UT Austin（得克萨斯大学奥斯汀分校）
长期公平性是在高风险决策环境中设计和部署基于学习的决策系统时考虑的一个重要因素。最近的工作提出了使用马尔可夫决策过程（MDP）制定决策与长期的公平性要求，在动态变化的环境中，并表现出直接部署启发式和基于规则的政策，在静态环境中工作良好的主要挑战。我们表明，与以前已知的策略相比，深度强化学习的策略优化方法可以用来找到更好的决策策略，这些策略通常可以实现更高的整体效用和更少的公平性要求。特别是，我们提出了新的方法，在政策优化的公平性要求，通过正规化的优势评估不同的行动。我们提出的方法可以很容易地施加公平性约束，而无需奖励工程或牺牲训练效率。我们在三个已建立的案例研究中进行了详细的分析，包括事件监测中的注意力分配，银行贷款审批和人口网络中的疫苗分配。
2022-10-22 cs.AI cs.CY cs.LG
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
A Fusion Algorithm for Solving Bayesian Decision Problems
University of Kansas（堪萨斯大学）
本文提出了一种求解贝叶斯决策问题的新方法。该方法将贝叶斯决策问题表示为一个基于估值的系统，并应用一种融合算法来求解该问题，该融合算法是联合概率分布边缘计算的局部计算方法和离散优化问题的局部计算方法的混合。
2013-03-20 cs.AI
A New Pruning Method for Solving Decision Trees and Game Trees
本文的主要目标是描述一种新的剪枝方法来求解决策树和博弈树。决策树的修剪方法是决策树的一个微小变体，我们称之为情景树。在场景树中，我们不需要从机会节点发出的每条边的条件概率。相反，我们需要从根结点到叶节点的每条路径的联合概率。我们比较了剪枝方法和传统的回滚方法的决策树和博弈树。对于需要贝叶斯概率修正的问题，使用剪枝方法的情景树表示比使用回滚方法的决策树表示更有效。对于博弈树，剪枝方法比回滚方法更有效。
2013-02-20 cs.AI
Representing and Solving Asymmetric Bayesian Decision Problems
Aalborg University（奥尔堡大学）
本文讨论了非对称贝叶斯决策问题的表示和求解。我们提出了一个正式的框架，称为非对称影响图，这是基于影响图，并允许非对称决策问题的有效表示。与现有的框架相反，非对称影响图主要在定性层面对非对称性进行编码，因此可以直接从模型中读取。给出了一个求解非对称影响图的算法。该算法首先将非对称决策问题分解成一个结构的对称子问题组织成一棵树。然后，可以通过使用现有的评估方法从叶子向根传播来解决子问题，从而找到决策问题的解决方案。
2013-01-16 cs.AI
Decision-Theoretic Control of Problem Solving: Principles and Architecture
Rockwell International Science Center（罗克韦尔国际科学中心）
本文提出了一种方法来设计自治，实时系统在不确定的环境中运行。我们解决问题的解决和反射控制的推理不确定性的两个基本要素：1）一组决策理论模型之间选择的替代解决问题的方法和2）一个通用的计算架构资源有限的问题解决。决策理论模型提供了一套原则，根据其相对成本和效益，在替代的解决问题的方法中进行选择，其中效益的特点是由推理活动的输出所提供的信息的价值。输出可能是对某个不确定量的估计或行动建议。被称为Schemer-II的计算架构提供了各种问题解决子系统之间的交织和通信。这些子系统为信息收集、信念细化、解决方案构建和解决方案执行提供了替代方法。特别地，该体系结构提供了用于响应于关键事件而中断子系统的机制。我们提供了一个决策理论帐户调度解决问题的元素和关键事件驱动中断的活动架构，如Schemer-II。
2013-03-27 cs.AI
Solving Asymmetric Decision Problems with Influence Diagrams
UBC（不列颠哥伦比亚大学）；RUST；Canadian Institute for Advanced Research（加拿大高等研究院）
虽然影响图作为贝叶斯决策问题的表示框架有许多优点，但它们在处理非对称决策问题时有严重的缺点。为了在影响图中表示，非对称决策问题必须对称化。用传统的算法计算对称化影响图时，可能涉及到大量不必要的计算。在本文中，我们提出了一种方法，以避免这种不必要的计算影响图评估。
2013-02-27 cs.AI
Solving Limited-Memory Influence Diagrams Using Branch-and-Bound Search
Mississippi State University（密西西比州立大学）；Queens College/CUNY（皇后学院/纽约市立大学）
有限记忆影响图（LIMID）通过放松规则性和无遗忘性的假设来推广传统的影响图，允许更广泛的决策问题被建模。求解传统影响图的算法不容易推广到求解LIMID，然而，直到最近才开发出求解LIMID的精确算法。在本文中，我们介绍了一个精确的算法求解LIMID是基于分支定界搜索。我们的方法与通过将其转换为等效的决策树来解决影响图的方法有关，不同之处在于LIMID被转换为可以更有效地搜索的小得多的决策图。
2013-09-26 cs.AI
Lazy Evaluation of Symmetric Bayesian Decision Problems
解决对称贝叶斯决策问题是一个计算密集型的任务，无论使用的算法。在本文中，我们提出了一种方法来提高效率的算法解决贝叶斯决策问题。该方法是基于惰性评估的原则-最近被证明可以提高贝叶斯网络中的推理效率的原则。其基本思想是保持分解的潜力，并推迟计算尽可能长的时间。通过实例强调了基于惰性评估的方法所获得的效率改进。最后，将基于惰性评估的方法与基于Hugin和基于评估的系统架构在解决对称贝叶斯决策问题上进行了比较。
2013-01-23 cs.AI
Solving Robust POMDPs with Omega-regular Objectives via Partially Observable Stochastic Games
Indian Institute of Technology Bombay（印度孟买理工学院）；Nanyang Technological University（南洋理工大学）
本研究建立了具有多面体不确定集合的（s,a）-矩形鲁棒部分可观察马尔可夫决策过程与部分可观察随机博弈的语义等价性，推导了求解具有ω-正则目标的RPOMDPs及RMDPs的新计算复杂度结果。
2026-09-30 cs.AI
Decision Methods for Adaptive Task-Sharing in Associate Systems
Stanford University（斯坦福大学）
本文介绍了关联系统的一些研究成果：基于知识的系统，灵活和自适应地支持他们的人类用户进行复杂的，时间依赖的问题解决任务的不确定性。基于决策理论和决策分析的原理，提出了一种解决问题的方法，它可以克服传统专家系统的许多局限性。这种方法实现了一个明确的模型，人类用户的解决问题的能力，作为一个整体的解决问题的架构中的一个组成部分。这种集成模型，表示为影响图，是实现关联系统和人类用户之间的自适应任务共享行为的基础。这个系统模型已被应用于正在进行的研究火星漫游者经理的助理（MRMA）。MRMA的角色将是管理火星表面上的一个小型机器人漫游者舰队。本文描述了一个特定场景的结果，其中MRMA研究了咨询地球上的人类专家以帮助火星漫游者做出复杂的资源管理决策的好处和成本。
2013-03-13 cs.AI
A Constraint Satisfaction Approach to Decision under Uncertainty
IRIT - Universite Paul Sabatier（IRIT - 保罗·萨巴捷大学）；INRA（法国国家农业研究院）
约束满足问题（CSP）框架为表示和解决简单的决策问题提供了一个简单而可靠的基础，没有不确定性。本文致力于CSP框架的扩展，使我们能够处理一些决策问题的不确定性。这种扩展依赖于代理可控的决策变量和不可控的参数之间的差异，其值取决于不确定事件的发生。假设参数值的不确定性以概率分布的形式给出。给出了两个算法，分别计算解决问题的最大概率的决策，和条件决策映射的最大可能数量的可能情况下，以实际的决策。
2013-02-20 cs.AI
Solving Decision Theory Problems with Probabilistic Answer Set Programming
University of Ferrara（费拉拉大学）；TU Wien（维也纳技术大学）
本文提出通过决策原子和效用属性在Credal语义下用概率回答集编程编码决策理论问题，并设计基于三层代数模型计数的算法，实验证明其可在合理时间内处理非平凡实例。
2024-08-21 cs.AI cs.LO
ERA*: Enhanced Relaxed A* algorithm for Solving the Shortest Path Problem in Regular Grid Maps
Prince Sultan University（苏丹王子大学）
针对静态规则8邻接网格的点对点最短路径问题，提出增强型松弛A*算法ERA*，通过查找矩阵策略在保证路径长度与RA*等价的同时大幅提升速度与内存效率，实验验证其性能显著优于RA*和原始A*。
2023-08-15 cs.AI
ProjectionPathExplorer: Exploring Visual Patterns in Projected Decision-Making Paths
Johannes Kepler University Linz（林茨约翰·开普勒大学）；Imperial College London（伦敦帝国理工学院）；datavisyn GmbH（datavisyn有限责任公司）
在解决问题的过程中，通往解决方案的路径可以被视为一系列决策。由人类或计算机做出的决策描述了通过问题的高维表示空间的轨迹。通过降维，这些轨迹可以在低维空间中可视化。这种嵌入式轨迹以前曾被应用于各种各样的数据，但分析几乎完全集中在单一轨迹的自相似性。相比之下，我们描述的模式从绘制许多轨迹-不同的初始条件，最终状态和解决方案的策略-在同一嵌入空间。我们认为，一般的陈述解决问题的任务和解决策略，可以通过解释这些模式。我们探索和特征化的轨迹模式，从人类和机器在各种应用领域的决策：逻辑难题（魔方），战略游戏（国际象棋），优化问题（神经网络训练）。我们还讨论了适当选择的表示空间和相似性度量的嵌入的重要性。
2022-07-18 cs.AI
Compiling Stochastic Constraint Programs to And-Or Decision Diagrams
Polytechnique Montréal（蒙特利尔理工学院）；Mila（Mila（魁北克人工智能研究所））
因子随机约束规划（FSCP）是描述不确定性多阶段决策问题的一种形式化方法。FSCP模型支持因子化概率模型，并涉及对决策和随机变量的约束。这些模型在实际问题中有许多应用。然而，解决这些问题需要为随机变量的每个可能结果评估最佳行动方案，因此在计算上具有挑战性。FSCP问题通常涉及重复的子问题，理想情况下应该解决一次。在本文中，我们将展示如何识别和利用这些相同的子问题可以简化解决它们，并导致一个紧凑的解决方案表示。我们编译一个与或搜索树到一个紧凑的决策图。初步实验表明，我们提出的方法显着提高了搜索效率，通过减少问题的大小，并优于现有的方法。
2019-09-23 cs.AI
Security Decisions for Cyber-Physical Systems based on Solving Critical Node Problems with Vulnerable Nodes
Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）
针对信息物理生产系统抵御网络攻击能力有限的问题，提出基于求解带脆弱顶点的关键节点割问题（CNP-V）的方法，通过隔离有限数量设备而非关闭整个系统来辅助安全决策，首次将CNP-V应用于网络安全领域。
2024-06-12 cs.AI cs.CR
On solving decision and risk management problems subject to uncertainty
Loyola University Chicago（芝加哥洛约拉大学）
本文研究不确定性下的决策与风险管理问题，通过分析100个决策问题数据集，发现14个能促成解决策略的关键属性，并提出一个框架以系统性运用这些属性，发现复杂问题往往更易处理。
2023-01-18 cs.AI math.OC math.PR
Research: Analysis of Transport Model that Approximates Decision Taker's Preferences
University of Technology（技术大学）
本文给出了求解逆Monge-Kantorovich运输问题的一种方法。它允许决策者在可以以TP形式呈现的情况下积累积极的决策经验。逆TP的解决方案的初始数据是订单，库存和决策者采取的有效决策的信息。求解逆TP的结果包含对TP支付矩阵元素的评估。它可以在新的情况下使用，以选择与决策者的偏好相对应的解决方案。该方法允许获得决策者的经验，因此它可以被其他人使用。该方法允许在特定的应用领域中建立决策者偏好模型。该模型可以定期更新，以确保其与决策者偏好制度的相关性和适当性。该模型适应于决策者的当前偏好。
2015-09-06 cs.AI cs.LG math.OC
Solving Limited Memory Influence Diagrams
我们提出了一个新的算法，精确求解决策问题的影响图。我们不需要通常的无遗忘和规律性的假设;这使我们能够在同时决策和有限信息的情况下解决问题。经验表明，该算法优于一个国家的最先进的算法上随机生成的问题多达150个变量和$10^{64}$的解决方案。我们发现，即使问题的基本图形结构具有小的树宽和变量采取有限数量的状态，但一个完全多项式时间的近似方案存在这些情况下，问题是NP-难的。此外，我们还证明了态数的界是任何有效近似方案的必要条件。
2011-09-09 cs.AI cs.CC stat.ML
