Approximating Euclidean by Imprecise Markov Decision Processes
Aalborg University(奥尔堡大学)
欧几里德马尔可夫决策过程是一个强大的工具,建模控制问题的不确定性下连续域。有限状态不精确,马尔可夫决策过程可以用来近似这些无限模型的行为。在本文中,我们解决两个问题:第一,我们调查什么样的近似保证时,欧几里德过程近似的有限状态近似引起的连续状态空间越来越精细的分区。我们表明,在有限的时间范围内的成本函数的近似变得任意精确。其次,我们使用不精确的马尔可夫决策过程近似作为工具来分析和验证成本函数和策略得到的强化学习。我们发现,一方面,我们的新的理论结果验证了以前提出的强化学习方法的基本设计选择。另一方面,不精确的马尔可夫决策过程近似揭示了学习成本函数中的一些不准确性。
2020-06-26 cs.AI
Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method
Hong Kong University of Science & Technology(香港科技大学)
人们对使用部分可观察马尔可夫决策过程(POMDP)作为随机域规划的正式模型非常感兴趣。本文主要研究POMDPs的最优策略。我们提出了几个改进的增量修剪,目前最有效的精确算法求解POMDPs。
2013-01-30 cs.AI
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology(香港科技大学)
我们提出了一种加速部分可观察马尔可夫决策过程(POMDP)值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程(MDP)的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验,一个POMDP值迭代算法称为增量修剪。我们发现,该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
Learning Factored Markov Decision Processes with Unawareness
University of Edinburgh(爱丁堡大学)
序贯决策问题中的学习和规划方法通常假设学习者事先知道所有可能的状态和动作。这种假设有时是站不住脚的。在本文中,我们给出了一种方法来学习分解马尔可夫决策问题,从域探索和专家协助,这保证收敛到接近最优的行为,即使当代理开始不知道成功的关键因素。我们的实验表明,我们的代理学习小问题和大问题的最佳行为,并且在发现新的可能性时保存信息会导致更快的收敛。
2019-02-27 cs.AI
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University(麦吉尔大学)
我们提出了度量马尔可夫决策过程(MDP)的状态相似性无限多个状态,包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟,并适合于使用MDP近似。我们表明,最佳的价值函数与折扣无限地平线规划任务不断变化,我们的度量距离。
2012-07-04 cs.AI
Quantile Markov Decision Process
Stanford University(斯坦福大学)
本文提出分位数马尔可夫决策过程(QMDP),用于优化累积奖励的分位数而非期望值,给出解析结果和动态规划算法,并扩展到CVaR目标,在HIV治疗启动问题上验证了其实际价值。
2025-10-15 cs.AI
Elaboration Tolerant Representation of Markov Decision Process via Decision-Theoretic Extension of Probabilistic Action Language pBC+
Arizona State University(亚利桑那州立大学)
我们扩展概率动作语言pBC+与决策理论中的效用概念。扩展的pBC+的语义可以被定义为概率答案集程序设计语言LPMLN的决策理论扩展的速记符号。或者,pBC+的语义也可以根据马尔可夫决策过程(MDP)来定义,这反过来允许以简洁和精细容忍的方式表示MDP,以及利用MDP求解器来计算pBC+。这个想法导致了系统pbcplus2mdp的设计,它可以使用MDP求解器找到pBC+动作描述的最佳策略。这篇论文是在逻辑程序设计理论与实践(TPLP)中考虑的。
2020-10-01 cs.AI
Metrics for Finite Markov Decision Processes
我们提出了度量的相似性状态在有限马尔可夫决策过程(MDP)。我们的指标的制定是基于MDP互模拟的概念,目的是解决折扣无限时域强化学习任务。这样的度量可以用于聚集状态,以及更好地构造其他价值函数近似器(例如,基于存储器或最近邻逼近器)。我们提供的界限,我们的度量距离在给定的MDP的状态的最佳值。
2012-07-11 cs.AI
Incremental Pruning: A Simple, Fast, Exact Method for Partially Observable Markov Decision Processes
Brown University(布朗大学);Duke University(杜克大学)
一般部分可观测马尔可夫决策过程(POMDPs)的最精确算法使用动态规划的形式,其中一个价值函数的分段线性和凸表示被转换成另一个。我们研究的“增量修剪”的方法来解决这个问题的变化,并从理论和实证的角度将它们与早期的算法进行比较。我们发现,增量修剪是目前最有效的精确方法解决POMDPs。
2013-02-06 cs.AI
Nonapproximability Results for Partially Observable Markov Decision Processes
University of Kentucky(肯塔基大学)
我们表明,部分可观察的马尔可夫决策过程的几个变化,多项式时间算法找到控制策略不太可能或根本没有保证找到一个恒定的因素或一个恒定的最优和的政策。这里“不太可能”的意思是“除非某些复杂性类崩溃”,其中考虑的崩溃是P=NP,P=PSPACE或P=EXP。除非这些崩溃被证明是有效的,否则任何控制策略设计者都必须在这样的性能保证和有效计算之间做出选择。
2011-06-01 cs.AI
On the Complexity of Solving Markov Decision Problems
Brown University(布朗大学)
马尔可夫决策问题(MDP)为研究自动规划和强化学习的人工智能研究人员感兴趣的许多问题提供了基础。在本文中,我们总结的结果,解决MDP的复杂性和MDP解决方案算法的运行时间。我们认为,虽然MDP可以有效地解决理论上,需要更多的研究,以揭示实用的算法,快速解决大型问题。为了鼓励未来的研究,我们勾画了一些替代的分析方法,依赖于MDP的结构。
2013-02-20 cs.AI
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中,我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程(POMDPs),这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大,为了减少训练时间,过滤掉了相似信念。实验结果表明,该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Flexible Decomposition Algorithms for Weakly Coupled Markov Decision Problems
Stanford University(斯坦福大学)
本文提出了两种分解和求解大型马尔可夫决策问题的新方法:部分解耦方法和完全解耦方法。在这些方法中,一个大的随机决策问题被分成较小的部分。第一种方法为问题的每个部分独立地构建策略缓存,然后在单独的轻量级步骤中组合这些部分。第二种方法也将问题分成更小的部分,但信息在不同的问题部分之间进行交流,从而可以做出明智的决定,决定哪一部分需要最多的关注。这两种方法都可以用来找到最优策略或近似最优策略与可证明的界限。这些算法还提供了一个框架,跨共享类似结构的问题的知识的有效转移。
2013-01-30 cs.AI
Answer Set Programming for Non-Stationary Markov Decision Processes
Institut d’Investigació en Intelligència Artificial(人工智能研究所);Universidade Metodista de São Paulo(圣保罗卫理公会大学);Centro Universitário FEI(FEI大学中心)
非平稳域,其中不可预见的变化发生,提出了一个挑战,代理找到一个最佳的政策,顺序决策问题。这项工作研究了这个问题的解决方案,结合马尔可夫决策过程(MDP)和强化学习(RL)与答案集编程(ASP)的方法,我们称之为ASP(RL)。在该方法中,答案集规划被用来找到一个MDP的可能的轨迹,从那里强化学习被应用于学习问题的最优策略。结果表明,ASP(RL)是能够有效地找到最优解的MDP代表非平稳域。
2017-05-03 cs.AI
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology(香港科技大学)
部分可观测马尔可夫决策过程(POMDPs)最近在许多人工智能研究人员中很受欢迎,因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法,为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估,发现非常有效:它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome(罗马第一大学)
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集,同时保持动态。我们称之为马尔可夫抽象,因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程(以及POMDP,其中只有有限数量的信念状态是可达的)的基础。在所有这些类型的决策过程中,使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明,马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务,可以采用标准算法。我们表明,我们的方法有PAC的保证时,所采用的算法有PAC的保证,我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
A Mixed Observability Markov Decision Process Model for Musical Pitch
Sharif University of Technology(谢里夫理工大学);University of Birmingham(伯明翰大学)
部分可观测马尔可夫决策过程已被广泛用于为现实世界的决策问题提供模型。在本文中,我们将提供一种方法,其中它们的一个稍微不同的版本称为混合可观测性马尔可夫决策过程,MOMDP,将加入我们的问题。基本上,我们的目标是提供一个行为模型的智能代理与音乐音高环境的互动,我们将展示如何MOMDP可以揭示一些光建立一个决策模型,音乐音高方便。
2012-06-05 cs.AI cs.LG
Mean-Variance Optimization in Markov Decision Processes
Technion(以色列理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们考虑有限时域马尔可夫决策过程下的性能指标,涉及的平均值和方差的累积奖励。我们发现,无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的,而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University(厄特沃什·罗兰大学)
强化学习具有坚实的基础,但在部分观察(非马尔可夫)环境中变得低效。因此,一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构,利用组合策略优化来克服非马尔可夫性,并开发有效的行为,这是很容易继承的,测试的行为状态的马尔可夫属性,并纠正非马尔可夫性通过运行一个确定性因子有限状态模型,它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院)
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程(HiP-MDP),一个框架,参数化一个家庭的相关动力系统与一组低维的潜在因素,并介绍了半参数回归方法从数据中学习其结构。在控制设置中,我们表明,一个学习的HiP-MDP快速识别一个新的任务实例的动态,允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria(法国国家信息与自动化技术研究所);University of Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);Villeneuve-d’Ascq, France(法国里尔大学城)
研究结构化MDP中最优策略的几何特性,提出基于边界的策略近似方法,直接学习策略区域,并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程(MDPs)的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程,并给出最优政策存在的条件。在此基础上,我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现,并表明他们是实用的。此外,我们表明,结合有效的未经验证的实现,我们的系统可以竞争,甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain(天主教鲁汶大学);Lund University(隆德大学)
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景,提出的度量定义良好且可在有限时域下高效近似,数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);Faculty of Mathematics and Computer Science(数学与计算机科学学院);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
众所周知,对于任何有限状态的马尔可夫决策过程(MDP),都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程(POMDPs),最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题,并制定了相应的几何框架。我们表明,任何POMDP有限的随机性,这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明,该方法能够更好,更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
A Solution to Time-Varying Markov Decision Processes
Indiana University(印第安纳大学);University of Southern California(南加利福尼亚大学)
我们考虑一个决策问题,环境在空间和时间上都不同。当考虑到例如,水下机器人在洋流中的导航或飞行器在风中的导航。为了模拟这种时空变化,我们扩展了标准的马尔可夫决策过程(MDP)的一个新的框架称为时变马尔可夫决策过程(TVMDP)。TVMDP有一个随时间变化的状态转换模型和转换的标准MDP,只考虑即时和静态的不确定性描述的状态转换,一个框架,能够适应未来的时变过渡动态在一定的水平。我们展示了如何解决TVMDP通过重新设计的MDP值的传播机制,通过将引入的动态沿时间维度。我们使用时空海洋数据在海洋机器人导航环境中验证了我们的框架,并表明它优于以前的努力。
2018-01-25 cs.AI cs.RO
Verification of Markov Decision Processes with Risk-Sensitive Measures
University of Texas(得克萨斯大学)
我们开发了一种方法,用于在马尔可夫决策过程中的风险敏感措施的时间逻辑约束的计算政策。具体来说,我们使用了累积前景理论中的一种特定的风险敏感度测量方法,这种方法以前曾在心理学和经济学中被采用。概率和效用函数的非线性变换产生非线性规划问题,这使得最优策略的计算通常具有挑战性。我们表明,这种非线性加权函数可以准确地近似由两个凸函数的差异。这一观察使得使用凹凸规划的有效策略计算成为可能。我们证明了几种情况下的方法的有效性。
2020-04-19 cs.AI cs.LO
Beyond Following: Mixing Active Initiative into Computational Creativity
Georgia Institute of Technology(佐治亚理工学院)
本研究在混合主动性协同创作系统中,利用强化学习开发了一个多臂老虎机智能体,通过在线学习人类创作者的责任偏好并主动切换协作能力,显著提升了39名参与者的整体满意度与协作理解。
2024-09-06 cs.AI cs.HC
Reachable Space Characterization of Markov Decision Processes with Time Variability
Indiana University(印第安纳大学);HomeAway, Inc.(HomeAway公司)
我们提出了一个解决方案,马尔可夫决策过程的时变变量,可用于解决决策理论规划问题的自治系统在非结构化的户外环境中运行。我们探索了规划随机性的时变性并研究了状态可达性,在此基础上开发了一种有效的迭代法,该方法在解的最优性和时间复杂度之间提供了良好的权衡。通过分析状态在未来到达时间的均值和方差,构造了系统的可达性空间。我们验证了我们的算法,通过大量的模拟使用海洋数据,结果表明,我们的方法在解决方案的质量和计算时间方面取得了很大的性能。
2019-05-25 cs.AI cs.RO
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto(多伦多大学);Vector Institute(向量研究所);Schwartz Reisman Institute for Technology and Society(施瓦茨·赖斯曼技术与社会研究所);University of Waterloo(滑铁卢大学)
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性,本文界定其多类性质,探究记忆与公平策略构建的关联,提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
An Approximate Solution Method for Large Risk-Averse Markov Decision Processes
IBM Research(IBM研究院)
随机域通常涉及风险厌恶的决策者。虽然最近的工作集中在如何使用风险度量在马尔可夫决策过程中建模风险,但它没有解决解决大型风险规避公式的问题。在本文中,我们提出并分析了一种新的方法来解决大型风险厌恶MDP与混合连续离散状态空间和连续行动空间。所提出的方法使用MDP的线性结构迭代地改进值函数的界。我们证明了效用和性能的方法上的投资组合优化问题。
2012-10-16 cs.AI cs.GT q-fin.PM
Iterated risk measures for risk-sensitive Markov decision processes with discounted cost
IBM Research - Tokyo(IBM东京研究院)
我们证明了贴现预期效用的限制,代表未来成本贴现时的风险偏好的标准方法。具体来说,我们提供了一个例子,决策者的偏好,似乎是理性的,但不能用任何折扣的预期效用表示。一个简单的修改贴现预期效用导致不一致的决策随着时间的推移。我们将证明,一个迭代的风险度量可以代表的偏好,不能代表任何折扣的期望效用和决策的基础上迭代的风险度量是一致的,随着时间的推移。
2012-02-14 cs.AI cs.GT q-fin.RM
Optimized Task Assignment and Predictive Maintenance for Industrial Machines using Markov Decision Process
KFUPM(法赫德国王石油矿产大学)
针对制造任务分配与机器状态维护,本文提出考虑智能体信息共享的 Markov 决策过程方法,并通过铣床退化数据案例验证其策略离线分析与参数选择灵活性。
2024-02-03 cs.AI cs.SY eess.SY
Learning Cost-Effective Treatment Regimes using Markov Decision Processes
Stanford University(斯坦福大学);Duke University(杜克大学)
决策者,如医生和法官,每天都要做出重要决定,如向患者推荐治疗方法,以及向被告提供保释。这类决策通常涉及权衡采取行动的潜在收益与所涉成本。在这项工作中,我们的目标是自动学习\emph{cost-effective, interpretable and actionable treatment regimes}的任务。我们将其表述为学习决策列表的问题--一系列if-then-else规则--它映射了主题的特征(例如,患者的诊断测试结果)到治疗。我们提出了一个新的目标,以构建一个决策列表,最大限度地提高人口的成果,并最大限度地减少总成本。我们模型的问题,学习这样一个列表的马尔可夫决策过程(MDP),并采用了一个变种的上界树(UCT)的策略,利用定制的检查修剪搜索空间有效。对真实世界的观察数据捕获司法保释决定和哮喘患者的治疗建议的实验结果证明了我们的方法的有效性。
2016-10-21 cs.AI cs.LG stat.ML
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑在线学习在情节无环马尔可夫决策过程(MDP),其中的损失函数可以任意改变情节之间,和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界,其中$T$是情节的数量,$X$是状态空间,$A$是动作空间,$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的,它允许扩展原始的对抗MDP模型来处理凸性能标准(不同的方式来聚合单个事件的损失),以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题,通过平均场近似得到连续HJB方程,并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne(墨尔本大学);The Australian National University(澳大利亚国立大学)
本研究提出熵正则化POMDP框架,证明标准技术可提供有界误差解,并发现联合熵正则化可实现精确的主动状态估计,构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Explainable Computational Creativity
Monash University(莫纳什大学);University of London(伦敦大学);Goldsmiths, University of London(伦敦大学金史密斯学院)
在计算创造力(CC)领域,人类与系统的协作通常限于浅层交互,其中系统和人类的创造性过程都是孤立进行的,没有用户的任何(或很少)干预,也没有关于如何展开决策的任何讨论。富有成效的共同创作需要持续不断的互动,包括讨论想法,与以前/其他作品的比较,增量改进和修改等。这意味着为CC系统提供发言权,并在它们和它们的用户之间建立双向沟通渠道,以便它们能够:解释它们的流程和决策,支持它们的想法,以便它们的创意合作者认真考虑这些想法,并从这些讨论中学习,以进一步改进它们的创意流程。为此,我们提出了一套CC系统的设计原则,旨在支持与人类合作者进行更大的共同创造和协作。
2022-05-11 cs.AI cs.HC
Empirically Evaluating Creative Arc Negotiation for Improvisational Decision-making
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
从众多的选择中选择动作,限制很少,这对于即兴创作和共同创造至关重要。我们以前的工作提出了创造性弧谈判来解决这个问题,即,选择行动遵循作者定义的“创造性弧线”或轨迹,而不是对潜在行动的新颖性、意外性和质量的估计。CARNIVAL代理体系结构演示了这种方法,用于在Robot Improv Circus安装中从Improv剧院玩道具游戏。本文通过两项众包观察者研究和一项即兴实验室研究评估了CARNIVAL的创意弧谈判经验。研究重点是被试在绩效中识别创造性弧的能力,以及与随机选择基线相比,他们对创造性弧谈判的偏好。我们的研究结果表明,经验,观察员成功地确定了创造性的弧线表演。在主体创造力和逻辑连贯性方面,两组人都更喜欢创造性弧谈判,而观察者也更喜欢。
2021-06-05 cs.AI cs.HC
Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models
Information Sciences Institute(信息科学研究所);USC Viterbi School of Engineering(南加州大学维特比工程学院)
本文系统综述了LLMs在决策偏差、推理和创造力三大认知领域的能力,发现其认知模式与人类仅部分一致,GPT-4表现出类人系统2思维,且在语言创造力上表现优异,并为人机协作及未来研究提供了指导。
2024-12-20 cs.AI cs.CL
Decision-Theoretic Planning with non-Markovian Rewards
National ICT Australia(澳大利亚国家信息通信技术研究院);The Australian National University(澳大利亚国立大学)
奖励依赖于历史而不仅仅是当前状态的决策过程被称为非马尔可夫奖励决策过程(NMRDP)。在决策理论规划中,许多期望的行为更自然地表示为执行序列的属性,而不是状态的属性,NMRDPs形成了一个更自然的模型比通常采用的完全马尔可夫决策过程(MDP)模型。虽然更易于处理的解决方案的方法开发的MDPs不直接适用于非马尔可夫奖励的存在下,一些解决方案的方法已经提出了在文献中的NMRDPs。这些都利用了时间逻辑中的非马尔可夫奖励函数的紧凑规范,自动将NMRDP转换为等效的MDP,并使用有效的MDP求解方法来求解。本文介绍了NMRDPP(非马尔可夫奖励决策过程规划器),一个软件平台的开发和实验的方法,决策理论规划与非马尔可夫奖励。当前版本的NMRDPP实现,在一个单一的接口,一个家庭的方法的基础上现有的以及新的方法,我们详细描述。这些方法包括动态规划、启发式搜索和结构化方法。使用NMRDPP,我们比较的方法,并确定某些问题的功能,影响其性能。NMRDPPs对非马尔可夫奖励的处理受到TLPlan规划器中特定于域的搜索控制知识的处理的启发,它将其作为特例。在第一届国际概率规划竞赛中,NMRDPP能够在独立于域和手工编码的轨道上竞争并表现良好,后者使用搜索控制知识。
2011-09-11 cs.AI
Extended Creativity: A Conceptual Framework for Understanding Human-AI Creative Relations
Università Cattolica del Sacro Cuore(圣心天主教大学)
本研究从关系性分布式认知视角出发,提出人类-AI创意关系的三种模式及两大定义维度,分析其对不同层级创造力的影响,为相关伦理、研究及系统设计提供参考。
2025-06-15 cs.AI cs.HC
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中,我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发:我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中,一个特殊的家庭隐马尔可夫模型,输入和输出,被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法,并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
An evidential Markov decision making model
Northwestern Polytechnical University(西北工业大学)
确定性原理和全概率定律是经典概率论的基本定律。一个析取谬误导致了对这两个经典定律的违反。本文提出了一种基于Dempster-Shafer(D-S)证据理论和马尔可夫模型的证据马尔可夫(EM)决策模型来解决这个问题,并对真实的人类决策过程进行建模。在一个证据框架中,通过引入一个不确定状态来扩展状态,该状态代表决策者的犹豫。经典的马尔可夫模型不能产生析取效应,它假设决策必须在某一时刻是确定的。然而,在EM模型中,在做出最终决策之前,允许状态是不确定的。通过信念熵定义了一个额外的不确定度参数--邓熵,用于分配不确定状态的基本概率分配,这是预测析取效应的关键。通过一个经典的分类决策实验,验证了EM模型的有效性。与现有模型相比,该模型能较好地预测析取效应,且所需的自由参数较少。
2017-05-10 cs.AI math.DS math.PR
Breaking Homogeneity: Diversifying Persona Sets for Creative LLM Outputs
Purdue University(普渡大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对语言模型响应同质化问题,提出角色多样化方法,通过进化生成角色显著提升响应多样性、原创性与创造性,并可与提示优化组合使用。
2026-09-28 cs.AI cs.CL stat.ML