Multiobjective Programming for Type-2 Hierarchical Fuzzy Inference Trees
ETH Zurich(苏黎世联邦理工学院);Technical University of Ostrava(俄斯特拉发技术大学);Machine Intelligence Research Labs(机器智能研究实验室)
提出了一种层次模糊推理树的设计方法。HFIT产生最佳树状结构,即,一种自然的层次结构,通过结合几个低维模糊推理系统(FIS)来简化。这种自然的分层结构提供了高度的近似精度。HFIT的建设分两个阶段进行。首先,基于非支配排序的多目标遗传编程(MOGP)被应用于获得一个简单的树结构(一个低复杂度的模型),具有较高的精度。其次,应用差分进化算法对得到的树的参数进行优化。在派生树中,每个节点获取不同的输入组合,其中进化过程控制输入的组合。因此,HFIT节点本质上是异构的,这导致由HFIT生成的规则之间的高度多样性。此外,HFIT提供了自动特征选择,因为它使用MOGP进行树的结构优化,该结构优化仅接受与数据中包含的知识相关的输入。HFIT研究的背景下,类型-1和类型-2 FIS,其性能进行了评估,通过六个应用问题。此外,建议的多目标HFIT进行了比较,从理论上和经验上与最近提出的FIS方法从文献中,如McIT 2FIS,TSCIT 2FNN,SIT 2FNN,RIT 2FNS-WB,eT 2FIS,MRIT 2NFS,IT 2FNN-SVR等。从所获得的结果,人们发现,HFIT提供了较低的复杂性和高精度的模型相比,大多数其他方法产生的模型。因此,建议HFIT是一个有效的和有竞争力的替代其他FIS的函数逼近和特征选择。
2017-05-16 cs.AI
D-FLAT: Declarative Problem Solving Using Tree Decompositions and Answer-Set Programming
Institute of Information Systems(信息系统研究所);Vienna University of Technology(维也纳工业大学)
在这项工作中,我们提出了一个工具,快速原型的动态规划算法的基础上树分解的集合编程(ASP)。事实上,已经设计了许多这样的算法,但只有少数几个找到了实现的方法。主要的障碍是缺乏易于使用的系统,(i)照顾建立一个树分解和(ii)提供一个接口的声明规范的动态规划算法。在本文中,我们提出了D-FLAT,一种新的工具,减轻了用户必须处理所有的技术细节与解析,树分解,处理的数据结构等,而不是,它只是动态规划算法本身必须指定在ASP语言。D-FLAT采用ASP求解器来计算动态规划算法中的局部解。文中列举了几个实例说明D-FLAT的使用,并介绍了该系统的主要特点。此外,我们报告的实验表明,基于ASP的D-FLAT编码的一些问题优于单片ASP编码的实例上的小树宽。
2012-10-06 cs.AI cs.LO
Stochastic Constraint Programming as Reinforcement Learning
Insight Centre for Data Analytics(数据分析洞察中心);University College Cork(科克大学学院);University of Edinburgh(爱丁堡大学);Cankaya University(昌卡亚大学)
随机约束编程(SCP)是约束编程(CP)的扩展,用于建模和解决涉及约束和不确定性的问题。SCP继承了CP优秀的建模能力和滤波算法,但到目前为止,它还没有被应用到大型问题。强化学习(RL)将动态规划扩展到大型随机问题,但它是特定于问题的,没有通用的求解器。我们提出了一个混合的RL的可扩展性与CP的建模和约束过滤方法相结合。我们在CP系统中实现了一个原型,并证明了它对SCP问题的有用性。
2017-04-24 cs.AI
Behavior Trees Enable Structured Programming of Language Model Agents
University of Nevada(内华达大学)
针对语言模型智能体脆弱需大量支撑的问题,提出用行为树统一结合语言模型与经典AI、传统编程的框架,推出Python库Dendron并通过三个案例验证其有效性。
2024-04-11 cs.AI cs.CL
Learning Behavior Trees with Genetic Programming in Unpredictable Environments
ABB Corporate Research(ABB集团研究院);ABB Robotics(ABB机器人);Royal Institute of Technology (KTH)(瑞典皇家理工学院(KTH))
现代工业应用要求机器人能够在不可预测的环境中运行,并且需要以最小的努力创建程序,因为任务可能会频繁更改。在本文中,我们表明,遗传编程可以有效地用于学习的行为树(BT)的结构,以解决机器人在不可预测的环境中的任务。此外,我们建议使用一个简单的模拟器的学习,并证明学习的BT可以解决相同的任务在一个现实的模拟器,达到收敛,而不需要任务特定的算法。学习的解决方案是容错的,使我们的方法吸引真正的机器人应用。
2020-11-06 cs.AI cs.RO
DPMC: Weighted Model Counting by Dynamic Programming on Project-Join Trees
Rice University(莱斯大学)
我们提出了一个统一的动态规划框架来计算精确的文字加权模型计数的公式合取范式。在我们的框架的中心是项目连接树,它指定了有效的项目连接顺序,以应用加法投影(变量消除)和连接(子句乘法)。在这个框架中,模型计数分两个阶段进行。首先,计划阶段从公式构造项目连接树。第二,执行阶段计算公式的模型计数,采用由项目连接树引导的动态规划。我们经验评估规划阶段的各种方法,并比较约束满意度算法与树分解工具。我们还调查了不同的数据结构的执行阶段的性能和比较代数决策图与张量。我们表明,我们的动态编程模型计数框架DPMC是最先进的精确加权模型计数器cachet,c2d,d4和miniC2D的竞争力。
2020-08-20 cs.AI cs.DS cs.LO
Formally Explaining Decision Tree Models with Answer Set Programming
National Institute of Informatics, Tokyo, Japan(日本信息处理研究院);Tokyo Institute of Technology, Tokyo, Japan(东京技术大学)
本文提出利用答案集编程生成决策树模型多种解释的方法,以提升模型的可解释性与形式化验证能力。
2026-01-07 cs.AI cs.LO
DynASP2.5: Dynamic Programming on Tree Decompositions in Action
TU Wien(维也纳工业大学)
一个活跃的理论研究领域是有效的精确参数化算法。最近的求解竞赛,如PACE挑战赛表明,参数化算法社区的实际兴趣也越来越大。一个重要的研究问题是,专用的参数化精确算法是否具有一定的实际意义,甚至可以击败成熟的问题解决者。我们认为基于逻辑的声明式建模语言和问题解决框架答案集编程(ASP)。最先进的ASP求解器在很大程度上依赖于基于SAT的算法。ASP求解器(DynASP 2),这是基于一个经典的动态规划的树分解,最近已经出版。不幸的是,DynASP 2可以优于现代ASP解决方案的程序,小的树宽度,只有当感兴趣的问题是计数的解决方案的数量。在本文中,我们描述了我们的新的实现(DynASP 2.5),显示竞争行为,以国家的最先进的ASP求解器,即使只找到一个解决方案时,解决问题的斯坦纳树的问题,已建模在ASP的低树宽的图。我们的实现是基于一种新的方法,我们称之为多通动态规划(M-DPSINC)。
2017-06-28 cs.AI cs.CC cs.LO
Towards Deep Machine Reasoning: a Prototype-based Deep Neural Network with Decision Tree Inference
School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
在本文中,我们介绍了DMR -一种基于原型的深度学习方法和网络架构,它使用基于决策树(DT)的推理和合成数据来平衡类。它建立在最近引入的xDNN方法的基础上,解决了更复杂的多类问题,特别是当类高度不平衡时。DMR从基于所有类别的直接决策转向成对类别比较的分层DT。此外,它强制原型在类之间平衡,而不管训练数据的可能的类不平衡。它有两个新的机制,即i)使用DT来确定获胜的类标签,以及ii)通过合成从可用的训练数据确定的原型周围的数据来平衡类。因此,我们显着提高了性能的完全可解释的DNN所证明的最好的报告结果上众所周知的基准问题加州理工学院-101超过我们自己最近公布的“世界纪录”。此外,我们还取得了另一个“世界纪录”的另一个非常困难的基准问题,即加州理工学院-256以及超过其他方法的结果面孔-1999问题。总之,我们提出了一种新的方法,特别有利于不平衡的多类问题,实现了两个世界纪录,众所周知的硬基准问题和最好的结果,另一个问题的准确性。此外,DMR提供了完全的可解释性,不需要GPU,并且可以通过添加新的原型来继续从新的数据中学习,保留以前的原型,但不需要完全的重新训练。
2020-02-02 cs.AI cs.CV cs.LG
Necessary and Sufficient Conditions for Optimal Decision Trees using Dynamic Programming
Delft University of Technology(代尔夫特理工大学)
本文探讨了动态规划优化决策树时目标可分离的充分必要条件,提出一个能优化任意可分离目标与约束组合的通用框架,在五个应用领域实验中大幅优于通用求解器的可扩展性。
2025-01-30 cs.AI cs.DS cs.LG
Optimizing Phylogenetic Supertrees Using Answer Set Programming
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
超树的构建问题是将多个可能存在冲突信息的系统发生树组合成一棵树,该树将源树的所有叶子作为其叶子,并且叶子之间的关系尽可能与源树一致。这导致了计算上具有挑战性的优化问题,并且通常使用探试法,诸如具有简约性的矩阵表示(MRP)。在本文中,我们考虑使用的答案集编程来解决超树构造问题的两种替代编码。第一种是基于现有的编码树使用子结构被称为四元组,而其他新的编码捕捉的关系,通过直接投影树。我们使用这些编码来计算一个属级超树的家庭的猫(猫科动物)。此外,我们比较我们的结果最近的超树MRP方法。
2015-07-19 cs.AI cs.CE
Optimal Survival Trees: A Dynamic Programming Approach
Delft University of Technology(代尔夫特理工大学)
针对生存分析预测,本文首次提出基于动态规划的最优生存树方法,具备最优性保证并能评估启发式方法的最优性差距,通过特殊算法提升可扩展性,实验表明其运行时间优于部分启发式方法且预测性能与最先进方法相当。
2024-01-09 cs.AI cs.DS cs.LG
Tractable Answer-Set Programming with Weight Constraints: Bounded Treewidth is not Enough
Vienna University of Technology(维也纳技术大学)
基数约束,或者更一般地说,权重约束,被公认为是答案集编程的一个重要扩展。显然,所有与基数或权重约束相关的常见算法任务(如检查程序的一致性)都是难以处理的。在知识表示和推理领域中的许多棘手的问题已经被证明是线性时间可处理的,如果所考虑的程序或公式的树宽由某个常数限制。本文的目标是将树宽的概念应用到具有基数或权重约束的程序中,并识别易处理的片段。事实证明,直接将树宽应用于这类程序并不足以获得易处理性。然而,通过施加进一步的限制,可以实现易处理性。
2012-05-29 cs.AI cs.CC cs.LO
Optimal Classification Trees for Continuous Feature Data Using Dynamic Programming with Branch-and-Bound
University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学)
针对连续特征下最优分类树计算难、扩展性差的问题,提出带分支定界的动态规划算法及新剪枝技术、深度2树高效子程序,大幅提升运行速度与测试准确率。
2025-01-14 cs.AI cs.DS cs.LG
Multi-Representation Genetic Programming: A Case Study on Tree-based and Linear Representations
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington(数据科学与人工智能中心及工程与计算机科学学院,维多利亚大学)
本文提出一种结合树表示和线性表示的多表示遗传规划算法,并设计新的跨表示交叉算子,实证表明该方法有效提升了符号回归和动态作业车间调度问题的求解效果。
2024-05-23 cs.AI cs.NE
Generating Redundant Features with Unsupervised Multi-Tree Genetic Programming
Victoria University of Wellington(惠灵顿维多利亚大学)
近年来,由于现代生活各个领域中高维数据集的激增,特征选择已经成为一个越来越重要的研究领域。已经提出了大量的特征选择算法,但是很难真正分析给定算法的质量。理想情况下,一个算法的评估应该通过测量它去除已知不良特征的效果来进行。获取具有这些特征的数据集本质上是困难的,因此一种常见的技术是向现有数据集添加合成的不良特征。虽然添加噪声特征是一项简单的任务,但自动添加复杂的冗余特征是非常困难的。这项工作提出了一种新的遗传编程的方法来产生冗余的功能,第一的方法之一。初步实验表明,我们提出的方法可以自动创建困难的,冗余的功能,有可能用于创建高质量的特征选择基准数据集。
2018-03-20 cs.AI cs.NE
Predicting Variable Types in Dynamically Typed Programming Languages
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Department of Computer Science(计算机科学系);Amherst(阿默斯特);MA 01002(马萨诸塞州 01002)
动态规划语言非常流行,因为它们提高了程序员的工作效率。然而,在源代码中缺少类型使得用这些语言编写的程序难以理解,并且执行这些程序的虚拟机不能产生优化的代码。为了克服这一挑战,我们开发了一种技术来预测所有标识符的类型,包括变量和函数返回类型。我们提出了$2^{nd}$顺序内外递归神经网络的第一个实现,它有两个变体:(i)Child-Sum Tree-LSTM和(ii)可以处理大量树分支的N元RNN。我们预测的类型的所有标识符给定的抽象树,通过执行两次通过树,自底向上和自顶向下,保持内容和上下文表示的树的所有节点。这允许这些表示通过组合来自父、兄弟和子的不同路径进行交互,这对于预测类型至关重要。我们最好的模型在21个类中达到了44.33%,在我们从流行的Python基准测试中收集的Python数据集上,前三名的准确率为71.5%。
2019-01-16 cs.AI cs.PL
MurTree: Optimal Classification Trees via Dynamic Programming and Search
Delft University of Technology(代尔夫特理工大学);LAAS CNRS(法国国家科学研究中心LAAS实验室);RMIT University(皇家墨尔本理工大学);University of Melbourne(墨尔本大学);Monash University(莫纳什大学);DATA61(DATA61研究所)
决策树学习是机器学习中广泛使用的方法,在需要简洁和可解释模型的应用中受到青睐。传统上使用探试法来快速产生具有相当高精度的模型。然而,一个普遍的批评点是,所得到的树可能不一定是数据在准确性和大小方面的最佳表示。近年来,这激发了最优分类树算法的发展,该算法与执行一系列局部最优决策的探试法相比,全局优化决策树。我们遵循这条工作路线,并提供了一种新的算法学习最佳分类树的基础上动态规划和搜索。我们的算法支持树的深度和节点数的约束。我们的方法的成功归功于一系列专门的技术,利用独特的分类树的属性。而最佳分类树的算法传统上受到高运行时间和有限的可扩展性的困扰,我们在一个详细的实验研究表明,我们的方法只使用了一小部分的时间所需的最先进的,可以处理数据集与成千上万的实例,提供了几个数量级的改进,特别是对实际实现的最佳决策树的贡献。
2022-06-28 cs.AI cs.DS cs.LG
ProGReST: Prototypical Graph Regression Soft Trees for Molecular Property Prediction
Jagiellonian University(雅盖隆大学);Ardigen SA
在这项工作中,我们提出了新的原型图回归自解释树(ProGReST)模型,它结合了原型学习,软决策树和图神经网络。与其他工作相比,我们的模型可以用于解决各种具有挑战性的任务,包括化合物性质预测。在ProGReST中,由于模型的内置可解释性,基本原理与预测一起获得。此外,我们引入了一种新的图原型投影来加速模型训练。最后,我们在广泛的化学数据集上评估了PRoGReST的分子性质预测,并与化学专家进行了深入的分析,以评估获得的解释。我们的方法实现了竞争力的结果对国家的最先进的方法。
2022-12-27 cs.AI cs.LG q-bio.QM
A Linear Programming Approach for Resource-Aware Information-Theoretic Tree Abstractions
Georgia Institute of Technology(佐治亚理工学院);The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Institute for Robotics and Intelligent Machines(机器人与智能机器研究所)
在这一章中,整数线性规划制定的问题,获得任务相关的,多分辨率,环境抽象的资源受限的自主智能体。该公式利用信息理论信号压缩的概念,特别是信息瓶颈(IB)方法,提出了一个抽象问题,作为多分辨率树空间上的最佳编码器搜索。抽象出现在一个任务相关的方式作为代理信息处理约束的函数。我们详细介绍了我们的配方,并显示如何分层树结构,信号编码器,和信息理论的信号压缩方法可以统一在一个共同的主题。描述我们的配方的优点和缺点的讨论,以及详细解释我们的方法可以被解释为资源受限的自治系统生成抽象的上下文中。结果表明,由此产生的多分辨率树空间上的信息理论抽象问题可以制定为一个整数线性规划(ILP)问题。我们展示了一些例子的方法,并提供了一个讨论,详细介绍了所提出的框架相比,现有的方法的差异。最后,我们考虑一个线性规划松弛的ILP问题,从而证明,多分辨率的信息理论树的抽象可以通过求解凸规划。
2022-08-08 cs.AI cs.IT cs.RO
MAP estimation via agreement on (hyper)trees: Message-passing and linear programming
我们开发和分析的方法计算证明最佳的{ \em最大后验}(MAP)配置的一个子类的马尔可夫随机场定义的图与周期。通过将原始分布分解为树结构分布的凸组合,我们获得了原始问题的最优值的上界(即,MAP分配的对数概率)。我们证明了这个上界是紧的,当且仅当所有的树分布共享一个共同的最优配置。一个重要的含义是,任何这样的共享配置也必须是原始分发的MAP配置。接下来,我们开发了两种方法来尝试获得严格的上界:(a){ \em树松弛线性规划}(LP),它是从上界的拉格朗日对偶推导出来的;和(b)一个{ \em树重新加权的最大积消息传递算法},它与最大积算法相关但不同。通过这种方式,我们建立了一定的LP松弛的模式发现问题之间的连接,并重新加权形式的最大产品(最小和)的消息传递算法。
2005-08-15 cs.AI cs.IT math.IT
Controlled Natural Language Processing as Answer Set Programming: an Experiment
Macquarie University(麦考瑞大学)
大多数受控自然语言(CNL)都是在依赖于不同软件组件的流水线架构的帮助下处理的。在本文中,我们以实验的方式研究了答案集编程(ASP)如何适合作为解析CNL、推导所得语法树的正式表示以及使用该表示进行推理的统一框架。我们开始从一个列表中的输入标记在ASP符号,并显示如何输入可以转换成一个语法树使用ASP语法,然后到具体的ASP规则的形式的一组事实。这些事实然后由ASP元解释器处理,允许我们推断新知识。
2014-07-15 cs.AI cs.CL
A Behavior Tree-inspired programming language for autonomous agents
针对传统行为树模型随应用规模扩大显现的功能局限,本文提出受行为树启发的自主智能体函数式编程语言,解决响应式选择等核心问题并给出规范与Haskell实现,验证了其处理复杂行为的能力。
2024-11-26 cs.AI cs.PL cs.RO
Classification of the Chess Endgame problem using Logistic Regression, Decision Trees, and Neural Networks
King Saud University(沙特国王大学)
在这项研究中,我们使用不同的算法,如逻辑回归,决策树和神经网络的国际象棋残局问题的分类。我们的实验表明,神经网络提供了最好的准确性(85%),然后决策树(79%)。我们使用Microsoft Azure机器学习进行了这些实验,作为在分类中使用可视化编程的案例研究。我们的实验表明,这个工具是强大的,节省了大量的时间,也可以改进更多的功能,提高可用性和减少学习曲线。我们还使用一种新的程序设计语言Ring开发了一个数据集可视化的应用程序,实验表明,该语言具有Python的简单设计,同时集成了Visual Basic的RAD工具,这对于开源世界的GUI开发很有帮助
2021-11-10 cs.AI cs.LG
Gene Expression Programming: a New Adaptive Algorithm for Solving Problems
基因表达式编程,基因型/表型遗传算法(线性和分歧),在这里提出的第一次作为一种新的技术,用于创建计算机程序。基因表达式编程使用字符线性染色体组成的基因结构组织在一个头和一个尾巴。染色体作为基因组发挥功能,并通过突变、转座、根转座、基因转座、基因重组以及单点和两点重组进行修饰。染色体编码表达树,表达树是选择的对象。这些具有不同功能的独立实体(基因组和表达树)的创建允许算法以高效率执行,大大超过现有的自适应技术。这套问题的选择,以说明电源和通用性的基因表达式编程,包括符号回归,序列诱导与不创建常数,块堆叠,元胞自动机规则的密度分类问题,和两个问题的布尔概念学习:11多路复用器和GP规则问题。
2001-12-30 cs.AI cs.NE
The Parametric Cost Function Approximation: A new approach for multistage stochastic programming
Department of Operations Research and Financial Engineering(运筹学与金融工程系);University of Waterloo(滑铁卢大学)
在研究文献中,解决多阶段随机规划问题的最常见方法是使用价值函数("动态规划")或情景树("随机规划")来近似现在的决策对未来的影响。相比之下,通常的行业惯例是使用确定性的未来近似,这更容易理解和解决,但被批评为忽视不确定性。我们表明,一个确定性的优化模型的参数化版本可以是一种有效的方式来处理不确定性的复杂性,无论是随机规划或动态规划。我们提出了一个参数化的确定性最优化模型的想法,特别是一个确定性的前瞻模型,作为一个强大的战略,许多复杂的随机判定问题。这种方法可以处理复杂的、高维的状态变量,并且避免了与场景树或值函数近似相关联的通常近似。相反,它引入了设计和调优参数化的离线挑战。我们说明了使用一系列的应用程序设置的想法,并展示了它的使用在一个非平稳的能量存储问题与滚动预测。
2022-01-01 cs.AI math.OC
Counting Answer Sets via Dynamic Programming
TU Wien(维也纳工业大学)
虽然近年来命题可满足性(#SAT)的解决方案计数问题重新受到关注,但这一研究趋势并没有影响其他AI解决范式,如答案集编程(ASP)。虽然ASP求解器被设计为枚举所有解决方案,因此计数可以很容易地完成,但所有解决方案的具体化是ASP(#ASP)计数问题的明显瓶颈。在本文中,我们提出了基于动态规划的#ASP算法,利用底层(地面)ASP程序的结构。一个原型实现的实验结果表明,与现有的求解器相比,承诺。
2016-12-22 cs.AI cs.CC cs.LO
Evolving Genetic Programming Tree Models for Predicting the Mechanical Properties of Green Fibers for Better Biocomposite Materials
The Hashemite University(哈希姆大学);The University of Jordan(约旦大学);University of Granada(格拉纳达大学)
本研究提出进化遗传规划树模型,基于天然纤维的化学物理特性预测其力学性能,证实微纤丝角对拉伸强度的影响占比最高,可助力低成本开发优质绿色复合材料。
2024-02-20 cond-mat.mtrl-sci cs.AI cs.NE
Answer Set Solving with Bounded Treewidth Revisited
University of Potsdam(波茨坦大学);TU Wien(维也纳工业大学)
参数化算法是一种更有效地解决困难问题的方法,因为输入的特定参数很小。本文将这一思想应用于答案集编程领域。为此,我们提出了两种图形表示的程序,利用其树宽作为参数。树宽大致衡量程序的内部结构在多大程度上类似于树。我们的主要贡献是设计参数化的动态规划算法,它运行在线性时间,如果给定的程序的树宽和权重是有界的。与以前的工作相比,我们的算法处理的ASP。最后,我们报告的实证评估,表现出良好的运行时行为的基准实例的低树宽,特别是计数的答案集。
2017-02-09 cs.AI cs.CC cs.LO