Learning to Schedule DAG Tasks
Ant Group(蚂蚁集团)
调度由有向无环图(DAG)表示的计算任务是具有挑战性的,因为它的复杂性。传统的调度算法严重依赖于最短作业优先(SJF)和关键路线(CP)等简单的调度策略,调度质量往往不高。在本文中,我们提出了一种新的基于学习的方法来调度DAG任务。该算法采用强化学习代理来迭代地向DAG添加有向边,一次一个,以强制排序(即,执行的优先级和资源分配)。通过这样做,原来的DAG调度问题大大减少到一个更简单的代理问题,启发式调度算法,如SJF和CP可以有效地改善。我们的方法可以很容易地应用到任何现有的启发式调度算法。在TPC-H的基准数据集上,我们证明了我们基于学习的方法可以显着改善流行的启发式算法,并在各种设置下始终达到几种方法中的最佳性能。
2021-03-05 cs.AI cs.LG
Analysis of function approximation and stability of general DNNs in directed acyclic graphs using un-rectifying analysis
对深度前馈神经网络(DNN)的普遍缺乏理解,部分原因是缺乏分析非线性函数组成的工具,部分原因是缺乏适用于DNN架构多样性的数学模型。在本文中,我们提出了一些基本假设,涉及到激活函数,非线性变换,和DNN架构,以便使用非纠正方法来分析DNN通过有向无环图(DAG)。满足这些假设的DNN被称为通用DNN。我们的分析图的建设是基于一个公理化的方法,其中DAG是建立从下至上,通过原子操作的应用程序的基本元素,根据监管规则。这种方法允许我们通过数学归纳法推导出一般DNN的属性。我们表明,使用所提出的方法,可以推导出适用于一般DNN的一些属性。这种分析推进了我们对网络功能的理解,如果可以利用大量的图形分析工具,则可以促进进一步的理论见解。
2022-06-13 cs.LG
Transformers over Directed Acyclic Graphs
Beihang University(北京航空航天大学);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究院)
本文针对有向无环图提出高效注意力机制和偏序位置编码,使图Transformer在源代码图分类和引文网络节点分类等任务上超越定制图神经网络并提升SOTA性能。
2023-10-30 cs.AI cs.LG
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);State University of New York at Buffalo(纽约州立大学布法罗分校);Lancaster University(兰卡斯特大学)
本文针对分层有向容量约束弧路由问题(HDCARP)提出混合强化学习与启发式算法HRDA,利用强化学习动态引导局部搜索算子选择,在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Optimizing regularized Cholesky score for order-based learning of Bayesian networks
University of California, Los Angeles(加州大学洛杉矶分校)
贝叶斯网络是一类流行的图形模型,它通过有向无环图(DAG)编码变量之间的因果和条件独立关系。我们提出了一种新的结构学习方法,退火正则化Cholesky分数(ARCS),搜索拓扑排序,或置换的节点,一个高得分贝叶斯网络。我们的评分函数来自正则化高斯DAG似然,其优化从统计角度给出了稀疏Cholesky因子分解问题的另一种形式,这是独立的兴趣。我们结合全局模拟退火置换与快速邻近梯度算法,操作三角形矩阵的边缘系数,计算得分的任何置换。结合起来,这两种方法使我们能够快速有效地搜索的DAG空间,而不需要验证的非循环约束或枚举可能的父集给定的候选拓扑排序。优化的退火方面能够一致地提高通过局部搜索算法学习的DAG的准确性。此外,我们开发了几种技术来促进结构学习,包括预退火数据驱动的调整参数选择和退火后基于约束的结构细化。通过广泛的数值比较,我们表明,ARCS实现了现有方法的实质性改进,展示了其巨大的潜力,从观测和实验数据学习贝叶斯网络。
2019-04-28 cs.LG stat.ML
PACE: A Parallelizable Computation Encoder for Directed Acyclic Graphs
Washington University in St. Louis(圣路易斯华盛顿大学);Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
有向无环图(DAG)结构优化有许多应用,如神经结构搜索(NAS)和概率图模型学习。将DAG编码为实向量是大多数基于神经网络的DAG优化框架中的主要组成部分。目前,大多数DAG编码器使用异步消息传递方案,该方案根据DAG中节点之间的依赖性顺序地处理节点。也就是说,在处理完所有的前级节点之前,不能处理该节点。因此,它们本质上是不可并行的。在这项工作中,我们提出了一个可扩展的基于注意力的计算结构编码器(PACE),同时处理节点和并行编码DAG。我们证明了PACE的优越性,通过编码器相关的优化子程序,搜索最佳的DAG结构的基础上学习的DAG嵌入。实验表明,PACE不仅提高了以前的顺序DAG编码器的有效性,显著提高了训练和推理速度,而且还生成了平滑的潜在(DAG编码)空间,有利于下游优化子程序。我们的源代码可在\url{https://github.com/zehao-dong/PACE}上获得
2022-12-13 cs.LG
Directed Graph Grammars for Sequence-based Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院);University of Notre Dame(圣母大学)
针对有向无环图因拓扑顺序多样而难以有原则解码的挑战,提出一种基于无歧义语法的无损序列表示方法,将其等价压缩为唯一生产规则序列,以支持图生成、属性预测与结构化数据上的贝叶斯优化。
2025-05-29 cs.LG
PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning
Stanford University(斯坦福大学);Tsinghua University(清华大学);University of California Los Angeles(加州大学洛杉矶分校);Harvard University(哈佛大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出PRISM-Physics评估框架,将物理推理解答表示为公式DAG以编码因果依赖,结合基于规则的符号等价匹配方法,实现了更符合人类专家评分的细粒度过程级评估,并揭示了LLM的物理推理缺陷。
2025-10-30 cs.LG
NOTMAD: Estimating Bayesian Networks with Sample-Specific Structures and Parameters
Massachusetts Institute of Technology(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所);Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
特定于上下文的贝叶斯网络(即有向非循环图,DAGs)识别变量之间的上下文相关关系,但非循环性要求引起的非凸性使得特定于上下文的估计器之间难以共享信息(例如,使用图形生成器函数)。出于这个原因,用于推断上下文特定的贝叶斯网络的现有方法倾向于将数据集分解为子样本,限制统计功效和分辨率,并防止使用多维和潜在上下文。为了克服这一挑战,我们提出了NOTEARS优化的原型DAG混合物(NOTMAD)。NOTMAD将上下文特定的贝叶斯网络建模为一个函数的输出,该函数根据样本上下文学习混合原型网络。原型网络与特定于上下文的网络联合估计,并且不需要任何先验知识。我们将非循环约束编码为平滑正则化损失,并将其反向传播到混合函数;通过这种方式,NOTMAD在特定于上下文的非循环图之间共享信息,从而能够以甚至单样本分辨率估计贝叶斯网络结构和参数。我们通过分析和实验证明了NOTMAD和样本特异性网络推理的实用性,包括与癌症形态学变化相对应的患者特异性基因表达网络。
2021-11-01 cs.AI cs.LG stat.ML
Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics
NAAMII;University College London(伦敦大学学院)
基于网络形态学的神经结构搜索(NAS)是最有效的方法之一,然而,知道在何处以及何时添加新的神经元或删除功能障碍的神经元通常留给黑盒强化学习模型。在本文中,我们提出了一个新的网络形态的NAS称为噪声启发式NAS,它使用人工开发的神经网络模型和生物神经元动力学的启发式学习。首先,我们随机添加新的神经元,并修剪掉一些,只选择最适合的神经元。其次,我们使用隐单元与输入输出连接数的关系来控制网络的层数。我们的方法可以在线增加或减少模型的容量或非线性,这是由用户指定的几个元参数。我们的方法既适用于玩具数据集,也适用于真实世界的数据集,如MNIST,CIFAR-10和CIFAR-100。性能与具有类似参数的手工设计架构ResNet-18相当。
2022-07-10 cs.AI cs.LG cs.NE
Learning Discrete Directed Acyclic Graphs via Backpropagation
University College London(伦敦大学学院);Amazon Web Services(亚马逊云科技);University of Edinburgh(爱丁堡大学);Inria(法国国家信息与自动化研究所);ServiceNow
最近连续松弛已经被提出,以便通过反向传播从数据中学习有向无环图(DAG),而不是使用组合优化。然而,可以替代地应用用于完全离散反向传播的许多技术。在本文中,我们将探索这个方向,并提出DAG-DB,一个通过离散反向传播学习DAG的框架。基于隐式最大似然估计[I-MLE,arXiv:2106.01798]的架构,DAG-DB采用概率方法解决问题,从隐式概率分布中采样二进制邻接矩阵。DAG-DB从每个样本产生的损失中学习分布的参数,使用两种完全离散的反向传播技术(即I-MLE和直通估计)中的任何一种进行竞争。
2022-10-27 cs.AI cs.LG stat.ML
Causality Learning With Wasserstein Generative Adversarial Networks
University of Strathclyde(思克莱德大学)
由于组合搜索空间,从数据中学习因果结构的传统方法面临重大挑战。最近,这个问题已经被制定成一个连续的优化框架与无环约束学习有向无环图(DAG)。这样的框架允许利用深度生成模型进行因果结构学习,以更好地捕捉数据样本分布和DAG之间的关系。然而,到目前为止,还没有研究在因果结构学习的背景下使用Wasserstein距离进行实验。我们的模型名为DAG-WGAN结合了Wasserstein的对抗损失与自动编码器架构中的非循环约束。它同时学习因果结构,同时提高其数据生成能力。我们比较了DAG-WGAN与其他不涉及Wasserstein度量的模型的性能,以确定其对因果结构学习的贡献。根据我们的实验,我们的模型在高基数数据下表现得更好。
2022-06-03 cs.AI cs.LG stat.ME
Learning Combinatorial Node Labeling Algorithms
ETH Zurich(苏黎世联邦理工学院)
我们提出了一种新的神经架构来解决图优化问题,其中解决方案由任意节点标签组成,使我们能够解决像图着色这样的难题。我们使用强化学习来训练我们的模型,特别是策略梯度,它为我们提供了一个贪婪和概率策略。我们的架构建立在一个图形注意力网络,并使用几个归纳偏见,以提高解决方案的质量。我们学习的图着色的确定性算法比经典的基于度的贪婪算法给出了更好的解决方案,并且只需要几秒钟就可以应用于具有数万个顶点的图。此外,我们的概率策略优于所有贪婪的最先进的着色基线和机器学习基线。最后,我们表明,我们的方法也推广到其他问题,通过评估它的最小顶点覆盖和优于两个贪婪算法。
2022-05-10 cs.LG
Reinforcement Learning as an Improvement Heuristic for Real-World Production Scheduling
Fraunhofer IOSB-INA(弗劳恩霍夫IOSB-INA研究所);Bielefeld University of Applied Sciences and Arts(比勒费尔德应用科学与艺术大学)
本研究针对现实世界多目标生产调度问题,提出将带Transformer编码的强化学习作为改进启发式,通过采样交换作业对迭代优化次优解,经真实工业数据测试性能优于其他启发式方法。
2024-09-18 cs.LG
Genetic Programming Hyper-Heuristics with Vehicle Collaboration for Uncertain Capacitated Arc Routing Problems
Victoria University of Wellington(惠灵顿维多利亚大学);Warwick Business School(华威商学院)
由于其直接关系到灾后运营,抄表和城市垃圾收集,不确定的容量限制弧路由问题(UCARP)是一个重要的优化问题。随机模型是研究的关键,因为它们比确定性模型更准确地代表现实世界。虽然已经有大量的研究在解决路径问题的不确定性,很少有人考虑UCARP,没有考虑车辆之间的合作,以处理不确定性的负面影响。本文提出了一种新的解决方案的建设过程(SCP),产生解决方案UCARP在一个协作,多车辆的框架。它包括两种类型的协作活动:一种是在车辆意外消耗容量时(\emph{route failure}),另一种是在重新加注过程中。然后,我们提出了一个遗传编程超启发式(GPHH)算法来进化的路由策略内使用的协作框架。实验研究表明,新的启发式与车辆协作和GP进化的路由策略显着优于比较国家的最先进的算法在通常研究的测试问题。这在具有大量任务和车辆的情况下尤其如此。这清楚地表明了车辆协作在处理不确定环境中的优势,以及新提出的算法的有效性。
2019-11-20 cs.LG cs.NE
Directed Acyclic Graph Neural Networks
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
图结构数据在科学和工程中无处不在。图神经网络(GNN)旨在利用图中表现出的关系归纳偏差;在结构信息补充节点特征的情况下,它们已被证明优于其他形式的神经网络。最常见的GNN架构基于消息传递聚合来自邻域的信息。它的普遍性使它具有广泛的适用性。在本文中,我们专注于一个特殊的,但广泛使用的,类型的图-DAG-和注入一个更强的归纳偏见-偏序-到神经网络的设计。我们提出了\emph{directed acyclic graph neural network},DAGNN,一个架构,处理信息的流程定义的偏序。DAGNN可以被认为是一个框架,它需要早期的工作作为特殊情况(例如,树的模型和模型更新节点表示循环),但我们确定了几个关键组件,以前的架构缺乏。我们在代表性的DAG数据集上进行了全面的实验,包括消融研究(即,源代码,神经架构和概率图形模型),并证明DAGNN优于简单的DAG架构以及一般的图形架构。
2021-02-02 cs.AI cs.LG
pLSTM: parallelizable Linear Source Transition Mark networks
ELLIS Unit Linz(林茨ELLIS单位);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);Johannes Kepler University Linz(约翰·凯撒大学林茨分校);NXAI GmbH(NXAI公司)
针对现有循环架构难以灵活处理多维结构数据的问题,提出可并行的pLSTM网络,通过作用于DAG线图的门控实现并行化,解决长距离梯度问题,在图像外推、分子图等基准上表现优于Transformer。
2025-06-13 cs.LG stat.ML
DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms
Zhejiang University(浙江大学);Tsinghua University(清华大学)
针对观测表格数据因果发现难题,提出DAG-FM基础模型,通过自回归阶段、表格交互块及叶专家混合处理复杂情况,经迭代推理构建DAG,在合成及真实数据集上性能优于传统算法和其他模型。
2026-08-04 cs.LG stat.ML
An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters
EDF Lab Paris-Saclay(EDF实验室巴黎-萨克雷);University of Lille(里尔大学);INRIA(法国国家信息与自动化研究所)
针对深度神经网络架构与超参数自动优化问题,提出基于演化DAG的灵活搜索空间及对应搜索算子框架,经时间序列预测基准测试,可在多数据集上找到优于基线的模型。
2024-05-14 cs.AI cs.LG cs.NE
How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS
EPFL(洛桑联邦理工学院)
权重共享有望使神经架构搜索(NAS)即使在商品硬件上也易于处理。现有的方法在这个空间依赖于一个不同的集合的设计和训练的共享权重骨干网络,也称为。超级网。由于不同的方法之间的几何学和超参数有很大的差异,因此只有通过系统地分析这些因素的影响才能实现它们之间的公平比较。因此,在本文中,我们提供了一个系统的评估的权重共享NAS算法经常采用的算法和超参数。我们的分析揭示了一些常用的超网训练算法对超网和单机性能之间的相关性产生了负面影响,并证明了某些超参数和架构选择的强烈影响。我们的代码和实验设定了一个强大的和可重复的基线,未来的工作可以建立在此基础上。
2020-06-17 cs.CV cs.LG stat.ML
Learning Domain-Independent Planning Heuristics with Hypergraph Networks
The Australian National University(澳大利亚国立大学)
我们提出了第一种能够完全从头开始学习独立于域的规划算法的方法。我们学习的算法将手头规划问题的删除松弛的超图表示映射到成本估计,该成本估计近似于通过超图从当前状态到目标的最小成本路径的成本估计。我们概括了图网络,以获得一个新的超图学习框架,我们专门通过训练从最优成本计划中获得的状态/值对来学习规划算法。我们的实验表明,由此产生的架构,STRIPS-HGNs,是能够学习的竞争力与现有的删除松弛算法,包括LM切割算法。我们表明,我们学习的知识能够概括不同的问题和领域,包括在训练过程中没有看到的领域。
2019-11-29 cs.AI cs.LG
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Auckland University of Technology(奥克兰理工大学)
卷积神经网络(CNN),如ResNet-50,DenseNet-40和ResNeXt-56是严重过度参数化的,因此需要增加模型训练所需的计算资源,模型训练以指数方式增加模型深度。在本文中,我们提出了一个基于熵的卷积层估计(EBCLE)启发式算法,这是强大的,简单的,但有效地解决了过度参数化的问题,关于CNN模型的网络深度。EBCLE启发式算法采用输入数据集的熵数据分布的先验知识来确定卷积网络深度的上限,超过该上限,恒等变换是普遍的,为增强模型性能提供了微不足道的贡献。通过强制特征压缩和抽象来限制深度冗余,限制了过度参数化,同时减少了24.99% - 78.59%的训练时间,而不会降低模型性能。我们提出了经验证据来强调使用EBCLE启发式训练的较宽但较浅的模型的相对有效性,该模型保持或优于较窄但较深的模型的基线分类准确性。EBCLE启发式算法在架构上是不可知的,并且基于EBCLE的CNN模型限制深度冗余,从而增强了对可用计算资源的利用。提出的EBCLE启发式是一种令人信服的技术,研究人员可以分析证明他们对CNN的HyperParameter(HP)选择。EBCLE启发式训练CNN模型的经验验证是在五个基准数据集(ImageNet 32,CIFAR-10/100,STL-10,MNIST)和四个网络架构(DenseNet,ResNet,ResNeXt和EfficientNet B 0-…
2021-06-27 cs.CV cs.LG
Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning
Czech Technical University in Prague(布拉格捷克理工大学)
学习一个消息灵通的启发式函数的硬任务规划域是一个难以捉摸的问题。虽然已知有神经网络体系结构来表示这种启发式知识,但学习到什么具体信息以及旨在理解结构的技术是否有助于提高启发式知识的质量并不明显。本文提出了一种网络模型,学习启发式能够通过最优计划模仿的状态空间的遥远的部分,使用注意力机制,这大大提高了学习一个好的启发式功能。为了克服该方法在创建难度越来越大的问题时的局限性,我们演示了课程学习的使用,将新解决的问题实例添加到训练集中,这反过来有助于解决更高复杂性的问题,远远超过了所有现有基线的性能,包括经典的规划算法。我们证明了它的有效性网格型PDDL域。
2021-12-03 cs.AI cs.LG
One Model, Any CSP: Graph Neural Networks as Fast Global Search Heuristics for Constraint Satisfaction
RWTH Aachen(亚琛工业大学)
我们提出了一个通用的图神经网络架构,可以训练作为一个端2端搜索启发式的任何约束满足问题(CSP)。我们的体系结构可以通过策略梯度下降进行无监督训练,以纯粹的数据驱动方式为任何CSP生成特定于问题的算法。该方法是基于一种新的图形表示CSP,这是通用的和紧凑的,使我们能够处理每一个可能的CSP实例与一个GNN,无论约束arity,关系或域的大小。与以前的基于RL的方法不同,我们在全局搜索动作空间上操作,并允许我们的GNN在随机搜索的每一步中修改任何数量的变量。这使得我们的方法能够适当地利用GNN的固有并行性。我们进行了一个彻底的实证评估,我们从随机数据,包括图着色,MaxCut,3-SAT和MAX-k-SAT中学习著名的和重要的CSP的算法。我们的方法优于以前的神经组合优化方法的大幅利润。它可以在测试实例上与传统的搜索算法竞争,甚至改进传统的搜索算法,这些测试实例比训练过程中看到的要大几个数量级,结构上也更复杂。
2022-08-22 cs.AI cs.LG cs.NE
Learning Improvement Heuristics for Solving Routing Problems
最近使用深度学习来解决路由问题的研究集中在构造算法上,其解决方案仍然远离最优。改进算法有很大的潜力通过迭代地改进解决方案来缩小这一差距。然而,经典的改进算法都是由手工制定的规则指导的,这可能会限制它们的性能。在本文中,我们提出了一个深度强化学习框架来学习路由问题的改进算法。我们设计了一个基于自注意力的深度架构作为策略网络来指导下一个解决方案的选择。我们将我们的方法应用到两个重要的路由问题,即旅行商问题(TSP)和容量限制的车辆路由问题(CVRP)。实验表明,我们的方法优于最先进的基于深度学习的方法。学习的政策比传统的手工制作的更有效,并可以通过简单的多样化战略进一步加强。此外,这些策略可以很好地推广到不同的问题大小,初始解决方案甚至真实世界的数据集。
2020-05-10 cs.AI cs.LG
Bayesian Optimisation with Gaussian Processes for Premise Selection
University of Cambridge(剑桥大学)
定理证明器中的启发式通常是参数化的。现代的定理证明器,如Vampire,利用了大量的算法来控制搜索空间的爆炸,从而需要优化大量的参数。在这个多维参数空间中的穷举搜索在大多数情况下是棘手的,然而证明器的性能高度依赖于参数分配。在这项工作中,我们引入了一个原则性的概率框架,在定理证明优化。我们目前的结果使用启发式的前提选择和正式证明(AFP)的档案作为案例研究。
2019-09-18 cs.AI cs.LG
Unveiling the Limits of Learned Local Search Heuristics: Are You the Mightiest of the Meek?
Texas A&M University(德克萨斯A&M大学)
本文揭示学习型局部搜索启发式评估中的三大局限,并通过实验证明基于禁忌搜索的简单学习型启发式在性能和泛化性上超越现有SOTA方法,挑战了该领域的普遍假设。
2023-10-30 cs.AI cs.LG
Solving Dynamic Graph Problems with Multi-Attention Deep Reinforcement Learning
University of Melbourne(墨尔本大学)
图问题(例如旅行推销员问题或寻找最小斯坦纳树)在数据工程和计算机科学中得到了广泛的研究和应用。通常,在现实世界的应用中,图的特征往往会随着时间的推移而变化,因此,找到问题的解决方案变得具有挑战性。许多图问题的动态版本是交通、电信和社交网络中大量现实问题的关键。近年来,使用深度学习技术来寻找NP难图组合问题的启发式解决方案已经引起了人们的极大兴趣,因为这些学习的启发式可以有效地找到接近最优的解决方案。然而,大多数现有的学习算法的方法集中在静态图的问题。图的动态特性使得NP难问题的学习更具挑战性,现有的方法无法找到合理的解决方案。在本文中,我们提出了一种新的架构命名为图时间注意力与强化学习(GTA-RL)学习启发式解决方案的基于图的动态组合优化问题。GTA-RL架构由能够嵌入组合问题实例的时间特征的编码器和能够动态关注嵌入特征以找到给定组合问题实例的解决方案的解码器组成。然后,我们扩展我们的体系结构,学习算法的实时版本的组合优化问题,一个问题的所有输入功能是不知道的先验,而是学习实时。我们对几个国家的最先进的学习为基础的算法和最优解算器的实验结果表明,我们的方法优于国家的最先进的学习为基础的方法的有效性和最优解算器的效率方面的动态和实时图组合优化。
2022-01-13 cs.AI cs.LG
Learning Graph Search Heuristics
University of Cambridge(剑桥大学);Yale University(耶鲁大学);MIT(麻省理工学院);DeepMind(深度思维);Stanford University(斯坦福大学)
在图中寻找两个结点之间的路径是计算机科学中研究最多的基本问题之一。在机器人、人工智能或生物学等众多领域,从业者开发搜索引擎来加速他们的寻路算法。然而,根据给定用例的问题和结构手工设计算法是一个费力而复杂的过程。在这里,我们提出了PHIL(路径启发式与模仿学习),一种新的神经架构和训练算法,通过利用模仿学习和图表示学习的最新进展,从数据中发现图搜索和导航算法。在训练时,我们聚集搜索轨迹和地面实况最短路径距离的数据集,我们使用这些数据集通过寻路过程的步骤使用反向传播来训练一个专门的基于图神经网络的启发式函数。我们的启发式函数学习用于推断节点距离的图嵌入,在恒定的时间内运行,与图的大小无关,并且可以在测试时轻松地将其纳入A* 等算法中。实验表明,与基准数据集上的最先进方法相比,PHIL平均将探索节点的数量减少了58.5%,可以直接应用于从生物网络到道路网络的各种图形,并允许在时间关键的机器人领域进行快速规划。
2023-01-11 cs.AI cs.LG
The DeepXube Software Package for Solving Pathfinding Problems with Learned Heuristic Functions and Search
Department of Computer Science and Engineering(计算机科学与工程系)
DeepXube通过机器学习学习启发式函数,结合深度强化学习、启发式搜索和形式逻辑,高效解决路径寻找问题,支持GPU和DNN架构的并行计算。
2026-03-25 cs.AI cs.LG
Learning a Generic Value-Selection Heuristic Inside a Constraint Programming Solver
Polytechnique Montréal(蒙特利尔理工学院);Ecole Polytechnique(巴黎综合理工学院)
针对约束规划中通用值选择启发式稀缺的问题,提出结合深度 Q-learning、定制奖励与异构图神经网络的学习流程,在多类图问题上以较少回溯获得接近最优的解。
2023-10-02 cs.AI cs.LG
Deep Data Flow Analysis
Facebook AI Research(Facebook人工智能研究院);ETH Zürich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
编译器架构师在为编译器优化构建算法时越来越多地关注机器学习。自动启发式设计的承诺将编译器工程师从程序、体系结构和其他优化的复杂交互中解放出来,这是诱人的。然而,大多数机器学习方法甚至不能复制对数据流分析的最简单的抽象解释,而这些解释对于做出良好的优化决策至关重要。这种情况必须改变,机器学习才能成为编译器语言学的主导技术。为此,我们提出了ProGraML -机器学习的程序图-一种独立于语言的,可移植的深度学习整体程序语义表示。为了对当前和未来的编译器分析学习技术进行基准测试,我们引入了LLVM的461 k中间表示(IR)文件的开放数据集,涵盖了五种源程序设计语言,以及15.4M相应的数据流结果。我们制定的数据流分析作为一个MPNN,并表明,使用ProGraML,标准的分析可以学习,提高下游编译器优化任务的性能。
2020-11-21 cs.LG cs.PL
Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization
Sun Yat-sen University(中山大学);Singapore Management University(新加坡管理大学)
本文提出高效元神经启发式算法EMNH,通过架构共享多任务模型并行训练元模型并采用缩放对称采样稳定训练,再以分层方法微调求解子问题,在MOTSP、MOCVRP和MOKP上实现了优于现有神经启发式的解质量与学习效率。
2023-10-22 cs.AI cs.LG
Multistep Brent Oil Price Forecasting with a Multi-Aspect Meta-heuristic Optimization and Ensemble Deep Learning Model
University of Verona(维罗纳大学)
针对原油价格预测中超参数敏感和外部因素影响的问题,提出集成五种神经网络并利用灰狼优化在特征选择、数据准备、模型训练和预测融合四个层面优化的混合方法,在布伦特原油数据上实现MSE 0.000127。
2024-12-14 cs.AI cs.CE cs.LG
Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers
Purdue University(普渡大学);Sun Yat-Sen University(中山大学)
在本文中,我们研究了学习GNN(图神经网络)为基础的解决方案和基于GNN的算法为指定的QBF(量化布尔公式)问题的可行性。我们设计并评估了几种2 QBF公式的GNN结构,并推测GNN在学习2 QBF求解器方面存在局限性。然后,我们展示了如何学习启发式CEGAR 2 QBF求解器。我们进一步探索将基于GNN的算法推广到更大的不可见实例,并发现一些有趣的挑战。总之,本文提供了将GNN嵌入应用于指定QBF求解器的全面调查视图,旨在为将ML应用于更复杂的符号推理问题提供指导。
2019-04-27 cs.AI cs.LG cs.LO
DeepACO: Neural-enhanced Ant Systems for Combinatorial Optimization
Soochow University(苏州大学);Singapore Management University(新加坡管理大学);Tsinghua University(清华大学)
针对传统蚁群优化需人工设计问题特定启发式规则的痛点,提出通用神经增强框架DeepACO,用深度强化学习自动化启发式设计,在多类组合优化问题上取得优于或对标现有方法的表现。
2023-11-04 cs.AI cs.LG cs.NE