PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Key Laboratory of Semiconductor Neural Network Intelligent Sensing and Computing Technology(北京半导体神经网络智能感知与计算技术重点实验室)
本研究针对符号回归任务提出可微符号网络PruneSymNet及结合束搜索的贪心剪枝算法,能在保证拟合精度的前提下提取符号表达式,在公开数据集上精度优于主流算法。
2024-01-25 cs.AI cs.LG
AltAltp: Online Parallelization of Plans with Heuristic State Search
Arizona State University(亚利桑那州立大学)
尽管他们的附近的统治地位,启发式状态搜索规划器仍然落后于析取规划器在经典规划的并行计划的生成。原因在于,在状态空间规划器中直接搜索并行解将要求规划器在并行动作的所有可能子集上分支,从而指数地增加分支因子。我们提出了一个变种,我们的启发式状态搜索规划AltAlt,称为AltAltp生成并行计划,通过使用贪婪的在线并行化的部分计划。贪婪的方法是显着通知使用新的距离算法,AltAltp从一个graphplan风格的规划图的问题。虽然这种方法不能保证提供最佳的并行计划,实证结果表明,AltAltp是能够产生良好的质量并行计划的一小部分所产生的成本由析取规划。
2011-06-26 cs.AI
A Heuristic Based on Randomized Greedy Algorithms for the Clustered Shortest-Path Tree Problem
Taybac University(西北大学);Hanoi University of Science and Technology(河内理工大学)
随机贪心算法(RGAs)是解决结构不清楚的问题以及结合了随机过程和贪心算法的组合优化问题的有趣方法。本文提出了一种新的算法,结合RGA的主要特点和最短路径树算法(SPTA)来处理的最短路径树问题(CluSPT)。该算法利用SPTA算法确定簇内最短路径树,结合RGA的特点和SPTA的搜索策略构造连接簇的边。为了评估所提出的算法的性能,欧几里德基准选择。实验研究表明,该算法的优势,与现有的一些算法相比。我们还分析了参数对算法性能的影响。
2020-05-05 cs.AI cs.DC
COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in Language Models
Jinan University(暨南大学);Guangzhou Xuanyuan Research Institute Co., Ltd.(广州轩辕研究院有限公司)
本文提出COVER启发式贪婪对抗攻击方法,通过字符级和词级启发式破坏手动模板,在黑盒场景下针对PLMs进行攻击,实验验证了其高攻击成功率和速度。
2023-09-14 cs.AI cs.CL
Active Exploration for Learning Symbolic Representations
Brown University(布朗大学)
我们介绍了一个在线的主动探索算法,数据有效地学习一个抽象的符号模型的环境。我们的算法分为两个部分:第一部分快速生成一个中间贝叶斯符号模型的数据,该代理已经收集到目前为止,该代理可以使用与第二部分,以指导其未来的探索对区域的状态空间,该模型是不确定的。我们表明,我们的算法优于随机和贪婪的探索政策在两个不同的计算机游戏域。第一个领域是一个小行星启发的游戏,具有复杂的动态但基本的逻辑结构。第二个是宝藏游戏,动力学更简单,但逻辑结构更复杂。
2017-11-01 cs.AI
Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems like Max-Cut
Emory University(埃默里大学)
在Nature Machine Intelligence 4,367(2022)中,Schuetz等人提供了一种采用图神经网络(GNN)作为启发式算法来解决各种经典的NP难组合优化问题的方案。它描述了如何在样本实例上训练网络,并使用广泛使用的技术评估生成的GNN启发式算法,以确定其成功的能力。显然,利用这种网络的强大能力,以这种不干涉的方式“学习”复杂的多模式能源景观的错综复杂,这一想法似乎很诱人。并且基于观察到的性能,该启发式算法有望具有高度可扩展性,其计算成本与输入大小$n$成线性关系,尽管由于GNN本身的原因,前因子中可能存在显著的开销。然而,更仔细的检查表明,该GNN的报告结果仅比梯度下降的结果好一点点,并且被贪婪算法(例如Max-Cut)超越。讨论还强调了我认为是一些常见的误解,在评估的竞争力。
2022-10-02 cond-mat.dis-nn cs.AI cs.LG
Symbolic Search for Optimal Planning with Expressive Extensions
Albert-Ludwigs-Universität Freiburg im Breisgau(弗莱堡阿尔伯特-路德维希大学);University of Freiburg(弗莱堡大学);Aalborg University(奥尔堡大学)
在经典规划中,目标是导出一个行动过程,允许智能代理从它发现自己处于的任何情况移动到满足其目标的情况。经典规划被认为是独立于域的,即,它不限于特定的应用,并且可以用于解决不同类型的推理问题。然而,在实践中,手头的规划问题的一些属性需要标准的经典规划形式主义的表达扩展来捕获和建模它们。虽然许多这些扩展的重要性是众所周知的,大多数规划,特别是最优规划,不支持这些扩展的规划形式主义。缺乏支持不仅限制了这些规划器对某些问题的使用,而且即使可以在没有这些扩展的情况下对问题进行建模,也常常导致建模工作量增加,或者由于所需的问题编码大小呈指数级增加而使建模几乎不可能。在这篇论文中,我们提出使用符号搜索成本最优规划的经典规划的不同表达扩展,所有捕获问题的不同方面。特别是,我们研究规划与公理,规划与状态相关的行动成本,超额认购规划,和top-k规划。对于所有的形式主义,我们提出的复杂性和可编译性的结果,强调它是可取的,甚至有必要原生支持相应的功能。我们分析了符号启发式搜索,并表明搜索性能并不总是受益于使用的启发式和搜索性能可以指数恶化,即使在最好的情况下,即完美的启发式。这加强了符号盲搜索是当今占主导地位的符号搜索策略,与其他国家的最先进的成本最优规划策略。
2022-04-01 cs.AI
Reply to: Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems
Amazon Quantum Solutions Lab(亚马逊量子解决方案实验室);AWS Center for Quantum Computing(AWS量子计算中心)
我们对Stefan Boettcher [arXiv:2210.00623]撰写的评论提供了全面的回复,并认为该评论挑出了一个特定的非代表性示例问题,完全集中在稀疏图上的最大割问题(MaxCut)上,预计贪心算法将表现良好。相反,我们强调了我们原始工作背后更广泛的算法开发,并(在我们原始的框架内)提供了额外的数值结果,显示了我们原始数据的显著改进,从而反驳了评论的原始性能陈述。此外,已经证明物理启发的图神经网络(PI-GNN)可以胜过贪心算法,特别是在硬的、密集的实例上。我们还认为,图神经网络的内部(并行)解剖是非常不同的贪心算法的(顺序)性质,并(基于他们的使用在现实世界的社交网络的规模)指出,图神经网络已经证明了他们的潜力,优越的可扩展性相比,现有的算法,如极值优化。最后,我们得出结论,强调我们的工作的概念新颖性,并概述了一些潜在的扩展。
2023-02-03 cond-mat.dis-nn cs.AI cs.LG
Learning to Rank for Synthesizing Planning Heuristics
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们研究学习领域特定的规划。以前的工作框架学习启发式作为一个普通的回归问题。然而,在一个贪婪的最好的第一次搜索,诱导启发式的状态的顺序是更能说明所得到的规划的性能比均方误差。因此,我们将启发式学习框架为学习排序问题,我们使用RankSVM公式来解决该问题。此外,我们引入了新的方法来计算功能,捕捉时间的相互作用,在一个近似的计划。我们最近的国际规划竞赛问题的实验表明,RankSVM学习算法优于原始算法和通过普通回归学习的算法。
2016-08-03 cs.AI
Breadth-First Search vs. Restarting Random Walks for Escaping Uninformed Heuristic Regions
Toronto Metropolitan University(多伦多 Metropolitan 大学)
本文对比了广度优先搜索(BrFS)与重启随机游走(RRWs)在逃离无信息启发式区域(UHRs)的表现,推导其期望运行时间并确定RRWs更优的场景,实验验证EHC-RRW变体在相关基准上的有效性。
2025-11-12 cs.AI
Heuristic with elements of tabu search for Truck and Trailer Routing Problem
National Research University Higher School of Economics(国立研究型大学高等经济学院)
车辆路径问题是物流和运输领域中的一个著名问题,它在现实生活中的许多情况下都会发生,这就解释了这类问题的多样性。这是一个NP难的组合优化问题,几乎不可能找到精确的最优解。在这项工作中,站点相关的卡车和拖车路径问题的硬,软时间窗和分裂的库存被认为是(SDTTRPTWSD)。在这篇文章中,我们开发了一个启发式的禁忌搜索解决SDTTRPTWSD的元素。启发式算法使用邻域的概念,并在搜索过程中访问不可行的解决方案。一个贪婪的启发式构造一个初始解。
2016-09-29 cs.AI
mGPT: A Probabilistic Planner Based on Heuristic Search
ICREA(加泰罗尼亚研究与高级研究所);Universitat Pompeu Fabra(庞培法布拉大学)
我们描述的版本的GPT规划器中使用的概率轨道的第四届国际规划竞赛(IPC-4)。这个版本称为mGPT,通过提取和使用不同类别的下界以及各种搜索算法来解决PPDDL语言中指定的马尔可夫决策过程。从确定性松弛提取的下限,其中的替代概率的影响,一个动作被映射到不同的,独立的,确定性的行动。贪婪搜索算法使用这些下限来集中更新,并在从初始状态和贪婪策略可到达的所有状态上提供一致的价值函数。
2011-09-09 cs.AI
SibylSat: Using SAT as an Oracle to Perform a Greedy Search on TOHTN Planning
University Grenoble Alpes(格勒诺布尔大学)
本文提出SibylSat,一种基于SAT的贪心搜索方法,用于高效求解全序HTN规划问题,在IPC基准上优于现有方法,提升运行时间和计划质量。
2024-11-04 cs.AI
Re-evaluating LLM-based Heuristic Search: A Case Study on the 3D Packing Problem
The University of Manchester(曼彻斯特大学);University of Manchester(曼彻斯特大学);Department of Computer Science(计算机科学系);Alliance Manchester Business School(曼彻斯特商业联盟学院)
本研究针对LLM在启发式设计中创新能力有限的问题,以三维装箱问题为案例,引入约束脚手架和迭代自校正支撑LLM构建完整求解器,发现LLM天然局限于优化评分函数,明确了当前LLM实现自动化启发式设计的两大障碍。
2025-09-02 cs.AI
Combining Monte Carlo Tree Search and Heuristic Search for Weighted Vertex Coloring
LERIA(LERIA实验室)
本研究将蒙特卡洛树搜索(MCTS)与贪心、局部搜索等启发式策略相结合,替代传统随机模拟以求解加权顶点着色问题,并通过基准实验验证了各变体策略的优势与局限。
2025-03-03 cs.AI
Learning Symbolic Persistent Macro-Actions for POMDP Solving Over Time
University of Verona(威尼斯大学)
本文提出用基于事件演算的 LTL 片段生成持续宏动作,并通过 ILP 从少量轨迹中学习,以引导 MCTS 求解 POMDP,在 Pocman 和 Rocksample 上实现了更强表达能力和计算效率提升。
2025-05-06 cs.AI
Learning Generalized Relational Heuristic Networks for Model-Agnostic Planning
Arizona State University(亚利桑那州立大学)
计算目标导向行为对于设计高效的AI系统至关重要。由于规划的计算复杂性,目前的方法主要依赖于手工编码的符号动作模型和手工编码的数学函数生成器的效率。对于这样的问题,学习的数学方法已经具有有限的实用性,因为它们难以应用于具有与训练数据中的那些显著不同的对象和对象量的问题。本文开发了一种新的方法,在没有符号动作模型的情况下,使用深度神经网络学习广义语义,该深度神经网络利用输入谓词词汇,但对对象名称和数量不可知。它使用抽象的状态表示来促进数据高效,可推广的学习。一系列基准领域的实证评估表明,与以前的方法相比,用这种方法计算的广义动力学可以很容易地转移到不同的对象和对象的数量远远大于那些在训练数据的问题。
2020-10-20 cs.AI cs.LG
Scale-Adaptive Balancing of Exploration and Exploitation in Classical Planning
University of New Hampshire(新罕布什尔大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出GreedyUCT-Normal算法,通过UCB1-Normal带宽解决经典规划中奖励尺度差异问题,提升规划效率。
2026-03-26 cs.AI
Symbolic Regression is NP-hard
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
符号回归(SR)是学习数学表达式形式的数据模型的任务。就其本质而言,SR模型具有同时准确和人类可解释的潜力。不幸的是,找到这样的模型,即,执行SR似乎是计算密集型任务。从历史上看,SR已经解决了贪婪或遗传算法,虽然一些作品暗示了可能的硬度SR,还没有证据表明,SR是,事实上,NP-难。这就引出了一个问题:是否有一个精确的多项式时间算法来计算SR模型?我们提供的证据表明,答案可能是否定的,表明SR是NP难的。
2022-07-11 cs.AI cs.NE
Multidimensional Assignment Problem for multipartite entity resolution
University of Florida Research and Engineering Educational Facility (REEF)(佛罗里达大学研究与工程教育设施);Herbert Wertheim College of Engineering, University of Florida(佛罗里达大学赫伯特·韦特海姆工程学院);Munitions Directorate, Eglin Air Force Base(埃格林空军基地弹药局)
多部分实体解析的目的是将多个数据集的记录集成到一个实体中。我们推导出一个数学公式的一般类的记录链接问题的多部实体决议在许多数据集作为一个组合优化问题称为多维分配问题。作为我们的方法的动机,我们说明了顺序二分匹配的多部实体分辨率的优势。由于优化问题是NP难的,我们采用两个启发式程序,一个贪心算法和非常大规模的邻域搜索,解决分配问题,并找到最可能匹配的记录从多个数据集到一个单一的实体。我们评估和比较这些算法的性能和它们的修改合成生成的数据。我们进行计算实验比较性能最近的启发式,非常大规模的邻域搜索,与贪心算法,另一种启发式的MAP,以及与两个版本的遗传算法,一般的元启发式。重要的是,我们进行实验,以比较两种替代方法重新开始搜索前启发式,特别是随机抽样多启动和确定性设计为基础的多启动。我们发现的证据表明,基于设计的多启动可以更有效的数据库的规模越来越大。此外,我们表明,非常大规模的搜索,特别是它的多开始版本,优于简单的贪婪启发式。贪婪搜索与超大规模邻域搜索的混合提高了性能。使用多开始与少至三个额外的运行非常大规模的搜索提供了一些改进的性能非常大规模的搜索过程。最后,我们提出了一种方法来评估的非常大规模的邻域搜索的复杂性。
2021-12-06 cs.AI cs.DM
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida(中佛罗里达大学);Microsoft(微软);Intel Labs(英特尔实验室)
为稀疏目标学习有效策略是深度强化学习(RL)的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释,但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性,但是是高维的黑箱解决方案,几乎没有可解释性。在本文中,我们提出了一种以低维符号树的形式发现密集奖励的方法,从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励,然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现,密集奖励是RL策略解决基准任务的有效信号。值得注意的是,我们显着优于广泛使用的,当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
Optimized Symbolic Interval Propagation for Neural Network Verification
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经网络越来越多地应用于安全关键领域,因此其验证变得越来越重要。目前证明前馈神经网络输入输出关系的算法中有一大类是基于线性松弛和符号区间传播的。然而,由于变量的依赖性,近似随着网络深度的增加而恶化。在本文中,我们提出了DPNeurifyFV,这是一种用于低维输入空间的ReLU网络的新型分支定界求解器,它基于具有新鲜变量和输入分裂的符号区间传播。一个新的启发式选择新鲜的变量可以改善依赖性问题,而我们的新的分裂启发式,结合其他几个改进,加快了分支定界过程。我们评估我们的方法在空中防撞网络ACAS徐和演示运行时的改进相比,国家的最先进的工具。
2022-12-15 cs.AI cs.CR cs.LG
Learning Neural-Symbolic Descriptive Planning Models via Cube-Space Priors: The Voyage Home (to STRIPS)
MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院)
我们在使智能体能够自主学习其环境的艰巨任务中取得了新的里程碑。我们的神经符号架构经过端到端的训练,仅从图像中生成简洁有效的离散状态转换模型。我们的目标表示(规划域定义语言)已经是一种现成的求解器可以使用的形式,并为现代启发式搜索功能的丰富阵列打开了大门。我们展示了如何复杂的先天先验,我们放置在学习过程中显着降低了复杂性的学习表示,并揭示了连接到图论的概念“立方体图”,从而打开了大门,更深入地了解学习符号表示的理想属性。我们表明,强大的领域独立的算法允许我们的系统解决视觉15-Puzzle的情况下,这是超出了盲目搜索的范围,而不诉诸强化学习的方法,需要大量的训练领域相关的奖励信息。
2020-08-11 cs.AI cs.LG
A Fast Greedy Algorithm for Outlier Mining
离群点检测的任务是发现与其余大量数据相比异常的小数据对象组。在文献[38]中,分类数据中的离群点检测问题被定义为一个优化问题,并提出了一种基于局部搜索的启发式算法(LSA)。然而,与大多数迭代型算法一样,LSA算法在非常大的数据集上仍然非常耗时。在本文中,我们提出了一个非常快速的贪心算法挖掘离群值下相同的优化模型。在真实数据集和大型合成数据集上的实验结果表明:(1)该算法在识别真实离群点方面具有与现有离群点检测算法相当的性能;(2)该算法比LSA算法快一个数量级。
2005-07-27 cs.AI cs.DB
Learning How to Cube
Yale University(耶鲁大学);AWS Agentic AI(AWS智能体AI)
本文提出一种神经符号后训练框架,通过MCTS数据整理管道和符号启发式方法,使4B参数模型在SAT竞赛基准上取得53的pass@5分数,超越了Claude-Sonnet-4等前沿LLM。
2026-11-10 cs.AI cs.LG cs.LO
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles(加州大学洛杉矶分校)
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构,文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时,启发式搜索算法适合搜索贝叶斯网络的等价类,而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间,可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
Abstract Interpretation for Generalized Heuristic Search in Model-Based Planning
Massachussetts Institute of Technology(麻省理工学院)
基于模型的领域通用规划者通常通过放松或抽象符号世界模型来构建搜索策略,从而获得其通用性。我们说明了如何抽象的解释可以作为一个统一的框架,这些抽象为基础的启发式搜索,扩展范围的启发式搜索更丰富的世界模型,利用更复杂的数据和功能(如集,几何),甚至模型的不确定性和概率的影响。这些理论也可以与学习相结合,允许代理通过抽象派生的信息在新的世界模型中快速启动规划,这些信息后来通过经验进行了改进。这表明抽象解释在构建通用推理系统中可以发挥关键作用。
2022-08-05 cs.AI cs.PL
Optimize Planning Heuristics to Rank, not to Estimate Cost-to-Goal
Czech Technical University in Prague(布拉格捷克理工大学);Gen Digital, Inc.(Gen Digital 公司)
本文重新审视前向搜索算法中最优高效启发式的条件,提出基于排序的损失函数以替代估计到达目标代价,并通过实验验证了该理论的有效性。
2023-10-30 cs.AI cs.LG
Beyond Accuracy: Introducing a Symbolic-Mechanistic Approach to Interpretable Evaluation
本文提出符号-机械方法,通过结合任务相关符号规则与机械可解释性,评估模型在小数据下的泛化能力,揭示传统准确度指标无法检测的缺陷。
2026-03-06 cs.AI cs.CL cs.LG
Chronosymbolic Learning: Efficient CHC Solving with Symbolic Reasoning and Inductive Learning
Mila(米拉研究所);McGill University(麦吉尔大学);University of Toronto(多伦多大学)
本文提出Chronosymbolic Learning框架,统一符号信息与数值数据点,结合数据驱动学习器和BMC风格推理器高效求解CHC,在288个基准上超越现有最优求解器。
2024-06-04 cs.AI cs.LG cs.LO