Learning Branching Heuristics for Propositional Model Counting
University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校);Vector Institute(向量研究所)
命题模型计数(Propositional Model Counting),或#SAT,是计算布尔公式的满意赋值的数量的问题。来自不同应用领域的许多问题,包括许多离散概率推理问题,可以转化为模型计数问题,由#SAT求解器来解决。然而,精确的#SAT求解器通常不能扩展到工业规模的实例。在本文中,我们提出了Neuro#,一种用于学习分支算法的方法,以提高给定问题族实例上的精确SAT求解器的性能。我们的实验表明,我们的方法减少了类似的分布式举行了实例的步骤数,并推广到更大的实例,从同一个问题的家庭。它是能够实现这些结果对一些不同的问题家庭具有非常不同的结构。除了步数改进之外,Neuro#还可以在某些问题族中的较大实例上实现比vanilla求解器高出几个数量级的挂钟加速,尽管查询模型的运行时开销很大。
2022-09-08 cs.AI cs.LG cs.LO
Activity-Based Search for Black-Box Contraint-Programming Solvers
University of Connecticut(康涅狄格大学);Brown University(布朗大学)
鲁棒搜索过程是黑盒约束规划求解器设计的核心组成部分。本文提出了基于活动的搜索,利用变量在传播过程中的活动来指导搜索的思想。基于活动的搜索进行了比较实验的影响为基础的搜索和WDEG的算法。在各种基准测试上的实验结果表明,基于活动的搜索比其他算法更健壮,并且可能会产生显着的性能改善。
2011-05-31 cs.AI cs.MS
Machine Learning for SAT: Restricted Heuristics and New Graph Representations
St. Petersburg State University(圣彼得堡国立大学);Steklov Institute of Mathematics at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所)
针对机器学习改进SAT求解启发式时存在的运行慢问题,提出先用ML模型执行初始步再交回控制权的策略,还改进了适配跨领域SAT的Graph-Q-SAT,经随机和工业算例验证可行。
2023-07-18 cs.AI
Improving SAT Solvers via Blocked Clause Decomposition
Donghua University(东华大学)
最具竞争力的CDCL(基于条件驱动的子句学习)SAT求解器使用的决策变量选择策略是VSIDS(可变状态独立衰减和)或其变体,如指数版本EVSIDS。VSIDS及其变体的共同特点是在求解过程中利用了统计信息,而忽略了问题的结构信息。为此,本文对决策变量选择策略进行了改进,提出了一种基于BCD(Blocked Clause Decomposition)的SAT求解技术。其基本思想是一部分决策变量由VSIDS启发式算法选择,另一部分决策变量由BCD算法得到的分块集选择。与现有的基于BCD码的方法相比,该方法简单,不需要对CNF公式进行重新编码。经过认证的UNSAT轨道的SAT解算器也可以应用我们基于BCD的技术。我们的应用程序基准测试的实验表明,新的变量选择策略的基础上BCD可以提高SAT求解器,如abcdSAT的性能。带有BCD的求解器解决了SAT Race 2015中的一个实例,该实例迄今为止尚未被任何求解器解决。这表明在某些情况下,基于结构信息的启发式算法比基于统计信息的启发式算法更有效。
2016-04-02 cs.AI cs.LO
DiBS: Diffusion-Informed Branch Selection
Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
针对数独求解中学习型求解器缺乏正确性保证而符号求解器存在长尾搜索的问题,提出扩散模型引导的分支选择方法DiBS,在保持符号求解器完备性的同时,利用扩散模型排序候选值,显著降低搜索成本。
2026-06-02 cs.AI cs.LG
Heuristic Search as Evidential Reasoning
University of California(加利福尼亚大学)
BPS,贝叶斯问题求解器,应用概率推理和决策理论控制灵活,资源受限的问题解决。本文重点讨论了BPS中的贝叶斯推理机制,并将其与传统的启发式搜索技术进行了对比。通过执行声音推断,BPS可以以显著更少的计算工作量胜过传统技术。对八个问题的实证测试表明,BPS算法在几百个节点扩展后,比现有最好的算法在几百万个节点扩展后做出更好的决策
2013-03-27 cs.AI
Decomposition During Search for Propagation-Based Constraint Solvers
Albert-Ludwigs-University Freiburg(弗莱堡阿尔伯特-路德维希大学);Saarland University(萨尔大学)
我们描述了分解过程中的搜索(DDS),与/或树搜索到基于传播的约束求解器的集成。该搜索算法将约束满足问题的子问题动态分解为独立的部分问题,避免了冗余工作。本文讨论了DDS如何与使基于传播的求解器成功的关键功能相互作用:约束传播,特别是对于全局约束,以及动态搜索算法。我们已经实现了DDS的Gecode约束编程库。两个应用,解决方案计数在图着色和蛋白质结构预测,体现了DDS在实践中的好处。
2008-06-11 cs.AI
Learning to Delegate for Large-scale Vehicle Routing
MIT(麻省理工学院)
车辆路径问题是一类具有广泛实际应用的组合问题。虽然以前的启发式或基于学习的作品在多达100个城市的小问题实例上取得了不错的解决方案,但它们的性能在大问题上会恶化。本文提出了一种新的学习增强的局部搜索框架来解决大规模车辆路径问题。该方法通过识别适当的子问题和$\textit{delegating}$来迭代地改进解,从而得到黑箱子求解器。在每一步,我们利用空间局部性只考虑线性数量的子问题,而不是指数。我们将子问题选择框架为回归,并在生成的问题实例训练集上训练一个Transformer。我们的方法将最先进的VRP求解器加速10倍到100倍,同时为大小从500到3000的VRP实现具有竞争力的解决方案质量。学习子问题选择提供了1.5倍到2倍的启发式或随机选择的加速。我们的研究结果推广到各种VRP分布,变体和求解器。
2021-10-28 cs.AI cs.LG
MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
University of Toronto(多伦多大学);Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);RWTH Aachen University(亚琛工业大学);Jacobs Technion-Cornell Institute(雅各布斯特里昂-康奈尔研究所);Cornell Tech(康奈尔理工学院);Technion – IIT(以色列理工学院)
混合整数规划(MIP)技术提供了一种通用的方式制定和解决组合优化问题。虽然通常是可靠的,但最先进的MIP求解器将许多关键决策建立在手工制作的算法上,在很大程度上忽略了感兴趣问题的给定实例分布中的常见模式。在这里,我们提出了MIP-GNN,这是一个通用框架,用于通过数据驱动的见解来增强此类求解器。通过将给定混合整数线性规划(MILP)的变量约束交互编码为二分图,我们利用最先进的图神经网络架构来预测变量偏差,即,(近)最优解的分量平均值,指示变量在二进制MILP的(近)最优解中被设置为0或1的可能性。反过来,来自单个、一次训练的模型的预测偏差用于指导求解器,取代启发式组件。我们将MIP-GNN集成到最先进的MIP求解器中,将其应用于节点选择和热启动等任务,与两类具有挑战性的二进制MILP上的求解器默认设置相比,显示出显着的改进。
2022-05-27 cs.LG cs.NE math.OC
Enhancing Selection Hyper-heuristics via Feature Transformations
School of Engineering and Sciences, Tecnologico de Monterrey(蒙特雷理工学院工程与科学学院);CINVESTAV-IPN(墨西哥国立理工学院高级研究中心)
超能力是一种新的工具。它们处理复杂的优化问题,其中独立的求解器表现出不同的性能。在这样一个工具中,存在选择超空间学。通过结合每个求解器的优势,这种超启发式提供了一个更强大的工具。然而,它们的有效性高度依赖于用于将它们与正在解决的问题联系起来的“功能”。针对增强选择超验性,本文提出了两种类型的转换:显式和隐式。第一种方法直接改变特征域内临界点的分布,同时使用欧几里德距离来测量邻近度。第二种方法通过保持临界点的分布,但通过核函数改变距离度量来间接操作。我们着重分析每一种转换的效果,以及它们的组合。我们测试我们的想法在域的约束满足问题,因为它们的流行和许多实际应用。在这项工作中,我们将我们的建议与先前公布的数据进行比较。此外,我们通过增加分析特征的数量来扩展以前的研究。我们发现,通过将转换纳入选择超进化模型,可以提高整体性能,产生更稳定的结果。然而,将隐式和显式转换结合起来并没有那么富有成效。此外,我们还对背包问题进行了一些验证性测试。再次,我们观察到稳定性的改善,导致产生利润的标准差在20%到30%之间的超自动化。
2018-12-12 cs.AI
Re-evaluating LLM-based Heuristic Search: A Case Study on the 3D Packing Problem
The University of Manchester(曼彻斯特大学);University of Manchester(曼彻斯特大学);Department of Computer Science(计算机科学系);Alliance Manchester Business School(曼彻斯特商业联盟学院)
本研究针对LLM在启发式设计中创新能力有限的问题,以三维装箱问题为案例,引入约束脚手架和迭代自校正支撑LLM构建完整求解器,发现LLM天然局限于优化评分函数,明确了当前LLM实现自动化启发式设计的两大障碍。
2025-09-02 cs.AI
Search Combinators
Monash University(莫纳什大学);Universiteit Gent(根特大学);Katholieke Universiteit Leuven(鲁汶大学);IBM Research(IBM研究院);National ICT Australia (NICTA)(澳大利亚国家信息与通信技术研究院(NICTA));University of Melbourne(墨尔本大学)
在约束求解器中进行模型搜索的能力对于解决组合问题来说是一项重要的资产。然而,现有的基础设施定义搜索引擎往往是不够的。要么建模能力极其有限,要么用户面对的是一种通用程序设计语言,其功能并不适合编写搜索引擎。因此,性能方面的重大改进可能仍未得到探索。本文介绍了搜索组合子,这是一种轻量级和独立于求解器的方法,它弥合了概念上简单的搜索建模语言(高级,功能性和自然组合)与高效实现(低级,命令式和高度非模块化)之间的差距。通过允许用户从一小组原语定义应用定制的搜索策略,搜索组合器有效地为用户提供了用于建模搜索的丰富的域特定语言(DSL)。值得注意的是,对于约束求解器的开发人员来说,这种DSL的实现成本很低。本文讨论了两个模块化的实现方法,并显示,通过实证评估,搜索组合子可以实现没有开销相比,一个本地的,直接实现约束求解器。
2012-03-06 cs.AI
Link Scheduling using Graph Neural Networks
Rice University(莱斯大学);US Army’s DEVCOM Army Research Laboratory(美国陆军DEVCOM陆军研究实验室)
针对无线网络中最优链路调度需解NP难的最大加权独立集问题,提出基于图卷积网络的集中式与分布式快速启发式调度算法,采用强化学习训练,性能优于传统贪心方法且泛化性好。
2022-11-15 cs.LG eess.SP
Learning To Dive In Branch And Bound
ETH Zurich(苏黎世联邦理工学院)
原始算法对于求解混合整数线性规划很重要,因为它们可以找到可行的解,便于分支定界搜索。一个重要的原始考古学群是潜水考古学。他们迭代地修改和解决线性规划,从搜索树中的任何节点进行深度优先搜索。现有的潜水员依赖于通用的决策规则,无法利用在实践中经常出现的类似问题实例之间的结构共性。因此,我们提出了L2 Dive来学习特定的潜水算法:我们训练生成模型来预测变量分配,并利用线性规划的对偶性来根据模型的预测做出潜水决策。L2 Dive完全集成到开源求解器SCIP中。我们发现,L2潜水优于标准潜水员找到更好的可行的解决方案,在一系列的组合优化问题。对于服务器负载均衡和神经网络验证等实际应用,L2 Dive在优化(默认)求解器基线上平均将原始-对偶积分提高了7%(35%),并将平均求解时间缩短了20%(29%)。
2023-01-24 cs.LG math.OC
The impact of Entropy and Solution Density on selected SAT heuristics
Technion(以色列理工学院)
在最近的一篇文章[Oh'15]中,Oh检查了各种关键竞争力的影响(例如,删除策略,重启策略,衰减因子,数据库缩减)。他的主要发现是,他们的预期成功取决于输入公式是否可满足。为了进一步研究这些发现,我们关注可满足公式的两个性质:公式的熵,它近似于我们在分配变量时的自由度,以及解密度,它是解的数量除以搜索空间。我们发现,这两个预测更好的效果,这些questistics,满足公式与小熵的“行为”类似于不可满足的公式。
2017-06-18 cs.AI cs.LO
On Dedicated CDCL Strategies for PB Solvers
Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心);Centre de Recherche en Informatique de Lens (CRIL)(朗斯计算机科学研究中心);LIX, Laboratoire d’Informatique de l’X, Ecole Polytechnique(巴黎综合理工学院信息科学实验室(LIX))
目前的实现工作在本地PB约束的伪布尔(PB)求解器是基于CDCL架构,赋予高效的现代SAT求解器。特别是,这样的PB求解器不仅实现了(切割平面为基础的)冲突分析程序,但也补充战略的组件,是至关重要的效率的CDCL,即分支算法,学习约束删除和重新启动。然而,这些策略大多数被PB求解器重用,而不考虑它们处理的PB约束的特定形式。在本文中,我们提出并评估了不同的方式来适应CDCL策略,以考虑到PB约束的特殊性,同时保留他们在从句设置的行为。我们在两个不同的求解器中实现了这些策略,即Sat4j(我们考虑三种配置)和RoundingSat。我们的实验表明,这些专用的策略可以提高,有时显着,这些求解器的性能,无论是决策和优化问题。
2021-09-02 cs.AI
Solving Travelling Thief Problems using Coordination Based Methods
Data61 / CSIRO(Data61 / 澳大利亚联邦科学与工业研究组织);Griffith University(格里菲斯大学);University of Newcastle(纽卡斯尔大学)
本文针对旅行窃贼问题中城市选择与物品选择协调不足的问题,提出三种协调启发式方法(两种人工设计、一种机器学习),并构建 CoCo 求解器,在基准问题上显著超越现有最先进方法。
2023-10-11 cs.AI
Enhancing SAT solvers with glue variable predictions
Amazon Web Services(亚马逊云科技);University of Pittsburgh(匹兹堡大学)
现代SAT求解器通常在一定规模下运行,这使得为每个分支决策查询神经网络变得不切实际。由Selsam和Bjorner提出的NeuroCore提供了一个概念验证,即神经网络仍然可以通过定期重新聚焦基于分数的分支启发式来加速SAT求解器。然而,这项工作受到了一些限制:他们修改后的求解器需要GPU加速,进一步的消融表明它们并不比SATCOMP 2018基准测试中的随机基线更好,并且他们的非sat核心训练目标需要昂贵的数据管道,只能标记相对容易的无法满足的问题。我们解决了所有这些限制,使用一个更简单的网络架构,允许CPU推理甚至具有数百万个子句的大型工业问题,并训练预测{ \em胶水变量}--一个更容易生成标记数据的目标,也可以制定为强化学习任务。我们通过修改最先进的SAT求解器CaDiCaL,通过监督学习提高其在SATCOMP 2018和SATRACE 2019上的性能,以及通过强化学习提高其在SHA-1原像攻击数据集上的性能,来证明我们方法的有效性。
2020-07-06 cs.AI cs.LG cs.LO
Homotopic Convex Transformation: A New Landscape Smoothing Method for the Traveling Salesman Problem
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);First Affiliated Hospital of Xi’an Jiaotong University(西安交通大学第一附属医院)
针对对称旅行商问题(TSP),提出了一种新的景观平滑算法.我们首先将TSP的同伦凸(HC)变换定义为构造良好的简单TSP和原始TSP的凸组合。简单的TSP,称为凸壳TSP,是通过转换一个已知的局部或全局最优。我们观察到,控制的凸组合的系数,与局部或全局最优,(i)HC变换的TSP的景观是平滑的,其局部最优的数量相比,原来的TSP减少;(ii)HC变换的TSP的适应度距离相关性增加。此外,我们观察到HC变换的平滑效果高度依赖于所使用的最佳质量。高质量的最佳值比低质量的最佳值产生更好的平滑效果。然后,我们提出了一个迭代算法框架,其中建议的HC变换结合在一个启发式TSP求解器。它作为一种逃避局部最优的计划,旨在提高组合启发式的全局搜索能力。使用3-Opt和Lin-Kernighan局部搜索作为启发式求解器的案例研究表明,在多达20,000个城市的大多数测试实例上,所得到的算法显着优于其同行和其他两个基于平滑的TSP启发式求解器。
2020-03-14 cs.AI cs.NE
Anytime Behavior of Inexact TSP Solvers and Perspectives for Automated Algorithm Selection
The University of Adelaide(阿德莱德大学);University of Münster(明斯特大学)
旅行商问题(TSP)可以说是最著名的NP难组合优化问题之一。两个复杂的启发式求解器LKH和EAX以及各自的(重新启动)变体设法计算接近最优甚至最优的解决方案,也适用于在合理的时间内具有数千个节点的大型实例。在这项工作中,我们扩展了现有的基准测试研究,解决任何时候的行为不精确TSP求解器的经验运行时分布的基础上,导致求解器的行为和各自的关系,以问题的硬度增加了解。事实证明,性能排名的求解器是高度依赖于集中的近似质量。对性能交叉点的洞察为根据实例特征构建混合求解器提供了巨大的潜力。此外,为随时性能和相应的性能指标定制的实例功能将通过包含有关求解器质量的全面信息来高度改进自动算法选择模型。
2020-05-27 cs.AI
Learning Primal Heuristics for Mixed Integer Programs
RMIT University(皇家墨尔本理工大学);Monash University(莫纳什大学)
提出了一种基于机器学习技术的混合规划原始启发式算法。混合规划是求解组合优化问题的一种通用方法。在求解器内部,原始算法在寻找良好的可行解方面发挥着至关重要的作用,使人们能够从分支定界算法(B&B)的一开始就缩小二元差距,通过积极修剪B&B树来大大提高其性能。在本文中,我们调查是否有效的原始算法可以通过机器学习自动学习。我们提出了一种新的方法来表示的优化问题作为一个图形,并训练一个图卷积网络解决问题的实例与已知的最佳解决方案。这反过来又可以预测类似类型的未知问题实例的最佳解决方案中决策变量的值。然后,利用一种新的配置的B&B方法,概率分支与引导深度优先搜索(PB-DFS)的方法,旨在快速找到(近)最优的解决方案的预测变量的解决方案。实验结果表明,这种新的启发式可以找到更好的原始解决方案在更早的阶段的求解过程中,相比其他国家的最先进的原始启发式。
2021-07-02 cs.AI cs.LG math.OC
Orbitopal Fixing in SAT
RPTU Kaiserslautern-Landau(科隆-拉乌恩大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于轨道固定的静态对称性打破方法,通过添加单位子句实现快速且非干扰的对称性处理,提升SAT求解器性能。
2026-01-23 cs.AI cs.LO
ML Supported Predictions for SAT Solvers Performance
Federal Office for Information Security(德国联邦信息安全办公室)
为了对开源SAT求解器CryptoMiniSat在多线程模式下处理难以解决布尔可满足性问题实例时的不确定性终止行为进行分类,收集并分析了内部求解器运行时参数。这些参数的子集已被选择并用作特征向量,以成功地创建机器学习模型,用于对求解器的终止行为进行二进制分类,并对尚未求解的实例进行任何新的求解运行。该模型可用于早期估计的解决尝试属于或不属于类的候选人具有良好的机会快速终止。在这种情况下,运行时特性的活动配置文件的组合似乎反映了求解器的瞬时性能对求解器的解决过程的即时质量的影响。由于前两次求解迭代的运行时参数足以预测成功分数良好的尝试的终止,因此本工作的结果提供了一个有希望的基础,可以进一步开发,以丰富CryptoMiniSat或任何具有AI能力的现代SAT求解器。
2021-12-17 cs.AI cs.CR cs.LG
Towards Ultra Rapid Restarts
University of New South Wales(新南威尔士大学);NICTA(澳大利亚国家信息与通信技术研究院);Delft University of Technology(代尔夫特理工大学)
我们观察到一个趋势,重新启动战略中使用的SAT求解器。几年前,大多数最先进的求解器平均在几千次回溯后重新启动。目前,在十几次回溯后重新启动会产生更好的性能。这种趋势的主要原因是逻辑学和数据结构变得更加易于重启。我们预计这一趋势将进一步延续,因此未来的SAT求解器将更快地重新启动。此外,我们提出的实验结果来支持我们的观察。
2014-02-18 cs.AI cs.LO
ACE, a generic constraint solver
CRIL, University of Artois(阿图瓦大学CRIL);CNRS(法国国家科学研究中心)
本文介绍开源约束求解器ACE,它基于Java实现,面向整数变量,支持先进表约束、全局约束、搜索启发式与单准则优化,可求解XCSP3格式的约束问题实例。
2024-09-02 cs.AI
Augmented Electronic Ising Machine as an Effective SAT Solver
University of Rochester(罗切斯特大学)
针对传统伊辛机求解3-SAT问题加速不足的问题,研究添加立方相互作用架构支持并提出语义感知退火调度,构建的AIMS求解器性能远超现有软硬件SAT求解器数个数量级,且抗器件偏差与噪声。
2023-05-01 cs.AI cs.AR cs.ET
Heuristic Search For Physics-Based Problems: Angry Birds in PDDL+
Palo Alto Research Center(帕洛阿尔托研究中心);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文研究了如何使用独立于域的规划器和组合搜索来玩愤怒的小鸟,这是一个成熟的AI挑战问题。为了对游戏进行建模,我们使用PDDL+,这是一种用于混合离散/连续域的规划语言,支持持续过程和外源事件。本文描述了模型,并确定关键的设计决策,降低问题的复杂性。此外,我们提出了几个特定于域的增强,包括搜索和搜索技术类似的首选运营商。它们一起减轻了组合搜索的复杂性。我们评估我们的方法,通过比较其性能与专用域特定的求解器在一系列的愤怒的小鸟水平。结果表明,我们的性能与这些特定领域的方法在大多数水平上,即使没有使用我们的特定领域的搜索增强。
2023-03-29 cs.AI
Petri Net Induced Heuristic Search for Resource Constrained Scheduling
Bar-Ilan University(巴伊兰大学)
本文将资源受限项目调度问题建模为Timed Transition Petri网的可达图最优搜索,采用相对延迟令牌实现调度决策与状态空间转换的对应关系,通过结合关键路径和资源下界启发式函数的A*算法,证明其一致性,并在PSPLIB基准测试中优于MIP基线方法。
2026-05-15 cs.AI
Dancing to the State of the Art? How Candidate Lists Influence LKH for Solving the Traveling Salesperson Problem
TU Dresden(德累斯顿工业大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡人工智能服务与数据科学中心);Colorado State University(科罗拉多州立大学)
本文研究LKH求解TSP时因固定树结构候选集导致超时的问题,发现基于哈密顿回路的候选集包含更多最优边,提出将POPMUSIC初始化策略集成到LKH重启版本中,显著减少超时并将性能提升一个数量级。
2024-07-04 cs.AI cs.NE
On SAT Models Enumeration in Itemset Mining
频繁项集挖掘是数据分析和数据采掘的重要组成部分。最近的作品提出了有趣的SAT为基础的编码发现频繁项集的问题。在这项工作中,我们的目标是定义适应SAT求解器,以提高模型枚举这样的编码策略。在此背景下,我们深入研究了重启、分支策略和小句学习的影响。然后,我们进行基于SAT的项集挖掘实例的实验评估,以显示如何SAT求解器可以适应,以获得一个有效的SAT模型枚举。
2015-06-08 cs.AI
An Efficient and Almost Optimal Solver for the Joint Routing-Assignment Problem via Partial JRA and Large-α Optimization
Singapore Institute of Technology(新加坡理工学院)
针对联合路由分配(JRA)问题精确求解器在大规模实例中效率低的局限,提出融合部分路径重构(PPR)求解器和大α约束的PJAR框架,在大规模基准数据集上实现0.00%平均偏差且保持高效,还可扩展至TSP等问题。
2025-11-07 cs.AI math.CO
Towards Neural Sparse Linear Solvers
ZURU Tech(ZURU科技)
由于有限元法的广泛应用,大型稀疏对称线性方程组出现在科学和工程的许多分支中。最快的稀疏线性求解器实现混合迭代法。这些方法基于启发式算法来排列行和列或找到预处理矩阵。此外,它们本质上是顺序的,这使得它们无法完全利用GPU的处理能力。我们提出了神经稀疏线性求解器,这是一个深度学习框架,用于学习稀疏对称线性系统的近似求解器。我们的方法依赖于将稀疏对称线性系统表示为无向加权图。这样的图表示是固有的置换等变和尺度不变的,它可以成为一个图神经网络训练回归的解决方案的输入。我们在结构工程的静态线性分析问题上测试神经稀疏线性求解器。我们的方法是不准确的,比经典的算法,但它是硬件无关的,快速的GPU上,并适用于通用稀疏对称系统,没有任何额外的假设。虽然仍然存在许多限制,这项研究表明了一种通用的方法来解决问题,涉及稀疏对称矩阵使用图神经网络。
2022-03-14 cs.LG cs.NA math.NA
Rethinking LLM-Driven Heuristic Design: Generating Efficient and Specialized Solvers via Dynamics-Aware Optimization
University of Electronic Science and Technology of China(电子科技大学)
本文提出DASH框架,通过动态感知指标优化求解器搜索机制和运行时间安排,提升求解效率和性能,同时通过Profiled Library Retrieval减少重新适应成本。
2026-04-16 cs.AI cs.LG cs.NE
Improving DPLL Solver Performance with Domain-Specific Heuristics: the ASP Case
Eastman Kodak Company(伊士曼柯达公司)
尽管基于DPLL过程的求解器的性能最近有所改进,但搜索算法仍然可能集中在搜索空间的错误区域上,从而阻止求解器在可接受的时间量内返回解。这种前景是一个真正的问题,例如在工业环境中,用户通常期望一致的性能。为了克服这个问题,我们提出了一个框架,允许学习和使用特定领域的算法在求解器的基础上的DPLL程序。学习是离线完成的,在目标域的代表性实例上,然后将学习到的算法用于选择点选择。在本文中,我们专注于答案集编程(ASP)求解器。在我们的实验中,引入特定于域的算法将硬实例的性能提高了3个数量级(平均2个数量级),几乎完全消除了由于等待答案变得不可接受而必须终止求解器的情况。
2011-02-10 cs.AI cs.LO
An Amortized Efficiency Threshold for Comparing Neural and Heuristic Solvers in Combinatorial Optimization
Univ. Artois(阿劳斯大学)
本文研究了神经求解器在组合优化中的能耗问题,提出平均效率阈值框架,通过实验显示神经求解器在部署量超过阈值后能耗低于启发式方法,提供了新的评估方法。
2026-05-15 cs.AI cs.LG cs.NE
Heuristically Guided Compilation for Multi-Agent Path Finding
Czech Technical University in Prague(布拉格捷克理工大学);Faculty of Information Technology(信息技术学院)
多智能体路径寻找(MAPF)是在共享环境中寻找连接智能体指定初始位置和目标位置的非冲突路径的任务。我们专注于基于编译的求解器,其中的MAPF问题表示在不同的良好建立的形式主义,如混合整数线性规划(MILP),布尔可满足性(SAT),或约束规划(CP)。由于这些形式主义的目标求解器充当黑盒,因此在基于MAPF编译的求解器中集成MAPF特定算法是具有挑战性的。在这项工作中,我们将展示如何建立一个MAPF编码的目标SAT求解器,在特定领域的启发式知识得到反映。通过为每个代理选择候选路径并仅为这些候选路径构建编码而不是为代理的所有可能路径构建编码,将启发式知识转移到SAT求解器。进行的实验表明,启发式指导编译优于基于SAT的MAPF求解器的香草变种。
2022-12-13 cs.AI cs.MA
Learning Heuristics for Template-based CEGIS of Loop Invariants with Reinforcement Learning
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61所);Chiba University(千叶大学);University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能项目中心);National Institute of Informatics(国立信息学研究所);Kyoto University(京都大学)
循环不变综合是程序验证的基础。由于一般问题的不可判定性,用于不变量合成的工具必须使用启发式算法。尽管人们普遍认为合成器的设计对合成器的性能至关重要,但合成器通常是由开发人员根据经验和直觉设计的,有时是以\emph{ad-hoc}的方式。在这项工作中,我们提出了一种方法来系统地学习基于模板的反例引导归纳合成(CEGIS)与强化学习的算法。作为一个具体的例子,我们实现的方法上PCSat,这是一个不变的合成器基于模板的CEGIS。实验表明,PCSat指导下学习我们的框架,不仅优于现有的最先进的CEGIS为基础的求解器,如HoICE和神经求解器Code2Inv,但也有轻微的优势,在线性约束霍恩子句(CHC)求解非CEGIS为基础的求解器,如Eldarica和Spacer。
2022-06-15 cs.AI cs.LG cs.PL
Enhancing CVRP Solver through LLM-driven Automatic Heuristic Design
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
提出AILS-AHD方法,结合进化搜索框架与大语言模型动态生成和优化破坏启发式,并引入加速机制,在中等和大规模CVRP实例上优于现有求解器,在CVRPLib大规模基准中10个实例上取得8个新最优解。
2026-06-18 cs.AI
Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic
Emory University(埃默里大学)
本研究系统分析LLM在规划任务中作为求解器、验证器、启发式引导的作用,发现其更擅长为中间解提供启发式反馈,还提出了评估LLM即时学习用户偏好能力的新基准。
2024-12-12 cs.AI cs.CL
Discovering heuristics in a complex SAT solver with large language models
School of Data Science, Fudan University, Shanghai, China(复旦大学数据科学学院,上海,中国);Key Laboratory of System Software, Institute of Software, Chinese Academy of Sciences, Beijing, China(中国科学院软件研究所系统软件重点实验室,北京,中国);SeedMath Technology Limited, Beijing, China(SeedMath技术有限公司,北京,中国)
提出AutoModSAT框架,结合模块化求解器设计、无监督提示优化和进化算法,利用LLM自动优化SAT求解器,在多个数据集上性能提升40%。
2026-06-06 cs.AI cs.LO
AutoSAT: Automatically Optimize SAT Solvers via Large Language Models
Fudan University(复旦大学);paradigm Inc.(第四范式公司);Tsinghua University(清华大学)
本文提出 AutoSAT 框架,利用大型语言模型在模块化搜索空间中自动优化 CDCL SAT 求解器的启发式方法,实验证明其能提升求解器性能,并在多个数据集上超越 MiniSat 和 Kissat。
2024-11-13 cs.AI
Memory-Enhanced Neural Solvers for Routing Problems
InstaDeep;University of Cape Town(南非开普敦大学)
该研究针对路径规划问题,提出记忆增强神经求解器MEMENTO,通过利用在线数据动态调整动作分布,在12项评估任务的11项上优于树搜索等方法,可与多样性求解器零样本组合。
2026-08-25 cs.AI cs.LG
Formalize, Don't Optimize: The Heuristic Trap in LLM-Generated Combinatorial Solvers
University of Pennsylvania(宾夕法尼亚大学);University of Toronto(多伦多大学);Google DeepMind(谷歌DeepMind);Oracle AI(Oracle人工智能)
本文研究LLM生成组合求解器时形式化与优化的矛盾,通过CP-SynC-XL基准测试,发现Python+OR-Tools在正确性上最优,而MiniZinc+OR-Tools虽使用相同后端但覆盖度较低,启发式优化导致部分问题速度下降和正确性降低。
2026-05-12 cs.AI
Design and Implementation of an Heuristic-Enhanced Branch-and-Bound Solver for MILP
Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
我们提出了一个求解器为MIP竞争2022年开发的混合编程(MIP)。鉴于10分钟的计算时间的竞争规则建立的约束,我们的方法侧重于找到一个可行的解决方案,并通过分支定界算法改进它。比赛的另一个规则允许使用多达8个线程。每个线程都被赋予一个不同的原始启发式算法,该算法已经通过超参数进行了调整,以找到一个可行的解决方案。在每一个线程中,一旦找到一个可行的解决方案,我们停止,我们使用分支定界方法,嵌入本地搜索算法,以改善现任的解决方案。我们实现的Diving启发式的三个变体设法为训练数据集的10个实例找到可行的解决方案。这些算法是我们实现的算法中性能最好的。我们的分支定界算法是有效的一小部分的训练数据集,它设法找到一个现任的可行的解决方案,我们不能解决的情况下,潜水算法。总的来说,我们的组合方法,当实现广泛的计算能力,可以解决19个问题的训练数据集的时间限制内。我们提交的MIP比赛被授予“优秀学生提交”荣誉奖。
2022-06-20 cs.AI cs.DC math.OC
Combining Answer Set Programming and Domain Heuristics for Solving Hard Industrial Problems (Application Paper)
University of Calabria(卡拉布里亚大学);Alpen-Adria-Universität Klagenfurt(阿尔卑斯-亚德里亚大学克拉根福分校)
答案集编程(ASP)是一种流行的逻辑编程范式,已被应用于解决各种复杂的问题。在ASP最具挑战性的实际应用中,有两个由西门子定义的工业问题:伙伴单元问题(PUP)和组合配置问题(CCP)。PUP和CCP的最困难的实例是最先进的ASP求解器无法达到的。实验表明,ASP求解器的性能可以显着提高嵌入特定领域的算法,但在现成的ASP实现这样的标准是不明显的一个适当的有效集成。本文研究了ASP与特定领域启发式算法的结合,目标是有效地解决PUP和CCP的现实问题实例。作为此活动的副产品,ASP求解器WASP扩展了一个接口,该接口可以轻松地在求解器中嵌入新的外部算法。评估结果表明,我们的领域启发式驱动的ASP求解器发现解决方案的所有现实世界的实例PUP和CCP曾经提供的西门子。本文件正在考虑被TPLP接受。
2016-08-02 cs.AI cs.LO cs.PL
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
最近的工作应用深度强化学习(DRL)来解决旅行商问题(TSP)已经表明,基于DRL的求解器可以快速且具有竞争力的小实例TSP算法,但不能很好地推广到较大的实例。在这项工作中,我们提出了一种名为MAGIC的新方法,其中包括一个深度学习架构和DRL训练方法。我们的架构,它集成了一个多层感知器,一个图神经网络,和一个注意力模型,定义了一个随机的政策,顺序生成一个TSP解决方案。我们的训练方法包括几个创新:(1)我们将DRL策略梯度更新与局部搜索(使用新的局部搜索技术)交织在一起,(2)我们使用新的简单基线,(3)我们应用课程学习。最后,我们的经验表明,MAGIC是优于其他基于DRL的方法随机TSP的情况下,无论是在性能和推广。此外,我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
SeaPearl: A Constraint Programming Solver guided by Reinforcement Learning
École Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院,巴黎综合理工大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
设计求解组合优化问题的高效通用算法是一个活跃的研究领域。标准的精确求解方法是基于对解集的巧妙而完整的枚举。使用这种方法的一个关键和重要的设计选择是分支策略,它指导如何执行搜索。在过去的十年中,人们对设计基于机器学习的算法来解决组合优化问题表现出越来越大的兴趣。目标是利用历史数据中的知识来解决问题的类似新实例。单独使用时,这种算法只能有效地提供近似解,但不能证明其解的最优性或边界。最近的工作表明,强化学习可以成功地用于驱动约束规划(CP)求解器的搜索阶段。然而,也已经表明,这种混合是具有挑战性的建设,因为标准的CP框架不包括原生的机器学习机制,导致一些低效率的来源。本文介绍了SeaPearl的概念证明,这是一种在Julia中实现的新CP求解器,它支持机器学习例程,以便使用强化学习来学习分支决策。还提供了对学习组件建模的支持。我们说明了两个问题的建模和解决方案的性能,这个新的求解器。虽然还没有与工业求解器竞争,但SeaPearl旨在提供一个灵活的开源框架,以促进未来约束编程和机器学习混合的研究。
2021-04-20 cs.AI cs.LG
Heuristic Optimization of Electrical Energy Systems: Refined Metrics to Compare the Solutions
Politecnico di Torino(都灵理工大学)
许多优化问题存在多个局部最优解,其中存在全局最优解。针对这些问题,人们提出了各种启发式优化方法。比较这些求解器的结果需要定义合适的度量。在电能系统文献中,仍然使用简单的度量,例如获得的最佳值、平均值、中值或解的标准差。然而,与这些指标进行的比较是相当薄弱的,在这些基础上,某种程度上不受控制的启发式求解器的扩散正在发生。本文讨论了理解这种扩散的原因的总体问题,显示了一个概念方案,表明如何评估最佳求解器可能会导致新的求解器的无限制定。此外,本文展示了如何使用定义的更精细的度量来比较优化结果,与适当的基准的定义相关联,可以使求解器之间的比较更加鲁棒。所提出的指标是基于一阶随机优势的概念,并定义的情况下,其中:(i)全局最优解可以找到(用于测试目的);和(ii)可能的解决方案的数量是如此之大,实际上它不能保证全局最优已被发现。说明性的例子提供了一个典型的问题,在电能系统领域-配电网重构所得到的概念性结果对于比较其它优化问题的结果是普遍有效的。
2019-02-15 cs.AI math.OC
Machine Learning Insides OptVerse AI Solver: Design Principles and Applications
Huawei Vancouver Research Center(华为温哥华研究中心);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Huawei Cloud EI Service Product Dept.(华为云EI服务产品部);Hong Kong Polytechnic University(香港理工大学)
本文介绍华为云 OptVerse AI Solver 如何融合生成模型、强化学习、图卷积网络与参数调优等 ML 技术,以生成实例、增强策略并提升求解性能。
2024-01-17 cs.AI
BEAM: Bi-level Memory-adaptive Algorithmic Evolution for LLM-Powered Heuristic Design
IEEE
BEAM通过双层优化方法,结合遗传算法和MCTS,改进LLM驱动的启发式设计,有效提升复杂代码生成效率,实验显示在CVRP混合算法设计中优化差距减少37.84%。
2026-04-14 cs.AI math.CO
Message passing for quantified Boolean formulas
Politecnico di Torino(都灵理工大学);Institut de Physique Theorique, IPhT, CEA Saclay(法国原子能委员会萨克雷核研究中心理论物理研究所(IPhT));URA 2306, CNRS(法国国家科学研究中心 URA 2306 联合研究单位)
我们介绍了两种类型的量化布尔公式(QBF)的消息传递算法。第一种类型是基于消息传递的算法,它可以通过分配通用变量来证明QBF的不可满足性,使得剩余的公式是不可满足的。在第二种类型中,我们使用消息传递来指导Davis-Putnam Logemann-Loveland(DPLL)完全求解器的分支算法。数值实验表明,在随机QBF上,我们的分支算法相对于最先进的求解器给出了鲁棒的指数效率增益。我们还设法解决了QBFLIB库中一些以前未解决的基准测试。除此之外,我们的研究揭示了在小系统中使用消息传递和作为子程序在完整的求解器。
2012-02-12 cond-mat.dis-nn cs.AI
ACEvo: Adversarial Co-Evolution of Problem Distributions and Solvers for Combinatorial Optimization
Department of Computer Science and Engineering(计算机科学与工程系)
该研究提出ACEvo框架,通过LLM迭代协同进化启发式求解器与问题生成器,在TSP等组合优化问题上生成更具挑战性的实例分布,所得求解器在分布偏移下性能优于静态训练基线。
2026-08-11 cs.AI
Driving CDCL Search
Università della Calabria(卡拉布里亚大学);Alpen-Adria-Universität Klagenfurt(克拉根福阿尔卑斯-亚得里亚大学)
CDCL算法是最先进的SAT、SMT、ASP等求解器采用的领先解决方案。实验表明,嵌入特定领域的算法可以显着提高CDCL求解器的性能,特别是在大型现实世界的问题。然而,在现成的CDCL实现中适当地集成这样的标准并不明显。在本文中,我们提取的关键成分,驱动搜索的CDCL求解器,并提出了一个通用的框架,设计和实施新的算法。我们在ASP求解器中实现了我们的策略,并在两个工业领域进行了实验。在困难的问题实例中,最先进的实现无法在可接受的时间内找到任何解决方案,而我们的实现非常成功,可以找到所有解决方案。
2016-11-16 cs.AI
An (MI)LP-based Primal Heuristic for 3-Architecture Connected Facility Location in Urban Access Network Design
National Research Council of Italy(意大利国家研究委员会);Zuse Institute Berlin(柏林楚泽研究所)
研究了城市电信接入网设计中的三层结构互联设施定位问题。我们提出了一个原始的最优化模型的问题,包括额外的变量和约束,考虑到无线信号覆盖。由于这个问题可以证明具有挑战性,即使是现代国家的最先进的优化求解器,我们建议解决它的原始启发式结合了概率固定程序,引导特有的线性规划松弛,一个确切的MIP启发式,基于一个非常大的邻域搜索。一组现实的实例上的计算实验表明,我们的启发式可以找到解决方案与低得多的最优性差距比一个国家的最先进的求解器。
2017-04-27 cs.AI cs.NI math.OC