Combining Reinforcement Learning and Configuration Checking for Maximum k-plex Problem
Sun Yat-sen University(中山大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
最大k重问题是一个重要的组合优化问题,其应用日益广泛。由于其指数时间复杂度,许多探试法已被提出,可以返回一个高质量的解决方案,在合理的时间。然而,大多数启发式算法是无记忆的,无法利用经验在搜索过程中。受强化学习(RL)中多臂强盗(MAB)问题的启发,提出了一种新的扰动机制BLP,当陷入局部最优时,该机制可以在线学习选择一个好的顶点进行扰动.据我们所知,这是第一次尝试结合本地搜索与RL的最大$ k $ -plex问题。此外,我们还提出了一种新的策略,称为动态阈值配置检查(DTCC),它从两个方面扩展了原来的配置检查(CC)策略。在BLP和DTCC的基础上,提出了一种局部搜索算法BDCC,并采用超启发式策略对其进行了改进。实验结果表明,我们的算法占主导地位的标准DIMACS和BHOSLIB基准测试,并实现了国家的最先进的性能在海量图。
2019-06-06 cs.AI
HUGO -- Highlighting Unseen Grid Options: Combining Deep Reinforcement Learning with a Heuristic Target Topology Approach
Fraunhofer IEE(弗劳恩霍夫能源经济与能源系统技术研究所);Kassel University(卡塞尔大学);Kiel University(基尔大学)
针对现有DRL电网拓扑优化仅作用于变电站单动作的问题,提出以鲁棒性筛选的目标拓扑为动作的整体方法,通过搜索算法生成目标拓扑并升级CurriculumAgent,使L2RPN得分提升10%、中位生存时间提升25%。
2024-05-23 cs.AI cs.LG
Programmatic Policy Extraction by Iterative Local Search
Technical University of Denmark(丹麦技术大学)
强化学习策略通常由神经网络表示,但在某些情况下,程序化策略更受欢迎,因为它们更易于解释,易于形式化验证或更好地推广。虽然存在用于学习神经策略的有效算法,但学习编程策略是具有挑战性的。将模仿投影和数据集聚合与局部搜索启发式相结合,我们提出了一种简单而直接的方法来从预训练的神经策略中提取编程策略。在检查我们的本地搜索启发式编程的例子问题后,我们展示了我们的编程策略提取方法的钟摆摆动的问题。当使用手工制作的专家策略和学习的神经策略进行训练时,我们的方法发现了简单且可解释的策略,其性能几乎与原始策略一样好。
2022-01-18 cs.AI
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所(IHMC))
尽管深度强化学习算法取得了进步,但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法,或者需要环境的模型,或者训练额外的深度神经网络来生成增强路径。在本文中,一个革命性的算法,称为策略增强,介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值,帮助代理采取行动,这将导致高价值的回报,而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明,优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Combining Simulated Annealing and Monte Carlo Tree Search for Expression Simplification
Tilburg University(蒂尔堡大学);Nikhef(荷兰国家亚原子物理研究所)
在计算机代数的许多应用中,大型表达式必须简化,以使重复的数值计算易于处理。以前的作品提出了启发式指导的改进,例如,霍纳的阴谋然后通过公共子表达式消除进一步减少剩余的表达式。最近的一种方法成功地应用了一种相对较新的算法,蒙特卡罗树搜索(MCTS)与UCT作为选择标准,以找到更好的变量排序。然而,这种方法适合于进一步的改进,因为它对所谓的探索-利用常数$C_p$和树更新次数$N$敏感。在本文中,我们提出了一个新的选择标准,称为模拟退火UCT(SA-UCT),有一个动态的勘探开发参数,随着迭代次数$i$,从而降低了勘探的重要性随着时间的推移。首先,我们提供了一个直观的解释方面的探索利用行为的算法。然后,我们测试我们的算法上的三个大的表达不同的起源。我们观察到,SA-UCT扩大了良好的初始值$C_p$的区间,其中达到最佳结果。这种改进很大(超过十倍),便于选择适当的$C_p$。
2013-12-03 cs.AI
Dual Mind World Model Inspired Network Digital Twin for Access Scheduling
Data Intelligence and Communication Engineering Lab(数据智能与通信工程实验室)
本文提出一种基于双心智世界模型的数字孪生调度框架,通过结合预测规划与符号模型优化,实现适应动态网络环境的智能调度策略。
2026-02-04 cs.AI cs.MA cs.NI
On Solving the Rubik's Cube with Domain-Independent Planners Using Standard Representations
AI Institute, University of South Carolina(南卡罗来纳大学AI研究所)
本研究提出首个PDDL格式的魔方标准表示方案,对比DeepCubeA、Scorpion、FastDownward等不同求解器的性能与规划最优性,为高难度领域的表示与求解策略设计提供权衡参考。
2023-08-21 cs.AI
From Prior-Guided Heuristics to Deployable Agents: Accelerating Demonstration-Driven Reinforcement Learning for Deadline-Constrained Network Control
University of Naples Federico II(那不勒斯费德里科二世大学);New York University(纽约大学);University of Southern California(南加州大学);University of Trento(特伦托大学);Centre Tecnològic de Telecomunicacions de Catalunya (CTTC)(加泰罗尼亚电信技术中心)
本文针对动态异构网络中延迟敏感信息传输的截止期限约束问题,提出含EC指标与MADRL EC($p^*$)架构的部署导向框架及MGA-RL训练协议,加速演示驱动强化学习以实现可部署网络控制。
2026-09-04 cs.AI cs.NI
Improving Hearthstone AI by Combining MCTS and Supervised Learning Algorithms
Silver Bullet Labs;Institute of Informatics, University of Warsaw(华沙大学信息学研究所);eSensei
我们研究了监督预测模型对人工智能体的强度和效率的影响,这些人工智能体使用蒙特卡罗树搜索(MCTS)算法来玩流行的视频游戏《炉石传说:魔兽英雄》。我们概述了MCTS的自定义实现,它非常适合具有部分隐藏信息和随机效果的游戏。我们还描述了实验,我们设计来量化我们的炉石代理的决策性能。我们表明,即使是简单的神经网络可以训练和成功地用于游戏状态的评估。此外,我们证明,通过提供一个指导的游戏状态搜索启发式,有可能大大提高胜率,并在同一时间减少所需的计算。
2018-08-14 cs.AI cs.LG
Combining Monte Carlo Tree Search and Heuristic Search for Weighted Vertex Coloring
LERIA(LERIA实验室)
本研究将蒙特卡洛树搜索(MCTS)与贪心、局部搜索等启发式策略相结合,替代传统随机模拟以求解加权顶点着色问题,并通过基准实验验证了各变体策略的优势与局限。
2025-03-03 cs.AI
Heuristic Learning for Active Flow Control Using Coding Agents
Mines Paris - PSL University Centre for Material Forming (CEMEF) CNRS(巴黎矿业 - 巴黎文理研究大学材料成型中心(CEMEF)法国国家科学研究中心)
研究主动流动控制中控制器设计难题,提出用编码智能体直接搜索显式可执行反馈律的启发式学习范式及受限协议,经多基准评估,其启发式控制器性能优、可解释,是传统强化学习的可靠互补替代方案。
2026-07-14 cs.AI cs.LG physics.flu-dyn
Generalized Phase Pressure Control Enhanced Reinforcement Learning for Traffic Signal Control
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出广义相位压力控制及基于其状态表示的强化学习算法,在真实数据集上显著优于现有启发式与学习方法。
2025-03-26 cs.AI cs.LG
Online Speedup Learning for Optimal Planning
Technion - Israel Institute of Technology(以色列理工学院)
领域无关规划是人工智能领域的一个基础领域。规划任务的描述由初始世界状态、目标和用于修改世界状态的一组操作组成。目标是找到一个行动序列,即一个计划,将初始世界状态转换为目标状态。在最优规划中,我们感兴趣的不仅仅是找到一个计划,而是找到一个最便宜的计划。目前,最优规划的一个突出方法是启发式状态空间搜索,由可接受的启发式函数指导。许多可接受的启发式算法已经被开发出来,每一个都有自己的优点和缺点,众所周知,一般来说,没有一个“最佳启发式”用于最佳规划。因此,对于给定的规划任务选择哪种启发式是一个困难的问题。这种困难可以通过组合几种启发式算法来避免,但这需要在每个状态下计算许多启发式估计,并且这样做所花费的时间与不同启发式算法的组合优势所节省的时间之间的权衡可能很高。我们提出了一种新的方法,降低了成本相结合的最优规划,同时保持其优势。使用一个理想化的搜索空间模型,我们制定了一个决策规则,选择最好的启发式计算在每个状态。然后,我们提出了一个积极的在线学习的方法来学习一个分类器的决策规则作为目标概念,并采用学习分类器来决定在每个状态下计算的启发式。我们评估这种技术的经验,并表明,它大大优于标准的方法,通过其逐点最大值相结合的几个prostitics。
2014-01-23 cs.AI
NeuroLKH: Combining Deep Learning Model with Lin-Kernighan-Helsgaun Heuristic for Solving the Traveling Salesman Problem
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
我们提出了NeuroLKH,一种新的算法,结合深度学习与传统的启发式Lin-Kernighan-Helsgaun(LKH)解决旅行商问题。具体来说,我们训练稀疏图网络(SGN),对边分数进行监督学习,对节点惩罚进行无监督学习,这两者对于提高LKH的性能至关重要。基于SGN的输出,NeuroLKH创建边缘候选集,并转换边缘距离,以指导LKH的搜索过程。大量的实验坚定地证明,通过在广泛的问题规模上训练一个模型,NeuroLKH的性能明显优于LKH,并且可以很好地推广到更大的规模。此外,我们表明,神经LKH可以适用于其他路由问题,如容量限制的车辆路径问题(CVRP),皮卡和交货问题(PDP),CVRP与时间窗口(CVRPTW)。
2021-10-15 cs.AI cs.LG
An efficient heuristic approach combining maximal itemsets and area measure for compressing voluminous table constraints
University of Bejaia(贝贾亚大学);MT Atlantique(大西洋矿业电信学院)
约束程序设计是一种建模和解决组合问题的强大范式。虽然有很多种约束,但表约束可能是最重要的--它是研究得最好的,并且能够对定义在有限变量上的任何其他约束进行编码。然而,约束可以是非常庞大的,并且它们的大小可以随着它们的数量呈指数级增长。为了减少空间和时间复杂度,研究人员集中在各种形式的压缩。本文提出了一种基于最大频繁项集技术和面积测度的最大频繁项集枚举方法。我们的实验结果表明,这种方法的有效性和效率的压缩和解决压缩表的约束。
2022-03-21 cs.AI cs.DB
Combining a Probabilistic Sampling Technique and Simple Heuristics to solve the Dynamic Path Planning Problem
Universidad Técnica Federico Santa María(费德里科·圣玛丽亚理工大学);INRIA/LORIA(法国国家信息与自动化研究所/洛林计算机科学及其应用实验室)
概率抽样方法已经成为解决单次射击路径规划问题的一种非常流行的方法。特别是快速探索随机树(RRT)已被证明在解决高维问题方面非常有效。尽管已经提出了几种RRT变体来解决动态重新规划问题,但这些方法仅在不频繁变化的环境中表现良好。本文针对动态路径规划问题,结合简单的技术,在多阶段的概率算法。该算法使用RRT作为初始解,通知局部搜索来修复不可行路径和一个简单的贪婪优化器。该算法能够识别本地搜索何时卡住,并随后重新启动RRT。我们表明,这种简单的技术相结合,提供了更好的反应,一个高度动态的环境比动态RRT的变种。
2009-12-01 cs.AI cs.RO
Combining Answer Set Programming and Domain Heuristics for Solving Hard Industrial Problems (Application Paper)
University of Calabria(卡拉布里亚大学);Alpen-Adria-Universität Klagenfurt(阿尔卑斯-亚德里亚大学克拉根福分校)
答案集编程(ASP)是一种流行的逻辑编程范式,已被应用于解决各种复杂的问题。在ASP最具挑战性的实际应用中,有两个由西门子定义的工业问题:伙伴单元问题(PUP)和组合配置问题(CCP)。PUP和CCP的最困难的实例是最先进的ASP求解器无法达到的。实验表明,ASP求解器的性能可以显着提高嵌入特定领域的算法,但在现成的ASP实现这样的标准是不明显的一个适当的有效集成。本文研究了ASP与特定领域启发式算法的结合,目标是有效地解决PUP和CCP的现实问题实例。作为此活动的副产品,ASP求解器WASP扩展了一个接口,该接口可以轻松地在求解器中嵌入新的外部算法。评估结果表明,我们的领域启发式驱动的ASP求解器发现解决方案的所有现实世界的实例PUP和CCP曾经提供的西门子。本文件正在考虑被TPLP接受。
2016-08-02 cs.AI cs.LO cs.PL
Multi-Robot Path Planning Combining Heuristics and Multi-Agent Reinforcement Learning
School of Artificial Intelligence University of Chinese Academy of Sciences(人工智能学院 中国科学院大学)
本文提出MAPPOHR方法,结合启发式搜索与多智能体强化学习,提升多机器人路径规划效率与性能。
2025-12-11 cs.AI cs.LG cs.RO
Combining Monte-Carlo and Hyper-heuristic methods for the Multi-mode Resource-constrained Multi-project Scheduling Problem
University of Nottingham(诺丁汉大学);University of Essex(埃塞克斯大学)
多模式资源和优先约束的项目调度是一个著名的具有挑战性的现实世界的优化问题。该问题的一个重要变体要求在考虑当地和全球资源的可用性的同时,考虑一系列约束条件,为多个项目安排活动。本文所述基准的一个关键方面是,主要目标是最大限度地减少项目完成时间的总和,通常的完工时间最小化作为次要目标。我们观察到,这将导致一个预期的不同的整体结构的良好的解决方案,并讨论这对算法设计的影响。本文提出了一个精心设计的混合蒙特卡罗树搜索,新颖的邻域移动,模因算法,超探试法。该实现还被设计为提高执行迭代的速度,并利用多核机器的计算能力。经验评估表明,所得到的信息共享多组件算法显着优于其他求解器上的一组“隐藏”的情况下,即实例不可用的算法设计阶段。
2016-09-08 cs.AI cs.DS cs.NE
New Heuristics for Interfacing Human Motor System using Brain Waves
Mansoura University(曼苏拉大学)
有许多新形式的人机界面。我们在这里坚持人机交互的电动机械形式。脑机接口的出现使意识与运动系统成为可能。Pied Piper的故事启发了我们设计一些新的方法,通过结合头盔和LumbarMotionMonitor,使用脑电波连接人类运动系统。对于模拟,我们使用java GridGain在训练期间分类受试者的大脑反应表明,Probe可以成为区分知识渊博和知识渊博的最佳刺激
2012-11-24 cs.AI cs.HC
Local Optima Networks, Landscape Autocorrelation and Heuristic Search Performance
University of Málaga(马拉加大学);University of Lausanne(洛桑大学);University of Nottingham(诺丁汉大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧洲分所);University of Nice Sophia-Antipolis(尼斯索菲亚·安提波利斯大学)
适应度景观分析的最新发展包括局部最优网络(LON)的研究和基本景观理论的应用。本文代表了第一步,结合这两个工具,探索他们的能力,预测搜索算法的性能。我们的分析基于二次分配问题(QAP),并对600多个不同类型的生成实例进行了大量的统计研究。我们的研究结果揭示了有趣的网络措施,自相关措施和启发式搜索算法的性能之间的联系。
2012-10-15 cs.AI cs.NE
Combining Bayesian Approaches and Evolutionary Techniques for the Inference of Breast Cancer Networks
Universidade Nova de Lisboa(新里斯本大学);Consiglio Nazionale delle Ricerche(国家研究委员会);Stanford University(斯坦福大学)
基因和蛋白质网络是分子生物学中复杂大系统建模的重要手段。推断或逆向工程这样的网络可以被定义为通过计算分析从实验数据中识别基因/蛋白质相互作用的过程。然而,这个任务通常是复杂的,在一个相当小的样本量的未知数的巨大规模。此外,当目标是研究网络中的因果关系时,需要能够克服相关网络局限性的工具。在这项工作中,我们利用贝叶斯图形模型来解决这个问题,具体来说,我们对不同的最先进的统计学进行了比较研究,分析了它们在从乳腺癌数据推断贝叶斯网络结构方面的性能。
2017-03-08 cs.AI cs.LG
Link Prediction for Social Networks using Representation Learning and Heuristic-based Features
Indian Institute of Engineering Science and Technology, Shibpur(印度工程科学技术学院 Shibpur校区)
本文探索多种特征提取技术生成节点和边表示,并融合启发式特征与学习表示,以提升社交网络链接预测性能。
2024-03-13 cs.AI cs.LG cs.SI
Applying the Case Difference Heuristic to Learn Adaptations from Deep Network Features
Luddy School of Informatics, Computing, and Engineering(卢迪信息、计算与工程学院);Indiana University(印第安纳大学)
案例差异启发式(CDH)方法是一种从基于案例推理系统的案例库中学习案例适应知识的知识轻方法。给定一对案例,CDH方法将它们的解决方案中的差异归因于它们所解决的问题中的差异,并且当检索到的案例和新查询具有相似的问题差异时,生成自适应规则以相应地调整解决方案。作为学习适应规则的替代方案,一些研究人员已经应用神经网络来学习从问题差异预测解决方案差异。以前的工作,这种方法假设的功能描述的问题是预定义的。本文研究了一个两阶段的过程,该过程将深度学习用于特征提取和基于神经网络的自适应学习。它的性能在图像数据的回归任务中得到了证明:根据人脸图像预测年龄。结果表明,该组合过程可以成功地学习适应知识适用于非符号的情况下的差异。CBR系统的整体性能略低于基线深度网络回归器,但在新查询上的性能优于基线。
2021-07-15 cs.AI cs.CV
Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出一种结合信息论任务表示学习与Transformer随机世界模型的框架,通过提取行为不变的任务变量和保守值惩罚,解决离线元强化学习中的分布偏移和稀疏奖励问题,实现鲁棒泛化。
2026-05-30 cs.AI cs.LG
Multi-Dimensional AGV Path Planning in 3D Warehouses Using Ant Colony Optimization and Advanced Neural Networks
School of Software Technology, Zhejiang University(浙江大学软件技术学院);Loctek Ergonomic Technology Co.(乐歌人体工学科技股份有限公司)
针对3D仓库动态交通与拥堵问题,提出结合ACO与深度学习的NAHACO框架,通过多维张量建模、拥堵感知损失函数和自适应注意力机制优化路径规划,在TSP基准和仓库测试中显著降低成本与拥堵。
2025-03-30 cs.AI cs.RO
Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
递归神经网络(RNN)、时间卷积和神经微分方程(NDE)是用于时间序列数据的深度学习模型的流行家族,每种模型在建模能力和计算效率方面都具有独特的优势和权衡。我们引入了一个简单的序列模型的灵感控制系统,概括这些方法,同时解决其缺点。线性状态空间层(LSSL)通过简单地模拟线性连续时间状态空间表示$\dot{x} = Ax + Bu, y = Cx + Du$来映射序列$u \mapsto y$。理论上,我们表明,LSSL模型是密切相关的上述三个家庭的模型,并继承他们的优势。例如,他们将卷积推广到连续时间,解释常见的RNN算法,并分享NDE的特征,如时间尺度适应。然后,我们结合和推广最近的连续时间记忆理论,引入一个可训练的结构矩阵子集$A$,赋予LSSL与长程记忆。从经验上讲,将LSSL层堆叠到一个简单的深度神经网络中,可以在序列图像分类、现实世界的医疗回归任务和语音中获得跨时间序列基准的最新结果。在长度为16000个序列的困难语音分类任务中,LSSL的性能比以前的方法高出24个准确点,甚至比在100倍短序列上使用手工制作的特征的基线更好。
2021-10-26 cs.AI cs.LG
Finding Consensus Bayesian Network Structures
Linköping University(林雪平大学)
假设多个专家(或学习算法)为我们提供了一个域上的替代贝叶斯网络(BN)结构,并且我们有兴趣将它们组合成一个单一的共识BN结构。具体地说,我们感兴趣的是,一致BN结构只代表所有给定BN结构都同意的独立性,并且它具有尽可能少的相关参数。在本文中,我们证明了可能存在几个非等价的一致BN结构,并发现其中之一是NP-困难的。因此,我们决定求助于算法来找到一个近似的共识BN结构。在本文中,我们认为启发式提出的\citep{MatzkevichandAbramson1992,MatzkevichandAbramson1993a,MatzkevichandAbramson1993b}。这种启发式算法建立在两个算法,称为方法A和B,有效地推导出BN结构相对于给定的节点排序的最小有向独立映射。方法A和B被声称是正确的,尽管没有提供证明(只是粗略地证明)。在本文中,我们表明,方法A和B是不正确的,并提出了一个纠正。
2011-07-11 cs.AI math.ST stat.ML