Compositional Diffusion-Based Continuous Constraint Solvers
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文提出Diffusion-CCSP,一种基于因子图与扩散模型能量组合的连续约束求解器,可泛化至新约束组合,并集成于任务与运动规划器以生成含离散与连续参数的长期规划。
2023-09-02 cs.AI cs.LG cs.RO
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley(加州大学伯克利分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文介绍了Voronoi渐进加宽(VPW),Voronoi乐观优化(VOO)和行动渐进加宽部分可观测马尔可夫决策过程(POMDPs)的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间,有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法,并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样(VOWSS)是一种理论工具,证明了基于VPW的在线求解器,它是第一个具有连续状态,动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法,在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
SymbolicAI: A framework for logic-based approaches combining generative models and solvers
ExtensityAI;Johannes Kepler University(约翰开普勒大学);RICAM;Amazon Devices(亚马逊设备)
本文提出SymbolicAI框架,将LLM作为语义解析器结合生成模型与求解器,利用概率与可微编程处理复杂任务,并引入VERTEX评分评估可解释计算图。
2024-08-21 cs.AI cs.LG cs.SC
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology(以色列理工学院)
本文提出随时求解器ρPOMCPOW,通过动态细化信念表示和增量计算依赖信念奖励,在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
IVP-VAE: Modeling EHR Time Series with Initial Value Problem Solvers
L3S Research Center(L3S研究中心);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
针对电子健康记录不规则时间序列建模中IVP求解与循环计算结合导致效率低的问题,提出IVP-VAE,纯用连续过程并行演化状态并融合可逆IVP求解器,实现更少参数、更快收敛及SOTA性能。
2024-02-12 cs.AI cs.LG
Integration of Declarative and Constraint Programming
将一组现有的约束求解器组合成一个集成的协作求解器系统是解决混合约束问题的一个有用和经济的原则。在本文中,我们表明,这种方法也可以用来整合不同的语言范式到一个统一的框架。此外,我们研究的语法,语义和操作的影响,这一想法的合并声明和约束编程。
2006-01-14 cs.AI cs.PL
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
最近,深度强化学习(DRL)模型在解决NP难组合优化(CO)问题方面表现出了很好的效果。然而,对于图上的组合优化问题,例如旅行商问题(TSP),大多数DRL求解器只能扩展到几百个节点。针对大规模组合优化中的可扩展性问题,提出了一种新的求解方法DIMES。与以前的DRL方法,遭受昂贵的自回归解码或迭代细化的离散解决方案,DIMES引入了一个紧凑的连续空间参数化的潜在分布的候选解决方案。这样一个连续的空间允许通过大规模并行采样进行稳定的基于REINFORCE的训练和微调。我们进一步提出了一个元学习框架,使有效的初始化模型参数的微调阶段。大量的实验表明,DIMES优于最近的DRL为基础的方法在大型基准数据集的旅行商问题和最大独立集问题。
2022-10-25 cs.AI cs.LG math.OC
Reinforcement Learning with Verifiable Physics: Post-training LLMs with Continuous Rewards
Massachusetts Institute of Technology(麻省理工学院)
研究针对偏微分方程求解器代码生成,引入RLVP强化学习训练后框架,通过混合验证器解决可验证性问题,在多PDE族训练单个策略,优于基线且有零样本改进转移,训练后小LLM表现良好,策略有组合性证据。
2026-07-14 cs.AI cs.CE cs.LG
Automated Algorithm Selection on Continuous Black-Box Problems By Combining Exploratory Landscape Analysis and Machine Learning
University of Münster(明斯特大学)
在本文中,我们建立在以前的工作上设计信息丰富,高效的探索性景观分析功能,表征问题的景观,并显示其有效性,在连续的黑盒优化问题中自动构建算法选择模型。专注于算法的性能结果的COCO平台的几年,我们构建了一个代表性的一组高性能的互补求解器,并提出了一个算法选择模型,相比投资组合的单一最佳求解器,平均需要不到一半的资源来解决给定的问题。因此,与经典集成方法相比,通过使用信息特征,结合对问题特征和算法属性的更深入了解,效率有了巨大的提高。基于黑盒优化基准的函数集对于实际应用来说足够有代表性的假设,该模型允许在基于函数评估的小样本的优化本身之前针对看不见的问题在所考虑的集合内选择最适合的优化算法。请注意,这样的样本甚至可以重新用于进化(优化)算法的初始种群,以便即使特征成本也可以忽略不计。
2018-11-29 cs.AI cs.DS stat.ML
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
在深度学习架构中集成逻辑推理一直是现代AI系统的主要目标。在本文中,我们通过引入可微分(平滑)最大可满足性(MAXSAT)求解器来实现这一目标,该求解器可以集成到更大的深度学习系统的循环中。我们的(近似)求解器是基于一个快速的坐标下降的方法来解决半定规划(SDP)与MAXSAT问题。我们展示了如何通过这个SDP的解决方案来解析区分,并有效地解决相关的向后传递。我们证明,通过将此求解器集成到端到端学习系统中,我们可以以最小监督的方式学习具有挑战性的问题的逻辑结构。特别是,我们证明了我们可以使用单比特监督来学习奇偶校验函数(传统上对深度网络来说是一项艰巨的任务),并仅从示例中学习如何玩9x9数独。我们还解决了一个“视觉数独”的问题,映射图像的数独谜题,以其相关的逻辑解决方案相结合,我们的MAXSAT求解器与传统的卷积架构。因此,我们的方法在深度学习中集成逻辑结构方面表现出了希望。
2019-05-29 cs.AI cs.LG stat.ML
On Continuous Local BDD-Based Search for Hybrid SAT Solving
Rice University(莱斯大学)
我们探讨了连续局部搜索(CLS)在SAT求解的潜力,提出了一种新的方法来寻找一个混合系统的布尔约束的解决方案。该算法是基于CLS结合置信传播二叉决策图(BDD)。我们的框架接受所有的布尔约束,承认紧凑的BDD,包括对称布尔约束和小系数伪布尔约束作为有趣的家庭。我们提出了一种新的算法,有效地计算CLS所需的梯度。我们研究我们的多功能CLS求解器,GradSAT的能力和局限性,通过将其应用于许多基准测试实例。实验结果表明,GradSAT可以是一个有用的除了现有的SAT和MaxSAT求解器解决布尔可满足性和优化问题的投资组合。
2021-06-12 cs.AI cs.IT cs.LG
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center(理化学研究所人工智能项目中心);Shiga University(滋贺大学)
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据,Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程,并表明当数据数量足够大时,他们的模型是可识别的。然而,连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法,或者将所有连续数据离散化,然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时,可能会丢失重要信息。在本文中,我们定义了一个新的混合因果模型,它包括连续和离散变量。该模型假设:(1)连续变量的值是其父变量加上非高斯噪声的线性函数,以及(2)每个离散变量是逻辑变量,其分布参数取决于其父变量的值。此外,我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构,而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
Neural Ordinary Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们介绍了一个新的家庭的深度神经网络模型。而不是指定一个离散序列的隐藏层,我们参数化的衍生物的隐藏状态使用神经网络。使用黑盒微分方程求解器计算网络的输出。这些连续深度模型具有恒定的内存成本,使其评估策略适应每个输入,并且可以显式地以数字精度换取速度。我们在连续深度残差网络和连续时间潜变量模型中证明了这些性质。我们还构建了连续的规范化流程,生成模型,可以训练最大似然,而不分区或排序的数据维度。为了训练,我们展示了如何通过任何ODE求解器可伸缩地反向传播,而无需访问其内部操作。这允许在更大的模型中进行ODE的端到端训练。
2026-10-09 cs.AI cs.LG stat.ML
Continuous-Time Digital Twin with Analogue Memristive Neural Ordinary Differential Equation Solver
the University of Hong Kong(香港大学);ACCESS – AI Chip Center for Emerging Smart Systems, InnoHK Centers(ACCESS——新兴智能系统AI芯片中心(InnoHK中心));Institute of the Mind, the University of Hong Kong(香港大学心智研究院)
本文提出一种基于忆阻神经常微分方程求解器的连续时间数字孪生方法,通过模拟存算一体架构捕捉连续动力学,在HP忆阻器和Lorenz96实验中显著提升速度与能效。
2024-06-12 cs.AI cs.AR cs.ET
Massively Parallel Continuous Local Search for Hybrid SAT Solving on GPUs
National University of Singapore(新加坡国立大学);Rice University(莱斯大学)
提出FastFourierSAT,一种基于FFT卷积并行计算初等对称多项式的GPU加速混合SAT求解器,梯度计算速度提升100倍以上,并在大规模实例上表现优异。
2023-08-29 cs.AI cs.DC cs.IT