The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks
University of Verona(维罗纳大学)
本文提出#DNN-Verification问题,旨在精确或近似计算导致深度神经网络违反安全属性的输入数量,并给出复杂度分析及一种带概率界限的随机近似方法。
2023-06-19 cs.AI cs.LG
Cellular automata, many-valued logic, and deep neural networks
ETH Zurich(苏黎世联邦理工学院);Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心)
本文通过将一般 CA 与 Łukasiewicz 多值逻辑及连续分段线性函数相联系,证明深度 ReLU 网络可从 CA 演化轨迹中提取逻辑公式,并给出算法、实现及 RNN 动力学构造。
2024-04-08 cs.AI
Multi-Level Attentive Convoluntional Neural Network for Crowd Counting
Beijing University of Technology(北京工业大学);China Agricultural University(中国农业大学);JD Finance America Corporation(京东金融美国公司)
近年来,人群计数越来越受到人们的关注。特别是高密度环境下的技术已经成为一个重要的研究内容,而相关的方法对于极密集人群的存在并不是最优的。在本文中,我们提出了一个多层次的注意卷积神经网络(MLAttnCNN)的人群计数。我们提取高层次的上下文信息与多个不同的尺度应用在池,并使用多层次的注意力模块,以丰富在不同的层的特征,以实现更有效的多尺度特征融合,这是能够被用来生成一个更准确的密度图与膨胀卷积和$1\times 1$卷积。在三个可用的公共数据集上的广泛实验表明,我们提出的网络实现了优于最先进的方法。
2021-05-24 cs.AI cs.CV
Neural-Symbolic Recommendation with Graph-Enhanced Information
Huzhou University(湖州师范学院);Guizhou University(贵州大学)
本文提出一种结合图神经网络全局隐式推理与命题逻辑局部显式推理的神经符号推荐模型,在五个公开数据集上取得了优于现有方法的推荐效果。
2023-07-11 cs.AI cs.IR
Bounding and Counting Linear Regions of Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);The University of Utah(犹他大学)
我们研究了表示分段线性(PWL)函数的深度神经网络(DNN)的复杂性。特别是,我们研究了由DNN表示的PWL函数在理论和经验上可以达到的线性区域(即块)的数量。我们提出了(i)整流器网络上线性区域的最大数量的更严格的上限和下限,这对于一维输入是精确的;(ii)多层maxout网络的第一个上限;以及(iii)通过用混合整数线性公式对DNN建模来执行精确枚举或区域数量计数的第一种方法。这些边界来自于利用定义每个线性区域的空间的维度。结果还表明,一个深整流器网络只能有更多的线性区域比每个浅对应相同数量的神经元,如果该数量超过了输入的维数。
2018-09-16 cs.AI cs.LG cs.NE
Graph Convolutional Networks with Dual Message Passing for Subgraph Isomorphism Counting and Matching
the Hong Kong University of Science and Technology(香港科技大学)
图神经网络(GNNs)和消息传递神经网络(MPNNs)在许多应用中已经被证明是对子图结构的表达。异构图中的一些应用需要显式的边建模,例如子图同构计数和匹配。然而,现有的消息传递机制在理论上设计得并不好。在本文中,我们从一个特殊的边到点的变换,并利用同构性质的边到点的对偶图。证明了在原图上搜索同构等价于在其对偶图上搜索同构。基于这一观察,我们提出了双消息传递神经网络(DMPNN),以增强子结构表示学习的异步方式子图同构计数和匹配,以及无监督节点分类。大量的实验证明了DMPNN的鲁棒性能相结合的节点和边表示学习在合成和真实的异构图。代码可在www.example.com上获得。
2021-12-16 cs.LG
Boosting the Cycle Counting Power of Graph Neural Networks with I$^2$-GNNs
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
本研究提出I$^2$-GNNs,通过为根节点及其邻居分配不同标识符,增强子图MPNNs的环计数能力,使其能在线性时间内计数所有3至6环,并在分子预测中表现优异。
2023-05-08 cs.LG
Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出一种新的局部邻域递归池化技术,使GNN能计数大小为k的子图,克服低阶GNN局限,并利用稀疏性降低计算复杂度,同时给出信息论与时间复杂度的下界。
2021-10-11 cs.LG
Encoder-Decoder Based Convolutional Neural Networks with Multi-Scale-Aware Modules for Crowd Counting
Graduate School of Information Science and Technology Osaka University(大阪大学信息科学与技术研究生院);Institute of Scientific and Industrial Research Osaka University(大阪大学科学与工业研究所);Department of Computer Engineering Faculty of Engineering Chulalongkorn University(朱拉隆功大学工程学院计算机工程系)
在本文中,我们提出了两个修改后的神经网络的基础上,双路径多尺度融合网络(SFANet)和SegNet的准确和有效的人群计数。第一个模型是受SFANet的启发,附加了空间金字塔池(ASPP)和上下文感知模块(CAN)的M-SFANet模型。M-SFANet的编码器通过ASPP增强,ASPP包含具有不同采样率的并行atrous卷积层,因此能够提取目标对象的多尺度特征并结合更大的上下文。为了进一步处理整个输入图像的尺度变化,我们利用CAN模块,该模块自适应地编码上下文信息的尺度。结合产生一个有效的模型,在密集和稀疏的人群场景计数。基于SFANet解码器结构,M-SFANet的解码器具有用于密度图和注意力图生成的双路径。第二个模型被称为M-SegNet,它是通过用SegNet中使用的最大解池来替换SFANet中的双线性上采样而产生的。这一变化提供了一个更快的模式,同时提供竞争力的计数性能。M-SegNet专为高速监控应用而设计,没有额外的多尺度感知模块,以免增加复杂性。这两种模型都是基于编码器-解码器的架构,并且是端到端可训练的。我们对五个人群计数数据集和一个车辆计数数据集进行了广泛的实验,以表明这些修改产生的算法可以改进最先进的人群计数方法。代码可在https://github.com/Pongpisit-Thanasutives/Variations-of-SFANet-for-Cro…
2020-11-25 cs.AI cs.CV
Machine Learning Meets The Herbrand Universe
Radboud University Nijmegen(拉德堡德大学(奈梅亨));Czech Technical University in Prague(布拉格捷克理工大学);University of Manchester(曼彻斯特大学)
基于CDCL的强命题(SAT)求解器的出现极大地推进了自动推理(AR)的几个领域。因此,AR的一个方向是将SAT求解器应用于表达形式,如一阶逻辑,今天存在大量的一般数学问题。这是可能的,由于Herbrand定理,它允许减少一阶问题的命题问题的实例化。核心挑战是从通常无限的Herbrand宇宙中选择正确的实例。在这项工作中,我们开发了第一个机器学习系统针对这一任务,解决其组合和不变性。特别是,我们开发了一个GNN2RNN架构的基础上不变的图神经网络(GNN),学习问题和他们的解决方案独立的符号名称(解决丰富的skolems),结合递归神经网络(RNN),建议为每个子句的实例。然后,该架构在数学问题及其基于实例的证明的语料库上进行训练,并以多种方式评估其性能。我们表明,经过训练的系统在预测正确的实例方面达到了很高的准确性,并且当与地面求解器相结合时,它能够通过受过教育的猜测来解决许多问题。据我们所知,这是第一次令人信服地使用机器学习从任意Herbrand宇宙中合成相关元素。
2022-10-07 cs.AI cs.LG cs.LO
On the dimension of pullback attractors in recurrent neural networks
本文研究了递归神经网络中拉回吸引子的维度,通过非自治动力系统方法证明其盒维数上限与输入序列空间相关,揭示了共振计算机在吸引子重建和动态不变量计算中的有效性。
2025-11-25 cs.AI cs.LG math.DS
The Good Old Davis-Putnam Procedure Helps Counting Models
正如最近所示,许多重要的人工智能问题需要计算命题公式的模型数量。根据目前的知识,在最坏的情况下,计算这种公式的模型的问题是难以解决的。基于Davis-Putnam过程,我们提出了一个算法CDP,它可以计算命题CNF或DNF公式F的精确模型数。设m和n分别为F的子句数和变量数,p表示F的文字l出现在F的子句C中的概率,则CDP的平均运行时间为O(nm^d),其中d=-1/log(1-p). CDP的实际性能已经在一系列实验中对各种CNF公式进行了估计。
2011-06-01 cs.AI
DeSCo: Towards Generalizable and Scalable Deep Subgraph Counting
Tsinghua University(清华大学);Yale University(耶鲁大学)
DeSCo提出了一种可扩展的深度子图计数流水线,通过规范划分、异构图神经网络和门控传播,在八个数据集上实现137倍误差降低,并保持多项式复杂度。
2023-12-20 cs.LG cs.SI
Stable Model Counting and Its Application in Probabilistic Logic Programming
National ICT Australia(澳大利亚国家信息与通信技术研究院);The University of Melbourne(墨尔本大学)
模型计数是计算满足给定命题理论的模型的数量的问题。它最近被应用于解决概率逻辑编程中的推理任务,其目标是计算给定查询为真的概率,提供一组相互独立的随机变量,一个模型(逻辑程序)和一些证据。解决这一推理任务的核心是将逻辑程序转换为命题理论并使用模型计数器。在本文中,我们表明,对于一些问题,涉及归纳的定义,如在图中的可达性,翻译的逻辑程序SAT可以是昂贵的目的,解决推理任务。对于这样的问题,直接实现稳定的模型语义允许更有效的解决。我们提出了两种实现技术,基于无根据集检测,扩展一个命题模型计数器的稳定模型计数器。我们的实验表明,对于特定的问题,我们的方法可以优于一个国家的最先进的概率逻辑编程求解器的几个数量级的运行时间和空间的要求,并可以解决显着更大的规模上,目前的求解器运行的时间或内存的实例。
2014-11-20 cs.AI
Complexity of Propositional Abduction for Restricted Sets of Boolean Functions
Laboratoire d’Informatique Fondamentale(基础信息学实验室);CNRS(法国国家科学研究中心);Université d’Aix-Marseille II(艾克斯-马赛第二大学);Gottfried Wilhelm Leibniz Universität(戈特弗里德·威廉·莱布尼茨大学)
溯因推理是非单调推理的一种基本而重要的形式。给定一个解释世界如何运行的知识库,它旨在为一些观察到的现象找到解释。在本文中,我们专注于命题溯因,其中的知识库和表现形式表示的命题公式。决定是否存在解释的问题一般被证明是SigmaP 2-完全的。我们考虑通过限制允许的连接词在公式中的某些集合的布尔函数的变体。我们给出了一个完整的分类的复杂性的所有可观的布尔函数集。通过这种方式,我们确定更容易的情况下,即NP完全和多项式的情况下,我们突出的棘手的来源。此外,我们解决的问题,计数的解释,并绘制一个完整的图片计数的复杂性。
2010-06-28 cs.AI cs.CC cs.LO
Top-Down Knowledge Compilation for Counting Modulo Theories
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学);University of Trento(特伦托大学)
本文研究计数模理论(#SMT)的知识编译问题,提出基于穷举DPLL(T)搜索轨迹的自顶向下编译策略,以高效获得支持计数的表示形式。
2023-11-30 cs.AI
Adversarial Model Extraction on Graph Neural Networks
Binghamton University(宾汉姆顿大学)
随着深度神经网络的出现,出现了各种利用方法,例如欺骗分类器或污染其训练数据。另一种此类攻击被称为模型提取,其中提供对某些黑盒神经网络的API访问,对手提取底层模型。这是通过查询模型来完成的,查询的方式是底层神经网络为对手提供足够的信息来重建。虽然一些工作已经取得了令人印象深刻的结果与神经网络提取的命题域,这个问题还没有考虑过的关系域,其中数据样本不再被认为是独立同分布(iid)。图神经网络(GNN)是一种流行的深度学习框架,用于在关系数据上执行机器学习任务。在这项工作中,我们形式化了GNN提取的一个实例,提出了一个具有初步结果的解决方案,并讨论了我们的假设和未来的方向。
2019-12-16 cs.LG stat.ML
Complexity of Faceted Explanations in Propositional Abduction
Jönköping University(约克ping大学);Jönköping University, Linköping University(约克ping大学、林克比大学);Linköping University(林克比大学)
本文研究了命题反向推理中分面解释的复杂性,提出通过分面分析来更细致地理解解释的异质性,并在Post框架中实现了几乎完全的刻画。
2025-07-20 cs.AI cs.CC cs.LO
Propositional Logic for Probing Generalization in Neural Networks
University of Amsterdam(阿姆斯特丹大学);CLCG, Rijksuniversiteit Groningen(CLCG,格罗宁根大学);ILLC, University of Amsterdam(ILLC,阿姆斯特丹大学)
本文构建命题逻辑受控任务与均衡数据集,评估 Transformers、GCN 和 LSTM 对未见逻辑运算符组合的泛化,揭示标准架构尤其难以组合性处理否定。
2025-06-10 cs.AI cs.LG
On the tractable counting of theory models and its application to belief revision and truth maintenance
近年来,我们引入了可分解否定范式(DNNF)作为命题理论的一种易处理的形式,并提供了一些可以在多项式时间内对其执行的强大的逻辑运算。提出了一种将任意合取范式编译为DNNF的算法,并从结构上保证了其空间复杂度和时间复杂度。在本文中,我们提出了一个线性时间算法转换成一个等价的DNNF的有序二元决策图(OBDD)表示的命题理论,显示DNNF的规模以及OBDD。我们还确定了一个子类的DNNF,我们称之为确定性DNNF,D-DNNF,并表明,以前的复杂性保证编译DNNF继续持有这个更严格的子类,它具有更强的属性。特别是,我们提出了一个新的操作d-DNNF,它允许我们计算其模型下的断言,收回和翻转的每一个字面量通过遍历d-DNNF两次。也就是说,在这样的遍历之后,我们可以在恒定时间内测试:d-DNNF对任何文字的蕴涵,以及在任何文字的撤回或翻转下d-DNNF的一致性。我们展示了这些新的操作的意义,显示他们如何让我们实现线性时间,完整的真理维护系统和线性时间,完整的信念修正系统的两个重要类别的命题理论。
2000-03-09 cs.AI
Exact ASP Counting with Compact Encodings
National University of Singapore(新加坡国立大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Toronto(多伦多大学)
针对现有精确ASP计数器难以处理大规模输入、可扩展性差的问题,本文提出sharpASP框架,通过替代答案集定义迁移命题模型计数关键技术,在1470个基准上实现了显著性能提升。
2023-12-19 cs.AI cs.LO
Seed Kernel Counting using Domain Randomization and Object Tracking Neural Networks
Villanova University(维拉诺瓦大学);Kansas State University(堪萨斯州立大学)
本文提出利用合成图像训练YOLOv8并结合StrongSORT与ByteTrack目标跟踪算法,构建低成本种子籽粒计数器,在大豆和小麦上分别取得最高96.8%和93.2%的计数准确率。
2024-08-01 cs.AI cs.CV
Local Fragments, Global Gains: Subgraph Counting using Graph Neural Networks
Indian Institute of Technology Gandhinagar(印度理工学院冈德辛加尔)
本文提出局部k-WL算法和碎片技术,利用图神经网络提高子图计数的表达能力和效率,并展示其在复杂模式计数中的应用。
2025-11-30 cs.DS cs.LG
Automated proof synthesis for propositional logic with deep neural networks
National Institute of Informatics(国立情报学研究所);Kyoto University(京都大学)
这项工作探索了深度学习的应用,深度学习是一种以深度神经网络(DNN)为核心的机器学习技术,它可以用于自动定理证明(ATP)问题。为此,我们构建了一个统计模型,量化的可能性,证明确实是一个正确的一个给定的命题。基于这个模型,我们给出了一个证明合成过程,搜索的顺序的可能性的证明。这个过程使用一个估计的可能性的推理规则被应用在每一步的证明。作为估计器的实现,我们提出了一个命题证明架构,这是一个DNN定制的自动证明合成问题。为了实证证明它的有用性,我们应用我们的模型来合成命题逻辑的证明。我们使用命题证明对的训练数据集训练命题证明模型。对基准集的评价显示了非常高的准确性和改进最近的工作的神经证明合成。
2018-05-30 cs.AI cs.LG cs.LO
Counting the Number of Solutions to Constraints
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
与约束满足问题相比,计数问题受到的关注较少。本文综述了约束问题解的个数计算问题的研究工作。约束可以采取各种形式,包括命题逻辑中的公式、实数或整数上的线性不等式、线性约束的布尔组合。我们描述了一些解决计数问题的技术和工具,以及一些应用(例如,自动推理、程序分析、形式化验证和信息安全的应用)。
2020-12-28 cs.AI cs.SE
Encoder-Decoder Transformers: Logical Characterizations and Periodicity
Mathematics Research Centre, Tampere University(塔尔皮奥大学数学研究中心)
本文通过一种新的时序逻辑对编码器-解码器变换器进行逻辑刻画,扩展了命题逻辑并引入计数全局模态和过去模态,同时探讨了变换器在自回归设置中的应用。
2026-09-29 cs.AI cs.LO
The Model Counting Competitions 2021-2023
CNRS(法国国家科学研究中心);CRIL(CRIL实验室)
本文全面回顾2021-2023年模型计数竞赛,涵盖MC、WMC、PMC和PWMC四个赛道,详述执行过程与结果,并强调高参与度及求解器技术的多样性。
2025-01-31 cs.AI cs.DS cs.LO
Towards Proof Synthesis Guided by Neural Machine Translation for Intuitionistic Propositional Logic
IBM Research -- Tokyo(IBM研究院(东京));Kyoto University(京都大学)
受深度神经网络(DNN)在机器学习中的最新发展的启发,我们探索了它们在PL相关主题中的应用。本文是实现这一目标的第一步;我们提出了一种无否定命题逻辑的证明合成方法,其中我们使用DNN来获得证明搜索的指南。这个想法是把证明综合问题看作是从命题到其证明的转换。我们训练seq 2seq,这是神经机器翻译中的一个流行网络,因此它生成一个编码为给定命题的$λ$ -项的证明。我们实现了整个框架,并根据经验观察到,生成的证明项在AST的树编辑距离方面接近于正确的证明。这一观察结果证明了使用经过训练的seq 2seq模型的输出作为证据搜索的指导是合理的。
2017-06-20 cs.AI cs.LO cs.PL
Projected Model Counting
National ICT Australia(澳大利亚国家信息与通信技术研究院);The University of Melbourne(墨尔本大学)
模型计数是计算满足给定命题理论F的变量V的赋值数量的任务。模型计数是概率推理中的一个重要工具。在本文中,我们介绍了问题的模型计数投影在一个子集P的原始变量,我们称之为“优先级”的变量。任务是计算P的赋值次数,使得存在对“非优先级”变量V的扩展满足F。当模型的某些部分与计数无关时,特别是当我们需要额外的变量来模拟我们在SAT中计数的问题时,就会出现投影模型计数。我们讨论了三种不同的方法,预计模型计数(其中两个是新的),并比较其性能在不同的基准问题。出席第18届国际会议理论和满意度测试的应用,2015年9月24日至27日,美国德克萨斯州奥斯汀
2015-07-28 cs.AI
Counting Answer Sets via Dynamic Programming
TU Wien(维也纳工业大学)
虽然近年来命题可满足性(#SAT)的解决方案计数问题重新受到关注,但这一研究趋势并没有影响其他AI解决范式,如答案集编程(ASP)。虽然ASP求解器被设计为枚举所有解决方案,因此计数可以很容易地完成,但所有解决方案的具体化是ASP(#ASP)计数问题的明显瓶颈。在本文中,我们提出了基于动态规划的#ASP算法,利用底层(地面)ASP程序的结构。一个原型实现的实验结果表明,与现有的求解器相比,承诺。
2016-12-22 cs.AI cs.CC cs.LO
The Tsetlin Machine -- A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
虽然单个人工神经元很简单,但当在深度网络中互连时,人工神经元提供了最先进的性能。可以说,Tsetlin自动机是一种更简单、更通用的学习机制,能够解决多臂强盗问题。它仅仅依靠一个整数作为记忆,通过递增和递减操作来学习随机环境中的最优行为。本文介绍了由一组Tsetlin自动机组成的Tsetlin机,它用命题公式解决复杂的模式识别问题。为了消除长期存在的信噪比消失的问题,Tsetlin机器使用一种新颖的游戏来编排自动机。此外,输入、模式和输出都表示为比特,而识别和学习依赖于比特操作,从而简化了计算。我们的理论分析建立了纳什均衡的游戏与命题公式,提供最佳的模式识别的准确性。这意味着学习没有局部最优,只有全局最优。在五个基准测试中,与SVM、决策树、随机森林、朴素贝叶斯分类器、逻辑回归和神经网络相比,Tsetlin机器提供了具有竞争力的准确性。我们进一步展示了如何命题公式促进解释。总之,我们相信高精度,可解释性和计算简单性的结合使Tsetlin机成为广泛领域的有前途的工具。
2021-01-02 cs.AI cs.CV cs.LG
Approximate SMT Counting Beyond Discrete Domains
Chennai Mathematical Institute, India IAI, TCG CREST, Kolkata, India(钦奈数学研究所,印度 IAI,TCG CREST,科利尔,印度);Georgia Institute of Technology, USA University of Toronto, Canada(佐治亚理工学院,美国 蒙特利尔大学,加拿大)
pact是一种用于混合公式的SMT模型计数器,通过哈希技术实现高效解计数,显著提升了性能。
2026-02-26 cs.AI cs.LO
Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning
Preferred Networks, Inc.(首选网络公司)
自动定理证明(ATP)中的问题求解可以被解释为证明者逐步构造证明树的搜索问题。本文提出了一种用于直觉命题逻辑中证明搜索的深度强化学习算法。将深度学习应用于ATP的最大挑战是缺乏大型公共定理数据库。然而,我们通过在强化学习的每次迭代中应用新的数据增强过程来克服这个问题。我们还提高了算法的效率,通过一种新的紧凑图表示公式的语法结构。使用大量的扩充数据,我们训练高度精确的图神经网络,其近似公式的语法结构的集合的价值函数。我们的方法在计算时间方面也具有成本效益。我们将展示我们的证明器优于Coq的$\texttt{tauto}$策略,这是一种基于人类工程学的证明器。在指定的时间限制内,我们的证明器解决了基准库中84%的定理,而$\texttt{tauto}$只能解决52%。
2018-11-02 cs.AI cs.LG cs.LO
Propositional Knowledge Representation and Reasoning in Restricted Boltzmann Machines
The Australian E-health research centre, CSIRO(澳大利亚电子健康研究中心(CSIRO));Level 5, UQ Health Science Building(昆士兰大学健康科学大楼5层);Brisbane, QLD 4026, Australia(布里斯班,昆士兰州4026,澳大利亚);CSIRO(英联邦科学与工业研究组织)
虽然知识表示和推理被认为是人类水平的人工智能的关键,但连接主义网络由于其在不确定性下的鲁棒学习和灵活推理能力而在广泛的应用中取得了成功。在联结主义网络中表示符号知识的思想已经受到了广泛的欢迎,并引起了研究界的广泛关注,因为这可以为可扩展学习和合理推理的集成奠定基础。在以前的工作中,存在许多方法,映射逻辑推理规则与人工神经网络(ANN)的前馈传播。然而,人工神经网络的判别结构需要输入/输出变量的分离,这使得它难以进行一般推理,其中任何变量都应该是可推断的。其他方法通过采用生成模型(如对称连接主义网络)来解决这个问题,但是它们很困难且复杂。在本文中,我们提出了一种新的方法来表示限制玻尔兹曼机的命题公式,这是不太复杂,特别是在逻辑蕴涵和霍恩子句的情况下。一个集成系统,然后开发和评估在真实的数据集,显示出可喜的成果。
2018-05-29 cs.AI
(Neural-Symbolic) Machine Learning for Inconsistency Measurement
Friedrich-Alexander Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);University of Koblenz(科布伦茨大学)
本文提出用回归和神经模型预测命题逻辑知识库的不一致性程度值,并通过将不一致性度量的公设推导为符号约束融入学习模型,实验表明该方法可行且能提升预测质量。
2025-02-05 cs.AI
Efficient Knowledge Compilation Beyond Weighted Model Counting
TU Vienna(维也纳工业大学);KU Leuven(鲁汶大学)
逻辑编程的定量扩展通常需要解决所谓的第二级推理任务,即,在加法和乘法之上涉及第三操作(诸如最大化或归一化)的问题,并且因此超出了分布语义下的概率逻辑编程的公知的加权或代数模型计数设置。我们引入二级代数模型计数(2AMC)作为这些问题的通用框架。由于2AMC是(代数)模型计数的forall-exists-SAT是命题可满足性,这是出了名的难以解决。基于知识编译(KC)的第一级技术已被改编为特定的2AMC实例施加可变的顺序约束所产生的电路。然而,这些约束会严重增加电路尺寸,从而降低这种方法的效率。我们表明,我们可以利用2AMC问题的逻辑结构,省略这些约束的一部分,从而限制了负面影响。此外,我们引入并实现了一个策略,以产生一个足够的约束静态,与先验保证KC的性能。我们对几个基准和任务的实证评估证实了我们的理论结果可以转化为更有效的解决在实践中。正在考虑接受TPLP。
2022-05-16 cs.AI cs.LO
Solving Combinatorial Counting Problems with Weighted First-Order Model Counting
School of Artificial Intelligence, Jilin University, Changchun, China;State Key Laboratory of Complex \& Critical Software Environment, Beihang University, China;National Research Center for Educational Materials, China;Tengen Intelligence Institute, China;Czech Technical University in Prague, Prague, Czech Republic
提出Cofola语言,通过类型化声明式编程和加权一阶模型计数(WFOMC)编译流水线,统一解决集合、多重集、排列、划分等组合计数问题。
2026-05-24 cs.AI math.CO
Sequential Enumeration in Large Language Models
University of Padova(帕多瓦大学)
本文研究了大语言模型在序列枚举任务中的能力,发现其在被提示时可部署计数程序,但无法自发进行计数,揭示了神经方法与符号方法在组合泛化上的差距。
2026-01-13 cs.AI cs.LG
Engineering the Neural Automatic Passenger Counter
Interautomation Deutschland GmbH(德国Interautomation有限公司)
自20世纪70年代引入以来,公共交通中的自动乘客计数(APC)已经采用各种机器学习和人工智能方法进行了研究。虽然等效性测试比差异检测(学生t检验)更受欢迎,但前者更难通过以确保低用户风险。另一方面,人工智能的最新发展已经导致算法承诺更高的计数质量(更低的偏差)。然而,基于梯度的方法(包括深度学习)有一个局限性:它们通常会陷入局部最优。在这项工作中,我们探索和利用机器学习的各个方面,以提高可靠性,性能和计数质量。我们使用几个基本参数执行网格搜索:训练集的选择和大小,这类似于交叉验证,以及训练过程中的初始网络权重和随机性。使用这个实验,我们展示了集成分位数等聚合技术如何减少偏差,并给出了结果的总体分布。我们利用测试成功的机会,一个模拟度量的基础上的经验分布。我们还采用了训练后的Monte Carlo量化方法,并引入累积求和,将计数转换为固定方法,并允许无限计数。
2022-03-09 cs.AI cs.LG
Counting Still Counts: Understanding Neural Complex Query Answering Through Query Relaxation
Translational AI Laboratory, Department of Laboratory Medicine Amsterdam University Medical Center, Vrije Universiteit Amsterdam(阿姆斯特丹大学医学中心转化人工智能实验室,实验室医学系,自由大学阿姆斯特丹);Vrije Universiteit Amsterdam(自由大学阿姆斯特丹);University of Stuttgart(斯图加特大学);ELLIS Institute Finland & Abo Akademi University, Turku, Finland(芬兰埃利斯研究所及图尔库芬兰阿博阿卡迪米大学);Elsevier discovery lab, Amsterdam(埃斯勒尔发现实验室,阿姆斯特丹)
通过比较神经模型与基于查询放松的策略,研究发现两者在某些情况下表现相似,且结合两者输出可提升性能,提示需重新评估神经查询回答的进展。
2026-05-11 cs.AI cs.DB cs.LG
Quantum Algorithms for Weighted Constrained Sampling and Weighted Model Counting
University of Ferrara(费拉拉大学)
本文提出量子算法QWCS和QWMC,分别解决加权约束采样和加权模型计数问题,在黑盒模型中实现二次加速。
2024-06-29 cs.AI quant-ph
Unsupervised Neural-Symbolic Integration
The Australian E-Health Research Center, CSIRO(澳大利亚电子健康研究中心,澳大利亚联邦科学与工业研究组织)
符号一直被认为是人类智能的语言,而神经网络具有计算鲁棒性和处理噪声数据的优势。神经-符号的整合可以提供更好的学习和推理,同时通过符号知识的表示提供可解释性的手段。虽然以前的工作集中在有监督的前馈神经网络,很少有人做了无监督的同行。在本文中,我们展示了如何将符号知识集成到无监督神经网络。我们用不同形式的知识来描述我们的方法,包括用于DNA启动子预测的命题逻辑和用于理解家庭关系的一阶逻辑。
2017-06-22 cs.AI
Neural Logic Networks
Tsinghua University(清华大学);Rutgers University(罗格斯大学)
近年来,深度神经网络在许多研究领域取得了巨大的成功。大多数神经网络设计背后的基本思想是从数据中学习相似模式进行预测和推理,缺乏逻辑推理能力。然而,逻辑推理的具体能力对许多理论和实践问题至关重要。在本文中,我们提出了神经逻辑网络(NLN),这是一个动态的神经架构,根据输入的逻辑表达式建立计算图。它学习基本的逻辑运算作为神经模块,并通过网络进行命题逻辑推理进行推理。模拟数据的实验表明,NLN在求解逻辑方程方面取得了显着的性能。对真实数据的进一步实验表明,NLN在协同过滤和个性化推荐任务方面显着优于最先进的模型。
2019-10-17 cs.AI cs.LG cs.NE
Expressive Power of Graph Transformers via Logic
Tampere University(塔尔皮奥大学);Leipzig University(莱比锡大学)
本文研究了图变换器和GPS网络在不同注意力机制下的表达能力,发现其在不同逻辑框架下的等价性。
2026-02-18 cs.AI cs.LO
Modelling the development of counting with memory-augmented neural networks
Princeton Neuroscience Institute(普林斯顿神经科学研究所);University of California Los Angeles(加州大学洛杉矶分校)
学习数数是人类系统概括能力的一个重要例子,而数数的发展往往以一个转折点为特征,即儿童迅速熟练掌握支持这种能力的程序。我们的目标是通过训练强化学习代理在指示时从二进制向量中选择N个项目(称为give- $N$任务)来模拟这个过程。我们发现,基于最近提出的新兴符号绑定网络(ESBN)的记忆增强模块化网络架构在学习过程中表现出类似于人类发展的变化。该模型还能够在其训练集范围之外进行系统外推-例如,仅训练选择1到10个项目,只要它可以使用至少该长度的任意计数序列,它就可以成功选择11到15个项目。与儿童发展的密切相似之处和外推的能力表明,我们的模型可以揭示人类系统性的出现。
2021-05-21 cs.AI cs.NE
DPER: Dynamic Programming for Exist-Random Stochastic SAT
Rice University(莱斯大学)
在贝叶斯推理中,最大后验概率(MAP)问题结合了最可能解释(MPE)和边缘化(MAR)问题。命题逻辑中的对应问题是存在随机可满足性(ER-SSAT)问题,它结合了可满足性(SAT)和加权模型计数(WMC)问题。MAP和ER-SSAT都具有$\operatorname{argmax}_X \sum_Y f(X, Y)$的形式,其中$f$是不相交变量集$X$和$Y$上的实值函数。这两个优化问题要求$X$变量的值分配,该值分配使$f(X, Y)$在$Y$变量的所有值分配上的加权和最大化。ER-SSAT已被证明是一种很有前途的方法,正式验证公平的监督学习。最近,已经提出了分级投影连接树上的动态规划来解决加权投影模型计数(WPMC),这是一个具有$\sum_X \max_Y f(X, Y)$形式的相关问题。我们扩展这个WPMC框架,以准确地解决ER-SSAT和实现一个动态规划求解器命名为DPER。我们的实证评估表明,DPER有助于投资组合的国家的最先进的ER-SSAT求解器(DC-SSAT和erSSAT)通过竞争力的表现低宽度的问题的情况下。
2022-05-19 cs.AI cs.DS cs.LO