Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size
NORCE Norwegian Research Centre(NORCE挪威研究中心);DNV Norway(挪威DNV集团);University of Agder(阿格德尔大学)
Tsetlin机(TM)是一种基于逻辑的机器学习方法,具有透明和硬件友好的关键优势。虽然TM在越来越多的应用程序中达到或超过了深度学习的准确性,但大型子句池往往会产生具有许多文字的子句(长子句)。因此,它们变得不那么容易解释。此外,较长的子句增加了子句逻辑在硬件中的切换活动,消耗更多的功率。本文介绍了一种新的TM学习的变体-子句大小约束TM(CSC-TM)-其中可以设置一个软约束的子句大小。一旦子句包含的文字数量超过约束所允许的数量,它就开始排除文字。因此,过大的子句只会暂时出现。为了评估CSC-TM,我们进行分类,聚类和回归实验的表格数据,自然语言文本,图像和棋盘游戏。我们的研究结果表明,CSC-TM保持准确性与多达80倍的文字。事实上,准确性随着TREC、IMDb和BBC体育的更短条款而增加。在准确性达到峰值后,随着子句大小接近单个字面值,准确性会缓慢下降。最后,我们分析CSC-TM的功耗,并得出新的收敛性能。
2023-01-19 cs.AI cs.LG cs.LO
Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing
University of Agder(阿格德尔大学);Temporal Computing
Tsetlin Machine(TM)是一种基于经典Tsetlin自动机(TA)和博弈论的机器学习算法。它进一步利用频繁模式挖掘和资源分配原则来提取数据中的常见模式,而不是依赖于最小化输出错误,这很容易发生过拟合。与神经网络中模式表示的交织性质不同,TM将问题分解为独立的模式,表示为连接子句。子句输出又通过求和和阈值处理组合成分类决策,类似于逻辑回归函数,然而,具有二进制权重和单位步长输出函数。在本文中,我们利用这种层次结构,通过引入一种新的算法,避免评估的条款详尽。相反,我们使用一个简单的查找表,索引的条款上的功能,伪造他们。通过这种方式,我们可以通过证伪快速评估大量子句,只需迭代特征并使用查找表来消除那些证伪的子句。查找表还被构造成便于恒定时间更新,从而也支持在学习期间使用。我们报告了MNIST和Fashion-MNIST图像分类以及IMDb情感分析的分类速度快了15倍,学习速度快了3倍。
2020-04-07 cs.AI cs.LG stat.ML
Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling
Department of Information
使用逻辑子句来表示模式,Tsetlin Machines(TM)最近在几个基准测试中的准确性,内存占用,能量和学习速度方面获得了竞争力。每个TM子句投票支持或反对特定的类,分类使用多数投票解决。虽然子句的评估是快速的,基于二元运算符,但投票使得有必要同步子句评估,从而阻碍并行化。在本文中,我们提出了一个新的计划,去规模化的评估条款,消除投票瓶颈。简而言之,每个子句都在自己的线程中运行,以实现大规模的本地并行性。对于每个训练样本,我们跟踪从局部投票计数中的子句获得的类投票。本地投票计数允许我们将每个子句的处理与其余子句分离,支持分散学习。这意味着,TM大部分时间将操作过时的投票计数。我们在不同的学习任务中评估了所提出的并行化,事实证明,我们的分散式TM学习算法可以很好地处理过时的数据,不会导致学习准确性的重大损失。此外,我们表明,所提出的方法提供了高达50倍的学习速度。最后,对于合理的子句数量(在Tesla V100 GPU上使用20到7,000个子句),学习时间几乎是恒定的。对于足够大的子句数,计算时间近似成比例地增加。因此,我们的并行和异步架构允许处理大量数据集,并使用更多的子句进行操作,以获得更高的准确性。
2021-06-09 cs.AI cs.LG
Drop Clause: Enhancing Performance, Interpretability and Robustness of the Tsetlin Machine
Center for Artificial Intelligence Research, University of Agder(阿格德大学人工智能研究中心)
在这篇文章中,我们介绍了Tsetlin机器(TM)的一个新变体,它随机丢弃子句,这是TM的关键学习元素。实际上,具有丢弃子句的TM忽略每个时期中根据预定义概率选择的子句的随机选择。这样,在TM的学习阶段引入了额外的随机性。为了探索drop子句对准确性、训练时间、可解释性和鲁棒性的影响,我们在自然语言处理~(NLP)(IMDb、R8、R52、MR和TREC)和图像分类(MNIST、Fashion MNIST、CIFAR-10和CIFAR-100)的九个基准数据集上进行了广泛的实验。与最近的深度学习模型(例如BERT和AlexNET-DFA)相比,我们提出的模型的性能大幅优于基线机器学习算法,并实现了具有竞争力的性能。简而言之,我们观察到与标准TM相比,准确性提高了10%,学习速度提高了2倍至4倍。我们进一步采用卷积TM来记录CIFAR数据集上的可解释结果,可视化TM产生的热图如何通过drop子句变得更可解释。我们还评估了丢弃子句如何通过在图像/语言测试数据中引入损坏和更改来影响学习鲁棒性。我们的研究结果表明,下降条款,使TM更强大的对这样的变化。
2022-01-14 cs.AI cs.LG cs.NE
A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation
University of Agder(阿格德大学)
回归Tsetlin机(RTM)解决了缺乏可解释性阻碍最先进的非线性回归模型。它通过在命题逻辑中使用合取子句来捕获数据中潜在的非线性频繁模式来实现这一点。这些又通过求和组合成连续输出,类似于线性回归函数,但是具有非线性分量和单位权重。尽管RTM已经以具有竞争力的精度解决了非线性回归问题,但是输出的分辨率与所采用的子句的数量成比例。这意味着计算成本随着分辨率的增加而增加。为了减少这个问题,我们在这里引入整数加权RTM条款。我们的整数加权子句是捕获相同子模式的多个子句的紧凑表示-N个重复子句变成一个,具有整数权重N。这将计算成本降低了N倍,并通过更稀疏的表示增加了可解释性。我们进一步介绍了一种新的学习方案,使我们能够同时学习的条款和他们的权重,利用所谓的随机搜索的线上。我们评估的潜力,整数加权RTM经验使用六个人工数据集。结果表明,整数加权RTM是能够获得同等或更好的精度,使用显着更少的计算资源相比,常规RTM。我们进一步表明,整数权重比实值权重的精度更高。
2020-02-04 cs.AI cs.LG stat.ML
Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier
University of Agder(阿格德尔大学)
大多数有监督的文本分类方法都假设一个封闭的世界,在训练时,所有的类都存在于数据中。这种假设可能会导致在操作过程中出现不可预测的行为,无论何时出现新的、以前看不见的类。尽管基于深度学习的方法最近已被用于新颖性检测,但由于其黑箱性质,它们的解释具有挑战性。本文讨论了\emph{interpretable}开放世界文本分类,其中训练的分类器必须处理新的类在操作过程中。为此,我们扩展了最近推出的Tsetlin机(TM)与新颖的评分机制。该机制使用TM的合取子句来衡量文本与训练数据所覆盖的类匹配的程度。我们证明,条款提供了一个简洁的可解释的描述已知的主题,我们的评分机制,使人们有可能辨别新的主题从已知的。从经验上讲,我们基于TM的方法在五个数据集中的三个数据集上优于其他七个新颖性检测方案,并且在其余数据集上表现第二和第三好,并且具有可解释的基于命题逻辑的表示的额外好处。
2020-11-17 cs.AI cs.CL cs.LG
The Convolutional Tsetlin Machine
University of Agder(阿格德尔大学);SSHF
卷积神经网络(CNN)在重要的模式识别任务中取得了惊人的成功,但它们存在高计算复杂性和缺乏可解释性的问题。最近的Tsetlin机器(TM)试图解决这一问题,通过使用命题逻辑中易于解释的合取子句来解决复杂的模式识别问题。TM在几个基准测试中提供了有竞争力的准确性,同时保持了可解释性的重要属性。它进一步促进了接近硬件的实现,因为输入、模式和输出都表示为位,而识别和学习依赖于简单的位操作。在本文中,我们通过引入卷积Tsetlin机(CTM)来利用TM范式,作为CNN的可解释替代方案。而TM通过对整个图像使用每个子句一次来对图像进行分类,CTM使用每个子句作为卷积滤波器。也就是说,子句被评估多次,每个参与卷积的图像块评估一次。为了使子句具有位置感知性,每个补丁都进一步增强了其在图像中的坐标。卷积子句的输出是通过对每个补丁上的子句求值的结果进行OR运算来获得的。在TM的学习阶段,评估为1的子句与输入进行对比。对于CTM,我们将其与其中一个补丁进行对比,该补丁是从使子句求值为1的补丁中随机选择的。因此,可以直接采用经典TM的标准I型和II型反馈,而无需进一步修改。CTM在MNIST上获得了99.4%的峰值测试准确度,在Kuzushiji-MNIST上获得了96.31%的峰值测试准确度,在Fashion-MNIST上获得了91.5%的峰值测试准确度,在2D噪声XOR问题上获得了100.0%的峰值…
2019-12-27 cs.AI cs.LG stat.ML
Exploring State Space and Reasoning by Elimination in Tsetlin Machines
University of Agder(阿格德大学);Newcastle University(纽卡斯尔大学)
本文通过TM-AE架构和排除推理原理,利用参数s和T调节状态空间,增强子句描述能力,在IMDB数据集上达到90.62%的准确率。
2024-07-17 cs.AI cs.LG
Generalized Convergence Analysis of Tsetlin Machines: A Probabilistic Approach to Concept Learning
NILU, Climate and environmental research institute(NILU 气候与环境研究所);University of Agder(阿格德大学);Oslo Metropolitan University(奥斯陆城市大学)
针对Tsetlin机广义情形下AND算子收敛证明缺失的问题,提出概率概念学习框架PCL,证明当包含概率在(0.5,1)区间时PCL收敛到文字合取,为相关理论与应用研究提供支撑。
2023-10-03 cs.AI
On the Convergence of Tsetlin Machines for the XOR Operator
Tsetlin Machine(TM)是一种新颖的机器学习算法,具有几个不同的属性,包括透明推理和使用硬件附近构建块的学习。虽然许多论文探索TM经验,它的许多属性尚未进行数学分析。在这篇文章中,我们分析了TM的收敛性时,输入是非线性相关的输出XOR算子。我们的分析表明,TM,只有两个合取子句,几乎可以肯定地收敛到再生异或,从训练数据在无限的时间范围内学习。此外,分析表明,超参数T如何指导子句的建设,使子句捕捉不同的子模式的数据。因此,我们对XOR收敛性的分析为分析其他更复杂的逻辑表达式奠定了基础。从数学的角度来看,这些分析为为什么TM在几个模式识别问题上获得了最先进的性能提供了新的见解
2021-01-07 cs.AI cs.LG cs.LO
Contracting Tsetlin Machine with Absorbing Automata
University of Agder(阿格德大学);Newcastle University(纽卡斯尔大学)
本文提出一种具有吸收Tsetlin自动机状态的稀疏Tsetlin机,通过引入吸收Exclude和Include状态及稀疏数据结构,使模型在学习过程中不断缩小并加速计算,从而实现更快学习和更低能耗。
2023-10-17 cs.AI cs.FL
A Novel Approach To Implementing Knowledge Distillation In Tsetlin Machines
University of Cincinnati(辛辛那提大学)
本文提出一种在 Tsetlin Machines 中实现知识蒸馏的新方法,利用教师模型输出样本的概率分布为学生模型提供上下文,并提出子句迁移算法初始化学生模型,显著提升了学生模型在图像识别和文本分类任务中的性能且不影响延迟。
2025-04-02 cs.AI cs.LG cs.LO
Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data
PwC Switzerland(普华永道瑞士);University of Agder(阿格德大学)
Tsetlin机器(TM)使用命题逻辑中的合取子句来捕获模式,从而便于解释。然而,最近基于TM的方法主要依赖于单独检查所有条款。这种检查不一定能扩展到需要大量子句的复杂预测问题。在本文中,我们提出了封闭形式的表达式来理解为什么TM模型做出特定的预测(局部可解释性)。此外,表达式捕获了模型整体最重要的特征(全局可解释性)。我们进一步介绍了用于测量连续特征的特征值范围的重要性的表达式。这些表达式直接从TM的连接子句中制定,从而可以实时捕获特征的作用,也可以在模型发展的学习过程中捕获特征的作用。此外,从封闭形式的表达式,我们得到了一个新的数据聚类算法可视化高维数据在三维。最后,我们将我们提出的方法与SHAP和最先进的可解释机器学习技术进行比较。对于分类和回归,我们的评估显示了与SHAP的对应关系,以及与XGBoost,可解释的Boosting Machines和Neural Additive Models相比具有竞争力的预测准确性。
2020-07-27 cs.AI cs.LG stat.ML
The Tsetlin Machine Goes Deep: Logical Learning and Reasoning With Graphs
Centre for AI Research, University of Agder, Norway(人工智能研究中心,阿格德大学,挪威)
本文提出 GraphTM,通过消息传递在图结构输入上学习嵌套深层逻辑子句,在图像、动作共指、推荐和基因组序列任务中展现高准确率、抗噪性与训练效率。
2025-07-20 cs.AI cs.LG
On the Convergence of Tsetlin Machines for the IDENTITY- and NOT Operators
University of Agder(阿格德大学);Norwegian Research Centre (NORCE)(挪威研究中心);Confirmit AS(康菲米特公司)
Tsetlin Machine(TM)是最近的一种机器学习算法,具有几个不同的属性,例如可解释性、简单性和硬件友好性。虽然许多经验评估报告其性能,其收敛性的数学分析仍然是开放的。在这篇文章中,我们分析了TM的收敛性,只有一个条款涉及的分类。更具体地说,我们研究了两个基本的逻辑运算符,即“IDENTITY”和“NOT”运算符。我们的分析表明,TM,只有一个条款,可以正确地收敛到预期的逻辑运算符,学习从训练数据在无限的时间范围。此外,它可以捕获任意罕见的模式,当两个候选模式不兼容时,通过配置粒度参数,选择最准确的一个。对这两个基本算子收敛性的分析为分析其他逻辑算子奠定了基础。从数学的角度来看,这些分析为为什么TM在几个模式识别问题上获得了最先进的性能提供了新的见解。
2021-10-11 cs.AI cs.LG
Generating Bayesian Network Models from Data Using Tsetlin Machines
PwC Switzerland(瑞士普华永道)
本文提出一种使用 Tsetlin Machines 从数据中发现并构建 Bayesian Network 网络结构的初步方法,以解决处理数据依赖关系时的建模障碍。
2023-05-17 cs.AI
Learning Minimalistic Tsetlin Machine Clauses with Markov Boundary-Guided Pruning
University of Agder(阿格德大学);NORCE(挪威研究中心NORCE);PwC Switzerland(普华永道瑞士);Sørlandet Hospital(南挪威医院)
本文提出一种新的 Tsetlin Machine 反馈方案,通过引入上下文特定独立性自动机在训练中剪枝马尔可夫边界外的特征,从而学习极简子句,并从理论和实验上验证了其有效性,将贝叶斯网络与 TM 相联系。
2023-09-12 cs.AI cs.LG
Hyperdimensional Vector Tsetlin Machines with Applications to Sequence Learning and Generation
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
本文提出一种结合超维向量计算与Tsetlin机子句结构的两层模型,用于高效学习与生成序列数据,并在UCR时间序列分类等任务中展现出强竞争力。
2024-08-29 cs.AI cs.LG
Explainable Tsetlin Machine framework for fake news detection with credibility score assessment
University of Agder(阿格德大学)
假新闻的扩散,即,新闻故意传播错误信息,对个人和社会构成威胁。尽管有各种事实核查网站,如PolitiFact,但仍需要强大的检测技术来应对假新闻的增加。几个深度学习模型在假新闻分类方面显示出了很好的效果,然而,它们的黑盒性质使得很难解释它们的分类决策和保证模型的质量。我们在这里解决这个问题,提出了一个新的可解释的假新闻检测框架的基础上,最近推出的Tsetlin机(TM)。简而言之,我们利用TM的连接子句来捕获真实和虚假新闻文本的词汇和语义属性。此外,我们使用子句集合来计算假新闻的可信度。为了进行评估,我们在两个公开的数据集PolitiFact和GossipCop上进行了实验,并证明TM框架在准确性方面明显优于先前发布的基线至少$5\%$,并具有可解释的基于逻辑的表示的额外好处。此外,我们的方法提供了比BERT和XLNet更高的F1分数,但是,我们获得的准确性略低。最后,我们提出了一个案例研究我们的模型的可解释性,展示了它如何分解成有意义的词和他们的否定。
2021-05-19 cs.AI cs.CL cs.LG
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder(阿格德大学人工智能研究中心(CAIR))
在向量空间中嵌入单词是最先进的自然语言处理(NLP)中基本的第一步。典型的NLP解决方案采用预定义的向量表示,通过在向量空间中共同定位相似的单词来提高泛化能力。例如,Word2Vec是一个自我监督的预测模型,它使用神经网络捕获单词的上下文。类似地,GLoVe是一种流行的无监督模型,结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务,包括情感分析、文档分类和机器翻译。然而,嵌入是密集的浮点向量,这使得它们的计算成本很高,并且难以解释。在本文中,我们建议用几个定义词来表示词的语义,这些词使用命题逻辑。为了产生这样的逻辑嵌入,我们引入了一个基于Tsetlin Machine的自动编码器,它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成,以定义“咖啡”等其他单词,因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准,优于GLoVe的六个分类任务。此外,我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群,演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Target-confidence Recourse Using tSeTlin machines: TRUST
Group Research and Development Det Norske Veritas (DNV)(挪威船级社(DNV)集团研发部)
提出TRUST框架,通过概率Tsetlin机器和贝叶斯优化直接搜索满足用户指定置信度目标的最小输入变化,生成更稳健和可解释的反事实解释。
2026-06-18 cs.AI cs.LG
Word-level Human Interpretable Scoring Mechanism for Novel Text Detection Using Tsetlin Machines
University of Agder(阿格德尔大学)
新颖性检测的最新研究主要集中在文档级分类,采用深度神经网络(DNN)。然而,DNN的黑盒性质使得很难提取出为什么一个文档被认为是新颖的确切解释。此外,在单词级别处理新颖性对于提供比文档级别更细粒度的分析至关重要。在这项工作中,我们提出了一个Tsetlin机(TM)为基础的体系结构,根据其贡献的新颖性评分个别的话。我们的方法编码的新文件使用的语言模式捕获TM子句的描述。然后,我们采用这种描述来衡量一个词对文档的新颖性有多大贡献。我们的实验结果展示了我们的方法如何将新颖性分解为可解释的短语,成功地测量了新颖性。
2021-05-10 cs.AI cs.CL cs.LG
Logic-based AI for Interpretable Board Game Winner Prediction with Tsetlin Machine
University of Agder(阿格德大学);University of Amsterdam(阿姆斯特丹大学);PwC Switzerland(普华永道瑞士)
Hex是一个回合制的双人连接游戏,具有高分支因子,使游戏随着棋盘大小的增加而变得任意复杂。因此,玩Hex的顶级算法依赖于使用神经网络对棋盘位置的准确评估。然而,当用户想要理解所做预测背后的推理时,神经网络有限的可解释性是有问题的。在本文中,我们建议使用命题逻辑表达式来描述输赢棋盘游戏的立场,促进精确的视觉解释。我们采用Tsetlin机器(TM)从以前玩过的游戏中学习这些表达式,描述棋子必须位于或不位于棋盘位置才能强大。在$6\times6$板上进行的大量实验将我们基于TM的解决方案与流行的机器学习算法(如XGBoost、InterpretML、决策树和神经网络)进行了比较,考虑了$2$到$22$移动的各种板配置。平均而言,TM测试精度为$92.1\%$,优于所有其他评估算法。我们进一步展示了全球的逻辑表达式的解释,并将它们映射到特定的棋盘游戏配置,以调查当地的可解释性。我们相信,由此产生的可解释性为准确的辅助AI和人类-AI协作以及更复杂的预测任务奠定了基础。
2022-03-08 cs.AI cs.LG
Tsetlin Machine for Solving Contextual Bandit Problems
McGill University(麦吉尔大学);University of Agder(阿格德大学)
本文介绍了一个可解释的上下文强盗算法使用Tsetlin机,它解决了复杂的模式识别任务使用命题逻辑。建议的强盗学习算法依赖于简单的位操作,从而简化计算和解释。然后,我们提出了一种机制,执行汤普森采样与Tsetlin机,鉴于其非参数性质。我们的实证分析表明,Tsetlin机器作为一个基本的上下文强盗学习者优于其他流行的基本学习者的八个九个数据集。我们进一步分析了我们的学习者的可解释性,研究如何根据模拟上下文的命题表达式选择武器。
2022-02-04 cs.AI cs.LG cs.NE
Symbolic Graph Intelligence: Hypervector Message Passing for Learning Graph-Level Patterns with Tsetlin Machines
本文提出一种基于稀疏二值超向量与 Tsetlin 机器的多层符号图分类框架,通过结构化消息传递和分层绑定保留图层次语义,并在 TUDataset 上取得具有竞争力的准确率与局部可解释性。
2025-07-22 cs.AI cs.LG
LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines
Stanford University(斯坦福大学);University of California, Irvine(加州大学伊文斯顿分校);University of the Chinese Academy of Sciences(中国科学院大学)
本文提出一种将LLM知识转化为符号形式的框架,通过三阶段课程生成子意图,利用非否定Tsetlin机提取高置信度语义线索,提升文本分类的可解释性和准确性。
2026-04-14 cs.AI cs.CL cs.LG
AI-Based Clinical Rule Discovery for NMIBC Recurrence through Tsetlin Machines
Newcastle University, UK;Freeman Hospital, UK;Imperial College London \& Newcastle University Centre for Care;School of Engineering Newcastle University, UK
提出基于 Tsetlin Machine 的可解释 AI 模型,用于从临床特征中发现 NMIBC 复发规则,并在 PHOTO 数据集上以 0.80 的 F1 分数优于多种基线。
2025-07-26 cs.AI cs.LG
A Relational Tsetlin Machine with Applications to Natural Language Understanding
Centre for AI Research(人工智能研究中心);University of Agder(阿格德尔大学);University of Pittsburgh(匹兹堡大学)
TM是一种模式识别方法,它使用有限状态机进行学习,并使用命题逻辑来表示模式。除了原生解释外,它们还为各种任务提供了具有竞争力的准确性。在本文中,我们提出了一个一阶逻辑为基础的框架与Herbrand语义,以提高计算能力的TM。由此产生的TM是相关的,可以利用自然语言中出现的逻辑结构,学习代表现实世界中行为和后果如何相关的规则。结果是Horn子句的逻辑程序,引入了非结构化数据的结构化视图。在闭域问答中,一阶表示产生了10倍更紧凑的KB,同时回答准确率从94.83%提高到99.48%。该方法对错误,缺失和多余的信息更加强大,提取了对现实世界理解重要的文本方面。
2021-02-22 cs.AI cs.CL cs.LG
The Tsetlin Machine -- A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
虽然单个人工神经元很简单,但当在深度网络中互连时,人工神经元提供了最先进的性能。可以说,Tsetlin自动机是一种更简单、更通用的学习机制,能够解决多臂强盗问题。它仅仅依靠一个整数作为记忆,通过递增和递减操作来学习随机环境中的最优行为。本文介绍了由一组Tsetlin自动机组成的Tsetlin机,它用命题公式解决复杂的模式识别问题。为了消除长期存在的信噪比消失的问题,Tsetlin机器使用一种新颖的游戏来编排自动机。此外,输入、模式和输出都表示为比特,而识别和学习依赖于比特操作,从而简化了计算。我们的理论分析建立了纳什均衡的游戏与命题公式,提供最佳的模式识别的准确性。这意味着学习没有局部最优,只有全局最优。在五个基准测试中,与SVM、决策树、随机森林、朴素贝叶斯分类器、逻辑回归和神经网络相比,Tsetlin机器提供了具有竞争力的准确性。我们进一步展示了如何命题公式促进解释。总之,我们相信高精度,可解释性和计算简单性的结合使Tsetlin机成为广泛领域的有前途的工具。
2021-01-02 cs.AI cs.CV cs.LG
A Comparison Between Tsetlin Machines and Deep Neural Networks in the Context of Recommendation Systems
Centre for Artificial Intelligence Research, University of Agder(阿格德大学人工智能研究中心);University of Agder(阿格德大学)
本文开发了首个基于 Tsetlin Machines 的推荐系统,通过模型性能、可解释性和可扩展性等维度,将其与深度学习等主流模型进行基准对比,评估其在此领域的实用性与可行性。
2022-12-20 cs.AI cs.IR
IMPACT:InMemory ComPuting Architecture Based on Y-FlAsh Technology for Coalesced Tsetlin Machine Inference
Newcastle University(纽卡斯尔大学);Peng Cheng Laboratory(鹏城实验室);Technion—Israel Institute of Technology(以色列理工学院);Bernoulli Institute(伯努利研究所)
针对冯·诺依曼架构的数据带宽瓶颈,本文提出基于180nm工艺Y-Flash器件的IMPACT存内计算架构,用于合并Tsetlin机推理,在MNIST上达96.3%准确率,能效显著优于多种存算方案。
2024-12-04 cs.AI cs.AR cs.ET
An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites
Centre for AI Research(人工智能研究中心);University of Agder(阿格德大学)
本文提出基于TM Composites架构并融合多种图像处理技术的TM Specialist工具箱,通过严格超参数搜索在CIFAR-10上实现82.8%的TM新最优准确率,为TM图像分析应用奠定基础。
2025-02-05 cs.AI cs.CV cs.LG
The Probabilistic Tsetlin Machine: A Novel Approach to Uncertainty Quantification
DNV (Det Norske Veritas)(DNV(挪威船级社))
本文提出概率 Tsetlin 机(PTM)框架,通过学习 Tsetlin 自动机状态概率并基于概率采样进行推理,实现了可解释且有效的不确定性量化。
2024-11-13 cs.AI cs.LG
A Text Classification-Based Approach for Evaluating and Enhancing the Machine Interpretability of Building Codes
Tsinghua University(清华大学)
本研究针对建筑规范机器可解释性评估难题,提出基于预训练领域语言模型和迁移学习的文本分类方法,构建数据集与定量评估体系,提升了分类性能与下游ARI方法效果,并分析了中国建筑规范的可解释性现状。
2023-09-24 cs.AI cs.CL cs.LG
The Interpretability Analysis of the Model Can Bring Improvements to the Text-to-SQL Task
China Life Insurance Company Limited, Jilin Province Branch(中国人寿保险股份有限公司吉林省分公司)
本文提出CESQL模型,将模型可解释性分析与执行引导策略相结合,并辅以过滤调整、逻辑关联优化和模型融合,在WikiSQL数据集上显著提升了文本到SQL任务中WHERE子句的预测准确率。
2025-08-12 cs.AI cs.CL cs.DB
Neural Approaches to SAT Solving: Design Choices and Interpretability
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克布拉格捷克技术大学信息学、机器人学与控制论研究所);University of Ostrava(俄斯特拉发大学)
本文全面评估了图神经网络在布尔可满足性问题上的应用,提出动态适应的最接近赋值监督方法提升大解空间性能,并将模型扩展为支持增量采样的扩散模型,通过嵌入空间分析揭示了其类似MaxSAT连续松弛的可解释推理过程。
2025-04-01 cs.AI cs.LG
Interpretable Multimodal Misinformation Detection with Logic Reasoning
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);University of Washington(华盛顿大学)
针对现有多模态虚假信息检测方法可解释性不足的问题,提出一种融合可解释逻辑子句的神经符号模型,引入五个元谓词提升泛化性,在三个公开数据集上验证了可行性与通用性。
2024-09-14 cs.AI cs.CL cs.MM