The Tsetlin Machine -- A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
虽然单个人工神经元很简单,但当在深度网络中互连时,人工神经元提供了最先进的性能。可以说,Tsetlin自动机是一种更简单、更通用的学习机制,能够解决多臂强盗问题。它仅仅依靠一个整数作为记忆,通过递增和递减操作来学习随机环境中的最优行为。本文介绍了由一组Tsetlin自动机组成的Tsetlin机,它用命题公式解决复杂的模式识别问题。为了消除长期存在的信噪比消失的问题,Tsetlin机器使用一种新颖的游戏来编排自动机。此外,输入、模式和输出都表示为比特,而识别和学习依赖于比特操作,从而简化了计算。我们的理论分析建立了纳什均衡的游戏与命题公式,提供最佳的模式识别的准确性。这意味着学习没有局部最优,只有全局最优。在五个基准测试中,与SVM、决策树、随机森林、朴素贝叶斯分类器、逻辑回归和神经网络相比,Tsetlin机器提供了具有竞争力的准确性。我们进一步展示了如何命题公式促进解释。总之,我们相信高精度,可解释性和计算简单性的结合使Tsetlin机成为广泛领域的有前途的工具。
2021-01-02 cs.AI cs.CV cs.LG
A Scheme for Continuous Input to the Tsetlin Machine with Applications to Forecasting Disease Outbreaks
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
在本文中,我们将一种新的有前途的模式分类工具,即Tsetlin机(TM),疾病预测领域。TM是可解释的,因为它基于操纵命题逻辑中的表达式,利用了大量的Tsetlin自动机(TA)团队。除了可解释之外,这种方法由于其低计算成本和处理噪声的能力而具有吸引力。为了解决预测问题,我们引入了一种预处理方法,扩展了TM,使其可以处理连续输入。简而言之,我们将连续输入转换为基于阈值的二进制表示。由此产生的扩展TM使用人工数据集进行评估和分析。TM进一步应用于预测登革热暴发的所有17个地区在菲律宾使用的时空特性的数据。实验结果表明,TM作出的登革热疫情预测是更准确的支持向量机(SVM),决策树(DT),和几个多层人工神经网络(ANN),无论是在预测精度和F1得分。
2019-06-21 cs.AI cs.LG
A Novel Multi-Step Finite-State Automaton for Arbitrarily Deterministic Tsetlin Machine Learning
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德尔大学);Newcastle University(纽卡斯尔大学)
由于深度学习的高能耗和可扩展性挑战,迫切需要将研究重点转向处理能耗约束。Tsetlin Machines(TM)是最近的一种机器学习方法,与神经网络等相比,它已经证明了显著降低的能量使用,同时在几个基准上表现出具有竞争力的准确性。然而,TM在很大程度上依赖于能量昂贵的随机数生成随机引导一组Tsetlin自动机到TM博弈的纳什均衡。在本文中,我们提出了一种新的有限状态学习自动机,可以取代Tsetlin自动机在TM学习,增加确定性。新的自动机使用多步确定性状态跳跃来加强子模式。同时,抛硬币跳过每$d$次状态更新确保了随机化的多样化。因此,$d$参数允许精细地控制随机化程度。例如,在一个示例中,$d=1$使每次更新都是随机的,而$d=\infty$使自动机完全确定。我们的实证结果表明,总体而言,只有相当程度的决定性降低准确性。能量方面,随机数生成构成TM的切换能量消耗,对于具有高$d$值的较大数据集节省高达11 mW的功率。因此,我们可以使用新的$d$ -参数来权衡精度和能耗,以促进低能耗的机器学习。
2020-07-04 cs.AI cs.LG
Pre-Sorted Tsetlin Machine (The Genetic K-Medoid Method)
Newcastle University(纽卡斯尔大学)
该研究提出基于加速遗传算法与 K-Medoid 聚类的 Tsetlin Machines 预排序框架,通过最大化汉明距离对齐多个独立模型,在 MNIST 级分类任务中显著提升准确率并大幅降低训练与推理时间。
2024-04-08 cs.AI cs.LG cs.NE
On the Convergence of Tsetlin Machines for the XOR Operator
Tsetlin Machine(TM)是一种新颖的机器学习算法,具有几个不同的属性,包括透明推理和使用硬件附近构建块的学习。虽然许多论文探索TM经验,它的许多属性尚未进行数学分析。在这篇文章中,我们分析了TM的收敛性时,输入是非线性相关的输出XOR算子。我们的分析表明,TM,只有两个合取子句,几乎可以肯定地收敛到再生异或,从训练数据在无限的时间范围内学习。此外,分析表明,超参数T如何指导子句的建设,使子句捕捉不同的子模式的数据。因此,我们对XOR收敛性的分析为分析其他更复杂的逻辑表达式奠定了基础。从数学的角度来看,这些分析为为什么TM在几个模式识别问题上获得了最先进的性能提供了新的见解
2021-01-07 cs.AI cs.LG cs.LO
A Tsetlin Machine with Multigranular Clauses
University of Agder(阿格德尔大学)
最近推出的Tsetlin机(TM)提供了竞争力的模式识别精度在几个基准,但是,需要一个三维超参数搜索。在本文中,我们介绍了多粒度Tsetlin机(MTM)。MTM消除了特异性超参数,该参数由TM用于控制其产生的用于识别模式的合取子句的粒度。而不是使用一个固定的全球特异性,我们编码不同的特异性的条款的一部分,使条款多粒度。这使得更容易配置TM,因为超参数搜索空间的维度被减少到仅二维。事实上,事实证明,在将MTM应用于新问题时,所涉及的超参数调整要少得多。此外,我们凭经验证明,MTM提供了类似的性能与精细的特异性优化TM,通过比较它们的性能在合成和真实世界的数据集。
2019-09-16 cs.AI cs.LG stat.ML
A Novel Approach To Implementing Knowledge Distillation In Tsetlin Machines
University of Cincinnati(辛辛那提大学)
本文提出一种在 Tsetlin Machines 中实现知识蒸馏的新方法,利用教师模型输出样本的概率分布为学生模型提供上下文,并提出子句迁移算法初始化学生模型,显著提升了学生模型在图像识别和文本分类任务中的性能且不影响延迟。
2025-04-02 cs.AI cs.LG cs.LO
Coalesced Multi-Output Tsetlin Machines with Clause Sharing
Forsta;University of Agder(阿格德大学)
使用有限状态机来学习模式,Tsetlin机器(TM)在几个基准测试中获得了具有竞争力的准确性和学习速度,并且节省了内存和能源。TM将模式表示为命题逻辑(AND规则)中的合取子句,每个子句投票支持或反对特定输出。虽然对于单输出问题是有效的,但对于多输出问题,每个输出需要单独的TM。使用多个TM会阻碍模式重用,因为每个TM都在一个竖井中运行。在本文中,我们引入子句共享,合并多个TM到一个单一的。每个子句通过使用权重与每个输出相关。正权重使子句投票支持输出$1$,而负权重使子句投票支持输出$0$。因此,这些子句合并以产生多个输出。由此产生的合并Tsetlin机(CoTM)同时学习的权重和每个条款的组成,采用交互随机搜索线(SSL)和Tsetlin自动机(TA)的团队。我们对MNIST、Fashion-MNIST和Kuzushiji-MNIST的实证结果表明,CoTM在$50$ - to $1$-K-子句配置上获得了比TM更高的准确性,表明了重新使用子句的能力。例如,在一个示例中,在Fashion-MNIST上,当每个类使用$50$子句(22 Kb内存)时,准确性从$71.99$ %变为$89.66$ %。当每个类使用多个$1$ K子句时,TM和CoTM的准确性相似,而CoTM在具有$8$ K子句的MNIST上更快地达到峰值准确性$3\times$。我们进一步研究对不平衡的训练数据的鲁棒性…
2021-08-17 cs.AI cs.LG
Exploring Effects of Hyperdimensional Vectors for Tsetlin Machines
University of Agder(阿格德大学)
本文提出基于超维向量的方法,解决Tsetlin机处理复杂数据结构布尔化难题,显著提升模型准确率与学习速度,为其开辟新研究方向。
2024-06-04 cs.AI cs.LG
The Sparse Tsetlin Machine: Sparse Representation with Active Literals
Forsta Labs(福斯塔实验室);Center for AI Research(人工智能研究中心);University of Agder(阿格德尔大学)
针对传统 Tsetlin 机处理稀疏词袋数据时产生大量零值开销的问题,本文提出利用活跃文字的 Sparse Tsetlin Machine,仅处理有效特征以降低内存与计算成本并保持分类竞争力。
2024-05-11 cs.AI cs.FL cs.LG
Logic-based AI for Interpretable Board Game Winner Prediction with Tsetlin Machine
University of Agder(阿格德大学);University of Amsterdam(阿姆斯特丹大学);PwC Switzerland(普华永道瑞士)
Hex是一个回合制的双人连接游戏,具有高分支因子,使游戏随着棋盘大小的增加而变得任意复杂。因此,玩Hex的顶级算法依赖于使用神经网络对棋盘位置的准确评估。然而,当用户想要理解所做预测背后的推理时,神经网络有限的可解释性是有问题的。在本文中,我们建议使用命题逻辑表达式来描述输赢棋盘游戏的立场,促进精确的视觉解释。我们采用Tsetlin机器(TM)从以前玩过的游戏中学习这些表达式,描述棋子必须位于或不位于棋盘位置才能强大。在$6\times6$板上进行的大量实验将我们基于TM的解决方案与流行的机器学习算法(如XGBoost、InterpretML、决策树和神经网络)进行了比较,考虑了$2$到$22$移动的各种板配置。平均而言,TM测试精度为$92.1\%$,优于所有其他评估算法。我们进一步展示了全球的逻辑表达式的解释,并将它们映射到特定的棋盘游戏配置,以调查当地的可解释性。我们相信,由此产生的可解释性为准确的辅助AI和人类-AI协作以及更复杂的预测任务奠定了基础。
2022-03-08 cs.AI cs.LG
Exploring State Space and Reasoning by Elimination in Tsetlin Machines
University of Agder(阿格德大学);Newcastle University(纽卡斯尔大学)
本文通过TM-AE架构和排除推理原理,利用参数s和T调节状态空间,增强子句描述能力,在IMDB数据集上达到90.62%的准确率。
2024-07-17 cs.AI cs.LG
Fuzzy-Pattern Tsetlin Machine
Independent Researcher(独立研究者)
本文提出 FPTM,通过引入模糊子句评估机制替代严格的全有或全无策略,允许部分文字失败时仍按比例贡献投票,从而大幅减少子句数量、内存占用和训练时间,并在多个数据集上实现更高的准确率和推理速度。
2025-08-11 cs.AI cs.LG
Word-level Human Interpretable Scoring Mechanism for Novel Text Detection Using Tsetlin Machines
University of Agder(阿格德尔大学)
新颖性检测的最新研究主要集中在文档级分类,采用深度神经网络(DNN)。然而,DNN的黑盒性质使得很难提取出为什么一个文档被认为是新颖的确切解释。此外,在单词级别处理新颖性对于提供比文档级别更细粒度的分析至关重要。在这项工作中,我们提出了一个Tsetlin机(TM)为基础的体系结构,根据其贡献的新颖性评分个别的话。我们的方法编码的新文件使用的语言模式捕获TM子句的描述。然后,我们采用这种描述来衡量一个词对文档的新颖性有多大贡献。我们的实验结果展示了我们的方法如何将新颖性分解为可解释的短语,成功地测量了新颖性。
2021-05-10 cs.AI cs.CL cs.LG
Target-confidence Recourse Using tSeTlin machines: TRUST
Group Research and Development Det Norske Veritas (DNV)(挪威船级社(DNV)集团研发部)
提出TRUST框架,通过概率Tsetlin机器和贝叶斯优化直接搜索满足用户指定置信度目标的最小输入变化,生成更稳健和可解释的反事实解释。
2026-06-18 cs.AI cs.LG
Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications
University of Agder(阿格德尔大学);Sørlandet Hospital Trust(南挪威医院信托)
该研究提出将Tsetlin机用于文本分类,其在20个新闻组、IMDb及临床数据集上的精度优于多数对比方法,且GPU实现速度更快,兼顾精度与可解释性,适用于医疗等领域。
2026-11-17 cs.CL cs.LG stat.ML
The Tsetlin Machine Goes Deep: Logical Learning and Reasoning With Graphs
Centre for AI Research, University of Agder, Norway(人工智能研究中心,阿格德大学,挪威)
本文提出 GraphTM,通过消息传递在图结构输入上学习嵌套深层逻辑子句,在图像、动作共指、推荐和基因组序列任务中展现高准确率、抗噪性与训练效率。
2025-07-20 cs.AI cs.LG
Self-timed Reinforcement Learning using Tsetlin Machine
Newcastle University(纽卡斯尔大学)
我们提出了一个硬件设计的学习数据路径的Tsetlin机算法,以及延迟分析的推理数据路径。为了生成一个低能耗的硬件,这是适合于普及的人工智能应用程序,我们使用的异步设计技术的混合物-包括Petri网,信号转换图,双轨和并行数据。这项工作建立在以前的设计推理硬件,并包括深入的故障的自动机反馈,概率生成和Tsetlin自动机。结果说明了异步设计在个性化医疗保健和电池供电的物联网设备等应用中的优势,这些应用中能源有限,延迟是一个重要的品质因数。异步电路中的静态时序分析的挑战也得到解决。
2021-09-02 cs.LG eess.SP
AI-Based Clinical Rule Discovery for NMIBC Recurrence through Tsetlin Machines
Newcastle University, UK;Freeman Hospital, UK;Imperial College London \& Newcastle University Centre for Care;School of Engineering Newcastle University, UK
提出基于 Tsetlin Machine 的可解释 AI 模型,用于从临床特征中发现 NMIBC 复发规则,并在 PHOTO 数据集上以 0.80 的 F1 分数优于多种基线。
2025-07-26 cs.AI cs.LG
The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses
University of Agder(阿格德大学);California State University, Sacramento(加州州立大学萨克拉门托分校)
Tsetlin Machine(TM)是一种可解释的模式识别机制,可从数据中构造合取分句。小句捕捉频繁的模式与高的区分能力,提供增加的表达能力与每一个额外的小句。然而,由此产生的精度增益是以计算时间和内存使用的线性增长为代价的。在本文中,我们提出了加权Tsetlin机(WTM),它减少了计算时间和内存使用的加权条款。实值加权允许一个子句替换多个子句,并支持微调每个子句的影响。我们的新方案同时学习子句的组成及其权重。此外,我们通过用平均大小为$p k$(从二项分布中提取的大小)的均匀样本替换成功概率$p$的$k$伯努利试验来提高训练效率。在我们的经验评估中,WTM在MNIST、IMDb和Connect-4上实现了与TM相同的准确性,分别只需要$1/4$、$1/3$和$1/50$子句。在子句数量相同的情况下,WTM优于TM,分别获得了$98.63\%$、$90.37\%$和$87.91\%$的峰值测试精度。最后,我们的新的采样方案减少了样本生成时间的$7$的一个因素。
2020-01-14 cs.AI cs.LG stat.ML
The Probabilistic Tsetlin Machine: A Novel Approach to Uncertainty Quantification
DNV (Det Norske Veritas)(DNV(挪威船级社))
本文提出概率 Tsetlin 机(PTM)框架,通过学习 Tsetlin 自动机状态概率并基于概率采样进行推理,实现了可解释且有效的不确定性量化。
2024-11-13 cs.AI cs.LG
Increasing the Inference and Learning Speed of Tsetlin Machines with Clause Indexing
University of Agder(阿格德尔大学);Temporal Computing
Tsetlin Machine(TM)是一种基于经典Tsetlin自动机(TA)和博弈论的机器学习算法。它进一步利用频繁模式挖掘和资源分配原则来提取数据中的常见模式,而不是依赖于最小化输出错误,这很容易发生过拟合。与神经网络中模式表示的交织性质不同,TM将问题分解为独立的模式,表示为连接子句。子句输出又通过求和和阈值处理组合成分类决策,类似于逻辑回归函数,然而,具有二进制权重和单位步长输出函数。在本文中,我们利用这种层次结构,通过引入一种新的算法,避免评估的条款详尽。相反,我们使用一个简单的查找表,索引的条款上的功能,伪造他们。通过这种方式,我们可以通过证伪快速评估大量子句,只需迭代特征并使用查找表来消除那些证伪的子句。查找表还被构造成便于恒定时间更新,从而也支持在学习期间使用。我们报告了MNIST和Fashion-MNIST图像分类以及IMDb情感分析的分类速度快了15倍,学习速度快了3倍。
2020-04-07 cs.AI cs.LG stat.ML
Uncertainty Quantification in the Tsetlin Machine
Department of IKT University of Agder(信息科技学院阿格德大学);School of Computing and Information University of Pittsburgh(计算与信息学院匹兹堡大学);School of Engineering Newcastle University(工程学院新castle大学)
本文为 Tsetlin 机器提出固有概率分数和不确定性量化方法,通过模拟数据验证其与底层概率的关联,并在 CIFAR-10 图像分类中展示其可解释性价值。
2025-07-05 cs.AI cs.LG
Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data
PwC Switzerland(普华永道瑞士);University of Agder(阿格德大学)
Tsetlin机器(TM)使用命题逻辑中的合取子句来捕获模式,从而便于解释。然而,最近基于TM的方法主要依赖于单独检查所有条款。这种检查不一定能扩展到需要大量子句的复杂预测问题。在本文中,我们提出了封闭形式的表达式来理解为什么TM模型做出特定的预测(局部可解释性)。此外,表达式捕获了模型整体最重要的特征(全局可解释性)。我们进一步介绍了用于测量连续特征的特征值范围的重要性的表达式。这些表达式直接从TM的连接子句中制定,从而可以实时捕获特征的作用,也可以在模型发展的学习过程中捕获特征的作用。此外,从封闭形式的表达式,我们得到了一个新的数据聚类算法可视化高维数据在三维。最后,我们将我们提出的方法与SHAP和最先进的可解释机器学习技术进行比较。对于分类和回归,我们的评估显示了与SHAP的对应关系,以及与XGBoost,可解释的Boosting Machines和Neural Additive Models相比具有竞争力的预测准确性。
2020-07-27 cs.AI cs.LG stat.ML
Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling
Department of Information
使用逻辑子句来表示模式,Tsetlin Machines(TM)最近在几个基准测试中的准确性,内存占用,能量和学习速度方面获得了竞争力。每个TM子句投票支持或反对特定的类,分类使用多数投票解决。虽然子句的评估是快速的,基于二元运算符,但投票使得有必要同步子句评估,从而阻碍并行化。在本文中,我们提出了一个新的计划,去规模化的评估条款,消除投票瓶颈。简而言之,每个子句都在自己的线程中运行,以实现大规模的本地并行性。对于每个训练样本,我们跟踪从局部投票计数中的子句获得的类投票。本地投票计数允许我们将每个子句的处理与其余子句分离,支持分散学习。这意味着,TM大部分时间将操作过时的投票计数。我们在不同的学习任务中评估了所提出的并行化,事实证明,我们的分散式TM学习算法可以很好地处理过时的数据,不会导致学习准确性的重大损失。此外,我们表明,所提出的方法提供了高达50倍的学习速度。最后,对于合理的子句数量(在Tesla V100 GPU上使用20到7,000个子句),学习时间几乎是恒定的。对于足够大的子句数,计算时间近似成比例地增加。因此,我们的并行和异步架构允许处理大量数据集,并使用更多的子句进行操作,以获得更高的准确性。
2021-06-09 cs.AI cs.LG
High resolution microprice estimates from limit orderbook data using hyperdimensional vector Tsetlin Machines
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
本文提出一种基于超维向量Tsetlin机器的微价格纠错模型,利用订单簿高阶不平衡动态调整微价格估计,实现对未来价格的高频稳健预测。
2024-11-18 cs.LG q-fin.ST q-fin.TR
Event-Driven Digital-Time-Domain Inference Architectures for Tsetlin Machines
针对Tsetlin机器推理中算术计算导致的高延迟与功耗问题,提出事件驱动数字时域推理架构,通过延迟累积、赢者通吃等机制优化计算,并在能效和吞吐量上实现数量级提升。
2025-11-12 cs.LG
Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier
University of Agder(阿格德尔大学)
大多数有监督的文本分类方法都假设一个封闭的世界,在训练时,所有的类都存在于数据中。这种假设可能会导致在操作过程中出现不可预测的行为,无论何时出现新的、以前看不见的类。尽管基于深度学习的方法最近已被用于新颖性检测,但由于其黑箱性质,它们的解释具有挑战性。本文讨论了\emph{interpretable}开放世界文本分类,其中训练的分类器必须处理新的类在操作过程中。为此,我们扩展了最近推出的Tsetlin机(TM)与新颖的评分机制。该机制使用TM的合取子句来衡量文本与训练数据所覆盖的类匹配的程度。我们证明,条款提供了一个简洁的可解释的描述已知的主题,我们的评分机制,使人们有可能辨别新的主题从已知的。从经验上讲,我们基于TM的方法在五个数据集中的三个数据集上优于其他七个新颖性检测方案,并且在其余数据集上表现第二和第三好,并且具有可解释的基于命题逻辑的表示的额外好处。
2020-11-17 cs.AI cs.CL cs.LG
Autonomous Collaborative Learning Among an Ensemble of Tsetlin Machines with Consensus-Based Inference
Faculty of Engineering, Bar Ilan University(巴伊兰大学工程学院)
本文针对分布式和去中心化TM学习关注不足的问题,提出基于共识推理的Tsetlin机集成去中心化协作学习范式,各智能体维护私有模型,不交换原始数据,实验表明该范式下分类准确率与集中式模型相当,促进了信息集成融合。
2026-07-23 cs.LG cs.MA
Fast and Compact Tsetlin Machine Inference on CPUs Using Instruction-Level Optimization
thanks: Yefan Zeng, Shengyu Duan, Rishad Shafik, Alex Yakovlev(致谢)
本文提出一种基于指令级位运算和提前退出机制的Tsetlin机器CPU推理优化实现,通过字面量重排序最大化提前退出,在ARM上推理时间最高减少96.71%。
2025-10-17 cs.LG
Quantum-Logic Tsetlin Machines: Interpretable Quantum Machine Learning with Commuting Projector Clauses
Fractal Analytics(分形分析公司)
该研究提出量子逻辑Tsetlin机(QL-TM),将Tsetlin子句学习与量子逻辑关联,经实验验证其在合适语境下可恢复有物理意义的子句,不涉及量子优势宣称。
2026-08-20 cs.LG cs.LO quant-ph
Omni TM-AE: A Scalable and Interpretable Embedding Model Using the Full Tsetlin Machine State Space
Department of ICT University of Agder(信息与通信技术系阿格德大学);School of Engineering Newcastle University(工程学院新castle大学)
本文提出Omni TM-AE,一种利用完整Tsetlin机状态空间构建可重用、可解释嵌入的模型,在多项NLP任务上性能优于主流嵌入模型,实现了性能、可扩展性与可解释性的平衡。
2025-05-22 cs.LG
An FPGA Architecture for Online Learning using the Tsetlin Machine
University College London(伦敦大学学院);The University of Edinburgh(爱丁堡大学);Newcastle University(纽卡斯尔大学);The University of Agder(阿格德大学)
本文提出一种支持片上离线与在线学习的 FPGA 架构,用于实现低复杂度 Tsetlin Machine,并通过模块化设计与内置交叉验证展示其能耗、性能和准确性权衡。
2023-06-01 cs.AI cs.AR cs.LG
Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size
NORCE Norwegian Research Centre(NORCE挪威研究中心);DNV Norway(挪威DNV集团);University of Agder(阿格德尔大学)
Tsetlin机(TM)是一种基于逻辑的机器学习方法,具有透明和硬件友好的关键优势。虽然TM在越来越多的应用程序中达到或超过了深度学习的准确性,但大型子句池往往会产生具有许多文字的子句(长子句)。因此,它们变得不那么容易解释。此外,较长的子句增加了子句逻辑在硬件中的切换活动,消耗更多的功率。本文介绍了一种新的TM学习的变体-子句大小约束TM(CSC-TM)-其中可以设置一个软约束的子句大小。一旦子句包含的文字数量超过约束所允许的数量,它就开始排除文字。因此,过大的子句只会暂时出现。为了评估CSC-TM,我们进行分类,聚类和回归实验的表格数据,自然语言文本,图像和棋盘游戏。我们的研究结果表明,CSC-TM保持准确性与多达80倍的文字。事实上,准确性随着TREC、IMDb和BBC体育的更短条款而增加。在准确性达到峰值后,随着子句大小接近单个字面值,准确性会缓慢下降。最后,我们分析CSC-TM的功耗,并得出新的收敛性能。
2023-01-19 cs.AI cs.LG cs.LO
LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines
Stanford University(斯坦福大学);University of California, Irvine(加州大学伊文斯顿分校);University of the Chinese Academy of Sciences(中国科学院大学)
本文提出一种将LLM知识转化为符号形式的框架,通过三阶段课程生成子意图,利用非否定Tsetlin机提取高置信度语义线索,提升文本分类的可解释性和准确性。
2026-04-14 cs.AI cs.CL cs.LG
Drop Clause: Enhancing Performance, Interpretability and Robustness of the Tsetlin Machine
Center for Artificial Intelligence Research, University of Agder(阿格德大学人工智能研究中心)
在这篇文章中,我们介绍了Tsetlin机器(TM)的一个新变体,它随机丢弃子句,这是TM的关键学习元素。实际上,具有丢弃子句的TM忽略每个时期中根据预定义概率选择的子句的随机选择。这样,在TM的学习阶段引入了额外的随机性。为了探索drop子句对准确性、训练时间、可解释性和鲁棒性的影响,我们在自然语言处理~(NLP)(IMDb、R8、R52、MR和TREC)和图像分类(MNIST、Fashion MNIST、CIFAR-10和CIFAR-100)的九个基准数据集上进行了广泛的实验。与最近的深度学习模型(例如BERT和AlexNET-DFA)相比,我们提出的模型的性能大幅优于基线机器学习算法,并实现了具有竞争力的性能。简而言之,我们观察到与标准TM相比,准确性提高了10%,学习速度提高了2倍至4倍。我们进一步采用卷积TM来记录CIFAR数据集上的可解释结果,可视化TM产生的热图如何通过drop子句变得更可解释。我们还评估了丢弃子句如何通过在图像/语言测试数据中引入损坏和更改来影响学习鲁棒性。我们的研究结果表明,下降条款,使TM更强大的对这样的变化。
2022-01-14 cs.AI cs.LG cs.NE
Macroeconomic Message Passing for Anticipating Foreign Exchange Regime Changes: A Deep Logical Learning Approach using Graph Tsetlin Machines
Centre for Artificial Intelligence Research, University of Agder(人工智能研究中心,阿格德大学);La Jolla Private Wealth Group, Wells Fargo Advisors(拉贾尔私人财富集团,沃尔索尔顾问公司)
该研究提出用图论方法预测外汇货币价格市场制度,纳入宏观经济变量,利用GraphTM框架更新节点特征,通过超向量化有向多重图构建逻辑子句,实证证明此方法对美元兑日元货币对市场制度预测有效。
2026-07-09 cs.CE cs.LG
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder(阿格德大学人工智能研究中心(CAIR))
在向量空间中嵌入单词是最先进的自然语言处理(NLP)中基本的第一步。典型的NLP解决方案采用预定义的向量表示,通过在向量空间中共同定位相似的单词来提高泛化能力。例如,Word2Vec是一个自我监督的预测模型,它使用神经网络捕获单词的上下文。类似地,GLoVe是一种流行的无监督模型,结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务,包括情感分析、文档分类和机器翻译。然而,嵌入是密集的浮点向量,这使得它们的计算成本很高,并且难以解释。在本文中,我们建议用几个定义词来表示词的语义,这些词使用命题逻辑。为了产生这样的逻辑嵌入,我们引入了一个基于Tsetlin Machine的自动编码器,它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成,以定义“咖啡”等其他单词,因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准,优于GLoVe的六个分类任务。此外,我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群,演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
IMPACT:InMemory ComPuting Architecture Based on Y-FlAsh Technology for Coalesced Tsetlin Machine Inference
Newcastle University(纽卡斯尔大学);Peng Cheng Laboratory(鹏城实验室);Technion—Israel Institute of Technology(以色列理工学院);Bernoulli Institute(伯努利研究所)
针对冯·诺依曼架构的数据带宽瓶颈,本文提出基于180nm工艺Y-Flash器件的IMPACT存内计算架构,用于合并Tsetlin机推理,在MNIST上达96.3%准确率,能效显著优于多种存算方案。
2024-12-04 cs.AI cs.AR cs.ET
Explainable Tsetlin Machine framework for fake news detection with credibility score assessment
University of Agder(阿格德大学)
假新闻的扩散,即,新闻故意传播错误信息,对个人和社会构成威胁。尽管有各种事实核查网站,如PolitiFact,但仍需要强大的检测技术来应对假新闻的增加。几个深度学习模型在假新闻分类方面显示出了很好的效果,然而,它们的黑盒性质使得很难解释它们的分类决策和保证模型的质量。我们在这里解决这个问题,提出了一个新的可解释的假新闻检测框架的基础上,最近推出的Tsetlin机(TM)。简而言之,我们利用TM的连接子句来捕获真实和虚假新闻文本的词汇和语义属性。此外,我们使用子句集合来计算假新闻的可信度。为了进行评估,我们在两个公开的数据集PolitiFact和GossipCop上进行了实验,并证明TM框架在准确性方面明显优于先前发布的基线至少$5\%$,并具有可解释的基于逻辑的表示的额外好处。此外,我们的方法提供了比BERT和XLNet更高的F1分数,但是,我们获得的准确性略低。最后,我们提出了一个案例研究我们的模型的可解释性,展示了它如何分解成有意义的词和他们的否定。
2021-05-19 cs.AI cs.CL cs.LG
Verifying Properties of Tsetlin Machines
University of Bergen(卑尔根大学);University of Agder(阿格德大学)
本文提出将 Tsetlin 机精确编码至命题逻辑,并利用 SAT 求解器正式验证其对抗鲁棒性、等价性与相似性,同时在 MNIST 和 IMDB 数据集上实验验证了该方法的有效性。
2023-07-02 cs.LG
A Comparative Study of Feature Selection in Tsetlin Machines
Department of ICT, University of Agder(信息与通信技术系,阿格德大学)
本文针对Tsetlin机(TM)缺乏特征重要性评估工具的问题,评估了包括经典方法、事后解释方法及新型TM内部评分器在内的多种特征选择技术,在12个数据集上建立了首个TM特征选择综合基准。
2025-08-09 cs.LG
MATADOR: Automated System-on-Chip Tsetlin Machine Design Generation for Edge Applications
Newcastle University(纽卡斯尔大学);IIT Jammu(贾姆穆印度理工学院)
MATADOR是一种自动化工具,可将Tsetlin机器模型高效部署到SoC-FPGA上,通过逻辑共享和稀疏性利用,实现比量化/二值深度神经网络快13.4倍、资源节省7倍、功耗降低2倍的边缘推理加速器设计。
2024-03-03 cs.AI cs.AR cs.LG
A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation
University of Agder(阿格德大学)
回归Tsetlin机(RTM)解决了缺乏可解释性阻碍最先进的非线性回归模型。它通过在命题逻辑中使用合取子句来捕获数据中潜在的非线性频繁模式来实现这一点。这些又通过求和组合成连续输出,类似于线性回归函数,但是具有非线性分量和单位权重。尽管RTM已经以具有竞争力的精度解决了非线性回归问题,但是输出的分辨率与所采用的子句的数量成比例。这意味着计算成本随着分辨率的增加而增加。为了减少这个问题,我们在这里引入整数加权RTM条款。我们的整数加权子句是捕获相同子模式的多个子句的紧凑表示-N个重复子句变成一个,具有整数权重N。这将计算成本降低了N倍,并通过更稀疏的表示增加了可解释性。我们进一步介绍了一种新的学习方案,使我们能够同时学习的条款和他们的权重,利用所谓的随机搜索的线上。我们评估的潜力,整数加权RTM经验使用六个人工数据集。结果表明,整数加权RTM是能够获得同等或更好的精度,使用显着更少的计算资源相比,常规RTM。我们进一步表明,整数权重比实值权重的精度更高。
2020-02-04 cs.AI cs.LG stat.ML
The Convolutional Tsetlin Machine
University of Agder(阿格德尔大学);SSHF
卷积神经网络(CNN)在重要的模式识别任务中取得了惊人的成功,但它们存在高计算复杂性和缺乏可解释性的问题。最近的Tsetlin机器(TM)试图解决这一问题,通过使用命题逻辑中易于解释的合取子句来解决复杂的模式识别问题。TM在几个基准测试中提供了有竞争力的准确性,同时保持了可解释性的重要属性。它进一步促进了接近硬件的实现,因为输入、模式和输出都表示为位,而识别和学习依赖于简单的位操作。在本文中,我们通过引入卷积Tsetlin机(CTM)来利用TM范式,作为CNN的可解释替代方案。而TM通过对整个图像使用每个子句一次来对图像进行分类,CTM使用每个子句作为卷积滤波器。也就是说,子句被评估多次,每个参与卷积的图像块评估一次。为了使子句具有位置感知性,每个补丁都进一步增强了其在图像中的坐标。卷积子句的输出是通过对每个补丁上的子句求值的结果进行OR运算来获得的。在TM的学习阶段,评估为1的子句与输入进行对比。对于CTM,我们将其与其中一个补丁进行对比,该补丁是从使子句求值为1的补丁中随机选择的。因此,可以直接采用经典TM的标准I型和II型反馈,而无需进一步修改。CTM在MNIST上获得了99.4%的峰值测试准确度,在Kuzushiji-MNIST上获得了96.31%的峰值测试准确度,在Fashion-MNIST上获得了91.5%的峰值测试准确度,在2D噪声XOR问题上获得了100.0%的峰值…
2019-12-27 cs.AI cs.LG stat.ML
Scalable Bayesian Network Structure Learning Using Tsetlin Machine to Constrain the Search Space
Department of ICT University of Agder(信息与通信技术系阿格德大学)
本文提出利用Tsetlin机约束搜索空间,以提高贝叶斯网络结构学习的效率和准确性。
2025-11-24 cs.LG
Learning Minimalistic Tsetlin Machine Clauses with Markov Boundary-Guided Pruning
University of Agder(阿格德大学);NORCE(挪威研究中心NORCE);PwC Switzerland(普华永道瑞士);Sørlandet Hospital(南挪威医院)
本文提出一种新的 Tsetlin Machine 反馈方案,通过引入上下文特定独立性自动机在训练中剪枝马尔可夫边界外的特征,从而学习极简子句,并从理论和实验上验证了其有效性,将贝叶斯网络与 TM 相联系。
2023-09-12 cs.AI cs.LG
On the Equivalence of the Weighted Tsetlin Machine and the Perceptron
Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
Tsetlin Machine(TM)作为一种内在可解释的机器学习方法已经越来越受欢迎,该方法能够在各种应用上以低计算复杂性实现有希望的性能。TM的可解释性和低计算复杂性继承自用于表示各种子模式的布尔表达式。虽然具有良好的属性,TM还没有去的方法,人工智能的应用,主要是由于其概念和理论的差异相比,感知器和神经网络,这是更广泛的了解和理解。在本文中,我们提供了详细的见解TM的操作概念,并试图弥合感知器和TM之间的理论理解的差距。更具体地说,我们研究的操作概念的TM以下的感知器的分析结构,显示感知器和TM之间的相似之处。通过分析,我们指出,TM的权重更新可以被认为是梯度权重更新的一种特殊情况。我们还进行了TM的实证分析,显示在确定条款长度,可视化的决策边界和获得可解释的布尔表达式TM的灵活性。此外,我们还讨论了TM在其结构和解决更复杂问题的能力方面的优势。
2022-12-27 cs.LG
Interpretable Tsetlin Machine-based Premature Ventricular Contraction Identification
Sichuan University(四川大学);University of Agder(阿格德大学);West China Hospital(华西医院)
基于神经网络的模型在自动长期心电图(ECG)分析中得到了广泛的应用。然而,这种黑箱模型不足以分析可靠性和可解释性至关重要的生理信号。事实上,如何使心电图分析透明化仍然是一个悬而未决的问题。在本研究中,我们开发了一种基于Tsetlin机(TM)的架构,通过分析长期心电图信号来识别室性期前收缩(PVC)。该体系结构是透明的,直接用逻辑AND规则描述模式。为了验证我们方法的准确性,我们将TM性能与卷积神经网络(CNN)的性能进行了比较。我们的数值结果表明,TM在MIT-BIH数据库上提供了与CNN相当的性能。为了验证可解释性,我们提供了解释性图表,显示TM如何从确认和无效模式中识别PVC。我们认为,这些是兼容的医学知识,使他们可以很容易地理解和验证的医生。因此,我们相信这项研究为临床实践中ECG分析的机器学习(ML)铺平了道路。
2023-01-20 cs.LG eess.SP
A Real-Time Tsetlin Machine-based Non-intrusive Load Monitoring System on MCUs
本文提出基于Tsetlin机的NILM框架,解决传统NILM难在MCU部署的问题,在REDD数据集上实现高分类精度,模型体积小、推理延迟低,适配MCU嵌入式应用。
2026-08-28 cs.LG
An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites
Centre for AI Research(人工智能研究中心);University of Agder(阿格德大学)
本文提出基于TM Composites架构并融合多种图像处理技术的TM Specialist工具箱,通过严格超参数搜索在CIFAR-10上实现82.8%的TM新最优准确率,为TM图像分析应用奠定基础。
2025-02-05 cs.AI cs.CV cs.LG
A Relational Tsetlin Machine with Applications to Natural Language Understanding
Centre for AI Research(人工智能研究中心);University of Agder(阿格德尔大学);University of Pittsburgh(匹兹堡大学)
TM是一种模式识别方法,它使用有限状态机进行学习,并使用命题逻辑来表示模式。除了原生解释外,它们还为各种任务提供了具有竞争力的准确性。在本文中,我们提出了一个一阶逻辑为基础的框架与Herbrand语义,以提高计算能力的TM。由此产生的TM是相关的,可以利用自然语言中出现的逻辑结构,学习代表现实世界中行为和后果如何相关的规则。结果是Horn子句的逻辑程序,引入了非结构化数据的结构化视图。在闭域问答中,一阶表示产生了10倍更紧凑的KB,同时回答准确率从94.83%提高到99.48%。该方法对错误,缺失和多余的信息更加强大,提取了对现实世界理解重要的文本方面。
2021-02-22 cs.AI cs.CL cs.LG
ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine
Institute for Clarity in Documentation(文档清晰研究所);Newcastle University(纽卡斯尔大学)
针对Tsetlin机(TM)中文字被同一类正负子句抵消的特性,提出ETHEREAL压缩方法,通过迭代排除自动机状态稀疏逻辑模式,在8个TinyML数据集上实现模型大小减少87.54%、推理能耗和时间较BNNs降一个数量级、内存小于RFs且精度损失小。
2025-02-08 cs.LG
Runtime Tunable Tsetlin Machines for Edge Inference on eFPGAs
Newcastle University(纽卡斯尔大学);Indian Institute of Technology Jammu(贾姆穆印度理工学院);Literal Labs(Literal实验室)
针对eFPGA资源有限的问题,提出基于Tsetlin机器(TM)按位压缩推理架构的运行时可调加速器,实现模型大小等参数动态调整,资源使用更少且能耗降低显著,支持边缘ML应用高效部署。
2025-02-10 cs.AI cs.AR cs.LG