Bayes and Naive Bayes Classifier
Rajiv Gandhi University of Knowledge Technologies(拉吉夫·甘地知识技术大学)
贝叶斯分类代表了一种监督学习方法以及一种用于分类的统计方法。假设一个潜在的概率模型,它允许我们通过确定结果的概率以原则性的方式捕获模型的不确定性。该分类以托马斯·贝叶斯(1702-1761)命名,他提出了贝叶斯定理。贝叶斯分类提供了实用的学习算法,先验知识和观测数据可以结合起来。贝叶斯分类为理解和评估许多学习算法提供了一个有用的视角。它计算假设的显式概率,并且对输入数据中的噪声具有鲁棒性。在统计分类中,贝叶斯分类器使错误分类的概率最小化。这是贝叶斯分类器的一个简单案例的视觉直觉,也称为:1)白痴贝叶斯2)朴素贝叶斯3)简单贝叶斯
2014-04-03 cs.LG
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在这项工作中,我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施,这把我们的贡献,在工作线,旨在处理比单纯的标量标准,如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式,我们得到两个界限表明,真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知,这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院);University of Illinois(伊利诺伊大学)
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们通过利用Log-Sobolev不等式的收缩性,提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。从经验上讲,我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);ENSAI/CREST(法国国家统计与信息分析学院/法国国家科研中心计算机科学与随机系统实验室);Preferred Networks(优选网络公司)
由于预测目标的不可避免的不确定性,机器学习模型可以实现的预测性能存在根本限制。在分类问题中,这可以用贝叶斯误差来表征,贝叶斯误差是任何分类器都能达到的最佳误差。贝叶斯误差可以作为评价分类器性能的标准,也可以用来检测测试集过拟合。我们提出了一个简单而直接的贝叶斯误差估计,我们只是采取的平均值的标签,显示\emph{uncertainty}的类分配。我们灵活的方法使我们能够执行贝叶斯误差估计,即使是弱监督数据。与其他方法相比,我们的方法是无模型甚至无实例的。此外,它没有超参数,并且根据经验给出了比几个基线更准确的贝叶斯误差估计。使用我们的方法进行的实验表明,最近提出的深度网络(如视觉Transformer)可能已经达到或即将达到基准数据集的贝叶斯误差。最后,我们讨论了如何通过估计2017年至2023年ICLR论文的贝叶斯误差来研究科学文章接受/拒绝决策的内在困难。
2023-03-13 cs.LG stat.ML
Fully Bayesian Analysis of the Relevance Vector Machine Classification for Imbalanced Data
相关向量机(RVM)是一种基于贝叶斯稀疏模型的支持向量机(SVM)的监督学习算法。与回归问题相比,RVM分类问题由于权参数的后验不存在封闭形式的解而难以进行。原有的RVM分类算法采用牛顿法进行优化,得到权值参数的后验模,然后用拉普拉斯法用高斯分布近似权值参数后验模。它会工作,但只是在贝叶斯框架中应用频率方法。本文提出了一种通用贝叶斯方法的RVM分类。我们猜想,我们的算法实现了收敛估计的数量相比,原来的RVM分类算法的非收敛估计。在此基础上,提出了一种基于层次超先验结构的全贝叶斯RVM分类方法,提高了分类性能,尤其是在不平衡数据问题中。通过数值实验,我们提出的算法获得了很高的分类准确率。对于不平衡数据的分类,全贝叶斯层次超先验方法优于一般方法。
2022-10-27 cs.LG stat.CO stat.ML
Variable selection for Naïve Bayes classification
Universidad de Sevilla(塞维利亚大学);Universidad de Cádiz(加的斯大学)
针对朴素贝叶斯分类受特征相关性影响、高维特征拖慢速度且难解释的问题,提出一种考虑协变量相关结构、支持多性能指标引导与组性能约束的稀疏朴素贝叶斯方法,在平衡及不平衡数据集上均取得有竞争力的效果。
2024-01-31 cs.LG stat.ML
Physics-Informed Machine Learning of Dynamical Systems for Efficient Bayesian Inference
Idaho National Laboratory(爱达荷国家实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
虽然无U形转弯采样器(NUTS)是用于执行贝叶斯推断的广泛采用的方法,但是它需要大量的后验梯度,这在实践中可能是昂贵的。近年来,人们对基于物理的动态(或哈密顿)系统的机器学习产生了极大的兴趣,而哈密顿神经网络(HNN)是一种值得注意的体系结构。但是这些类型的架构还没有被应用于有效地解决贝叶斯推断问题。我们建议使用HNN进行贝叶斯推断有效地,而不需要大量的后验梯度。我们将潜在变量输出引入HNN(L-HNN),以提高表达能力并减少集成错误。我们将L-HNN集成到NUTS中,并进一步提出了一种在线错误监控方案,以防止L-HNN可能具有很少训练数据的区域的采样退化。我们证明了L-HNNs在NUTS与在线错误监控考虑几个复杂的高维后验密度,并比较其性能NUTS。
2022-09-19 cs.LG stat.ML
Bayes-Optimal Fair Classification with Multiple Sensitive Features
Department of Information Systems, Arizona State University(信息系统系,亚利桑那州立大学);Department of Information Systems and Intelligent Business, School of Management, Xi’an Jiaotong University(信息系统与智能商业系,管理学院,西安交通大学)
针对现有贝叶斯最优公平分类仅考虑单一敏感特征的局限,本文刻画多敏感特征下的贝叶斯最优公平分类器形式,提出两种实用算法,实验验证其性能优于现有方法。
2025-11-16 cs.LG stat.ML
PAC-Bayes Analysis for Recalibration in Classification
The University of Osaka, Osaka, Japan(大阪大学);RIKEN Center for Advanced Intelligence Project, Tokyo, Japan(理化学研究所先进人工智能项目)
针对多分类校准理论缺失及参数化重校准算法泛化保证不足的问题,利用PAC-Bayes框架推导出首个可优化的校准泛化误差上界,并提出泛化感知重校准算法以提升性能。
2025-07-11 cs.LG stat.ML
Learning Selectively Conditioned Forest Structures with Applications to DBNs and Classification
Carnegie Mellon University(卡内基梅隆大学)
使用最大后验概率(MAP)估计或贝叶斯模型平均(BMA)处理贝叶斯网络结构中的不确定性通常是棘手的,因为可能的有向非循环图的超指数数量。当先验是可分解的时,可以进行有效学习的两类图是树结构和有限入度的固定序。我们将展示如何MAP估计和BMA选择性条件森林(SCF),这两个类的组合,可以有效地计算有序的变量集。我们将SCF应用于时态数据来学习具有时间步长内森林和时间步长间有限度结构的动态贝叶斯网络,从而在没有结构组合的情况下提高DBN的模型准确性。我们还将SCF应用于贝叶斯网络分类,以学习选择性森林增强朴素贝叶斯分类器。我们认为,内置的特征选择的选择性增强贝叶斯分类器,使他们更可取的类似的非选择性分类器的基础上的经验证据。
2012-06-20 cs.LG stat.ML
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago(芝加哥大学);The University of Illinois at Chicago(伊利诺伊大学香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文研究了PAC-Bayes类型学习规则在二分类中的应用,通过平衡随机后验预测的训练误差与KL散度,提出了一种在噪声环境下改进泛化的学习方法,揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Empirical Bayes Method for Boltzmann Machines
Yamagata University(山形大学);Tokyo Institute of Technology(东京工业大学)
在这项研究中,我们考虑了一个经验贝叶斯方法的玻尔兹曼机,并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而,最大化在计算上是困难的,因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程,并且非常简单和快速,尽管它引入了估计偏差,这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展,以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
Naive Bayes Classification for Subset Selection
ISAE-SUPAERO - Institut Supérieur de l’Aéronautique et de l’Espace(法国高等航空航天学院)
本文重点讨论如何在一个较大的集合中自动选择一个子集。我们介绍了一种方法的推理合奏的离散值,朴素贝叶斯假设的基础上。我们的动机源于实际用例,其中希望从一组观察到的特征中预测一组无序的(可能相互依赖的)值。这个问题可以在多标签分类(MLC)的上下文中考虑,其中这些值被视为与连续或离散特征相关联的标签。我们介绍了\nbx算法,朴素贝叶斯分类到多标签域的扩展,讨论其属性和评估我们的方法在现实世界中的问题。
2017-07-19 cs.LG
Long-tailed Classification from a Bayesian-decision-theory Perspective
Purdue University(普渡大学)
长尾分类是一个挑战,因为它的严重不平衡的类概率和尾部敏感性风险与不对称的错误预测成本。最近的尝试使用了重新平衡损失和集成方法,但它们在很大程度上是启发式的,严重依赖于经验结果,缺乏理论解释。此外,现有的方法忽略了决策损失,其特征在于与尾类相关的不同成本。本文从贝叶斯决策理论的角度提出了一个一般性和原则性的框架,它统一了现有的技术,包括再平衡和集成方法,并提供了理论证明,他们的有效性。从这个角度来看,我们得到一个新的目标的基础上的综合风险和贝叶斯深度集成方法,以提高所有类的准确性,特别是“尾巴”。此外,我们的框架允许任务自适应决策损失,提供可证明的最佳决策,在不同的任务场景,以及量化不确定性的能力。最后,我们进行了全面的实验,包括标准分类,尾部敏感的分类与一个新的假头率度量,校准,和消融研究。我们的框架显着改进了当前的SOTA,即使是在像ImageNet这样的大规模真实世界数据集上。
2023-03-21 cs.CV cs.LG stat.ML
Kernel Interpolation as a Bayes Point Machine
贝叶斯点机是一个单一的分类器,它近似于分类器集合的多数决定。本文观察到核插值是高斯过程分类的贝叶斯点机。这一观察有利于从系综理论以及被称为Brunn-Minkowski理论的凸几何区域转移结果,以获得用于内核插值的PAC-贝叶斯风险界限。由于大间隔,无限宽度的神经网络是内核插值器,该论文的研究结果可能有助于更广泛地解释神经网络中的泛化。支持这一想法,本文发现的证据表明,大利润,有限宽度神经网络的行为像贝叶斯点机了。
2022-01-28 cs.AI cs.LG
Bayes-optimal Hierarchical Classification over Asymmetric Tree-Distance Loss
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Microsoft Research(微软研究院)
层次分类是一种有监督的多类分类问题,它是在按层次结构组织的类标签集合上进行的。在这份报告中,我们研究的工作Ramaswamy等。在对称树距离损失上的分层分类。我们扩展了非对称树距离损失的层次分类算法的一致性。我们设计了一个$\mathcal{O}(nk\log{}n)$算法来寻找贝叶斯最优分类的k元树作为一个层次。我们表明,在合理的假设下,非对称损失函数,贝叶斯最优分类在这种非对称损失可以找到$\mathcal{O}(k\log{}n)$。我们利用这一洞察力,并试图扩展Ova级联算法\citet{ramaswamy2015convex}的分层分类的不对称损失。
2018-02-17 cs.AI cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中,我们实验比较的分类不确定性的随机决策树(DT)集成技术和贝叶斯DT技术与重新启动策略上的合成数据集,以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估,我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果,这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术,我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
An uncertainty-aware Bayesian framework for machine learning classification models: A case study in land cover classification
National Physical Laboratory, Teddington, UK(英国国家物理实验室,Teddington);Department of Data Science(数据科学系);Department of Thermal & Radiometric Metrology(热学与辐射计量学系);School of Geography, Geology & the Environment(地理、地质与环境学院)
提出一种考虑输入测量不确定性的贝叶斯生成式分类模型框架,通过贝叶斯二次判别分析模型在土地覆盖数据集上验证,该模型在可解释性、不确定性建模和计算效率方面优于随机森林和神经网络。
2026-05-26 cs.CV cs.LG stat.ML
A Model-Agnostic Algorithm for Bayes Error Determination in Binary Classification
TOELT llc(TOELT有限责任公司);Politecnico di Torino(都灵理工大学);IDSIA - Dalle Molle Institute for Artificial Intelligence, USI-SUPSI(USI-SUPSI达莱·莫勒人工智能研究所(IDSIA));Zurich University of Applied Sciences(苏黎世应用科学大学)
本文介绍了内在极限确定算法(ILD算法),一种新的技术,以确定最佳可能的性能,测量的AUC(ROC曲线下面积)和准确性,可以从一个特定的数据集在一个二元分类问题的分类功能{ \sl不管}所使用的模型。这个极限,即贝叶斯误差,完全独立于所使用的任何模型,并描述了数据集的内在属性。因此,ILD算法提供了关于任何二元分类算法在应用于所考虑的数据集时的预测极限的重要信息。本文详细描述了该算法,给出了其完整的数学框架,并给出了便于实现的伪代码。最后,给出了一个真实数据集的例子。
2021-07-24 cs.AI cs.LG stat.ML
How do the naive Bayes classifier and the Support Vector Machine compare in their ability to forecast the Stock Exchange of Thailand?
Bangkok Patana School(曼谷帕塔纳学校)
本文研究了朴素贝叶斯分类器和支持向量机在预测泰国证券交易所的能力方面的比较问题。探讨了支持向量机和朴素贝叶斯分类器背后的理论。这些算法使用2010年1月的数据进行训练,这些数据摘自MarketWatch.com网站。输入要素是根据先前对SET100指数的研究选择的。Weka 3软件用于从标记的训练数据创建模型。均方误差和正确分类的实例的比例,以及一些其他的误差测量是用来比较这两种算法。这篇文章表明,这两个算法目前还不够先进,准确地模拟股票交易所。尽管如此,朴素贝叶斯是优于支持向量机在预测泰国证券交易所。
2015-11-29 cs.LG
Suboptimal behaviour of Bayes and MDL in classification under misspecification
我们表明,贝叶斯和MDL推理的形式,往往适用于分类问题,可以 * 不一致 *。这意味着存在一个学习问题,使得对于所有数据量,MDL分类器和贝叶斯分类器相对于贝叶斯后验的泛化误差都保持远离最小可实现的泛化误差。
2004-06-10 cs.IT cs.LG math.IT
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University(凯斯西储大学);University of South Florida(南佛罗里达大学)
在机器学习中,需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时,由于隐私问题,收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互,该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置,我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入,保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后,可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据,我们建议利用降维技术,可以由个人应用之前扰动他们的输入。实验结果表明,在局部差分隐私下,即使个人隐私得到保证,朴素贝叶斯分类器仍能保持准确性,并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
A Survey of Naïve Bayes Machine Learning approach in Text Document Classification
Pondicherry University(本地治里大学)
文本文档分类的目的是根据标签文档训练集所建议的可能性将一个或多个预定义的类别关联起来。许多机器学习算法在训练具有预定义类别的系统方面发挥着至关重要的作用,其中朴素贝叶斯有一些有趣的事实,即它简单、易于实现,并且尽管存在朴素的依赖性,但在大型数据集中仍能获得更好的准确性。朴素贝叶斯机器学习方法的重要性已经被认识到,因此该研究已经被用于文本文档分类和可用的统计事件模型。本文对文本分类中的各种特征选择方法以及与文本分类相关的度量进行了讨论和比较。
2010-03-09 cs.IR cs.LG
How should we proxy for race/ethnicity? Comparing Bayesian improved surname geocoding to machine learning methods
Jeb E. Brooks School of Public Policy(杰布·E·布鲁克斯公共政策学院);Cornell University(康奈尔大学)
贝叶斯改进的姓氏地理编码(BISG)是最流行的方法,用于在选民登记文件,不包含它的种族/ethnicity。本文基准BISG对一系列以前未经测试的机器学习的替代品,使用来自加利福尼亚州,佛罗里达州,北卡罗来纳州和佐治亚州的自我报告的种族/ethnicity的选民文件。这一分析得出了三个关键结论。首先,机器学习在种族/民族的个体分类方面始终优于BISG。其次,BISG和机器学习方法在估计地区种族组成方面表现出不同的偏差。第三,所有方法的性能在各州之间差异很大。这些结果表明,预训练的机器学习模型比BISG更适合用于个体分类。此外,各州的混合结果强调了研究人员需要在他们感兴趣的人群中实证验证他们选择的种族/民族代理。
2022-08-01 cs.LG
Bayes in the age of intelligent machines
Princeton University(普林斯顿大学);University College London(伦敦大学学院)
本文论证贝叶斯推断与人工神经网络处于不同分析层面且互补,并主张贝叶斯方法对理解大型不透明神经网络行为具有独特价值。
2023-11-16 cs.AI cs.LG
Discriminative classification with generative features: bridging Naive Bayes and logistic regression
Brigham Young University(杨百翰大学);University of California, Santa Barbara(加州大学圣芭芭拉分校)
Smart Bayes通过整合生成特征与判别模型,提升分类性能,优于朴素贝叶斯和逻辑回归。
2025-11-30 cs.AI cs.LG stat.CO
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里,使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现,而且非常有效。在本文中,我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术,我们表明,贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
Bayesian Optimisation for Machine Translation
University of Oxford(牛津大学);DeepMind Technologies(深度思维科技公司)
本文提出了新的贝叶斯优化算法的统计机器翻译系统的最小出错率训练。我们探索两类算法,有效地探索翻译空间,第一个基于N-最好的列表和第二个基于超图表示,companion代表指数数量的翻译选项。我们的算法表现出更快的收敛速度,并能够获得较低的出错率比现有的翻译模型的具体方法,所有在一个通用的贝叶斯优化框架。此外,我们还引入了一个随机嵌入算法来扩展我们的方法到稀疏的高维特征集。
2014-12-22 cs.CL cs.LG
Learning Kernels by Alignment for Multiclass Bayes Classification
本文提出通过对齐学习核,将协作学习视为核对齐过程,并用马氏距离扩展CLaI至多类分类,在多个数据集上提升准确率、收敛速度和校准性能。
2026-09-17 cs.LG
Stochastic Feature Mapping for PAC-Bayes Classification
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
数据分布的概率生成建模可以潜在地利用对判别分类有用的隐藏信息。这一观察激发了将生成模型和判别模型结合起来进行分类的方法的发展。在本文中,我们提出了一种新的方法来耦合生成和歧视性模型在一个统一的框架的基础上PAC-Bayes风险理论。我们首先从一个实际的MAP分类器上生成模型的操作模型参数无关的随机特征映射。然后,我们构造了一个线性随机分类器配备的特征映射,并推导出明确的PAC-Bayes风险界,这种分类器的监督和半监督学习。最小化风险界,使用EM-样的迭代过程,导致一个新的后验隐藏变量(E-步骤)和模型参数的更新规则(M-步骤)。由于采用了特征映射的方法和边界风险的显式形式,使得后验概率的推导总是可行的。导出的后验允许调整生成模型,随后调整特征映射以获得更好的分类。由于特征映射是与模型参数无关的,因此导出的模型参数更新规则与非耦合模型相同。我们的实验表明,数据建模生成模型和判别式分类器之间的耦合,通过在这个框架中的随机特征映射,导致一个一般的分类工具与国家的最先进的性能。
2012-04-16 cs.LG
On the Relationship between the Posterior and Optimal Similarity
PARC(帕洛阿尔托研究中心)
对于由联合密度$P(ω,x)$描述的分类问题,$P(ω\eqω'|x,x')$模型("贝叶斯相似性度量“)已被证明是最近邻分类的最佳相似性度量。本文分析论证了该条件分布的几个附加性质。本文首先表明,我们可以重建,直到类标签,类后验分布$P(ω|x)$给定$P(ω\eqω'|x,x')$,给出了恢复类标签的程序,并给出了一个渐近贝叶斯最优分类程序。它还显示,给定这样一个最佳的相似性度量,如何构建一个分类器,优于最近邻分类器,并实现贝叶斯最优分类率。然后,本文分析了贝叶斯相似性的框架中,分类器面临着一些相关的分类任务(多任务学习),并说明重建类后验分布是不可能的一般。最后,本文使用$P(ω\eqω'|x,x')$识别了一类不同的分类问题,并表明使用$P(ω\eqω'|x,x')$来解决这些问题是贝叶斯最优解。
2007-12-02 cs.LG
Fast and accurate sentiment classification using an enhanced Naive Bayes model
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯印度教大学))
我们已经探索了不同的方法来提高情感分析的朴素贝叶斯分类器的准确性。我们观察到,否定处理,字n-gram和特征选择的互信息的结果在一个显着的提高准确性的方法的组合。这意味着可以使用具有线性训练和测试时间复杂度的简单朴素贝叶斯模型来构建高度准确和快速的情感分类器。我们在流行的IMDB电影评论数据集上实现了88.80%的准确率。
2013-09-16 cs.CL cs.IR cs.LG
Applying Naive Bayes Classification to Google Play Apps Categorization
University of Saskatchewan(萨斯喀彻温大学)
Google Play商店中有超过100万个应用程序和超过50万个发布商。拥有如此大量的应用程序和开发人员可能会对应用程序用户和商店上的新发布者构成挑战。如果应用程序没有正确地发布在正确的类别中,发现应用程序可能是一个挑战,反过来又会减少应用程序开发人员的收入。此外,Google Play商店中有超过41个类别,由于他们必须选择的类别数量众多,因此决定发布应用程序的正确类别对开发人员来说可能具有挑战性。机器学习已经非常有用,特别是在分类问题,如情感分析,文档分类和垃圾邮件检测。这些策略还可以应用于Google Play商店上的应用分类,以便使用应用程序中的详细信息为应用程序发布商建议适当的类别。在这个项目中,我们使用Google Play Store上顶级开发者应用的开放元数据构建了两种不同的朴素贝叶斯分类器,以分类商店中的新应用。然后使用各种评估方法对这些分类器进行评估,并将其结果相互比较。结果表明,Naive Bayes算法对我们的分类问题表现良好,并且可以为Google Play Store上的Android应用发布商自动进行应用分类
2016-08-30 cs.IR cs.LG
Bayesian Stress Testing of Models in a Classification Hierarchy
Caspian Learning(里海学习)
在现实应用中构建机器学习解决方案通常涉及将问题分解为各种复杂性的多个模型。这在整体性能、结果的更好可解释性和更容易的模型维护方面具有优势。在这项工作中,我们提出了一个贝叶斯框架模型之间的相互作用,在这样的层次结构。我们表明,该框架可以促进整体解决方案的压力测试,使更多的信心,其预期的性能之前,积极部署。最后,我们在一个玩具问题和金融欺诈检测数据集上测试了所提出的框架,以证明它如何应用于任何基于机器学习的解决方案,而不管所需的底层建模。
2020-05-25 cs.AI cs.LG
Support-vector-machine with Bayesian optimization for lithofacies classification using elastic properties
Delft University of Technology(代尔夫特理工大学);Summit Exploration and Production Limited(萨米特勘探与生产有限公司)
我们研究了贝叶斯优化(BO)的适用性,以优化超参数与支持向量机(SVM),以分类相使用来自井数据在东中央地堑,UKCS的弹性属性。现场数据集的交会图产品似乎成功地与非线性边界进行了分类。虽然在BO方案中有一些因素需要预先确定,例如迭代次数,以处理预测精度和计算成本之间的权衡,但这种方法有效地减少了与SVM架构相关的可能的人为主观性。我们提出的工作流程可能是有益的资源勘探和开发方面的地下客观技术评价。
2022-03-14 cs.LG physics.geo-ph
Text Classification using Association Rule with a Hybrid Concept of Naive Bayes Classifier and Genetic Algorithm
International Islamic University Chittagong(吉大港国际伊斯兰大学);School of Communication, Independent University Bangladesh(孟加拉独立大学传播学院)
文本分类是将自然语言文本根据其内容自动分配到预定义的类别。文本分类是文本检索系统和文本理解系统的主要要求,文本检索系统根据用户查询检索文本,文本理解系统以某种方式转换文本,例如生成摘要,回答问题或提取数据。文本分类的需求日益增长。考虑到这一需求,正在开发新的和更新的技术,用于自动文本分类的目的。本文提出了一种新的文本分类算法。该方法不使用词,而是使用词关系即关联规则从预先分类的文本文档中提取特征集。然后将朴素贝叶斯分类器的概念用于派生特征,最后添加了遗传算法的概念以进行最终分类。一个系统的基础上所提出的算法已经实施和测试。实验结果表明,该系统是一个成功的文本分类器。
2010-09-25 cs.DB cs.IR cs.LG
Bayes Risk Consistency of Nonparametric Classification Rules for Spike Trains Data
University of Manitoba(曼尼托巴大学);AGH University of Krakow(克拉科夫AGH大学)
本文针对非参数强度函数刻画的脉冲序列二分类问题,推导最优贝叶斯规则并构造插件式非参数核分类器,证明其渐近收敛到贝叶斯规则,并用模拟实验验证。
2023-08-09 cs.IT cs.LG math.IT
Bayesian machine learning for Boltzmann machine in quantum-enhanced feature spaces
Beijing University of Posts and Telecommunications(北京邮电大学);State Key Laboratory of Cryptology(密码学国家重点实验室);Peng Cheng Laboratory(鹏城实验室);Jiangxi University of Finance and Economics(江西财经大学)
贝叶斯学习在实现分类和回归任务方面无处不在,然而,当特征空间变得非常大时,它伴随着计算上难以处理的限制。针对这一问题,本文提出了一种基于量子增强特征空间的受限玻尔兹曼机的量子机器学习框架。我们的框架提供了编码阶段,将真实数据和玻尔兹曼权重映射到量子特征空间和训练阶段,以学习最佳推理函数。具体地说,训练阶段提供一个物理量来度量量子特征空间中的后验分布,并利用该度量设计量子最大后验(QMAP)算法和量子预测分布估计器(QPDE)。结果表明,这两个量子算法实现指数级的速度比他们的经典同行。此外,值得注意的是,我们的框架可以计算出经典的baidu学习任务,即处理经典数据并输出相应的经典标签。在一个量子计算的开源软件框架上进行的仿真表明,我们的算法与经典算法相比,具有几乎相同的分类性能。注意到所提出的量子算法利用浅电路,我们的工作预计将在有噪声的中间尺度量子(NISQ)器件上实现,并且是实现量子霸权的有希望的候选者之一。
2019-12-20 cs.LG physics.data-an quant-ph