Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Reasoning about Bayesian Network Classifiers
University of California, Los Angeles（加州大学洛杉矶分校）
贝叶斯网络分类器在很多领域都有应用，其中一种常见的分类器是朴素贝叶斯分类器。在本文中，我们介绍了一种推理贝叶斯网络分类器的方法，我们显式地将它们转换为有序决策图（ODD），然后使用这些分类器的属性的原因。具体来说，我们提出了一个算法转换成一个ODD的任何朴素贝叶斯分类器，我们从理论上和实验表明，该算法可以给我们一个ODD的大小是易于处理的，即使给定一个棘手的实例数。由于ODD是分类器的易处理表示，我们的算法允许我们有效地测试两个朴素贝叶斯分类器的等价性，并描述它们之间的差异。我们还显示了一些额外的结果，包括不同的分类器，可以通过改变一些CPT在一个朴素贝叶斯分类器，和允许的范围内的CPT保持当前分类器不变的变化引起的计数。
2012-10-19 cs.AI cs.LG stat.ML
Comparing Bayesian Network Classifiers
University of Alberta（阿尔伯塔大学）
在本文中，我们经验评估算法学习四种类型的贝叶斯网络（BN）分类-朴素贝叶斯，树增强朴素贝叶斯，BN增强朴素贝叶斯和一般的BN，其中后两个学习使用两个变量的条件独立（CI）的BN-学习算法。实验结果表明，所获得的分类器，学习使用CI为基础的算法，是有竞争力的（或优于）最知名的分类器，基于贝叶斯网络和其他形式主义，学习和使用这些分类器的计算时间是相对较小的。此外，这些结果还提出了一种学习更有效分类器的方法;我们根据经验证明，这种新算法确实如预期那样工作。总的来说，这些结果表明BN分类器在机器学习和数据采掘社区中值得更多的关注。
2013-01-23 cs.AI cs.LG stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
A Bayesian Network Classifier that Combines a Finite Mixture Model and a Naive Bayes Model
University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一个新的贝叶斯网络模型的分类，结合朴素贝叶斯（NB）分类器和有限混合（FM）分类器。由此产生的分类器的目的是放松的两个组件模型的基础上的强假设，在试图提高其分类性能，无论是在准确性和校准的估计概率。建议的分类器是通过叠加一个有限的混合模型的一组特征变量的朴素贝叶斯模型。我们目前的实验结果，比较真实数据集上的新分类器的预测性能与NB分类器和FM分类器的预测性能。
2013-01-23 cs.AI cs.LG stat.ML
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)（达勒莫勒人工智能研究所 (IDSIA)）；University of Ljubljana（卢布尔雅那大学）
通常人们通过零假设显著性检验（nhst）来比较两个竞争分类器的准确性。然而，nhst测试遭受的重要缺点，这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型，共同分析交叉验证结果，由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是，通过联合分析所有数据集上获得的结果，与对给定数据集上获得的交叉验证结果进行平均的通常方法相比，它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
Out-of-Distribution Detection from Small Training Sets using Bayesian Neural Network Classifiers
Department of Mathematics and Statistics University of Ottawa（数学与统计学系 马尼托瓦大学）
本文提出了一种基于贝叶斯神经网络的分布外检测方法，通过预期logit向量生成得分，并在MNIST和CIFAR-10数据集上验证了其在小训练集下的优越性能。
2025-10-07 cs.LG stat.ML
Bayesian Network Classifiers in a High Dimensional Framework
Mid Sweden University（中瑞典大学）；Swedish University of Agricultural Sciences（瑞典农业科学大学）
我们提出了一个增长维渐近形式主义。本文的观点是分类理论，我们表明，它可以容纳概率网络分类器，包括朴素贝叶斯模型及其增强版本。当表示为贝叶斯网络时，这些分类器有一个重要的优势：相应的判别函数原来是广义加性模型的特殊情况，这使得有可能得到这里使用的渐近误分类概率的封闭形式表达式作为分类精度的度量。此外，在本文中，我们提出了一个新的数量评估的一组功能，然后用于阐述增强朴素贝叶斯分类器的区分能力。结果是一个加权形式的增强朴素贝叶斯，它根据特征集的区分能力在特征集之间分配权重。我们推导出基于样本的鉴别力的渐近分布，并表明它是严重高估了在高维的情况下。然后，我们应用这个结果找到最佳的，在某种意义上最小的误分类概率，类型的加权。
2012-12-12 cs.LG stat.ML
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Université Laval（拉瓦尔大学）
在本文中，我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习，从一个源分布，一个表现良好的多数票在不同的目标分布。一方面，我们提出了对Germain等人（2013）提出的先前方法的改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器，并设计了一种学习算法，该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面，我们将这些结果推广到多频域适应，使我们能够考虑到不同的源域。这项研究打开了大门，以解决域适应任务，利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University（莫纳什大学）
本文介绍了一种新的贝叶斯网络分类器（BNC）的概率表的参数估计方法，使用分层Dirichlet过程（HDPs）。本文的主要结果是表明，改进的参数估计允许BNC优于领先的学习方法，如随机森林的0-1损失和RMSE，尽管只是在分类数据集。随着数据资产变得越来越大，进入被大肆宣传的“大”世界，高效准确的分类需要三个主要元素：（1）具有低偏差的分类器，可以捕获大型数据集的细节;（2）可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;（3）可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器（BNC）满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而，由于偏差被降低以准确地建模分类任务，因此其参数估计的准确性也降低，因为每个参数都是从不断减少的数据量中估计的。在本文中，我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验，并证明了我们得到的分类器在预测方面与随机森林非常有竞争力，同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Bayesian Classifier Fusion with an Explicit Model of Correlation
TU Darmstadt（达姆施塔特工业大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt（法兰克福歌德大学）
将多个分类器或专家的输出组合成单个概率分类是机器学习中的基本任务，具有从分类器融合到专家意见池的广泛应用。在这里，我们提出了一个分层贝叶斯模型的概率分类器融合的基础上，一个新的相关Dirichlet分布。该分布明确地对边缘狄利克雷分布的随机向量之间的正相关性进行建模，从而允许对基础分类器或专家之间的相关性进行明确建模。所提出的模型自然容纳经典的独立意见池和其他独立的融合算法的特殊情况。它是由不确定性减少和正确性的合成和真实世界的数据集融合评估。我们表明，由于不确定性降低的融合分类器的性能的变化可以是贝叶斯最优的，即使是高度相关的基础分类器。
2021-11-22 cs.AI cs.LG stat.ML
Time for a change: a tutorial for comparing multiple classifiers through Bayesian analysis
University of Ljubljana（卢布尔雅那大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
机器学习社区采用原假设显著性检验（NHST）来确保结果的统计有效性。然而，许多科学领域意识到了频率论推理的缺点，在最激进的情况下，甚至禁止在出版物中使用频率论。我们也应该这样做：正如我们在开发新的机器学习方法时采用贝叶斯范式一样，我们也应该在分析自己的结果时使用它。我们主张放弃NHST，揭露其谬误，更重要的是，提供更好的-更健全和有用的-替代品。
2017-07-15 cs.LG stat.ML
Efficient Parameter Estimation for Bayesian Network Classifiers using Hierarchical Linear Smoothing
Faculty of Information Technology Monash University（信息技术学院莫纳什大学）
提出一种基于对数线性回归的分层线性平滑参数估计方法，使贝叶斯网络分类器在分类数据上性能优于HDP平滑且速度快数个数量级，保持与随机森林相媲美的竞争力。
2025-05-29 cs.LG stat.ML
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo (USP)（圣保罗大学）
本文介绍了一种隐私感知贝叶斯方法，它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下，实例及其分类/聚类结果分布在不同的数据站点，并有共享限制。作为一种特殊情况，当目标数据的实例分布在不同的数据站点时，模型的隐私感知计算也进行了讨论。实验结果表明，该方法可以提供良好的分类精度，同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology（格拉茨技术大学）
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中，我们考虑学习树增强朴素贝叶斯（TAN）结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化，而是学习图结构上的分布。在训练之后，我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失，只要求它是可微的。我们进行了广泛的实验，使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Optimal PAC-Bayesian Posteriors for Stochastic Classifiers and their use for Choice of SVM Regularization Parameter
Indian Institute of Technology Bombay（印度理工学院孟买分校）
PAC-Bayesian设置涉及以分类器集合上的后验分布为特征的随机分类器，提供其平均真实风险的高概率界限，并且对所使用的训练样本是鲁棒的。对于一个给定的后验，这个界限捕捉平均经验风险和KL-分歧的模型复杂性之间的权衡。我们的目标是确定一个最佳的后验与最小的PAC-Bayesian界。我们考虑一个有限的分类器集和5个距离函数：KL-散度，其Pinsker的和六次多项式近似，线性和平方距离。基于线性距离的模型导致凸优化问题。我们得到了其最优后验的封闭形式表达式。对于均匀先验，该后验具有与误分类数量成负指数比例的权重的完全支持。平方距离和Pinsker的近似边界可能是准凸的，并观察到有单一的局部最小值。利用严格正性约束下的部分KKT系统导出了不动点方程。这避免了对最优后验的子集支持的组合搜索。对于均匀先验，全维单纯形上的指数搜索可以限于具有增加的经验风险值的分类器的有序子集。这些FPE快速收敛到一个固定点，即使是一个大型分类器集时，求解器失败。我们将这些方法应用于使用9个UCI数据集上的有限SVM正则化参数值生成的SVM。这些后验产生的随机SVM分类器与紧的界限。基于KL-发散的边界是最紧的，但是由于非凸性和对根查找算法的多次调用而计算昂贵。所有5个距离函数的最佳后验在大多数数据集上具有最低的10%测试误差值，其中线性距离最容易获得。
2019-12-14 cs.LG stat.ML
Approximate Bayesian Class-Conditional Models under Continuous Representation Shift
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
针对在线持续学习中表征漂移导致分类器失配的问题，提出经验贝叶斯方法 DeepCCG，通过类条件高斯后验一步适配并选择最小化 KL 散度的记忆子集。
2024-05-07 cs.LG stat.ML
Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中，我们提出了一个多类的图形贝叶斯预测分类器，将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类，所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均，充分考虑到类特定的模型的不确定性，平均后验图模型的概率。众所周知，对模型概率的明确评估是不可行的。为了解决这个问题，我们考虑Olsson等人的粒子Gibbs策略。（2018 b）用于可分解图形模型的后验采样，该模型利用Olsson等人的圣诞树算法。（2018 a）作为建议内核。我们还推导出一个强大的超马尔可夫定律，我们称之为超正常Wishart法，允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比，普通的贝叶斯预测规则，不考虑模型的不确定性，以及一些开箱即用的分类器。
2018-06-06 stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
Binary Classifier Calibration: Bayesian Non-Parametric Approach
University of Piuttsburgh（匹兹堡大学）；University of Pittsburgh（匹兹堡大学）
如果被预测为以概率p发生的事件实际上发生在时间的p分之一左右，那么一组概率预测就被很好地校准了。当机器学习模型用于决策分析时，校准良好的预测尤为重要。本文提出了两种新的非参数二元分类模型输出校正方法：基于贝叶斯最优选择的方法和基于贝叶斯模型平均的方法。这些方法的优点是它们独立于用于学习预测模型的算法，并且它们可以在模型学习之后应用于后处理步骤。这使得它们适用于各种各样的机器学习模型和方法。这些校准方法，以及其他方法，在各种数据集的歧视和校准性能方面进行了测试。结果表明，这些方法的性能优于或与最先进的校准方法相当。
2014-01-13 cs.LG stat.ML
On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks
Graz University of Technology（格拉茨技术大学）；Ruprecht Karls University（鲁普莱希特-卡尔斯大学）
我们提出了两种方法来降低贝叶斯网络（BN）分类器的复杂性。首先，我们引入了量化感知训练，使用直通梯度估计器将BN的参数扩展到几个比特。其次，我们扩展了最近提出的可微树增强朴素贝叶斯（TAN）结构学习方法，也考虑模型的大小。这两种方法都受到了深度学习社区的最新发展的启发，它们提供了在模型大小和预测准确性之间进行权衡的有效手段，这在广泛的实验中得到了证明。此外，我们将量化BN分类器与量化深度神经网络（DNN）进行了对比，用于文献中几乎没有研究的小规模场景。我们展示了帕累托最优模型的模型大小，操作次数和测试误差，并发现这两个模型类都是可行的选择。
2021-09-22 cs.AI cs.LG stat.ML
Optimization of Genomic Classifiers for Clinical Deployment: Evaluation of Bayesian Optimization to Select Predictive Models of Acute Infection and In-Hospital Mortality
Inflammatix, Inc.（英弗马特克斯公司）
急性感染，如果不能迅速和准确地发现，可能导致败血症，器官衰竭，甚至死亡。目前对急性感染的检测以及对患者病情严重程度的评估都是不完善的。通过定量血液中特定基因的表达水平来表征患者的免疫应答代表了完成这两项任务的可能更及时和精确的手段。机器学习方法提供了一个平台来利用这种“主机响应”来开发部署就绪的分类模型。有前途的分类器的优先级部分地依赖于超参数优化，其中包括网格搜索、随机采样和贝叶斯优化的许多方法已被证明是有效的。我们比较HO方法的发展，急性感染和住院死亡率的基因表达的29个诊断标志物的诊断分类。我们采用以部署为中心的方法进行综合分析，通过选择数据集分区和超参数优化目标以及在外部（以及内部）验证中评估选定的分类器，解释了多研究患者队列中的异质性。我们发现，贝叶斯优化选择的分类器在医院死亡率可以优于那些选择网格搜索或随机抽样。然而，与以前的研究相反：1）与网格搜索或基于随机采样的方法相比，贝叶斯优化在所有情况下选择分类器并不更有效，2）我们注意到，当使用贝叶斯优化的常见变体（即自动相关性确定）时，分类器性能仅在特定情况下有边际收益。我们的分析强调，需要进一步的实际，部署为中心的基准HO方法在医疗保健方面。
2020-10-13 cs.LG q-bio.QM stat.ML
A Theoretical Analysis of Logistic Regression and Bayesian Classifiers
本研究的目的是显示逻辑回归和贝叶斯分类器在指数和非指数分布族的情况下的根本区别，产生以下结果。首先，逻辑回归是贝叶斯分类器的一种不太通用的表示。其次，我们应该假设类的分布，以正确说明逻辑回归方程。第三，在特定情况下，正确指定的生成贝叶斯分类器和判别逻辑回归的预测概率之间没有差异。
2021-08-08 econ.EM stat.ME
Robust Bayesian Classification Using an Optimistic Score Ratio
Stanford University（斯坦福大学）
我们建立了一个贝叶斯上下文分类模型，使用一个乐观的分数比强大的二进制分类时，有有限的信息类条件，或上下文，分布。乐观分数在属于上下文歧义集的所有分布中搜索最合理的分布，以解释测试样本中观察到的结果，上下文歧义集是使用对潜在上下文分布的均值向量和协方差矩阵的有限结构约束规定的。我们表明，贝叶斯分类器使用乐观的分数比在概念上是有吸引力的，提供坚实的统计保证，是计算上容易处理的。我们展示了所提出的乐观分数比分类器的合成和经验数据的力量。
2020-07-08 cs.LG stat.ML
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
A new Bayesian ensemble of trees classifier for identifying multi-class labels in satellite images
Acadia University（阿卡迪亚大学）
卫星图像分类是许多遥感应用的关键组成部分。原始卫星图像最重要的产品之一是分类地图，它将图像像素标记为有意义的类别。虽然到目前为止已经开发了几种参数和非参数分类器，但像素的准确标记仍然是一个挑战。在本文中，我们提出了一个新的可靠的多类分类器识别类标签的卫星图像在遥感应用。建议的多类分类器是一个广义的二元分类器的基础上的灵活集成的回归树模型称为贝叶斯加性回归树（BART）。我们使用了三个小区域的LANDSAT 5 TM图像，收购于2009年8月15日（路径/行：08/29，L1 T产品，UTM地图投影）在国王县，新斯科舍省，加拿大的土地利用分类。几个预测精度和不确定性的措施已被用来比较的可靠性，建议的分类与国家的最先进的遥感分类。
2013-05-31 cs.CV cs.LG stat.ME
Dynamic Bayesian Combination of Multiple Imperfect Classifiers
分类器组合方法需要充分利用多个不完美分类器的输出，以实现更高精度的分类。在许多情况下，例如当需要结合人类决策时，基本决策的可靠性可能会有很大差异。这种不确定组合的贝叶斯方法使我们能够推断出个体之间的性能差异，并在训练数据稀疏时结合有关其能力的任何可用先验知识。在本文中，我们探讨贝叶斯分类器组合，使用计算效率的变分贝叶斯推理框架。我们将该方法应用于一个大型公民科学项目Galaxy Zoo Supernovae的真实数据，并表明我们的方法远远优于其他已建立的不完美决策组合方法。我们继续分析假定的社区结构的决策者，根据他们推断的决策策略，并表明自然群体的形成。最后，我们提出了一个动态贝叶斯分类器组合的方法，并调查随着时间的推移在基础分类器的性能变化。
2012-06-08 astro-ph.IM math.ST stat.TH
Bayesian Neural Networks at Finite Temperature
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们概括了贝叶斯神经网络的分类公式，并表明，虽然从后采样确实会导致更好的泛化比通过标准优化的成本函数，甚至更好的性能一般可以通过采样有限的温度（$T$）分布来自后。以MNIST数据的两个不同的深度（3个隐藏层）分类器为例，我们发现在每种情况下都适合使用完全不同的$T$值。特别地，对于典型的神经网络分类器，在$T>0$处观察到测试误差的明显最小值。这表明全批模拟退火的早期停止标准：冷却直到平均验证误差开始增加，然后恢复到具有最低验证误差的参数。随着$T$的增加，分类器从准确分类器过渡到具有比向每个类分配相等概率更高的训练误差的分类器。这些温度引起的影响的有效研究，使使用复制交换哈密顿蒙特卡罗模拟技术。最后，我们展示了如何使用热力学积分来执行深度神经网络的模型选择。类似于拉普拉斯近似，该方法假设后验由单一模式主导。然而，至关重要的是，没有对该模式的形状进行假设，并且不需要精确计算和反演Hessian。
2019-04-08 cond-mat.dis-nn cs.LG stat.ML
PAC-Bayesian Analysis for a two-step Hierarchical Multiview Learning Approach
本文在PAC-Bayesian框架下研究了一个两层多视图学习问题。这种方法有时被称为后期融合，包括在第一级顺序学习多个视图特定分类器，然后在第二级组合这些视图特定分类器。我们的主要理论结果是一个泛化界的风险，多数票表现出一个长期的多样性的预测的特定于视图的分类。从这个结果可以看出，控制多样性和准确性之间的权衡是多视图学习的关键因素，这补充了多视图学习中的其他结果。最后，我们实验我们的原则，从路透社RCV 1/RCV 2收集提取的多视图数据集。
2017-07-13 stat.ML
Bayesian Classifier for Route Prediction with Markov Chains
IBM Research – Ireland（IBM爱尔兰研究院）；University College Dublin（都柏林大学学院）
我们在这里提出了一个通用的框架和一个特定的算法，用于预测目的地，路线，或者更一般的模式，一个正在进行的旅程，建立在[Y。Lassoued，J. Monteil，Y. Gu，G.鲁索河Shorten和M. Mevissen，“用于路线和目的地预测的隐马尔可夫模型”，IEEE智能交通系统国际会议，2017年。在所提出的框架中，已知的旅程模式被建模为随机过程，发射的路段访问的旅程，并正在进行的旅程是通过更新的后验概率的每个旅程模式给定的路段访问到目前为止预测。在这篇文章中，我们使用马尔可夫链作为旅程模式的模型，并且一旦后验概率之一超过预定义的阈值，就认为预测是最终的。尽管两者都很简单，但在合成数据集上运行的示例证明了所做预测的高准确性。
2018-08-31 cs.LG math.PR stat.ML
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室天体物理组）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经贝叶斯异常缓解（NBAM）损失，基于贝叶斯潜变量混合模型，既提供鲁棒监督损失又输出无监督污染后验，在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
PAC-Bayesian Majority Vote for Late Classifier Fusion
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Univ. of St-Etienne（圣艾蒂安大学）
在过去的几年里，人们对多媒体索引给予了大量的关注。在文献中，我们经常考虑两种融合方案：早期融合和晚期融合。在本文中，我们专注于后期分类器融合，其中一个相结合的分数，每一个模态的决策层。为了解决这个问题，我们研究了一个最近的和优雅的有理有据的二次规划名为MinCq来自机器学习PAC-Bayes理论。MinCq在一组被视为选民的实值函数上寻找加权组合，从而导致最低的误分类率，同时利用选民的多样性。我们提供的证据表明，这种方法是自然适应于后期融合程序。我们提出了MinCq的扩展，通过添加保留顺序的成对损失来进行排名，从而帮助改进平均精度度量。我们证实了良好的行为的MinCq为基础的融合方法与实验上的真实图像基准。
2012-07-04 cs.CV cs.LG cs.MM
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University（姚数学科学中心清华大学）；The First Affiliated Hospital of Guangzhou Medical University（广州医科大学第一附属医院）；China State Key Laboratory of Respiratory Disease（中国呼吸疾病国家重点实验室）；Academy of Mathematics and Systems Science Chinese Academy of Sciences（数学科学学院中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University（胸外科与肿瘤科广州医科大学第一附属医院）
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题，首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索，显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前，通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子，以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
Nonparametric Bayesian label prediction on a graph
一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。被认为是一个随机缩放高斯先验的分层贝叶斯方法。先验使用图拉普拉斯算子来考虑图的底层几何形状。提出了一种基于理论上最优先验的方法和一种更灵活的利用部分共轭的方法。两个模拟数据的例子和两个例子，使用真实数据，以说明所提出的方法。
2017-06-15 stat.CO stat.ML
Likelihood ratio for a binary Bayesian classifier under a noise-exclusion model
University of Houston（休斯顿大学）
本文提出了一种新的统计理想观察者模型，用于二元贝叶斯分类器在噪声排除模型下的似然比计算，应用于医学图像感知、计算机视觉和目标检测等领域。
2026-01-12 cs.CV math.ST stat.CO
Bayesian Inference for Gaussian Process Classifiers with Annealing and Pseudo-Marginal MCMC
核方法已经彻底改变了模式识别和机器学习领域。然而，他们的成功，关键取决于内核参数的选择。以高斯过程（GP）分类为例，研究了基于马尔可夫链蒙特卡罗（MCMC）方法的协方差（核）参数的贝叶斯推断。其动机是，与核参数的标准优化相比，它们已被系统地证明在量化预测中的不确定性方面具有优越性。最近，伪边缘MCMC方法已被提出作为GP模型的实用推理工具。特别是，它的金额在替代分析棘手的边际似然由近似方法和重要性抽样获得的无偏估计。在讨论了重要性抽样的潜在缺陷后，本文提出了退火重要性抽样的应用。实验结果表明，与重要性抽样相比，退火重要性抽样能以多项式的计算代价指数地减小边缘似然估计的方差.实际数据的结果表明，采用退火重要性抽样的伪边缘MCMC方法代表了一个步骤，在GP模型的全自动精确推理引擎的发展。
2014-05-26 stat.ME stat.ML
Bayesian identification of protein differential expression in multi-group isobaric labelled mass spectrometry data
在本文中，我们开发了贝叶斯统计推断的方法，在多个实验的同量异位素标记的MS/MS蛋白质组数据的统一分析。开发了跨多个预定义组和实验的同量异位素标记的报告离子的对数强度的显式概率模型。然后，这被用来开发一个完整的贝叶斯统计方法学的差异表达的蛋白质的鉴定，相对于对照组，在多个组和实验。该方法被实施，然后在模拟数据和使用TMT标记协议的两个模型实验数据集（其中差异表达的蛋白质是已知的）上进行评估。
2014-07-24 q-bio.QM stat.AP
Classifier Chain Networks for Multi-Label Classification
本研究提出分类器链的泛化形式分类器链网络，可联合估计参数并考量标签预测的前后影响，实验验证其在偏离建模假设场景下仍具竞争力，还提出了标签条件依赖检测的新度量指标。
2024-11-04 cs.LG stat.ML
Dynamic classifier chains for multi-label learning
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
在本文中，我们处理的任务是建立一个动态集成的链分类器的多标签分类。为此，我们提出了两种分类器链算法的概念，这些算法能够在不重建整个模型的情况下改变链的标签顺序。这样的模式允许在不显著增加计算负担的情况下预测实例特定的链顺序。建议的链模型使用朴素贝叶斯分类器和最近邻方法作为基础的单标签分类器。为了利用所提出的算法的好处，我们开发了一个简单的启发式算法，允许系统找到相对较好的标签顺序。启发式排序标签根据标签特定的分类质量在验证阶段获得。启发式算法试图最大限度地减少链中的错误传播现象。实验结果表明，该模型基于朴素贝叶斯分类器，上述启发式是一个有效的工具，建立动态链分类器。
2017-11-22 cs.LG stat.ML
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University（康奈尔大学）
多标签分类（MLC）是标准分类的推广，其中多个标签可以分配给给定的样本。在现实世界中，处理噪声数据集比处理干净数据集更常见，因为现代数据集是由众包平台上的一大群注释者标记的，但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件，以实现具有竞争力的性能。然而，这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下，并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题，我们提出了一个基于上下文的多标签分类器（CbMLC），有效地处理嘈杂的标签时，学习标签的依赖关系，而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上，在干净和嘈杂的设置。我们表明，在大多数情况下，GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
Evaluation of the Performance of the Markov Blanket Bayesian Classifier Algorithm
马尔可夫覆盖贝叶斯分类器是最近提出的概率分类器的构造算法。本文提出了一个经验比较的MBBC算法与其他三个贝叶斯分类：朴素贝叶斯，树增强朴素贝叶斯和一般贝叶斯网络。所有这些都使用Cooper和Herskovits的K2框架实现。分类器的性能（使用简单的准确性措施和ROC曲线）和速度方面进行了比较，在一系列的标准基准数据集。它的结论是MBBC是竞争力的速度和精度与其他算法考虑。
2002-11-01 cs.LG
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt（达姆施塔特工业大学）
分类器链是多标签分类中的关键技术，因为它允许有效地考虑标签依赖性。然而，分类器根据标签的静态顺序对齐。在动态分类器链（DCC）的概念中，标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树（XGBoost）的提升相结合，这是一种有效且可扩展的最先进技术，并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签，并且这些标签通常很少，因此可以进一步大幅降低训练成本。此外，正如在11个数据集上的实验所示，链的长度允许对先前预测的使用进行更多的控制，因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
Bayes metaclassifier and Soft-confusion-matrix classifier in the task of multi-label classification
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文的目的是比较软混淆矩阵方法和贝叶斯元分类器下的多标签分类框架。虽然这些方法在多标签分类框架下得到了成功的应用，但到目前为止还没有直接进行比较。这种比较是至关重要的，因为这两种方法是非常相似的，因为它们都是基于随机参考分类器的概念。由于这两种算法都是针对单标签问题设计的，因此将它们与多标签分类的问题转换方法相结合。本研究包括29个基准数据集和四个不同的基础分类器。算法进行了比较，在11个质量标准和结果进行了统计分析。
2019-01-25 cs.LG stat.ML
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学院）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Universite Claude Bernard Lyon 1（里昂第一大学）；Univ Rennes（雷恩大学）
本文提出了一种PAC-Bayesian框架，用于推导公平性的泛化界，适用于随机和确定性分类器，并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
Estimating Continuous Distributions in Bayesian Classifiers
当用贝叶斯网络对概率分布建模时，我们面临着如何处理连续变量的问题。大多数以前的工作要么解决了离散化的问题，或假设数据是由一个单一的高斯。在本文中，我们放弃了正态性假设，而是使用非参数密度估计的统计方法。对于一个朴素贝叶斯分类器，我们提出了各种自然和人工领域的实验结果，比较两种方法的密度估计：假设正态分布和建模每个条件分布与一个单一的高斯，并使用非参数核密度估计。我们观察到大量的减少在几个自然和人工数据集的错误，这表明核估计是一个有用的工具，学习贝叶斯模型。
2013-02-20 cs.AI cs.LG stat.ML
Evaluating Classifiers Without Expert Labels
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文考虑了评估一组分类器的挑战，如在KDD杯或NIST TREC等共享任务评估中所做的那样，没有专家标签。虽然专家标签为评估统计学习者提供了传统的基石，但对专家的有限或昂贵的访问是一个实际的瓶颈。相反，我们寻求的方法，估计性能的分类器，这是更可扩展的专家标签，但保留了高相关性的评估专家标签的基础上。我们考虑两种情况：1）仅使用分类器自动生成的标签（盲评估）; 2）使用通过众包获得的标签。虽然众包方法因可扩展性而受到称赞，但考虑到标签噪音的普遍存在，使用此类数据进行评估引起了严重的担忧。在盲评估方面，研究了两种广泛的策略：组合和评分和评分与组合方法通过聚集分类器标签来推断单个伪黄金标签集;然后基于该单个伪黄金标签集对分类器进行评估。另一方面，评分和组合方法：1）从分类器输出中采样多个标签集，2）在每个标签集上评估分类器，以及3）在标签集上平均分类器性能。当额外的人群标签也被收集时，我们研究了两种利用它们的替代途径：1）直接评估分类器;或2）组合和评分方法的监督。为了评估我们的技术的一般性，分类器的性能测量使用四个常见的分类指标，统计显著性检验。最后，我们根据专家的判断来衡量估计的分类器性能与实际性能之间的分数和等级相关性。对TREC 2011众包跟踪分类器的严格评估表明，可以在不依赖专家标签的情况下实现可靠的评估。
2012-12-05 cs.IR cs.LG stat.ML
Weighting Scheme for a Pairwise Multi-label Classifier Based on the Fuzzy Confusion Matrix
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
在这项工作中，我们解决了应用随机分类器和一个地方，模糊混淆矩阵的框架下的多标签分类的问题。我们提出了一种新的解决方案，纠正标签成对集成的问题。校正过程的主要步骤是计算分类器特定的能力和交叉能力的措施，估计底层分类器的错误模式。在融合阶段，采用了两种基于信息论的加权方法。分类器权重提升最易受基于模糊混淆矩阵的校正影响的基分类器。在实验研究中，所提出的方法进行了比较，对两个参考方法。根据六种不同的质量标准进行了比较。实验结果表明，该方法消除了原基于FCM的方法的主要缺点之一，即原方法容易受到不平衡的类/标签分布。更重要的是，所得到的结果表明，所介绍的方法取得了令人满意的分类质量下所考虑的所有质量标准。此外，减少了数据集特性波动的影响。
2018-02-03 cs.LG stat.ML
A Correction Method of a Binary Classifier Applied to Multi-label Pairwise Models
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在这项工作中，我们解决了在多标签分类框架下应用随机分类器和局部模糊混淆矩阵的问题。我们提出了一种新的解决方案，纠正标签成对集成的问题。校正过程的主要步骤是计算分类器特定能力和交叉能力度量，其估计底层分类器的错误模式。我们考虑了两个改进的方法获得混淆矩阵。第一个是处理不平衡的标签。另一种是利用双标记的实例，这些实例通常在成对变换过程中被删除。使用29个基准数据集对所提出的方法进行了评估。为了评估所引入的模型的效率，将它们与1种最先进的方法和基于混淆矩阵估计的原始方法的校正方案进行比较。使用四种不同的多标记评估措施进行比较：宏观和微观平均F1损失，零一损失和汉明损失。此外，我们研究了分类质量之间的关系，这是表示在不同的质量标准，和多标签数据集的特性，如平均不平衡率或标签密度。实验研究表明，校正方法显着优于参考方法，只有在零-一损失。
2017-10-24 cs.LG stat.ML
Towards the Next-generation Bayesian Network Classifiers
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；School of Computer Science, University of Nottingham Ningbo（诺丁汉宁波大学计算机科学学院）；Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）
本文提出通过为特征值学习分布式表示来构建高阶贝叶斯网络分类器的新范式，并将KDB改造为神经版本NeuralKDB，在60个UCI数据集上显著超越传统贝叶斯网络分类器及其他竞争方法。
2025-08-15 cs.LG
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
A Novel Bayesian Classifier using Copula Functions
表示贝叶斯分类器的一种有用方法是通过\emph{discriminant functions}。在这里，使用Copula函数，我们提出了一个新的模型的判别。该模型提供了一个丰富的和广义类的决策边界。这些决策边界显著提高了分类精度，尤其是对于高维特征空间。我们通过模拟结果加强我们的分析。
2006-12-05 cs.AI cs.IR cs.LG
