Graphical posterior predictive classifier: Bayesian model averaging with particle Gibbs
在这项研究中，我们提出了一个多类的图形贝叶斯预测分类器，将不确定性的模型选择到标准的贝叶斯形式主义。对于每个类，所观察到的功能的依赖结构表示由一组可分解的高斯图形模型。然后重点放在贝叶斯模型平均，充分考虑到类特定的模型的不确定性，平均后验图模型的概率。众所周知，对模型概率的明确评估是不可行的。为了解决这个问题，我们考虑Olsson等人的粒子Gibbs策略。（2018 b）用于可分解图形模型的后验采样，该模型利用Olsson等人的圣诞树算法。（2018 a）作为建议内核。我们还推导出一个强大的超马尔可夫定律，我们称之为超正常Wishart法，允许进行贝叶斯计算本地。所提出的预测图形分类器显示出优越的性能相比，普通的贝叶斯预测规则，不考虑模型的不确定性，以及一些开箱即用的分类器。
2018-06-06 stat.ML
Marginal and simultaneous predictive classification using stratified graphical models
归纳概率分类规则一般必须遵循贝叶斯预测推理的原则，使得所有观察到的和未观察到的随机量被联合建模，并且通过后验预测分布完全承认参数的不确定性。几个这样的规则最近已被认为是其渐近行为的特征在于假设所观察到的功能或用于建立一个分类器的变量是有条件的独立给定的同时标记的训练样本和那些从一个未知的来源。在这里，我们将理论结果扩展到预测分类器，通过图形模型或定义为分层图形模型的稀疏替代品来确认特征依赖关系。我们还表明，通过实验与合成和真实的数据，预测分类器的基础上分层的图形模型具有一致的最佳精度相比，预测分类器的基础上，无论是条件独立的功能或普通的图形模型。
2014-01-31 stat.ML
Hierarchical Dependency Constrained Tree Augmented Naive Bayes Classifiers for Hierarchical Feature Spaces
Birkbeck, University of London（伦敦大学伯克贝克学院）；University of Kent（肯特大学）
树增强朴素贝叶斯（TAN）分类器是一种概率图模型，它构造一个单亲依赖树来估计数据的分布。在这项工作中，我们提出了两个新的层次依赖的树增强朴素贝叶斯算法，即Hie-TAN和Hie-TAN-Lite。这两种方法都利用预定义的父子（泛化-专业化）之间的关系的功能作为一种类型的约束，学习树表示的依赖关系的功能，而后者进一步消除了分层冗余在分类器学习阶段。实验结果表明，Hie-TAN成功地获得了比其他几种层次依赖约束分类算法更好的预测性能，并通过消除层次冗余进一步提高了其预测性能，Hie-TAN-Lite获得了更高的准确率。
2022-02-08 cs.LG stat.ML
A Bayesian Network Classifier that Combines a Finite Mixture Model and a Naive Bayes Model
University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一个新的贝叶斯网络模型的分类，结合朴素贝叶斯（NB）分类器和有限混合（FM）分类器。由此产生的分类器的目的是放松的两个组件模型的基础上的强假设，在试图提高其分类性能，无论是在准确性和校准的估计概率。建议的分类器是通过叠加一个有限的混合模型的一组特征变量的朴素贝叶斯模型。我们目前的实验结果，比较真实数据集上的新分类器的预测性能与NB分类器和FM分类器的预测性能。
2013-01-23 cs.AI cs.LG stat.ML
Diversity-Aware Weighted Majority Vote Classifier for Imbalanced Data
NEC Laboratories Europe GmbH（欧洲NEC实验室有限公司）
在本文中，我们提出了一个多样性感知集成学习的算法，简称为DAMVI，处理不平衡的二进制分类任务。具体地，在学习基本分类器之后，算法i）增加用均匀加权的基本分类器进行分类“困难”的正样本（少数类）的权重;以及ii）然后通过优化考虑分类器之间的准确性和多样性的PAC-Bayesian C-Bound来学习基本分类器的权重。我们显示了所提出的方法的效率相对于预测性维护任务，信用卡欺诈检测，网页分类和医疗应用的最先进的模型。
2020-04-16 cs.LG stat.ML
An Additive Model View to Sparse Gaussian Process Classifier Design
Yahoo! Labs（雅虎实验室）；Indian Institute of Science（印度科学学院）
我们考虑的问题，设计一个稀疏高斯过程分类器（SGPC），推广良好。将SGPC设计看作是构建一个类似于boosting的加性模型，我们提出了一种高效的SGPC设计方法来执行预测损失函数的逐阶段优化。我们介绍了两个关键组件的新方法，即，场地参数估计和基向量选择。所提出的基于自适应采样的基向量选择方法有助于以降低的计算成本实现提高的泛化性能。该方法也可与其它场地参数估计方法结合使用。它具有与众所周知的信息向量机相似的计算和存储复杂性，适用于大型数据集。超参数可以通过优化预测损失函数来确定。实验结果表明，所提出的基向量选择方法在几个基准数据集上具有更好的泛化性能，特别是对于相对较小的基向量集大小或困难的数据集。
2012-06-26 cs.LG stat.ML
Optimization of Genomic Classifiers for Clinical Deployment: Evaluation of Bayesian Optimization to Select Predictive Models of Acute Infection and In-Hospital Mortality
Inflammatix, Inc.（英弗马特克斯公司）
急性感染，如果不能迅速和准确地发现，可能导致败血症，器官衰竭，甚至死亡。目前对急性感染的检测以及对患者病情严重程度的评估都是不完善的。通过定量血液中特定基因的表达水平来表征患者的免疫应答代表了完成这两项任务的可能更及时和精确的手段。机器学习方法提供了一个平台来利用这种“主机响应”来开发部署就绪的分类模型。有前途的分类器的优先级部分地依赖于超参数优化，其中包括网格搜索、随机采样和贝叶斯优化的许多方法已被证明是有效的。我们比较HO方法的发展，急性感染和住院死亡率的基因表达的29个诊断标志物的诊断分类。我们采用以部署为中心的方法进行综合分析，通过选择数据集分区和超参数优化目标以及在外部（以及内部）验证中评估选定的分类器，解释了多研究患者队列中的异质性。我们发现，贝叶斯优化选择的分类器在医院死亡率可以优于那些选择网格搜索或随机抽样。然而，与以前的研究相反：1）与网格搜索或基于随机采样的方法相比，贝叶斯优化在所有情况下选择分类器并不更有效，2）我们注意到，当使用贝叶斯优化的常见变体（即自动相关性确定）时，分类器性能仅在特定情况下有边际收益。我们的分析强调，需要进一步的实际，部署为中心的基准HO方法在医疗保健方面。
2020-10-13 cs.LG q-bio.QM stat.ML
Open Set Recognition Through Deep Neural Network Uncertainty: Does Out-of-Distribution Detection Require Generative Classifiers?
Goethe University（歌德大学）
我们提出了一个基于预测不确定性的分析分布外检测的不同方法来估计各种模型的认知不确定性，并将其与基于极值理论的开集识别。虽然前者似乎不足以克服这一挑战，我们证明，不确定性与后者的方法齐头并进。这似乎特别反映在生成模型方法中，我们表明基于后验的开集识别优于判别模型和基于预测不确定性的离群值拒绝，提出了一个问题，即分类器是否需要生成，以便知道他们没有看到什么。
2019-08-26 cs.CV cs.LG stat.ML
Revisiting the Calibration of Modern Neural Networks
Google Research（谷歌研究院）
预测不确定性的准确估计（模型校准）对于神经网络的安全应用是必不可少的。现代神经网络中的许多错误校准的例子已经被报道，这表明一种趋势，即更新，更准确的模型产生校准不良的预测。在这里，我们重新审视这个问题的最新国家的最先进的图像分类模型。我们系统地将模型校准和准确性联系起来，并发现最近的模型，特别是那些不使用卷积的模型，是最好的校准模型之一。在前几代模型中观察到的趋势，如校准随分布偏移或模型大小的衰减，在最近的架构中不太明显。我们还表明，模型大小和预训练量不能完全解释这些差异，这表明架构是校准属性的主要决定因素。
2021-10-26 cs.CV cs.LG
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University（兰州大学）
本文提出曲率动态黑盒攻击方法，通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下，数据集是足够大，使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力，以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点，同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则，第一个更喜欢一个模型与可解释的活动集参数，而第二个把计算复杂性放在第一位，因此一个模型与活动集参数，直接控制其复杂性。我们还提供了理论和经验支持，我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明，我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Revisiting Adversarial Risk
Carnegie Mellon University（卡内基梅隆大学）
对抗扰动的最新研究表明，在标准测试精度和对抗精度之间存在固有的权衡。具体来说，他们表明，没有分类器可以同时对对抗性扰动具有鲁棒性，并实现高标准的测试精度。然而，这与标准概念相反，在图像分类等任务中，人类是具有低错误率的鲁棒分类器。在这项工作中，我们表明，这种混乱背后的主要原因是在文献中使用的对抗扰动的不精确定义。为了解决这个问题，我们对对抗扰动的现有定义提出了一个轻微但重要的修改。基于修改后的定义，我们表明，对抗和标准精度之间没有权衡;存在鲁棒的分类器，并实现高标准精度。我们进一步研究了对抗风险的新定义的几个性质及其与现有定义的关系。
2019-03-23 cs.LG stat.ML
From Physics-Based Models to Predictive Digital Twins via Interpretable Machine Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
这项工作开发了一种方法，用于从代表各种资产状态的基于物理的模型库中创建数据驱动的数字孪生。使用可解释的机器学习更新数字孪生。具体来说，我们使用最优树-最近开发的可扩展的机器学习方法-训练一个可解释的数据驱动的分类器。分类器的训练数据使用由基于物理的模型库求解的模拟场景离线生成。这些数据可以使用实验数据或其他历史数据进一步扩充。在操作中，分类器使用来自资产的观测数据来推断模型库中的哪些基于物理的模型是更新的数字孪生的最佳候选。该方法通过为12英尺翼展的无人机开发结构数字孪生来演示。这个数字孪生模型是从一系列结构状态下车辆的降阶模型库中构建的。数据驱动的数字孪生会根据结构损坏或退化动态更新，并使飞机能够相应地重新规划安全任务。在这种情况下，我们研究的最佳树分类器的性能，并展示了如何解释它们的可解释性，使稀疏传感器测量的结构评估，并通知最佳传感器的位置。
2020-04-28 cs.CE cs.LG
Logits are predictive of network type
Quintic AI（昆蒂克人工智能公司）
我们证明，预测哪个深度网络生成了给定的logit向量是可能的，其准确性远远高于偶然性。我们在数据集上使用了许多网络，这些网络使用随机权重或预训练权重进行初始化，以及微调网络。然后在该数据集的训练集的logit向量上训练分类器，以将logit向量映射到生成它的网络索引。然后在数据集的测试集上评估分类器。随机初始化网络的结果更好，但也适用于预训练网络和微调网络。使用非标准化logits的分类精度高于标准化logits。我们发现，当将分类器应用于相同的网络但具有不同的权重集时，几乎没有转移。除了帮助更好地理解深度网络及其编码不确定性的方式外，我们预计我们的发现在某些应用中是有用的（例如，为某种类型的网络定制对抗攻击）。代码可在https://github.com/aliborji/logits上获得。
2022-11-04 cs.AI cs.CV cs.LG
What classifiers know what they don't?
Facebook AI Research（脸书人工智能研究院）
面对未知时的不确定性是智能决策的关键。然而，机器学习算法缺乏关于其预测不确定性的可靠估计。这会导致在训练过程中遇到看不见的类时做出错误和过于自信的决定。尽管为分类器配备为现实世界准备的不确定性估计很重要，但之前的工作主要集中在小数据集上，并且训练和测试数据之间几乎没有类别差异。为了缩小这一差距，我们引入了UIMNET：一个现实的、ImageNet规模的测试平台，用于评估深度图像分类器的预测不确定性估计。我们的基准测试提供了八种最先进的算法，六种不确定性度量，四种域内度量，三种域外度量的实现，以及一个全自动的管道来训练，校准，集成，选择和评估模型。我们的测试台是开源的，我们所有的结果都可以从我们存储库中的固定提交中重现。添加新的数据集、算法、度量或指标只需要几行代码，因此希望UIMNET成为不确定性估计中现实、严格和可重复研究的垫脚石。我们的研究结果表明，合奏的ERM分类器，以及单一的MIMO分类器是两个最好的替代品，目前可用于测量的不确定性域和域外类。
2021-07-13 cs.AI cs.LG
Revisiting Essential and Nonessential Settings of Evidential Deep Learning
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出Re-EDL，通过放宽EDL中先验权重固定、方差最小化和KL散度正则化等非基本设置，仅保留主观逻辑投影概率，简化模型并提升不确定性估计性能。
2024-10-01 cs.AI cs.LG
SLOVA: Uncertainty Estimation Using Single Label One-Vs-All Classifier
Jagiellonian University（雅盖隆大学）
深度神经网络表现出令人印象深刻的性能，但它们无法可靠地估计其预测置信度，限制了它们在高风险领域的适用性。我们发现，应用多标签的一对所有损失揭示了分类模糊性，并降低了模型的过度自信。引入的SLOVA（单标签一对所有）模型将典型的一对所有预测概率重新定义为单标签情况，其中只有一个类别是正确答案。建议的分类是有信心的，只有当一个单一的类有很高的概率和其他概率可以忽略不计。与典型的softmax函数不同，如果所有其他类的概率都很小，SLOVA自然会检测出分布外的样本。该模型还通过指数校准进行了微调，这使我们能够精确地将置信度得分与模型准确度进行对齐。我们在三个任务上验证我们的方法。首先，我们证明了SLOVA与最先进的分布校准具有竞争力。其次，SLOVA的性能在数据集移动下是鲁棒的。最后，我们的方法在检测分布外样本方面表现非常好。因此，SLOVA是一种工具，可用于需要不确定性建模的各种应用中。
2022-06-28 cs.LG
Towards Consistent Predictive Confidence through Fitted Ensembles
University of Central Florida（中佛罗里达大学）
深度神经网络是最近机器学习应用中许多成功的背后。然而，这些模型在遇到分布外（OOD）示例或做出错误预测时可能会产生过度自信的决策。这种不一致的预测置信度限制了独立训练的学习模型集成到更大的系统中。本文引入了可分离的概念学习框架，以现实地衡量存在OOD的例子分类器的性能。在这种设置中，分类器的几个实例在类集合的分区的不同部分上训练。随后，在单独的测试集上评估这些模型的组合的性能。与当前的OOD检测技术不同，该框架不需要辅助OOD数据集，也不将分类与检测性能分开。此外，我们提出了一个新的强基线，用于在深度模型中实现更一致的预测置信度，称为拟合集合，其中过度自信的预测通过原始分类任务的转换版本进行纠正。拟合集成可以自然地检测OOD的例子，而不需要辅助数据，通过观察其组件之间的矛盾预测。在MNIST、SVHN、CIFAR-10/100和ImageNet上的实验表明，拟合集成在OOD示例上的性能明显优于传统集成，并且可以扩展。
2021-06-22 cs.AI cs.CV cs.LG
Revisiting Discriminative vs. Generative Classifiers: Theory and Implications
Gaoling School of AI, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Software, Shandong University（山东大学软件学院）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文从理论上证明多分类朴素贝叶斯仅需 $O(\log n)$ 样本即可逼近渐近误差，优于逻辑回归的 $O(n)$，并通过仿真和预训练视觉模型实验验证了其在迁移学习和少样本场景中的快速收敛优势。
2023-05-29 cs.AI cs.LG stat.ML
Predictive analysis of microarray data
Instituto de Matemática e Estatística da Universidade de São Paulo（圣保罗大学数学与统计学院）
本研究用贝叶斯非参数模型分析微阵列基因表达数据，聚焦未来可观测值预测，提出差异表达基因选择方法与分类器。
2014-06-10 stat.AP stat.ME
Revisiting the Vector Space Model: Sparse Weighted Nearest-Neighbor Method for Extreme Multi-Label Classification
Graduate School of Keio University（庆应义塾大学研究生院）；Keio University（庆应义塾大学）
近年来，机器学习在信息检索（IR）中发挥了重要作用。例如，在搜索引擎中，接受查询关键字，并按照与给定查询的相关性顺序返回文档;这可以被视为机器学习中的多标签排名问题。通常，候选文档的数量非常大（从几千到几百万）;因此，分类器必须处理许多标签。这个问题被称为极端多标签分类（XMLC）。在本文中，我们提出了一种新的方法XMLC称为稀疏加权最近邻方法。这种技术可以作为最先进的（SOTA）一对休息的线性分类器非常稀疏的数据集的快速实现。此外，我们表明，分类器可以写为一个稀疏的推广的代表定理与线性内核。此外，我们的方法可以被看作是在IR中使用的向量空间模型。最后，我们表明，稀疏加权最近邻方法可以处理数据点在XMLC数据集上的实时与SOTA模型的性能相当，具有单线程和更小的存储空间。特别是，我们的方法在具有300万个标签的数据集上表现出优于SOTA模型的性能。
2018-02-12 cs.LG stat.ML
Revisiting Distillation and Incremental Classifier Learning
National University of Sciences and Technology（国家科技大学）；School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；National Center of Artificial Intelligence（国家人工智能中心）
人类和人工神经网络（ANN）的学习机制之间的关键区别之一是人类一次学习一项任务的能力。另一方面，ANN只能同时学习多个任务。任何学习新任务的尝试都会导致他们完全忘记以前的任务。这种缺乏增量学习能力的现象被称为灾难性遗忘，被认为是构建真正的人工智能系统的主要障碍。在本文中，我们的目标是将真正有效的增量学习思想与那些只在特定条件下有效的思想分离开来。为此，我们首先深入分析了当前最先进的增量学习方法（iCaRL），并证明了系统的良好性能并不是因为现有文献中提出的原因。我们的结论是，iCaRL的成功主要是由于知识蒸馏和认识到一个关键的限制知识蒸馏，即，它往往会导致偏见的分类。最后，我们提出了一个动态阈值移动算法，能够成功地消除这种偏见。我们证明了我们的算法在CIFAR100和MNIST数据集上的有效性，显示出接近最佳的结果。我们的实现可以在https://github.com/Khurramjaved96/incremental-learning上获得。
2019-03-25 cs.CV cs.LG stat.ML
Evaluating the Predictive Performance of Positive-Unlabelled Classifiers: a brief critical review and practical recommendations for improvement
University of Kent（肯特大学）
正非标记（PU）学习是机器学习的一个不断发展的领域，旨在从由标记的正和未标记的实例组成的数据中学习分类器。虽然已经做了很多工作，提出了PU学习的方法，但很少有人写过关于评估这些方法的主题。由于缺乏完全标记的数据，许多流行的标准分类指标无法精确计算，因此必须采取替代方法。这篇简短的评论文章批判性地回顾了主要的PU学习评估方法和51篇提出PU分类器的文章中预测准确性指标的选择，并为这一领域的改进提供了实用的建议。
2022-06-06 cs.LG stat.ML
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
在线类增量持续学习（CL）研究从在线非平稳数据流中持续学习新类的问题，旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果，但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值（NCM）分类器在CL社区中被严重低估，但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差，并避免了新类的全连接层的结构变化。此外，我们观察到相当大的和一致的性能增益时，用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器，属于同一类的数据嵌入应该被聚类，并与具有不同类标签的数据嵌入很好地分离。为此，我们贡献了监督对比重放（SCR），它明确鼓励来自同一类的样本在嵌入空间中紧密聚类，同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说，我们观察到，我们提出的SCR大大减少了灾难性遗忘，并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Constructing multi-modality and multi-classifier radiomics predictive models through reliable classifier fusion
UT Southwestern Medical Center（德克萨斯大学西南医学中心）；Xidian University（西安电子科技大学）
放射组学旨在从医学图像中提取和分析大量的定量特征，并且在癌症治疗的分期，诊断和预测结果方面具有很大的前景。然而，需要解决几个挑战，以构建最佳的放射组学预测模型。首先，当从个体成像模态提取的特征被盲组合到单个预测模型中时，模型的预测性能可能降低。其次，由于许多不同类型的分类器可用于构建预测模型，因此为特定应用选择最佳分类器仍然具有挑战性。在这项工作中，我们开发了多模态和多分类器放射组学预测模型，解决了目前可用模型中的上述问题。具体而言，提出了一种新的可靠的分类器融合策略，以最佳地组合来自不同模态和分类器的输出。在该策略中，首先训练特定于模态的分类器，并开发分析证据推理（ER）规则来融合每个模态的输出分数以构建最佳预测模型。一个公共数据集和两个临床病例研究进行了验证模型的性能。实验结果表明，所提出的ER规则为基础的放射组学模型优于传统的模型，依赖于一个单一的分类器或简单地使用组合的功能，从不同的方式。
2017-10-05 cs.LG physics.med-ph stat.ML
Fair Bayes-Optimal Classifiers Under Predictive Parity
Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对人工智能不同影响的日益关注激发了大量关于公平机器学习的工作。现有工作主要侧重于基于独立和分离的措施（例如，人口均等、机会均等、机会均等），而预测均等等基于生育率的衡量标准则研究得少得多。本文认为预测奇偶校验，这需要均衡的成功概率给出了积极的预测之间的不同保护组。我们证明，如果不同群体的整体表现只有适度的变化，预测奇偶校验下的所有公平贝叶斯最优分类器是组明智的阈值规则。也许令人惊讶的是，这可能不成立，如果组的性能水平变化很大，在这种情况下，我们发现，受保护的群体之间的预测奇偶性可能会导致组内的不公平。然后，我们提出了一个算法，我们称之为FairBayes-DPP，旨在确保预测奇偶校验时，我们的条件得到满足。FairBayes-DPP是一种自适应阈值算法，旨在实现预测奇偶校验，同时还寻求最大化测试精度。我们提供支持的合成和经验数据进行的实验。
2022-06-03 cs.LG stat.ML
Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
University of Mannheim（曼海姆大学）；SAP Signavio（思爱普 Signavio）；Technical University of Clausthal（克劳斯塔尔工业大学）
该研究对比序列、表格基础模型与LLM在PPM任务的表现，发现序列模型下一个活动预测最优，表格模型在时间任务具竞争力，LLM性能滞后且成本更高。
2026-07-31 cs.LG
Imbalance Trouble: Revisiting Neural-Collapse Geometry
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
神经崩溃是指在训练超过零训练误差时，由深度网络发现的表征类嵌入和分类器权重几何结构的显着结构特性。然而，这种特征仅适用于平衡数据。因此，在这里我们要问，它是否能对阶级不平衡保持不变。为此，我们采用无约束特征模型（UFM），最近的理论模型研究神经崩溃，并引入单纯形编码标签插值（SELI）作为不变的表征神经崩溃现象。具体来说，我们证明了UFM与交叉熵损失和消失的正则化，无论类的不平衡，嵌入和分类器总是插入一个单纯形编码的标签矩阵和它们各自的几何形状是由这个相同的标签矩阵的SVD因子。然后，我们提出了广泛的实验合成和真实的数据集，确认收敛到SELI几何。然而，我们警告说，趋同与日益严重的不平衡相伴随。我们从理论上支持这一发现表明，不像平衡的情况下，当少数民族存在，脊正则化在调整的几何形状中起着至关重要的作用。这定义了新的问题，并激发进一步调查的影响类的不平衡率，一阶方法收敛到他们的渐近首选的解决方案。
2022-08-10 cs.LG stat.ML
Asymptotic Supervised Predictive Classifiers under Partition Exchangeability
University of Helsinki（赫尔辛基大学）
研究了监督分类中同时预测分类器和边缘预测分类器在分区交换下的收敛性。结果表明，在无限数量的训练或测试数据下，这些分类器都是渐近收敛的，使得在观测了无数的数据后，这些分类器之间的差异可以忽略不计。这是一个重要的结果，从实践的角度来看，在足够大的数据量的存在下，可以用计算上更昂贵的同时一个取代简单的边缘分类。
2021-01-26 cs.LG math.ST stat.ML
Identifying Significant Predictive Bias in Classifiers
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的子集扫描方法来检测概率二进制分类器是否具有统计上显著的偏差-超过或低于预测的风险-对于某些亚组，并确定该亚组的特征。这种形式的模型检查和拟合优度测试提供了一种可解释地检测分类器偏差或分类器拟合差区域的存在的方法。这不仅允许考虑先验兴趣或小尺寸的子组，而且允许考虑所有可能的特征子组的空间。为了解决考虑这些指数许多可能的子群的困难，我们使用子集扫描和参数引导的方法。扩展该方法，我们可以惩罚检测到的子组的复杂性，也可以识别具有高分类错误的子组。我们展示了这些方法，并发现有趣的结果COMPAS犯罪累犯和信用拖欠数据。
2017-07-04 cs.LG stat.ML
Revisiting the Relation Between Robustness and Universality
University of Passau（巴伐利亚大学）
本研究重新检验修正普适性假说，发现鲁棒模型仅在特定设置下部分普适，预测行为不随鲁棒性趋同，但重训练分类器可提升普适性。
2025-10-22 cs.LG
Revisiting (Un)Fairness in Recourse by Minimizing Worst-Case Social Burden
针对算法补救过程的公平性问题，本研究通过理论表征关联补救与分类公平性，提出基于社会负担的公平框架及MISOB算法，实证显示其可降低所有群体社会负担且不影响分类器准确性。
2025-11-18 cs.CY cs.LG
Performance Evaluation of Predictive Classifiers For Knowledge Discovery From Engineering Materials Data Sets
Mangalore University（芒伽罗大学）
本文将朴素贝叶斯分类器和C4. 5决策树分类器（DTC）分别应用于材料信息学中，对工程材料进行分类，以选择符合设计要求的材料。本文对分类器进行了单独分析，并利用混淆矩阵预测参数和标准测度对分类器的性能评估进行了分析，对不同类别的材料进行了分类结果分析。分类器的比较发现，朴素贝叶斯分类器是更准确，优于C4.5 DTC。朴素贝叶斯分类器发现的知识可用于制造业的材料选择决策。
2012-09-12 cs.LG
Facility Locations Utility for Uncovering Classifier Overconfidence
Miami University（迈阿密大学）；Air Force Research Lab（空军研究实验室）
在没有标记的测试数据集的情况下，评估黑盒分类器的预测准确性是具有挑战性的。在这些情况下，我们可能需要依赖人类预言来评估各个预测;这就提出了创建查询算法来指导搜索提供有关分类器预测特征的最多信息的点的挑战。以前的工作都集中在开发实用程序模型和查询算法，发现未知的未知数--错误分类的预测信心高于一些任意阈值。然而，如果错误分类的发生率由置信度值所反映，那么这些搜索方法只不过揭示了预测确定性的适当评估。当模型的预测置信度超过实际模型准确度时，我们无法适当降低与模型缺陷相关的风险。我们提出了一个设施的位置效用模型和相应的贪婪查询算法，而不是搜索过度自信的未知未知数。通过强大的实证实验，我们证明了贪婪的查询算法与设施的位置效用模型一致的结果在Oracle查询具有优越的性能，发现过度自信的未知的未知数比以前的方法。
2018-10-12 cs.LG stat.ML
Revisiting Non-separable Binary Classification and its Applications in Anomaly Detection
Georgia Institute of Technology（佐治亚理工学院）；School of Cybersecurity and Privacy（网络安全与隐私学院）；Lengo AI（Lengo AI公司）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Apple（苹果公司）
该研究提出等式分离范式实现XOR的线性分类，引入闭合数量化分类器形成闭合决策区域的能力，验证了该方法在有监督异常检测中可同时检测已见与未见异常。
2024-06-18 cs.AI cs.LG stat.ML
Bayes in Wonderland! Predictive supervised classification inference hits unpredictability
University of Helsinki（赫尔辛基大学）
边缘贝叶斯预测分类器（mBpc），而不是同步贝叶斯预测分类器（SBpc），单独处理每个数据，因此默认的独立性的意见。然而，由于生成模型参数的学习饱和，这种错误假设对mBpc准确性的不利影响往往会在训练数据量增加的情况下逐渐消失;在de Finetti类型的交换机下保证这两个分类器的收敛。然而，这个结果对于在分区交换（PE）下生成的序列来说是非常重要的，即使是无数的训练数据也不能排除未观察到结果的可能性（仙境！）。我们提供了一个计算方案，允许在PE下生成序列。在此基础上，通过控制训练数据的增加，我们证明了sBpc和mBpc的收敛性。这是使用更简单但计算效率更高的边缘分类器而不是同时分类器的基础。我们还提供了一个参数估计的生成模型产生的分区可交换的序列，以及在不同的样本，这个参数的平等性的测试范例。Ewens抽样公式生成模型的贝叶斯预测监督分类、参数估计和假设检验的软件包作为PEkit软件包存放在CRAN上，并可从https://github.com/AmiryousefiLab/PEkit免费获得。
2021-12-03 cs.LG stat.ML
Revisiting lp-constrained Softmax Loss: A Comprehensive Study
University of Malta（马耳他大学）
规范化是任何机器学习任务的重要过程，因为它控制数据的属性并影响模型的整体性能。然而，到目前为止，特定形式的规范化的影响已经在有限的特定领域的分类任务，而不是在一般的方式进行了调查。由于缺乏这样一个全面的研究，在本文中，我们研究了在概念验证分类问题和现实世界流行的图像分类任务中，lp约束的softmax损失分类器在不同范数阶数、量级和数据维度上的性能。实验结果表明，LP约束的softmax损失分类器不仅可以实现更准确的分类结果，但同时，似乎不太容易过拟合。核心研究结果适用于测试的三种流行的深度学习架构和八个数据集，并表明lp归一化是图像分类在性能和收敛方面的推荐数据表示实践，并防止过拟合。
2022-06-20 cs.CV cs.LG
Comparison of Evolving Granular Classifiers applied to Anomaly Detection for Predictive Maintenance in Computing Centers
University of Bologna（博洛尼亚大学）；INFN（意大利国家核物理研究所）；Federal University of Lavras（拉夫拉斯联邦大学）；INFN-CNAF（意大利国家核物理研究所国家核物理计算中心）
计算中心基于日志的预测性维护是支持CERN（欧洲核研究组织）物理实验的全球计算网格的主要关注点。日志作为面向事件的临时信息，通常以非结构化大数据的形式给出。测井数据处理是一项耗时的计算任务。目标是从不断变化的网格环境中获取必要的信息，以构建分类模型。不断发展的粒度分类器适合于从随时间变化的日志流中学习，因此可以对异常的严重程度进行在线分类。我们制定了一个4类在线异常分类问题，并采用时间窗口之间的地标和两种粒度计算方法，即基于模糊集的进化建模（FBeM）和进化粒度神经网络（eGNN），建模和监测测井活动率。分类结果对于预测性维护至关重要，因为可以优先考虑特定的时间间隔，其中分类器指示存在高或中等严重性异常。
2020-04-08 cs.LG cs.NE stat.ML
Learning Maximally Predictive Prototypes in Multiple Instance Learning
Bogazici University（博阿齐奇大学）
在这项工作中，我们提出了一个简单的模型，提供置换不变的最大预测原型生成器从一个给定的数据集，这导致解释的解决方案和具体的见解的性质和解决方案的问题。我们的目标是在特征空间中找出原型，将实例集合（即袋子）映射到距离特征空间，同时学习多实例学习（MIL）的线性分类器。在经典MIL基准数据集上的实验表明，与现有方法相比，该框架是一个准确和高效的分类器。
2021-01-22 cs.LG stat.ML
Revisiting k-NN for Fine-tuning Pre-trained Language Models
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）
本文重新审视kNN分类器以增强预训练语言模型，通过kNN校准训练和概率插值，在多种设置和任务上验证了经典方法的有效性。
2023-06-18 cs.AI cs.CL cs.DB
Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
Amazon Inc.（亚马逊公司）
本文在Transformer时代重新审视文本分类，比较生成式与判别式模型的性能，揭示不同架构下的表现差异并提供实际应用指导。
2026-01-09 cs.CL cs.LG
Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning
University of California Santa Barbara（加州大学圣巴巴拉分校）；University of California, San Diego（加州大学圣地亚哥分校）
教师团体的私人聚合（PATE）框架是最近最有前途的差异化私人学习方法之一。现有的理论分析表明，PATE始终学习任何VC类的可实现的设置，但在更一般的情况下，最佳分类器的出错率是有界远离零解释其成功的不足。我们通过引入Tsybakov噪声条件（TNC）来填补这一空白，并建立更强大，更可解释的学习边界。这些界限提供了新的见解，当PATE的作品和改善现有的结果，即使在较窄的可实现的设置。我们还研究了使用主动学习来节省隐私预算的令人信服的想法，实证研究表明了这种新想法的有效性。证明中的新组件包括对多数投票分类器的更精细的分析-这可能是独立的兴趣-以及观察到合成的“学生”学习问题在Tsybakov噪声条件下几乎可以通过构建来实现。
2022-03-11 cs.CR cs.LG
Predictive process mining by network of classifiers and clusterers: the PEDF model
在这项研究中，提出了一个模型来学习事件日志和预测系统的未来事件。所提出的PEDF模型基于事件的序列、持续时间和额外特征进行学习。PEDF模型由标准聚类器和分类器组成的网络构建，具有很高的迭代更新灵活性。该模型需要从日志文件中提取两组数据，即，过渡差异和累积特征。该模型具有一层记忆，这意味着每个转换都依赖于当前事件和前一个事件。为了评估所提出的模型的性能，它是比较的递归神经网络和序贯预测模型，它优于他们。由于事件日志预测模型缺少性能度量，提出了三种度量方法。
2020-11-22 cs.LG
Mitigating the Multiplicity Burden: The Role of Calibration in Reducing Predictive Multiplicity of Classifiers
Eskisehir Technical University, Department of Statistics（埃斯基谢普大学统计学系）
本文研究了分类校准与预测多重性之间的关系，发现少数类观测承担了不成比例的多重性负担，通过后处理校准可降低Rashomon集中的模糊性。
2026-03-16 cs.LG
Equipment Failure Analysis for Oil and Gas Industry with an Ensemble Predictive Model
School of Computer Science, University of Nottingham Malaysia Campus（诺丁汉大学马来西亚校区计算机科学学院）；Tentacle Technologies（触手科技公司）
针对油气设备故障分类中不平衡数据导致分类器性能不佳的问题，提出结合SMO训练算法的SVM与混合规则-神经网络分类器的堆叠集成预测模型，分类性能显著优于传统分类器。
2020-12-30 cs.LG
Revisiting Simple Baselines for Relational Deep Learning
University of Würzburg（维尔茨堡大学）；Seamless Labs, Inc.（Seamless Labs 公司）；Stanford University（斯坦福大学）
本研究重新探索简单传播方法作为关系深度学习基线的有效性，提出适配关系实体图的低通特征传播与MLP结合，结合Correct-and-Smooth优化预测，在RelBench任务上表现优异，明确元图构建是关键挑战。
2026-10-14 cs.LG
Model Evaluation in the Dark: Robust Classifier Metrics with Missing Labels
J.P. Morgan AI Research（摩根大通人工智能研究院）
针对模型评估中标签缺失问题，提出多重插补技术以准确估计分类器指标，提供预测分布并证明其近似高斯性及鲁棒性。
2025-04-25 cs.LG stat.ML
Why Is My Classifier Discriminatory?
MIT（麻省理工学院）
最近在预测模型中实现公平性的尝试集中在公平性和准确性之间的平衡。在医疗保健或刑事司法等敏感应用中，这种权衡往往是不可取的，因为预测误差的任何增加都可能造成破坏性后果。在这项工作中，我们认为，预测的公平性应在数据的背景下进行评估，并通过数据收集，而不是通过约束模型，解决样本量不足或不可测的预测变量引起的不公平。我们将基于成本的歧视指标分解为偏差，方差和噪声，并提出旨在估计和减少每个术语的行动。最后，我们对收入、死亡率和评论评级的预测进行了案例研究，证实了这种分析的价值。我们发现，数据收集通常是一种在不牺牲准确性的情况下减少歧视的手段。
2018-12-10 cs.LG stat.ML
Interestingness First Classifiers
National Institute of Informatics（国立信息研究所）
本文提出 EUREKA 框架，利用大语言模型按趣味性选择特征并构建可解释分类器，在多个基准数据集上发现非显而易见但具预测力的特征，以支持知识发现与交流。
2025-08-27 cs.LG stat.ML
Adaptive Model Predictive Control by Learning Classifiers
NVIDIA（英伟达）；the University of Sydney（悉尼大学）
随机模型预测控制已经成为许多机器人任务的成功和鲁棒的控制框架，其中系统动力学模型稍微不准确或存在环境干扰。尽管取得了成功，但仍然不清楚如何在存在模型参数不确定性和异方差噪声的情况下最好地调整控制参数以适应当前任务。在本文中，我们提出了一个自适应MPC的变种，自动估计控制和模型参数，利用贝叶斯优化（BO）和经典的预期改善采集功能的想法。我们利用最近的结果表明，BO可以通过密度比估计，这可以通过简单地学习分类器有效地近似重新制定。然后，这是集成到一个模型预测路径积分控制框架产生鲁棒控制器的各种具有挑战性的机器人任务。我们展示了模型不确定性和机器人操作任务下经典控制问题的方法。
2022-04-05 cs.AI cs.LG cs.RO
Predictive Modeling of ICU Healthcare-Associated Infections from Imbalanced Data. Using Ensembles and a Clustering-Based Undersampling Approach
Faculty of Nursing and Physiotherapy, University of Salamanca（萨拉曼卡大学护理与物理治疗学院）；University Hospital of Salamanca（萨拉曼卡大学医院）；Department of Computing and Automation, University of Salamanca（萨拉曼卡大学计算与自动化系）；Department of Statistics, University of Salamanca（萨拉曼卡大学统计系）
鉴于此类感染对患者死亡率和医疗保健成本的影响，早期发现易受医院环境中获得的感染的患者是当前卫生系统的一项挑战。这项工作的重点是通过机器学习方法识别风险因素和预测重症监护病房中的医疗保健相关感染。其目的是为降低感染发生率的决策提供支持。在这一领域，有必要处理的问题，建立可靠的分类器，从不平衡的数据集。我们提出了一种基于聚类的欠采样策略，用于与集成分类器相结合。为了验证我们的建议，进行了一项比较研究，从4616例患者的数据。我们应用了几个单一的和集成分类器的原始数据集和数据预处理通过不同的恢复方法。通过专门为不平衡数据分类设计的经典和最新指标对结果进行了分析。他们透露，与其他方法相比，该提案更有效。
2020-05-07 cs.LG stat.ML
Proficiency Comparison of LADTree and REPTree Classifiers for Credit Risk Forecast
IFHE University（IFHE大学）
预测信用违约者是银行等金融行业的一项危险任务。在发放贷款之前确定非付款人是银行家的一项重要任务，也是一项充满冲突的任务。分类技术是预测分析的更好选择，比如找到索赔人，无论他/她是一个谦逊的客户还是一个骗子。对于任何一个像银行家这样的实业家来说，定义杰出的分类器都是一项冒险的任务。这允许计算机科学研究人员通过评估不同的分类器并找出用于此类预测问题的最佳分类器来深入研究有效的研究工作。本文研究了LADTree分类器和REPTree分类器在信用风险预测中的效率，并通过各种措施比较了它们的适应性。采用德国信用数据集，借助开源的机器学习工具进行信用风险预测。
2015-03-23 cs.LG
Simulating Biases for Interpretable Fairness in Offline and Online Classifiers
Faculdade de Engenharia da Universidade do Porto（葡萄牙波尔图大学工程学院）；Laboratory for Artificial Intelligence and Computer Science (LIACC)（人工智能与计算机科学实验室）
本文提出一个具有可控偏见注入的合成数据集生成框架，基于智能体模型模拟贷款申请中的系统性偏见，并采用二阶 Shapley 值技术解释缓解措施对分类器特征利用的影响，在离线和在线学习环境中验证了其有效性。
2025-07-14 cs.LG stat.ML
