Performance-Agnostic Fusion of Probabilistic Classifier Outputs
Stellenbosch University（斯泰伦博斯大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）
我们提出了一种方法，用于组合分类器的概率输出，以便在没有关于单个分类器的进一步信息时进行单个共识类预测，除了它们已经针对相同的任务进行了训练。缺乏相关的先验信息排除了贝叶斯或Dempster-Shafer方法的典型应用，这里的默认方法是基于无差异原则的方法，例如求和或乘积规则，基本上对所有分类器进行同等权重。相比之下，我们的方法考虑了各种分类器输出之间的多样性，根据它们与其他预测的对应关系迭代更新预测，直到预测收敛到共识决策。这种方法背后的直觉是，为同一任务训练的分类器通常应该在新任务的输出中表现出不确定性;因此，使用我们的方法，与其他分类器的预测显著不同的分类器的预测可信度较低。该方法隐含地假设对称的损失函数，因为不考虑各种预测误差的相对成本。该模型的性能表现在不同的基准数据集。我们提出的方法在准确性是性能指标的情况下工作良好;但是，它不输出校准的概率，因此它不适合需要进一步处理这些概率的情况。
2020-09-01 cs.LG stat.ML
Shapley Value on Probabilistic Classifiers
Zhejiang University（浙江大学）
针对传统Shapley值无法有效区分概率分类器的有益与有害训练数据点的问题，本文提出利用预测类别概率的P-Shapley值及置信校准激活函数，经四个真实数据集实验验证其在数据重要性评估上的有效性。
2023-06-12 cs.DB cs.LG
Quantifying probabilistic robustness of tree-based classifiers against natural distortions
Know-Center GmbH（Know-Center有限公司）
值得信赖的人工智能的概念最近得到了广泛的关注。与可信AI相关的一个方面是ML模型的鲁棒性。在这项研究中，我们将展示如何概率量化的鲁棒性对自然发生的失真的输入数据基于树的分类器的假设下，自然失真可以描述的多元概率分布，可以转换为多元正态分布。其思想是提取训练的基于树的分类器的决策规则，将特征空间分离成不重叠的区域，并确定具有失真的数据样本返回其预测标签的概率。该方法是基于最近推出的现实世界的鲁棒性，它适用于所有的黑盒分类器的措施，但只是一个近似值，只有在输入维数不是太高，而我们提出的方法给出了一个精确的测量。
2022-11-29 cs.LG
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore（迈索尔MCG）
出于跨各种数据库的链接记录的需要，我们提出了一种新的基于图形模型的分类器，它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的，并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论，这类问题，而不是破坏层次的依赖关系，可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
A Probabilistic Method to Predict Classifier Accuracy on Larger Datasets given Small Pilot Data
Tufts University（塔夫茨大学）；Kaiser Permanente Southern California（南加州凯泽永久医疗集团）；Tufts Medical Center（塔夫茨医疗中心）
本文提出一种高斯过程模型，基于小规模试点数据对分类器准确率随数据集规模增长的变化进行概率外推，并在六个数据集上验证了其误差、似然和覆盖率表现。
2023-11-29 cs.LG
I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出I-trustworthy框架，通过局部校准误差（LCE）和基于核的假设检验统计量KLCE评估概率分类器可信度，提供理论收敛界限与偏差诊断工具，并证明现有重校准方法不足以实现该可信度。
2025-05-01 cs.LG stat.ME stat.ML
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University（坦佩雷大学）；Visy Oy（维西公司）
在本文中，我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而，这些方法不能实现安全应用中所需的低假阳性率（FPR）。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络，可以估计结果的分布，而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验，估计网络确定性的统计显著性，并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应，这是一个已知的最高性能的方法。结果表明，与替代方案相比，所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network
Department of Computer Engineering, College of Science & Technology（计算机工程系，科学与技术学院）
本文提出一种基于紧凑型概率神经网络的模式分类方法，通过简单的一次性网络生长算法自动确定结构和参数，实现连续增量学习与遗忘任务，实验表明其在分类性能和连续学习任务中表现优异。
2026-03-21 cs.CV cs.LG
Probabilistic classifiers with low rank indefinite kernels
University of Birmingham（伯明翰大学）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
不确定的相似性度量可以在生物信息学中通过比对分数来发现，但在其他领域也很常见，如图像检索中的形状度量。由于缺乏底层向量空间，数据仅以成对相似度给出。可用于此类数据的少数算法无法扩展到更大的数据集。针对概率批分类器，不定核Fisher判别（iKFD）和概率分类向量机（PCVM）都是这类数据的有效算法，但具有立方复杂度。在这里，我们提出了一个扩展的iKFD和PCVM，这样的线性运行时间和内存复杂性实现低秩不定内核。采用Nyström近似的不定内核，我们还提出了一个新的几乎无参数的方法来识别地标，仅限于一个监督学习的问题。在几个较大的相似性数据从不同领域的评估表明，所提出的方法提供了类似的泛化能力，同时更容易参数化和大规模数据的速度大大加快。
2016-04-08 cs.LG
Recalibrating binary probabilistic classifiers
Centre for Business Mathematics and Informatics（商业数学与信息学中心）
本文提出两种新的重新校准方法，用于在分布偏移视角下改进二元概率分类器的性能。
2026-01-21 cs.LG q-fin.RM
Probabilistic Combination of Classifier and Cluster Ensembles for Non-transductive Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo at Sao Carlos（圣卡洛斯圣保罗大学）；eBay Research Lab（eBay研究实验室）
无监督模型可以提供补充的软约束，以帮助在假设目标集中的相似对象更有可能共享相同的类标签的情况下对新的目标数据进行分类。这些模型还可以帮助检测训练和目标分布之间可能存在的差异，这在可能发生概念漂移的应用中非常有用。本文介绍了一种贝叶斯框架，作为输入类标签从现有的分类器（设计的标记数据的基础上从源域），以及集群标签从集群集成操作的目标数据进行分类，并产生一个共识标签的目标数据。当目标数据的统计数据从训练数据的统计数据漂移或改变时，该框架特别有用。我们还表明，所提出的框架是隐私意识，并允许执行分布式学习时，数据/模型有共享限制。实验表明，我们的框架可以产生优越的结果，只应用分类器集成。
2012-11-10 cs.LG stat.ML
Evaluating Probabilistic Classifiers: The Triptych
Heidelberg University（海德堡大学）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
对二元结果的概率预测，通常被称为概率分类器或置信度得分，在科学和社会中无处不在，并且评估和比较它们的方法需求量很大。我们提出并研究了一个三联的诊断图形，侧重于不同的和互补的方面的预测性能：可靠性图解决校准，受试者工作特性（ROC）曲线诊断的歧视能力，和墨菲图可视化的整体预测性能和价值。墨菲曲线显示预测的平均基本得分，包括广泛使用的错误分类率，墨菲曲线下的面积等于平均Brier得分。对于校准预测，可靠性曲线位于对角线上，对于竞争校准预测，ROC和墨菲曲线共享相同数量的交叉点。我们调用最近开发的CORP（一致的，最佳装箱，可再现，和池相邻违规者（PAV）算法为基础）的方法来制作可靠性图，并将平均得分分解为误校准（MCB），歧视（DSC），和不确定性（ESTA）组件。区分能力的DSC测量与校准度量MCB的图可视化了多个竞争者的分类器性能。从天体物理学，经济学和社会科学的实证例子说明了所提出的工具。
2023-01-25 cs.LG stat.ME stat.ML
Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一种有效的方法来估计分类器的准确性，只使用未标记的数据。我们考虑一个设置多个分类问题，目标类可能是通过逻辑约束绑在一起。例如，一组类可能是互斥的，这意味着一个数据实例最多只能属于其中一个类。所提出的方法是基于直觉：（i）当分类器同意时，它们更有可能是正确的，以及（ii）当分类器做出违反约束的预测时，至少有一个分类器必须出错。在四个真实世界的数据集上进行的实验，仅使用未标记的数据，产生的准确度估计值与真实准确度相差不到百分之几。我们的模型在估计精度和组合多个分类器输出方面也优于现有的最先进的解决方案。结果强调了逻辑约束在估计精度中的效用，从而验证了我们的直觉。
2017-05-19 cs.AI cs.LG stat.ML
Sample Efficient Learning of Image-Based Diagnostic Classifiers Using Probabilistic Labels
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；National University of Singapore（新加坡国立大学）
深度学习方法通常需要庞大的数据集来实现良好的泛化。这使得它在基于图像的医疗诊断等任务中的使用变得复杂，在这些任务中，小的训练数据集通常不足以学习适当的数据表示。对于这样的敏感任务，提供预测的置信度也很重要。在这里，我们提出了一种学习和使用概率标签的方法，从相对较小的数据集训练准确和校准的深度网络。与传统方法相比，我们观察到使用这些标签训练的模型在三个分类任务中的准确性提高了22%：髋关节发育不良，脂肪肝和青光眼的诊断。使用概率标签训练的模型的输出被校准，允许将其预测解释为适当的概率。我们预计这种方法将适用于其他任务，其中很少有训练实例可用，专家知识可以编码为概率。
2021-02-11 cs.CV cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe（丰田汽车欧洲公司）；Czech Technical University in Prague（捷克布拉格技术大学）
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器，它显示了有效性和概率解释。最近，在自监督对比表示学习方法取得成功之后，已经提出了监督对比方法来学习表示，并且与具有交叉熵损失的单独训练相比，监督对比方法已经显示出优越且更鲁棒的性能。然而，交叉熵损失仍然需要训练最终的分类层。在这项工作中，我们研究学习的表示和分类器使用一个目标函数，结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先，我们重新审视了以前提出的基于对比度的目标函数，该目标函数近似交叉熵损失，并提出了一个简单的扩展来共同学习分类器。其次，我们提出了一个新版本的监督对比训练，它联合学习分类器和网络骨干的参数。我们的经验表明，我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性，比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；University of Hohenheim（霍恩海姆大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
如果预测的概率与事后观察到的频率相匹配，则概率预测或概率分类器是可靠的或经过校准的，如在可靠性图中视觉检查的。经典的装箱和计数的方法来绘制可靠性图已受到阻碍的不可避免的，特设的实施决策下缺乏稳定性。在这里，我们介绍了CORP方法，该方法以自动化的方式生成可证明的统计一致性，最佳装箱和可再现的可靠性图。CORP基于非参数保序回归，并通过池相邻违规者（PAV）算法实现-本质上，CORP可靠性图显示了PAV（重新）校准的预测概率图。CORP方法允许不确定性量化，通过重新校准技术或渐近理论，重新校准一个新的数值测量，并提供了一个基于CORP的Brier分数分解，概括为任何适当的评分规则。我们预计，明智地使用PAV算法产生改进的工具，用于诊断和推断非常广泛的统计和机器学习方法。
2020-08-07 cs.LG stat.ME stat.ML
On the Role of Randomization in Adversarially Robust Classification
CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；Payflows
本文厘清随机化在对抗鲁棒分类中的作用，证明随机化集成在特定条件下可优于确定性假设集，同时证明任何概率二分类器都存在更优的确定性分类器，并给出相应确定性假设集的显式描述。
2023-11-28 cs.LG
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Binary Classifier Calibration: Non-parametric approach
University of Piuttsburgh（匹兹堡大学）；University of Pittsburgh（匹兹堡大学）
准确校准学习的概率预测模型对于许多实际预测和决策任务至关重要。有两个主要类别的方法用于构建校准的分类器。一种方法是开发用于学习概率模型的方法，这些方法是从头开始的。另一种方法是使用一些后处理方法来转换分类器的输出以进行良好校准，例如直方图分箱，普拉特缩放和保序回归。后处理方法的一个优点是它可以应用于使用任何机器学习方法构建的任何现有概率分类模型。在本文中，我们首先介绍了两个措施，以及如何评估一个分类器校准。我们证明了三个定理表明，使用一个简单的直方图分箱后处理方法，它是可能的，使分类器进行良好的校准，同时保留其歧视能力。此外，通过将直方图分箱方法铸造为基于密度的非参数二元分类器，我们可以使用两个简单的非参数密度估计方法对其进行扩展。我们证明了所提出的校准方法在合成和真实数据集上的性能。实验结果表明，所提出的方法优于或相当于现有的校准方法。
2014-01-14 cs.LG stat.ML
Sampling Prediction-Matching Examples in Neural Networks: A Probabilistic Programming Approach
Massachusetts Institute of Technology（麻省理工学院）
虽然神经网络模型表现出令人印象深刻的性能，但我们并不确切了解这些黑盒模型如何进行单独的预测。这个缺点导致了大量的研究致力于了解这些模型的鲁棒性，可解释性和泛化能力等领域。在本文中，我们考虑的问题，探索预测水平集的分类使用概率规划。我们将预测水平集定义为一组示例，对于这些示例，预测器相对于某个任意数据分布具有相同的指定预测置信度。值得注意的是，我们基于采样的方法不需要分类器是可微的，使其与任意分类器兼容。作为一个具体的实例，如果我们将分类器视为一个神经网络，将数据分布视为训练数据的分布，我们可以获得将导致神经网络进行指定预测的示例。我们证明了这种技术与实验上的合成数据集和MNIST。分类中的这种水平集可以促进人类对分类行为的理解。
2020-01-09 cs.LG stat.ML
Decentralized Federated Learning of Probabilistic Generative Classifiers
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Public University of Navarre（纳瓦拉公共大学）
针对无中央服务器的去中心化联邦学习场景，提出通过邻居间共享与聚合本地统计信息来协作训练参数化概率生成式分类器，并验证其在多种网络和极端非 i.i.d. 条件下稳定收敛。
2025-07-23 cs.LG
ProBoost: a Boosting Method for Probabilistic Classifiers
Interactive Technologies Institute（交互技术研究所）；University of Madeira（马德拉大学）；Instituto de Telecomunicações（电信研究所）
本研究提出面向概率分类器的新型boosting算法ProBoost，通过样本认知不确定性调整训练权重/采样策略并构建加权集成，在MNIST数据集上仅用4个弱学习器即可实现准确率等指标超12%的相对提升。
2022-09-04 cs.AI cs.LG stat.ML
An Explainable Probabilistic Classifier for Categorical Data Inspired to Quantum Physics
Institute of Financial Analysis（金融分析研究所）；Université de Neuchâtel（纳沙泰尔大学）；Università degli Studi di Milano（米兰大学）
本文提出了稀疏张量分类器（STC），一个监督分类算法的分类数据的启发，在量子物理学的状态叠加的概念。通过将观测视为特征的叠加，我们在机器学习中引入了波粒二象性的概念，并提出了一个统一经典和量子概率的广义框架。我们表明，STC具有广泛的理想属性，大多数其他机器学习方法中没有，但它是在同一时间非常容易理解和使用。STC对结构化数据和文本分类的实证评估表明，与标准分类器和深度学习相比，我们的方法实现了最先进的性能，额外的好处是需要最少的数据预处理和超参数调整。此外，STC为单个实例和全局每个目标标签提供了其预测的本地解释。
2021-05-26 cs.AI cs.LG quant-ph
Improving decision-making via risk-based active learning: Probabilistic discriminative classifiers
University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（艾伦·图灵研究所）
获得对结构的操作和维护做出明智决策的能力为结构健康监测（SHM）系统的实施提供了动力。然而，与被监测系统的健康状态相对应的测量数据的描述性标签通常是不可用的。这个问题限制了全监督机器学习范例用于开发统计分类器以用于SHM系统中的决策支持的适用性。解决这个问题的一种方法是基于风险的主动学习。在这种方法中，数据标签查询是根据初始数据点的完美信息的期望值来引导的。对于SHM中基于风险的主动学习，相对于维护决策过程评估信息的价值，并且数据标签查询对应于结构的检查以确定其健康状态。在SHM的上下文中，基于风险的主动学习仅被考虑用于生成分类器。目前的文件演示了使用一种替代类型的分类器-判别模型的几个优点。使用Z24桥数据集作为案例研究，它表明，判别分类器的好处，在SHM决策支持的背景下，包括提高鲁棒性抽样偏差，并减少结构检查的支出。
2022-06-23 cs.LG stat.AP stat.ML
Probabilistic Invariant Learning with Randomized Linear Classifiers
Vector Institute（向量研究所）；Technion（以色列理工学院）；University of Toronto（多伦多大学）
本文提出 Randomized Linear Classifiers（RLCs），以概率形式的通用逼近与不变性降低资源需求，并为集合、图和球面数据构造可证明的概率不变分类器。
2023-09-28 cs.AI cs.LG
Towards Automation of Knowledge Understanding: An Approach for Probabilistic Generative Classifiers
BMW Group（宝马集团）；University of Kassel（卡塞尔大学）；Aalto University（阿尔托大学）
在经过数据选择、预处理、转换和特征提取之后，知识提取并不是数据采掘过程的最后一步。因此，有必要了解这些知识，以便有效地应用它。到目前为止，还缺乏支持这一重要步骤的适当技术。这部分是由于对知识的评估往往是高度主观的，例如，关于新颖性或实用性等方面。这些方面取决于数据挖掘器的特定知识和要求。然而，有一些方面是客观的，可以采取适当的措施。在这篇文章中，我们专注于分类问题，并使用概率生成分类器的基础上，混合密度模型，是非常常见的数据采掘应用。我们定义了客观的措施来评估这些分类器中包含的规则的信息量，独特性，重要性，歧视性，代表性，不确定性和可验证性。这些度量不仅支持数据挖掘器基于这样的分类器评估数据采掘过程的结果。正如我们将在示例性案例研究中看到的，它们也可用于改进数据采掘过程本身或支持提取的知识的后续应用。
2016-05-20 cs.AI cs.LG
A Statistical Test for Probabilistic Fairness
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学，医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息，但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣，该学习旨在量化和减轻算法歧视。事实上，机器学习模型应该在大规模部署之前进行密集测试，以检测算法偏差。在本文中，我们使用最优传输理论的思想，提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状，测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制，用于评估任何预先训练的逻辑分类器的概率公平性，我们在理论上和经验上都表明，所提出的测试是渐进正确的。此外，所提出的框架提供了可解释性，通过识别数据的最有利的扰动，使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Evaluating model calibration in classification
Uppsala University（乌普萨拉大学）；Veoneer Inc.（维宁尔公司）；Linköping University（林雪平大学）
概率分类器输出目标类别的概率分布，而不仅仅是类别预测。除了提供预测和决策的明确分离之外，概率模型的主要优点是它们能够表示预测的不确定性。在安全关键型应用中，模型具有足够的不确定性是至关重要的，对于概率分类器来说，这转化为输出与从实现的结果中观察到的经验频率一致的概率分布。具有这种性质的分类器称为校准的。在这项工作中，我们开发了一个通用的理论校准评估框架，以概率论为基础，并指出微妙的模型校准评估，导致现有的评估技术的精细解释。最后，我们提出了新的方法来量化和可视化概率分类中的误校准，包括新的多维可靠性图。
2019-02-19 cs.LG stat.ML
Bayesian Classifier Fusion with an Explicit Model of Correlation
TU Darmstadt（达姆施塔特工业大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt（法兰克福歌德大学）
将多个分类器或专家的输出组合成单个概率分类是机器学习中的基本任务，具有从分类器融合到专家意见池的广泛应用。在这里，我们提出了一个分层贝叶斯模型的概率分类器融合的基础上，一个新的相关Dirichlet分布。该分布明确地对边缘狄利克雷分布的随机向量之间的正相关性进行建模，从而允许对基础分类器或专家之间的相关性进行明确建模。所提出的模型自然容纳经典的独立意见池和其他独立的融合算法的特殊情况。它是由不确定性减少和正确性的合成和真实世界的数据集融合评估。我们表明，由于不确定性降低的融合分类器的性能的变化可以是贝叶斯最优的，即使是高度相关的基础分类器。
2021-11-22 cs.AI cs.LG stat.ML
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Extending F1 metric, probabilistic approach
提出一种基于精确率、召回率、特异度和阴性预测值概率解释的 F1 扩展指标，并通过指标对比、混淆矩阵边缘情形及真实数据集实验验证其性质。
2022-10-26 cs.LG
Calibrating sufficiently
Swiss Financial Market Supervisory Authority (FINMA)（瑞士金融市场监管局（FINMA））
当概率分类器被训练和校准时，校准损失的所谓分组损失分量很容易被忽略。损失是指可观察到的信息与校准工作中实际利用的信息之间的差距。我们研究分组损失和充分性的概念之间的关系，确定共单调性作为一个有用的充分性标准。我们重新审视了Langford & Zadrozny（2005）的探测约简方法，发现它产生了一个概率分类器的估计，减少了分组损失。最后，我们讨论了Brier曲线作为工具，以支持训练和“充分”的概率分类器校准。
2021-12-06 cs.LG math.ST stat.ML
Evaluating and Recalibrating Probabilistic Classifiers from One-Bit Threshold Queries
Institut Polytechnique de Paris（巴黎理工学院）；Onepoint（万珀因特公司）；Ghent University（根特大学）
该研究针对LLM API隐藏输出概率的问题，利用logit_bias参数提出单查询审计方法，构建可证一致的二元任务真实校准误差估计量，实现高效黑盒基础模型校准审计。
2026-10-14 cs.LG
To Each Metric Its Decoding: Post-Hoc Optimal Decision Rules of Probabilistic Hierarchical Classifiers
Soda, Inria Saclay, France（Soda，法国萨克利研究所）；Fundamental Technologies, USA（Fundamental Technologies，美国）
本文提出针对目标度量对概率层次分类器输出进行事后最优解码的框架，推导了节点预测及节点子集预测场景下的最优决策规则，并通过实验证明其在欠确定场景中优于启发式方法。
2025-06-02 cs.LG stat.ML
A probabilistic methodology for multilabel classification
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Universidad de Granada（格拉纳达大学）
多标签分类是机器学习的一个相对较新的子领域。与经典的方法不同，在多标签分类中，实例仅被标记为一个类别，选择任意数量的类别来标记实例。由于问题的复杂性（解决方案是指数数量的备选方案之一），经常使用一种非常常见的解决方案（二进制方法），为每个类别学习一个二进制分类器，然后将它们组合起来。这种解决方案中的假设是不现实的，在这项工作中，我们给出了一些例子，其中所有标签的决策都不是独立的，因此，监督方法应该学习类别之间的现有关系，以更好地进行分类。因此，我们在这里展示了一种通用的方法，可以提高由一组独立的概率二进制分类器获得的结果，通过使用一个组合程序与分类器训练的标签的同现。我们在三个不同的标记文档标准语料库（Reuters-21578、Ohsumed-23和RCV 1）中进行了详尽的实验，当使用我们的方法时，在三个概率基础分类器中，所有这些都出现了显着的改进。
2013-02-28 cs.AI cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Adversarial Training for Probabilistic Spiking Neural Networks
New Jersey Institute of Technology（新泽西理工学院）；King’s College London（伦敦国王学院）
已知使用常规经验风险最小化或极大似然方法训练的分类器在基于分类器的决策规则的知识对抗性地选择的示例上进行测试时遭受显著的性能降级。由于人工神经网络（ANN）作为分类器的突出性，它们对对抗性示例的敏感性以及鲁棒的训练方案最近一直是深入研究的主题。在本文中，第一次，尖峰神经网络（SNNs），或第三代神经网络，对抗性的例子的敏感性进行了研究。该研究考虑了速率和时间编码，以及速率和第一个尖峰解码。此外，提出了一种鲁棒的训练机制，证明可以提高SNN在白盒攻击下的性能。
2018-02-26 cs.LG cs.NE eess.SP
Fast Multi-Class Probabilistic Classifier by Sparse Non-parametric Density Estimation
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
在许多应用场景中，模型解释是必不可少的，建立一个易于模型解释的分类模型可以为进一步的研究和改进提供有用的信息。在现代数据分析中，经常会遇到一组冗长的变量，特别是当数据以某些自动方式收集时。这类数据集可能没有收集特定的分析目标，并且通常包含冗余特征，这些特征对当前感兴趣的分析任务没有贡献。变量选择是提高模型解释能力的一种常用方法，在一些参数分类模型中得到广泛应用。在基于密度估计的非参数分类模型中，特别是在多类分类的情况下，缺乏对变量选择的研究。在这项研究中，我们研究了多类分类问题，使用稀疏非参数密度估计的思想，并提出了一种方法来确定每个类的高影响变量。我们提出了所提出的方法的渐近性质和计算过程以及一些建议的样本量。我们还重新发布了使用合成数据集和一些真实数据集的数值结果。
2019-01-04 cs.LG stat.ML
Bayesian Conditional Gaussian Network Classifiers with Applications to Mass Spectra Classification
IIIA-CSIC（西班牙国家研究委员会人工智能研究所）；Martin-Luther-Universität（马丁·路德大学）
基于概率图模型的分类器是非常有效的。在连续域中，最大似然通常用于评估这些分类器的预测。当数据稀缺时，这很容易导致过度拟合。在任何概率设置中，贝叶斯平均（BA）提供理论上的最佳预测，并且已知对过拟合具有鲁棒性。在这项工作中，我们引入贝叶斯条件高斯网络分类器，它有效地执行精确的贝叶斯平均参数。我们评估建议的分类器对最大似然替代品提出迄今为止在标准UCI数据集，得出的结论是，执行BA提高了质量的评估概率（条件对数似然），同时保持出错率。过度拟合更可能发生在数据项数量少而变量数量大的域中。这两个条件在生物信息学领域得到满足，其中从质谱早期诊断癌症是一项相关的任务。我们提供了一个应用程序，我们的分类框架的问题，比较它与标准的最大似然替代，在评估概率的质量的提高得到证实。
2013-08-28 cs.LG stat.ML
Nonparametric Probabilistic Regression with Coarse Learners
Numeristical
概率回归是指以特征为条件预测目标的全概率密度函数。我们提出了一个非参数的方法来解决这个问题，它结合了基础分类器（通常是梯度提升森林）训练的目标值的不同粗化。通过结合这些分类器和平均所得密度，我们能够计算精确的条件密度与密度的形状或形式的最小假设。我们结合这种方法与结构化的交叉熵损失函数，用于正则化和平滑所产生的密度。从这些密度计算出的预测区间在实践中具有很高的保真度。此外，在特定的观测中检查这些密度的性质可以提供有价值的见解。我们在各种数据集上演示了这种方法，并显示出具有竞争力的性能，特别是在较大的数据集上。
2022-10-28 cs.AI cs.LG stat.ME
Vandalism Detection in Wikipedia: a Bag-of-Words Classifier Approach
使用正则化逻辑回归训练基于词袋的概率分类器，以检测英文维基百科中的破坏行为。保序回归用于校准类成员概率。进行学习曲线、可靠性、ROC和成本分析。
2010-01-05 cs.CY cs.IR cs.LG
Condition-Stratified Robustness Analysis of Post-Hoc Calibration Methods for Probabilistic Classifiers
Fergana State Technical University（费尔干纳国立技术大学）
研究针对概率分类器事后校准方法，通过条件分层稳健性分析，比较TEMP和ISO在四个条件下的表现，评估四个假设组，发现数据集中稳健性因条件和指标而异，未提及外部可迁移性。
2026-07-14 cs.LG
Local Robustness Quantification for Naive Bayes Classifiers and Generative Forests: a General Approach
Ghent University（根特大学）
本文提出一种通用方法，量化朴素贝叶斯分类器和生成森林在概率图模型下的预测鲁棒性，通过多种扰动邻域评估，并以鲁棒性值作为预测可信度的指标。
2026-09-11 cs.LG
Multi-Task Regularization with Covariance Dictionary for Linear Classifiers
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个多任务线性分类器学习问题，称为D-SVM（字典SVM）。D-SVM使用一个所有任务共享的参数协方差字典，在不同任务之间进行多任务知识传递。我们正式定义了D-SVM的学习问题，并从概率和内核的角度对这个问题给出了两种解释。从概率的角度来看，我们证明了我们的学习公式实际上是对所有优化变量的MAP估计。我们还证明了它等价于一个多核学习问题，其中一个是试图找到一个重新加权内核的功能，从字典的基础（尽管只有线性分类器学习的事实）。最后，我们描述了一种替代的优化方案，以最大限度地减少目标函数，并提出实证研究，以验证我们的算法。
2013-10-21 cs.LG
Probabilistic Scores of Classifiers, Calibration is not Enough
Université du Québec à Montréal（蒙特利尔大学（魁北克大学蒙特利尔分校））；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；AMSE（马赛经济与管理科学研究所）；Milliman France（美世法国公司）
本文研究二分类中概率分数与真实分布的对齐问题，提出基于KL散度优化随机森林和XGBoost等树模型，并在10个UCI数据集及模拟实验中验证其优于传统校准指标，且无明显性能损失。
2024-08-06 cs.LG stat.ML
On Computing Probabilistic Abductive Explanations
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究部）；UPS（图卢兹第三大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
最广泛研究的可解释人工智能（XAI）方法是不健全的。这是众所周知的模型不可知解释方法的情况，也是基于显着图的方法的情况。一个解决方案是考虑内在的可解释性，它不会表现出不合理的缺点。不幸的是，内在的可解释性可能会显示出笨拙的解释冗余。形式可解释性代表了这些非严格方法的替代方案，其中一个例子是PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。最近，人们已经观察到，PI解释的（绝对）严谨性可以通过计算所谓的相关集来换取较小的解释大小。给定一个正的δ，一个特征集S是δ相关的，如果当S中的特征固定时，得到目标类的概率超过δ。然而，即使是非常简单的分类器，计算相关的功能集的复杂性是禁止的，与决策问题是NPPP-完全的基于电路的分类器。与早期的负面结果相比，本文探讨了实用的方法来计算相关集的一些广泛使用的分类器，包括决策树（DT），朴素贝叶斯分类器（NBCs），和几个家庭的分类器从命题语言。此外，该文件表明，在实践中，这些家庭的分类，相关的集合很容易计算。此外，实验证实，简洁的相关功能集，可以得到考虑的分类器的家庭。
2022-12-12 cs.AI cs.LG
Generative method for aerodynamic optimization based on classifier-free guided denoising diffusion probabilistic model
School of Management, Hefei University of Technology（合肥工业大学管理学院）
本文提出基于无分类器引导去噪扩散概率模型（CDDPM）的翼型逆向设计框架，通过捕捉性能指标相关性并生成压力系数分布，相比Wasserstein生成对抗网络方法精度提升33.6%，并结合全局优化与主动学习策略提供合理的性能指标组合。
2025-03-10 cs.AI cs.LG
Gaussian Process Domain Experts for Model Adaptation in Facial Behavior Analysis
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们提出了一种新的方法，监督域适应的基础上高斯过程（GP）的概率框架。具体来说，我们引入特定领域的GP作为本地专家的面部表情分类从人脸图像。分类器的自适应以概率的方式通过调节多个源专家的目标专家来促进。此外，与现有的适应方法相比，我们还从现有的目标数据中学习目标专家。然后，一个单一的和有信心的分类器是通过组合的预测，从多个专家的基础上他们的信心。该模型的学习是有效的，不需要重新训练/重新加权的源分类器。我们评估所提出的方法对两个公开的数据集多类（MultiPIE）和多标签（DISFA）的面部表情分类。为此，我们执行两个语境因素的适应：“在哪里”（视图）和“谁”（主题）。我们在我们的实验中表明，所提出的方法始终优于源和目标分类器，同时使用少至30个目标的例子。它还优于最先进的监督域自适应方法。
2016-05-02 cs.CV cs.LG stat.ML
Probabilistic Regressor Chains with Monte Carlo Methods
Ecole Polytechnique, Institut Polytechnique de Paris（巴黎理工学院综合理工学校）；Univ. Carlos III de Madrid（马德里卡洛斯三世大学）
近年来，文献中已经提供了大量和多样性的技术来解决多标签分类任务，包括分类器链，其中预测作为附加特征级联到其他模型。将这种链接方法扩展到多输出回归的想法已经被提出并进行了试验：回归链。然而，到目前为止，这仅限于贪婪推理，并且与单个模型相比提供了相对较差的结果，并且适用性有限。在本文中，我们确定和讨论的主要局限性，包括不同的基础模型，损失函数，可解释性和其他现实世界的应用程序的分析。为了克服所确定的局限性，我们研究和开发回归链的方法。特别是，我们提出了一个顺序蒙特卡罗方案的框架中的概率回归链，我们表明它可以是有效的，灵活的和有用的几种类型的数据。我们将回归链放在具有连续输出的多输出学习的一般上下文中，并在此过程中进一步阐明分类器链。
2019-07-18 cs.LG stat.ML
The Certainty Ratio $C_ρ$: a novel metric for assessing the reliability of classifier predictions
School of Engineering（工程学院）；Pablo de Olavide University（巴勃罗·德·奥拉维德大学）
本文提出确定性比率 $C_ρ$，通过整合概率混淆矩阵分解预测的确定性与不确定性，在21个数据集上证明其能揭示传统指标忽略的分类器可靠性关键见解。
2024-12-18 cs.LG
Constructing Semantics-Aware Adversarial Examples with a Probabilistic Perspective
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
本文提出一种概率视角下的语义感知对抗样本生成方法，在保持图像整体语义的同时进行大规模像素修改，从而在难以被人类察觉的情况下更有效地绕过对抗防御机制。
2024-11-24 cs.CR cs.LG stat.ML
A probabilistic view on Riemannian machine learning models for SPD matrices
LAMSADE, CNRS, PSL Univ. Paris-Dauphine, France（LAMSADE、CNRS、巴黎-第纳夫大学）；LITIS, INSA Rouen-Normandy, Rouen, France（LITIS、 Rouen-诺曼底大学）；Inria center, University of Bordeaux / LaBRI, Talence, France（Inria中心、波尔多大学 / LaBRI）；TAU, LISN, University Paris-Saclay, France（TAU、LISN、巴黎-萨克雷大学）
本文提出将SPD矩阵黎曼流形上的机器学习工具统一在概率框架下，通过高斯分布重新解释分类器并用于异常检测与降维，为扩展其他方法奠定基础。
2025-11-03 cs.LG math.ST stat.ML
h-calibration: Rethinking Classifier Recalibration with Probabilistic Error-Bounded Objective
Research Inst. of Trustworthy Autonomous Systems & Dept. of Computer Science and Engineering, SUSTech, China（可信自主系统研究所及计算机科学与工程系，深圳技术大学，中国）；Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation, Dept. of Computer Science and Engineering, SUSTech, and Peng Cheng Lab, China（脑启发智能计算广东省重点实验室、计算机科学与工程系，深圳技术大学，以及鹏城实验室，中国）；Faculty of Engineering and Information Technology, University of Technology Sydney, Australia（工程与信息技术学院，悉尼大学，澳大利亚）；Inst. of Biomedical Engineering, Dept. of Engineering Science, University of Oxford, UK（生物医学工程研究所、工程科学系，牛津大学，英国）
本文提出概率学习框架 h-calibration，通过构造误差有界的规范校准等价目标，设计简单事后校准算法，克服以往方法十大局限并在标准基准上取得最先进性能。
2025-06-22 cs.AI cs.CV cs.LG
