Unsupervised Supervised Learning II: Training Margin Based Classifiers without Labels
School of Computational Science and Engineering（计算科学与工程学院）；College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）；Yahoo! Labs（雅虎实验室）
许多流行的线性分类器，如逻辑回归、boosting或SVM，都是通过优化基于边缘的风险函数来训练的。传统上，这些风险函数是基于标记数据集计算的。我们开发了一种新的技术来估计这种风险，只使用未标记的数据和边缘标签分布。我们证明了所提出的风险估计器在高维数据集上是一致的，并在合成数据和真实数据上进行了证明。特别是，我们展示了如何在迁移学习中使用估计来评估分类器，以及如何在没有标记数据的情况下训练分类器。
2010-07-21 cs.LG
On the Role of Randomization in Adversarially Robust Classification
CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；Payflows
本文厘清随机化在对抗鲁棒分类中的作用，证明随机化集成在特定条件下可优于确定性假设集，同时证明任何概率二分类器都存在更优的确定性分类器，并给出相应确定性假设集的显式描述。
2023-11-28 cs.LG
Exploring Probabilistic Models for Semi-supervised Learning
Linacre College（莱纳克学院）
本论文研究面向半监督学习任务的高级概率模型，兼顾理论基础与实际应用，通过快速可靠的不确定性估计提升AI系统安全性，并在自动驾驶和医学影像等安全关键领域取得有竞争力的效果。
2024-04-05 cs.LG
Imbalanced Semi-supervised Learning with Bias Adaptive Classifier
Xi’an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）；City University of Hong Kong（香港城市大学）；Macau University of Science and Technology（澳门科技大学）；Peng Cheng Laboratory（鹏城实验室）
伪标记已被证明是一种很有前途的半监督学习（SSL）范式。现有的伪标记方法通常假设训练数据的类分布是平衡的。然而，这样的假设是远离现实的场景，从而严重限制了当前的伪标记方法的性能下的类不平衡。为了缓解这个问题，我们设计了一个偏置自适应分类器，目标是不平衡的SSL设置。其核心思想是通过一种新的偏差吸引子和原有的线性分类器组成的偏差自适应分类器，自动吸收类不平衡引起的训练偏差。偏置吸引子被设计为一个轻量级的残差网络，并通过双层学习框架进行优化。这种学习策略使得偏置自适应分类器能够拟合不平衡的训练数据，而线性分类器可以为每个类别提供无偏的标签预测。我们在各种不平衡半监督设置下进行了广泛的实验，结果表明我们的方法可以应用于不同的伪标记模型，并且优于当前最先进的方法。
2023-03-02 cs.LG
Decentralized Federated Learning of Probabilistic Generative Classifiers
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Public University of Navarre（纳瓦拉公共大学）
针对无中央服务器的去中心化联邦学习场景，提出通过邻居间共享与聚合本地统计信息来协作训练参数化概率生成式分类器，并验证其在多种网络和极端非 i.i.d. 条件下稳定收敛。
2025-07-23 cs.LG
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Youtu Lab Tencent（腾讯优图实验室）
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的，并且涉及温度超参数，该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球，我们推导出一个新的损失函数，涉及到一个置信度的措施，量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明，这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Extending F1 metric, probabilistic approach
提出一种基于精确率、召回率、特异度和阴性预测值概率解释的 F1 扩展指标，并通过指标对比、混淆矩阵边缘情形及真实数据集实验验证其性质。
2022-10-26 cs.LG
Evaluating and Recalibrating Probabilistic Classifiers from One-Bit Threshold Queries
Institut Polytechnique de Paris（巴黎理工学院）；Onepoint（万珀因特公司）；Ghent University（根特大学）
该研究针对LLM API隐藏输出概率的问题，利用logit_bias参数提出单查询审计方法，构建可证一致的二元任务真实校准误差估计量，实现高效黑盒基础模型校准审计。
2026-10-14 cs.LG
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier
University of São Paulo（圣保罗大学）
半监督学习受到了研究人员的关注，因为它允许人们利用未标记数据的结构来实现具有竞争力的分类结果，并且标签比监督方法少得多。局部和全局一致性（LGC）算法是最著名的基于图的半监督（GSSL）分类器之一。值得注意的是，它的解可以写成已知标签的线性组合。该线性组合的系数取决于参数$α$，该参数确定在随机游走中到达标记顶点时奖励随时间的衰减。在这项工作中，我们讨论了如何去除标记实例的自影响可能是有益的，以及它如何与留一错误相关。此外，我们建议使用自动微分来最小化这种留一损失。在这个框架内，我们提出了方法来估计标签的可靠性和扩散率。优化扩散速率是更有效地完成与光谱表示。结果表明，标签的可靠性方法与强大的L1-范数方法的竞争，删除对角条目降低过拟合的风险，并导致合适的标准参数选择。
2022-01-10 cs.LG
Shapley Value on Probabilistic Classifiers
Zhejiang University（浙江大学）
针对传统Shapley值无法有效区分概率分类器的有益与有害训练数据点的问题，本文提出利用预测类别概率的P-Shapley值及置信校准激活函数，经四个真实数据集实验验证其在数据重要性评估上的有效性。
2023-06-12 cs.DB cs.LG
Robust Semi-Supervised Graph Classifier Learning with Negative Edge Weights
National Institute of Informatics, Graduate University for Advanced Studies（国立信息学研究所，综合研究大学院大学）；National Tsing Hua University（国立清华大学）
在半监督学习场景中，（可能有噪声的）部分观察到的标签被用作训练分类器的输入，以便将标签分配给未分类的样本。在本文中，我们研究这个分类器的学习问题，从图形信号处理（GSP）的角度。具体而言，通过将二元分类器视为高维特征空间中的分段常数图信号，我们将分类器学习作为经典的最大后验概率（MAP）公式的信号恢复问题。与以前的图形信号恢复工程，我们认为，另外的边缘与负权重，表示样本之间的反相关性。一个不幸的后果是，图拉普拉斯矩阵$\mathbf{L}$可能是不确定的，并且先前提出的用于候选信号$\mathbf{x}$的图-信号平滑先验$\mathbf{x}^T \mathbf{L} \mathbf{x}$可能导致病态解。作为回应，我们推导出一个最佳的扰动矩阵$\boldsymbolΔ$ -基于快速下界计算的最小特征值的$\mathbf{L}$通过一个新的应用程序的Haynsworth惯性加性公式-使$\mathbf{L} + \boldsymbolΔ$是半正定的，从而在一个稳定的信号先验。此外，而不是强迫每个样本的硬二进制决策，我们定义的概念，促进模糊的分类器信号的图形上的广义平滑。最后，我们提出了一种基于迭代加权最小二乘（IRLS）的算法，有效地解决了所提出的MAP问题。大量的仿真结果表明，我们提出的算法优于SVM的变种和基于图的分类器使用正边缘图显着。
2017-07-20 cs.LG
Estimating Posterior Ratio for Classification: Transfer Learning from Probabilistic Perspective
Institute of Statistical Mathematics（统计数学研究所）
迁移学习假设相似任务的分类器共享某些参数结构。不幸的是，现代分类器使用复杂的特征表示与巨大的参数空间，导致昂贵的转移。在从一个分类器到另一个分类器的变化应该是“简单”的印象下，本文提出了一种只学习“差异”的有效迁移学习标准。我们训练一个\emph{posterior ratio}，结果是最小化目标学习风险的上限。后验比模型完全不需要与源分类器共享相同的参数空间，因此它可以很容易地建模和有效地训练。因此，通过简单地将现有的概率分类器与学习的后验比相乘来获得所得到的分类器。
2015-10-19 cs.LG stat.ML
Classifier uncertainty: evidence, potential impact, and probabilistic treatment
Universität Duisburg-Essen（杜伊斯堡-埃森大学）
分类器通常在相对较小的数据集上进行测试，这会导致不确定的性能指标。然而，这些指标通常是按面值计算的。我们提出了一种方法来量化分类性能指标的不确定性，基于混淆矩阵的概率模型。我们的方法从科学文献和分类竞争的分类器的应用表明，不确定性可以令人惊讶的大，限制性能评估。事实上，一些已公布的分类器可能会产生误导。我们的方法的应用是简单的，只需要混淆矩阵。它与底层分类器无关。我们的方法也可以用于估计样本量，达到所需的精度的性能指标。
2020-06-19 cs.LG stat.ML
Classifier-Dependent Benefits of Pseudo-Labeling for Semi-Supervised Android Malware Attribution
North South University（南北大学）
本研究系统评估了六种分类器在CICMalDroid 2020数据集上的伪标签半监督学习效果，发现收益强依赖分类器类型，SVM增益最大，随机森林在低标注比例下受损，并指出约10%标注样本即可达到近最优性能。
2026-09-25 cs.LG
SemiScope: Disentangling Classifier Tuning and Joint Optimization in Semi-Supervised Security Classification
North Carolina State University（北卡罗来纳州立大学）；ShanghaiTech University（上海科技大学）
针对半监督安全分类中黑盒使用导致性能增益归因不清的问题，提出SemiScope分析工具，通过贝叶斯优化联合调优SSL设置、置信过滤、过采样和分类器，并与仅调优分类器的对照实验对比，发现分类器超参数优化可恢复大部分增益。
2026-07-02 cs.LG
Probabilistic Safety Regions Via Finite Families of Scalable Classifiers
Cnr-Istituto di Elettronica e di Ingegneria dell’Informazione e delle Telecomunicazioni（意大利国家研究委员会电子、信息与电信工程研究所）；University of Genoa（热那亚大学）；Universidad de Sevilla（塞维利亚大学）
研究监督分类中误分类错误的概率控制问题，提出概率安全区域概念并利用可扩展分类器将机器学习调优与错误控制关联，通过合成数据和智能出行应用验证方法有效性。
2023-09-08 cs.LG stat.ML
Condition-Stratified Robustness Analysis of Post-Hoc Calibration Methods for Probabilistic Classifiers
Fergana State Technical University（费尔干纳国立技术大学）
研究针对概率分类器事后校准方法，通过条件分层稳健性分析，比较TEMP和ISO在四个条件下的表现，评估四个假设组，发现数据集中稳健性因条件和指标而异，未提及外部可迁移性。
2026-07-14 cs.LG
An Optimization Framework for Semi-Supervised and Transfer Learning using Multiple Classifiers and Clusterers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo at Sao Carlos（圣保罗大学圣卡洛斯分校）
无监督模型可以提供补充的软约束来帮助分类新的“目标”数据，因为目标集中的类似实例更有可能共享相同的类标签。这样的模型还可以帮助检测训练分布和目标分布之间的可能差异，这在可能发生概念漂移的应用中是有用的，如在迁移学习设置中。本文介绍了一种通用的优化框架，需要作为输入类成员的估计，从现有的分类器上学习以前遇到的“源”数据，以及一个相似性矩阵的集群集成操作单独的目标数据进行分类，并产生一个共识标签的目标数据。该框架允许广泛的损失函数和分类/聚类方法。它利用Bregman分歧与勒让德对偶的性质，产生一个原则性和可扩展的方法。各种实验表明，所提出的框架可以产生的结果大大优于流行的转导学习技术或天真地应用分类器学习的原始任务的目标数据所提供的。
2012-04-20 cs.LG
Recalibrating binary probabilistic classifiers
Centre for Business Mathematics and Informatics（商业数学与信息学中心）
本文提出两种新的重新校准方法，用于在分布偏移视角下改进二元概率分类器的性能。
2026-01-21 cs.LG q-fin.RM
Asymptotic Supervised Predictive Classifiers under Partition Exchangeability
University of Helsinki（赫尔辛基大学）
研究了监督分类中同时预测分类器和边缘预测分类器在分区交换下的收敛性。结果表明，在无限数量的训练或测试数据下，这些分类器都是渐近收敛的，使得在观测了无数的数据后，这些分类器之间的差异可以忽略不计。这是一个重要的结果，从实践的角度来看，在足够大的数据量的存在下，可以用计算上更昂贵的同时一个取代简单的边缘分类。
2021-01-26 cs.LG math.ST stat.ML
Local Robustness Quantification for Naive Bayes Classifiers and Generative Forests: a General Approach
Ghent University（根特大学）
本文提出一种通用方法，量化朴素贝叶斯分类器和生成森林在概率图模型下的预测鲁棒性，通过多种扰动邻域评估，并以鲁棒性值作为预测可信度的指标。
2026-09-11 cs.LG
Multi-Task Regularization with Covariance Dictionary for Linear Classifiers
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个多任务线性分类器学习问题，称为D-SVM（字典SVM）。D-SVM使用一个所有任务共享的参数协方差字典，在不同任务之间进行多任务知识传递。我们正式定义了D-SVM的学习问题，并从概率和内核的角度对这个问题给出了两种解释。从概率的角度来看，我们证明了我们的学习公式实际上是对所有优化变量的MAP估计。我们还证明了它等价于一个多核学习问题，其中一个是试图找到一个重新加权内核的功能，从字典的基础（尽管只有线性分类器学习的事实）。最后，我们描述了一种替代的优化方案，以最大限度地减少目标函数，并提出实证研究，以验证我们的算法。
2013-10-21 cs.LG
Semi-Supervised Learning of Classifiers from a Statistical Perspective: A Brief Review
University of Queensland（昆士兰大学）
在机器学习中，半监督学习（SSL）方法越来越受到关注，以在分类器的训练数据由有限数量的分类观测值但大量的未分类观测值组成的情况下形成分类器。这是因为机密数据的获取可能相当昂贵，这是由于高获取成本以及随后的财务、时间和道德问题，这些问题可能在尝试为已获取的非机密数据提供真实类别标签时出现。我们在这里提供了一个审查的统计SSL的方法来解决这个问题，集中在最近的结果，从一个部分分类的样本形成的分类实际上可以有较小的预期错误率比，如果样本被完全分类。
2021-11-09 cs.LG stat.ML
Performance-Agnostic Fusion of Probabilistic Classifier Outputs
Stellenbosch University（斯泰伦博斯大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）
我们提出了一种方法，用于组合分类器的概率输出，以便在没有关于单个分类器的进一步信息时进行单个共识类预测，除了它们已经针对相同的任务进行了训练。缺乏相关的先验信息排除了贝叶斯或Dempster-Shafer方法的典型应用，这里的默认方法是基于无差异原则的方法，例如求和或乘积规则，基本上对所有分类器进行同等权重。相比之下，我们的方法考虑了各种分类器输出之间的多样性，根据它们与其他预测的对应关系迭代更新预测，直到预测收敛到共识决策。这种方法背后的直觉是，为同一任务训练的分类器通常应该在新任务的输出中表现出不确定性;因此，使用我们的方法，与其他分类器的预测显著不同的分类器的预测可信度较低。该方法隐含地假设对称的损失函数，因为不考虑各种预测误差的相对成本。该模型的性能表现在不同的基准数据集。我们提出的方法在准确性是性能指标的情况下工作良好;但是，它不输出校准的概率，因此它不适合需要进一步处理这些概率的情况。
2020-09-01 cs.LG stat.ML
A Probabilistic Optimum-Path Forest Classifier for Binary Classification Problems
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）
概率驱动的分类技术扩展了传统方法的作用，仅输出标签（通常是整数）。这样的技术在处理其中人们不仅对识别/标识感兴趣，而且对例如监视消费者和/或机器的行为感兴趣的问题时更有成效。因此，通过概率估计，人们可以做出决定，以便在许多情况下更好地工作。在本文中，我们提出了一个基于概率的最优路径森林（OPF）分类器来处理二进制分类问题，我们表明它可以在一些数据集上比朴素的OPF更准确。除了更准确或不准确之外，概率OPF还成为科学界的另一个有用工具。
2016-09-04 cs.CV cs.LG stat.ML
Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers
Huazhong University of Science and Technology（华中科技大学）；Shandong University of Finance and Economics（山东财经大学）
基于模糊c-均值的聚类算法经常用于TSK模糊分类器的先验参数估计。从每个集群初始化一个规则。然而，这些聚类算法大多是无监督的，这浪费了宝贵的标签信息的训练数据。提出了一种有监督的增强软子空间聚类算法（SESSC），该算法在聚类过程中同时考虑了类内紧致度、类间分离度和标签信息。它可以有效地处理高维数据，可以单独作为分类器使用，也可以集成到TSK模糊分类器中，进一步提高其性能。在不同应用领域的九个UCI数据集上的实验表明，基于SESSC的初始化方法优于其他聚类方法，特别是当规则数量较少时。
2020-02-27 cs.LG stat.ML
A Convex Relaxation for Weakly Supervised Classifiers
本文介绍了一种通用的多类弱监督分类方法。推断标签和学习模型的参数通常通过块坐标下降算法（例如期望最大化（EM））联合完成，这可能导致局部最小值。为了避免这个问题，我们提出了一个成本函数的基础上凸松弛的软最大损失。然后，我们提出了一个专门设计的算法，以有效地解决相应的半定规划（SDP）。从经验上讲，我们的方法相比之下，在不同的数据集上的多实例学习和半监督学习以及聚类任务的标准。
2012-06-27 cs.LG stat.ML
Classifier Learning with Supervised Marginal Likelihood
有人认为，在监督分类任务中，在实践中，相对于一些更集中的模型选择得分（如监督（条件）边际似然），而不是相对于标准边际似然标准，执行模型选择可能更明智。然而，对于大多数贝叶斯网络模型，计算监督边际似然得分需要相对于观察到的数据量呈指数级的时间。在本文中，我们考虑诊断贝叶斯网络分类器的显着模型参数表示类变量的条件分布，给定的预测变量的值，在这种情况下，监督边际似然可以计算在线性时间相对于数据。由于模型参数的数量在这种情况下相对于预测因子的数量呈指数增长，我们专注于简单的诊断模型，其中相关的预测因子的数量是小的，并建议两种方法应用这种类型的模型分类。第一种方法是基于简单诊断模型的混合，而在第二种方法中，我们应用简单诊断模型的小预测集来增强朴素贝叶斯分类器。
2013-01-10 cs.LG stat.ML
Autoencoding Binary Classifiers for Supervised Anomaly Detection
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Software Innovation Center（NTT软件创新中心）
我们提出了自动编码二进制分类器（ABC），一种新的监督异常检测器的基础上的自动编码器（AE）。异常检测主要有两种方法：有监督的和无监督的。监督方法可以准确地检测训练数据中包含的已知异常，但无法检测未知异常。同时，无监督方法可以检测远离正常数据点的已知和未知异常。然而，它不能像监督方法那样准确地检测已知的异常。此外，即使我们标记了正常数据点和异常数据点，无监督方法也无法利用这些标签。ABC是一种概率二元分类器，它有效地利用了标签信息，其中使用AE作为组件对正常数据点进行建模。通过最大化可能性，所提出的ABC中的AE被训练以最小化正常数据点的重建误差，并最大化已知异常的重建误差。由于我们的方法能够准确地重建正常数据点，而无法重建已知和未知的异常，因此它可以准确地将已知和未知的异常与正常数据点区分开来。实验结果表明，该算法比已有的监督和非监督方法具有更高的检测性能.
2019-03-26 cs.LG stat.ML
Probabilistic Invariant Learning with Randomized Linear Classifiers
Vector Institute（向量研究所）；Technion（以色列理工学院）；University of Toronto（多伦多大学）
本文提出 Randomized Linear Classifiers（RLCs），以概率形式的通用逼近与不变性降低资源需求，并为集合、图和球面数据构造可证明的概率不变分类器。
2023-09-28 cs.AI cs.LG
Robust Semi-supervised Least Squares Classification by Implicit Constraints
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
我们介绍了隐式约束最小二乘（ICLS）分类，一种新的半监督版本的最小二乘分类。该分类器最小化了未标记数据的所有可能标记所隐含的参数集合中标记数据的平方损失。与其他判别式半监督方法不同，这种方法不会在目标函数中引入显式的附加假设，而是利用了在监督最小二乘分类器的选择中已经存在的隐式假设。该方法可以被公式化为二次规划问题，并且可以使用简单的梯度下降过程来找到其解。我们证明，在有限的一维设置，这种方法永远不会导致性能比监督分类器差。实验结果表明，在一般的多维情况下，也可以预期性能的改善，无论是在平方损失，这是固有的分类，以及在预期的分类错误。
2017-01-27 cs.LG stat.ML
Towards Automation of Knowledge Understanding: An Approach for Probabilistic Generative Classifiers
BMW Group（宝马集团）；University of Kassel（卡塞尔大学）；Aalto University（阿尔托大学）
在经过数据选择、预处理、转换和特征提取之后，知识提取并不是数据采掘过程的最后一步。因此，有必要了解这些知识，以便有效地应用它。到目前为止，还缺乏支持这一重要步骤的适当技术。这部分是由于对知识的评估往往是高度主观的，例如，关于新颖性或实用性等方面。这些方面取决于数据挖掘器的特定知识和要求。然而，有一些方面是客观的，可以采取适当的措施。在这篇文章中，我们专注于分类问题，并使用概率生成分类器的基础上，混合密度模型，是非常常见的数据采掘应用。我们定义了客观的措施来评估这些分类器中包含的规则的信息量，独特性，重要性，歧视性，代表性，不确定性和可验证性。这些度量不仅支持数据挖掘器基于这样的分类器评估数据采掘过程的结果。正如我们将在示例性案例研究中看到的，它们也可用于改进数据采掘过程本身或支持提取的知识的后续应用。
2016-05-20 cs.AI cs.LG
Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network
Department of Computer Engineering, College of Science & Technology（计算机工程系，科学与技术学院）
本文提出一种基于紧凑型概率神经网络的模式分类方法，通过简单的一次性网络生长算法自动确定结构和参数，实现连续增量学习与遗忘任务，实验表明其在分类性能和连续学习任务中表现优异。
2026-03-21 cs.CV cs.LG
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore（迈索尔MCG）
出于跨各种数据库的链接记录的需要，我们提出了一种新的基于图形模型的分类器，它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的，并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论，这类问题，而不是破坏层次的依赖关系，可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
PopSkipJump: Decision-Based Attack for Probabilistic Classifiers
ETH Zürich（苏黎世联邦理工学院）
大多数当前的分类器容易受到对抗性样本的影响，这些样本是改变分类输出的小输入扰动。许多现有的攻击算法涵盖了从白盒到黑盒分类器的各种设置，但通常假设答案是确定性的，并且通常在答案不确定时失败。因此，我们提出了一种新的基于对抗性决策的攻击，专门为具有概率输出的分类器设计。它基于Chen等人的HopSkipJump攻击（2019，arXiv：1904.02144v5），这是一种最初为确定性分类器设计的强大且查询高效的基于决策的攻击。我们的P（robabilisticH）opSkipJump攻击适应其查询量，以保持HopSkipJump的原始输出质量在各种噪声水平，同时收敛到其查询效率的噪声水平降低。我们测试了我们对各种噪声模型的攻击，包括最先进的现成的随机防御，并表明它们对基于决策的攻击几乎没有额外的鲁棒性。代码可在https://github.com/cjsg/PopSkipJump上获得。
2021-06-14 cs.CR cs.CV cs.LG
Probabilistic Combination of Classifier and Cluster Ensembles for Non-transductive Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo at Sao Carlos（圣卡洛斯圣保罗大学）；eBay Research Lab（eBay研究实验室）
无监督模型可以提供补充的软约束，以帮助在假设目标集中的相似对象更有可能共享相同的类标签的情况下对新的目标数据进行分类。这些模型还可以帮助检测训练和目标分布之间可能存在的差异，这在可能发生概念漂移的应用中非常有用。本文介绍了一种贝叶斯框架，作为输入类标签从现有的分类器（设计的标记数据的基础上从源域），以及集群标签从集群集成操作的目标数据进行分类，并产生一个共识标签的目标数据。当目标数据的统计数据从训练数据的统计数据漂移或改变时，该框架特别有用。我们还表明，所提出的框架是隐私意识，并允许执行分布式学习时，数据/模型有共享限制。实验表明，我们的框架可以产生优越的结果，只应用分类器集成。
2012-11-10 cs.LG stat.ML
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Dual Teaching: A Practical Semi-supervised Wrapper Method
Beijing Institute of Technology（北京理工大学）；North China University of Technology（北方工业大学）
半监督包装器方法关注的是从部分标记的数据中构建有效的监督分类器。虽然以前的工作已经在某些领域取得了成功，它仍然是难以应用到实践中的半监督包装方法，因为这些方法所依赖的假设往往是不切实际的。为了实用，本文提出了一种新的半监督包装方法，对偶教学，其假设是很容易成立的。双元教学采用两个外部分类器来估计基本学习者的假阳性和假阴性。只有当每个外部分类器的查全率大于零且查准率之和大于1时，双教学才能从部分标记数据中训练基本学习者，就像完全标记数据训练的分类器一样有效。理论和实践都证明了“双元教学”的有效性。
2016-11-12 cs.LG stat.ML
An interpretable semi-supervised classifier using two different strategies for amended self-labeling
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Queens University Belfast（英国女王大学贝尔法斯特分校）
在某些机器学习应用程序的上下文中，获取数据实例是一个相对容易的过程，但标记它们可能会变得非常昂贵或繁琐。这样的场景会导致数据集具有很少的标记实例和大量的未标记实例。半监督分类技术在学习阶段结合标记和未标记的数据，以提高分类器的泛化能力。遗憾的是，大多数成功的半监督分类器不允许解释其结果，因此表现得像黑匣子。然而，有越来越多的问题领域中，专家需要一个清晰的理解决策过程。在本文中，我们报告了一个扩展的实验研究，提出了一个可解释的自标记灰盒分类器，使用黑盒子来估计缺失的类标签和白盒子来解释最终的预测。两种不同的方法来修改自标记过程进行了探讨：第一个基于黑盒的信心，后者的基础上从粗糙集理论的措施。扩展实验研究的结果支持我们的分类器的透明性和简单性的手段的可解释性，同时获得优越的预测率相比，在文献中报道的最先进的自标记分类器。
2020-07-20 cs.LG stat.ML
Bagging Supervised Autoencoder Classifier for Credit Scoring
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
信用评分模型是银行和金融机构所依赖的最有效的风险管理工具之一，在过去的几十年里一直是一个热门的研究课题。因此，已经制定了许多办法来应对贷款申请人分类方面的挑战，并改进和促进决策。信用评分数据集的不平衡性以及信用评分数据集中特征的异质性，给开发和实施有效的信用评分模型带来了困难，目标是分类模型对看不见的数据的泛化能力。在本文中，我们提出了Bagging监督自动编码器分类器（BSAC），主要利用了监督自动编码器的优越性能，它学习输入数据的低维嵌入专门关于信用评分的最终分类任务，基于多任务学习的原则。BSAC还通过采用基于多数类欠采样的Bagging过程的变体来解决数据不平衡问题。我们在基准和真实信用评分数据集上的实验结果表明，Bagging Supervised Autoencoder Classifier在贷款申请人分类中的鲁棒性和有效性，可以被视为信用评分模型的积极发展。
2021-08-12 cs.LG stat.ML
Defect detection using weakly supervised learning
Democritus University of Thrace（德谟克利特色雷斯大学）；Athena Research Centre（雅典娜研究中心）
本文研究在缺陷检测任务中弱监督学习对标注数据的需求，通过实验对比弱监督与全监督分类器，证明前者可在标注数据显著减少时达到相当性能。
2023-03-27 cs.AI cs.CV cs.LG
CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
在本文中，我们提出了一种新的协同学习框架（CoSSL）与解耦的表示学习和分类器学习的不平衡SSL。为了处理数据不平衡，我们设计了尾类特征增强（TFE）分类器学习。此外，目前的不平衡SSL的评估协议只关注平衡测试集，这在现实世界的场景中具有有限的实用性。因此，我们进一步在各种移位测试分布下进行综合评估。在实验中，我们证明了我们的方法在大范围的偏移分布上优于其他方法，在从CIFAR-10，CIFAR-100，ImageNet到Food-101的基准数据集上实现了最先进的性能。我们的代码将公开提供。
2022-05-19 cs.CV cs.LG
Implicitly Constrained Semi-Supervised Least Squares Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
我们介绍了一种新的半监督版本的最小二乘分类器。这种隐式约束最小二乘（ICLS）分类器最大限度地减少了未标记数据的所有可能标记所隐含的参数集之间的标记数据的平方损失。与其他判别式半监督方法不同，我们的方法不会在目标函数中引入显式的额外假设，而是利用了在监督最小二乘分类器的选择中已经存在的隐式假设。我们表明，这种方法可以制定为一个二次规划问题，它的解决方案可以找到一个简单的梯度下降过程。我们证明，在某种程度上，我们的方法永远不会导致性能比监督分类器差。实验结果证实了这一理论结果在多维情况下的基准数据集，也在错误率。
2015-07-24 cs.LG stat.ML
I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出I-trustworthy框架，通过局部校准误差（LCE）和基于核的假设检验统计量KLCE评估概率分类器可信度，提供理论收敛界限与偏差诊断工具，并证明现有重校准方法不足以实现该可信度。
2025-05-01 cs.LG stat.ME stat.ML
Supervised and Semi-supervised Deep Probabilistic Models for Indoor Positioning Problems
Université Bourgogne Franche-Comté（弗朗什-孔泰大学）；UTBM（贝尔福-蒙贝利亚技术大学）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学与应用实验室）；CNRS（法国国家科学研究中心）
利用WiFi指纹预测智能手机用户的位置是近年来的一个热门研究课题。在这项工作中，我们提出了两个新的基于深度学习的模型，卷积混合密度递归神经网络和基于VAE的半监督学习模型。结合卷积神经网络、递归神经网络和混合密度网络的优点，设计了一种用于路径预测的卷积混合密度递归神经网络。此外，由于大多数真实世界的数据集没有标记，我们设计了基于VAE的半监督学习任务的模型。为了验证所提出的模型，我们在真实世界的数据集上进行了验证实验。最后的结果验证了我们的方法的有效性，并显示出优于其他现有的方法。
2021-03-16 cs.LG stat.ML
Sample Efficient Learning of Image-Based Diagnostic Classifiers Using Probabilistic Labels
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；National University of Singapore（新加坡国立大学）
深度学习方法通常需要庞大的数据集来实现良好的泛化。这使得它在基于图像的医疗诊断等任务中的使用变得复杂，在这些任务中，小的训练数据集通常不足以学习适当的数据表示。对于这样的敏感任务，提供预测的置信度也很重要。在这里，我们提出了一种学习和使用概率标签的方法，从相对较小的数据集训练准确和校准的深度网络。与传统方法相比，我们观察到使用这些标签训练的模型在三个分类任务中的准确性提高了22%：髋关节发育不良，脂肪肝和青光眼的诊断。使用概率标签训练的模型的输出被校准，允许将其预测解释为适当的概率。我们预计这种方法将适用于其他任务，其中很少有训练实例可用，专家知识可以编码为概率。
2021-02-11 cs.CV cs.LG
An Explainable Probabilistic Classifier for Categorical Data Inspired to Quantum Physics
Institute of Financial Analysis（金融分析研究所）；Université de Neuchâtel（纳沙泰尔大学）；Università degli Studi di Milano（米兰大学）
本文提出了稀疏张量分类器（STC），一个监督分类算法的分类数据的启发，在量子物理学的状态叠加的概念。通过将观测视为特征的叠加，我们在机器学习中引入了波粒二象性的概念，并提出了一个统一经典和量子概率的广义框架。我们表明，STC具有广泛的理想属性，大多数其他机器学习方法中没有，但它是在同一时间非常容易理解和使用。STC对结构化数据和文本分类的实证评估表明，与标准分类器和深度学习相比，我们的方法实现了最先进的性能，额外的好处是需要最少的数据预处理和超参数调整。此外，STC为单个实例和全局每个目标标签提供了其预测的本地解释。
2021-05-26 cs.AI cs.LG quant-ph
Towards well-specified semi-supervised model-based classifiers via structural adaptation
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Hong Kong Baptist University（香港浸会大学）
半监督学习在大规模机器学习中起着重要的作用。适当地使用额外的未标记数据（现在大部分可用）通常可以提高机器学习的准确性。然而，如果机器学习模型被错误地指定为底层真实数据分布，则模型性能可能会严重受损。这个问题被称为模型错误指定。为了解决这个问题，我们专注于生成模型，并提出了一个标准，通过测量使用监督和半监督学习获得的模型之间的性能差异来检测模型误指定的发生。然后，我们建议在模型训练过程中自动修改生成模型，以实现无偏生成模型。使用两个图像分类数据集PASCAL VOC'07和MIR Flickr进行了严格的实验，以评估所提出的方法。我们提出的方法已被证明优于一些国家的最先进的半监督学习方法的分类任务。
2017-05-01 cs.AI cs.LG
Number-State Preserving Tensor Networks as Classifiers for Supervised Learning
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个限制类的张量网络状态，建立从数量状态保持张量，监督学习任务。这类张量网络被认为是分类器的自然选择，因为（i）它们将经典数据映射到经典数据，从而保留了张量变换下数据的可解释性，（ii）它们可以有效地训练以最大化其对经典数据集的标量积，（iii）它们在这项任务中似乎与通用（不受限制的）张量网络一样强大。我们的建议是使用各种基准分类问题，其中常用的网络（包括MPS，TTN和MERA）的数量状态保持版本的训练作为有效的分类器。这项工作为强大的张量网络方法（如MERA）开辟了道路，这些方法以前作为分类器在计算上很难处理，可用于图像识别等困难任务。
2019-05-15 cs.LG quant-ph stat.ML
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University（坦佩雷大学）；Visy Oy（维西公司）
在本文中，我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而，这些方法不能实现安全应用中所需的低假阳性率（FPR）。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络，可以估计结果的分布，而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验，估计网络确定性的统计显著性，并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应，这是一个已知的最高性能的方法。结果表明，与替代方案相比，所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe（丰田汽车欧洲公司）；Czech Technical University in Prague（捷克布拉格技术大学）
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器，它显示了有效性和概率解释。最近，在自监督对比表示学习方法取得成功之后，已经提出了监督对比方法来学习表示，并且与具有交叉熵损失的单独训练相比，监督对比方法已经显示出优越且更鲁棒的性能。然而，交叉熵损失仍然需要训练最终的分类层。在这项工作中，我们研究学习的表示和分类器使用一个目标函数，结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先，我们重新审视了以前提出的基于对比度的目标函数，该目标函数近似交叉熵损失，并提出了一个简单的扩展来共同学习分类器。其次，我们提出了一个新版本的监督对比训练，它联合学习分类器和网络骨干的参数。我们的经验表明，我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性，比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
Does Distributionally Robust Supervised Learning Give Robust Classifiers?
University of Tokyo（东京大学）；RIKEN（理化学研究所）
分布式鲁棒监督学习（DRSL）是构建可靠的机器学习系统所必需的。当机器学习部署在现实世界中时，其性能可能会显著降低，因为测试数据可能遵循与训练数据不同的分布。具有f-发散的DRSL通过最小化逆向重新加权的训练损失来明确考虑最坏情况下的分布偏移。在本文中，我们分析了这个DRSL，重点是分类方案。由于DRSL是针对分布偏移场景明确制定的，因此我们自然希望它能够提供一个强大的分类器，可以积极处理偏移分布。然而，令人惊讶的是，我们证明了DRSL最终给出了一个完全符合给定训练分布的分类器，这太悲观了。这种悲观情绪来自两个来源：分类中使用的特定损失以及DRSL试图保持稳健的分布种类太广的事实。出于我们的分析，我们提出了简单的DRSL，克服这种悲观主义，并实证证明其有效性。
2018-07-22 cs.LG stat.ML
Co-supervised learning paradigm with conditional generative adversarial networks for sample-efficient classification
University of Georgia（佐治亚大学）；Clemson University（克莱姆森大学）
使用监督学习的分类需要注释大量的类平衡数据用于模型训练和测试。这实际上限制了监督学习的应用范围，特别是深度学习。为了解决与有限和不平衡的数据相关的问题，本文介绍了一种样本有效的协同监督学习范式（SEC-CGAN），其中有条件的生成对抗网络（CGAN）与分类器一起训练，并在训练过程中向注释数据补充语义条件的、置信度感知的合成示例。在这种情况下，CGAN不仅充当共同监督者，而且还提供补充的质量示例，以端到端的方式帮助分类器训练。实验表明，建议SEC-CGAN优于外部分类器GAN（EC-GAN）和基线ResNet-18分类器。为了比较，上述方法中的所有分类器都采用ResNet-18架构作为骨干。特别地，对于街景门牌号数据集，使用5%的训练数据，SEC-CGAN实现了90.26%的测试准确率，而EC-GAN为88.59%，基线分类器为87.17%;对于高速公路图像数据集，使用10%的训练数据，SEC-CGAN的测试准确率达到98.27%，相比之下，EC-GAN为97.84%，基线分类器为95.52%。
2022-12-27 cs.CV cs.LG
