Density-Ratio Rescoring for Imbalanced Classification Using Raking Duals and Classifier Scores
Sungshin Women’s University（诚信女子大学）；Kangwon National University（江原国立大学）
本研究提出密度比重新评分（DRR）方法，利用加权对偶分数增强原始分类器，在不重采样下提升不平衡分类的稀有类排序，在24个基准上平均精度增益0.034。
2026-09-23 cs.LG stat.ML
Classifier Calibration: with application to threat scores in cybersecurity
University of Victoria（维多利亚大学）；Helwan University（赫勒万大学）
本文探讨了二元分类问题中分类器输出分数的校准问题。校准器是将测试观察的任意分类器分数映射到$[0,1]$上以提供属于两个类别之一的后验概率的估计的函数。校准之所以重要，有两个原因：第一，它提供了一个有意义的分数，即后验概率;第二，它将不同分类器的分数放在同一尺度上，以便进行可比解释。本文提出了三个主要贡献：（1）引入多得分校准，当多个分类器提供一个单一的观察得分。(2)将分类器得分引入校准过程的想法只是分类器的特征，因此建议将分类器得分扩展到更高的维度以提高校准器的性能。(3)进行大规模的模拟研究，大约24，000个实验，其中包括不同的配置，以及对网络安全领域的两个真实数据集进行实验。结果表明，在不同的校准器和不同的配置中，没有赢家。然而，对从业者的一般建议包括以下内容：Platt校准器~ \citep{Platt1999ProbabilisticOutputsForSupport}，一种在小样本量下降低偏倚的逻辑回归版本，在所有实验中具有非常稳定和可接受的性能;我们建议的多分数校准在大多数实验中提供了比单分数校准更好的性能，包括两个真实数据集。此外，扩大分数可以帮助一些实验。
2022-04-27 cs.CR cs.LG
Distance-based Confidence Score for Neural Network Classifiers
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
分类器预测可信度的可靠度量对于许多应用都是非常重要的，因此也是分类器设计的一个重要部分。然而，尽管近年来深度学习受到了极大的关注，但在量化神经网络分类器的预测置信度方面没有取得太大进展。贝叶斯模型提供了一个数学基础的框架来推理模型的不确定性，但通常伴随着高昂的计算成本。在本文中，我们提出了一个简单的，可扩展的方法来实现一个可靠的置信度得分，基于数据嵌入来自网络的倒数第二层。我们研究了两种方法来实现理想的嵌入，通过使用基于距离的损失或对抗训练。然后，我们测试我们的方法的好处时，用于分类错误预测，加权集成的分类器，和新奇的检测。在所有的任务中，我们都显示出比传统的、常用的置信度分数有显着的提高。
2017-09-28 cs.AI cs.CV cs.LG
Don't Fear the Bit Flips: Optimized Coding Strategies for Binary Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
经过训练后，分类器必须经常对被噪声破坏的数据进行操作。在本文中，我们考虑这样的噪声对二进制分类器的功能的影响。受分类器鲁棒性工具的启发，我们引入了相同的分类概率（SCP）来测量分类器输出的失真。我们介绍了一个低复杂度的估计的SCP的基础上量化和多项式乘法。我们还研究了基于复制纠错码的信道编码技术。在传统的信道编码方法，纠错是为了保存数据，是不可知的应用程序相比，我们的计划的具体目标是最大限度地提高SCP（相当于最小化的分类器输出的失真）相同的冗余开销。
2017-03-08 cs.LG stat.ML
Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning
UC Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
虽然现实世界的决策涉及许多相互竞争的目标，但算法决策通常使用单个目标函数进行评估。在本文中，我们研究的算法政策，明确权衡私人目标（如利润）和公共目标（如社会福利）。我们分析了一个自然类的政策，跟踪经验帕累托边界的基础上学习的分数，并专注于如何在嘈杂或数据有限的制度，这样的决定。我们的理论结果在这一类的最优策略的特点，约束的帕累托误差，由于分数的不准确性，并显示最优策略和公平约束的利润最大化政策的丰富的类之间的等价性。然后，我们在两个不同的背景下-在线内容推荐和可持续鲍鱼渔业-提出实证结果，以强调我们的方法的适用性，以广泛的实际决策。总之，这些结果揭示了使用机器学习进行影响社会福利的决策时的内在权衡。
2020-07-16 cs.LG stat.ML
Denoising Likelihood Score Matching for Conditional Score-based Data Generation
National Tsing Hua University（国立清华大学）；Mediatek Inc.（联发科股份有限公司）
许多现有的基于条件分数的数据生成方法利用贝叶斯定理将对数后验密度的梯度分解为分数的混合。这些方法有助于条件得分模型的训练过程，因为可以使用得分模型和分类器分别估计得分的混合。然而，我们的分析表明，这些方法中的分类器的训练目标可能会导致严重的分数失配问题，这对应于估计分数偏离真实分数的情况。这样的问题导致样本在扩散过程中被偏离的分数误导，导致采样质量下降。为了解决这个问题，我们制定了一个新的训练目标，称为去噪似然分数匹配（DLSM）损失，分类器匹配的梯度的真实对数似然密度。我们的实验证据表明，所提出的方法优于以前的方法Cifar-10和Cifar-100基准显着的几个关键的评估指标。因此，我们可以得出结论，通过采用DLSM，条件分数可以准确地建模，并减轻分数不匹配问题的影响。
2022-03-27 cs.LG stat.ML
Evaluating Classifiers Without Expert Labels
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文考虑了评估一组分类器的挑战，如在KDD杯或NIST TREC等共享任务评估中所做的那样，没有专家标签。虽然专家标签为评估统计学习者提供了传统的基石，但对专家的有限或昂贵的访问是一个实际的瓶颈。相反，我们寻求的方法，估计性能的分类器，这是更可扩展的专家标签，但保留了高相关性的评估专家标签的基础上。我们考虑两种情况：1）仅使用分类器自动生成的标签（盲评估）; 2）使用通过众包获得的标签。虽然众包方法因可扩展性而受到称赞，但考虑到标签噪音的普遍存在，使用此类数据进行评估引起了严重的担忧。在盲评估方面，研究了两种广泛的策略：组合和评分和评分与组合方法通过聚集分类器标签来推断单个伪黄金标签集;然后基于该单个伪黄金标签集对分类器进行评估。另一方面，评分和组合方法：1）从分类器输出中采样多个标签集，2）在每个标签集上评估分类器，以及3）在标签集上平均分类器性能。当额外的人群标签也被收集时，我们研究了两种利用它们的替代途径：1）直接评估分类器;或2）组合和评分方法的监督。为了评估我们的技术的一般性，分类器的性能测量使用四个常见的分类指标，统计显著性检验。最后，我们根据专家的判断来衡量估计的分类器性能与实际性能之间的分数和等级相关性。对TREC 2011众包跟踪分类器的严格评估表明，可以在不依赖专家标签的情况下实现可靠的评估。
2012-12-05 cs.IR cs.LG stat.ML
Score-Based Generative Classifiers
University of Tübingen（蒂宾根大学）；Stanford University（斯坦福大学）；Norwegian University of Science and Technology（挪威科技大学）
近年来生成模型的巨大成功提出了一个问题，即它们是否也可以用于执行分类。生成模型已被用作简单数据集（如MNIST）上的对抗鲁棒分类器，但在更复杂的数据集（如CIFAR-10）上尚未观察到这种鲁棒性。此外，在自然图像数据集上，以前的结果表明数据的可能性和分类精度之间的权衡。在这项工作中，我们研究了基于分数的生成模型作为自然图像的分类器。我们表明，这些模型不仅获得了有竞争力的似然值，但同时实现了CIFAR-10上的生成分类器的最先进的分类精度。然而，我们发现，这些模型只是稍微，如果在所有，更强大的区别性基线模型的基础上常见的图像损坏的分布任务。类似地，与以前的结果相反，我们发现，基于分数的倾向于最坏情况下的分布变化的形式对抗扰动。我们的工作强调，与标准判别模型相比，基于分数的生成模型正在缩小分类准确性的差距。虽然它们还没有实现对抗性和域外鲁棒性的承诺，但它们提供了一种不同的分类方法，值得进一步研究。
2021-12-11 cs.CV cs.LG stat.ML
An interpretable semi-supervised classifier using two different strategies for amended self-labeling
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Queens University Belfast（英国女王大学贝尔法斯特分校）
在某些机器学习应用程序的上下文中，获取数据实例是一个相对容易的过程，但标记它们可能会变得非常昂贵或繁琐。这样的场景会导致数据集具有很少的标记实例和大量的未标记实例。半监督分类技术在学习阶段结合标记和未标记的数据，以提高分类器的泛化能力。遗憾的是，大多数成功的半监督分类器不允许解释其结果，因此表现得像黑匣子。然而，有越来越多的问题领域中，专家需要一个清晰的理解决策过程。在本文中，我们报告了一个扩展的实验研究，提出了一个可解释的自标记灰盒分类器，使用黑盒子来估计缺失的类标签和白盒子来解释最终的预测。两种不同的方法来修改自标记过程进行了探讨：第一个基于黑盒的信心，后者的基础上从粗糙集理论的措施。扩展实验研究的结果支持我们的分类器的透明性和简单性的手段的可解释性，同时获得优越的预测率相比，在文献中报道的最先进的自标记分类器。
2020-07-20 cs.LG stat.ML
A Note on Posterior Probability Estimation for Classifiers
Medical Data Science Ltd.（医疗数据科学有限公司）
分类任务的中心主题之一是在新的点$\bf{x}$上估计类后验概率。绝大多数分类器输出$\bf{x}$的分数，该分数经由未知关系与后验概率单调相关。在文献中有许多尝试来估计后一种关系。在这里，我们提供了一种方法来估计后验概率，而不诉诸于使用分类得分。相反，我们改变类的先验概率，以获得点$\bf{x}$处的pdf的比率，该比率直接用于确定类的后验概率。我们在这里考虑二进制分类问题。
2019-09-12 cs.LG stat.ML
Optimal Transport of Classifiers to Fairness
Ghent University（根特大学）
在过去关于机器学习公平性的工作中，重点是迫使分类器的预测对于不同人口统计学特征的人具有相似的统计属性。为了减少对这些属性的违反，公平性方法通常简单地重新调整分类器分数，忽略不同群体成员之间的相似性和差异性。然而，我们假设这些信息是相关的量化给定分类器的不公平性。为了验证这一假设，我们引入了最优公平传输（OTF），这是一种将违反公平约束量化为概率分类器和满足这些约束的任何评分函数之间的最小最优传输成本的方法。对于一类灵活的线性公平约束，我们构建了一个实用的方法来计算OTF作为一个可微的公平正则化，可以添加到任何标准的分类设置。实验表明，OTF可以用来实现预测能力和公平性之间的改进的权衡。
2022-11-29 cs.LG stat.ML
Score-based Conditional Generation with Fewer Labeled Data by Self-calibrating Classifier Guidance
National Taiwan University（台湾大学）
针对少标注数据下分类器引导的得分生成模型条件生成不准确的问题，提出利用能量模型原理将分类器转化为无条件得分视图并自校准正则化，显著提升条件生成质量。
2024-02-07 cs.CV cs.LG
Probabilistic Scores of Classifiers, Calibration is not Enough
Université du Québec à Montréal（蒙特利尔大学（魁北克大学蒙特利尔分校））；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；AMSE（马赛经济与管理科学研究所）；Milliman France（美世法国公司）
本文研究二分类中概率分数与真实分布的对齐问题，提出基于KL散度优化随机森林和XGBoost等树模型，并在10个UCI数据集及模拟实验中验证其优于传统校准指标，且无明显性能损失。
2024-08-06 cs.LG stat.ML
Feature importance scores and lossless feature pruning using Banzhaf power indices
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
理解机器学习中特征的影响对于解释模型和选择最佳特征进行分类至关重要。在这项工作中，我们提出了使用的原则，从联盟博弈论的原因功能的重要性。特别是，我们建议使用的Banzhaf功率指数作为衡量的功能对分类器的结果的影响。我们表明，具有Banzhaf功率指数为零的功能可以losslightly修剪而不损害分类器的准确性。计算功率指数不需要访问数据样本。然而，如果有样本，指数可以根据经验估计。我们计算Banzhaf功率指数的神经网络分类器在现实生活中的数据，并比较结果与基于梯度的特征显着性，和系数的逻辑斯谛回归模型与$L_1$正则化。
2017-12-03 cs.LG stat.ML
Optimal strategies for reject option classifiers
Czech Technical University in Prague（捷克布拉格技术大学）
在具有拒绝选项的分类中，允许分类器在不确定的情况下放弃预测。拒绝选项分类器的经典基于成本的模型需要显式定义拒绝的成本。另一种有界改进模型，避免了拒绝成本的概念，寻求一个有保证的选择性风险和最大覆盖的分类器。我们硬币的对称定义，有界覆盖模型，它寻求一个分类器具有最小的选择性风险和保证覆盖。我们证明，尽管他们的不同配方的三个拒绝模型导致相同的预测策略：贝叶斯分类器赋予随机贝叶斯选择函数。我们定义了一个适当的不确定性分数的概念，作为一个标量的预测不确定性的总结足以构建随机贝叶斯选择函数。我们提出了两种算法来学习适当的不确定性得分从任意的黑盒分类器的例子。我们证明了这两种算法提供Fisher一致的估计适当的不确定性得分，我们证明了他们的效率不同的预测问题，包括分类，有序回归和结构化输出分类。
2021-01-29 cs.LG
Rawlsian Fair Adaptation of Deep Learning Classifiers
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学学院）
分类中的组公平性旨在使不同敏感子群体之间的预测效用相等，例如，种族或性别。群体公平中的平等或近似平等约束不仅会使总体效用恶化，而且会使最不平等子群体的效用恶化。在本文中，我们应用帕累托效率和最小差异的原则，效用是准确性，作为一个说明性的例子，并得出罗尔斯分类器，最小化的出错率的最坏的敏感子群体。我们的数学表征表明，罗尔斯分类器统一适用于一个理想的功能得分的阈值，在公平的机会均等的精神。在实践中，这样的分数或特征表示通常是由黑盒模型计算的，这是有用的，但不公平。我们的第二个贡献是对任何给定的黑盒深度学习模型进行实际的罗尔斯公平适应，而不改变它计算的分数或特征表示。给定任何得分函数或特征表示，并且仅其关于敏感子群体的二阶统计量，我们寻求在给定得分上的阈值分类器或在给定特征表示上的线性阈值分类器，其实现限制于此假设类的Rawls出错率。我们的技术贡献是制定上述问题使用模糊的机会约束，并提供有效的算法罗尔斯公平适应，以及可证明的罗尔斯出错率的上限。我们的实证结果表明，显着改善国家的最先进的组公平算法，即使没有重新培训的公平性。
2021-05-31 cs.CY cs.LG stat.ML
Robustness Quantification for Discriminative Models: a New Robustness Metric and its Application to Dynamic Classifier Selection
Foundations Lab for imprecise probabilities (FLip)（不精确概率基础实验室）；Ghent University（根特大学）；Statistics Dept.（统计系）；Federal University of São Carlos（萨尔瓦多·克鲁斯联邦大学）；Institute of Mathematic and Computer Sciences（数学与计算机科学学院）；University of São Paulo（圣保罗大学）
本文提出了一种适用于任何概率判别分类器和任何特征类型的新型鲁棒性度量，用于区分可靠与不可靠的预测，并应用于动态分类器选择。
2026-07-10 cs.LG stat.ML
Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；University of Hohenheim（霍恩海姆大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
如果预测的概率与事后观察到的频率相匹配，则概率预测或概率分类器是可靠的或经过校准的，如在可靠性图中视觉检查的。经典的装箱和计数的方法来绘制可靠性图已受到阻碍的不可避免的，特设的实施决策下缺乏稳定性。在这里，我们介绍了CORP方法，该方法以自动化的方式生成可证明的统计一致性，最佳装箱和可再现的可靠性图。CORP基于非参数保序回归，并通过池相邻违规者（PAV）算法实现-本质上，CORP可靠性图显示了PAV（重新）校准的预测概率图。CORP方法允许不确定性量化，通过重新校准技术或渐近理论，重新校准一个新的数值测量，并提供了一个基于CORP的Brier分数分解，概括为任何适当的评分规则。我们预计，明智地使用PAV算法产生改进的工具，用于诊断和推断非常广泛的统计和机器学习方法。
2020-08-07 cs.LG stat.ME stat.ML
C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis
Shanghai Jiao Tong University（上海交通大学）；vivo BlueImage Lab（vivo 蓝影实验室）；vivo Mobile Communication Co., Ltd.（vivo 通信有限公司）
本文提出C$^2$FG，一种基于分数差异分析的控制分类器无关引导方法，通过严格理论分析建立了条件分布与无条件分布在不同时间步的分数差异上界，从而为时间依赖引导提供了理论基础，并通过实验验证了其在多种生成任务中的有效性。
2026-05-20 cs.LG
Classifier Risk Estimation under Limited Labeling Resources
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了估计分类器的性能时，标签不能获得整个测试集的策略。与整个测试数据大小相比，可以标记的测试实例的数量非常小。然后，目标是使用尽可能少的标记资源来获得分类器性能的精确估计。具体地说，我们试图回答，如何选择一个子集的大型测试集的标签，这样的分类器的性能估计在这个子集上是尽可能接近的整个测试集。我们提出了基于分层抽样的策略来选择这个子集。我们表明，这些策略可以减少方差估计分类器的准确性相比，简单的随机抽样（在某些情况下超过65%）的显着金额。因此，我们提出的方法是更精确的随机抽样相比，在有限的标签资源的准确性估计。在某些情况下，估计分类器准确度所需的样本数量减少（与随机采样相比），仅具有1%的误差，高达60%。
2018-02-19 cs.LG stat.AP stat.ML
Evaluating Probabilistic Classifiers: The Triptych
Heidelberg University（海德堡大学）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
对二元结果的概率预测，通常被称为概率分类器或置信度得分，在科学和社会中无处不在，并且评估和比较它们的方法需求量很大。我们提出并研究了一个三联的诊断图形，侧重于不同的和互补的方面的预测性能：可靠性图解决校准，受试者工作特性（ROC）曲线诊断的歧视能力，和墨菲图可视化的整体预测性能和价值。墨菲曲线显示预测的平均基本得分，包括广泛使用的错误分类率，墨菲曲线下的面积等于平均Brier得分。对于校准预测，可靠性曲线位于对角线上，对于竞争校准预测，ROC和墨菲曲线共享相同数量的交叉点。我们调用最近开发的CORP（一致的，最佳装箱，可再现，和池相邻违规者（PAV）算法为基础）的方法来制作可靠性图，并将平均得分分解为误校准（MCB），歧视（DSC），和不确定性（ESTA）组件。区分能力的DSC测量与校准度量MCB的图可视化了多个竞争者的分类器性能。从天体物理学，经济学和社会科学的实证例子说明了所提出的工具。
2023-01-25 cs.LG stat.ME stat.ML
Aligning Multiclass Neural Network Classifier Criterion with Task Performance Metrics
Yale University（耶鲁大学）
针对多类分类器训练损失与评估指标不匹配的问题，提出EAST方法，通过动态阈值、软集混淆矩阵和退火过程，使训练目标紧密对齐混淆矩阵指标，理论证明一致性与收敛性，实验验证优于现有方法。
2025-05-26 cs.LG stat.ML
Efficient Computation of Shap Explanation Scores for Neural Network Classifiers via Knowledge Compilation
Millennium Institute for Foundational Research on Data（千年基础数据研究所）；SKEMA Business School（SKEMA商学院）；Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
针对神经网络这类黑盒分类器的Shap解释得分计算难解问题，提出基于逻辑知识编译将二值神经网络转换为可高效计算Shap的布尔电路的方法，实验显示性能提升显著。
2023-07-23 cs.AI cs.DB cs.LG
Towards a Theory of Faithfulness: Faithful Explanations of Differentiable Classifiers over Continuous Data
Imperial College London（伦敦帝国学院）
在文献中有广泛的共识，解释方法应该忠实于他们所解释的模型，但忠实仍然是一个相当模糊的术语。我们在连续数据的背景下重新审视忠诚度，并提出了两个正式的忠诚度定义的特征属性方法。定性的忠实性要求分数反映了模型上特征的真实定性效果（积极与消极），定量的忠实性要求分数的大小反映了真实的定量效果。我们讨论在何种条件下，这些要求可以满足到何种程度（本地与全球）。作为概念思想的一个应用，我们在连续数据上研究可微分类器，并将一致性分数描述为：每个定性忠实的特征属性方法在定性上等同于一致性分数。此外，如果属性方法在分类器的输出的变化与特征的分数成比例的意义上是定量忠实的，则它或者等同于梯度评分，或者它基于分类器的劣近似。为了说明理论的实际意义，我们通过实验证明，流行的归因方法可能无法在数据连续和分类器可区分的情况下给出忠实的解释。
2022-05-19 cs.AI cs.LG
Ensemble RL through Classifier Models: Enhancing Risk-Return Trade-offs in Trading Strategies
本文研究了在金融交易策略中使用集成强化学习模型的全面研究，利用分类器模型来提升性能。通过将A2C、PPO和SAC等强化学习算法与传统分类器如支持向量机（SVM）、决策树和逻辑回归相结合，探讨不同分类器组如何整合以改善风险回报权衡。研究评估了各种集成方法的有效性，将其与单个强化学习模型在关键金融指标（包括累计回报率、夏普比率（SR）、卡勒姆比率和最大回撤（MDD））上进行比较。结果表明，集成方法在风险调整后的回报方面始终优于基础模型，提供了更好的回撤管理和整体稳定性。然而，我们发现集成性能对方差阈值τ的选择敏感，强调了动态调整τ以达到最佳性能的重要性。本研究强调了将强化学习与分类器结合在自适应决策中的价值，对金融交易、机器人和其他动态环境具有启示。
2026-06-17 cs.AI cs.LG q-fin.CP
FADE: Towards Fairness-aware Generation for Domain Generalization via Classifier-Guided Score-based Diffusion Models
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；School of Informatics, Xiamen University（厦门大学信息学院）；Department of Computer Science, Baylor University（贝勒大学计算机科学系）；Departments of Biostatistics and Epidemiology, Harvard University（哈佛大学生物统计学与流行病学系）
本文提出FADE方法，通过预训练基于分数的扩散模型和分类器并引导生成公平数据，有效解决了公平感知领域泛化问题，在提升公平性的同时改善了分布偏移下的准确率。
2025-04-30 cs.AI cs.LG
Leveraging Uncertainty Estimates To Improve Classifier Performance
Amazon（亚马逊）
本文分析了模型分数估计偏差对不确定性的依赖，提出基于动态规划和保序回归的决策边界选择算法，在高精确率约束下召回率提升25%-40%。
2023-11-20 cs.LG
Using theoretical ROC curves for analysing machine learning binary classifiers
Durham University（杜伦大学）
大多数二进制分类器的工作原理是处理输入以产生标量响应并将其与阈值进行比较。分类器性能的各种度量明确地或隐含地假设属于任一类别的响应的概率分布$P_s$和$P_n$、每种类型的误分类的成本的概率分布，并且从预期成本计算性能分数。在机器学习中，分类器响应是通过实验获得的，性能分数是直接从它们中计算出来的，对$P_s$和$P_n$没有任何假设。在这里，我们认为，省略的步骤估计理论分布的$P_s$和$P_n$可能是有用的。在一个生物识别安全的例子中，我们将beta分布拟合到两个分类器的响应中，一个基于逻辑回归，一个基于ANN，并使用它们来建立一个分类，将其分类为在ROC曲线末端具有不同极端行为的少量类别。
2019-09-21 cs.CV cs.LG stat.ML
Counterfactually Comparing Abstaining Classifiers
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
针对黑箱弃权（不执行）分类器评估缺乏原则性方法的问题，提出将弃权视为缺失数据，定义反事实得分并明确其可识别条件，开发非参数双重稳健估计方法，经模拟与真实数据实验验证。
2023-11-09 cs.AI cs.LG stat.ME
Unsupervised Fusion Weight Learning in Multiple Classifier Systems
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种无监督的方法来学习的权重，多个分类器的分数必须结合在分类器融合设置。我们还介绍了一种新的度量排名的基础上的索引，它取决于训练点的加权分数之间的加权分数的测试点的排名的实例。我们表明，优化后的索引可以用于计算的措施，如平均精度。与大多数分类器融合方法不同的是，我们的方法学习了特定于实例的权重。该问题被公式化为学习使清晰度指数最大化的权重;随后，指数本身和学习到的权重都被分别用于对所有测试点进行排名。我们的方法给出了一种在实际测试数据上优化性能的无监督方法，不像众所周知的基于堆栈的方法，其中优化是在标记的训练集上完成的。此外，我们表明，我们的方法是宽容的噪声分类器，可用于选择N-最好的分类。
2015-02-06 cs.CV cs.LG
Limitations of ROC on Imbalanced Data: Evaluation of LVAD Mortality Risk Scores
Swanson School of Engineering, University of Pittsburgh（匹兹堡大学斯旺森工程学院）；Heinz College, Carnegie Mellon University（卡内基梅隆大学海因茨学院）；Meinig School of Biomedical Engineering, Cornell University（康奈尔大学迈尼格生物医学工程学院）
目的：本研究说明ROC在评价LVAD 90天死亡率的两个分类器中的模糊性。本文还引入了精确召回曲线（PRC）作为补充指标，它更能代表LVAD分类器在预测少数类方面的性能。背景：在LVAD领域，受试者工作特征（ROC）是分类器性能的常用度量。然而，ROC可以提供分类器预测短期死亡率的能力的扭曲视图，这是由于存活的患者的比例压倒性地更大，即不平衡的数据。研究方法：本研究比较了ROC和PRC两种分类器对2006年至2016年期间在INTERMACS中记录的800名接受连续流LVAD的患者（试验组）90天LVAD死亡率的结局（平均年龄59岁; 146名女性vs. 654名男性），其中90天死亡率仅为8%（不平衡数据）。这两个分类器是HeartMate风险评分（HMRS）和随机森林（RF）。结果：ROC表明RF和HRMS分类器的性能相当好，曲线下面积（AUC）分别为0.77和0.63。这与他们的PRC形成对比，RF和HRMS的AUC分别为0.43和0.16。HRMS的PRC显示精度迅速下降至仅10%，灵敏度略有增加。结论：当应用于不平衡数据时，ROC可以描述分类器或风险评分的过度乐观性能。PRC通过关注少数类提供了关于分类器性能的更好的见解。
2020-10-29 cs.LG q-bio.QM
Query Strategies for Evading Convex-Inducing Classifiers
University of California（加利福尼亚大学）；Microsoft Research（微软研究院）；Intel Labs Berkeley（英特尔伯克利实验室）
分类器通常用于检测恶意活动。我们研究了一个对手如何系统地查询分类器，以获取信息，使对手逃避检测，同时产生一个接近最小的成本修改他们的意图渎职。我们将Lowd和Meek（2005）的理论推广到凸诱导分类器家族，该家族将输入空间划分为两个集合，其中一个是凸的。我们目前的查询算法，这个家庭，构建未被发现的情况下，大约最小的成本，只使用多项式多查询的空间的维度和近似的水平。我们的研究结果表明，接近最佳的规避可以完成没有反向工程的分类器的决策边界。我们还考虑了一般的LP成本，并表明，近最佳的规避家庭的凸诱导分类一般是有效的，为所有级别的近似，如果p=1的正凸和负凸。
2010-07-03 cs.CR cs.GT cs.LG
Building a stable classifier with the inflated argmax
Department of Statistics, University of Chicago（统计学系，芝加哥大学）；Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）
本文提出一种基于bagging和“膨胀的argmax”的多类分类算法稳定性框架，通过稳定连续分数并转换为候选标签，在无分布假设且不损失准确性的前提下，实现对任意基础分类器的稳定性保护。
2025-04-25 cs.LG math.ST stat.ML
From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration
Université du Québec à Montréal（蒙特利尔大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；AMSE（马赛经济与管理科学研究院）；Université de Montréal（蒙特利尔大学）
本文提出Local Calibration Score改进指标，通过局部回归方法提升二分类器校准，并在信用违约预测中验证其有效性。
2024-02-12 cs.LG
Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores
University of California, Berkeley（加利福尼亚大学伯克利分校）；Inria（法国国家信息与自动化研究所）
针对标准 conformal 预测仅保证边际覆盖的局限，本研究提出基于分类器置信度和信任分数的改进算法，在分类器过度自信于错误预测的关键场景提升条件覆盖，实证显示其在多图像数据集上改善了类别、子组等条件覆盖特性。
2025-02-09 cs.AI cs.LG stat.ME
Efficient, Uncertainty-based Moderation of Neural Networks Text Classifiers
University of Hamburg（汉堡大学）
为了最大限度地提高准确性和提高文本分类器的整体接受度，我们提出了一个有效的框架，在操作中调节分类器的输出。我们的框架侧重于现代神经网络分类器的F1分数（约90%，在实践中仍不适用。我们提出了一种半自动化的方法，使用预测的不确定性，通过不自信，可能是不正确的分类人类主持人。为了最大限度地减少工作量，我们将人工调节的数据限制在准确性增益饱和并且进一步的人工努力不会导致实质性改进的程度。基于三个不同数据集和三个最先进的分类器的一系列基准测试实验表明，我们的框架可以将分类F1分数提高5.1%至11.2%（高达约10%）。98%至99%），同时与随机适度相比，将适度负载降低至73.3%。
2022-04-04 cs.LG
A Multiple Classifier Approach for Concatenate-Designed Neural Networks
Macao Polytechnic Institute（澳门理工学院）
本文介绍了一种多分类器方法来提高级联设计的神经网络（如ResNet和DenseNet）的性能，目的是减轻最终分类器的压力。我们给出了分类器的设计，它收集网络集合之间产生的特征，并给出了分类器的组成层和激活函数，以计算每个分类器的分类得分。我们使用L2归一化方法来获得分类器得分，而不是Softmax归一化。我们还确定的条件，可以提高收敛。实验结果表明，所提出的分类器能够显著提高分类器的准确率，并且该方法不仅具有比原始模型更好的性能，而且具有更快的收敛速度。此外，我们的分类器是通用的，可以应用于所有分类相关的级联设计的网络模型。
2021-01-14 cs.LG cs.NE
The Tile: A 2D Map of Ranking Scores for Two-Class Classification
Montefiore Institute, University of Liège（列日大学蒙泰菲奥雷研究所）
提出名为The Tile的新型工具，将二分类器的无穷多排序分数整合于单一2D地图中，克服了ROC和PR空间的局限，有效实现分类器性能的可视化排序与比较。
2024-12-18 cs.CV cs.LG cs.PF
Adaptive Learned Bloom Filter (Ada-BF): Efficient Utilization of the Classifier
Rice University（莱斯大学）
最近的工作建议通过将机器学习模型作为二元分类器来提高布隆过滤器的性能。然而，这种学习的布隆过滤器没有充分利用预测的概率得分。我们提出了新的算法，通过使用分数区域的完整谱来推广学习的布隆过滤器。我们证明，与现有的学习Bloom过滤器方法相比，我们的算法具有更低的误报率（FPR）和内存使用量。我们还展示了我们的算法在真实世界数据集上的改进性能。
2019-10-21 cs.DS cs.LG
Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance
University of Bremen（不来梅大学）；German Research Center for Artificial Intelligence GmbH（德国人工智能研究中心）
目的：分类器转移通常伴随着数据集的变化。为了克服这些问题，必须采用在线战略。对于实际应用，必须考虑用于适应批量学习算法（如SVM）的计算资源的限制。方法：我们回顾并比较了支持向量机在线学习的几种策略。我们专注于限制存储的训练数据大小的数据选择策略[.]主要结果：对于不同的数据偏移，适用不同的标准。对于合成数据，将所有样本添加到所考虑的样本池中通常比其他标准执行得更差。特别是，只添加错误分类的样本表现得非常好。在这里，当其他标准没有很好地选择时，平衡标准非常重要。对于传输设置，结果表明，最佳策略取决于传输过程中漂移的强度。添加所有样本并移除最旧的样本会产生最佳性能，而对于较小的漂移，仅添加SVM的潜在新支持向量就足够了，这会减少处理资源。重要性：对于基于EEG模型的BCI，使用来自校准会话、先前记录会话或甚至来自与一个或多个其他受试者的记录会话的数据进行训练。学习模型的这种转移通常会降低性能，因此可以从在线学习中受益，在线学习可以像建立的SVM一样调整分类器。我们表明，通过使用正确的数据选择标准的组合，可以适应分类器，并大大提高性能。此外，在某些情况下，可以通过用特殊样本的子集进行更新并保留用于训练分类器的样本的小子集来加速处理并节省计算。
2022-08-10 cs.HC cs.LG
Robust Attacks against Multiple Classifiers
University of California, Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
我们解决了设计最佳对抗噪声算法的挑战，学习者可以访问多个分类器。我们演示了如何将这个问题定义为在学习者和对手之间的两个玩家零和游戏中找到均衡策略。通过这样做，我们说明了在对抗攻击中随机化的必要性。为了计算纳什均衡，我们的主要技术重点是设计最佳响应预言机，然后可以在乘法权重更新框架内实现，以提高确定性扰动对一组模型的最佳混合策略。我们使用线性分类器和深度神经网络在一系列图像分类任务上证明了我们的方法的实际有效性。
2019-06-06 cs.CR cs.GT cs.LG
A Hitchhiker's Guide to Understanding Performances of Two-Class Classifiers
University of Liège（列日大学）；Montefiore Institute（蒙泰菲奥雷研究所）
本文介绍了一种名为 Tile 的二维可视化工具，通过四个用户画像场景展示了如何全面比较二分类分类器的性能，并对 74 个语义分割模型进行了排名分析。
2025-04-04 cs.CV cs.LG cs.PF
Improved Multi-label Classification with Frequent Label-set Mining and Association
Indian Statistical Institute（印度统计研究所）
多标签（ML）数据同时处理与单个样本相关的多个类别。这导致了几个类重复出现，这表明它们之间存在某种相关性。在这篇文章中，类之间的相关性进行了探索，以提高现有的ML分类器的分类性能。提出了一种新的频繁标签集挖掘方法，从数据的标签集中提取这些相关的类。类的共存（CP）和共存缺失（CA）都被考虑在内。从ML数据中挖掘的规则已被进一步用于将类相关信息纳入现有的ML分类器中。通过使用CP-CA规则的新方法修改ML分类器生成的软分数。定义了确定性和不确定性得分的概念，提出了一种基于确定性得分和CP-CA规则的改进不确定性得分的方法。这已经在10个ML数据集上对三个ML现有分类器进行了实验分析，这些分类器的整体性能得到了大幅提高。
2021-09-22 cs.LG
Theedhum Nandrum@Dravidian-CodeMix-FIRE2020: A Sentiment Polarity Classifier for YouTube Comments with Code-switching between Tamil, Malayalam and English
DataWeave；Exotel
Theedhum Nandrum是一个使用两种方法的情感极性检测系统-基于随机梯度下降（SGD）的分类器和基于长短期记忆（LSTM）的分类器。我们的方法利用了语言功能，如使用表情符号，选择脚本和代码混合，这些功能在为Dravidian Codemix - FIRE 2020任务指定的数据集中非常明显。SGD的超参数使用GridSearchCV进行调整。我们的系统在泰米尔语英语中排名第四，加权平均F1得分为0.62，在马拉雅拉姆语英语中排名第九，得分为0.65。在任务截止日期后，我们使用基于Logistic回归的模型获得了泰米尔语英语的加权平均F1分数为0.77。这种性能大大优于该数据集上排名最高的分类器。我们使用特定语言的Soundex来协调代码混合数据中的拼写变体，这似乎是Soundex的一个新应用。我们的完整代码发布在github网站https://github.com/oligoglot/theedhum-nandrum上。
2020-10-13 cs.CL cs.LG
Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error
在这项工作中，我们的目标是通过找到一个“最优”映射到类概率，其中的“最优”映射是在这个意义上，最大限度地减少分类错误（或等价地，最大限度地提高准确性），校准的二进制分类问题的估计器的得分输出。我们表明，对于给定的目标变量和分数输出的估计，一个“最佳”的软映射，单调映射的得分值的概率，是一个硬映射的得分值映射到$0$和$1$。我们表明，类加权（其中一个类的准确性是更重要的）和样本加权（其中样本的准确分类是不同等重要的）的错误，甚至一般的线性损失，这种硬映射特性被保留。我们提出了一个顺序递归合并的方法，它产生一个“最佳”硬映射（到目前为止观察到的样本）顺序与每个传入的新样本。我们的方法具有对数的样本大小的时间复杂度，这是最佳的效率。
2021-08-19 cs.CC cs.LG
Variable-Based Calibration for Machine Learning Classifiers
University of California, Irvine（加州大学欧文分校）
本文提出基于变量的校准概念，推广了传统的期望校准误差（ECE）指标，揭示了具有近乎完美ECE的模型可能在数据特征函数上表现出显著校准不良，并提出了检测、可视化和量化该误差的策略，强调超越简单聚合度量理解校准对公平性和模型可解释性的重要性。
2023-04-05 cs.LG
Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification
National Institute of Technology Durgapur（杜尔加布尔国立技术学院）；IIT Kanpur（坎普尔印度理工学院）
研究针对视网膜疾病分类中深度学习框架可解释性瓶颈问题，提出CounterFundus框架，结合CycleGAN实现疾病到正常眼底图像转换以提供反事实解释，引入CCAS量化一致性，提升了分类性能，成为可解释的视网膜疾病检测XAI框架。
2026-07-24 cs.CV cs.LG
Meta Pattern Concern Score: A Novel Evaluation Measure with Human Values for Multi-classifiers
The University of Hong Kong（香港大学）；East China Normal University（华东师范大学）
提出元模式关注分数，一种基于概率预测抽象表示和可调阈值的多分类器评估指标，引入人类价值，可动态调整学习率，实验证明其有效性并显著减少危险案例。
2024-03-13 cs.LG
Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency
School of Computer Science and Engineering, The Hebrew University of Jerusalem, Israel（计算机科学与工程学院，耶路撒冷希伯来大学，以色列）；The Federmann Center for the Study of Rationality, The Hebrew University of Jerusalem, Israel（理性研究基金会，耶路撒冷希伯来大学，以色列）
本文针对充分性公平约束下的二元分类问题，提出了一种基于分组校准分数的后处理算法，能够实现最优随机分类，并给出了可行正预测值与错误遗漏率对的几何刻画。
2026-05-28 cs.LG
A multi-instance deep neural network classifier: application to Higgs boson CP measurement
Jagiellonian University（雅盖隆大学）；Eötvös Loránd University（厄特沃什·罗兰大学）
本文研究了一种用于测量$H\rightarrowττ$衰变中希格斯玻色子CP态的分类器的性质。这个问题被构造成应用于单个实例的二元分类器。然后利用实例属于同一类的先验知识定义多实例分类器。它的最终得分计算为给定一系列实例的单个实例得分的乘积。在本文中，我们讨论了这样的分类器的属性，特别是它的依赖于该系列中的实例数。该分类器表现出非常强的随机依赖于用于训练的时期的数量，需要仔细调整的分类阈值。我们推导出这个最佳阈值的公式。
2018-09-06 cs.LG cs.NE hep-ex
Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing
University of Eastern Finland（东芬兰大学）；Eurecom（欧洲通信学院）；Inria（法国国家信息与自动化研究所）；National Institute of Informatics（国立情报学研究所）；Nuance Communications（Nuance通信公司）；Institute for Infocomm Research（资讯通信研究院）
无论是结果总结，还是分类器融合的分析，比较不同分类器的一些方法通常可以提供对它们的行为，（不）相似性或互补性的启发性见解。我们提出了一个简单的方法来获得二维表示从检测分数产生的任意一组的二进制分类器在一个共同的数据集。基于等级相关性，我们的方法便于视觉比较的分类器与任意分数和密切相关的受试者工作特性（ROC）和检测误差权衡（DET）分析。虽然该方法是完全通用的，可以应用于任何检测任务，我们证明了该方法使用自动说话人验证和语音反欺骗系统产生的分数。前者是由用VoxCeleb数据训练的高斯混合模型系统产生的，而后者则来自ASVspoof 2019挑战赛的提交。
2021-06-11 cs.LG cs.SD eess.AS
Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection
该研究针对人工智能文本检测中分类器分布外性能不佳问题进行探索，核心方法是用贝叶斯分类头微调模型并选择合并训练集，训练多个分类器，主要贡献是通过精心管理数据集提升了分布外性能，且发布了相关模型。
2026-07-21 cs.CL cs.LG
Confidence Calibration of Classifiers with Many Classes
IRT SystemX；ONERA - DTIS；Paris-Saclay University（巴黎萨克雷大学）
针对多类别分类器置信度校准失效问题，提出将多分类校准转化为替代二元分类校准，有效提升现有校准方法性能。
2024-11-06 cs.AI cs.LG
A multi-schematic classifier-independent oversampling approach for imbalanced datasets
University of Rostock（罗斯托克大学）；Leibniz-Institute for Food Systems Biology（莱布尼茨食品系统生物学研究所）；Technical University of Munich（慕尼黑工业大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
在过去的二十年中，已经建立了超过85种过采样算法，其中大部分是SMOTE算法的扩展，以解决不平衡数据集的问题。然而，从以前的研究中可以明显看出，不同的过采样算法对不同的分类器具有不同程度的效率。由于有许多算法可用，因此很难为所选分类器决定过采样算法。在这里，我们用一种多示意图和独立于分类器的过采样方法来克服这个问题：ProWRAS（邻近加权随机仿射阴影采样）。ProWRAS集成了局部随机仿射阴影采样（LoRAS）算法和邻近加权合成过采样（ProWSyn）算法。通过控制合成样本的方差，以及接近加权聚类系统的少数classdata，ProWRAS算法提高了性能相比，通过建模高维凸空间的少数类生成合成样本的算法。ProWRAS有四种过采样方案，每种方案都有其独特的方式来模拟生成数据的方差。最重要的是，ProWRAS的性能与适当选择的过采样方案，是独立的分类器使用。我们已经对我们新开发的ProWRAS算法进行了基准测试，针对20个公开数据集上的五种最先进的过采样模型和四种不同的分类器。ProWRAS在统计学上显著优于其他过采样算法，无论是F1分数还是Kappa分数。此外，我们还引入了一种新的测量分类器独立性的I分数，并定量地表明，ProWRAS表现更好，独立于所使用的分类器。在实践中，ProWRAS根据选择的分类器定制合成样本生成，从而减少基准测试工作。
2021-07-15 cs.AI cs.LG
