Deep Copula Classifier: Theory, Consistency, and Empirical Evaluation
Department of Mathematics, University of Louisiana at Lafayette(路易斯安那大学拉福莱分校数学系);Department of Statistics, Formerly of Presidency College, Kolkata, India(印度加尔各答 Presidency College 统计学系)
本文提出深度 Copula 分类器(DCC),通过神经 Copula 分离边际与依赖建模,实现贝叶斯一致性与强校准性能,在理论和实证上优于传统独立分类器。
2025-10-27 cs.LG stat.ML
Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints
Department of Mathematics, Tufts University(塔夫茨大学数学系);Department of Computer Science, Tufts University(塔夫茨大学计算机科学系)
本文提出部分VOROS,一种考虑成本的二分类器性能度量方法,用于在精度和容量限制下评估分类器性能,通过在ROC空间中定义可行区域并计算部分体积来改进传统ROC分析。
2026-04-02 cs.LG stat.ME
Robust Classification for Imprecise Environments
在现实环境中,通常很难精确地指定目标操作条件,例如,目标误分类成本。这种不确定性使得构建强大的分类系统成为问题。我们表明,它是可能的,以建立一个混合分类器,将执行至少以及最好的分类器为任何目标条件。在某些情况下,混合的性能实际上可以超过最知名的分类器。这种强大的性能扩展到各种比较框架,包括对准确性、预期成本、提升、精确度、召回率和劳动力利用率等指标的优化。这种混合体在构建、存储和更新方面也很高效。该混合是基于一种方法的分类器的性能,是强大的不精确的类分布和误分类成本的比较。ROC凸包(ROCCH)方法结合了ROC分析,决策分析和计算几何的技术,并使它们适应于分析学习分类器的细节。该方法是高效和增量的,最大限度地减少了分类器性能数据的管理,并允许清晰的视觉比较和灵敏度分析。最后,我们指出的经验证据表明,一个强大的混合分类器确实需要许多现实世界的问题。
2000-09-13 cs.LG
The VOROS: Lifting ROC curves to 3D
Tufts University(塔夫茨大学)
针对ROC曲线下面积在类别不平衡或误分类成本高度失衡时失效的问题,提出将ROC曲线提升至三维,构建新ROC曲面及其体积VOROS,以自然捕捉成本,并支持仅知范围时的建模。
2024-12-18 cs.LG math.MG math.ST
Assessing binary classifiers using only positive and unlabeled data
KU Leuven(鲁汶大学);iMinds Medical IT(iMinds医疗信息技术部门)
评估学习模型的性能是机器学习的关键部分。然而,在某些领域,只有积极的和未标记的例子,这禁止使用大多数标准的评估指标。我们提出了一种基于列联表(包括ROC和PR曲线)仅使用阳性和未标记数据来估计任何度量的方法。估计这些性能指标基本上简化为估计未标记集合中(潜在)阳性的分数,假设已知阳性是所有阳性的随机样本。我们提供了我们的估计质量的理论界限,说明了估计的积极部分在未标记的集合的重要性,并证明经验,我们能够可靠地估计真实数据的ROC和PR曲线。
2015-12-30 cs.IR cs.LG stat.ML
ABROCA Distributions For Algorithmic Bias Assessment: Considerations Around Interpretation
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
针对算法偏差评估问题,研究ABROCA公平性度量的统计特性,发现其分布偏度受样本量等因素影响,需谨慎解释,为该指标的合理应用提供了关键依据。
2024-11-28 cs.LG stat.ML
The MCC-F1 curve: a performance evaluation technique for binary classification
University of Toronto(多伦多大学);Princess Margaret Cancer Centre(玛格丽特公主癌症中心);Vector Institute(向量研究所);Krembil Research Institute(克雷比尔研究所)
许多领域使用ROC曲线和PR曲线作为二元分类方法的标准评估。然而,对ROC和PR的分析往往会给出误导性和夸大的绩效评估,特别是在不平衡的基础事实情况下。在这里,我们通过模拟展示了ROC和PR分析的问题,并提出了MCC-F1曲线来解决这些缺点。MCC-F1曲线结合了两个信息性单阈值指标,MCC和F1评分。MCC-F1曲线更清楚地区分了好的和坏的分类器,即使是不平衡的地面事实。我们还介绍了MCC-F1指标,它提供了一个单一的值,集成了整个分类阈值范围内的分类器性能的许多方面。最后,我们提供了一个R软件包,可以绘制MCC-F1曲线并计算相关指标。
2020-06-17 cs.LG stat.ML
A Review of the Receiver Operating Characteristic Curve and a Proof About the Area Beneath It
本文综述了二分类器的接收操作特征曲线,并证明了曲线下面积的统计意义及误差界限。
2026-04-30 cs.LG math.PR
On the Geometry of Receiver Operating Characteristic and Precision-Recall Curves
Department of Biomedical Engineering, Georgia Institute of Technology and Emory University(佐治亚理工学院生物医学工程系和埃默里大学)
本文研究二分类问题中ROC和PR曲线的几何特性,揭示常用评估指标与几何结构的关系,提供客观工具优化分类器性能。
2026-04-14 cs.AI cs.LG math.ST
Classification of worldwide news articles by perceived quality, 2018-2024
Lakehead University(湖首大学);Algoma University(阿尔戈马大学)
本研究利用机器学习和深度学习模型对2018-2024年间全球新闻文章的感知质量进行分类,发现传统和深度学习模型均能有效区分高质量与低质量新闻文章。
2025-11-20 cs.CL cs.LG
Evaluating Probabilistic Classifiers: The Triptych
Heidelberg University(海德堡大学);Heidelberg Institute for Theoretical Studies(海德堡理论研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
对二元结果的概率预测,通常被称为概率分类器或置信度得分,在科学和社会中无处不在,并且评估和比较它们的方法需求量很大。我们提出并研究了一个三联的诊断图形,侧重于不同的和互补的方面的预测性能:可靠性图解决校准,受试者工作特性(ROC)曲线诊断的歧视能力,和墨菲图可视化的整体预测性能和价值。墨菲曲线显示预测的平均基本得分,包括广泛使用的错误分类率,墨菲曲线下的面积等于平均Brier得分。对于校准预测,可靠性曲线位于对角线上,对于竞争校准预测,ROC和墨菲曲线共享相同数量的交叉点。我们调用最近开发的CORP(一致的,最佳装箱,可再现,和池相邻违规者(PAV)算法为基础)的方法来制作可靠性图,并将平均得分分解为误校准(MCB),歧视(DSC),和不确定性(ESTA)组件。区分能力的DSC测量与校准度量MCB的图可视化了多个竞争者的分类器性能。从天体物理学,经济学和社会科学的实证例子说明了所提出的工具。
2023-01-25 cs.LG stat.ME stat.ML
Bayesian Receiver Operating Characteristic Metric for Linear Classifiers
Tampere University(坦佩雷大学);A.I. Virtanen Institute for Molecular Sciences(A.I.维尔塔宁分子科学研究所);University of Eastern Finland(东芬兰大学)
我们提出了一种新的分类器准确性度量:贝叶斯面积下的接收器工作特征曲线(CBAUC)。该方法估计ROC曲线下面积,并与最近提出的贝叶斯误差估计有关。该度量可以仅使用训练数据集来评估分类器的质量,而不需要计算上昂贵的交叉验证。我们推导出一个封闭形式的解决方案,建议的准确性度量的任何线性二进制分类的高斯假设下,并研究使用模拟和真实世界的数据的准确性估计。这些实验证实,封闭形式的CBAUC比传统的AUC估计更快,更准确。
2019-08-23 cs.LG stat.ML
Shapley value-based approaches to explain the robustness of classifiers in machine learning
University of Campinas(坎皮纳斯大学);Leeds University Business School(利兹大学商学院);COMSATS University Islamabad(伊斯兰堡COMSATS大学)
算法不可知论方法的使用是一个新兴的研究领域,用于解释个体特征对预测结果的贡献。虽然重点是解释预测本身,但在解释这些模型的鲁棒性方面做了一些工作,即每个特征如何有助于实现这种鲁棒性。在本文中,我们建议使用Shapley值来解释每个特征对模型鲁棒性的贡献,这些特征可以用受试者工作特征(ROC)曲线和ROC曲线下面积(AUC)来衡量。借助一个说明性的例子,我们展示了解释ROC曲线,并可视化这些曲线的不确定性的建议的想法。对于不平衡数据集,使用精确召回曲线(PRC)被认为是更合适的,因此我们也演示了如何解释PRCs与Shapley值的帮助。鲁棒性的解释可以在许多方面帮助分析人员,例如,它可以通过识别可以被移除以降低计算复杂性的不相关特征来帮助特征选择。它还可以帮助识别对鲁棒性具有关键贡献或负面贡献的特征。
2022-11-03 cs.AI cs.LG
Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院);INRIA(法国国家信息与自动化研究所)
人工智能的许多应用涉及使用其属性的学习函数对个体进行评分。然后,这些预测性风险分数用于基于分数是否超过特定阈值来做出决策,该阈值可以根据上下文而变化。在信贷和医疗诊断等关键应用中,授予此类系统的授权水平将在很大程度上取决于如何回答公平性问题。在本文中,我们研究的公平性问题的学习评分功能从二进制标记的数据,一个经典的学习任务,称为二分排名。我们认为,ROC曲线的功能性质,在这种情况下,排名准确性的黄金标准措施,导致制定公平性约束的几种方式。我们介绍了一般家庭的公平性定义的基础上的AUC和ROC曲线,并表明我们的ROC为基础的约束可以实例化,使分类器通过阈值的评分函数满足分类公平性所需的阈值范围。我们建立了泛化界的评分功能的限制下学习,设计实用的学习算法,并显示我们的方法与真实和合成数据的数值实验的相关性。
2021-02-25 cs.LG stat.ML
A Modified AUC for Training Convolutional Neural Networks: Taking Confidence into Account
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院);Lunenfeld-Tanenbaum Research Institute, Sinai Health System(西奈健康系统 Lunenfeld-Tanenbaum 研究所);Sunnybrook Research Institute(新宁布鲁克研究所)
受试者工作特征(ROC)曲线是二进制分类中的信息工具,ROC曲线下面积(AUC)是用于报告二进制分类器性能的流行度量。本文首先对ROC曲线和AUC指标进行了综述。接下来,我们提出了一个修改后的AUC版本,它考虑了模型的置信度,同时将AUC纳入用于训练卷积神经网络进行分类任务的二进制交叉熵(BCE)损失。我们在三个数据集上证明了这一点:MNIST,前列腺MRI和脑MRI。此外,我们还发布了一个新的python库candineAI,它提供了传统AUC和拟议的修改后AUC的函数,以及ROC曲线每个点的灵敏度、特异性、召回率、精确度和F1等指标。
2021-09-12 cs.LG stat.ML
Optimizing for ROC Curves on Class-Imbalanced Data by Training over a Family of Loss Functions
Duke University(杜克大学)
针对严重类不平衡二分类问题中超参数敏感导致ROC曲线性能多变的问题,提出在损失函数族上训练的损失条件训练方法,显著提升了模型性能与对超参数选择的鲁棒性。
2024-06-04 cs.CV cs.LG
Maintaining AUC and $H$-measure over time
HIIT, University of Helsinki(赫尔辛基大学 HIIT)
在机器学习中,测量分类器的性能是一项重要的任务。计算度量的算法的运行时间在离线设置中起着非常小的作用,例如,当研究人员正在开发分类器时。然而,如果我们的目标是随着时间的推移监控分类器的性能,那么运行时间就变得更加关键。在本文中,我们研究了三个算法,保持两个措施。第一种算法在$O(\log n)$时间内添加和删除数据点的情况下保持ROC曲线下面积(AUC)。这是通过维护在自平衡搜索树中排序的数据点来完成的。此外,我们增加了搜索树,使我们能够查询ROC坐标的数据点在$O(\log n)$时间。这样,我们能够在$O(\log n)$时间内保持AUC。我们接下来的两个算法涉及维护$H$ -measure,一种基于ROC曲线的替代测量。计算测量值是一个两步过程:首先,我们需要计算ROC曲线的凸包,然后是对凸包求和。我们证明,我们可以保持凸包使用一个小的修改经典的凸包维护算法。然后,我们表明,在一定的条件下,我们可以计算的$H$ -测量在$O(\log^2 n)$时间,如果条件不满足,那么我们可以估计的$H$ -测量在$O((\log n + ε^{-1})\log n)$时间。我们的经验表明,我们的方法是显着快于基线。
2021-12-12 cs.DS cs.LG
Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions
本文探讨了分类器性能指标在不同不确定性模型下的分布,揭示了不确定性可能掩盖分类器实际表现差异,通过三维组合晶格和交互可视化展示ROC曲线空间中的性能指标轮廓。
2022-06-05 cs.LG stat.ML
Federated Calibration and Evaluation of Binary Classifiers
Meta AI
我们解决了两个主要的障碍,实际使用的监督分类分布式私人数据。无论分类器是由合作客户端的联合训练还是集中训练,(1)输出分数必须校准,(2)性能指标必须评估-所有这些都没有在一个地方组装标签。特别是,我们展示了如何在三种隐私模型下在联邦设置中执行校准和计算精度,召回率,准确率和ROC-AUC(i)安全聚合,(ii)分布式差分隐私,(iii)本地差分隐私。我们的定理和实验澄清了隐私,准确性和数据效率之间的权衡。它们还有助于确定给定应用程序是否有足够的数据来支持联合校准和评估。
2022-10-22 cs.CR cs.LG
Model Evaluation in the Dark: Robust Classifier Metrics with Missing Labels
J.P. Morgan AI Research(摩根大通人工智能研究院)
针对模型评估中标签缺失问题,提出多重插补技术以准确估计分类器指标,提供预测分布并证明其近似高斯性及鲁棒性。
2025-04-25 cs.LG stat.ML
The Tile: A 2D Map of Ranking Scores for Two-Class Classification
Montefiore Institute, University of Liège(列日大学蒙泰菲奥雷研究所)
提出名为The Tile的新型工具,将二分类器的无穷多排序分数整合于单一2D地图中,克服了ROC和PR空间的局限,有效实现分类器性能的可视化排序与比较。
2024-12-18 cs.CV cs.LG cs.PF
Design of one-year mortality forecast at hospital admission based: a machine learning approach
Universitat Politècnica de València(瓦伦西亚理工大学);Instituto de Investigación Sanitaria La Fe(拉费健康研究所);Universitat de València(瓦伦西亚大学);Consejo Superior de Investigaciones Científicas(西班牙国家研究委员会)
背景:姑息治疗是指为患有限制生命的疾病的患者提供的一套方案。这些方案旨在保证生命最后阶段的最低生活质量水平。目前,它们是基于一年死亡率风险的临床评价。目的:这项工作的主要目标是开发和验证基于机器学习的模型,利用入院时收集的数据预测患者在明年内的出院情况。研究方法:在我们的研究中应用了五种机器学习技术来开发机器学习预测模型:支持向量机,K-近邻分类器,梯度提升分类器,随机森林和多层感知器。所有模型都使用回顾性数据集进行训练和评估。评价采用了通过恢复策略计算的五个指标:准确性、ROC曲线下面积、特异性、灵敏度和平衡出错率。结果:预测一年死亡率的所有模型的AUC ROC均达到0.858至0.911。具体而言,梯度提升分类器是最佳模型,其AUC ROC为0.911(CI 95%,0.911 - 0.912),灵敏度为0.858(CI 95%,0.856至0.86),特异性为0.807(CI 95%,0.806至0.808),BER为0.168(CI 95%,0.167至0.169)。结论:对入院时的常见信息的分析与机器学习技术相结合,产生了具有竞争力的判别力的模型。我们的模型达到了最好的结果,这些结果表明,它们可以被用来作为一个准确的数据驱动的姑息治疗标准纳入。
2019-07-22 cs.LG stat.AP stat.ML
Differentially Private Algorithms for Empirical Machine Learning
Duke University(杜克大学)
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法,我们发现,他们是不实际的,在实际应用中,由于两个原因。首先,现有的差分私有分类器在真实世界数据集上的准确性很差。第二,没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中,我们开发了不同的私人算法,反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法,用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算(因此可能会使其噪音更大,准确性更低),但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法,经验性地构建受试者工作特征(ROC)曲线上的私人测试集。
2014-11-21 cs.LG
Development of deep learning algorithms to categorize free-text notes pertaining to diabetes: convolution neural networks achieve higher accuracy than support vector machines
Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院)
卫生专业人员在审查电子健康记录(EHR)时可以使用自然语言处理(NLP)技术。机器学习自由文本分类器可以帮助他们识别问题并做出关键决策。我们的目标是开发深度学习神经网络算法,识别与糖尿病有关的EHR进展记录,并在两个机构验证算法。使用的数据是从糖尿病患者中检索的2,000个EHR进展记录,所有记录都手动注释为糖尿病或非糖尿病。开发了几种深度学习分类器,并使用ROC曲线下面积(AUC)评估了它们的性能。具有可分离卷积层的卷积神经网络(CNN)模型在Brigham and Womens Hospital测试集中准确识别了糖尿病相关笔记,最高AUC为0.975。深度学习分类器可用于识别与糖尿病有关的EHR进展记录。特别地,基于CNN的分类器可以实现比基于SVM的分类器更高的AUC。
2018-09-16 cs.CL cs.LG stat.ML
Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing
University of Eastern Finland(东芬兰大学);Eurecom(欧洲通信学院);Inria(法国国家信息与自动化研究所);National Institute of Informatics(国立情报学研究所);Nuance Communications(Nuance通信公司);Institute for Infocomm Research(资讯通信研究院)
无论是结果总结,还是分类器融合的分析,比较不同分类器的一些方法通常可以提供对它们的行为,(不)相似性或互补性的启发性见解。我们提出了一个简单的方法来获得二维表示从检测分数产生的任意一组的二进制分类器在一个共同的数据集。基于等级相关性,我们的方法便于视觉比较的分类器与任意分数和密切相关的受试者工作特性(ROC)和检测误差权衡(DET)分析。虽然该方法是完全通用的,可以应用于任何检测任务,我们证明了该方法使用自动说话人验证和语音反欺骗系统产生的分数。前者是由用VoxCeleb数据训练的高斯混合模型系统产生的,而后者则来自ASVspoof 2019挑战赛的提交。
2021-06-11 cs.LG cs.SD eess.AS
Evaluating Protein-protein Interaction Predictors with a Novel 3-Dimensional Metric
Carnegie Mellon University(卡内基梅隆大学)
为了使预测的相互作用直接被生物学家采用,机器学习预测必须具有高精度,而不管召回率如何。这方面无法通过传统的指标(如准确率,ROC或精确度-召回率曲线)进行评估或数字表示。在这项工作中,我们从ROC的灵敏度和查全率的查准率-查全率曲线的对齐,并提出了一个评价指标,侧重于一个模型的能力,以供生物学家采用。该度量评估了机器学习算法仅预测新交互的能力,同时消除了测试数据集的影响。在对同一数据集的不同分类器进行评估和对不同数据集的同一预测器进行评估的实验中,我们的新指标完成了我们感兴趣的评估任务,而两个被广泛认可的指标,ROC和精确度-召回率曲线由于不同的原因而失败。
2015-11-06 cs.LG
Recalibrating binary probabilistic classifiers
Centre for Business Mathematics and Informatics(商业数学与信息学中心)
本文提出两种新的重新校准方法,用于在分布偏移视角下改进二元概率分类器的性能。
2026-01-21 cs.LG q-fin.RM
The Area Under the ROC Curve as a Measure of Clustering Quality
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);RWTH Aachen University(亚琛工业大学);University of Newcastle(纽卡斯尔大学)
本文探索将AUC作为无监督聚类分析的内部质量度量(AUCC),证明其在随机零模型下具有稳定期望值且与Gamma准则呈线性变换,并揭示了等价性带来的高效算法,实验表明其兼具定量评估与定性视觉分析价值。
2021-12-22 cs.LG stat.ML
Bayesian Classification and Feature Selection from Finite Data Sets
NEC Research Institute(NEC研究院)
特征选择的目的是为指定的性能级别选择最小的特征子集。特征子集上的最佳可实现分类性能由其接收器工作曲线(ROC)总结。当有无穷多个数据时,奈曼-皮尔逊(NP)设计方法是获得该曲线的最有效方法.在实践中,设计过程适用于有限数据集的密度估计。我们进行了详细的统计分析有限的字母表上产生的错误传播。我们表明,估计的性能曲线(EPC)的设计过程中产生的任意准确的足够的数据,独立的功能集的大小。然而,潜在的似然排序过程对错误高度敏感,这降低了EPC实际上是ROC的概率。在最坏的情况下,保证EPC等于ROC可能需要特征集大小的指数级数据大小。这些结果意味着,在理论上的NP设计方法可能只适用于表征相对较小的特征子集,即使任何给定的分类器的性能可以非常准确地估计。我们讨论了实际的限制,在线方法,确保NP程序在一个统计有效的区域。
2013-01-16 cs.LG stat.ML
Predicting Diabetes Using Machine Learning: A Comparative Study of Classifiers
Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出融合CNN与LSTM的混合模型DNet,并在Kaggle糖尿病数据集上与多种传统及集成ML分类器比较,DNet以99.79%准确率和99.98% AUC-ROC取得最优表现。
2025-05-11 cs.AI cs.LG
Race Bias Analysis of Bona Fide Errors in face anti-spoofing
Durham University(杜伦大学)
近年来,机器学习中的种族偏见问题受到了广泛的关注,但是,针对人脸反欺骗中种族偏见问题的研究却很少。本文对人脸反欺骗中的种族偏见进行了系统的研究,其主要特点是:重点分析了真实错误中潜在的偏见,这是一个重大的伦理和法律问题所在;分析不仅限于分类器的最终二元结果,还包括分类器的标量响应及其潜在空间;确定分类器的操作点的阈值被认为是变量。我们展示了基于VQ-VAE的人脸反欺骗算法的偏见分析过程,在重播攻击和野生(SiW)数据库中进行了训练,并分析了野生(RFW)数据库中的SiW和种族面孔的偏见。结果表明,种族偏见不一定是不同人群之间的平均反应值不同的结果。相反,它可以更好地理解为响应分布的几个可能特征的组合效应:不同的均值;不同的方差;双峰行为;离群值的存在。
2022-10-11 cs.CV cs.CY cs.LG
Developing and Improving Risk Models using Machine-learning Based Algorithms
Kennesaw State University(肯尼索州立大学)
本研究的目的是开发一个很好的风险模型分类的商业违约,同时探索几个机器学习为基础的方法,包括正则化,超参数优化,模型集成算法。分析的基本原理是首先通过正则化和适当的超参数设置来获得良好的基本二元分类器(包括逻辑回归($LR$)、K最近邻($KNN$)、决策树($DT$)和人工神经网络($ANN$))。然后对好的基分类器进行bagging和boosting两种模型集成算法,以进一步改进模型。通过重复10次10倍交叉验证,使用准确度、受试者工作特征曲线下的面积(ROC的AUC)、召回率和F1评分评估模型。结果表明,最佳的基分类器以及超参数设置是没有正则化的$LR$,$KNN$通过使用9个最近邻居,$DT$通过设置树的最大水平为7,和$ANN$与三个隐藏层。在$K$值为9的$KNN$上进行Bagging是我们可以获得的用于风险分类的最佳模型,因为它分别达到平均准确率、AUC、召回率和F1评分值0.90、0.93、0.82和0.89。
2020-09-09 cs.LG stat.ML
Predictive Analytics of Varieties of Potatoes
Washington State University(华盛顿州立大学);Pacific Northwest National Laboratory(西北太平洋国家实验室);Oregon State University(俄勒冈州立大学)
本文针对俄勒冈褐皮马铃薯育种晋级筛选,比较多种二分类模型,并结合模拟验证非线性模型在多指标上优于逻辑回归。
2024-11-07 cs.LG stat.ML
An Empirical Study of MAUC in Multi-class Problems with Uncertain Cost Matrices
University of Science and Technology of China(中国科学技术大学)
成本敏感学习依赖于已知和固定成本矩阵的可用性。然而,在某些情况下,成本矩阵在训练期间是不确定的,并且在指定成本矩阵之后重新训练分类器将不是一个选项。对于二元分类,这个问题可以通过最大化ROC曲线下面积(AUC)度量的方法成功解决。由于AUC可以独立于训练期间的成本来衡量基本分类器的性能,并且在使用阈值移动方法的测试中,较大的AUC更可能导致较小的总成本。MAUC作为AUC在多类问题上的扩展,得到了广泛的关注和应用。虽然MAUC也独立于成本来衡量基本分类器的性能,但尚不清楚分类器的较大MAUC是否更有可能导致较小的总成本。事实上,在多类问题中,应该使用什么样的后处理方法来将基本分类器转换为离散分类器,以使总成本尽可能小,这一点也不清楚。在本文中,我们实证研究MAUC和分类器的总成本之间的关系,通过应用两类后处理方法。我们的研究结果表明,更大的MAUC也是有益的。有趣的是,将输出矩阵转换为后验概率的简单校准方法比现有的复杂后重新优化方法表现更好。
2012-09-09 cs.LG
An Experimental Analysis of Work-Life Balance Among The Employees using Machine Learning Classifiers
GITAM (Deemed to be University)(吉特姆大学(被视为大学))
今天的研究人员已经发现了人工智能和机器学习在我们日常生活中的重要性,它们可以用来提高我们的生活质量,以及城市和国家的生活质量。一个例子是,目前推测ML可以提供减轻工人负担的方法,因为它可以预测有效的工作时间表和模式,从而提高工人的效率。最终,这将为工人带来工作与生活的平衡。但这怎么可能?实际上,机器学习算法可以预测、计算影响员工工作与生活平衡感的因素。为了实际做到这一点,已经考虑了12,756人的大量数据。通过对数据的分析和在各种因素下的计算,我们发现了各种因素与工作生活平衡的相关性。有一些因素必须认真考虑,因为它们在WLB中发挥着重要作用。我们已经用随机森林分类器、SVM和朴素贝叶斯算法训练了80%的数据。经过测试,该算法预测WLB的最佳准确率为71.5%。
2021-04-28 cs.CY cs.LG
Detecting Anomalies in Blockchain Transactions using Machine Learning Classifiers and Explainability Analysis
Premier University(总理大学);United International University(联合国际大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心);Edith Cowan University(埃迪斯科文大学)
本研究将XAI技术与异常规则集成到树集成分类器中检测比特币异常交易,提出欠采样算法XGBCLUS平衡数据,实验证明该方法在准确率、TPR和FPR等指标上优于传统方法。
2024-01-07 cs.CR cs.LG
Classification of Deceased Patients from Non-Deceased Patients using Random Forest and Support Vector Machine Classifiers
针对COVID-19患者死亡风险预测问题,提取医生关注的病毒性脓毒症相关变量,采用随机森林(RF)和支持向量机(SVM)分类技术,结合10折验证、ROC曲线和混淆矩阵评估,实现死亡与非死亡患者分类,为风险识别提供方法支持。
2024-11-27 cs.LG
Scalable Nonlinear AUC Maximization Methods
Colorado State University(科罗拉多州立大学)
ROC曲线下面积(AUC)是各种机器学习和数据采掘应用中感兴趣的度量。它已被广泛用于评估严重不平衡数据的分类性能。与线性AUC机器相比,核化AUC最大化机器已经建立了优越的泛化能力,因为它们能够对大多数真实世界数据下的复杂非线性结构进行建模。然而,高训练复杂度使得内核化AUC机器对于大规模数据不可行。在本文中,我们提出了两个非线性AUC最大化算法,优化成对的线性分类器通过k-means Nyström方法构建的有限维特征空间。我们的第一个算法最大限度地提高了AUC度量优化成对平方铰链损失函数使用截断牛顿法。然而,二阶批处理AUC最大化方法对于极其庞大的数据集进行优化变得昂贵。这促使我们开发一个一阶随机AUC最大化算法,该算法结合了预定的正则化更新和预定的平均技术,以加速分类器的收敛。在几个基准数据集上的实验表明,所提出的AUC分类器比核AUC机更有效,同时它们能够超过或至少匹配核AUC机的AUC性能。实验还表明,所提出的随机AUC分类器优于最先进的在线AUC最大化方法的AUC分类精度。
2019-04-29 cs.LG
Hyperparameter Tuning-Based Optimized Performance Analysis of Machine Learning Algorithms for Network Intrusion Detection
C.V. Raman Global University(C.V.拉曼全球大学)
本研究通过超参数调优优化了多种机器学习算法,发现SVM在网络入侵检测中表现最佳,准确率高达99.12%。
2025-12-14 cs.CR cs.LG cs.NI
SubROC: AUC-Based Discovery of Exceptional Subgroup Performance for Binary Classifiers
University of Rostock(罗斯托克大学);University of Passau(帕绍大学);Hessian AI / Marburg University(黑森AI / 马堡大学)
本文提出开源框架SubROC,基于Exceptional Model Mining和AUC指标,通过高效搜索、剪枝与显著性检验,可靠发现二分类器表现异常的可解释子群,用于指导模型安全部署与数据补充。
2025-08-27 cs.LG
Comparison of Machine Learning Classifiers to Predict Patient Survival and Genetics of GBM: Towards a Standardized Model for Clinical Implementation
Memorial Sloan Kettering Cancer Center(纪念斯隆·凯特琳癌症中心);Sant’Andrea Hospital, La Sapienza University(圣安德烈医院,罗马第一大学);Bambino Gesù Children's Hospital, IRCCS(耶稣圣婴儿童医院,IRCCS);Regina Elena National Cancer Institute, IRCCS(雷吉娜·埃琳娜国家癌症研究所,IRCCS);Castelli Romani Hospital(卡斯特利罗马尼医院)
放射组学模型已被证明在胶质母细胞瘤(GBM)的结果预测方面优于临床数据。然而,临床实施受到缺乏参数标准化的限制。我们的目的是比较9个机器学习分类器,使用不同的优化参数,预测GBM患者的总生存期(OS)、异柠檬酸脱氢酶(IDH)突变、O-6-甲基鸟嘌呤-DNA-甲基转移酶(MGMT)启动子甲基化、表皮生长因子受体(EGFR)VII扩增和Ki-67表达,根据常规和高级MR的放射组学特征,纳入156例经病理诊断为GBM的成人患者。分析三个肿瘤区域:对比增强肿瘤、坏死和非增强肿瘤,通过手动分割选择。放射组学特征用自定义版本的Pyradiomics提取,并通过Boruta算法选择。在计算4次K折交叉验证(K=10)时应用网格搜索算法,以获得最高平均值和最低精度范围。确定最佳参数后,根据曲线下面积-受试者工作特征(AUC-ROC)评估模型性能。元启发式和集成分类器显示出最好的性能跨任务。xGB获得了OS(74.5%)、IDH突变(88%)、MGMT甲基化(71.7%)、Ki-67表达(86.6%)和EGFR扩增(81.6%)的最大准确度AB。最佳表现特征揭示了MR和肿瘤组织学之间可能的相关性。
2021-02-10 cs.LG q-bio.GN q-bio.QM
When Not to Classify: Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time
The Pennsylvania State University(宾夕法尼亚州立大学)
最近广泛部署的基于机器学习的系统(包括深度神经网络(DNN))面临的一个重大威胁是对抗性学习攻击。我们分析了可能的测试时间规避攻击机制,并表明,在一些重要的情况下,当图像已被攻击,正确分类它没有效用:i)当要攻击的图像是(甚至任意)从攻击者的缓存中选择; ii)当分类器的决定的唯一接收者是攻击者。此外,在一些应用领域和场景中,检测攻击是高度可行的,而不管面对它是否正确分类(如果没有检测到攻击,则仍然执行分类)。我们假设,即使人类无法察觉,对抗性干扰也是机器可以检测到的。我们提出了一个完全无监督的异常检测器(AD),与以前的工作不同:i)使用高度合适的零假设密度模型对深层的联合密度进行建模(特别是与对DNN U层的非负支持相匹配); ii)利用多个DNN层; iii)利用“源”和“目的地”类概念、源类不确定性、类混淆矩阵,和DNN权重信息构建一个新的决策统计接地Kullback-Leibler分歧。在三种主要攻击策略下对MNIST和CIFAR-10图像数据库进行测试,我们的方法优于以前的检测方法,在两种攻击下实现了较强的ROC AUC检测准确性,并且比最近报道的各种方法在最强(CW)攻击下的准确性更高。我们还评估了对我们系统的完全白盒攻击。最后,我们评估其他重要的性能指标,如分类准确率,检测率和攻击强度。
2018-06-28 cs.CR cs.LG
Backorder Prediction in Inventory Management: Classification Techniques and Cost Considerations
Alliance University(安联大学)
本文提出结合多种分类技术(如平衡装袋、VAE等)并纳入成本考量的缺货预测方法,以处理不平衡数据并提升预测性能。
2023-10-24 cs.IT cs.LG math.IT