The Effect of Class Imbalance on Precision-Recall Curves
University of Edinburgh(爱丁堡大学)
在本文中,我研究了分类器的精度如何取决于测试集中阳性与阴性病例的比率$r$,以及分类器的真阳性率和假阳性率。这种关系允许预测精确率-召回率曲线将如何随着$r$而变化,这似乎不是众所周知的。它还允许预测$F_β$以及Flach和Kull(2015)的精确度增益和召回率增益指标如何随$r$变化。
2021-04-27 cs.LG stat.ML
Evaluation of Performance Measures for Classifiers Comparison
Galatasaray University(加拉塔萨雷大学);University of Burgundy(勃艮第大学)
为给定的数据集选择最佳分类算法是一个非常普遍的问题,每次必须选择一个分类器来解决现实世界的问题时都会出现。这也是一项复杂的任务,需要作出许多重要的方法决定。其中,最关键的是选择一个适当的措施,以正确地评估分类性能和排名的算法。在这篇文章中,我们专注于这个特定的任务。我们提出了最流行的措施,并通过歧视图比较他们的行为。然后,我们从更理论的角度讨论它们的性质。事实证明,其中几个是等价的分类器比较的目的。不好意思它们还可能导致口译问题。在多年来提出的众多指标中,经典的总体成功率和边际成功率似乎更适合分类器比较任务。
2011-12-18 cs.LG
From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration
Université du Québec à Montréal(蒙特利尔大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);AMSE(马赛经济与管理科学研究院);Université de Montréal(蒙特利尔大学)
本文提出Local Calibration Score改进指标,通过局部回归方法提升二分类器校准,并在信用违约预测中验证其有效性。
2024-02-12 cs.LG
Enhancing Precision of Automated Teller Machines Network Quality Assessment: Machine Learning and Multi Classifier Fusion Approaches
University of Tehran(德黑兰大学);Pulseware Company(Pulseware公司);University of Waterloo(滑铁卢大学)
本文提出基于堆叠分类器融合随机森林、LightGBM和CatBoost并结合SMOTE的ATM网络质量评估方法,将误报率从3.56%降至0.71%,准确率达99.29%。
2025-01-02 cs.LG
Statistical Comparisons of Classifiers by Generalized Stochastic Dominance
Ludwig-Maximilians-Universität(慕尼黑大学)
本文提出基于偏好系统和广义随机占优的分类器比较框架,通过线性规划与观测随机化检验,实现多数据集、多准则下的统计比较,避免依赖聚合指标。
2023-07-05 cs.LG stat.ME stat.ML
Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints
Department of Mathematics, Tufts University(塔夫茨大学数学系);Department of Computer Science, Tufts University(塔夫茨大学计算机科学系)
本文提出部分VOROS,一种考虑成本的二分类器性能度量方法,用于在精度和容量限制下评估分类器性能,通过在ROC空间中定义可行区域并计算部分体积来改进传统ROC分析。
2026-04-02 cs.LG stat.ME
Boosting for Comparison-Based Learning
Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
我们考虑在基于比较的设置中的分类问题:给定一组对象,我们只能访问形式为“对象$x_i$与对象$x_j$的距离比与对象$x_k$的距离更近”的三元组比较。“在本文中,我们介绍了TripletBoost,这是一种新方法,可以从这种三元组比较中学习分类器。其主要思想是将三元组信息聚合到弱分类器中,然后将其提升为强分类器。我们的方法有两个主要优点:(i)它适用于任何度量空间的数据,(ii)它可以处理大规模的问题,只使用被动获得的和嘈杂的三元组。我们推导出理论推广的保证和必要的三胞胎的数量的下限,我们的经验表明,我们的方法是既有竞争力的最先进的方法和抗噪声。
2019-05-29 cs.LG stat.ML
Patch Based Classification of Remote Sensing Data: A Comparison of 2D-CNN, SVM and NN Classifiers
NIT Kurukshetra(库鲁克谢特拉国家技术学院)
基于像素的算法包括反向传播神经网络(NN)和支持向量机(SVM)已被广泛用于遥感图像分类。在过去的几年里,基于深度学习的图像分类器,如卷积神经网络(2D-CNN)正在成为这些分类器的流行替代品。在本文中,我们比较了基于补丁的SVM和NN与由2D-CNN和全连接层组成的深度学习算法的性能。类似于CNN利用图像补丁来获得进一步分类的特征,我们建议使用补丁作为输入,代替SVM和NN分类器的单个像素。两个数据集,一个多光谱和其他高光谱数据被用来比较不同的分类器的性能。两个数据集的结果表明,与最先进的2D-CNN分类器相比,基于补丁的SVM和NN分类器的有效性。
2020-06-21 cs.CV cs.LG
Proficiency Comparison of LADTree and REPTree Classifiers for Credit Risk Forecast
IFHE University(IFHE大学)
预测信用违约者是银行等金融行业的一项危险任务。在发放贷款之前确定非付款人是银行家的一项重要任务,也是一项充满冲突的任务。分类技术是预测分析的更好选择,比如找到索赔人,无论他/她是一个谦逊的客户还是一个骗子。对于任何一个像银行家这样的实业家来说,定义杰出的分类器都是一项冒险的任务。这允许计算机科学研究人员通过评估不同的分类器并找出用于此类预测问题的最佳分类器来深入研究有效的研究工作。本文研究了LADTree分类器和REPTree分类器在信用风险预测中的效率,并通过各种措施比较了它们的适应性。采用德国信用数据集,借助开源的机器学习工具进行信用风险预测。
2015-03-23 cs.LG
Boxer: Interactive Comparison of Classifier Results
University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
机器学习从业者经常比较不同分类器的结果,以帮助选择、诊断和调整模型。我们目前拳击手,一个系统,使这种比较。我们的系统有利于交互式探索的实验结果,通过应用多个分类器的一组共同的模型输入。该方法的重点是允许用户识别训练和测试实例的有趣子集,并比较这些子集上的分类器的性能。该系统将标准视觉设计与集合代数交互和比较元素相耦合。这允许用户组成和协调视图,以指定子集并评估分类器的性能。这些组合物的灵活性允许用户在开发和评估分类器时解决各种各样的情况。我们在用例中演示Boxer,包括模型选择,调优,公平性评估和数据质量诊断。
2020-04-16 cs.HC cs.LG
High-Precision APT Malware Attribution with Out-of-Scope Resilience
Department of Computer Science, University of Oxford(1 奥克斯福德大学计算机科学系)
提出基于排名二元分类器与显式弃权的APT恶意软件归因方法,在越界样本占比87%时仍保持92%精度和95%选择性准确率。
2026-06-02 cs.AI cs.CR cs.LG
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD(加州大学圣地亚哥分校)
在大数据的世界里,大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案,被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明,主动学习执行不优于其监督替代重要的概念类,如线性分隔符,我们表明,通过添加弱分布假设,并允许比较查询,主动学习需要指数更少的样本。此外,我们还证明了这些结果也适用于称为可靠且可能有用(RPU)学习的更强的学习模型。在这个模型中,我们的学习者不允许犯错误,但可能会回答“我不知道”。“虽然之前的负面结果表明,该模型对于标签查询具有难以处理的大样本复杂性,但我们表明,比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Learning-From-Disagreement: A Model Comparison and Visual Analytics Framework
Visa Research(Visa研究院)
随着每天产生的分类模型数量的快速增长,也引入了许多模型解释和比较解决方案。例如,LIME和SHAP可以解释哪些输入特征对分类器的输出预测贡献更大。不同的数值度量(例如,准确度)可以用于容易地比较两个分类器。然而,很少有作品可以解释的贡献,一个数据特征的分类器相比,它的贡献,另一个分类器。这种比较解释有助于揭示两种分类器之间的根本差异,选择不同特征条件下的分类器,更好地集成两种分类器。为了实现这一点,我们提出了一个从分歧中学习(LFD)框架来直观地比较两个分类模型。具体来说,LFD识别来自两个比较分类器的预测不一致的数据实例,并训练一个学习器从不一致的实例中学习。由于这两个分类器的训练特征可能不可用,我们通过基于分类器的某些假设提出的一组元特征来训练分类器,以探测它们的行为。通过使用不同元特征的SHAP值解释训练的分类器,我们为比较的分类器提供了可操作的见解。此外,我们引入了多个指标,从不同的角度来分析元功能的重要性。有了这些指标,人们可以很容易地识别出两个分类器中具有最互补行为的元特征,并使用它们来更好地集成分类器。我们专注于金融服务和广告行业的二进制分类模型,以证明我们提出的框架和可视化的有效性。
2022-01-19 cs.HC cs.LG
Performance comparison of State-of-the-art Missing Value Imputation Algorithms on Some Bench mark Datasets
National Remote Sensing Centre (ISRO), India(印度国家遥感中心(ISRO))
从数据中进行决策涉及识别一组有助于通过计算智能进行有效决策的属性。缺失值的存在极大地影响了正确属性集的选择,这使得分类器的分类精度下降。由于在田间试验或临床试验的数据汇集阶段缺失值是相当常见的,适当的处理将提高分类器的性能。在本文中,我们提出了一个审查最近开发的缺失值填补算法,并比较他们的性能在一些基准数据集。
2013-07-22 cs.LG stat.ML
On the Geometry of Receiver Operating Characteristic and Precision-Recall Curves
Department of Biomedical Engineering, Georgia Institute of Technology and Emory University(佐治亚理工学院生物医学工程系和埃默里大学)
本文研究二分类问题中ROC和PR曲线的几何特性,揭示常用评估指标与几何结构的关系,提供客观工具优化分类器性能。
2026-04-14 cs.AI cs.LG math.ST
Comparison of Evolving Granular Classifiers applied to Anomaly Detection for Predictive Maintenance in Computing Centers
University of Bologna(博洛尼亚大学);INFN(意大利国家核物理研究所);Federal University of Lavras(拉夫拉斯联邦大学);INFN-CNAF(意大利国家核物理研究所国家核物理计算中心)
计算中心基于日志的预测性维护是支持CERN(欧洲核研究组织)物理实验的全球计算网格的主要关注点。日志作为面向事件的临时信息,通常以非结构化大数据的形式给出。测井数据处理是一项耗时的计算任务。目标是从不断变化的网格环境中获取必要的信息,以构建分类模型。不断发展的粒度分类器适合于从随时间变化的日志流中学习,因此可以对异常的严重程度进行在线分类。我们制定了一个4类在线异常分类问题,并采用时间窗口之间的地标和两种粒度计算方法,即基于模糊集的进化建模(FBeM)和进化粒度神经网络(eGNN),建模和监测测井活动率。分类结果对于预测性维护至关重要,因为可以优先考虑特定的时间间隔,其中分类器指示存在高或中等严重性异常。
2020-04-08 cs.LG cs.NE stat.ML
Consistency Analysis of Nearest Subspace Classifier
Duke University(杜克大学)
最近子空间分类器(NSS)在每个类中找到底层子空间的估计,并将数据点分配给与其最近子空间对应的类。本文主要研究如何将NSS推广到新的样本。在一定的假设条件下,证明了NSS是强相合的。对于完整性,NSS通过各种模拟和真实数据集上的实验进行评估,与其他一些基于线性模型的分类器进行比较。实验结果表明,该方法可以得到有效的分类结果,特别是对于大规模数据集,具有很高的效率。
2015-01-24 cs.LG stat.ML
Accuracy Measures for the Comparison of Classifiers
Galatasaray University(加拉塔萨雷大学);University of Burgundy(勃艮第大学)
为给定的数据集选择最佳分类算法是一个非常普遍的问题。这也是一个复杂的问题,因为它需要作出若干重要的方法选择。其中,在这项工作中,我们专注于用于评估分类性能和排名算法的措施。我们提出了最流行的措施,并讨论其性质。尽管多年来提出了许多措施,但其中许多措施在这一具体情况下证明是等同的,存在解释问题,或不适合我们的目的。因此,对于这一特定任务,应首选经典的总体成功率或边际成功率。
2012-07-16 cs.LG
Classifier uncertainty: evidence, potential impact, and probabilistic treatment
Universität Duisburg-Essen(杜伊斯堡-埃森大学)
分类器通常在相对较小的数据集上进行测试,这会导致不确定的性能指标。然而,这些指标通常是按面值计算的。我们提出了一种方法来量化分类性能指标的不确定性,基于混淆矩阵的概率模型。我们的方法从科学文献和分类竞争的分类器的应用表明,不确定性可以令人惊讶的大,限制性能评估。事实上,一些已公布的分类器可能会产生误导。我们的方法的应用是简单的,只需要混淆矩阵。它与底层分类器无关。我们的方法也可以用于估计样本量,达到所需的精度的性能指标。
2020-06-19 cs.LG stat.ML
Constrained Classification and Ranking via Quantiles
Google AI Perception(谷歌AI感知);Department of Mathematics, UCLA(加州大学洛杉矶分校数学系)
在大多数机器学习应用中,分类准确性不是主要的关注指标。面临类别不平衡的二进制分类器通常通过$F_β$分数、精确-召回曲线下的面积、K处的精确度等来评估。这些度量中的许多度量的最大化可以表示为约束优化问题,其中约束是分类器的预测的函数。在本文中,我们提出了一种新的框架,学习的约束,可以表示为一个预测的积极率(或负率)的一个子集的训练数据。我们明确地建模的阈值,在该阈值下,分类器必须操作,以满足约束,产生一个代理损失函数,避免了复杂的约束优化。该方法是模型不可知的,只是稍微比无约束损失的最小化更昂贵。在各种基准测试上的实验显示出相对于现有基线的竞争力。
2018-02-28 cs.LG stat.ML
Comparison of the C4.5 and a Naive Bayes Classifier for the Prediction of Lung Cancer Survivability
Hood College(胡德学院);Marriott International(万豪国际集团);The George Washington University(乔治华盛顿大学)
已经开发了许多数据采掘技术来从大型数据集中提取信息并识别模式和预测趋势。在这项研究中,两种分类技术,J48实现的C4.5算法和朴素贝叶斯分类器应用于预测肺癌的生存率从一个广泛的数据集与15年的患者记录。该项目的目的是验证这两种技术对真实历史数据的预测有效性。除了使J48略优于朴素贝叶斯技术的性能结果外,还有对数据和所需预处理活动的详细描述。性能结果证实了预期,而在实验过程中出现的一些问题强调了对特定领域的理解的价值,以利用数据中固有的任何特定领域的特征。
2012-09-01 cs.LG
Development of email classifier in Brazilian Portuguese using feature selection for automatic response
电子邮件自动分类是文本分类的一个重要应用。我们研究巴西葡萄牙语的电子邮件业务消息的自动回复。我们提出了一个新的语料库,包含从一个真正的应用程序的消息,基线分类实验使用朴素贝叶斯和支持向量机。然后,我们讨论了词形还原的效果和词性标记过滤对查准率和查全率的作用。支持向量机分类加上非词化的动词,名词和形容词的选择是最好的方法,87.3%的最大准确率。葡萄牙语中的直接词形化导致了该组中最低的分类结果,SVM和Naive Bayes的精度分别为85.3%和81.7%。因此,虽然词形化降低了精确度和召回率,但词性过滤改善了整体结果。
2019-07-08 cs.CL cs.IR cs.LG
Inverse Classification for Comparison-based Interpretability in Machine Learning
AXA – Data Innovation Lab(安盛数据创新实验室);Polish Academy of Science, IBS PAN(波兰科学院,波兰科学院系统研究所)
在事后可解释性的背景下,本文讨论了解释分类器预测的任务,考虑到没有信息的情况下,既不是分类器本身,也不是处理后的数据(既不是训练数据,也不是测试数据)。它提出了一种基于实例的方法,其原理在于确定改变预测所需的最小变化:给定一个数据点,其分类必须加以解释,所提出的方法在于确定一个近邻分类不同,其中的接近度定义集成了稀疏约束。这一原则是使用生长球体算法中的观测生成来实现的。两个数据集上的实验结果说明了所提出的方法,可用于获得有关分类器的知识的相关性。
2017-12-22 cs.AI cs.LG stat.ML
Bayes metaclassifier and Soft-confusion-matrix classifier in the task of multi-label classification
Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
本文的目的是比较软混淆矩阵方法和贝叶斯元分类器下的多标签分类框架。虽然这些方法在多标签分类框架下得到了成功的应用,但到目前为止还没有直接进行比较。这种比较是至关重要的,因为这两种方法是非常相似的,因为它们都是基于随机参考分类器的概念。由于这两种算法都是针对单标签问题设计的,因此将它们与多标签分类的问题转换方法相结合。本研究包括29个基准数据集和四个不同的基础分类器。算法进行了比较,在11个质量标准和结果进行了统计分析。
2019-01-25 cs.LG stat.ML
Regular Expressions for Fast-response COVID-19 Text Classification
Facebook Inc.(脸书公司)
文本分类器是许多NLP应用程序的核心,使用各种算法方法和软件。本文介绍了基于大规模正则表达式的文本分类器的基础设施和方法。特别是,我们描述了Facebook如何确定一段给定的文本-从标签到帖子-是否属于一个狭窄的主题,如COVID-19。为了完全定义主题并评估分类器性能,我们采用人工指导的关键字发现迭代,但不需要标记数据。对于COVID-19,我们构建了两组正则表达式:(1)针对66种语言,精确度> 99%,召回率> 50%;(2)针对11种最常见的语言,精确度>90%,召回率> 90%。正则表达式支持来自多个平台的低延迟查询。对COVID-19等挑战的反应很快,修订也很快。与DNN分类器的比较显示了可解释的结果,更高的精度和召回率,以及更少的过拟合。我们的学习可以应用于其他窄主题分类器。
2021-06-21 cs.CL cs.LG cs.SI
Robust Classification for Imprecise Environments
在现实环境中,通常很难精确地指定目标操作条件,例如,目标误分类成本。这种不确定性使得构建强大的分类系统成为问题。我们表明,它是可能的,以建立一个混合分类器,将执行至少以及最好的分类器为任何目标条件。在某些情况下,混合的性能实际上可以超过最知名的分类器。这种强大的性能扩展到各种比较框架,包括对准确性、预期成本、提升、精确度、召回率和劳动力利用率等指标的优化。这种混合体在构建、存储和更新方面也很高效。该混合是基于一种方法的分类器的性能,是强大的不精确的类分布和误分类成本的比较。ROC凸包(ROCCH)方法结合了ROC分析,决策分析和计算几何的技术,并使它们适应于分析学习分类器的细节。该方法是高效和增量的,最大限度地减少了分类器性能数据的管理,并允许清晰的视觉比较和灵敏度分析。最后,我们指出的经验证据表明,一个强大的混合分类器确实需要许多现实世界的问题。
2000-09-13 cs.LG
A Comparison of SSL-Based Feature Extractors and Back-End Classifiers for Spoofing Detection: A Multi-Corpus Training and Cross-Linguistic Analysis
Avignon Universite(阿维尼翁大学);EURECOM
本研究通过多语料库训练和跨语言分析,比较了四种自监督学习特征提取器与四种后端分类器在欺骗检测中的性能,揭示了ASVspoof 5数据集中的领域偏差,并发现仅用8小时目标语言数据微调即可提升检测鲁棒性。
2026-06-07 cs.LG cs.SD
Exploring Hierarchical Classification Performance for Time Series Data: Dissimilarity Measures and Classifier Comparisons
本研究比较层次与平面分类在时间序列数据上的性能,发现使用TSD相异度与MINIROCKET时层次分类显著更优,而其他分类器下平面分类占优,强调了相异度度量选择的重要性。
2024-02-07 cs.LG
An Empirical Comparison of SVM and Some Supervised Learning Algorithms for Vowel recognition
National School of Engineering of Tunis-ENIT(突尼斯国家工程学院)
在这篇文章中,我们进行了一些监督学习算法的元音识别性能的研究。本研究旨在比较每种算法的准确性。因此,我们提出了五个监督学习分类器和两个组合分类器:SVM,KNN,朴素贝叶斯,二次贝叶斯正常(QDC)和最接近的平均值之间的实证比较。这些算法进行了测试,元音识别使用TIMIT语料库和梅尔频率倒谱系数(MFCC)。
2015-07-22 cs.CL cs.LG
Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection
Atlantic International Research Centre (AIR Centre)(大西洋国际研究中心)
研究地球观测分类器评估问题,指出固定召回率下报告精度有偏差。提出基于平衡测试、业务化先验和实际部署后三个数值的先验匹配报告方法,通过精度优先、泄漏控制开发周期改进分类器,提升精度并能转移判别能力。
2026-09-22 cs.CV cs.LG eess.IV
A Robust Comparison of the KDDCup99 and NSL-KDD IoT Network Intrusion Detection Datasets Through Various Machine Learning Algorithms
George Mason University(乔治梅森大学)
近年来,随着物联网网络上的入侵攻击呈指数级增长,迫切需要复杂的入侵检测系统(IDS)。目前绝大多数IDS都是数据驱动的,这意味着该研究领域最重要的方面之一是从物联网网络流量中获取的数据质量。两个被引用最多的入侵检测数据集是KDDCup 99和NSL-KDD。我们项目的主要目标是通过评估在两个数据集上训练的各种机器学习(ML)分类器的性能,对这两个数据集进行鲁棒比较,这些分类器具有比以前的研究人员更大的分类指标集。从我们的研究中,我们能够得出结论,NSL-KDD数据集的质量高于KDDCup 99数据集,因为在其上训练的分类器平均准确度低20.18%。这是因为在KDDCup 99数据集上训练的分类器表现出对其中冗余的偏见,使它们能够实现更高的准确性。
2019-12-31 cs.CR cs.LG cs.NI
A systematic comparison of supervised classifiers
Universidade de São Paulo(圣保罗大学)
模式识别技术已经被用于无数的工业、医学、商业和学术应用中。为了处理如此多样的数据,已经设计了许多技术。然而,尽管模式识别研究有着悠久的传统,但没有一种技术可以在所有情况下都产生最佳分类。因此,考虑尽可能多的技术本身作为一个基本的做法,在应用中,旨在高精度。比较方法的典型作品要么强调给定算法在验证测试中的性能,要么系统地比较各种算法,假设这些方法的实际使用是由专家完成的。然而,在许多情况下,研究人员不得不处理他们的实际分类任务,而没有深入了解参数背后的潜在机制。实际上,在这种实际情况下,分类器和参数的适当选择构成了一个长期存在的问题,是本文的主题。我们对Weka框架实现的九个著名分类器的性能进行了研究,并比较了准确性与其配置参数配置的依赖关系。默认参数的性能分析表明,k-近邻方法超过了大幅度的其他方法时,高维数据集被认为是。当其他配置的参数是允许的,我们发现,它是可能的,以提高支持向量机的质量在20%以上,即使是随机设置的参数。总而言之,本文进行的调查表明,除了SVM实现之外,Weka的默认参数配置提供了接近最佳配置所实现的性能。
2013-10-17 cs.LG
Comparison of Classification Algorithms Used Medical Documents Categorization
Ondokuz Mayıs Üniversitesi(翁多库兹·马伊斯大学)
基于文本的文档量日益增加。医学文档位于这种不断增长的文本文档中。在这项研究中,用于文本分类的技术应用于医疗文档和评估分类性能。使用的数据集是多类别和多标记的。采用卡方(Chi Square,CHI)技术进行特征选择,采用SMO、NB、C4.5、RF和KNN算法进行分类。本研究的目的是,各种分类器的成功评估多类和多标签的数据集组成的医疗文件。在前400个特征中,KNN分类器最成功,而在后400个特征中SMO分类器最成功。
2018-11-02 cs.CL cs.IR cs.LG
Fair Feature Selection: A Comparison of Multi-Objective Genetic Algorithms
University of Kent(肯特大学)
本文比较基于Pareto支配和字典序优化的两种公平特征选择遗传算法,发现字典序方法在不损害公平性的前提下取得更高准确性。
2023-10-04 cs.LG
Statistical Multicriteria Benchmarking via the GSD-Front
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出基于广义随机占优排序的GSD前沿方法,用于在多个质量指标下进行统计可靠的分类器比较,并构造了相应的统计估计与检验,在PMLB和OpenML上验证了其有效性。
2024-06-06 cs.LG stat.ME stat.ML
Comparison of classifiers in challenge scheme
CIMAT(墨西哥数学研究中心);INFOTEC(墨西哥信息与通信技术研究所);INAOE(墨西哥国家天体物理、光学与电子研究所)
本文研究挑战赛方案下分类器性能评估问题,通过分析MeOffendEs@IberLEF 2021竞赛结果,提出利用bootstrap重采样技术进行统计推断,以支持组织者判断算法间微小性能差异的显著性。
2023-05-16 cs.LG cs.PF
Leveraging Uncertainty Estimates To Improve Classifier Performance
Amazon(亚马逊)
本文分析了模型分数估计偏差对不确定性的依赖,提出基于动态规划和保序回归的决策边界选择算法,在高精确率约束下召回率提升25%-40%。
2023-11-20 cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
条件生成器学习多类场景中每个类的数据分布,并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中,被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中,生成对抗网络(GAN)的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的,足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
Performance Comparison and Implementation of Bayesian Variants for Network Intrusion Detection
University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本研究实现并对比了三种贝叶斯分类器变体在网络入侵异常检测中的性能,发现分类器的分布假设是影响准确率的核心因素,其中Gaussian变体表现最优。
2023-08-22 cs.CR cs.LG
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego(加利福尼亚大学圣迭戈分校)
将深度学习硬件算法用于嵌入式应用的特点是存在挑战,例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现,我们考虑针对嵌入式设备分类任务的深度学习算法(称为判别式深度信念网络(DDBN))的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时,推理数据具有相同的类结构,但统计上不同的训练数据,由于动态实时操作环境。基于我们的分析,我们提供了新的见解和建议,选择训练目标,位宽值,和准确性的敏感性相对于标记的数据量,以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Comparison of 14 different families of classification algorithms on 115 binary datasets
Computing Institute(计算研究所);University of Campinas(坎皮纳斯大学)
我们在115个真实的二进制数据集上测试了14种非常不同的分类算法(随机森林,梯度提升机,SVM -线性,多项式和RBF - 1-隐藏层神经网络,极端学习机,k-最近邻和knn的装袋,朴素贝叶斯,学习矢量量化,弹性网络逻辑回归,稀疏线性判别分析和线性分类器的提升)。我们遵循Demsar分析,发现三个最好的分类器(随机森林,gbm和RBF SVM)彼此没有显着差异。我们还讨论了小于0.0112的变化的出错率应被认为是一个不相关的变化,并使用贝叶斯方差分析得出结论,这三个分类器之间的差异是没有实际后果的概率很高。我们还验证了这些算法的“标准实现”的执行时间,并得出结论,RBF SVM在训练时间和训练加测试时间方面都是最快的(显着)。
2016-06-02 cs.CV cs.LG
Comparison of Binary Classification Based on Signed Distance Functions with Support Vector Machines
Vanderbilt University Medical Center(范德比尔特大学医学中心);Vanderbilt University(范德比尔特大学)
我们研究了一个简单的符号距离函数(SDF)为基础的方法的性能直接与标准的SVM包,以及K-近邻和RBFN方法进行比较。我们目前的实验结果比较SDF的方法与其他分类合成几何问题和五个基准临床微阵列数据集。在几何问题和微阵列数据集上,非优化的基于SDF的分类器的性能与成熟的标准SVM方法一样好或稍好。这些结果证明了基于SDF的方法在某些类型的问题上的潜在准确性。
2008-12-16 cs.CG cs.LG
Representing text as abstract images enables image classifiers to also simultaneously classify text
Swinburne University of Technology(斯威本科技大学)
我们介绍了一种新的方法,将文本数据转换为抽象的图像表示,它允许基于图像的处理技术(例如图像分类网络)被应用到基于文本的比较问题。我们将该技术应用于美国专利中发明人姓名的实体消歧。该方法涉及将来自两个发明人姓名记录之间的每个成对比较的文本转换成2D RGB(堆叠)图像表示。然后,我们训练一个图像分类神经网络来区分这种成对比较图像,并使用训练好的网络将每对记录标记为匹配(同一发明人)或不匹配(不同发明人),从而获得高度准确的结果。我们的新文本到图像表示方法也可以更广泛地用于其他NLP比较问题,例如学术出版物的消歧,或者需要同时对文本和图像数据集进行分类的问题。
2020-02-06 cs.AI cs.CL cs.CV
Comparison of Machine Learning Classifiers to Predict Patient Survival and Genetics of GBM: Towards a Standardized Model for Clinical Implementation
Memorial Sloan Kettering Cancer Center(纪念斯隆·凯特琳癌症中心);Sant’Andrea Hospital, La Sapienza University(圣安德烈医院,罗马第一大学);Bambino Gesù Children's Hospital, IRCCS(耶稣圣婴儿童医院,IRCCS);Regina Elena National Cancer Institute, IRCCS(雷吉娜·埃琳娜国家癌症研究所,IRCCS);Castelli Romani Hospital(卡斯特利罗马尼医院)
放射组学模型已被证明在胶质母细胞瘤(GBM)的结果预测方面优于临床数据。然而,临床实施受到缺乏参数标准化的限制。我们的目的是比较9个机器学习分类器,使用不同的优化参数,预测GBM患者的总生存期(OS)、异柠檬酸脱氢酶(IDH)突变、O-6-甲基鸟嘌呤-DNA-甲基转移酶(MGMT)启动子甲基化、表皮生长因子受体(EGFR)VII扩增和Ki-67表达,根据常规和高级MR的放射组学特征,纳入156例经病理诊断为GBM的成人患者。分析三个肿瘤区域:对比增强肿瘤、坏死和非增强肿瘤,通过手动分割选择。放射组学特征用自定义版本的Pyradiomics提取,并通过Boruta算法选择。在计算4次K折交叉验证(K=10)时应用网格搜索算法,以获得最高平均值和最低精度范围。确定最佳参数后,根据曲线下面积-受试者工作特征(AUC-ROC)评估模型性能。元启发式和集成分类器显示出最好的性能跨任务。xGB获得了OS(74.5%)、IDH突变(88%)、MGMT甲基化(71.7%)、Ki-67表达(86.6%)和EGFR扩增(81.6%)的最大准确度AB。最佳表现特征揭示了MR和肿瘤组织学之间可能的相关性。
2021-02-10 cs.LG q-bio.GN q-bio.QM
Multiclass Learning Approaches: A Theoretical Comparison with Implications
The Hebrew University(希伯来大学)
我们从理论上分析和比较了以下五种流行的多类分类方法:One vs. All,All Pairs,Tree-based classifiers,带有随机生成代码矩阵的纠错输出代码(ECOC)和MulticlassSVM。在前四种方法中,分类是基于二进制分类的简化。我们考虑的情况下,二元分类器来自一类VC维$d$,特别是从类的半空间在$\reals^d$。我们分析了这些方法的估计误差和近似误差。我们的分析揭示了有趣的结论的实际意义,在各种条件下的不同方法的成功。我们的证明技术采用VC理论的工具来分析假设类的\emph{approximation error}。这与大多数(如果不是全部的话)以前使用VC理论形成鲜明对比,这些理论只处理估计误差。
2012-06-01 cs.LG
Financial Series Prediction: Comparison Between Precision of Time Series Models and Machine Learning Methods
由于金融序列的不稳定性和噪声的存在,金融序列的精确预测一直是一个难题。虽然传统的时间序列模型如ARIMA和GARCH等已经被研究并证明是有效的,但它们的性能还远不能令人满意。机器学习作为近年来新兴的研究领域,在回归、分类等方面取得了令人难以置信的进步,在金融时间序列预测方面也有着广阔的应用前景。本文利用历史上真实的股票指数数据,通过实验比较了传统时间序列模型与主流机器学习模型(包括深度学习的一些最新模型)对金融时间序列的预测精度。结果表明,机器学习作为一种现代方法,在精度上远远超过传统模型。
2018-12-08 cs.LG q-fin.ST
Explainable AI For COVID-19 CT Classifiers: An Initial Comparison Study
University of California, San Diego(加利福尼亚大学圣迭戈分校);Hangzhou Ocean's Smart Boya Co., Ltd(杭州海洋智能博雅有限公司);Shenzhen Second People’s Hospital(深圳市第二人民医院);Royal Brompton Hospital(皇家布朗普顿医院);Imperial College London(伦敦帝国理工学院)
人工智能(AI)在所有工业领域的发展都取得了飞跃,特别是在引入深度学习之后。深度学习通过识别和解释模式的方法来帮助学习实体的行为。尽管它有无限的潜力,但神秘的是深度学习算法如何首先做出决定。可解释人工智能(XAI)是解锁人工智能的关键,也是深度学习的黑箱。XAI是一种人工智能模型,通过编程来解释其目标、逻辑和决策,以便最终用户能够理解。最终用户可以是领域专家、监管机构、经理和执行委员会成员、数据科学家、使用AI的用户,无论是否知情,或者是受AI模型决策影响的人。胸部CT已成为与COVID-19相关的肺部疾病的临床诊断和治疗管理的宝贵工具。人工智能可以支持快速评估CT扫描,以区分COVID-19与其他肺部疾病的发现。然而,这些人工智能工具或深度学习算法如何做出这样的决定,以及哪些是从这些具有典型深层的神经网络中得出的最有影响力的特征,目前尚不清楚。本研究的目的是提出和开发用于COVID-19分类模型的XAI策略,并进行比较研究。结果表明,有前途的量化和定性可视化,可以进一步增强临床医生的理解和决策,从学习的XAI模型给出的结果更细粒度的信息。
2021-04-25 cs.CV cs.LG eess.IV
Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset
Department of Biosystems Engineering, Auburn University(生物系统工程系,阿伯拉罕大学);Independent Researcher(独立研究员)
本文比较了多个分类器在Android恶意软件检测中的性能,发现基于原始特征的梯度提升在准确率、精确率、召回率和F1值上表现最佳,同时揭示了关键驱动因素。
2026-01-20 cs.CR cs.LG
Empirical evaluation of shallow and deep learning classifiers for Arabic sentiment analysis
University of Sharjah(沙迦大学)
这项工作详细比较了深度学习模型的性能,如卷积神经网络(CNN),长短期记忆(LSTM),门控递归单元(GRU),它们的混合体,以及一系列用于阿拉伯语评论情感分析的浅层学习分类器。此外,比较还包括最先进的模型,如Transformer架构和araBERT预训练模型。本研究中使用的数据集是多方言阿拉伯语酒店和书评数据集,这些数据集是阿拉伯语评论的一些最大的公开数据集。结果显示,与文献中报道的类似工作的结果相比,深度学习在二进制和多标签分类方面优于浅层学习。结果的这种差异是由数据集大小引起的,因为我们发现它与深度学习模型的性能成正比。深度和浅层学习技术的性能在准确性和F1得分方面进行了分析。表现最好的浅层学习技术是随机森林,其次是决策树和AdaBoost。使用默认嵌入层的深度学习模型表现相似,而Transformer模型在使用araBERT增强时表现最佳。
2021-12-01 cs.CL cs.LG
On the relation between accuracy and fairness in binary classification
Aalto University(阿尔托大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所HIIT)
我们的研究重新审视了二元分类中的准确性-公平性权衡问题。我们认为,非歧视性分类器的比较需要考虑不同的阳性预测率,否则关于性能的结论可能会产生误导,因为在同一数据集上,天真基线的准确性和歧视性随不同的阳性预测率而变化。我们提供了方法论的建议,健全的比较非歧视性分类,并提出了一个简短的理论和实证分析准确性和非歧视之间的权衡。
2015-05-21 cs.AI cs.LG
Lp-Norm Constrained One-Class Classifier Combination
Bilkent University(比尔肯大学)
本研究提出一种基于Lp-范数约束的单类分类器融合方法,通过凸优化学习权重并利用Frank-Wolfe算法求解,在多个数据集上验证了其优于现有方法。
2023-12-25 cs.CV cs.LG
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
Veyon Solutions
研究评估了LLM越狱攻击成功率(ASR)的自动评判器(安全分类器与LLM评判)的可靠性,发现两者存在相反缺陷,且易受攻击,建议报告评判器的精确率和召回率并校正ASR。
2026-06-26 cs.CL cs.CR cs.LG
Testing DNN Image Classifiers for Confusion & Bias Errors
Columbia University(哥伦比亚大学);University of Virginia(弗吉尼亚大学)
图像分类器是当今软件的重要组成部分,从消费者和商业应用到安全关键领域。深度神经网络(DNN)的出现是这种广泛成功背后的关键催化剂。然而,广泛采用伴随着对依赖DNN进行图像分类的软件系统的鲁棒性的严重担忧,因为在敏感和关键的情况下已经报告了几个严重的错误行为。我们认为,开发人员需要严格测试他们的软件的图像分类器和延迟部署,直到可以接受。我们提出了一种方法来测试图像分类器的鲁棒性类属性侵犯的基础上。我们发现,在流行的DNN图像分类器中,许多报告的错误案例都是因为训练的模型将一个类与另一个类混淆,或者对某些类表现出偏见。这些bug通常会违反一个或多个类的某些类属性。大多数DNN测试技术都专注于每个图像的违规行为,因此无法检测类级别的混淆或偏见。我们开发了一种测试技术来自动检测DNN驱动的图像分类软件中基于类的混淆和偏差错误。我们评估了我们的实现,DeepInspect,在几个流行的图像分类器上,精度高达100%(平均值)。72.6%)的混淆错误,高达84.3%(平均~ 66.8%)的偏差误差。DeepInspect在广泛使用的模型中发现了数百个分类错误,其中许多错误表明存在混淆或偏见。
2020-02-11 cs.CV cs.LG cs.SE