A new approach in machine learning
Université de Montréal(蒙特利尔大学)
在这份技术报告中,我们提出了一种新的机器学习方法。一旦提出新的框架,我们将提供一个简单但非常强大的学习算法,该算法将在各种数据集上进行基准测试。我们提出的框架是基于布林电路;更具体地说,我们的算法产生的分类器具有这种形式。使用位和布尔门而不是实数和乘法使学习算法和分类器能够使用非常有效的布尔向量运算。这使得学习算法和分类器都非常有效。分类器的准确性,我们得到与我们的框架相比,非常有利的传统技术,无论是在效率和准确性。
2014-09-14 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore(印度理工学院印多尔分校)
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中,基于核岭回归(KRR)的一类分类器(KOC)已被扩展为使用特权信息的学习(LUPI)。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征,但仅用于训练(不用于测试)。KOC+通过使用所谓的校正功能,与正常特征信息相比,以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能,这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明,KOC+算法优于KOC算法和基于支持向量机(SVM)的单类分类器。
2019-04-13 cs.LG stat.ML
Robust Classification via Support Vector Machines
City, University of London(伦敦城市大学);Bayes Business School(贝叶斯商学院);University of Naples “Parthenope”(那不勒斯帕泰诺佩大学)
分类模型对数据的不确定性非常敏感,寻找对数据不确定性不太敏感的鲁棒分类器在机器学习文献中引起了极大的兴趣。本文的目的是通过两个概率参数构造鲁棒的\emph{Support Vector Machine}分类器的特征数据的不确定性。第一分类器\emph{Single Perturbation}减少了关于一个给定特征的数据不确定性的局部影响,并且充当可以确认或反驳该特定特征的显著数据不确定性的存在的局部测试。第二个分类器,\emph{Extreme Empirical Loss},旨在减少数据的不确定性相对于所有功能,这是可能的,通过预测模型违规的数量和这些违规的大小之间的权衡的聚合效果。这两种方法都是计算效率高,我们广泛的数值研究突出了两个强大的分类器的合成和现实生活中的数据的优势和可能的局限性。
2022-02-28 cs.LG stat.ML
Machine Unlearning: Linear Filtration for Logit-based Classifiers
St. Pölten University of Applied Sciences(圣帕尔滕应用科技大学);Management Center Innsbruck(因斯布鲁克管理中心)
最近颁布的立法赋予个人决定以何种方式使用其个人数据的某些权利,特别是“被遗忘权”。这给机器学习带来了挑战:当一个人撤回使用模型训练过程中数据的许可时,该如何继续?从这个问题中出现了机器遗忘领域,它可以被广泛地描述为如何“从模型中删除训练数据”的研究。我们的工作补充了这一研究方向,为分类模型(例如深度神经网络)的类范围删除请求的特定设置。作为第一步,我们提出线性过滤作为一种直观的,计算效率高的消毒方法。我们的实验证明了在对抗性环境中比天真删除方案的好处。
2020-07-08 cs.LG stat.ML
Multiple Locally Linear Kernel Machines
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM,巴黎高科桥梁学院,古斯塔夫·埃菲尔大学,法国国家科学研究中心)
该研究将多个局部线性分类器组合建模为 ℓ1 MKL 问题,并提出支持流式核的可扩展训练算法,在推理速度与分类精度之间取得平衡。
2024-01-17 cs.LG stat.ML
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga(马拉加大学);Biomedic Research Institute of Málaga (IBIMA)(马拉加生物医学研究所 (IBIMA));University of Michigan(密歇根大学)
支持向量机(SVM)仍然是最流行和最精确的分类器之一。径向基函数(RBF)核已被用于支持向量机中,以在类之间进行分离,并取得了相当大的成功。然而,存在对核超参数的初始值的内在依赖性。在这项工作中,我们提出了OKSVM,一种自动学习RBF核超参数,同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明,OKSVM的性能更好,而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
Hacking Smart Machines with Smarter Ones: How to Extract Meaningful Data from Machine Learning Classifiers
Università di Roma La Sapienza(罗马第一大学);Consiglio Nazionale delle Ricerche(国家研究委员会);Università di Roma Tre(罗马第三大学)
机器学习(ML)算法用于训练计算机以执行各种复杂任务并根据经验进行改进。计算机学习如何识别模式,做出意想不到的决定,或对动态环境做出反应。某些经过训练的机器可能比其他机器更有效,因为它们基于更合适的ML算法,或者因为它们是通过高级训练集训练的。尽管ML算法是已知的并公开发布,但训练集可能无法合理确定,甚至可能被视为商业机密。虽然已经对训练集元素的隐私进行了大量研究,但在本文中,我们将注意力集中在ML分类器以及可能无意识或恶意泄露的统计信息上。我们证明了从ML分类器中推断出意想不到但有用的信息是可能的。特别是,我们建立了一个新的元分类器和训练它破解其他分类器,获得有意义的信息,他们的训练集。例如,供应商可以利用这种信息泄漏来构建更有效的分类器,或者只是从竞争对手的设备中获取商业秘密,这可能侵犯其知识产权。
2013-06-19 cs.CR cs.LG stat.ML
SAFE Quantum Machine Learning with Variational Quantum Classifiers
National University of Singapore(新加坡国立大学);University of Pavia(帕维亚大学)
本文提出一种基于幅度编码的变分量子分类器,结合归一化幅度嵌入与有界量子可观测量,构建了结构化且平滑的假设空间,通过SAFE-AI指标评估模型可靠性,实验证明其在预测性能和噪声鲁棒性方面优于经典基线。
2026-05-15 cs.LG stat.ML
A Performance-Explainability Framework to Benchmark Machine Learning Methods: Application to Multivariate Time Series Classifiers
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国布列塔尼计算机与随机系统研究所)
我们的研究旨在提出一个新的性能可解释性分析框架来评估和基准测试机器学习方法。该框架详细描述了一组特征,这些特征使现有机器学习方法的性能可解释性评估系统化。为了说明框架的使用,我们将其应用于基准测试当前最先进的多元时间序列分类器。
2021-11-19 cs.AI cs.LG stat.ML
Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information
Google(谷歌);Rutgers University(罗格斯大学);Amazon(亚马逊);University of Washington(华盛顿大学)
公平分类器的训练和评价是一个具有挑战性的问题。这部分是由于大多数感兴趣的公平性度量依赖于数据点的敏感属性信息和标签信息。在许多情况下,不可能收集具有此类信息的大型数据集。一种常用的替代方法是在具有敏感属性信息的数据上单独训练属性分类器,然后稍后在ML流水线中使用它来评估给定分类器的偏差。虽然这种解耦有助于缓解人口稀少的问题,但它提出了几个自然的问题,例如:属性分类器应该如何训练?以及如何使用给定的属性分类器进行准确的偏差估计?在这项工作中,我们从理论和经验的角度来研究这个问题。我们首先通过实验证明,属性分类器的测试精度并不总是与其在下游模型的偏差估计中的有效性相关。为了进一步研究这一现象,我们分析了一个理想化的理论模型,并描述了最佳分类器的结构。我们的分析有令人惊讶的和反直觉的影响,在某些制度中,人们可能希望尽可能不均匀地分布在不同的子组之间的属性分类器的错误。基于我们的分析,我们开发了训练和使用属性分类器在数据稀缺制度的偏见估计的算法。我们实证证明了我们的方法对真实和模拟数据的有效性。
2021-02-16 cs.LG stat.ML
Using theoretical ROC curves for analysing machine learning binary classifiers
Durham University(杜伦大学)
大多数二进制分类器的工作原理是处理输入以产生标量响应并将其与阈值进行比较。分类器性能的各种度量明确地或隐含地假设属于任一类别的响应的概率分布$P_s$和$P_n$、每种类型的误分类的成本的概率分布,并且从预期成本计算性能分数。在机器学习中,分类器响应是通过实验获得的,性能分数是直接从它们中计算出来的,对$P_s$和$P_n$没有任何假设。在这里,我们认为,省略的步骤估计理论分布的$P_s$和$P_n$可能是有用的。在一个生物识别安全的例子中,我们将beta分布拟合到两个分类器的响应中,一个基于逻辑回归,一个基于ANN,并使用它们来建立一个分类,将其分类为在ROC曲线末端具有不同极端行为的少量类别。
2019-09-21 cs.CV cs.LG stat.ML
Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data
Qingdao University(青岛大学);University of Kentucky(肯塔基大学)
本文介绍了一种判别回归方法的监督分类。它估计一个表示模型,同时考虑类之间的区别,从而能够准确推导分类信息。这种新型的回归模型扩展了现有的模型,如岭,套索,组套索通过明确纳入歧视性信息。作为一个特殊的情况下,我们专注于一个二次模型,承认一个封闭形式的解析解。相应的分类器被称为判别回归机(DRM)。为了提高DRM的效率和可扩展性,本文进一步提出了三种DRM迭代算法。我们的方法和算法适用于一般类型的数据,包括图像,高维数据,不平衡的数据。我们比较DRM与目前国家的最先进的分类器。我们广泛的实验结果表明DRM的优越性能,并确认所提出的方法的有效性。
2019-12-30 cs.CV cs.LG stat.ML
Granular-Balls based Fuzzy Twin Support Vector Machine for Classification
School of Mathematics and Statistics, Changsha University of Science and Technology(长沙理工大学数学与统计学院);School of Information Science and Technology, Nantong University(南通大学信息科学与技术学院);Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系)
本文提出粒球孪生支持向量机和粒球模糊孪生支持向量机,通过粒球计算与毕达哥拉斯模糊集提升分类器在噪声环境下的可扩展性、效率和鲁棒性,并在20个基准数据集上验证了优越性能。
2024-08-01 cs.LG
Enhancing Precision of Automated Teller Machines Network Quality Assessment: Machine Learning and Multi Classifier Fusion Approaches
University of Tehran(德黑兰大学);Pulseware Company(Pulseware公司);University of Waterloo(滑铁卢大学)
本文提出基于堆叠分类器融合随机森林、LightGBM和CatBoost并结合SMOTE的ATM网络质量评估方法,将误报率从3.56%降至0.71%,准确率达99.29%。
2025-01-02 cs.LG
Utilizing Class Separation Distance for the Evaluation of Corruption Robustness of Machine Learning Classifiers
Federal Institute for Occupational Safety and Health (BAuA) Germany(德国职业安全与健康联邦研究所);University of Stuttgart, Germany(斯图加特大学)
本文提出利用类别分离距离评估分类器的破坏鲁棒性,通过数据增强方法改进鲁棒性并提升准确率。
2026-01-16 cs.AI cs.LG stat.ML
Machine Learning Classifiers Do Not Improve the Prediction of Academic Risk: Evidence from Australia
University of Adelaide(阿德莱德大学);CSIRO(联邦科学与工业研究组织)
机器学习方法在预测方面往往优于传统的统计模型。在学术成就的预测中,ML模型并没有表现出比逻辑斯谛回归有实质性的改进。到目前为止,由于管理数据集的可用性,这些结果几乎完全集中在大学成绩上,并且按照ML标准包含相对较小的样本量。在本文中,我们将流行的机器学习模型应用于一个大型数据集($n=1.2$百万),该数据集包含澳大利亚学生每年进行的标准化考试中的小学和中学成绩。我们发现,机器学习模型并不优于逻辑斯谛回归检测学生谁将在“低于标准”的成绩带坐在他们的下一次测试,即使在一个大的$n$设置。
2020-01-28 cs.LG econ.EM stat.ML
From hyperplanes to hyperellipsoids: a pedagogical bridge from linear classifiers to single-qubit mixed-state classifiers
QodeX Quantum(QodeX量子公司)
研究监督二元分类中标准线性模型与单量子比特混合态模型的内在可解释性,通过比较发现单量子比特混合态模型是标准线性模型的“椭球体版本”,讨论了模型偏差影响,为无量子背景读者提供量子机器学习思路助力教学。
2026-10-14 cs.LG quant-ph
Towards a Resilient Machine Learning Classifier -- a Case Study of Ransomware Detection
Intel Labs(英特尔实验室)
加密勒索软件由于加密而造成的损害难以恢复并导致数据丢失。本文构建了一个机器学习(ML)分类器来早期检测通过程序行为使用密码学的勒索软件(称为加密勒索软件)。如果错过了基于签名的检测,则基于行为的检测器可以成为检测和遏制损害的最后一道防线。我们发现勒索软件的输入/输出活动和文件内容熵是检测加密勒索软件的独特特征。深度学习(DL)分类器可以以高准确率和低误报率检测勒索软件。我们对生成的模型进行对抗性研究。我们使用模拟的勒索软件程序来启动灰盒分析,以探测ML分类器的弱点并提高模型的鲁棒性。除了准确性和弹性,可信度是质量检测器的另一个关键标准。确保使用正确的信息进行推理对于安全应用程序非常重要。集成梯度方法用于解释深度学习模型,并揭示为什么假阴性逃避检测。演示和讨论了构建和评估真实世界探测器的方法。
2020-03-13 cs.CR cs.LG stat.ML
Quantum ensemble of trained classifiers
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universidade Federal de Pernambuco(伯南布哥联邦大学)
通过叠加,量子计算机能够根据可用的量子比特数量来表示指数级大的状态集。量子机器学习是量子计算的一个子领域,它探索了量子计算增强机器学习算法的潜力。一种称为量子分类器的量子集成的量子机器学习方法包括使用叠加来构建指数级大的分类器集成,以使用无优化学习算法进行训练。在这项工作中,我们研究了量子系综如何与优化方法一起工作。使用基准数据集的实验表明,优化步骤的增加所获得的改进。
2020-07-18 cs.LG quant-ph stat.ML
How do the naive Bayes classifier and the Support Vector Machine compare in their ability to forecast the Stock Exchange of Thailand?
Bangkok Patana School(曼谷帕塔纳学校)
本文研究了朴素贝叶斯分类器和支持向量机在预测泰国证券交易所的能力方面的比较问题。探讨了支持向量机和朴素贝叶斯分类器背后的理论。这些算法使用2010年1月的数据进行训练,这些数据摘自MarketWatch.com网站。输入要素是根据先前对SET100指数的研究选择的。Weka 3软件用于从标记的训练数据创建模型。均方误差和正确分类的实例的比例,以及一些其他的误差测量是用来比较这两种算法。这篇文章表明,这两个算法目前还不够先进,准确地模拟股票交易所。尽管如此,朴素贝叶斯是优于支持向量机在预测泰国证券交易所。
2015-11-29 cs.LG
Predicting Autism Spectrum Disorder Using Machine Learning Classifiers
Saarland University(萨尔大学);American International University-Bangladesh(孟加拉国美国国际大学)
自闭症谱系障碍(ASD)正在上升并不断增长。早期识别ASD并获得最佳结果将使患者通过适当的护理获得安全和健康。人类很难通过测量主要症状来估计ASD的当前状况和阶段。因此,有必要开发一种方法,提供ASD的最佳结果和测量。本文的目的是显示在几个分类器中实现的几个测量。其中,支持向量机(SVM)提供了最好的结果,在SVM下,也有一些核来执行。其中,高斯径向核给出了最好的结果。该分类器使用公开的标准ASD数据集实现了95%的准确率。
2021-01-26 cs.LG
Personalized Prognostic Models for Oncology: A Machine Learning Approach
Innovative Oncology Business Solutions(创新肿瘤商业解决方案公司)
我们对美国国家癌症研究所(NCI)的监测、流行病学和最终结果(SEER)医学上可用的数据子集应用了一种鲜为人知的数据转换,使其成为标准机器学习分类器的合适输入。这种转换正确地处理了SEER数据中的右删失数据,得到的随机森林和多层感知器模型预测了完整的生存曲线。将所得存活曲线的6、12和60个月点视为3个二元分类器,18个所得分类器的AUC值范围为0.765至0.885。随机森林和神经网络模型对6个月、12个月和60个月的二进制分类器的预测之间的极高一致性提供了模型从训练数据中推广得很好的进一步证据。
2016-06-22 cs.LG stat.AP stat.ML
Prognosis and Treatment Prediction of Type-2 Diabetes Using Deep Neural Network and Machine Learning Classifiers
Noakhali Science and Technology University(诺阿卡利科学与技术大学);Comilla University(库米拉大学);University of Alberta(阿尔伯塔大学)
2型糖尿病是一种由于胰岛素活性不平衡而导致的快速增长的慢性代谢紊乱。本研究的运动是对七种机器学习分类器和人工神经网络方法的比较研究,以高精度地阐明糖尿病的检测和治疗,为了在早期识别和治疗糖尿病患者。我们的训练和测试数据集是9483名糖尿病患者信息的积累。训练数据集足够大,可以消除过度拟合,并提供高度准确的测试性能。我们使用准确度和精度等性能指标来找出最佳算法深度ANN,该算法在所有其他经过测试的机器学习分类器中具有95.14%的准确率。我们希望我们的高性能模型可以被医院用于预测糖尿病,并推动研究更准确的预测模型。
2023-01-08 cs.LG
Minimum Variance Embedded Auto-associative Kernel Extreme Learning Machine for One-class Classification
Indian Institute of Technology Indore(印度理工学院印多尔分校)
单类分类(OCC)只需要一个类的样本来训练分类器。最近,一个自联想核极端学习机开发的OCC任务。本文介绍了一种新的扩展,这种分类器通过嵌入最小方差信息在其架构,被称为VAAKELM。最小方差嵌入迫使网络输出权重集中在低方差区域,并减少类内方差。这导致更好地分离目标样本和离群值,从而提高分类器的泛化性能。该分类器遵循基于重构的OCC方法,并通过使用核极端学习机作为基础分类器来最小化重构误差。它使用重建误差的偏差来识别异常值。我们在15个小型和10个中型单类基准数据集上进行了实验,以证明所提出的分类器的效率。我们将结果与13个现有的一类分类器进行比较,考虑平均F1分数作为比较指标。实验结果表明,VAAKELM始终优于现有的分类器,使其成为一个可行的替代OCC任务。
2020-11-24 cs.LG
Differentially Private Algorithms for Empirical Machine Learning
Duke University(杜克大学)
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法,我们发现,他们是不实际的,在实际应用中,由于两个原因。首先,现有的差分私有分类器在真实世界数据集上的准确性很差。第二,没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中,我们开发了不同的私人算法,反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法,用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算(因此可能会使其噪音更大,准确性更低),但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法,经验性地构建受试者工作特征(ROC)曲线上的私人测试集。
2014-11-21 cs.LG
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid(马德里自治大学);KU Leuven(鲁汶大学)
本文提出了一种新的训练加权L2支持向量机(SVM)的算法,该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地,每个训练向量所需的余量被独立地设置,从而定义新的加权SVM模型。这些权重被选择为二进制的,并且它们在模型的训练期间自动适应,导致Frank-Wolfe优化算法的变体,其具有与原始算法基本相同的计算复杂性。如实验所示,该算法在计算上更便宜,因为它需要更少的迭代来收敛,并且它产生的模型在支持向量方面具有更稀疏的表示,并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
Machine Learning Based Fast Power Integrity Classifier
在本文中,我们提出了一种新的机器学习为基础的快速电源完整性分类器,快速标记EM/IR热点。我们讨论了提取的特征来描述的电源网格,电池的功率密度,布线的影响和可控崩溃芯片连接(C4)凸块等连续和不连续的情况下,识别和处理使用不同的机器学习模型。最近邻,随机森林和神经网络模型进行比较,以选择最佳性能的候选人。在开放源代码的基准测试上进行了实验,结果显示出良好的预测精度。
2017-11-08 cs.LG cs.OH
Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers
University of Florida(佛罗里达大学);National Cheng Kung University(国立成功大学);University of Central Florida(中佛罗里达大学)
机器学习研究人员早就注意到这样一种现象,即当训练样本围绕底层决策边界密集采样时,模型训练过程将更加有效和高效。虽然这种观察已经广泛应用于一系列机器学习安全技术中,但它缺乏对观察正确性的理论分析。为了解决这一挑战,我们首先使用对抗攻击方法向原始训练样本添加特定的扰动,使得生成的示例可以近似位于ML分类器的决策边界上。然后,我们调查主动学习和这些特定的训练样本之间的联系。通过对k-NN分类器、核方法以及深度神经网络等具有代表性的分类器的分析,为观测建立了理论基础。因此,我们的理论证明提供了支持更有效的主动学习方法的帮助下,对抗的例子,相反,以前的作品中,对抗的例子往往被用作破坏性的解决方案。实验结果表明,所建立的理论基础将指导更好的基于对抗性实例的主动学习策略。
2021-09-23 cs.LG
A cryptographic approach to black box adversarial machine learning
Columbia University(哥伦比亚大学);Proof Trading(Proof Trading(交易证明))
我们提出了一种新的随机集成技术,具有可证明的安全保证,对黑箱传输攻击。我们的证明构造了一个新的安全问题,随机二进制分类器,这是更容易经验验证和减少从这个新模型的安全性的集成分类器的安全性。我们提供了我们的随机二进制分类器的安全性的实验证据,以及整体集成的对抗性准确性的经验结果,黑盒攻击。我们的构造关键地利用了多类到二进制的减少中隐藏的随机性。
2020-02-21 cs.CR cs.LG stat.ML
Error-Resilient Machine Learning in Near Threshold Voltage via Classifier Ensemble
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了设计的错误弹性机器学习架构采用分布式机器学习框架分类集成(CE)。CE结合了几个简单的分类器,以获得一个强大的。相比之下,集中式机器学习采用单个复杂块。我们比较了随机森林(RF)和支持向量机(SVM),这是从CE和集中式框架的代表技术,分别。利用UCI机器学习库中的数据集和商用45 nm CMOS工艺中的架构级误差模型,证明了在由于近阈值电压(NTV)区域(0.3 V - 0.7 V)的工艺变化而存在定时误差的情况下,基于RF的架构比SVM架构显著更鲁棒。具体地,RF架构表现出变化3.2%的检测精度(P_{det}),同时在28.9%的门级延迟变化处保持中值P_{det} > 0.9。相比之下,SVM表现出变化16.8%的P_{det}。此外,我们提出了一个错误加权投票技术,结合了NTV电路结构的定时误差统计,以进一步提高鲁棒性。仿真结果证实,误差加权投票实现了变化仅为1.4%的P_{det},这是12倍,低于SVM。
2016-07-03 cs.LG
Machine Learning Algorithms for Classification of Microcirculation Images from Septic and Non-Septic Patients
Massachusetts Institute of Technology(麻省理工学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
脓毒症是一种危及生命的疾病,也是医院死亡的主要原因之一。微循环功能障碍的成像是自动诊断脓毒症的一种很有前途的方法。我们报告了一个机器学习分类器,能够区分非脓毒症和脓毒症图像从暗场微循环视频的患者。分类器的准确率达到89.45%。该分类器的受试者操作特征下的面积为0.92,精确度为0.92,召回率为0.84。使用t-SNE嵌入来可视化表示训练分类器的学习特征空间的代码,并且这些代码在来自重症患者和非脓毒症患者的图像之间是可分离的和可区分的。使用独立于临床诊断的无监督卷积自动编码器,我们还报告了与健康图像和微循环功能障碍相关的压缩表示的学习特征的聚类。我们训练的分类器用于区分脓毒症和非脓毒症患者的图像的特征空间具有潜在的诊断应用。
2019-02-20 cs.CV cs.LG stat.ML
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University(杜克大学)
随着机器学习(ML)变得越来越强大且易于访问,攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中,攻击者可以访问个人、软件或系统的某些数据(称为公共数据);并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功,是因为私有数据与公共数据在统计上相关,而ML分类器可以捕获这种统计相关性。在本章中,我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是,攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此,我们可以将ML的漏洞转化为对推理攻击的防御。例如,ML分类器很容易受到对抗性示例的影响,这些示例会向正常示例添加精心制作的噪音,以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击,我们可以在公共数据中添加精心制作的噪音,将它们变成对抗性的例子,这样攻击者的分类器就会对私有数据做出错误的预测。然而,现有的构建对抗性示例的方法是不够的,因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中,我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Development of deep learning algorithms to categorize free-text notes pertaining to diabetes: convolution neural networks achieve higher accuracy than support vector machines
Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院)
卫生专业人员在审查电子健康记录(EHR)时可以使用自然语言处理(NLP)技术。机器学习自由文本分类器可以帮助他们识别问题并做出关键决策。我们的目标是开发深度学习神经网络算法,识别与糖尿病有关的EHR进展记录,并在两个机构验证算法。使用的数据是从糖尿病患者中检索的2,000个EHR进展记录,所有记录都手动注释为糖尿病或非糖尿病。开发了几种深度学习分类器,并使用ROC曲线下面积(AUC)评估了它们的性能。具有可分离卷积层的卷积神经网络(CNN)模型在Brigham and Womens Hospital测试集中准确识别了糖尿病相关笔记,最高AUC为0.975。深度学习分类器可用于识别与糖尿病有关的EHR进展记录。特别地,基于CNN的分类器可以实现比基于SVM的分类器更高的AUC。
2018-09-16 cs.CL cs.LG stat.ML
Hybrid unary-binary design for multiplier-less printed Machine Learning classifiers
National and Technical University of Athens(国家与技术大学雅典)
本文针对印刷电子实现机器学习分类器受限于特征尺寸的问题,提出混合一元-二进制架构和架构感知训练,实现无乘法器MLP执行,在六个数据集上平均减少46%面积和39%功耗,且精度损失极小。
2025-09-18 cs.LG
Unsupervised Real Time Prediction of Faults Using the Support Vector Machine
为了提高支持向量机(SVM)分类器的分类精度,采用序贯最小优化(SMO)训练算法对油气设备数据进行故障和正常分类。最近的应用程序的故障分析利用SVM技术,而不实施SMO训练算法,而在我们的研究中,我们表明,所提出的解决方案可以更好地执行时,使用SMO训练算法。此外,我们实现了集成方法,这是一个混合的基于规则和神经网络分类器,以提高性能的SVM分类器(SMO训练算法)。优化研究是由于分类器在处理不平衡数据集时性能不佳。通过使用堆叠集成方法将所选择的最佳性能分类器与SVM分类器(具有SMO训练算法)结合在一起,以创建可以处理不平衡数据问题的高效集成预测模型。该预测模型的分类性能明显优于支持向量机与SMO训练算法和许多其他传统的分类器。
2020-12-30 cs.LG
Performance Evaluation of Machine Learning Classifiers in Sentiment Mining
Annamalai University(安纳马莱大学)
近年来,机器学习分类器的使用在解决文本分类中的各种问题方面具有重要价值。情感挖掘是一种文本分类方法,根据情感倾向(如积极或消极)对消息进行分类。本文扩展了评估各种分类器性能的思想,以显示其在在线产品评论情感挖掘中的有效性。产品评论来自亚马逊评论。为了评估分类器的性能,使用了各种评估方法,如随机抽样,线性抽样和自助抽样。结果表明,采用自举抽样方法的支持向量机在误分类率方面优于其他分类器和抽样方法。
2014-02-17 cs.CL cs.IR cs.LG
Empirical study of Machine Learning Classifier Evaluation Metrics behavior in Massively Imbalanced and Noisy data
Queen Mary University of London(伦敦玛丽女王大学)
随着信用卡交易量的增长,欺诈比例也在上升,包括机构打击和赔偿受害者的间接成本。将机器学习应用于金融领域,可以更有效地防范欺诈和其他经济犯罪。经过适当训练的机器学习分类器有助于积极主动地进行欺诈检测,提高利益相关者的信任度和抵御非法交易的稳健性。然而,基于机器学习的欺诈检测算法的设计一直具有挑战性且缓慢,这是由于欺诈数据的大规模不平衡性质以及准确且完整地识别欺诈以创建黄金标准地面实况的挑战。此外,没有基准或标准的分类器评估指标来衡量和识别性能更好的分类器,从而使研究人员处于黑暗中。在这项工作中,我们开发了一个理论基础,以模拟人类注释错误和极端不平衡典型的现实世界中的欺诈检测数据集。通过在一个假设的分类器上进行实证实验,使用一个近似于真实世界中流行的信用卡欺诈数据集的合成数据分布,我们模拟人类注释错误和极端不平衡,以观察流行的机器学习分类器评估矩阵的行为。我们证明了组合F1得分和g均值,在特定的顺序,是典型的不平衡欺诈检测模型分类的最佳评价指标。
2022-08-25 cs.CR cs.LG
CDS Rate Construction Methods by Machine Learning Techniques
Université de Reims-Champagne-Ardenne(兰斯香槟-阿登大学);Birkbeck, University of London(伦敦大学伯贝克学院);Standard Chartered Bank(渣打银行)
监管机构要求金融机构从流动性CDS报价中估计交易对手违约风险,用于场外衍生品的估值和风险管理。然而,绝大多数交易对手没有流动的CDS报价,需要代理CDS利率。现有的方法不能考虑特定于交易对手的违约风险,我们建议通过关联到非流动性交易对手的流动CDS代理机器学习技术的基础上构建代理CDS利率。在测试了来自8个最流行的分类器家族的156个分类器后,我们发现一些分类器达到了非常令人满意的准确率。此外,我们已经排名排序的性能和调查的性能变化之间和8个分类器的家庭。据我们所知,本文是第一个系统的研究CDS代理建设的机器学习技术,和第一个系统的分类器比较研究完全基于金融市场的数据。其研究结果既证实了现有的分类器性能文献,也与之形成对比。鉴于金融数据通常具有高度相关性,我们研究了相关性对分类器性能的影响。本文中使用的技术应该是金融机构寻求CDS代理方法的兴趣,并可以为其他金融变量的代理建设。指出了今后研究的方向。
2017-05-19 cs.LG q-fin.RM q-fin.ST
An Efficient Epileptic Seizure Detection Technique using Discrete Wavelet Transform and Machine Learning Classifiers
National Institute of Technology, Durgapur(印度杜尔加普尔国家理工学院);GNIT, Kolkata(加尔各答GNIT学院)
本文提出一种基于离散小波变换与主成分分析特征融合的癫痫检测方法,结合SVM、KNN和朴素贝叶斯分类器,在Bonn数据库上实现最高100%识别准确率。
2021-12-30 cs.LG eess.SP
Modeling Freight Mode Choice Using Machine Learning Classifiers: A Comparative Study Using the Commodity Flow Survey (CFS) Data
Oak Ridge National Laboratory(橡树岭国家实验室);University of Missouri – Columbia(密苏里大学哥伦比亚分校);University of Central Florida(中佛罗里达大学)
本研究利用美国2012年CFS数据及补充空间属性,对比8种机器学习分类器与经典多项Logit模型在货运方式选择建模中的性能,发现树集成类模型表现最优,且货运特征是核心影响因素。
2024-02-01 cs.LG
Soft Genetic Programming Binary Classifiers
分类器的设计和使用是机器学习的重要研究领域之一。随着自动机器学习方法的发展,各种方法被用来构建鲁棒的分类器模型。遗传编程(GP)方法由于实现困难和定制复杂性,不常用于构造分类器。GP分类器有几个限制和缺点。然而,“软”遗传编程(SGP)的概念已经被开发出来,它允许逻辑运算符树更灵活,并在数据集中找到依赖关系,这在大多数情况下给出了有希望的结果。本文讨论了一种使用SGP技术构造二进制分类器的方法。给出了试验结果。源代码-https://github.com/survexman/sgp_classifier。
2021-01-21 cs.LG
Bias Mitigation for Machine Learning Classifiers: A Comprehensive Survey
Simula Research Laboratory(西穆拉研究实验室);University College London(伦敦大学学院);King’s College London(伦敦国王学院)
本文全面综述了机器学习分类器的偏差缓解方法,收集341篇文献,按干预过程分类,并分析评估实践,以支持从业者做出明智选择。
2023-10-11 cs.LG
Universal expressiveness of variational quantum classifiers and quantum kernels for support vector machines
University of British Columbia(不列颠哥伦比亚大学);Technische Universität Darmstadt(达姆施塔特工业大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布吕松量子物质研究所)
机器学习被认为是量子计算最有前途的应用之一。因此,寻找具有量子优势的量子机器学习模型是一个重要的研究目标。在这里,我们表明,变分量子分类器和支持向量机与量子内核可以解决分类问题的基础上的$k$ -Forrelation问题,这是已知的PromiseBQP-完成。由于PromiseBQP复杂性类包括所有有界误差量子多项式时间(BQP)决策问题,我们的研究结果意味着存在一个特征映射和一个量子核,使变分量子分类器和量子核支持向量机有效解决任何BQP问题。因此,这项工作意味着它们的特征映射和量子内核可以分别被设计为对于任何分类问题都具有量子优势,这些问题不能在多项式时间内经典地解决,但相反可以通过量子计算机解决。
2023-02-09 cs.LG quant-ph
The Performance of Machine and Deep Learning Classifiers in Detecting Zero-Day Vulnerabilities
Texas Tech University(德克萨斯理工大学);University of Debrecen(德布勒森大学)
零日攻击和漏洞的检测是一个具有挑战性的问题。因此,对网络管理员来说,高精度地识别它们是至关重要的。准确性越高,防御机制就越强大。在理想情况下(即,100%的准确性),系统可以检测零日恶意软件,而不必担心错误地将良性文件标记为恶意软件或使破坏性恶意代码作为非恶意代码运行。本文研究了不同的机器学习算法,以了解它们检测零日恶意软件的能力。通过对34个机器/深度学习分类器的测试,我们发现随机森林分类器的准确率最高。本文提出了几个关于机器和深度学习算法在检测零日恶意软件时的性能的研究问题,误报和漏报率为零。
2019-11-21 cs.CR cs.LG
Recent advances for quantum classifiers
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
机器学习在广泛的应用中取得了巨大的成功。它与量子物理学的相互作用可能会为基础研究和商业应用带来前所未有的前景,从而引发量子机器学习的新兴研究前沿。沿着这条线,量子分类器,这是旨在解决机器学习中分类问题的量子设备,最近引起了极大的关注。本文对量子分类器的研究进行了较为全面的综述,重点介绍了近年来的研究进展。首先,我们将回顾一些量子分类算法,包括量子支持向量机,量子核方法,量子决策树分类器,量子最近邻算法和量子退火分类器。然后,我们继续介绍变分量子分类器,它本质上是用于分类的变分量子线路。我们将回顾用于构建变分量子分类器的不同架构,并介绍贫瘠高原问题,其中量子分类器的训练可能会受到指数消失梯度的阻碍。此外,还将讨论量子分类器在对抗学习环境中的脆弱性以及不同量子分类器的最新实验进展。
2021-10-05 cs.LG quant-ph
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania(宾夕法尼亚大学);Perelman School of Medicine(佩雷尔曼医学院);Wharton School of Business(沃顿商学院)
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法,它可以提高鲁棒性分布偏移,通过结合专家知识的“高层次”的数据结构与标准分类。具体来说,我们引入两阶段分类器称为记忆分类器。首先,它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如,对于图像数据,可以使用数字图像处理算法来提取特征。然后,在每个聚类中,我们通过深度神经网络等标准模型,基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明,该方法可以提高图像数据集的泛化能力,并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
A Comprehensive Study on Machine Learning Methods to Increase the Prediction Accuracy of Classifiers and Reduce the Number of Medical Tests Required to Diagnose Alzheimer'S Disease
Ulster University(阿尔斯特大学)
老年痴呆症患者逐渐失去思考、行为和与他人互动的能力。病史、实验室检查、日常活动和性格变化都可以用来诊断这种疾病。一系列耗时和昂贵的测试被用来诊断疾病。识别阿尔茨海默病的最有效方法是在本研究中使用随机森林分类器,以及各种其他机器学习技术。这项研究的主要目标是微调分类器,以较少的测试检测疾病,同时保持合理的疾病发现准确性。我们使用30个常用指标中的4个,在近94%的病例中成功识别出了这种情况。
2022-12-01 cs.AI cs.LG
Empirical Analysis of Machine Learning Configurations for Prediction of Multiple Organ Failure in Trauma Patients
UC, Davis Health(加州大学戴维斯分校健康中心);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
多器官衰竭(MOF)是一种危及生命的疾病。由于其紧迫性和高死亡率,早期发现对于临床医生提供适当的治疗至关重要。在本文中,我们进行定量分析的早期MOF预测与全面的机器学习(ML)配置,包括数据预处理(缺失值处理,标签平衡,功能缩放),特征选择,分类器的选择,和超参数调整。结果表明,分类器的选择影响的性能改善和变化的所有配置中。通常,包括集成方法的复杂分类器可以提供比简单分类器更好的性能。然而,盲目追求复杂的分类器是不明智的,因为它也带来了更大的性能变化的风险。
2021-04-22 cs.AI cs.LG
Decoupled classifiers for fair and efficient machine learning
当在机器学习系统中使用敏感属性(如性别或种族)符合道德和法律时,问题仍然是如何做到这一点。我们表明,天真的应用程序的机器学习算法使用敏感的功能,导致一个固有的权衡组之间的准确性。我们提供了一种简单有效的解耦技术,可以添加到任何黑盒机器学习算法之上,为不同的群体学习不同的分类器。迁移学习用于缓解任何一个组的数据太少的问题。该方法可以应用于一系列公平性标准。特别是,我们要求应用程序设计者指定为联合损失函数,使公平性和准确性之间的权衡显式。我们的减少有效地找到最小的损失,只要目标具有一定的自然单调性属性,这可能是独立的兴趣,在算法的公平性研究。
2017-07-20 cs.CY cs.LG
RuleMatrix: Visualizing and Understanding Classifiers with Rules
Hong Kong University of Science and Technology(香港科技大学);New York University(纽约大学)
随着越来越多地采用机器学习技术,对使机器学习系统更加透明和可解释的研究兴趣激增。已经开发了各种可视化来帮助模型开发人员理解、诊断和改进机器学习模型。然而,大量潜在但被忽视的用户是对机器学习知之甚少但被期望与机器学习系统一起工作的领域专家。在本文中,我们提出了一种交互式可视化技术,以帮助用户在机器学习的专业知识很少,了解,探索和验证预测模型。通过将模型视为一个黑盒,我们从其输入输出行为中提取出一个标准化的基于规则的知识表示。我们设计了RuleMatrix,一个基于矩阵的可视化规则,以帮助用户导航和验证规则和黑盒模型。我们通过两个用例和可用性研究来评估RuleMatrix的有效性。
2018-07-17 cs.AI cs.HC cs.LG
Integrating White and Black Box Techniques for Interpretable Machine Learning
Osaka Metropolitan University(大阪公立大学)
针对机器学习算法可解释性与性能难以兼顾的问题,提出一种集成分类器设计,用白盒模型处理简单输入、黑盒模型处理复杂输入,兼顾可解释性与性能。
2024-07-12 cs.LG
Variable-Based Calibration for Machine Learning Classifiers
University of California, Irvine(加州大学欧文分校)
本文提出基于变量的校准概念,推广了传统的期望校准误差(ECE)指标,揭示了具有近乎完美ECE的模型可能在数据特征函数上表现出显著校准不良,并提出了检测、可视化和量化该误差的策略,强调超越简单聚合度量理解校准对公平性和模型可解释性的重要性。
2023-04-05 cs.LG
Physical Activity Recognition Based on a Parallel Approach for an Ensemble of Machine Learning and Deep Learning Classifiers
Laboratoire LIO, Centre de Recherche du CHUM(CHUM 研究中心 LIO 实验室);LICEF institute, TELUQ university(TELUQ 大学 LICEF 研究所);INRS, Centre Énergie, Matériaux et Télécommunications(INRS 能源、材料与电信中心);École de Technologie Supérieure (ÉTS)(高等技术学院)
通过嵌入物联网(IOT)的可穿戴传感器设备进行人体活动识别(HAR),可以在远程健康监测和紧急通知中发挥重要作用,以提供更高标准的医疗保健。本研究的目的是调查人类活动识别方法的累积决策的准确性和执行速度,适用于医疗保健。该方法采用基于特征工程和基于特征学习的数据表示相结合的有效分类器对人体运动的可穿戴传感器加速度时间序列数据进行分类。该方法的留一个主体交叉验证与从44个主体中获取的数据,这些主体在智能纺织品上佩戴单个腰戴式加速度计,并参与各种10项活动,产生90%的平均识别率,表现明显优于单个分类器。该方法很容易适应功能和计算并行化,使执行时间显着下降。
2021-03-02 cs.LG
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania(宾夕法尼亚大学生物医学信息学研究所);AGH University of Science and Technology(AGH科技大学)
了解机器学习(ML)算法的优点和缺点对于确定其应用范围至关重要。在这里,我们介绍了DIverse和GENerative ML Benchmark(DIGEN)-一个综合数据集的集合,用于对二进制结果分类的机器学习算法进行全面,可重复和可解释的基准测试。DIGEN资源由40个数学函数组成,这些函数将连续特征映射到离散端点,以创建合成数据集。这40个函数是使用启发式算法发现的,该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异,从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳,从而提供改进的想法。包含大量文档和分析的资源是开源的,可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG