Multiple Locally Linear Kernel Machines
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM,巴黎高科桥梁学院,古斯塔夫·埃菲尔大学,法国国家科学研究中心)
该研究将多个局部线性分类器组合建模为 ℓ1 MKL 问题,并提出支持流式核的可扩展训练算法,在推理速度与分类精度之间取得平衡。
2024-01-17 cs.LG stat.ML
Hacking Smart Machines with Smarter Ones: How to Extract Meaningful Data from Machine Learning Classifiers
Università di Roma La Sapienza(罗马第一大学);Consiglio Nazionale delle Ricerche(国家研究委员会);Università di Roma Tre(罗马第三大学)
机器学习(ML)算法用于训练计算机以执行各种复杂任务并根据经验进行改进。计算机学习如何识别模式,做出意想不到的决定,或对动态环境做出反应。某些经过训练的机器可能比其他机器更有效,因为它们基于更合适的ML算法,或者因为它们是通过高级训练集训练的。尽管ML算法是已知的并公开发布,但训练集可能无法合理确定,甚至可能被视为商业机密。虽然已经对训练集元素的隐私进行了大量研究,但在本文中,我们将注意力集中在ML分类器以及可能无意识或恶意泄露的统计信息上。我们证明了从ML分类器中推断出意想不到但有用的信息是可能的。特别是,我们建立了一个新的元分类器和训练它破解其他分类器,获得有意义的信息,他们的训练集。例如,供应商可以利用这种信息泄漏来构建更有效的分类器,或者只是从竞争对手的设备中获取商业秘密,这可能侵犯其知识产权。
2013-06-19 cs.CR cs.LG stat.ML
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga(马拉加大学);Biomedic Research Institute of Málaga (IBIMA)(马拉加生物医学研究所 (IBIMA));University of Michigan(密歇根大学)
支持向量机(SVM)仍然是最流行和最精确的分类器之一。径向基函数(RBF)核已被用于支持向量机中,以在类之间进行分离,并取得了相当大的成功。然而,存在对核超参数的初始值的内在依赖性。在这项工作中,我们提出了OKSVM,一种自动学习RBF核超参数,同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明,OKSVM的性能更好,而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
A Performance-Explainability Framework to Benchmark Machine Learning Methods: Application to Multivariate Time Series Classifiers
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国布列塔尼计算机与随机系统研究所)
我们的研究旨在提出一个新的性能可解释性分析框架来评估和基准测试机器学习方法。该框架详细描述了一组特征,这些特征使现有机器学习方法的性能可解释性评估系统化。为了说明框架的使用,我们将其应用于基准测试当前最先进的多元时间序列分类器。
2021-11-19 cs.AI cs.LG stat.ML
Using theoretical ROC curves for analysing machine learning binary classifiers
Durham University(杜伦大学)
大多数二进制分类器的工作原理是处理输入以产生标量响应并将其与阈值进行比较。分类器性能的各种度量明确地或隐含地假设属于任一类别的响应的概率分布$P_s$和$P_n$、每种类型的误分类的成本的概率分布,并且从预期成本计算性能分数。在机器学习中,分类器响应是通过实验获得的,性能分数是直接从它们中计算出来的,对$P_s$和$P_n$没有任何假设。在这里,我们认为,省略的步骤估计理论分布的$P_s$和$P_n$可能是有用的。在一个生物识别安全的例子中,我们将beta分布拟合到两个分类器的响应中,一个基于逻辑回归,一个基于ANN,并使用它们来建立一个分类,将其分类为在ROC曲线末端具有不同极端行为的少量类别。
2019-09-21 cs.CV cs.LG stat.ML
Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data
Qingdao University(青岛大学);University of Kentucky(肯塔基大学)
本文介绍了一种判别回归方法的监督分类。它估计一个表示模型,同时考虑类之间的区别,从而能够准确推导分类信息。这种新型的回归模型扩展了现有的模型,如岭,套索,组套索通过明确纳入歧视性信息。作为一个特殊的情况下,我们专注于一个二次模型,承认一个封闭形式的解析解。相应的分类器被称为判别回归机(DRM)。为了提高DRM的效率和可扩展性,本文进一步提出了三种DRM迭代算法。我们的方法和算法适用于一般类型的数据,包括图像,高维数据,不平衡的数据。我们比较DRM与目前国家的最先进的分类器。我们广泛的实验结果表明DRM的优越性能,并确认所提出的方法的有效性。
2019-12-30 cs.CV cs.LG stat.ML
Phase Diagram of Restricted Boltzmann Machines and Generalised Hopfield Networks with Arbitrary Priors
Università del Salento(萨兰托大学);Universität Zürich(苏黎世大学);King’s College London(伦敦国王学院);Scuola Normale Superiore(高等师范学校)
受限玻尔兹曼机由二分自旋玻璃的吉布斯测度描述,而二分自旋玻璃又对应于广义Hopfield网络的吉布斯测度。这种等价性使我们能够在低负载和高负载下,根据检索能力来评估这些系统的状态。我们研究了顺磁自旋玻璃和自旋玻璃-恢复相变,因为模式(即重量)分布和自旋(即单位)先验从高斯实数变量到布尔离散变量平滑地变化。我们的分析表明,检索阶段的存在是强大的,而不是特有的标准Hopfield模型与布尔模式。检索区域较大时,模式条目和检索单元得到更多的峰值,相反,当隐藏的单元获得更广泛的先验,因此具有更强的响应高字段。此外,在低负荷检索总是存在低于某个临界温度,为每一个图案分布范围从布尔到高斯的情况。
2017-07-29 cond-mat.dis-nn cs.LG physics.data-an
Utilizing Class Separation Distance for the Evaluation of Corruption Robustness of Machine Learning Classifiers
Federal Institute for Occupational Safety and Health (BAuA) Germany(德国职业安全与健康联邦研究所);University of Stuttgart, Germany(斯图加特大学)
本文提出利用类别分离距离评估分类器的破坏鲁棒性,通过数据增强方法改进鲁棒性并提升准确率。
2026-01-16 cs.AI cs.LG stat.ML
Machine Learning Classifiers Do Not Improve the Prediction of Academic Risk: Evidence from Australia
University of Adelaide(阿德莱德大学);CSIRO(联邦科学与工业研究组织)
机器学习方法在预测方面往往优于传统的统计模型。在学术成就的预测中,ML模型并没有表现出比逻辑斯谛回归有实质性的改进。到目前为止,由于管理数据集的可用性,这些结果几乎完全集中在大学成绩上,并且按照ML标准包含相对较小的样本量。在本文中,我们将流行的机器学习模型应用于一个大型数据集($n=1.2$百万),该数据集包含澳大利亚学生每年进行的标准化考试中的小学和中学成绩。我们发现,机器学习模型并不优于逻辑斯谛回归检测学生谁将在“低于标准”的成绩带坐在他们的下一次测试,即使在一个大的$n$设置。
2020-01-28 cs.LG econ.EM stat.ML
Towards a Resilient Machine Learning Classifier -- a Case Study of Ransomware Detection
Intel Labs(英特尔实验室)
加密勒索软件由于加密而造成的损害难以恢复并导致数据丢失。本文构建了一个机器学习(ML)分类器来早期检测通过程序行为使用密码学的勒索软件(称为加密勒索软件)。如果错过了基于签名的检测,则基于行为的检测器可以成为检测和遏制损害的最后一道防线。我们发现勒索软件的输入/输出活动和文件内容熵是检测加密勒索软件的独特特征。深度学习(DL)分类器可以以高准确率和低误报率检测勒索软件。我们对生成的模型进行对抗性研究。我们使用模拟的勒索软件程序来启动灰盒分析,以探测ML分类器的弱点并提高模型的鲁棒性。除了准确性和弹性,可信度是质量检测器的另一个关键标准。确保使用正确的信息进行推理对于安全应用程序非常重要。集成梯度方法用于解释深度学习模型,并揭示为什么假阴性逃避检测。演示和讨论了构建和评估真实世界探测器的方法。
2020-03-13 cs.CR cs.LG stat.ML
Quantum ensemble of trained classifiers
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universidade Federal de Pernambuco(伯南布哥联邦大学)
通过叠加,量子计算机能够根据可用的量子比特数量来表示指数级大的状态集。量子机器学习是量子计算的一个子领域,它探索了量子计算增强机器学习算法的潜力。一种称为量子分类器的量子集成的量子机器学习方法包括使用叠加来构建指数级大的分类器集成,以使用无优化学习算法进行训练。在这项工作中,我们研究了量子系综如何与优化方法一起工作。使用基准数据集的实验表明,优化步骤的增加所获得的改进。
2020-07-18 cs.LG quant-ph stat.ML
Personalized Prognostic Models for Oncology: A Machine Learning Approach
Innovative Oncology Business Solutions(创新肿瘤商业解决方案公司)
我们对美国国家癌症研究所(NCI)的监测、流行病学和最终结果(SEER)医学上可用的数据子集应用了一种鲜为人知的数据转换,使其成为标准机器学习分类器的合适输入。这种转换正确地处理了SEER数据中的右删失数据,得到的随机森林和多层感知器模型预测了完整的生存曲线。将所得存活曲线的6、12和60个月点视为3个二元分类器,18个所得分类器的AUC值范围为0.765至0.885。随机森林和神经网络模型对6个月、12个月和60个月的二进制分类器的预测之间的极高一致性提供了模型从训练数据中推广得很好的进一步证据。
2016-06-22 cs.LG stat.AP stat.ML
CDS Rate Construction Methods by Machine Learning Techniques
Université de Reims-Champagne-Ardenne(兰斯香槟-阿登大学);Birkbeck, University of London(伦敦大学伯贝克学院);Standard Chartered Bank(渣打银行)
监管机构要求金融机构从流动性CDS报价中估计交易对手违约风险,用于场外衍生品的估值和风险管理。然而,绝大多数交易对手没有流动的CDS报价,需要代理CDS利率。现有的方法不能考虑特定于交易对手的违约风险,我们建议通过关联到非流动性交易对手的流动CDS代理机器学习技术的基础上构建代理CDS利率。在测试了来自8个最流行的分类器家族的156个分类器后,我们发现一些分类器达到了非常令人满意的准确率。此外,我们已经排名排序的性能和调查的性能变化之间和8个分类器的家庭。据我们所知,本文是第一个系统的研究CDS代理建设的机器学习技术,和第一个系统的分类器比较研究完全基于金融市场的数据。其研究结果既证实了现有的分类器性能文献,也与之形成对比。鉴于金融数据通常具有高度相关性,我们研究了相关性对分类器性能的影响。本文中使用的技术应该是金融机构寻求CDS代理方法的兴趣,并可以为其他金融变量的代理建设。指出了今后研究的方向。
2017-05-19 cs.LG q-fin.RM q-fin.ST
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania(宾夕法尼亚大学生物医学信息学研究所);AGH University of Science and Technology(AGH科技大学)
了解机器学习(ML)算法的优点和缺点对于确定其应用范围至关重要。在这里,我们介绍了DIverse和GENerative ML Benchmark(DIGEN)-一个综合数据集的集合,用于对二进制结果分类的机器学习算法进行全面,可重复和可解释的基准测试。DIGEN资源由40个数学函数组成,这些函数将连续特征映射到离散端点,以创建合成数据集。这40个函数是使用启发式算法发现的,该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异,从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳,从而提供改进的想法。包含大量文档和分析的资源是开源的,可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG
First steps towards quantum machine learning applied to the classification of event-related potentials
低信息传送率是基于无创脑电图(EEG)的脑机接口应用于临床的主要瓶颈。这导致了更强大和准确的分类器的发展。在这项研究中,我们研究了量子增强支持向量分类器(QSVC)的性能。QSVC训练(预测)平衡准确率为83.17(50.25)%。这一结果表明,分类器能够从EEG数据学习,但需要更多的研究,以获得更高的预测精度。这可以通过更好地配置分类器来实现,例如增加拍摄的数量。
2023-02-06 cs.HC stat.ML
Calibration of Machine Learning Classifiers for Probability of Default Modelling
二元分类在信用评分中被广泛用于估计违约概率。这种预测模型的验证既基于排序能力,也基于校准(即模型输出的概率映射到观察到的概率的准确程度)。在这项研究中,我们涵盖了目前关于二元分类校准的最佳实践,并探讨了不同的方法如何在真实世界的信用评分数据上产生不同的结果。评估信用评分模型的局限性,仅使用排名能力指标进行了探讨。在18个真实世界的数据集上运行基准测试,并对结果进行比较。使用的校准技术是普拉特标度和等渗回归。此外,还使用了不同的机器学习模型:逻辑回归、随机森林分类器和梯度提升分类器。结果表明,当数据集被视为一个时间序列,使用重新校准与Isotonic回归是能够改善长期校准比替代方法。使用重新校准,非参数模型能够在Brier评分损失上优于Logistic回归。
2017-10-24 econ.EM stat.ML