Classifier comparison using precision
Simon Fraser University(西蒙菲莎大学)
新提出的模型通常使用统计显著性检验与最先进的模型进行比较。文献是稀缺的分类器比较使用的指标,而不是准确性。我们提出了一个调查的统计方法,可用于分类器比较使用精度,占精度间的相关性所产生的使用相同的数据集。使用每类精度和方法进行比较,以测试整体模型比较的全局零假设。比较扩展到多个多类分类器和使用交叉验证或其变体的模型。当一类人群患病率已知时,引入部分贝叶斯精度更新。比较深的架构的应用程序进行了研究。
2016-11-16 cs.LG stat.ML
Multivariate Stochastic Dominance via Optimal Transport and Applications to Models Benchmarking
Cornell University(康奈尔大学);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文利用最优传输和熵正则化构造多元近似随机占优统计量,建立中心极限定理与自助法一致性,并提出基于Sinkhorn算法的假设检验框架,用于多指标下大语言模型的比较与基准评估。
2024-06-10 cs.LG math.ST stat.ML
Robust Statistical Comparison of Random Variables with Locally Varying Scale of Measurement
Ludwig-Maximilians-Universität Munich(慕尼黑大学)
本文针对局部变化测量尺度空间中随机变量的信息利用问题,提出广义随机占优序,并构建经线性优化实现、由不精确概率稳健化的正则化统计检验。
2024-03-04 cs.LG math.ST stat.ML
Statistical Verification of Linear Classifiers
HSE University(高等经济大学);Lomonosov MSU(罗蒙诺索夫莫斯科国立大学);Shemyakin-Ovchinnikov Institute of Bioorganic Chemistry, Russian Academy of Sciences(俄罗斯科学院谢米亚金-奥夫钦尼科夫生物有机化学研究所);Art Photonics GmbH(艺术光子有限公司)
提出一种同质性检验以验证线性分类器是否有效,建立二维样本p值上界,并应用于乳腺癌复发基因对,证实IGFBP6和ELOVL5的重要性。
2025-01-24 cs.LG math.PR math.ST
Are Odds Really Odd? Bypassing Statistical Detection of Adversarial Examples
University of Washington(华盛顿大学)
众所周知,深度学习分类器容易受到对抗性样本的影响。最近在ICML 2019上发表的一篇论文提出了一种统计测试检测方法,该方法基于对噪声对抗性示例的logits偏向真实类的观察。在CIFAR-10数据集上对该方法进行了评估,结果表明该方法在只有1%假阳性率(FPR)的情况下达到了99%的真阳性率(TPR)。在本文中,我们首先开发了一种基于分类器的自适应统计测试方法,并表明它提高了检测性能。然后,我们提出了Logit模仿攻击方法来生成对抗性的例子,使他们的logits模仿那些良性的图像。我们表明,我们的攻击绕过了统计测试和基于分类器的方法,即使在FPR为5%的情况下,它们的TPR也分别降低到低于2:2%和1:6%。最后,我们证明了一个基于分类器的检测器,它是用模仿对抗性例子的logits训练的,可以被一个专门针对检测器的自适应攻击者所规避。此外,即使是经过迭代训练以抵御自适应攻击者的检测器也不能变得鲁棒,这表明logits的统计数据不能用于检测对抗性示例。
2019-07-28 cs.CR cs.LG stat.ML
Statistical Guarantees for Fairness Aware Plug-In Algorithms
American Express(美国运通)
在(Menon & Williamson,2018)中提出了一种估计贝叶斯最优分类器的插件算法。然而,他们的方法的统计效力尚未确定。我们证明了插件算法是统计一致的。我们还得到有限样本保证学习贝叶斯最优分类器通过插件算法。最后,我们提出了一个协议,修改插件的方法,以便同时保证公平性和差分隐私方面的二进制特征被认为是敏感的。
2021-07-27 cs.LG stat.ML
Money on the Table: Statistical information ignored by Softmax can improve classifier accuracy
University of Washington(华盛顿大学);Global Good Research(Global Good研究院)
Softmax是神经网络(NN)中使用的标准最终层,用于总结训练NN中编码的信息并返回预测。然而,Softmax只利用了训练模型中编码的类特定结构的子集,并忽略了潜在的有价值的信息:在训练期间,模型编码类响应分布的阵列$D$,其中$D_{ij}$是$j^{th}$前Softmax读出神经元对$i^{th}$类的响应的分布。给定一个测试样本,Softmax隐式地只使用这个数组$D$中对应于读出神经元对样本真实类的响应的行。利用更多的这个阵列$D$可以提高分类器的准确性,因为两个竞争类的可能性可以在$D$的其他行中编码。为了探索这种潜在的资源,我们开发了一种混合分类器(Softmax池混合,$SPH$),它使用Softmax对高分样本,但对低分样本使用对数似然方法,池的信息从全阵列$D$。我们将$SPH$应用于在矢量化MNIST数据集上训练的模型,以达到不同的准确度。仅在测试时,$SPH$仅替换训练NN中的最后Softmax层。所有训练都与Softmax相同。由于池化分类器在低得分样本上的性能优于Softmax,因此$SPH$使用完全相同的训练模型将测试集误差降低了6%至23%,而无论Softmax的基线精度如何。这种误差的减少反映了Softmax未使用的训练NN的隐藏容量。
2019-12-06 cs.LG stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab(英特尔人工智能实验室)
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近,越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务,这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论,该神经网络经过训练,使用softmax输出和交叉熵损失解决分类任务,解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点,同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比,一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉,多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益,而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
A Statistical Test for Probabilistic Fairness
EPFL(洛桑联邦理工学院);Stanford University(斯坦福大学)
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学,医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息,但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣,该学习旨在量化和减轻算法歧视。事实上,机器学习模型应该在大规模部署之前进行密集测试,以检测算法偏差。在本文中,我们使用最优传输理论的思想,提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状,测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制,用于评估任何预先训练的逻辑分类器的概率公平性,我们在理论上和经验上都表明,所提出的测试是渐进正确的。此外,所提出的框架提供了可解释性,通过识别数据的最有利的扰动,使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory
Peking University(北京大学);Yale University(耶鲁大学);Princeton University(普林斯顿大学)
本文提出了条件扩散模型的尖锐统计理论,给出了适应数据平滑性并匹配极小极大下界的样本复杂度界,并通过扩散泰勒近似技术分析条件得分函数,阐明了其在强化学习、逆问题和奖励条件生成等应用中的性能。
2024-03-18 cs.LG math.ST stat.ML
E-Valuating Classifier Two-Sample Tests
University of Amsterdam(阿姆斯特丹大学)
本文提出E-C2ST,一种基于E值的深度分类器双样本检验方法,通过多批次数据划分提升统计功效,并支持任意时刻有效的序贯检验。
2024-04-30 cs.LG stat.ME stat.ML
Good Classifiers are Abundant in the Interpolating Regime
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);ICSI(国际计算机科学研究所)
在机器学习社区中,广泛使用的一致收敛框架已被用于回答复杂的、过度参数化的模型如何很好地推广到新数据的问题。这种方法限制了最坏情况模型的测试误差,但它有根本的局限性。受统计力学学习方法的启发,我们正式定义并开发了一种方法来精确计算来自几个模型类的插值分类器之间的测试误差的完整分布。我们应用我们的方法来计算几个真实和合成数据集的分布,包括线性和随机特征分类模型。我们发现,测试误差往往集中在一个小的典型值$\varepsilon^*$,这大大偏离了最坏情况下的插值模型在相同的数据集上的测试误差,这表明“坏”的分类器是非常罕见的。我们提供了一个简单的设置中,我们的特点是完整的渐近分布的测试误差的理论结果,我们表明,这些确实集中在一个值$\varepsilon^*$,我们也确定准确。然后,我们正式提出了一个更普遍的猜想,我们的实证研究结果支持。我们的研究结果表明,通常风格的分析统计学习理论可能不够细粒度捕捉良好的泛化性能在实践中观察到的,基于统计力学的学习方法可能提供一个有前途的替代方案。
2021-03-04 cs.LG stat.ML
Topological and Statistical Behavior Classifiers for Tracking Applications
Duke University(杜克大学);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出基于多假设跟踪、拓扑数据分析和机器学习的统一理论,通过拓扑特征编码行为信息,利用统计模型拟合拓扑特征分布,并结合目标类型分类方法提升跟踪性能。
2014-06-01 cs.SY eess.SY math.AT
Supervised Learning via Ensembles of Diverse Functional Representations: the Functional Voting Classifier
University of Campania Luigi Vanvitelli(坎帕尼亚路易吉·万维泰利大学);Universitas Mercatorum(墨卡托大学)
本文提出函数投票分类器(FVC),通过利用多种函数型数据表示训练集成成员并以多数投票组合预测,在多个真实数据集上显著提升了函数型数据分类精度。
2024-03-23 cs.LG stat.ME stat.ML
Suitability Filter: A Statistical Framework for Classifier Evaluation in Real-World Deployment Settings
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
提出 suitability filter 统计框架,通过统计假设检验对比模型输出特征的经验分布,在无标签数据下检测分类器因协变量偏移导致的性能退化,实现高风险应用的主动故障缓解。
2025-05-28 cs.AI cs.CY cs.LG
Statistical Analysis of using the Shapley Value for Sensor Anomaly Localization with Accurate Classifiers
Electrical and Computer Engineering Department of Lehigh University(莱斯大学电气与计算机工程系)
本文通过数学定义的二元最优分类器分析Shapley值在传感器异常定位中的性能,证明在独立观测下等价于低复杂度测试,而在相关双变量高斯/拉普拉斯场景下两者存在本质差异,并首次提供理论统计结果。
2026-05-30 cs.LG eess.SP stat.ML
TEC: Tensor Ensemble Classifier for Big Data
Michigan State University(密歇根州立大学)
张量(多维数组)分类问题在图像识别和高维时空数据分析等现代应用中已经变得非常普遍。支持张量机(STM)分类器是支持向量机的扩展,以CANDECOMP / Parafac(CP)形式的张量数据作为输入,预测数据标签。STM的分布自由和统计上一致的属性突出了它在成功处理各种数据应用中的潜力。训练一个STM可能是计算昂贵的高维张量。然而,使用随机投影技术减小张量的大小可以减少计算时间和成本,使得在常规机器上处理大尺寸张量变得可行。我们将用随机投影张量估计的STM称为基于随机投影的支持张量机(RPSTM)。在这项工作中,我们提出了一个张量增强分类器(TEC),它聚合了多个RPSTM大张量分类。TEC利用集成的思想,以最大限度地减少随机投影带来的过度分类风险,提供统计上一致的预测,同时利用RPSTM的计算优势。由于每个RPSTM可以独立地估计,TEC可以进一步利用并行计算技术,并且计算效率更高。理论和数值结果表明TEC模型在高维张量分类问题中具有良好的性能。该模型的预测是统计上一致的,因为它的风险收敛到最佳的贝叶斯风险。此外,我们强调TEC模型的计算成本和预测风险之间的权衡。通过大量的仿真和实际数据的例子验证了该方法的有效性。我们准备了一个用于应用TEC的python包,可以在我们的GitHub上找到。
2021-02-26 cs.LG stat.ML
SafeML: Safety Monitoring of Machine Learning Classifiers through Statistical Difference Measure
University of Hull(赫尔大学);Fraunhofer Institute for Experimental Software Engineering, IESE(弗劳恩霍夫实验软件工程研究所(IESE));Fraunhofer-Gesellschaft(弗劳恩霍夫协会);APD Communications(APD通信公司);Nuremberg Tech(纽伦堡应用技术大学)
确保机器学习(ML)的安全性和可解释性是一个越来越相关的主题,因为数据驱动的应用程序冒险进入安全关键的应用领域,传统上致力于高安全标准,不满足于其他不可访问的黑盒系统的独家测试方法。特别是安全与安保之间的相互作用是一个核心挑战,因为违反安全规定可能导致安全受到损害。本文对在ML系统运行期间适用的单一保护概念中解决安全性和安全性的贡献是基于经验累积分布函数(ECDF)的距离测量对数据驱动系统的行为和操作上下文进行主动监控。我们研究了抽象数据集(XOR,Spiral,Circle)和当前用于模拟网络流量的入侵检测的特定安全数据集(CICIDS 2017),使用分布式移位检测措施,包括Kolmogorov-Smirnov,Kuiper,Anderson-Darling,Wasserstein和混合Wasserstein-Anderson-Darling措施。我们的初步研究结果表明,该方法可以提供一个基础,检测是否ML组件的应用程序上下文是有效的安全性。我们的初步代码和结果可以在https://github.com/ISorokos/SafeML上找到。
2020-05-27 cs.CR cs.LG stat.ML
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
Prototype-based classifiers in the presence of concept drift: A modelling framework
University of Groningen(格罗宁根大学);Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence(伯努利数学、计算机科学与人工智能研究所);Bielefeld University(比勒费尔德大学)
我们提出了一个建模框架,在非平稳环境中的原型为基础的分类器的调查。具体来说,我们研究了从高维聚类数据流中训练的学习矢量量化(LVQ)系统。我们考虑了标准的赢家通吃更新,称为LVQ1。输入数据的统计属性在训练过程定义的时间尺度上变化。我们应用从统计物理学借来的分析方法,这些方法以前曾用于精确描述静态环境中的学习。建议的框架有利于学习曲线的计算中存在的虚拟和真实的概念漂移。在这里,我们专注于训练数据中的时间依赖类偏差。第一个结果表明,虽然基本LVQ算法适用于非平稳环境中的训练,但权重衰减作为遗忘的显式机制并不能提高所考虑的漂移过程下的性能。
2019-03-18 cond-mat.dis-nn cs.LG stat.ML
Statistical Linear Models in Virus Genomic Alignment-free Classification: Application to Hepatitis C Viruses
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
本研究系统评估了统计线性模型在病毒基因组比对无关分类中的表现,应用于丙型肝炎病毒,考虑了分类器类型、超参数、任务和序列长度等因素,并提供了基准数据以促进稳健评估。
2024-05-28 cs.LG q-bio.GN stat.ML
Functional Correlations in the Pursuit of Performance Assessment of Classifiers
Saint Petersburg State University(圣彼得堡国立大学);Western University(韦仕敦大学)
在统计分类和机器学习中,以及在社交及其他科学中,已经提出了许多关联度量来评估和比较个体分类器、评级器以及它们的组。在本文中,我们介绍,证明,并探讨了几个新的措施的关联,我们称之为CO-,ANTI-和COANTI-相关系数,我们证明是强大的工具分类混淆矩阵。我们说明了这些新的系数的性能,使用一些例子,从中我们还得出结论,系数是新的对象,在这个意义上,他们已经在文献中的不同。
2020-02-01 cs.LG math.ST stat.AP
Linear Classifier Combination via Multiple Potential Functions
Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
基于分类的模型构建过程的一个重要方面是评分函数的校准。校准过程的弱点之一是它没有考虑关于特征空间中所识别的对象的相对位置的信息。为了减轻这种限制,在本文中,我们提出了一种新的概念,计算的基础上的距离的对象从决策边界和它的距离类质心的评分函数。一个重要的属性是,所提出的评分函数具有相同的性质,所有的线性基分类器,这意味着这些分类器的输出是平等地表示,并具有相同的含义。将该方法与其他集成算法进行了比较,并在多个Keel数据集上进行了实验,验证了该方法的有效性。为了讨论我们的实验结果,我们使用多分类性能指标和统计分析。
2020-10-02 cs.LG stat.ML
Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting
Purdue University(普渡大学);New Jersey Institute of Technology(新泽西理工学院)
用神经网络构建的分类器可以很好地处理大规模高维数据,例如来自计算机视觉的面部图像,而传统的统计方法往往失败得很惨。在本文中,我们试图通过推导超额风险的收敛率来理解高维分类的经验成功。特别地,提出了一个教师-学生框架,该框架假设贝叶斯分类器被表示为ReLU神经网络。在这种设置中,我们获得了急剧的收敛速度,即,$\tilde{O}_d(n^{-2/3})$,用于使用0-1损失或铰链损失训练的分类器。当数据分布是可分离的时,该速率可以进一步提高到$\tilde{O}_d(n^{-1})$。这里,$n$表示样本量。一个有趣的观察结果是,数据维度仅对上述比率中的$\log(n)$项有贡献。这可以为深度神经网络在高维分类中的经验成功提供一种理论解释,特别是对于结构化数据。
2020-02-01 cs.LG stat.ML
Discriminative calibration: Check Bayesian computation from simulations and flexible classifier
Flatiron Institute(熨斗研究所);University of Massachusetts(马萨诸塞大学)
本文提出判别式校准方法,用灵活分类器替代 SBC 秩检验,从数据中学习检验统计量,以获得更高统计功效和可解释的误校准散度度量,适用于无似然推断及 MCMC、变分推断等贝叶斯计算方法。
2023-10-27 cs.LG stat.CO stat.ML
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University(杜克大学)
随着机器学习(ML)变得越来越强大且易于访问,攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中,攻击者可以访问个人、软件或系统的某些数据(称为公共数据);并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功,是因为私有数据与公共数据在统计上相关,而ML分类器可以捕获这种统计相关性。在本章中,我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是,攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此,我们可以将ML的漏洞转化为对推理攻击的防御。例如,ML分类器很容易受到对抗性示例的影响,这些示例会向正常示例添加精心制作的噪音,以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击,我们可以在公共数据中添加精心制作的噪音,将它们变成对抗性的例子,这样攻击者的分类器就会对私有数据做出错误的预测。然而,现有的构建对抗性示例的方法是不够的,因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中,我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Estimating Continuous Distributions in Bayesian Classifiers
当用贝叶斯网络对概率分布建模时,我们面临着如何处理连续变量的问题。大多数以前的工作要么解决了离散化的问题,或假设数据是由一个单一的高斯。在本文中,我们放弃了正态性假设,而是使用非参数密度估计的统计方法。对于一个朴素贝叶斯分类器,我们提出了各种自然和人工领域的实验结果,比较两种方法的密度估计:假设正态分布和建模每个条件分布与一个单一的高斯,并使用非参数核密度估计。我们观察到大量的减少在几个自然和人工数据集的错误,这表明核估计是一个有用的工具,学习贝叶斯模型。
2013-02-20 cs.AI cs.LG stat.ML
Statistical-mechanical analysis of pre-training and fine tuning in deep learning
Kyoto University(京都大学)
在本文中,我们提出了深度学习的物理力学分析。我们阐明了深度学习的一些基本组成部分-通过无监督学习进行预训练和通过监督学习进行微调。我们制定了从训练数据中提取的特征作为一个利润标准,在高维特征向量空间。然后,自组织分类器会被提供少量的标记数据,就像在深度学习中一样。虽然我们采用了一个简单的单层感知器模型,而不是直接分析多层神经网络,我们发现一个非平凡的相变,这是依赖于未标记的数据的数量在所得到的分类器的泛化误差。从这个意义上说,我们评估了深度学习的无监督学习组件的有效性。分析是由复制方法,这是一个复杂的工具,在统计力学。我们以深度学习的方式验证了我们的结果,使用一个简单的迭代算法在信念传播的基础上学习权重向量。
2015-01-19 cond-mat.dis-nn cond-mat.stat-mech cs.AI
A Statistical Model for Predicting Generalization in Few-Shot Classification
IMT Atlantique(大西洋国立高等工业技术与矿业学校);CNRS(法国国家科学研究中心);Sony Europe(索尼欧洲公司);Mila(米拉研究所)
分类器的泛化误差的估计往往依赖于验证集。这样的集合在少样本学习场景中几乎不可用,这是该领域中被高度忽视的缺点。在这些场景中,通常依赖于从预训练的神经网络中提取的特征,并结合基于距离的分类器,如最近类均值。在这项工作中,我们引入了一个高斯模型的特征分布。通过对模型参数的估计,我们能够在小样本的情况下预测新分类任务的泛化误差。我们观察到,类条件密度之间的准确距离估计是准确估计泛化性能的关键。因此,我们提出了一个无偏估计这些距离,并将其集成在我们的数值分析。我们的经验表明,我们的方法优于替代品,如留一交叉验证策略。
2023-03-28 cs.AI cs.CV cs.LG
Statistical learning on measures: an application to persistence diagrams
Kyoto University(京都大学)
本文提出了一种基于度量的统计学习方法,应用于持续图的分类问题,通过拓扑描述符实现高效的分类性能。
2026-01-12 cs.CG math.ST stat.ML