Stabilized Nearest Neighbor Classifier and Its Statistical Properties
Yahoo! Labs(雅虎实验室);Binghamton University, State University of New York(纽约州立大学宾汉姆顿分校);Purdue University(普渡大学);Princeton University(普林斯顿大学)
统计分析的稳定性是再现性的重要指标,是科学方法的主要原则之一。这意味着可以根据来自同一基本人口的独立样本得出类似的统计结论。在本文中,我们介绍了一个一般的措施,分类不稳定性(CIS)量化的抽样变异的预测分类方法。有趣的是,任何加权最近邻分类器的渐近CIS都与其权重向量的欧几里德范数成比例。基于这种简洁的形式,我们提出了一个稳定的最近邻(SNN)分类器,它区别于其他最近邻分类器,通过考虑稳定性。在理论上,我们证明了SNN在风险下具有极大极小最优收敛速度,在CIS下具有锐收敛速度。后者率的结果是建立在低噪声条件下的一般插件分类器。大量的模拟和真实的例子表明,SNN实现了相当大的改善CIS比现有的最近邻分类器,具有相当的分类精度。我们在一个公开可用的R包snn中实现了该算法。
2015-08-30 cs.LG stat.ML
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所 (IDSIA));University of Ljubljana(卢布尔雅那大学)
通常人们通过零假设显著性检验(nhst)来比较两个竞争分类器的准确性。然而,nhst测试遭受的重要缺点,这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型,共同分析交叉验证结果,由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是,通过联合分析所有数据集上获得的结果,与对给定数据集上获得的交叉验证结果进行平均的通常方法相比,它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory
Peking University(北京大学);Yale University(耶鲁大学);Princeton University(普林斯顿大学)
本文提出了条件扩散模型的尖锐统计理论,给出了适应数据平滑性并匹配极小极大下界的样本复杂度界,并通过扩散泰勒近似技术分析条件得分函数,阐明了其在强化学习、逆问题和奖励条件生成等应用中的性能。
2024-03-18 cs.LG math.ST stat.ML
Empirical Validation of the Classification-Verification Dichotomy for AI Safety Gates
研究通过实证表明,基于分类器的安全闸门在AI系统经过数百次迭代后无法维持可靠监管,且结构上无法实现。
2026-03-31 cs.AI cs.LG stat.ML
Statistical Comparisons of Classifiers by Generalized Stochastic Dominance
Ludwig-Maximilians-Universität(慕尼黑大学)
本文提出基于偏好系统和广义随机占优的分类器比较框架,通过线性规划与观测随机化检验,实现多数据集、多准则下的统计比较,避免依赖聚合指标。
2023-07-05 cs.LG stat.ME stat.ML
Using Deep Learning for Detecting Spoofing Attacks on Speech Signals
CPqD Foundation(CPqD基金会);University of Campinas(坎皮纳斯州立大学)
众所周知,说话人确认系统容易受到欺骗攻击。自动说话人验证欺骗和对策挑战-ASVSpoof 2015-提供了一个标准的欺骗数据库,包含基于合成语音的攻击,以及用于实验的协议。本文介绍了CPqD提交给ASVSpoof 2015挑战赛的系统,该系统基于深度神经网络,既可作为GMM和SVM分类器的分类器,也可作为特征提取模块。实验结果表明了该方法的有效性,对已知攻击的EER小于0.5%.
2016-01-19 cs.CL cs.CR cs.LG
How to Control the Error Rates of Binary Classifiers
University of Belgrade(贝尔格莱德大学);Studentski trg 1, 11000 Belgrade
传统的二进制分类框架构造的分类器可能具有良好的准确性,但其假阳性和假阴性错误率不受用户的控制。在许多情况下,其中一个错误是更严重的,只有相应的比率低于预定义的阈值的分类器是可接受的。在这项研究中,我们结合二进制分类与统计假设检验,以控制目标错误率已经训练的分类器。特别是,我们将展示如何将二进制分类器转换为统计测试,计算分类p值,并使用它们来限制目标错误率。
2020-10-21 cs.LG stat.ML
Information-Theoretic Limits of Safety Verification for Self-Improving Systems
研究安全验证在允许无界有益自修改的同时维持有限累积风险的理论极限,提出双条件并建立其兼容性理论。
2026-04-02 cs.AI cs.LG stat.ML
Classifier comparison using precision
Simon Fraser University(西蒙菲莎大学)
新提出的模型通常使用统计显著性检验与最先进的模型进行比较。文献是稀缺的分类器比较使用的指标,而不是准确性。我们提出了一个调查的统计方法,可用于分类器比较使用精度,占精度间的相关性所产生的使用相同的数据集。使用每类精度和方法进行比较,以测试整体模型比较的全局零假设。比较扩展到多个多类分类器和使用交叉验证或其变体的模型。当一类人群患病率已知时,引入部分贝叶斯精度更新。比较深的架构的应用程序进行了研究。
2016-11-16 cs.LG stat.ML
Inferring the ground truth through crowdsourcing
University Of Passau(帕绍大学)
普遍有效的真值几乎不可能获得,或者成本非常高。对于没有普遍有效的真值的监督学习,推荐的方法是应用众包:收集由多个可能具有不同专业知识水平的个体注释的大型数据集,并推断真值数据用作标签以训练分类器。然而,由于手头问题的敏感性(例如乳腺癌组织学图像中的有丝分裂检测),所获得的数据在用于分类器训练之前需要验证和适当的评估。即使在有机计算系统的上下文中,无可争辩的真值也可能并不总是存在。因此,应该通过对每个自主智能体的局部知识的聚合和验证来推断。
2018-07-31 cs.HC cs.LG stat.ML
Are Odds Really Odd? Bypassing Statistical Detection of Adversarial Examples
University of Washington(华盛顿大学)
众所周知,深度学习分类器容易受到对抗性样本的影响。最近在ICML 2019上发表的一篇论文提出了一种统计测试检测方法,该方法基于对噪声对抗性示例的logits偏向真实类的观察。在CIFAR-10数据集上对该方法进行了评估,结果表明该方法在只有1%假阳性率(FPR)的情况下达到了99%的真阳性率(TPR)。在本文中,我们首先开发了一种基于分类器的自适应统计测试方法,并表明它提高了检测性能。然后,我们提出了Logit模仿攻击方法来生成对抗性的例子,使他们的logits模仿那些良性的图像。我们表明,我们的攻击绕过了统计测试和基于分类器的方法,即使在FPR为5%的情况下,它们的TPR也分别降低到低于2:2%和1:6%。最后,我们证明了一个基于分类器的检测器,它是用模仿对抗性例子的logits训练的,可以被一个专门针对检测器的自适应攻击者所规避。此外,即使是经过迭代训练以抵御自适应攻击者的检测器也不能变得鲁棒,这表明logits的统计数据不能用于检测对抗性示例。
2019-07-28 cs.CR cs.LG stat.ML
Writer-independent Feature Learning for Offline Signature Verification using Deep Convolutional Neural Networks
Federal University of Parana(巴拉那联邦大学)
在过去的几十年里,自动离线手写签名验证已经从几个角度进行了研究,使用来自笔迹学,计算机视觉,信号处理等的见解。尽管在该领域取得了进展,但构建能够区分真实签名和熟练伪造者(针对特定签名的伪造者)的分类器仍然很困难。我们建议从特征学习的角度来处理这个问题。我们的假设是,在缺乏良好的数据生成过程模型的情况下,最好从数据中学习特征,而不是使用与签名生成过程没有相似之处的手工特征。为此,我们使用深度卷积神经网络以独立于作者的格式学习特征,并使用该模型获得另一组用户的特征表示,在那里我们训练依赖于作者的分类器。我们在两个数据集上测试了我们的方法:GPDS-960和Brazilian PUC-PR。我们的实验结果表明,在一个用户子集中学习到的特征对其他用户是有区别的,包括在不同的数据集上,接近GPDS数据集的最先进水平,并提高了Brazilian PUC-PR数据集的最先进水平。
2016-04-04 cs.CV stat.ML
Topological and Statistical Behavior Classifiers for Tracking Applications
Duke University(杜克大学);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出基于多假设跟踪、拓扑数据分析和机器学习的统一理论,通过拓扑特征编码行为信息,利用统计模型拟合拓扑特征分布,并结合目标类型分类方法提升跟踪性能。
2014-06-01 cs.SY eess.SY math.AT
Statistical Multicriteria Benchmarking via the GSD-Front
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出基于广义随机占优排序的GSD前沿方法,用于在多个质量指标下进行统计可靠的分类器比较,并构造了相应的统计估计与检验,在PMLB和OpenML上验证了其有效性。
2024-06-06 cs.LG stat.ME stat.ML
Statistical Guarantees for Fairness Aware Plug-In Algorithms
American Express(美国运通)
在(Menon & Williamson,2018)中提出了一种估计贝叶斯最优分类器的插件算法。然而,他们的方法的统计效力尚未确定。我们证明了插件算法是统计一致的。我们还得到有限样本保证学习贝叶斯最优分类器通过插件算法。最后,我们提出了一个协议,修改插件的方法,以便同时保证公平性和差分隐私方面的二进制特征被认为是敏感的。
2021-07-27 cs.LG stat.ML
Analyzing features learned for Offline Signature Verification using Deep CNNs
Federal University of Parana(巴拉那联邦大学)
离线手写签名验证研究探索了大量的手工特征提取,从笔迹,纹理描述符到兴趣点。尽管在过去的几十年中取得了进步,但当我们针对特定个体的熟练伪造签名伪造者测试系统时,这种系统的性能仍然远远不是最佳的。在以前的研究中,我们提出了一个问题的公式,使用深度卷积神经网络(CNN)以独立于写入器的格式从数据(签名图像)中学习特征,以提高任务的性能。在这项研究中,我们进一步推动了这种方法的性能,探索了一系列的架构,并在GPDS数据集上获得了最先进的性能的大幅改善,GPDS数据集是该任务中最大的公开数据集。在GPDS-160数据集中,我们获得了2.74%的相等出错率,而文献中发表的最佳结果为6.97%(使用多个分类器的组合)。我们还提出了一个视觉分析的模型学习的特征空间,并分析了分类器的错误。我们的分析表明,该模型在分离具有不同全局外观的签名方面非常有效,同时特别容易受到与真实签名非常相似的伪造的影响,即使它们的线路质量很差,这就是缓慢跟踪伪造的情况。
2016-08-26 cs.CV stat.ML
Money on the Table: Statistical information ignored by Softmax can improve classifier accuracy
University of Washington(华盛顿大学);Global Good Research(Global Good研究院)
Softmax是神经网络(NN)中使用的标准最终层,用于总结训练NN中编码的信息并返回预测。然而,Softmax只利用了训练模型中编码的类特定结构的子集,并忽略了潜在的有价值的信息:在训练期间,模型编码类响应分布的阵列$D$,其中$D_{ij}$是$j^{th}$前Softmax读出神经元对$i^{th}$类的响应的分布。给定一个测试样本,Softmax隐式地只使用这个数组$D$中对应于读出神经元对样本真实类的响应的行。利用更多的这个阵列$D$可以提高分类器的准确性,因为两个竞争类的可能性可以在$D$的其他行中编码。为了探索这种潜在的资源,我们开发了一种混合分类器(Softmax池混合,$SPH$),它使用Softmax对高分样本,但对低分样本使用对数似然方法,池的信息从全阵列$D$。我们将$SPH$应用于在矢量化MNIST数据集上训练的模型,以达到不同的准确度。仅在测试时,$SPH$仅替换训练NN中的最后Softmax层。所有训练都与Softmax相同。由于池化分类器在低得分样本上的性能优于Softmax,因此$SPH$使用完全相同的训练模型将测试集误差降低了6%至23%,而无论Softmax的基线精度如何。这种误差的减少反映了Softmax未使用的训练NN的隐藏容量。
2019-12-06 cs.LG stat.ML
A Statistical Test for Probabilistic Fairness
EPFL(洛桑联邦理工学院);Stanford University(斯坦福大学)
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学,医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息,但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣,该学习旨在量化和减轻算法歧视。事实上,机器学习模型应该在大规模部署之前进行密集测试,以检测算法偏差。在本文中,我们使用最优传输理论的思想,提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状,测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制,用于评估任何预先训练的逻辑分类器的概率公平性,我们在理论上和经验上都表明,所提出的测试是渐进正确的。此外,所提出的框架提供了可解释性,通过识别数据的最有利的扰动,使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Suitability Filter: A Statistical Framework for Classifier Evaluation in Real-World Deployment Settings
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
提出 suitability filter 统计框架,通过统计假设检验对比模型输出特征的经验分布,在无标签数据下检测分类器因协变量偏移导致的性能退化,实现高风险应用的主动故障缓解。
2025-05-28 cs.AI cs.CY cs.LG
Learning Mixtures of Linear Classifiers
Stanford University(斯坦福大学);Technicolor(特艺集团)
我们考虑一个判别学习(回归)问题,其中回归函数是k个线性分类器的凸组合。现有的方法是基于EM算法,或类似的技术,没有可证明的保证。我们开发了一个简单的方法,基于频谱技术和“镜像”技巧,发现子空间跨越的分类器的参数向量。在特征向量分布的概率假设下,我们证明了这种方法具有接近最优的统计效率。
2014-07-30 cs.LG stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab(英特尔人工智能实验室)
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近,越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务,这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论,该神经网络经过训练,使用softmax输出和交叉熵损失解决分类任务,解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点,同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比,一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉,多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益,而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
Differentially Private Algorithms for Statistical Verification of Cyber-Physical Systems
University of Florida(佛罗里达大学);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
统计模型检验是一类顺序算法,其可以验证信息物理系统的集合上的感兴趣的规范(例如,是否99%的汽车从一批满足要求的能源效率)。这些算法通过抽取足够数量的独立同分布样本来推断具有可证明的统计保证的系统满足给定规格的概率。在统计模型检验的过程中,样本的值(例如,用户的汽车能量效率)可能被入侵者推断,引起消费者级应用中的隐私问题(例如,汽车和医疗设备)。本文从差分隐私的角度研究了统计模型检验算法的隐私问题。这些算法是连续的,绘制样本直到满足其值的条件。我们表明,透露抽取的样本数量可能会侵犯隐私。我们还表明,标准的指数机制,随机化的算法的输出,以实现差分隐私未能做到这一点的上下文中的顺序算法。相反,我们放松了保守的要求,在差分隐私的算法的输出的灵敏度应该是有界的任何数据集的任何扰动。本文提出了一种新的差分隐私概念,我们称之为期望差分隐私。然后,我们提出了一种新的预期灵敏度分析的顺序算法,并提出了相应的指数机制,随机终止时间,以实现预期的差分隐私。我们提出的机制,统计模型检验算法,以保护隐私的样本,他们提请。所提出的算法的效用证明在一个案例研究。
2022-06-27 cs.CR cs.LG stat.ML
A Bayes consistent 1-NN classifier
Ben Gurion University(本-古里安大学)
我们表明,一个简单的修改的1-最近邻分类器产生一个强贝叶斯一致的学习。在这项工作之前,唯一的强贝叶斯一致的基于近似的方法是k-最近邻分类器,k随着样本大小适当地增长。我们将认为,一个边缘正则化的1-NN享有相当大的统计和算法优势的k-NN分类。这些包括用户友好的有限样本误差范围,以及时间和内存有效的学习和测试点评估算法,具有原则性的速度-准确性权衡。令人鼓舞的实证结果报告。
2018-08-17 cs.LG stat.ML
Statistical Analysis of using the Shapley Value for Sensor Anomaly Localization with Accurate Classifiers
Electrical and Computer Engineering Department of Lehigh University(莱斯大学电气与计算机工程系)
本文通过数学定义的二元最优分类器分析Shapley值在传感器异常定位中的性能,证明在独立观测下等价于低复杂度测试,而在相关双变量高斯/拉普拉斯场景下两者存在本质差异,并首次提供理论统计结果。
2026-05-30 cs.LG eess.SP stat.ML