Decoding machine learning benchmarks
Faculdade de Computação, Universidade Federal do Pará(帕拉联邦大学计算机学院);Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Instituto Tecnológico Vale(淡水河谷技术研究所)
尽管基准机器学习(ML)存储库(例如,UCI,OpenML),目前还没有标准的评估策略能够指出哪一组数据集是测试不同ML算法的最佳黄金标准。在最近的研究中,项目反应理论(IRT)已经成为一种新的方法来阐明什么应该是一个好的ML基准。本文应用项目反应理论(IRT)对著名的OpenML-CC 18基准进行了探索,以确定它在分类器评估中的适用性。使用IRT模型评估了从经典分类器到集成分类器的几种分类器,该模型可以同时估计数据集难度和分类器的能力。在项目反应理论的基础上,采用Glicko-2评分系统,对分类者的内在能力和倾向性进行了总结。据观察,并非所有来自OpenML-CC 18的数据集都对评估分类器非常有用。在这项工作中评估的大多数数据集(84%)通常包含简单的实例(例如,只有10%的困难情况)。此外,在这个基准测试的一半中,80%的实例都是非常有区别的实例,这对于成对算法比较非常有用,但对于推动分类器的能力没有帮助。本文介绍了这种新的评价方法的基础上IRT以及工具decodIRT,开发来指导IRT估计ML基准。
2020-08-19 cs.LG stat.ML
The SAMME.C2 algorithm for severely imbalanced multi-class classification
Towson University(陶森大学);University of Connecticut(康涅狄格大学)
分类预测建模涉及将数据集中的观测值准确分配给目标类别或类别。有一个现实世界的分类问题,严重不平衡的类分布的增长。在这种情况下,少数类比多数类有更少的观察来学习。尽管这种稀疏性,少数类通常被认为是更有趣的类,但开发适合观察的科学学习算法带来了无数的挑战。在这篇文章中,我们提出了一种新的多类分类算法,专门处理严重不平衡的类的基础上,我们称为SAMME. C2的方法。它融合了SAMME算法(一种多类分类器)和Ada.C2算法(一种成本敏感的二进制分类器,旨在解决高度类不平衡问题)的增强技术的灵活机制。我们不仅提供了由此产生的算法,但我们也建立了我们提出的SAMME. C2算法的科学和统计公式。通过数值实验研究不同程度的分类器的难度,我们证明了我们提出的模型一致的优越性能。
2021-12-30 cs.LG stat.ML
Improving Adaptive Conformal Prediction Using Self-Supervised Learning
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
保形预测是一个强大的不确定性量化的无分布工具,建立有效的预测区间与有限样本的保证。为了产生有效的间隔,也适应每个实例的难度,一种常见的方法是计算一个单独的校准集上的归一化不一致性分数。自监督学习已被有效地用于许多领域,以学习下游预测器的一般表示。然而,除了模型预训练和表示学习之外,自我监督的使用在很大程度上还没有被探索过。在这项工作中,我们研究了自我监督的借口任务如何提高共形回归的质量,特别是通过提高共形区间的适应性。我们训练一个辅助模型,在现有的预测模型的基础上,使用自监督的借口任务,并使用自监督的错误作为一个额外的功能来估计不合格分数。我们经验证明的好处,额外的信息使用合成和真实的数据上的效率(宽度),赤字,和过剩的共形预测区间。
2023-02-23 cs.LG stat.ML
Deep Weighted Averaging Classifiers
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
深度学习的最新进展在各种类型的数据(包括图像和文本)的分类准确性方面取得了令人印象深刻的进步。然而,尽管取得了这些进展,人们对这些模型的校准、鲁棒性和可解释性提出了担忧。在本文中,我们提出了一种简单的方法来修改任何传统的深度架构,以自动为分类决策提供更透明的解释,以及每个预测可信度的直观概念。具体来说,我们借鉴了非参数核回归的思想,并提出基于训练实例的加权和来预测标签,其中权重由学习的实例嵌入空间中的距离确定。在共形方法的框架内工作,我们提出了一个新的措施,我们的模型建议的不一致性,并通过实验验证了相应的理论预期,表现出更高的透明度,控制出错率,并鲁棒性域外数据,而不影响精度或校准。
2018-11-18 cs.LG stat.ML
Covariate Shift Estimation based Adaptive Ensemble Learning for Handling Non-Stationarity in Motor Imagery related EEG-based Brain-Computer Interface
University of Essex(埃塞克斯大学);Ulster University(阿尔斯特大学);Swansea University(斯旺西大学);California State University Fresno(加州州立大学弗雷斯诺分校)
脑电信号的非平稳特性使得基于脑电信号的脑机接口成为一个动态系统,提高其性能是一个具有挑战性的课题。此外,众所周知,由于基于非平稳性的协变量偏移,基于EEG的BCI系统的输入数据分布在会话间和会话内转换期间改变,这给在线自适应数据驱动系统的开发带来了很大的困难。以前已经使用了包围学习方法来应对这一挑战。然而,基于被动方案的实现导致效率低下,同时增加了高计算成本。针对运动想象相关脑电分类中的非平稳性问题,提出了一种新的协变量偏移估计与无监督自适应集成学习(CSE-UAEL)相结合的方法。所提出的方法首先采用指数加权移动平均模型检测的协变量偏移的共同空间模式的特点,从MI相关的脑反应提取。然后,分类器集合被创建并随时间更新,以考虑流传输输入数据分布的变化,其中新的分类器根据估计的偏移被添加到集合。此外,使用两个公开的BCI相关的EEG数据集,所提出的方法进行了广泛的比较,与最先进的基于单分类器的被动方案,基于单分类器的主动方案和基于集成的被动方案。实验结果表明,所提出的主动模式集成学习算法显着提高脑机接口在MI分类的性能。
2018-05-02 cs.LG stat.ML
The Art of Misclassification: Too Many Classes, Not Enough Points
Universidad Simón Bolívar(simón bolívar大学);Grupo de Investigación en Ecología y Biogeografía. Universidad de Pamplona(生态与生物地理学研究组,帕尔米拉大学)
本文提出基于熵的分类可行性度量,用于量化分类任务的固有难度,并揭示分类性能的理论极限。
2025-02-12 cs.IT cs.LG math.IT
Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification
Perle(珀尔)
本研究构建涵盖11种音频分类方法的分层基准,在2242个音频片段的闭集声源识别任务中评估性能,发现Gemini-3.1-Pro-Preview表现最优,还分析了Gemini模型的思维链特性并给出方法选择指导。
2026-08-04 cs.AI cs.SD
Benchmarking Instance-Dependent Label Noise with Controlled Corruptions
University of California, Berkeley(加州大学伯克利分校)
提出CILN框架,通过受控输入扰动生成实例相关标签噪声,构建90个基准设置,揭示噪声结构对算法行为的重要影响。
2026-06-16 cs.DB cs.LG
Online local pool generation for dynamic classifier selection: an extended version
Universidade Federal de Pernambuco(伯南布哥联邦大学);École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
动态分类器选择(DCS)技术在选择池中最胜任的分类器时有困难,即使当其存在被保证时。由于DCS技术仅依赖于本地数据来估计分类器的能力,因此池的生成方式可能会影响给定样本的最佳分类器的选择。也就是说,生成池的全局视角可能无助于DCS技术为可能被错误标记的样品选择合格的分类器。因此,我们在这项工作中提出了一个在线池生成方法,产生一个本地准确的池测试样本的特征空间的困难地区。给定区域的分类难度取决于该区域内样本的分类难度,这样,通过使用在局部范围内生成的分类器,DCS技术可以更容易地为困难样本选择最佳分类器。对于容易区域中的查询样本,使用简单的最近邻规则。在这项工作的扩展版本,实例硬度和DCS技术的性能之间的相关性进行了深入的分析。一个实例硬度的措施,传达了当地的类重叠的程度,然后用来决定当本地池中使用所提出的计划。所提出的方法产生了显着更大的识别率相比,Bagging生成的池和其他两个全球池生成计划的所有DCS技术进行评估。所提出的方案的性能也显着优于三个国家的最先进的分类模型,统计上相当于其中五个。此外,在这个版本中提出了一个扩展的分析所提出的方法和几个DS技术的计算复杂性。我们还提供了使用GitHub上的DESLib库实现所提出的技术。
2018-09-05 cs.AI cs.LG stat.ML
Quality over Quantity: An Effective Large-Scale Data Reduction Strategy Based on Pointwise V-Information
Dalian Maritime University(大连海事大学)
本文提出基于逐点V信息的数据缩减策略,通过移除低难度样本并渐进训练,在减少10%-30%数据时准确率仅降0.0001%-0.76%,且提升0.8%准确率,并扩展至中文NLP任务。
2025-08-08 cs.AI cs.LG
Jailbreak Defense in a Narrow Domain: Limitations of Existing Methods and a New Transcript-Classifier Approach
MIT(麻省理工学院);Speechmatics(斯皮奇matics公司);MATS(MATS机构);Stanford University(斯坦福大学);Constellation(康斯特莱申公司);University of Oxford(牛津大学);Anthropic(Anthropic公司)
本文以防 LLM 协助制造炸弹为窄领域案例,评估安全训练、对抗训练和输入/输出分类器等越狱防御,提出表现更优但仍非完全可靠的对话记录分类器方法。
2024-12-03 cs.AI cs.CL cs.CR
On the Difficulty of Defending Self-Supervised Learning against Model Extraction
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
自监督学习(SSL)是一种越来越流行的ML范式,它训练模型将复杂的输入转换为表示,而不依赖于显式标签。这些表示编码相似性结构,使多个下游任务的有效学习。最近,ML即服务提供商已经开始通过推理API提供经过训练的SSL模型,这些模型可以将用户输入转换为有用的表示形式。然而,训练这些模型所涉及的高成本以及它们在API上的暴露都使得黑盒提取成为现实的安全威胁。因此,我们探讨了对SSL的模型窃取攻击。与输出标签的分类器上的传统模型提取不同,受害者模型在这里输出表示;与分类器输出的低维预测分数相比,这些表示具有显着更高的维度。我们构建了几种新的攻击,并发现直接对受害者的被盗表示进行训练的方法是查询高效的,并且能够为下游模型提供高精度。然后,我们表明,现有的防御模型提取是不够的,不容易改造的SSL的特异性。
2022-06-29 cs.AI cs.CR cs.LG
Bending the Curve: Improving the ROC Curve Through Error Redistribution
Technion(以色列理工学院)
分类性能在数据上通常是不一致的。输入空间中的某些区域比其他区域更容易分类。包含有关数据“难度”信息的特征可能是非歧视性的,因此在分类过程中被忽略。我们提出了一种元学习方法,其中性能可以通过后处理来提高。这种改进是通过在基本分类器结果上建立动态阈值来完成的。由于基本分类器被视为一个“黑盒子”,所提出的方法可以用于任何国家的最先进的分类器,以尝试提高其性能。我们把注意力集中在如何更好地控制被称为ROC曲线的真阳性/假阳性权衡。我们提出了一种算法,用于推导最佳阈值,通过重新分配的错误取决于功能,持有有关困难的信息。我们证明了合成和现实生活中的数据所带来的好处。
2016-05-21 cs.LG
VeriDispatcher: Multi-Model Dispatching through Pre-Inference Difficulty Prediction for RTL Generation Optimization
NYU Tandon School of Engineering(纽约大学Tandon工程学院);NYU Abu Dhabi(纽约大学阿布扎赫尔分校)
VeriDispatcher通过预推理难度预测调度多个LLM,提高RTL生成的准确性和降低成本。
2025-11-27 cs.AI cs.LG
VaB-AL: Incorporating Class Imbalance and Difficulty with Variational Bayes for Active Learning
Chung-Ang University(中央大学);University of British Columbia(不列颠哥伦比亚大学);Samsung SDS(三星SDS);University of Birmingham(伯明翰大学)
判别模型的主动学习在很大程度上是集中在单个样本上研究的,而不太强调类是如何分布的,或者哪些类是难以处理的。在这项工作中,我们表明这是有害的。我们提出了一种基于贝叶斯规则的方法,可以自然地将类不平衡纳入主动学习框架。我们得出,在估计分类器对给定样本犯错误的概率时,应同时考虑三个术语:i)错误标记类的概率,ii)给定预测类的数据的可能性,以及iii)预测类丰度的先验概率。实现这些条款需要一个生成模型和一个棘手的似然估计。因此,我们为此目的训练了变分自动编码器(VAE)。为了进一步将VAE与分类器联系起来并促进VAE训练,我们使用分类器的深度特征表示作为VAE的输入。通过考虑所有三种概率,特别是其中的数据不平衡,我们可以在有限的数据预算下大大提高现有方法的潜力。我们表明,我们的方法可以应用于多个不同数据集的分类任务-包括一个具有严重数据不平衡的真实世界数据集-显着优于最先进的技术。
2020-12-03 cs.CV cs.LG stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University(佛罗里达州立大学)
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎,但是,较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下,提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核,称为外部Veronese Whitney Gaussian核.我们表明,我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上,实现了核岭回归分类器(KRRC)来解决$Σ_2^k$的形状分类问题,并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Generating meta-learning tasks to evolve parametric loss for classification learning
近年来,人们对元学习领域的兴趣急剧上升。在现有的元学习方法中,用于训练元模型的学习任务通常是从公共数据集中收集的,这就带来了在大量训练数据的情况下难以获得足够数量的元学习任务的困难。在本文中,我们提出了一个元学习方法的基础上随机生成的元学习任务,以获得一个参数损失的分类学习基于大数据。损失由称为元损失网络(MLN)的深度神经网络表示。为了训练MLN,我们通过随机生成训练数据、验证数据和相应的真实线性分类器来构造大量的分类学习任务。我们的方法有两个优点。首先,可以容易地获得具有大量训练数据的足够的元学习任务。第二,给出了地面实况分类器,从而可以测量学习的分类器和地面实况模型之间的差异,以更精确地反映MLN的性能,而不是验证精度。基于这种差异,我们应用进化策略算法来寻找最优MLN。所得到的MLN不仅在生成的线性分类器学习任务上取得了令人满意的学习效果,而且在生成的非线性分类器学习任务和各种公共分类任务上也表现得很好。我们的MLN稳定地超过交叉熵(CE)和均方误差(MSE)在测试的准确性和推广能力。这些结果说明了使用生成的学习任务实现满意的元学习效果的可能性。
2021-11-20 cs.AI cs.LG
$β^3$-IRT: A New Item Response Model and its Applications
University of Bristol(布里斯托大学);Universidade Federal de Pernambuco(伯南布哥联邦大学);Amazon(亚马逊);Alan Turing Institute(艾伦·图灵研究所)
项目反应理论(IRT)旨在根据被试在不同难度的能力倾向测验中回答的正确性来评估被试的潜在能力。在本文中,我们提出了$β^3$ -IRT模型,它模拟连续的反应,可以产生一个更丰富的家庭的项目特征曲线(ICC)。在实验中,我们将所提出的模型应用于来自在线考试平台的数据,并显示我们的模型在所有数据集上都优于更标准的2 PL-ND模型。此外,我们展示了如何应用$β^3$ -IRT来评估机器学习分类器的能力。这种新的应用程序的结果在一个新的度量,用于评估分类器的概率估计的质量,推断的困难和歧视的数据实例的基础上。
2019-06-03 cs.LG stat.ML
Extrapolating Expected Accuracies for Large Multi-Class Problems
多类分类的难度一般随着类的数量增加而增加。使用来自类的子集的数据,我们可以预测分类器随着类数量的增加而扩展的程度吗?在假设类是相同的,独立于人口的采样,分类器是基于独立学习的评分函数,我们表明,当分类器是在k个类训练的预期精度是(k-1)的第一时刻,可以从数据中估计的某个分布。我们提出了一个无偏估计方法的理论基础上,并展示了其应用的人脸识别的例子。
2017-12-27 cs.CV cs.LG stat.ML
Learning Debiased Classifier with Biased Committee
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对神经网络易受训练数据虚假相关性影响而泛化能力差的问题,提出无需虚假属性标签的去偏分类器训练方法,通过有偏分类器委员会识别加权偏置冲突数据并结合主分类器知识迁移,在五个数据集上性能优于同类无标签方法,部分超过有偏置标签的方法。
2023-05-01 cs.CV cs.LG
Generative Adversarial Network based Autoencoder: Application to fault detection problem for closed loop dynamical systems
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Florida(佛罗里达大学)
研究了基于不同深度学习方法的闭环不确定动态系统故障检测问题。传统的基于分类器的方法,由于固有的困难,检测闭环动态系统的系统级故障的表现并不好。具体地说,在任何闭环动态系统中,代理控制器都可以减少系统级故障的影响。设计了一种新的基于生成对抗的深度自动编码器,用于在正常和故障操作条件下对数据集进行分类。与任何可用的基于分类器的方法相比,所提出的网络表现得非常好,而且不需要标记故障合并数据集用于训练目的。最后,在一个高复杂度的建筑能源系统数据集上测试了上述网络的性能。
2018-10-19 cs.AI cs.LG stat.ML
Explaining Time Series Classifiers with PHAR: Rule Extraction and Fusion from Post-hoc Attributions
Jagiellonian Human-Centered AI Lab, Mark Kac Center for Complex Systems Research(杰克利昂人类中心人工智能实验室、马克·卡复杂系统研究中心);Institute of Applied Computer Science, Jagiellonian University(应用计算机科学研究所、杰克利昂大学)
PHAR通过提取和融合规则提升时间序列分类模型的可解释性,提供简洁的人类可读规则以增强透明度和实用性。
2026-01-16 cs.AI cs.LG
Not All Forgetting Is Equal: Retention Dynamics in Fine-Tuned Image Classifiers
School of Computer Science Engineering and Information Systems, Vellore Institute of Technology(计算机科学工程与信息系统学院,维洛雷理工学院)
研究揭示了不同架构在微调过程中对样本遗忘的差异,发现遗忘模式受架构影响,且样本难度影响遗忘稳定性,挑战了传统假设。
2026-09-22 cs.AI cs.LG
Well-calibrated Confidence Measures for Multi-label Text Classification with a Large Number of Labels
Albourne Partners (Cyprus) Ltd(阿尔本合伙(塞浦路斯)有限公司);Frederick University(弗雷德里克大学);University of West Bohemia(西波希米亚大学)
本研究针对多标签文本分类中标签幂集归纳共形预测计算效率低的问题,提出排除低p值标签集的高效方法,在多语言数据集上验证其兼具良好校准性与实用价值,且上下文嵌入分类器性能最优。
2023-12-14 cs.CL cs.LG stat.ML
Unsupervised Instance Selection with Low-Label, Supervised Learning for Outlier Detection
Elder Research, Inc.(埃尔德研究公司)
标记数据的费力过程通常会阻碍旨在利用监督机器学习的能力的项目。主动学习(AL)已经建立了一种技术,以改善这种情况下,通过一个迭代的框架,查询人类注释的标签的实例与最不确定的类分配。通过这种机制,AL产生了一个二元分类器,该分类器在较少的标记数据上训练,但预测性能几乎没有损失。尽管AL具有优势,但它在处理类别不平衡的数据集时可能会遇到困难,并导致标记过程效率低下。为了解决这些缺点,我们研究了我们的无监督实例选择(UNISEL)技术,然后在低标签条件下对10个离群值检测数据集进行随机森林(RF)分类。将这些结果与在相同数据集上执行的AL进行比较。此外,我们调查的UNISEL和AL的组合。结果表明,UNISEL其次是RF执行与RF和UNISEL和AL的组合表现出优越的性能。这些调查结果的实际影响,在节省时间和普遍性UNISEL提供了讨论。
2022-03-17 cs.AI cs.LG
$F_β$-plot -- a visual tool for evaluating imbalanced data classifiers
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
针对不平衡数据分类缺乏可靠评估指标、现有聚合指标存在偏差且无统一标准的问题,提出基于$F_β$的可视化分析方法,可根据用户需求从分类器池中优选适配模型。
2024-04-11 cs.LG
Identification and Visualization of the Underlying Independent Causes of the Diagnostic of Diabetic Retinopathy made by a Deep Learning Classifier
Universitat Rovira i Virgili(罗维拉-威尔吉利大学);University Hospital Sant Joan de Reus(雷乌斯圣约翰大学医院);Institut d’Investigació Sanitària Pere Virgili (IISPV)(佩雷·比尔吉利健康研究所(IISPV))
可解释性是设计用于医学诊断的自动分类器的关键因素。深度学习模型已被证明是一种非常有效的分类算法,当以有监督的方式训练足够的数据时。主要的问题是从它们中推断出合理解释的困难。在过去的几年里,人们进行了不同的尝试,以便将深度学习分类器从高置信度的统计黑箱机器转换为自解释模型。在本文中,我们通过识别使用深度学习模型将图像分类到某个类别的独立原因来生成解释。我们将独立成分分析与分数可视化技术相结合。在本文中,我们研究的医学问题分类眼底图像分为5级糖尿病视网膜病变。我们的结论是,只有3个独立的成分是足够的5个疾病标准类之间的区分和正确的分类。我们提出了一种方法,用于可视化它们和检测病变所生成的视觉地图。
2018-09-23 cs.LG stat.ML
How many faces can be recognized? Performance extrapolation for multi-class classification
Stanford University(斯坦福大学);Hebrew University(希伯来大学)
多类分类的难度一般随着类的数量增加而增加。使用来自类的子集的数据,我们可以预测分类器随着类数量的增加而扩展的程度吗?假设类是采样交换,并假设分类器是生成的(如QDA或朴素贝叶斯),我们表明,预期的准确性时,分类器训练$k$类是$k-1$的第一时刻的\emph{conditional accuracy distribution},这可以从数据中估计。这为基于伪验概率、无偏估计和高维渐近性的性能外推提供了理论基础。我们研究了我们的方法的鲁棒性非生成分类器在模拟和一个光学字符识别的例子。
2016-06-16 cs.CV cs.IT cs.LG
Reduced-Lead ECG Classifier Model Trained with DivideMix and Model Ensemble
AMI inc(AMI公司);Kumamoto University(熊本大学)
从减导联心电图(ECG)数据中自动诊断多种心脏异常具有挑战性。其中一个原因是难以从标准12导联数据中定义标签。由于噪声标签问题,缩减导联ECG数据通常不具有相同的心脏异常特征。因此,在减少导联和12导联ECG数据之间的注释标签中存在不一致。为了解决这个问题,我们提出了基于深度神经网络(DNN)的ECG分类器模型,该模型结合了DivideMix和随机加权平均(SWA)。DivideMix通过使用两个单独的模型来细化噪声标签。除了DivideMix之外,我们还使用了一种模型集成技术SWA,该技术也专注于噪声标签问题,以增强DivideMix生成的模型的效果。我们的分类器(ami_kagoshima)分别在12导联、6导联、4导联、3导联和2导联版本的隐藏测试集上获得了0.49、0.47、0.48、0.47和0.47的分数(在39个团队中分别排名第9、第10、第10、第11和第10)。我们在10倍交叉验证上获得了0.701、0.686、0.693、0.693和0.685的分数,在隐藏验证集上获得了0.623、0.593、0.606、0.612和0.601的分数。
2021-09-24 cs.LG
Derivative free optimization via repeated classification
Stanford University(斯坦福大学)
我们开发了一种算法,用于最小化一个功能,使用$n$批量功能值测量在每一个$T$轮,通过使用分类器,以确定一个功能的子水平集。我们证明了足够准确的分类器可以实现线性收敛速度,并表明收敛速度与主动学习子水平集的难度有关。此外,我们表明,引导是一个计算效率的近似必要的分类方案。最终结果是一个计算效率高的无导数算法,不需要调整,始终优于其他方法的模拟,标准基准,现实世界的DNA绑定优化,翼型设计问题,只要批量函数查询是自然的。
2018-04-11 cs.LG stat.ML
Multi-Level Strategic Classification: Incentivizing Improvement through Promotion and Relegation Dynamics
Electrical and Computer Engineering Department, University of Michigan, Ann Arbor, MI 48109, USA(密歇根大学电气与计算机工程系,安阿伯,MI 48109,美国)
本文提出一种多层级晋升-降级框架,通过设计分类器阈值和难度递进来激励代理人诚实努力,并证明在温和条件下代理人可通过真实改进达到任意高水平。
2026-10-06 cs.LG
The Impact of an XAI-Augmented Approach on Binary Classification with Scarce Data
Drexel University(德雷塞尔大学);University of Toronto(多伦多大学);Brooke Army Medical Center(布鲁克陆军医疗中心);Georgia Institute of Technology(佐治亚理工学院)
针对床旁超声图像阳性训练数据稀缺导致分类器易过拟合、泛化性差的问题,本研究提出可解释人工智能增强方法,助力分类器在少量数据下提升学习效果与泛化能力,以辅助临床超声解读决策。
2024-07-01 cs.AI cs.CV cs.LG
Framework Construction of an Adversarial Federated Transfer Learning Classifier
China University of Petroleum (East China)(中国石油大学(华东))
随着互联网的普及,越来越多的分类工作,如物联网,金融行业和医疗保健领域,依靠移动边缘计算来推进机器学习。然而,在医疗行业,良好的诊断准确性需要结合大量的标记数据来训练模型,这是困难和昂贵的收集和风险危及患者的隐私。在本文中,我们提供了一种新的医疗诊断框架,采用联邦学习平台,以确保患者数据的隐私,通过转移分类算法在标记域中获得的域稀疏或丢失的标记数据。我们的框架不是使用生成对抗网络,而是使用判别模型来构建多分类损失函数,目的是提高诊断准确性。它还避免了收集大量标记数据的困难或生成大量样本数据的高成本。在真实世界图像数据集上的实验表明,所提出的对抗性联邦迁移学习方法对于使用图像分类的真实世界医疗诊断应用是有希望的。
2022-11-09 cs.CR cs.LG q-bio.QM
LightPneumoNet: Lightweight Pneumonia Classifier
针对资源受限环境下大型深度学习模型部署困难的问题,提出轻量级CNN模型LightPneumoNet,仅含38万参数,在胸部X光片肺炎检测中召回率达0.99,实现低成本硬件上的高精度诊断。
2025-10-13 cs.AI cs.CV cs.LG
An Objective Performance Evaluation of the LSTM Networks in Time Series Classification
Electrical and Computer Engineering(电气与计算机工程系);University of Windsor(温莎大学)
本文提出了一种评估框架,比较了LSTM分类器与基于模型的期望最大化(EM)分类器在二元时间序列分类中的性能,发现当数据符合假设模型类时,EM分类器表现优异,而LSTM分类器需要更大的噪声统计分离度才能实现可靠的分类,且在模型仅在测量噪声上不同的情况下,其性能低于参考分类器。
2026-05-19 cs.LG eess.SP
Imbalanced malware classification: an approach based on dynamic classifier selection
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);École de technologie supérieure Université du Québec(魁北克大学高等技术学院)
针对恶意软件检测中的类别不平衡问题,提出一种针对分类器池中每个分类器单独工作的平衡程序,实证表明基于Random Forest池的KNOP算法效果最佳,且平衡降低了少数类难度并增强了恶意软件检测。
2025-04-05 cs.CR cs.LG
Aerial Image Classification in Scarce and Unconstrained Environments via Conformal Prediction
Department of Mathematical and Statistical Sciences University of Colorado Denver(数学与统计科学系 美国科罗拉多大学丹佛分校)
本文在稀缺且无约束的航空图像数据集上实证评估共形预测,发现即使数据有限,该方法也能提供可靠的置信度估计,并指出温度缩放并非总有益,模型压缩具有部署潜力。
2025-04-24 cs.AI cs.CV cs.LG
DDD: Discriminative Difficulty Distance for plant disease diagnosis
Hosei University(法政大学)
本文提出判别难度距离(DDD)度量,用于量化植物病害诊断中训练与测试数据的域差距和分类难度,并验证其与独立分类器诊断难度高度相关,为构建更稳健的数据集提供依据。
2025-01-01 cs.CV cs.LG
Optimistic Semi-supervised Least Squares Classification
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学);Leiden University Medical Center(莱顿大学医学中心)
半监督学习的目标是通过使用额外的未标记训练样本来改进监督分类器。在这项工作中,我们研究了一个简单的自学习方法,半监督学习应用于最小二乘分类。我们表明,软标签和硬标签的变体的自学习可以通过应用块坐标下降到两个相关的,但略有不同的目标函数。由此产生的软标签方法与20世纪30年代处理缺失数据的想法有关。我们表明,软标签变体通常优于基准数据集上的硬标签变体,并通过研究为相应的目标函数找到良好的局部极小值的相对困难来部分解释这种行为。
2016-10-12 cs.LG stat.ML
Item Response Theory based Ensemble in Machine Learning
Stony Brook University(石溪大学)
在这篇文章中,我们提出了一个新的概率框架,以提高加权多数表决算法的准确性。为了给能够正确分类难分类样本的分类器分配更高的权重,我们引入了项目反应理论(IRT)框架来同时评估样本的难度和分类器的能力。三个模型是建立在不同的假设适合不同的情况。在进行推理时,我们在准确性和复杂性之间保持平衡。在我们的实验中,所有的基础模型都是通过引导由单树构建的。为了解释这些模型,我们举例说明了IRT集成模型是如何构造分类边界的。我们还将它们的性能与其他广泛使用的方法进行了比较,并表明我们的模型在19个数据集上表现良好。
2019-11-11 cs.LG stat.AP stat.CO
The impacts of various parameters on learning process and machine learning based performance prediction in online coding competitions
各种参数影响学生在在线编码比赛中的表现。学生的行为,方法,情绪和问题的难度水平显着影响他们的表现在网上编码比赛。我们组织了两次编码比赛,以了解上述参数的影响。我们在每次编码比赛结束时都做了在线调查,它包含了与在线编码比赛期间学生的行为,方法和情绪有关的问题。学生根据提交的时间和状态进行评估。我们已经进行了详细的分析,以解决学生的方法,行为和情绪对学习过程中的在线编码比赛的影响。根据提交的时间和状态,提出了两个难度级别。在这项研究工作中,难度水平对基于机器学习的性能预测的影响。根据时间,编码解决方案提交有两个类别“少于15分钟”和“超过15分钟”。根据提交状态,有三个等级:“完全解决”、“部分解决”和“根本未提交”。为两个编码竞赛找到了在15分钟内提交解决方案的适当方法。针对上述分类问题训练和评估机器学习分类器。情绪,情绪和难度水平对学习过程的影响也进行了评估,通过比较两个编码比赛的机器学习模型的结果。
2022-09-26 cs.CY cs.HC cs.LG
Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers
University of California, Berkeley(加州大学伯克利分校)
提出在线监测系统,使用校准序列统计检测分布漂移,并通过共形弃权层自适应阈值恢复目标错误率,在800个实验单元中实现86.6%有效检测。
2026-10-27 cs.CR cs.LG stat.ML
GenSample: A Genetic Algorithm for Oversampling in Imbalanced Datasets
UCLA(加州大学洛杉矶分校)
不平衡的数据集无处不在。不平衡数据集上的分类性能通常对于少数类是差的,因为分类器不能很好地学习决策边界。然而,在欺诈检测、医疗诊断和垃圾邮件识别等敏感应用中,对少数实例进行正确分类是极其重要的。在本文中,我们提出了一种新的技术的基础上,遗传算法,GenSample,过采样的少数类不平衡数据集。GenSample通过考虑学习该示例的难度以及通过过采样实现的性能改善来决定对少数示例的过采样率。该技术在分类器的性能开始恶化时终止过采样过程。因此,它只在获得性能提升时才产生合成数据。该算法在9个不同大小和不平衡比率的真实不平衡数据集上进行了测试。它在9个数据集中的8个数据集上获得了最高的F-Score,证实了与其他现有方法相比,它能够更好地处理不平衡数据。
2019-10-23 cs.LG cs.NE stat.ML
Fair for All: Best-effort Fairness Guarantees for Classification
Duke University(杜克大学);Tsinghua University(清华大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
基于群体的公平性概念的标准方法,如\emph{parity}和\emph{equalized odds},试图在已知群体(基于种族,性别等)之间平衡绝对的绩效测量。因此,一个本来就很难分类的群体可能会阻碍其他群体的业绩;而且无法为不可预见的群体提供任何保证。相反,我们提出了一个公平的概念,其保证,在每个组$g$类$\mathcal{G}$,是相对于性能最好的分类器$g$。我们将这一概念应用于广泛的组类,特别是,其中(a)$\mathcal{G}$由数据中所有可能的组(子集)组成,以及(b)$\mathcal{G}$更精简。对于第一个设置,这是类似于组是完全未知的,我们设计的{ \sc PF}(比例公平)分类器,它保证,在任何可能的组$g$,准确性是成比例的最佳分类器的$g$,缩放的相对大小$g$在数据集中。由于包含了所有可能的组,其中一些可能太复杂而不相关,因此对于较小的子集,最坏情况的理论保证必须按比例较弱。对于第二种设置,我们设计了{ \sc BeFair}(尽力公平)框架,该框架在每个$g \in \mathcal{G}$上寻求准确性,该准确性近似于$g$上的最佳分类器的准确性,而与$g$的大小无关。针对这样的保证结果在一个非凸的问题,我们设计了新的技术来绕过这个困难时,$\mathcal{G}$是一组线性假设。我们在真实世界的数据集上测试我们的算法,并对其性能提出有趣的比较…
2021-02-24 cs.GT cs.LG
Exploring "Many in Few" and "Few in Many" Properties in Long-Tailed, Highly-Imbalanced IC Defect Classification
Institute of Data Science and Information Computing, National Chung Hsing University(数据科学与信息计算研究所,中国台湾 Chung Hsing 大学);Department of Electrical Engineering, National Tsing Hua University(电子工程系,中国台湾 Tsing Hua 大学);Department of Electrical Engineering, National Taiwan University of Science and Technology(电子工程系,中国台湾 Science and Technology 大学);Development of Smart Manufacturing, United Microelectronics Corporation(智能制造发展,联合微电子公司)
针对现实IC缺陷分类中数据极不平衡、类内差异大且类间相似性高的难题,本文构建了IC-Defect-14数据集,并提出融合多模块的ReCAME-Net模型,在该数据集及通用公开数据集上均取得优异表现。
2025-10-22 cs.CV cs.LG
Arrhythmia Classifier Based on Ultra-Lightweight Binary Neural Network
School of Electronic Science and Engineering Southeast University(东南大学电子科学与工程学院);Southeast University(东南大学)
针对现有深度学习心电分类算法模型复杂、难以部署在资源受限的可穿戴AIoT设备上的问题,提出一种超轻量级二值神经网络,可实现5类和17类心律失常高精度分类,存储占用极低,适配硬件部署,为可穿戴医疗设备提供技术支撑。
2023-08-25 cs.LG eess.SP
EmDT: Embedding Diffusion Transformer for Tabular Data Generation in Fraud Detection
Arizona State University – School of Mathematical and Statistical Sciences(亚利桑那州立大学数学与统计科学学院)
EmDT通过UMAP聚类识别欺诈模式,并利用Transformer去噪网络生成欺诈样本,提升分类性能,同时保持隐私保护和特征相关性。
2026-04-29 cs.LG stat.ML
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本文研究对抗扰动且允许弃权(不执行)预测场景下的分类问题,提出对抗鲁棒拒绝选项损失,给出替代损失的校准表征,并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);ENSAI/CREST(法国国家统计与信息分析学院/法国国家科研中心计算机科学与随机系统实验室);Preferred Networks(优选网络公司)
由于预测目标的不可避免的不确定性,机器学习模型可以实现的预测性能存在根本限制。在分类问题中,这可以用贝叶斯误差来表征,贝叶斯误差是任何分类器都能达到的最佳误差。贝叶斯误差可以作为评价分类器性能的标准,也可以用来检测测试集过拟合。我们提出了一个简单而直接的贝叶斯误差估计,我们只是采取的平均值的标签,显示\emph{uncertainty}的类分配。我们灵活的方法使我们能够执行贝叶斯误差估计,即使是弱监督数据。与其他方法相比,我们的方法是无模型甚至无实例的。此外,它没有超参数,并且根据经验给出了比几个基线更准确的贝叶斯误差估计。使用我们的方法进行的实验表明,最近提出的深度网络(如视觉Transformer)可能已经达到或即将达到基准数据集的贝叶斯误差。最后,我们讨论了如何通过估计2017年至2023年ICLR论文的贝叶斯误差来研究科学文章接受/拒绝决策的内在困难。
2023-03-13 cs.LG stat.ML