An Illusion of Unlearning? Assessing Machine Unlearning Through Internal Representations
The Ohio State University（俄亥俄州立大学）；New Jersey Institute of Technology（新泽西理工学院）
本文通过分析内部表示揭示机器遗忘方法的缺陷，指出特征-分类器不一致是主要问题，并提出基于类均特征分类器的改进方法，提升遗忘效果同时保持保留精度。
2026-04-09 cs.LG
An Enhanced Projection Pursuit Tree Classifier with Visual Methods for Assessing Algorithmic Improvements
本文改进了投影追求树分类器并提出可视化方法评估其在高维数据中的性能，通过更灵活的分裂和分类分组提升多类分类效果。
2026-03-12 cs.LG stat.ML
Assessing binary classifiers using only positive and unlabeled data
KU Leuven（鲁汶大学）；iMinds Medical IT（iMinds医疗信息技术部门）
评估学习模型的性能是机器学习的关键部分。然而，在某些领域，只有积极的和未标记的例子，这禁止使用大多数标准的评估指标。我们提出了一种基于列联表（包括ROC和PR曲线）仅使用阳性和未标记数据来估计任何度量的方法。估计这些性能指标基本上简化为估计未标记集合中（潜在）阳性的分数，假设已知阳性是所有阳性的随机样本。我们提供了我们的估计质量的理论界限，说明了估计的积极部分在未标记的集合的重要性，并证明经验，我们能够可靠地估计真实数据的ROC和PR曲线。
2015-12-30 cs.IR cs.LG stat.ML
Deconfounding age effects with fair representation learning when assessing dementia
Winterlight Labs；University of Toronto（多伦多大学）；Li Ka Shing Knowledge Institute, St Michael’s Hospital（圣迈克尔医院李嘉诚知识研究所）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）；Surgical Safety Technologies Inc（Surgical Safety Technologies公司）
老年人中最普遍的症状之一，痴呆症，可以通过从叙述性转录中提取的语言特征训练的分类器来检测。然而，这些语言特征以相似但不同的方式受到正常老化过程的影响。因此，老化是一个混杂因素，其影响对于机器学习分类器（尤其是基于深度神经网络的模型）来说难以忽视。DNN模型能够根据语言特征估计年龄。如果不适当地去基础化，基于这种老化偏差预测痴呆症可能会导致临床数据集的潜在不可推广的准确性。在本文中，我们提出了解决这个问题的公平表示学习。我们建立了神经网络分类器，它学习反映痴呆影响的低维表示，但忽略了年龄的影响。为了评估这些分类器，我们指定了一个与模型无关的分数$Δ_{eo}^{(N)}$，用于测量分类器结果如何从年龄中消除。与DNN相比，我们最好的模型在两个临床数据集上的准确性仅为2.56\%和1.54\%，并且它们的$Δ_{eo}^{(2)}$评分优于统计（残差化和逆概率权重）调整。
2019-09-07 cs.LG stat.ML
Enhancing Precision of Automated Teller Machines Network Quality Assessment: Machine Learning and Multi Classifier Fusion Approaches
University of Tehran（德黑兰大学）；Pulseware Company（Pulseware公司）；University of Waterloo（滑铁卢大学）
本文提出基于堆叠分类器融合随机森林、LightGBM和CatBoost并结合SMOTE的ATM网络质量评估方法，将误报率从3.56%降至0.71%，准确率达99.29%。
2025-01-02 cs.LG
Assessing the Operational Viability of Foundation Models for Time Series Forecasting
Google, USA（谷歌公司，美国）
通过对比基础模型与监督学习方法在四种操作场景下的性能，提出基于经验特征的复杂度路由器以实现精度与效率的平衡。
2026-05-23 cs.AI cs.LG stat.AP
Assessing Intersectional Bias in Representations of Pre-Trained Image Recognition Models
Artificial Intelligence Lab, Otto von Guericke University Magdeburg（奥托·冯·格里克大学人工智能实验室）
本文利用线性分类器探针和激活拓扑图，评估常用 ImageNet 分类器在面部图像表征中围绕年龄、种族和性别的交叉偏见，发现年龄区分最明显。
2025-06-06 cs.CV cs.CY cs.HC
Vicious Classifiers: Assessing Inference-time Data Reconstruction Risk in Edge Computing
Nokia Bell Labs（诺基亚贝尔实验室）；Imperial College London（伦敦帝国理工学院）
本文研究边缘计算中恶意服务器仅凭模型输出重建用户私有输入的风险，提出推理时重建风险度量与区分恶意/诚实分类器的防御机制，并在六个数据集上验证了单次推理即可近似重建输入。
2024-10-01 cs.CR cs.IT cs.LG
IoTCO2: Assessing the End-To-End Carbon Footprint of Internet-of-Things-Enabled Deep Learning
Indiana University Bloomington（印第安纳大学布卢明顿分校）
针对现有物联网深度学习碳足迹建模工具的缺陷，本文提出端到端估算工具IoTCO2，其运营和隐含碳足迹估算偏差分别低至5%和3.23%，并通过多案例展示了实际应用价值。
2024-09-13 cs.AI cs.CY cs.LG
How Much Imprecision is Enough Imprecision in my Classifier? A Practical Elicitation Procedure
IMT Mines Alès（阿莱斯矿业学院）
本文提出实用引导程序，衡量用户对集合值分类器可接受的不精确程度，通过迭代方法在表格和图像数据集上验证其收敛性和实用性。
2026-09-29 cs.LG
Robustness and uncertainty: two complementary aspects of the reliability of the predictions of a classifier
Ghent University（根特大学）
本文提出了一种结合鲁棒性量化和不确定性量化的混合方法，通过比较不同数据集上的表现，证明两者互补且能提升分类器预测的可靠性。
2025-12-17 cs.LG
Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（SAMOVAR， Télécom SudParis， Institut Polytechnique de Paris）；Universidad Carlos III de Madrid
探讨针对联网和自动驾驶车辆增强型3D点云公共数据集的中毒攻击影响，以生成对抗网络技术为例评估增强中毒数据集效果，验证中毒能规避增强技术净化特性及在增强数据集上的传播与干扰，且实验材料公开。
2026-07-08 cs.CR cs.CV cs.LG
Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection
Atlantic International Research Centre (AIR Centre)（大西洋国际研究中心）
研究地球观测分类器评估问题，指出固定召回率下报告精度有偏差。提出基于平衡测试、业务化先验和实际部署后三个数值的先验匹配报告方法，通过精度优先、泄漏控制开发周期改进分类器，提升精度并能转移判别能力。
2026-09-22 cs.CV cs.LG eess.IV
Towards quantitative methods to assess network generative models
Shahid Beheshti University G.C（沙希德·贝赫什提大学 G.C）
评估生成模型不是一件容易的事。生成模型应该合成不是真实网络的复制，但显示出类似于真实图的拓扑特征的图。我们介绍了一种使用图分类器来评估图生成模型的方法。一个既定的图形分类器区分真实和合成的图形的能力，可以被认为是一个性能测量的图形生成器。
2018-09-05 cs.LG cs.PF cs.SI
A 3D deep learning classifier and its explainability when assessing coronary artery disease
University College London（伦敦大学学院）；University College London Hospital（伦敦大学学院医院）；Barts Heart Centre（巴茨心脏中心）
针对冠状动脉疾病（CAD）诊断需复杂图像预处理且深度学习模型可解释性不足的问题，提出3D Resnet-50直接分类CTCA图像、2D改进U-Net分割冠脉的方法，分类准确率超现有最优模型21.43%，且提升了可解释性。
2024-11-26 cs.LG eess.IV
On the intrinsic robustness to noise of some leading classifiers and symmetric loss function -- an empirical evaluation
Orange Labs（橙色实验室）
在某些工业应用中，例如欺诈检测，常见监督技术的性能可能会受到可用标签质量差的影响：在实际操作用例中，这些标签可能在数量、质量或可信度方面较弱。我们提出了一个基准测试，以评估自然的鲁棒性的不同算法采取的各种范式对人为损坏的数据集，重点是嘈杂的标签。本文研究了一些主要分类器的内在鲁棒性。正在审查的算法包括SVM，逻辑回归，随机森林，XGBoost，Khiops。此外，从最近的文献结果的基础上，该研究的补充调查的机会，以提高一些算法的对称损失函数。
2021-06-21 cs.LG
Analyzing the vulnerabilities in SplitFed Learning: Assessing the robustness against Data Poisoning Attacks
Anglia Ruskin University（安格利亚鲁斯金大学）
本文首次系统研究SplitFed学习中的数据投毒攻击，提出非定向、定向和基于距离三种攻击策略，并通过心电图分类和手写数字识别实验证明非定向及基于距离的攻击比定向攻击更具破坏性。
2023-07-04 cs.AI cs.LG
UniCoMTE: A Universal Counterfactual Framework for Explaining Time-Series Classifiers on ECG Data
Boston University（波士顿大学）；Sandia National Laboratories（桑迪亚国家实验室）；Boston Medical Center（波士顿医学中心）
UniCoMTE提出了一种通用反事实框架，用于生成ECG时间序列分类器的可解释性，通过分析时间特征提升模型可解释性。
2025-12-22 cs.AI cs.LG
DeepCert: Verification of Contextually Relevant Robustness for Neural Network Image Classifiers
University of York（约克大学）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了DeepCert，这是一种工具支持的方法，用于验证深度神经网络（DNN）图像分类器对模糊、雾度和图像对比度变化等上下文相关扰动的鲁棒性。虽然DNN分类器的鲁棒性近年来一直是深入研究的主题，但本研究提供的解决方案侧重于验证DNN对分类图像中小扰动的鲁棒性，扰动幅度使用已建立的Lp范数测量。这对于识别对DNN图像分类器的潜在对抗攻击是有用的，但不能验证DNN对上下文相关图像扰动的鲁棒性，当用Lp范数表示时，这些扰动通常不小。DeepCert通过支持以下内容解决了这个未充分探索的验证问题：（1）真实世界图像扰动的编码;（2）使用测试和形式化验证对上下文相关的DNN鲁棒性进行系统评估;（3）生成上下文相关的反例;通过这些，（4）选择适合于操作环境的DNN图像分类器（i）当设计潜在安全关键系统时设想，或（ii）由部署的系统观察到。我们展示了DeepCert的有效性，展示了它如何用于验证DNN图像分类器对两个基准数据集（“德国交通标志”和“CIFAR-10”）的鲁棒性。
2021-03-02 cs.LG
Assessing Neural Network Robustness via Adversarial Pivotal Tuning
University of Copenhagen（哥本哈根大学）；Pioneer Centre for AI（先锋人工智能中心）；KTH Stockholm（瑞典皇家理工学院）；Helmholtz AI（亥姆霍兹人工智能）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出Adversarial Pivotal Tuning (APT)方法，利用预训练生成器进行保留类别的语义图像操纵以欺骗分类器，揭示了现有鲁棒分类器的脆弱性并提出改进方法。
2024-01-06 cs.CR cs.CV cs.LG
Robustness Verification for Classifier Ensembles
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；University of Antwerp（安特卫普大学）；TNO（荷兰应用科学研究组织）；Leiden University（莱顿大学）
我们给出了一个形式化验证过程，以决定分类器集成是否对任意随机攻击具有鲁棒性。这种攻击由一组确定性攻击和在这组上的分布组成。鲁棒性检查问题包括评估，给定一组分类器和一个标记的数据集，是否存在一个随机攻击，导致一定的预期损失对所有分类器。我们显示的NP-硬度的问题，并提供了一个上限的攻击，足以形成一个最佳的随机攻击的数量。这些结果提供了一种有效的方法来推理分类器集成的鲁棒性。我们提供SMT和MILP编码来计算最优的随机攻击或证明没有攻击引起一定的预期损失。在后一种情况下，分类器集成可证明是鲁棒的。我们的原型实现验证了为图像分类任务训练的多个神经网络集成。使用MILP编码的实验结果是有前途的可扩展性和我们的验证过程的一般适用性。
2020-07-09 cs.LG stat.ML
Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP
IBM Research（IBM研究院）
一个对抗性的例子是一个输入被小扰动所转换，机器学习模型总是错误分类。虽然有许多方法可以为文本数据生成对抗性示例，但评估这些对抗性示例的质量并不是微不足道的，因为微小的扰动（例如改变句子中的一个词）可能会导致其含义，可读性和分类标签的显著变化。在本文中，我们提出了一个由一组自动评估指标和人类评估准则组成的评估框架，以严格评估基于上述属性的对抗性示例的质量。我们用六种基准攻击方法进行了实验，发现一些方法生成的对抗性示例可读性和内容保护性都很差。我们还了解到，多种因素可能会影响攻击性能，例如文本输入的长度和分类器的结构。
2020-06-01 cs.CL cs.LG
Assessing deep learning methods for the identification of kidney stones in endoscopic images
INAOE（国家天体物理、光学与电子学研究所）；UAG（瓜达拉哈拉自治大学）；Tecnologico de Monterrey（蒙特雷科技大学）；Viettel Cyberspace Center（越南军用电子电信网络空间中心）；CHU Nancy（南锡大学医院）；IADI-UL-INSERM (U1254)（影像引导自适应诊断与介入实验室-洛林大学-法国国家健康与医学研究院（U1254））；CHU Pellegrin（佩勒格兰大学医院）；CRAN (Université de Lorraine and CNRS)（洛林大学与法国国家科学研究中心自动控制研究中心）
知道类型（即，肾结石的生物化学成分）对于通过适当的治疗预防复发至关重要。在输尿管镜检查过程中，肾结石被粉碎，从尿路中取出，并使用形态结构分析来确定其成分。这个过程是耗时的（形态-构成分析结果仅在几天后可用）和繁琐的（片段提取持续长达一小时）。仅用体内内窥镜图像识别肾结石类型将允许对碎片进行除尘，而可以避免形态构成分析。只有少数的贡献处理在体内识别肾结石发表。本文讨论并比较了五种分类方法，包括基于深度卷积神经网络（DCNN）的方法和传统（非基于DCNN）的方法。即使最好的方法是DCCN方法，在四个类上的精确度和召回率分别为98%和97%，这一贡献表明，利用精心选择的特征向量的XGBoost分类器可以在有限数量的注释数据的医疗应用中接近DCNN分类器的性能。
2021-03-01 cs.CV cs.LG eess.IV
Deep Explainable Learning with Graph Based Data Assessing and Rule Reasoning
Aliyun（阿里云）；Alibaba Group（阿里巴巴集团）；Xichang Steel and Vanadium Co., Ltd.（西昌钢钒有限公司）；Pangang Group（攀钢集团）
学习一个可解释的分类器通常会导致模型的准确度较低，或者最终会得到一个庞大的规则集，而学习一个深度模型通常更能够处理大规模的噪声数据，但代价是难以解释结果，泛化能力较弱。为了弥补这一差距，我们提出了一种端到端的深度可解释学习方法，该方法结合了深度模型在噪声处理和基于专家规则的可解释性方面的优势。具体来说，我们建议学习一个深度数据评估模型，该模型将数据建模为一个图，以表示不同观测之间的相关性，其输出将用于提取关键数据特征。然后将关键特征输入到规则网络中，该规则网络根据具有可训练参数的预定义噪声专家规则构建。由于这些模型是相互关联的，我们提出了一个端到端的训练框架，利用规则分类损失，同时优化规则学习模型和数据评估模型。由于基于规则的计算是不可微的，我们提出了一个梯度连接搜索模块来携带梯度信息从规则学习模型到数据评估模型。该方法在工业生产系统中进行了测试，显示出相当的预测精度，更高的泛化稳定性和更好的可解释性相比，体面的深集成基线，并显示出更好的拟合能力比纯粹的基于规则的方法。
2022-11-10 cs.AI cs.LG
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Assessing thermal imagery integration into object detection methods on ground-based and air-based collection platforms
George Mason University（乔治梅森大学）
通常部署在无人机系统（UAS）上的目标检测模型侧重于使用红绿蓝（RGB）图像识别可见光谱中的物体。然而，人们越来越关注将RGB与热长波红外（LWIR）图像融合以提高目标检测机器学习（ML）模型的性能。目前，LWIR ML模型受到的研究关注较少，特别是对于地面和空中平台，导致缺乏评估LWIR，RGB和LWIR-RGB融合目标检测模型的基线性能指标。因此，这项研究有助于这样的定量指标的文献。结果发现，与RGB或LWIR方法相比，地面混合RGB-LWIR模型表现出更好的性能，实现了98.4%的mAP。此外，混合RGB-LWIR模型也是唯一一种在白天和夜间条件下都能工作的目标检测模型，提供了卓越的作战能力。这项研究还为RGB，LWIR和RGB-LWIR融合图像提供了一个新的标记训练数据集，该数据集包含从地面和空中平台收集的12，600张图像，使进一步的多光谱机器驱动的目标检测研究成为可能。
2022-12-27 cs.CV cs.LG
A practical approach to evaluating the adversarial distance for machine learning classifiers
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所（BAuA））；University of Stuttgart（斯图加特大学）
本文提出一种结合迭代对抗攻击与认证方法估计对抗距离上下界的实用评估方法，并通过可视化与消融研究验证其有效性，旨在推动更具信息量的ML分类器鲁棒性评估。
2024-09-05 cs.CV cs.LG
Scalable Utility-Aware Multiclass Calibration
CMAP, École polytechnique, IP Paris, France（巴黎理工学院计算机科学院）；Inria Paris, France（法国巴黎研究所）；EECS, UC Berkeley, USA（美国伯克利大学电子工程与计算机科学系）
针对现有多类别校准评估方法聚焦特定方面或计算成本高的问题，提出效用校准通用框架，可统一解读现有指标、生成更鲁棒的校准指标，还能评估更丰富下游效用的校准情况，实现多类别校准的可扩展评估。
2025-10-29 cs.AI cs.LG stat.ML
Utilizing Class Separation Distance for the Evaluation of Corruption Robustness of Machine Learning Classifiers
Federal Institute for Occupational Safety and Health (BAuA) Germany（德国职业安全与健康联邦研究所）；University of Stuttgart, Germany（斯图加特大学）
本文提出利用类别分离距离评估分类器的破坏鲁棒性，通过数据增强方法改进鲁棒性并提升准确率。
2026-01-16 cs.AI cs.LG stat.ML
A topological classifier to characterize brain states: When shape matters more than variance
Universitat de Barcelona (UB)（巴塞罗那大学）；Institut de Matemàtica de la Universitat de Barcelona (IMUB)（巴塞罗那大学数学研究所）
尽管机器学习分类器以监督的方式分离复杂数据集达到了显着的准确性，但它们的大多数操作都无法提供有关数据结构的明智直觉，更重要的是，有关给定数据集所表征的现象。相比之下，拓扑数据分析（TDA）致力于通过持久性描述符研究数据云的形状，并提供了一个定量表征的数据集的特定拓扑特征的审查。在这篇文章中，我们介绍了一种新的基于TDA的分类器，其工作原理是评估拓扑度量的可量化变化，这些变化是由向数据子集添加新输入引起的。我们使用这个分类器与一个高维脑电图（EEG）数据集记录从11名参与者在决策实验中，三个动机状态通过操纵社会压力诱导。在处理EEG信号的带通滤波版本后，我们从与每个动机状态相关的持久性图中计算轮廓，并根据其对每个参考轮廓的影响对未标记的信号进行分类。我们的研究结果表明，除了提供最近邻分类器的范围内的精度，TDA分类器提供正式的直觉的数据集的结构，以及估计其内在的尺寸。为此，我们将降维方法结合到我们的过程中，并发现我们的TDA分类器的准确性通常对解释的方差不敏感，而是对形状敏感，这与大多数机器学习分类器的情况相反。
2023-03-07 cs.LG eess.SP math.AT
Assessing glaucoma in retinal fundus photographs using Deep Feature Consistent Variational Autoencoders
Duke University（杜克大学）
失明的主要原因之一是青光眼，这是具有挑战性的检测，因为它保持无症状，直到症状严重。因此，诊断通常是可能的，直到标记物易于识别，即，损害已经发生了。青光眼的早期识别通常基于功能、结构和临床评估。然而，由于疾病的性质，研究人员仍然争论哪些标志物有资格作为一致的青光眼指标。深度学习方法通过绕过标记识别阶段并直接分析高级信息来对数据进行分类，部分解决了这一困境。虽然这些方法是有利的，但它们使专家分析变得困难，因为它们无法深入了解模型判别过程。在本文中，我们使用深度生成网络克服了这一点，这是一种学习复杂的高维概率分布的深度学习模型。我们训练了一个深度特征一致的变分自编码器（DFC-VAE）来重建视盘图像。我们发现，一个小尺寸的潜在空间从DFC-VAE可以学习高维青光眼数据分布，并提供正常和青光眼之间的歧视性证据。当使用支持向量分类器进行训练时，我们模型中大小低至128的潜在表示在接收器操作特征曲线下获得了0.885的面积。
2021-10-04 cs.CV cs.LG eess.IV
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
提出基于分数的对抗生成框架ScoreAG，通过生成无限制对抗样本和净化图像，在多个基准上提升了最先进攻防方法的效果，推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
