Plugin estimators for selective classification with out-of-distribution detection
Google Research(谷歌研究院)
针对结合分布外检测的选择性分类(SCOD)理论基础薄弱、现有方法多为启发式的问题,提出有理论依据的新型插件估计器,推广现有方法并取得有竞争力的性能。
2023-07-24 cs.LG
Trading via Selective Classification
University of Liverpool(利物浦大学)
一个二元分类器试图预测资产价格是否会上涨或下跌,自然会产生一个遵循预测的交易策略,从而总是在市场上占有一席之地。选择性分类扩展了二元或多类分类器,以允许其放弃对某些输入进行预测,从而允许在所得选择性分类器的准确性与输入特征空间的覆盖率之间进行权衡。选择性分类器产生交易策略,当分类器弃权时,不采取交易头寸。本文研究了二元和三元选择分类法在交易策略设计中的应用。对于三元分类,除了价格上涨或下跌的类别之外,我们还包括第三个类别,对应于任何一个方向上相对较小的价格变动,并为分类器提供了另一种避免进行方向预测的方法。我们使用一种向前走的训练验证测试方法来评估和比较基于四种分类方法的几个不同特征集的二元和三元,选择性和非选择性分类器:逻辑回归,随机森林,前馈和递归神经网络。然后我们将这些分类器转化为交易策略,并在商品期货市场上进行回测。我们的实证结果表明,潜在的选择性分类的交易。
2021-10-31 cs.LG q-fin.TR
Hierarchical Selective Classification
Technion(以色列理工学院);NVIDIA(英伟达公司)
本文提出层次化选择性分类,利用类别层次结构在不确定时降低预测粒度,形式化层次化风险与覆盖率并给出满足准确率约束的高效算法,实证表明多种训练机制可提升性能。
2025-01-06 cs.CV cs.LG
Selective Classification Can Magnify Disparities Across Groups
Stanford University(斯坦福大学)
选择性分类,其中模型可以放弃不确定的预测,是一种自然的方法,可以在错误代价高昂但弃权是可控的情况下提高准确性。在本文中,我们发现,虽然选择性分类可以提高平均精度,它可以同时放大现有的准确性之间的差距在人口中的各个群体,特别是在虚假的相关性的存在。我们在五个视觉和NLP数据集中一致地观察到这种行为。令人惊讶的是,增加弃权甚至可以降低某些群体的准确性。为了更好地理解这一现象,我们研究了边际分布,它捕获了模型对所有预测的置信度。对于对称的边缘分布,我们证明了选择性分类是否单调地提高或降低准确度完全取决于全覆盖的准确度(即,没有任何弃权)以及分布是否满足我们称之为左对数的性质。我们的分析还表明,选择性分类往往会放大全面覆盖的准确性差异。出于我们的分析,我们训练分布式鲁棒模型,实现类似的全覆盖精度跨组,并表明,选择性分类均匀地提高了这些模型上的每个组。总而言之,我们的研究结果表明,选择性分类应谨慎使用,并强调培训模型的重要性,以便在全覆盖范围内在各组中表现同样出色。
2021-04-14 cs.LG stat.ML
AUC-based Selective Classification
Scuola Normale Superiore(意大利高等研究院);University of Pisa(比萨大学)
选择性分类(或带有拒绝选项的分类)将分类器与选择函数配对,以确定是否应该接受预测。该框架权衡了覆盖率(接受预测的概率)与预测性能,通常通过分布式损失函数来衡量。在许多应用场景中,例如信用评分,性能是通过排名指标来衡量的,例如ROC曲线下面积(AUC)。我们提出了一个模型不可知的方法来关联一个选择函数到一个给定的概率二元分类器。该方法专门针对优化AUC。我们提供了理论上的理由和一种新的算法,称为AUCROSS,以实现这样的目标。实验表明,我们的方法成功地权衡覆盖AUC,提高了现有的选择性分类方法的目标是优化精度。
2023-02-22 cs.AI cs.LG
Confidence-aware Contrastive Learning for Selective Classification
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);Key Laboratory of Water Big Data Technology of Ministry of Water Resources(水利部水大数据技术重点实验室)
本文提出置信度感知对比学习方法 CCL-SC,首次在特征层面优化选择性分类,通过置信度控制同类与异类特征对比,在多个数据集上显著降低选择性风险。
2024-06-07 cs.CV cs.LG
Selective Classification for Deep Neural Networks
Technion – Israel Institute of Technology(以色列理工学院)
选择性分类技术(也称为拒绝选项)尚未在深度神经网络(DNN)的上下文中考虑。这些技术可以通过权衡覆盖范围来显著提高DNN的预测性能。在本文中,我们提出了一种方法来构建一个选择性分类给定的训练神经网络。我们的方法允许用户设置所需的风险水平。在测试时,分类器根据需要拒绝实例,以授予期望的风险(具有高概率)。CIFAR和ImageNet的实证结果令人信服地证明了我们方法的可行性,这为在关键任务应用中操作DNN提供了可能性。例如,使用我们的方法,前5名ImageNet分类中前所未有的2%错误可以保证概率为99.9%,测试覆盖率几乎为60%。
2017-06-01 cs.AI cs.LG
Learning Selectively Conditioned Forest Structures with Applications to DBNs and Classification
Carnegie Mellon University(卡内基梅隆大学)
使用最大后验概率(MAP)估计或贝叶斯模型平均(BMA)处理贝叶斯网络结构中的不确定性通常是棘手的,因为可能的有向非循环图的超指数数量。当先验是可分解的时,可以进行有效学习的两类图是树结构和有限入度的固定序。我们将展示如何MAP估计和BMA选择性条件森林(SCF),这两个类的组合,可以有效地计算有序的变量集。我们将SCF应用于时态数据来学习具有时间步长内森林和时间步长间有限度结构的动态贝叶斯网络,从而在没有结构组合的情况下提高DBN的模型准确性。我们还将SCF应用于贝叶斯网络分类,以学习选择性森林增强朴素贝叶斯分类器。我们认为,内置的特征选择的选择性增强贝叶斯分类器,使他们更可取的类似的非选择性分类器的基础上的经验证据。
2012-06-20 cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了深度神经网络中的选择性预测(也称为拒绝选项)问题,并引入了SelectiveNet,这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下,SelectiveNet经过训练,可以同时优化分类(或回归)和拒绝,端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中,我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡,从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient
Technion – Israel Institute of Technology(以色列理工学院)
选择性分类器(f,g)包括分类函数f和二元选择函数g,二元选择函数g确定分类器是放弃预测还是使用f来预测。分类器被称为逐点竞争,如果它对每个点的分类与事后的最佳分类器(来自同一类)相同,无论何时它都不弃权。这种分类器的质量通过其拒绝质量来量化,拒绝质量被定义为它拒绝的点的概率质量。如果拒绝质量从上面由O(1/m)界定,则实现“快速”拒绝率,其中m是用于训练分类器的标记示例的数量(并且O隐藏对数因子)。逐点竞争选择(PCS)分类器与基于不一致的主动学习密切相关,并且已知在可实现的情况下,已知PCS算法(称为一致选择策略)的快速拒绝率等价于公知CAL主动算法的指数加速。我们专注于不可知论的设置,其中有一个已知的算法称为LESS,学习PCS分类器,并在强假设下实现快速拒绝率(取决于Hanneke的分歧系数)。我们提出了一种改进的PCS学习算法称为ILESS,我们显示了一个快速的速度(取决于Hanneke的不一致系数),没有任何假设。我们的拒绝界平滑地插入可实现的和不可知的设置。本文的主要结果是以下三个实体之间的等价性:(一)任何PCS学习算法(如ILESS)的快速拒绝率的存在;(二)Hanneke的分歧系数的多对数界;(三)一个新的基于分歧的主动学习者称为ActiveiLESS的指数加速。
2017-03-30 cs.LG
Interpretable Classification via a Rule Network with Selective Logical Operators
George Mason University(乔治梅森大学)
本文提出了一种利用选择性逻辑运算符的规则网络(RNS),通过自适应选择AND/OR操作提升分类性能,实验显示其在13个数据集上优于25种现有方法。
2026-04-02 cs.AI cs.LG
Towards Better Selective Classification
Mila – Université de Montréal(米拉-蒙特利尔大学);Borealis AI(北极光人工智能)
我们解决选择性分类问题,其目标是在数据集的预定比例(覆盖率)上实现最佳性能。最近的最先进的选择方法通过引入单独的选择头或额外的选择logit来改变结构。在本文中,我们挑战上述方法。结果表明,最先进的方法的优越性能是由于训练一个更概括的分类器,而不是他们提出的选择机制。我们认为,表现最好的选择机制,而不是植根于分类器本身。我们提出的选择策略使用分类分数,并在所有覆盖范围和所有数据集上一致地实现更好的结果,而不会增加任何计算成本。此外,受半监督学习的启发,我们提出了一个基于熵的正则化,提高了选择性分类方法的性能。我们提出的选择机制与建议的基于熵的正则化实现了新的国家的最先进的结果。
2023-03-01 cs.AI cs.CV cs.LG
Conjunction Subspaces Test for Conformal and Selective Classification
School of Software(软件学院)
提出一种整合随机子空间显著性测试的分类器,通过共识 p 值量化不确定性,可部署于 conformal prediction 和 selective classification,并提供了泛化误差界的理论分析与实证验证。
2024-10-16 cs.AI cs.LG
Estimation of the Label-Noise Transition Matrix with Performance Guarantees via Selective Classification
Basque Center of Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM));IKERBASQUE-Basque Foundation for Science(IKERBASQUE-巴斯克科学基金会);University of Michigan(密歇根大学)
针对现有标签噪声转移矩阵估计依赖脆弱类后验且缺乏有限样本保证的问题,提出基于单侧选择性分类的新方法,绕过类后验估计并提供性能保证与有效算法。
2026-10-01 cs.LG stat.ML
Selective Classification via One-Sided Prediction
Boston University(波士顿大学)
我们提出了一种新的方法选择性分类(SC),一个问题,它允许分类器放弃预测一些实例,从而权衡覆盖率(预测的实例的分数)的准确性。与之前的门控或基于置信集的工作相比,我们提出的方法优化了一系列类解耦的单侧经验风险,本质上是一种明确找到每个类的最大决策集的方法,这些决策集几乎没有误报。这种单边预测(OSP)为基础的放松产生一个SC计划,达到接近最佳的覆盖率在实际相关的高目标精度制度,并进一步承认有效的实施,导致一个灵活的和原则性的方法SC。我们从理论上推导出的SC和OSP的泛化范围,经验表明,我们的计划大大优于国家的最先进的方法在小的误差水平的覆盖范围。
2021-10-23 cs.LG stat.ML
Know When to Abstain: Optimal Selective Classification with Likelihood Ratios
Department of Computer Science, National University of Singapore(计算机科学系,国立新加坡大学);Smart Systems Institute, National University of Singapore(智能系统研究所,国立新加坡大学)
本文提出基于似然比的最优选择性分类方法,通过 Neyman-Pearson 引理统一并改进了选择性分类在协变量偏移下的性能。
2026-03-03 cs.AI cs.LG stat.ML
Selective sampling for accelerating training of deep neural networks
Efi Arazi School of Computer Science(埃菲·阿拉齐计算机学院);The Interdisciplinary Center(跨学科中心)
我们提出了一种选择性采样方法,旨在加速深度神经网络的训练。为此,我们引入了一种新的测量方法,最小边际得分(MMS),它测量输入的最小位移量,直到其预测的分类被切换。对于多类线性分类,MMS度量是基于边缘的选择准则的自然推广,其在二进制分类设置中被深入研究。此外,MMS措施提供了一个有趣的洞察力的培训过程的进展,并可能有助于设计和监测新的培训制度。从经验上讲,我们在为流行的图像分类任务训练常用的深度神经网络架构时表现出了显著的加速。我们的方法的效率进行了比较,对标准的训练程序,并对常用的选择性抽样的替代品:硬负挖掘选择,和基于熵的选择。最后,我们证明了一个额外的加速时,我们采用了更积极的学习下降制度,同时使用MMS选择性采样方法。
2019-11-16 cs.LG stat.ML
Selective Attention Based Graph Convolutional Networks for Aspect-Level Sentiment Classification
JD AI Research(京东人工智能研究院)
体层情感分类旨在识别句子中特定体词的情感极性。目前的方法主要考虑语义信息,利用注意力机制来捕捉上下文和体词之间的相互作用。在本文中,我们建议采用图卷积网络(GCN)的依赖树学习语法感知方面的条款表示。GCN通常在两层的情况下表现出最佳性能,并且由于过度平滑问题,更深的GCN不会带来额外的增益。然而,在某些情况下,在依赖关系树上的两个跳内无法到达重要的上下文单词。因此,我们设计了一个基于选择性注意力的GCN块(SA-GCN)来发现最重要的上下文单词,并直接将这些信息聚合到方面术语表示。我们在SemEval 2014任务4数据集上进行实验。我们的实验结果表明,我们的模型优于目前的最先进的。
2021-02-11 cs.CL cs.LG
AGGRNet: Selective Feature Extraction and Aggregation for Enhanced Medical Image Classification
Indian Institute of Technology Kanpur(印度理工学院坎普尔学院)
针对现有医学图像分类模型难以区分类间相似性与类内变异性易致误诊的问题,提出AGGRNet框架,通过选择性提取并聚合信息性与非信息性特征捕捉细粒度模式,在多数据集上达到SOTA,Kvasir数据集上最高提升5%。
2025-11-15 cs.CV cs.LG
Overcoming Common Flaws in the Evaluation of Selective Classification Systems
German Cancer Research Center (DKFZ)(德国癌症研究中心);Helmholtz Imaging(亥姆霍兹成像机构);University of Heidelberg(海德堡大学);Heidelberg University Hospital(海德堡大学医院);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心)
本文针对选择性分类评估提出满足任务对齐、可解释性和灵活性等 5 项要求的 AUGRC 指标,并在 6 个数据集和 13 个置信度评分函数上验证其能显著改变指标排名。
2024-10-19 cs.CV cs.LG stat.ME
Leveraging Uncertainty in Deep Learning for Selective Classification
Arizona State University(亚利桑那州立大学)
从业者广泛而快速地采用深度学习在许多情况下带来了意想不到的后果,例如臭名昭著的Google Photos种族主义图像识别算法;因此,有必要为每个预测使用量化的不确定性。最近已经有了对传统深度学习方法中的不确定性进行量化的努力(例如,然而,它们在决策中的最佳使用往往被忽视和研究不足。在这项研究中,我们提出了一个混合整数规划框架的分类拒绝选项(也称为选择性分类),调查和结合模型的不确定性和预测均值,以确定最佳的分类和拒绝区域。我们的研究结果表明,我们的框架在几个公开可用的数据集上的非拒绝精度和拒绝质量方面都具有优异的性能。此外,我们将我们的框架扩展到成本敏感的设置,并表明我们的方法在现实世界的在线欺诈管理中显着优于行业标准方法。
2019-05-23 cs.AI cs.LG math.OC
Online Selective Classification with Limited Feedback
Boston University(波士顿大学)
出于对资源有限和安全关键域的应用,我们研究了选择性分类的在线学习模型,其中预测器可能会放弃分类的实例。例如,这可以对自适应决策进行建模,以在该实例上调用更多资源。我们考虑的设置的两个突出的方面是,数据可能是不可实现的,由于这可能是一个有效的长期行动,只有当学习者弃权时才能收到反馈,这模拟了这样一个事实,即只有在调用资源密集型处理时才能获得可靠的标签。在这个框架内,我们探索的策略,使很少的错误,而不是放弃太多次比最好的事后无错误的分类器从一个给定的类。也就是说,不犯错误,同时弃权次数最少。我们构建简单的基于版本的计划,使大多数$T^μ$错误,而招致\smash{$\tilde{O}(T^{1-μ})$}过度防御自适应对手的任何$μ\in (0,1],$。我们进一步表明,这种依赖于$T$是紧密的,并提供说明性的实验现实的数据集。
2021-10-27 cs.LG stat.ML
DeepArrhythmia: Segment-Contextualized ECG Arrhythmia Classification via Selective Evidence Acquisition
University of Georgia(佐治亚大学)
DeepArrhythmia通过选择性证据获取实现段落上下文化ECG心律失常分类,结合原始ECG信号和渲染波形图像,利用专门工具分离生理测量与证据整合,提升多beat节奏上下文下的心律失常检测精度。
2026-09-29 cs.AI cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Selective Feature Re-Encoded Quantum Convolutional Neural Network with Joint Optimization for Image Classification
本文针对图像分类提出选择性特征重编码策略和并行QCNN架构,通过联合优化PCA与自编码器特征,在MNIST和Fashion MNIST上取得优于单独模型及传统集成方法的精度和泛化性能。
2025-07-02 cs.LG quant-ph
Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification
University of Colorado Denver(科罗拉多大学丹佛分校)
本文提出一种基于狄利克雷参数估计的方法,通过集成softmax输出的矩估计器来分离不确定性估计,提升预测稳定性和不确定性行为,从而增强下游应用性能。
2026-04-07 cs.LG stat.ML
MedSelect: Selective Labeling for Medical Image Classification Combining Meta-Learning with Deep Reinforcement Learning
Stanford University(斯坦福大学);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
我们提出了一种选择性学习方法,使用元学习和深度强化学习的医学图像判读在有限的标签资源的设置。我们的方法MedSelect由一个可训练的深度学习选择器和一个非参数选择器组成,前者使用从对比预训练中获得的图像嵌入来确定要标记哪些图像,后者使用余弦相似性来对未见过的图像进行分类。我们证明,MedSelect学习一个有效的选择策略优于基线选择策略,在可见和不可见的医疗条件下进行胸部X射线解释。我们还对MedSelect进行的选择进行了分析,比较了潜在嵌入和临床特征的分布,并发现与最强基线相比存在显著差异。我们相信,我们的方法可以广泛适用于医疗成像设置中的标签是昂贵的收购。
2021-03-26 cs.AI cs.CV cs.LG
Convergence of Nearest Neighbor Pattern Classification with Selective Sampling
mZeal Communications, Inc.(mZeal通信公司)
在模式分类技术中,很少有人喜欢最近邻规则的直观吸引力和简单性:给定某个度量域空间中的一组样本,其在某个函数下的值是已知的,我们通过给出每个度量的最近样本的值来估计域中任何地方的函数。更一般地,可以使用m个最近样本的模态值,其中m是固定的正整数(尽管在没有更大的值在预测误差方面渐近优越的意义上,已知m=1是可接受的)。最近邻规则是非参数的,并且非常普遍,原则上只要求定义域是度量空间。Cover和Hart(1967)在独立同分布(iid)采样下证明了收敛性。由于取样成本很高,近年来有很多关于选择性取样的研究,其中每个样本都是从一个启发式排序的候选人池中选择的;启发式试图猜测哪个候选人将是最“信息”的样本。Lindenbaum等人(2004)将选择性采样应用于最近邻规则,但他们的方法牺牲了Cover和Hart的严格通用性;此外,他们的启发式算法复杂且计算昂贵。在这里,我们报告最近的结果,使选择性采样在原来的封面哈特设置。我们的结果提出了三个选择算法,并证明了他们的最近邻规则预测收敛到真正的模式。其中两种算法的计算成本很低,复杂度随样本数量线性增长。我们认为这些结果构成了本领域的重要进步。
2013-09-06 cs.LG stat.ML
Selective Classification Under Distribution Shifts
University of Minnesota(明尼苏达大学)
针对现有选择性分类(SC)方法未考虑实际部署中数据分布偏移的问题,本文提出广义选择性分类框架,涵盖多种偏移样本,设计非训练型基于间隔的置信度评分函数,实验表明其在多任务和DL分类器上更优。
2024-11-27 cs.AI cs.CV cs.LG
Deep Neural Network Benchmarks for Selective Classification
Scuola Normale Superiore(高等师范学院);University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);KU Leuven(鲁汶大学)
针对现有选择性分类方法缺乏全面对比评估的问题,研究在44个包含图像、表格数据的多任务数据集上基准测试18种深度神经网络基线方法,发现最优方法依用户目标而定。
2024-09-18 cs.AI cs.LG stat.ML