Double Ramp Loss Based Reject Option Classifier
GE Global Research（GE全球研究中心）；Bidgely（Bidgely公司）；Sabre Airline Solutions（Sabre航空解决方案公司）
我们考虑学习拒绝选项分类器的问题。使用$0-d-1$损失函数来量化拒绝选项分类器的优度，其中损失$d \in (0,.5)$被分配用于拒绝。本文提出了{ \em双斜坡损失}函数，它给出了$(0-d-1)$损失的连续上界.我们的方法是基于使用{ \em差分凸（DC）规划}在双斜坡损失下最小化正则化风险。我们通过在合成数据集和基准数据集上的实验证明了我们方法的有效性。我们的方法比最先进的拒绝选项分类方法更好。
2014-12-08 cs.LG
Consistent Algorithms for Multiclass Classification with a Reject Option
Indian Institute of Science（印度科学学院）；University of Michigan（密歇根大学）
我们考虑的问题$n$类分类（$n\geq 2$），其中的分类器可以选择弃权作出预测在给定的成本，说，一个因素$α$的成本误分类。设计一致的算法，如$n$类的分类问题与“拒绝选项”是本文的主要目标，从而扩展和推广以前已知的结果$n=2$。我们表明，Crammer-Singer代理和一个与所有铰链损失，虽然与标准的argmax不同的预测，产生一致的算法，这个问题时，$α=\frac{1}{2}$。更有趣的是，我们设计了一个新的凸代理，也是一致的这个问题时，$α=\frac{1}{2}$和操作的低得多的维空间（$\log(n)$，而不是$n$）。我们还概括了所有三个代理是一致的任何$α\in[0, \frac{1}{2}]$。
2015-05-15 cs.LG stat.ML
Optimum Reject Options for Prototype-based Classification
Bielefeld University（比勒费尔德大学）；HONDA Research Institute Europe（本田欧洲研究院）
我们分析最佳拒绝策略的原型为基础的分类器和实值拒绝措施，使用数据点的距离最接近的原型或概率对应。我们比较拒绝计划与全球阈值，和局部阈值的分类器的Voronoi细胞。对于后者，我们开发了一个多项式时间算法来计算最佳阈值的基础上的动态规划计划，我们提出了一个直观的线性时间，内存效率的近似竞争力的准确性。在各种基准的性能评估，我们得出结论，本地拒绝选项是有益的，特别是简单的基于原型的分类器，而先进的模型的改进是不太明显。对于后者，可以达到与具有现有技术拒绝选项的支持向量机分类器相当的准确性拒绝曲线。
2015-03-23 cs.LG
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad（印度国际信息技术研究院（海得拉巴））
本文研究对抗扰动且允许弃权（不执行）预测场景下的分类问题，提出对抗鲁棒拒绝选项损失，给出替代损失的校准表征，并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Sparse Reject Option Classifier Using Successive Linear Programming
IIIT（国际信息技术研究所）
在本文中，我们提出了一种使用双斜坡损失$L_{dr}$学习稀疏拒绝选项分类器的方法。我们使用DC规划来找到风险最小化。该算法求解一系列线性规划来学习拒绝选项分类器。我们证明了损失$L_{dr}$是Fisher相容的。我们还证明了超额损失风险$L_d$的上界是由超额风险$L_{dr}$。我们推导出所提出的方法的泛化误差界。我们通过在几个真实世界的数据集上进行实验，证明了所提出的方法的有效性。所提出的方法不仅表现得与最先进的水平相当，而且还成功地学习稀疏分类器。
2019-03-22 cs.LG
Explaining Reject Options of Learning Vector Quantization Classifiers
Bielefeld University（比勒费尔德大学）
虽然机器学习模型通常被假设总是输出预测，但也存在拒绝选项形式的扩展，允许模型拒绝输入，其中只有具有不可接受的低确定性的预测是可能的。随着可解释人工智能的不断兴起，已经开发了许多解释模型预测的方法。然而，理解为什么一个给定的输入被拒绝，而不是被模型分类，也是有意义的。令人惊讶的是，迄今为止尚未考虑拒绝的解释。我们建议使用反事实的解释解释拒绝和调查如何有效地计算反事实的解释不同的拒绝选项的一类重要的模型，即基于原型的分类器，如学习矢量量化模型。
2022-02-15 cs.AI cs.LG
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难正式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法来交互式聚类数据探索，称为\ciif，基于一个特别简单的反馈机制，在该机制中，分析师可以选择拒绝个别集群，并要求新的。新的聚类应该与以前拒绝的聚类不同，同时仍然很好地拟合数据。我们正式这种互动在一个新的贝叶斯先验启发框架。在每次迭代中，先验被适配为考虑所有先前的反馈，然后从后验分布产生新的聚类。为了实现必要的交互式设置的计算效率，我们提出了一种增量优化方法，使用拉格朗日松弛的数据minibatches。实验表明，\ciif可以产生准确和多样的聚类。
2016-06-08 cs.LG stat.ML
EERO: Early Exit with Reject Option for Efficient Classification with limited budget
Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；Fujitsu（富士通）；Université De Pau Et Des Pays De L’adour（波城大学）
本文提出EERO方法，将早退问题转化为带弃权选项的多分类器选择问题，通过指数权重聚合校准退出概率以保证固定预算，并在Cifar和ImageNet上验证了其在预算管理和准确率提升方面的有效性。
2025-11-06 cs.LG stat.ML
Optimal strategies for reject option classifiers
Czech Technical University in Prague（捷克布拉格技术大学）
在具有拒绝选项的分类中，允许分类器在不确定的情况下放弃预测。拒绝选项分类器的经典基于成本的模型需要显式定义拒绝的成本。另一种有界改进模型，避免了拒绝成本的概念，寻求一个有保证的选择性风险和最大覆盖的分类器。我们硬币的对称定义，有界覆盖模型，它寻求一个分类器具有最小的选择性风险和保证覆盖。我们证明，尽管他们的不同配方的三个拒绝模型导致相同的预测策略：贝叶斯分类器赋予随机贝叶斯选择函数。我们定义了一个适当的不确定性分数的概念，作为一个标量的预测不确定性的总结足以构建随机贝叶斯选择函数。我们提出了两种算法来学习适当的不确定性得分从任意的黑盒分类器的例子。我们证明了这两种算法提供Fisher一致的估计适当的不确定性得分，我们证明了他们的效率不同的预测问题，包括分类，有序回归和结构化输出分类。
2021-01-29 cs.LG
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Twitter（推特）
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难形式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法，称为TINDER的数据探索的交互式聚类，基于一个特别简单的反馈机制，在该机制中，分析师可以拒绝给定的聚类，并要求一个新的，这是选择从以前的聚类不同，同时适合的数据。我们在贝叶斯框架中将这种相互作用形式化为先前启发的方法，其中每个不同的聚类由经过修改以阻止先前拒绝的聚类的先验分布产生。我们表明，TINDER成功地产生了一组不同的聚类，每个质量相当，这是更多样化的比随机重新启动。
2016-06-19 cs.LG stat.ML
Survey on Leveraging Uncertainty Estimation Towards Trustworthy Deep Neural Networks: The Case of Reject Option and Post-training Processing
Deakin University（迪肯大学）；The University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文系统综述了深度神经网络中带拒绝选项的预测方法，涵盖相关损失函数、训练后处理及实时应用，旨在提升模型对知识局限性的认知以实现可信部署。
2023-04-11 cs.CV cs.LG
Model Agnostic Local Explanations of Reject
University of Cyprus（塞浦路斯大学）；Bielefeld University（比勒费尔德大学）
基于机器学习的决策系统在安全关键领域的应用需要可靠的高确定性预测。拒绝选项是确保系统所做预测具有足够高确定性的常见方法。虽然能够拒绝不确定的样本很重要，但能够解释为什么特定样本被拒绝也很重要。然而，解释一般拒绝选项仍然是一个悬而未决的问题。我们提出了一个模型不可知的方法，通过可解释的模型和反事实的解释来局部解释任意拒绝选项。
2022-05-16 cs.AI cs.LG
Node Classification With Integrated Reject Option
IIIT Hyderabad（印度信息技术学院海得拉巴分校）
提出 NCwR，为 GNN 节点分类引入集成拒绝选项，结合基于成本与覆盖率的弃权方法，并在引文网络及法律判决数据上验证与解释。
2024-12-04 cs.LG
Reject option models comprising out-of-distribution detection
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出三种分布外拒识选项模型并证明其共享同一类最优策略，进而设计双分数OOD方法，实验表明其性能优于现有方法，同时提出更可靠的新评估指标。
2023-07-11 cs.LG
"Even if ..." -- Diverse Semifactual Explanations of Reject
Bielefeld University（比勒费尔德大学）；KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）
应用于安全关键领域的基于机器学习的决策制定系统需要可靠的高确定性预测。为此目的，系统可以通过拒绝选项来扩展，该拒绝选项允许系统拒绝只有具有不可接受的低确定性的预测才可能的输入。虽然能够拒绝不确定的样本很重要，但能够解释为什么特定样本被拒绝也很重要。随着可解释人工智能（XAI）的不断兴起，已经开发了许多基于机器学习系统的解释方法-然而，解释拒绝选项仍然是一个新的领域，只有很少的先前工作存在。在这项工作中，我们建议解释拒绝半事实的解释，实例为基础的解释方法，他们自己还没有被广泛认为是在XAI社区。我们提出了一个概念建模的半事实的解释任意拒绝选项和经验评估一个具体的实施共形预测为基础的拒绝选项。
2022-07-05 cs.AI cs.LG
Logic-based Explanations for Linear Support Vector Classifiers with Reject Option
Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE)（塞阿拉联邦教育、科学和技术学院（IFCE））
针对带拒绝选项的线性SVC缺乏解释方法的问题，提出一种基于逻辑的解释方法，提供正确性和最小性的形式化保证，实验表明其比Anchors算法生成的解释更短且时间成本更低。
2024-03-24 cs.AI cs.LG cs.LO
Classifiers With a Reject Option for Early Time-Series Classification
University of California（加利福尼亚大学）；Babes-Bolyai University（巴贝什-博利亚伊大学）
动态环境下时间序列数据的早期分类是信号处理中一个具有挑战性的重要问题。本文提出了一种具有拒绝选项的分类器架构，能够在线决策，而无需等待整个时间序列信号。其主要思想是尽可能早地以可接受的精度对气味/气体信号进行分类。该方法不使用分类器的后验概率，而是使用集合的“一致性”来决定是否接受或拒绝候选标签。将该算法应用于气味分类的生化问题，构建了一种新的电子鼻--Forefront-Nose。风洞实验台上的实验结果证实了鲁棒性的前鼻相比，标准分类器从早期和识别的角度。
2013-12-14 cs.CV cs.LG
Machine Learning with a Reject Option: A survey
Siemens Digital Industries Software（西门子数字工业软件）；KU Leuven（鲁汶大学）；OSG bv（OSG bv公司）；Natus Medical（纳图斯医疗）；University of Antwerp（安特卫普大学）
本文综述带拒识的机器学习，形式化歧义与新奇两类拒识，梳理评估策略、模型架构与学习方法，并介绍应用领域及其与其他方向的关系。
2024-02-21 cs.AI cs.LG
Concisely Explaining the Doubt: Minimum-Size Abductive Explanations for Linear Models with a Reject Option
本文研究了线性模型中具有拒绝选项的最小规模反向推理解释，提出了一种高效算法以提高解释的可解释性和计算效率。
2026-03-14 cs.AI cs.LG
Multi-object Classification via Crowdsourcing with a Reject Option
Syracuse University（雪城大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
考虑为$M$元分类任务设计一个有效的众包系统。群组工作者完成简单的二进制微任务，其结果被聚合以给出最终结果。我们考虑了一个新的场景，其中工作人员有一个拒绝选项，这样当他们无法或选择不响应时，他们可以跳过微任务。例如，在不匹配的语音转录中，不懂语言的工人可能无法对专注于其分类感知之外的语音维度的微任务做出反应。我们提出了一种聚合方法，使用加权多数表决规则，每个工人的响应被分配一个优化的权重，以最大限度地提高人群的分类性能。我们评估系统的性能在精确和渐近形式。此外，我们还考虑了这样一种设置，即可能有一组贪婪的工作者，即使他们无法可靠地执行微任务，他们也会完成微任务。我们考虑了一个不经意的和一个清除策略来处理贪婪的工人，开发一个算法来适应性地在这两个之间切换的基础上估计的分数贪婪的工人在匿名人群。仿真结果表明，改进的性能相比，传统的多数表决。
2016-06-10 cs.LG
Dependency Decomposition and a Reject Option for Explainable Models
Computer Science Institute（计算机科学研究所）；Ruhr West University of Applied Sciences（鲁尔西部应用科学大学）
在安全相关领域（例如自动驾驶、医疗诊断）部署机器学习模型需要可解释的方法，这些方法对对抗攻击具有鲁棒性，并且能够意识到模型的不确定性。最近的深度学习模型在各种推理任务中表现非常好，但这些方法的黑盒性质导致了上述三个要求的弱点。最近的进展提供了可视化特征、描述输入属性（例如热图）、提供文本解释或降低维度的方法。然而，分类任务的解释是相互依赖的还是相互独立的？例如，物体的形状取决于颜色吗？使用预测类生成解释有什么影响，反之亦然？在可解释的深度学习模型的背景下，我们提出了关于期望的图像分类输出和解释变量（例如属性，文本，热图）的概率分布的依赖关系的第一个分析。因此，我们执行解释依赖性分解（EDD）。我们分析了不同的依赖关系的含义，并提出了两种方式产生的解释。最后，我们用解释来验证（接受或拒绝）预测
2020-12-11 cs.AI cs.CV cs.LG
Fine-grained TLS services classification with reject option
CESNET（捷克教育与科研国家网络）；Faculty of Information Technology, CTU in Prague（布拉格捷克理工大学信息技术学院）
机器学习和深度学习最近的成功和普及提供了强大的工具，这些工具也用于计算机网络中的加密流量分析、分类和威胁检测。这些方法，特别是神经网络，通常是复杂的，并且需要大量的训练数据。因此，本文的重点是收集一个大型的最新数据集，其中包含近200个细粒度的服务标签和1.4亿个使用数据包级元数据扩展的网络流。流的数量比其他现有的加密流量的公共标记数据集高出三个数量级。服务标签的数量对于使问题变得困难和现实非常重要，它是具有最多类标签的公共数据集中的四倍。发布的数据集旨在作为识别加密流量中服务的基准。服务识别可以进一步扩展为“拒绝”未知服务的任务，即，在训练阶段看不到的交通。神经网络为解决这一更具挑战性的问题提供了卓越的性能。为了展示数据集的有用性，我们实现了一个具有多模态架构的神经网络，这是最先进的方法，并实现了97.04%的分类准确率，检测到91.94%的未知服务，误报率为5%。
2022-11-29 cs.LG cs.NI
RISAN: Robust Instance Specific Abstention Network
International Institute of Technology Hyderabad（海得拉巴国际信息技术学院）；Microsoft Research（微软研究院）
在本文中，我们提出了用于学习特定于实例的弃权（拒绝选项）二进制分类器的深度架构。所提出的方法使用Kulin Shah和Naresh Manwani在（“Online主动学习of Optional Classifiers”，AAAI，2020）中描述的双S形损失函数作为性能度量。我们表明，双S形损失的分类校准。我们还证明了0-d-1损失的超额风险的上界是双S形损失的超额风险。我们推导出的泛化误差界的建议架构拒绝选项分类。为了证明所提出的方法的有效性，我们用几个真实世界的数据集进行了实验。我们观察到，所提出的方法不仅表现出与最先进的方法相当，它对标签噪声也是鲁棒的。我们还提供了可视化来观察网络学习到的与弃权决策相对应的重要特征。
2021-07-07 cs.AI cs.LG
IDPS Signature Classification with a Reject Option and the Incorporation of Expert Knowledge
Nippon Telegraph and Telephone（日本电信电话公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
随着入侵检测和防御系统（IDS）重要性的增加，管理恶意通信模式文件生成的签名产生了巨大的成本。网络安全专家需要根据IDPS的重要性对签名进行分类。我们提出并评估了一个带有拒绝选项（RO）的机器学习签名分类模型，以降低建立IDPS的成本。为了训练所提出的模型，它是必不可少的设计特征，是有效的签名分类。专家用预定义的“若-则”规则对签名进行分类。“若-则”规则根据签名中元素的关键字匹配返回低、中、高或未知重要性的标签。因此，我们首先设计两种类型的特征，符号特征（SF）和关键字特征（KF），用于“若-则”规则的关键字匹配。接下来，我们设计Web信息和消息功能（WMF）来捕获不匹配“若-则”规则的签名的属性。提取的WMF作为词频-逆文档频率（TF-IDF）特征的消息文本中的签名。这些特征是通过从签名中描述的参考外部攻击识别系统中进行网络抓取而获得的。由于故障需要尽量减少在分类的IDPS签名，在医疗领域，我们考虑在我们提出的模型中引入RO。在实验中评估所提出的分类模型的有效性与两个真实的数据集组成的签名由专家标记：一个数据集，可以与“若-则”规则和数据集的元素，不匹配的“若-则”规则进行分类。在实验中，所提出的模型进行了评估。在这两种情况下，SF和WMF组合的性能优于SF和KF组合。此外，我们还进行了特征分析。
2022-07-19 cs.CR cs.LG
Out-of-distribution Reject Option Method for Dataset Shift Problem in Early Disease Onset Prediction
Graduate School of Medicine, Kyoto University（京都大学医学研究科）；Graduate School of Health and Nursing Science, Wakayama Medical University（和歌山医科大学健康与护理科学研究科）；Research Center for Health-Medical Data Science, Graduate School of Medicine, Hirosaki University（弘前大学医学研究科健康医疗数据科学研究中心）；Innovation Center for Health Promotion, Graduate School of Medicine, Hirosaki University（弘前大学医学研究科健康促进创新中心）；Center of Innovation Research Initiatives Organization, Hirosaki University（弘前大学创新研究倡议组织中心）
针对早期疾病预测中的数据集偏移问题，提出ODROP方法，集成OOD检测模型以排除分布外数据，在真实健康检查数据上显著提升AUROC，首次将OOD检测应用于实际医疗数据。
2025-05-26 cs.AI cs.LG stat.AP
Stacked Confusion Reject Plots (SCORE)
Honda Research Institute Europe GmbH（本田欧洲研究院）
针对常见拒绝曲线过于抽象、非专家难以解释的问题，提出堆叠混淆拒绝图（SCORE），通过更直观的方式展示数据与分类器行为，并在人工高斯数据上验证其功能。
2024-06-25 cs.LG
Deep-RBF Networks Revisited: Robust Classification with Rejection
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）
与许多其他分类器一样，深度神经网络的主要缺点之一是它们容易受到对抗攻击的攻击。其脆弱性的一个重要原因是将高置信度分配给特征点很少甚至没有特征点的区域。通过特征点，我们指的是输入空间的非线性变换，其提取输入数据的有意义的表示。另一方面，深度RBF网络只对包含足够特征点的区域赋予高置信度，但由于人们普遍认为它们存在梯度消失问题，因此它们被低估了。在本文中，我们重新审视了深度RBF网络，首先给出了它们的一般公式，然后提出了一系列受度量学习启发的代价函数。在所提出的深度RBF学习算法中，不会出现消失梯度问题。我们通过在输出层添加拒绝选项，使这些网络对对抗攻击具有鲁棒性。通过在MNIST数据集上的几个实验，我们证明了我们提出的方法不仅达到了显着的分类精度，但也非常抵抗各种对抗攻击。
2018-12-07 cs.LG stat.ML
Learning When to Say "I Don't Know"
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
我们提出了一种新的神经网络选项分类技术，用于识别和删除给定神经分类器和数据集的决策空间中的不确定区域。这种现有的公式采用了学习拒绝（删除）/选择（保持）功能，并需要一个已知的成本拒绝的例子或强约束的准确性或所选的例子的覆盖范围。我们考虑一种替代方案，通过分析互补拒绝区域并采用验证集来学习每类softmax阈值。我们的目标是最大限度地提高所选示例的准确性，并对被拒绝的示例进行自然随机性允许（拒绝比正确预测更不正确的预测）。我们提供的结果显示了所提出的方法优于使用最先进的预训练模型对二维点，图像和文本分类数据集进行简单阈值校准/未校准的softmax分数的好处。源代码可在https://github.com/osu-cvl/learning-idk上获得。
2023-02-15 cs.CV cs.LG
Leveraging Uncertainty in Deep Learning for Selective Classification
Arizona State University（亚利桑那州立大学）
从业者广泛而快速地采用深度学习在许多情况下带来了意想不到的后果，例如臭名昭著的Google Photos种族主义图像识别算法;因此，有必要为每个预测使用量化的不确定性。最近已经有了对传统深度学习方法中的不确定性进行量化的努力（例如，然而，它们在决策中的最佳使用往往被忽视和研究不足。在这项研究中，我们提出了一个混合整数规划框架的分类拒绝选项（也称为选择性分类），调查和结合模型的不确定性和预测均值，以确定最佳的分类和拒绝区域。我们的研究结果表明，我们的框架在几个公开可用的数据集上的非拒绝精度和拒绝质量方面都具有优异的性能。此外，我们将我们的框架扩展到成本敏感的设置，并表明我们的方法在现实世界的在线欺诈管理中显着优于行业标准方法。
2019-05-23 cs.AI cs.LG math.OC
Selective Classification for Deep Neural Networks
Technion – Israel Institute of Technology（以色列理工学院）
选择性分类技术（也称为拒绝选项）尚未在深度神经网络（DNN）的上下文中考虑。这些技术可以通过权衡覆盖范围来显著提高DNN的预测性能。在本文中，我们提出了一种方法来构建一个选择性分类给定的训练神经网络。我们的方法允许用户设置所需的风险水平。在测试时，分类器根据需要拒绝实例，以授予期望的风险（具有高概率）。CIFAR和ImageNet的实证结果令人信服地证明了我们方法的可行性，这为在关键任务应用中操作DNN提供了可能性。例如，使用我们的方法，前5名ImageNet分类中前所未有的2%错误可以保证概率为99.9%，测试覆盖率几乎为60%。
2017-06-01 cs.AI cs.LG
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University（坦佩雷大学）；Visy Oy（维西公司）
在本文中，我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而，这些方法不能实现安全应用中所需的低假阳性率（FPR）。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络，可以估计结果的分布，而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验，估计网络确定性的统计显著性，并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应，这是一个已知的最高性能的方法。结果表明，与替代方案相比，所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
Predict Confidently, Predict Right: Abstention in Dynamic Graph Learning
IIIT Hyderabad（印度信息技术与管理大学海得拉巴分校）
本研究首次将拒绝选项策略整合进连续时间动态图GNN框架，提出基于覆盖率的弃权预测模型，可在高不确定时弃权以降低误分类风险，还可适配类别不平衡场景，在多数据集上验证了其提升预测可靠性与AUC/AP得分的效果。
2025-01-14 cs.LG cs.SI
Conformalized Selective Regression
University of Notre Dame（圣母大学）
针对选择性回归中传统不确定性代理忽视模型偏差的问题，本文提出基于 conformal prediction 的 conformalized selective regression，并建立标准化评估框架，实验表明其优于多个最先进基线。
2024-10-28 cs.LG stat.ML
Selective Regression Under Fairness Criteria
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
选择性回归允许在没有足够的信心做出准确预测时避免预测。一般来说，通过允许拒绝选项，人们期望回归模型的性能以减少覆盖率为代价增加（即，通过在较少的样本上进行预测）。然而，正如我们所展示的，在某些情况下，当我们减少覆盖范围时，少数子组的表现会下降，因此选择性回归会放大不同敏感子组之间的差异。出于这些差异，我们提出了新的选择性回归的公平标准，要求每个子组的性能，以提高覆盖率的下降。我们证明，如果一个功能表示满足充分性标准或校准的均值和方差，比建议的公平性标准是符合的。此外，我们引入了两种方法来减轻子组之间的性能差异：（a）通过正则化条件互信息的上界高斯假设和（b）通过正则化条件均值和条件方差预测的对比损失。这些方法的有效性证明了合成和真实世界的数据集。
2022-07-14 cs.LG stat.ML
Deep Gamblers: Learning to Abstain with Portfolio Theory
Carnegie Mellon University（卡内基梅隆大学）；University of Tokyo（东京大学）
我们处理\textit{selective classification}问题（带有拒绝选项的监督学习问题），我们希望在一定的数据覆盖率下实现最佳性能。我们将原始的$m$类分类问题转换为$(m+1)$类，其中$(m+1)$类表示由于不自信而放弃做出预测的模型。受投资组合理论的启发，我们提出了一个基于赌博翻倍率的选择性分类问题的损失函数。最小化该损失函数自然对应于最大化\textit{horse race}的回报，其中玩家的目标是在有信心时对结果下注（进行预测）和在没有信心时保留自己的奖金（弃权）之间进行平衡。这个损失函数允许我们训练神经网络，并以端到端的方式表征预测的不可信度。与以前的方法相比，我们的方法几乎不需要修改模型推理算法或模型架构。实验结果表明，该方法能够有效地识别数据点中的不确定性，并在SVHN和CIFAR10上取得了较好的效果。
2019-10-01 cs.LG stat.ML
$p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of Deep Representations
University of Torontoland（托伦托兰大学）；Googol ShallowMind（Googol ShallowMind公司）；University of Edenborrow（伊登伯勒大学）
缺乏良好校准的置信度估计使得神经网络在自动驾驶或医疗保健等安全关键领域中显得不足。在这些设置中，能够避免对分布外（OOD）数据进行预测与正确分类分布内数据一样重要。我们引入了$p$ -DkNN，这是一种新的推理过程，它采用经过训练的深度神经网络并分析其中间隐藏表示的相似性结构，以计算与端到端模型预测相关的$p$值。直觉是，对潜在表征进行的统计测试不仅可以作为分类器，而且还可以提供统计上有充分依据的不确定性估计。$p$ -DkNN是可扩展的，并利用隐藏层学习的表示组合，这使得深度表示学习成功。我们的理论分析建立在Neyman-Pearson分类的基础上，并将其与选择性分类（拒绝选项）的最新进展联系起来。我们展示了有利的权衡之间的弃权预测OOD输入和保持高精度的分布输入。我们发现，$p$ -DkNN迫使自适应攻击者制作对抗性示例，这是一种最坏情况的OOD输入，以引入语义上有意义的变化。
2022-07-25 cs.LG stat.ML
AUC-based Selective Classification
Scuola Normale Superiore（意大利高等研究院）；University of Pisa（比萨大学）
选择性分类（或带有拒绝选项的分类）将分类器与选择函数配对，以确定是否应该接受预测。该框架权衡了覆盖率（接受预测的概率）与预测性能，通常通过分布式损失函数来衡量。在许多应用场景中，例如信用评分，性能是通过排名指标来衡量的，例如ROC曲线下面积（AUC）。我们提出了一个模型不可知的方法来关联一个选择函数到一个给定的概率二元分类器。该方法专门针对优化AUC。我们提供了理论上的理由和一种新的算法，称为AUCROSS，以实现这样的目标。实验表明，我们的方法成功地权衡覆盖AUC，提高了现有的选择性分类方法的目标是优化精度。
2023-02-22 cs.AI cs.LG
Conjunction Subspaces Test for Conformal and Selective Classification
School of Software（软件学院）
提出一种整合随机子空间显著性测试的分类器，通过共识 p 值量化不确定性，可部署于 conformal prediction 和 selective classification，并提供了泛化误差界的理论分析与实证验证。
2024-10-16 cs.AI cs.LG
MaskTune: Mitigating Spurious Correlations by Forcing to Explore
Autodesk AI Lab（欧特克人工智能实验室）；Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
过度参数化的深度学习模型的一个根本挑战是学习有意义的数据表示，这些数据表示在下游任务上产生良好的性能，而不会过度拟合虚假的输入特征。这项工作提出了MaskTune，一种掩蔽策略，防止过度依赖虚假（或有限数量）的功能。MaskTune通过屏蔽先前发现的特征，迫使训练后的模型在单个时期微调期间探索新特征。与早期用于减轻快捷学习的方法不同，MaskTune不需要任何监督，例如为数据集中的子组样本注释虚假特征或标签。我们在有偏见的MNIST，CelebA，Waterbirds和ImagenNet-9L数据集上的实证结果表明，MaskTune对经常存在虚假相关的任务是有效的。最后，我们表明，MaskTune优于或达到类似的性能竞争的方法时，应用于选择性分类（分类拒绝选项）任务。MaskTune的代码可在www.example.com上获得。
2022-10-08 cs.CV cs.LG
Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction
University of Maryland, College Park（马里兰大学）；University of California, San Diego（加州大学圣地亚哥分校）；Qualcomm AI（高通人工智能）；Yale University（耶鲁大学）；Meta AI
本文提出基于记忆的插拔式选择预测方法，通过增强视觉语言嵌入来减少方差并改进分数校准，提升图像描述、匹配和细粒度分类性能。
2026-01-30 cs.CV cs.LG
