Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer
School of Computing(计算学院);Fédération ENAC(ENAC联合会);ISAE-SUPAERO;ONERA;National University of Singapore(新加坡国立大学);Université de Toulouse(图卢兹大学);Agency for Science, Technology and Research(科技研究局);Institute for Infocomm Research(信息通信研究所)
针对多专家学习延迟决策问题,提出一种解耦代理损失函数,通过独立sigmoid头与softmax分类器头分离优化,解决了现有方法中的优化病理问题,并首次给出不随专家数量增长的校准常数界。
2026-05-29 cs.LG stat.ML
Who Should Predict? Exact Algorithms For Learning to Defer to Humans
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);IBM Research(IBM研究院)
本文研究学习向人类推迟决策的问题,证明现有方法在可实现设定下仍可能失败且该问题为NP难,并提出MILP精确求解公式及一种可实现一致的替代损失函数,在多个数据集上验证了有效性。
2023-04-11 cs.HC cs.LG
Binary Classifier Calibration: Non-parametric approach
University of Piuttsburgh(匹兹堡大学);University of Pittsburgh(匹兹堡大学)
准确校准学习的概率预测模型对于许多实际预测和决策任务至关重要。有两个主要类别的方法用于构建校准的分类器。一种方法是开发用于学习概率模型的方法,这些方法是从头开始的。另一种方法是使用一些后处理方法来转换分类器的输出以进行良好校准,例如直方图分箱,普拉特缩放和保序回归。后处理方法的一个优点是它可以应用于使用任何机器学习方法构建的任何现有概率分类模型。在本文中,我们首先介绍了两个措施,以及如何评估一个分类器校准。我们证明了三个定理表明,使用一个简单的直方图分箱后处理方法,它是可能的,使分类器进行良好的校准,同时保留其歧视能力。此外,通过将直方图分箱方法铸造为基于密度的非参数二元分类器,我们可以使用两个简单的非参数密度估计方法对其进行扩展。我们证明了所提出的校准方法在合成和真实数据集上的性能。实验结果表明,所提出的方法优于或相当于现有的校准方法。
2014-01-14 cs.LG stat.ML
Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Michigan(密歇根大学);Google Brain(谷歌大脑)
检测测试样品是否来自分销(即,分类器的训练分布)或与其充分不同的分布外(out-of-distribution)在许多现实世界的机器学习应用中出现。然而,已知最先进的深度神经网络在其预测中高度过度自信,即,不区分内部和外部分布。最近,为了处理这个问题,已经提出了几个基于阈值的检测器,给出了预先训练的神经分类器。然而,以前的工作的性能在很大程度上取决于如何训练的分类器,因为他们只专注于改善推理过程。在本文中,我们开发了一种新的分类器的训练方法,使这样的推理算法可以更好地工作。特别是,我们建议在原始损失中添加两个额外条款(例如,交叉熵)。第一个是强制样本从分布外不太相信分类器和第二个是(隐式)生成最有效的训练样本的第一个。从本质上讲,我们的方法联合训练分类和生成神经网络用于分布外。我们使用深度卷积神经网络在各种流行的图像数据集上证明了其有效性。
2018-02-23 cs.LG stat.ML
Calibrated simplex-mapping classification
Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer Institute for Industrial Mathematics ITWM(弗劳恩霍夫工业数学研究所ITWM)
我们提出了一种新的方法,一般多类分类在任意特征空间,这可能会导致良好的校准分类。校准的分类器在许多应用中是重要的,因为除了仅仅预测类别标签之外,它们还为它们的每个预测产生置信水平。本质上,我们的分类器的训练分为两个步骤。在第一步骤中,在潜在空间中表示训练数据,该潜在空间的几何形状由规则的$(n-1)$维单纯形诱导,$n$是类的数量。我们设计这种表示的方式,它很好地反映了数据点的特征空间距离,他们自己的和外国的邻居。在第二步骤中,通过将回归模型拟合到变换后的数据,将训练数据的潜在空间表示扩展到整个特征空间。有了这个潜在的空间表示,我们校准的分类器很容易定义。我们严格建立其核心理论属性,并通过来自不同应用领域的各种合成和真实世界的数据集对其预测和校准属性进行基准测试。
2023-01-10 cs.LG stat.ML
On the Calibration of Probabilistic Classifier Sets
Ghent University(根特大学);LMU Munich(慕尼黑大学)
本文将校准概念从单个概率分类器扩展到概率分类器集合,提出新的非参数校准检验方法,并通过实验揭示深度神经网络集成普遍校准不佳的问题。
2023-04-19 cs.LG stat.ML
Joint Training for Selective Prediction
Pennsylvania State University(宾夕法尼亚州立大学)
针对选择性预测中分类与 deferral 策略优化分离的问题,提出联合训练方法同时优化分类器表征与 deferral 策略,在四项任务上超越强基线并提升双模块性能。
2024-10-31 cs.CL cs.LG
Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration
University of Tartu(塔尔图大学);University of Bristol(布里斯托尔大学);Universidade Federal da Paraíba(帕拉伊巴联邦大学);The Alan Turing Institute(艾伦·图灵研究所)
大多数多类分类器预测的类概率是未经校准的,往往倾向于过度自信。使用神经网络,可以通过温度缩放来改进校准,这是一种学习最后softmax层输入的单个校正乘法因子的方法。在非神经模型上,现有方法以成对或一对一的方式应用二进制校准。我们提出了一种适用于任何模型类的分类器的原生多类校准方法,该方法来自Dirichlet分布,并从二进制分类中推广了Beta校准方法。它很容易用神经网络实现,因为它相当于对未校准的概率进行对数变换,然后是一个线性层和softmax。实验表明,改进的概率预测,根据多种措施(置信ECE,classwise-ECE,日志损失,Brier分数)在广泛的数据集和分类。学习的狄利克雷校准图的参数提供了对未校准模型中的偏差的见解。
2019-10-28 cs.LG stat.ML
Improving Screening Processes via Calibrated Subset Selection
Cornell University(康奈尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
许多选择过程,例如在搜索引擎中寻找有资格进行医学试验的患者或检索管道,由多个阶段组成,其中初始筛选阶段将资源集中在最有希望的候选人的短名单上。在本文中,我们研究了什么保证筛选分类器可以提供,独立于它是否是手动构建或训练。我们发现,目前的解决方案不享有分布免费的理论保证-我们表明,在一般情况下,即使是一个完美的校准分类器,总是存在特定的候选人池,其入围名单是次优的。然后,我们开发了一种无分布的筛选算法-称为校准子集选择(CSS)-给定任何分类器和一定量的校准数据,找到接近最优的候选人短名单,其中包含期望数量的合格候选人。此外,我们表明,CSS的一个变体,校准一个给定的分类器多次跨特定的群体可以创建候选名单与可证明的多样性保证。美国人口普查调查数据的实验验证了我们的理论结果,并表明,我们的算法提供的入围名单优于几个竞争性基线提供的。
2022-06-13 cs.CY cs.LG stat.ML
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本文研究对抗扰动且允许弃权(不执行)预测场景下的分类问题,提出对抗鲁棒拒绝选项损失,给出替代损失的校准表征,并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness
KAIST(韩国科学技术院);Vector Institute for Artificial Intelligence(向量人工智能研究所);Kakao Enterprise;Inha University(仁荷大学)
随机平滑是目前最先进的方法,用于从神经网络构建可证明鲁棒的分类器来对抗$\ell_2$对抗性扰动。在该范例下,分类器的鲁棒性与预测置信度一致,即,来自平滑分类器的更高置信度意味着更好的鲁棒性。这促使我们重新思考在校准平滑分类器的置信度方面准确性和鲁棒性之间的基本权衡。在本文中,我们提出了一个简单的训练方案,创造SmoothMix,通过自混合来控制平滑分类器的鲁棒性:它沿着每个输入的对抗扰动方向对样本的凸组合进行训练。所提出的过程有效地识别过度自信,近类样本的平滑分类器的情况下,有限的鲁棒性的原因,并提供了一种直观的方式来自适应地设置一个新的决策边界这些样本之间的更好的鲁棒性。我们的实验结果表明,该方法可以显着提高认证的$\ell_2$ -鲁棒性的平滑分类器相比,现有的国家的最先进的强大的训练方法。
2021-11-17 cs.AI cs.LG
On the Within-Group Fairness of Screening Classifiers
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文揭示了使用校准分类器的筛选策略存在组内不公平性问题,提出组内单调性作为避免该问题的条件,并设计了基于动态规划的后处理算法,在美国人口普查数据上验证了其能以较小代价实现组内单调性。
2023-08-07 cs.CY cs.DS cs.LG
Binary Classifier Calibration: Bayesian Non-Parametric Approach
University of Piuttsburgh(匹兹堡大学);University of Pittsburgh(匹兹堡大学)
如果被预测为以概率p发生的事件实际上发生在时间的p分之一左右,那么一组概率预测就被很好地校准了。当机器学习模型用于决策分析时,校准良好的预测尤为重要。本文提出了两种新的非参数二元分类模型输出校正方法:基于贝叶斯最优选择的方法和基于贝叶斯模型平均的方法。这些方法的优点是它们独立于用于学习预测模型的算法,并且它们可以在模型学习之后应用于后处理步骤。这使得它们适用于各种各样的机器学习模型和方法。这些校准方法,以及其他方法,在各种数据集的歧视和校准性能方面进行了测试。结果表明,这些方法的性能优于或与最先进的校准方法相当。
2014-01-13 cs.LG stat.ML
Margin-calibrated Classifier Guidance for Property-driven Synthesis Planning
Aalto University(阿alto大学)
本文提出Sequence Completion Ranking方法,通过对比论证和边界损失校准分类器,提升合成规划中满足特定约束的反应序列生成效率,显著提高多步求解率和多样性。
2026-05-13 cs.AI cs.LG
Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints
Feedzai;Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究院)
针对学习委托中忽视成本敏感、数据要求高和负载约束的问题,提出DeCCaF框架,结合监督学习和约束规划,在欺诈检测中平均降低8.4%误分类成本。
2024-08-19 cs.AI cs.LG
Fault detection and diagnosis for the engine electrical system of a space launcher based on a temporal convolutional autoencoder and calibrated classifiers
本文提出一种基于时序卷积自编码器与校准梯度提升分类器的航天运载火箭发动机电气系统故障检测与诊断框架,可估计置信度、识别分布外数据并控制虚警,在仿真数据上验证了其有效性。
2025-07-17 cs.LG
Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency
School of Computer Science and Engineering, The Hebrew University of Jerusalem, Israel(计算机科学与工程学院,耶路撒冷希伯来大学,以色列);The Federmann Center for the Study of Rationality, The Hebrew University of Jerusalem, Israel(理性研究基金会,耶路撒冷希伯来大学,以色列)
本文针对充分性公平约束下的二元分类问题,提出了一种基于分组校准分数的后处理算法,能够实现最优随机分类,并给出了可行正预测值与错误遗漏率对的几何刻画。
2026-05-28 cs.LG
Better Classifier Calibration for Small Data Sets
University of Oulu(奥卢大学);Oura Health Ltd.(欧拉健康有限公司)
分类器校准并不总是与分类器分离类的能力齐头并进。在一些应用中,良好的分类器校准,即产生准确概率估计的能力,比类别分离更重要。当用于训练的数据量有限时,改进校准的传统方法开始崩溃。在这篇文章中,我们展示了如何生成更多的数据进行校准,能够提高校准算法的性能,在许多情况下,分类器不是自然产生良好的校准输出和传统的方法失败。所提出的方法增加了计算成本,但考虑到主要用例是小数据集,这种额外的计算成本保持微不足道,并且在预测时间上与其他方法相当。从测试的分类器的最大的改善,检测到与随机森林和朴素贝叶斯分类器。因此,当可用于训练的数据量有限并且良好的校准至关重要时,至少可以为那些分类器推荐所提出的方法。
2020-05-25 cs.LG stat.ML
Labels in Extremes: How Well Calibrated are Extreme Multi-label Classifiers?
Aalto University(阿尔托大学);University of Bath(巴斯大学)
本文系统评估极端多标签分类器的概率校准,提出calibration@k度量,并证明等渗回归可在不损失精度下提升校准。
2024-11-06 cs.LG
Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited
Heidelberg Institute for Theoretical Studies(海德堡理论研究所);University of Hohenheim(霍恩海姆大学);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
如果预测的概率与事后观察到的频率相匹配,则概率预测或概率分类器是可靠的或经过校准的,如在可靠性图中视觉检查的。经典的装箱和计数的方法来绘制可靠性图已受到阻碍的不可避免的,特设的实施决策下缺乏稳定性。在这里,我们介绍了CORP方法,该方法以自动化的方式生成可证明的统计一致性,最佳装箱和可再现的可靠性图。CORP基于非参数保序回归,并通过池相邻违规者(PAV)算法实现-本质上,CORP可靠性图显示了PAV(重新)校准的预测概率图。CORP方法允许不确定性量化,通过重新校准技术或渐近理论,重新校准一个新的数值测量,并提供了一个基于CORP的Brier分数分解,概括为任何适当的评分规则。我们预计,明智地使用PAV算法产生改进的工具,用于诊断和推断非常广泛的统计和机器学习方法。
2020-08-07 cs.LG stat.ME stat.ML
COSEE: Consistency-Oriented Signal-Based Early Exiting via Calibrated Sample Weighting Mechanism
Tongji University(同济大学);Fudan University(复旦大学);Macquarie University(麦考瑞大学)
本文提出COSEE框架,通过校准样本加权机制使分类器关注不同加速场景下可能退出的样本,解决了预训练语言模型提前退出中训练与测试不一致及加速比无法灵活调整的问题,在GLUE上取得更优的效率与性能权衡。
2024-12-17 cs.AI cs.LG
Performance-Agnostic Fusion of Probabilistic Classifier Outputs
Stellenbosch University(斯泰伦博斯大学);African Institute for Mathematical Sciences(非洲数学科学研究所)
我们提出了一种方法,用于组合分类器的概率输出,以便在没有关于单个分类器的进一步信息时进行单个共识类预测,除了它们已经针对相同的任务进行了训练。缺乏相关的先验信息排除了贝叶斯或Dempster-Shafer方法的典型应用,这里的默认方法是基于无差异原则的方法,例如求和或乘积规则,基本上对所有分类器进行同等权重。相比之下,我们的方法考虑了各种分类器输出之间的多样性,根据它们与其他预测的对应关系迭代更新预测,直到预测收敛到共识决策。这种方法背后的直觉是,为同一任务训练的分类器通常应该在新任务的输出中表现出不确定性;因此,使用我们的方法,与其他分类器的预测显著不同的分类器的预测可信度较低。该方法隐含地假设对称的损失函数,因为不考虑各种预测误差的相对成本。该模型的性能表现在不同的基准数据集。我们提出的方法在准确性是性能指标的情况下工作良好;但是,它不输出校准的概率,因此它不适合需要进一步处理这些概率的情况。
2020-09-01 cs.LG stat.ML
Simplex-to-Euclidean Bijection for Conjugate and Calibrated Multiclass Gaussian Process Classification
Department of Computer Science, University of Helsinki, Finland(赫尔辛基大学计算机科学系)
本文提出利用概率简单形几何将类别概率映射到欧几里得空间,将分类转化为高斯过程回归问题,实现共轭推断和可靠预测概率,适用于大规模数据集。
2026-08-31 cs.LG
Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team(谷歌研究院,Brain团队)
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外(OOD)输入至关重要。最有前途的方法主要集中在改善模型不确定性(例如深度集合和贝叶斯神经网络)和OOD检测的后处理技术(例如ODIN和Mahalanobis距离)。然而,有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计,和占主导地位的方法,softmax交叉熵,导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用(1)一对一的公式来捕捉“以上都没有”的概念,以及(2)基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明,一对多的公式可以提高图像分类任务的校准,同时匹配softmax的预测性能,而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Classifier Calibration: A survey on how to assess and improve predicted class probabilities
Federal University of Paraíba(帕拉伊巴联邦大学);University of Bristol(布里斯托尔大学);University of Tartu(塔尔图大学)
该综述系统介绍分类器校准的原理与实践,涵盖评估指标、可视化、二分类及多分类事后校准方法等内容,为相关研究提供概念与工具支撑。
2023-02-16 cs.LG stat.ML
Well-calibrated Confidence Measures for Multi-label Text Classification with a Large Number of Labels
Albourne Partners (Cyprus) Ltd(阿尔本合伙(塞浦路斯)有限公司);Frederick University(弗雷德里克大学);University of West Bohemia(西波希米亚大学)
本研究针对多标签文本分类中标签幂集归纳共形预测计算效率低的问题,提出排除低p值标签集的高效方法,在多语言数据集上验证其兼具良好校准性与实用价值,且上下文嵌入分类器性能最优。
2023-12-14 cs.CL cs.LG stat.ML
Approximate Conditional Coverage & Calibration via Neural Model Approximations
Reexpress AI;Harvard University(哈佛大学)
一个典型的迫切需要量化的不确定性从分类模型作为一个预测集是类条件单例集校准。也就是说,这样的集合应该映射到校准良好的选择性分类器的输出,匹配观察到的相似实例的频率。最近提出深度网络自适应和局部共形p值的工作并不能保证这种行为,也不能凭经验实现。相反,我们使用来自基于KNN的Transformer网络近似的预测可靠性的强信号来构建Mondrian Conformal Predictors的数据驱动分区,这些分区被视为弱选择性分类器,然后通过新的归纳Venn Predictor(Venn-ADMIT Predictor)进行校准。由此产生的选择性分类器是校准良好的,在一个保守的,但实际上有用的意义上,对于一个给定的阈值。它们对数据分区比例的变化具有固有的鲁棒性,并且简单的保守统计学对协变量偏移提供了额外的鲁棒性。我们比较和对比最近的共形预测器在几个具有代表性和挑战性的自然语言处理分类任务中产生的数量,包括类不平衡和分布偏移设置。
2022-12-01 cs.CL cs.LG
Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
研究针对金融服务等场景中大语言模型安全分类需求,提出Semalith v1.4分类器,能单步实现三轴安全分类,经训练和对比测试,在提示注入检测上表现出色且参数少,还给出不同场景下的部署建议。
2026-07-28 cs.AI cs.CL cs.CR
NeuroPareto: Calibrated Acquisition for Costly Many-Goal Search in Vast Parameter Spaces
University of Macau(澳门大学);Fudan University(复旦大学);Renmin University of China(中国人民大学);Wuhan University(武汉大学);Shanghai AI Laboratory(上海人工智能实验室);University of Southampton(南安普顿大学);Hong Kong Baptist University(香港 Baptist大学)
NeuroPareto通过整合排名中心过滤、不确定性解耦和历史条件获取策略,有效导航复杂目标景观,实现多目标优化中的高效搜索与高精度候选生成。
2026-07-23 cs.LG cs.NE
One Threshold Does Not Fit All Languages: Language-Conditional Deferral for Reliable and Efficient Low-Resource Text Classification
University of Missouri(密苏里大学);Amar Bio Tech Pvt Ltd(阿玛尔生物科技有限公司)
本研究针对低资源文本分类中单一置信度阈值无法覆盖所有语言的问题,提出按语言分别估计阈值,无需重训即可使各语言准确率达标,并揭示人工审查成本的不均衡性。
2026-09-30 cs.CL cs.LG
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California(南加州大学);AWS AI Labs(AWS AI实验室)
本文提出一种校准感知强化学习方法,通过调整决策标记概率,在保持准确性的同时减少过度自信,提升决策LLM的校准性能。
2026-01-19 cs.LG
Delayed Rewards Calibration via Reward Empirical Sufficiency
Quaintquant Pty Ltd(Quaintquant 有限公司);The University of Adelaide(阿德莱德大学)
为延迟奖励分配适当的信用是强化学习的一个基本挑战。为了解决这个问题,我们引入了一个延迟奖励校准范式的灵感来自分类的角度。我们假设,良好的代表性的状态向量共享彼此的相似性,因为它们包含相同或等效的基本信息。为此,我们定义了一个经验充分分布,其中分布内的状态向量将导致代理环境奖励信号在随后的步骤。因此,设计了一个经过净化训练的分类器来获得分布并生成校准的奖励。我们通过跟踪实时提取和在环境中建立不同的奖励函数来检查充分状态提取的正确性。实验结果表明,该分类器能够及时准确地产生校准后的奖励。此外,奖励能够使模型训练过程更有效。最后,我们确定并讨论了我们的模型提取的足够的状态与人类的观察产生共鸣。
2021-08-25 cs.LG
When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression
Institute for Global Prosperity, The Bartlett, University College London(全球繁荣研究所,巴特利特学院,伦敦大学学院)
本文研究了在回归任务中使用置信度阈值的校准问题,提出了一种校准意识的诊断工具,通过分析残差分数方差预测偏倚,为伪标签流程提供决策规则。
2026-05-12 cs.LG stat.ME stat.ML
Non-Parametric Calibration for Classification
University of Tuebingen(蒂宾根大学);TU Munich(慕尼黑工业大学);KTH Royal Institute of Technology(瑞典皇家理工学院);German Aerospace Center (DLR)(德国航空航天中心)
分类方法的许多应用不仅要求高精度,而且要求对预测不确定性进行可靠的估计。然而,尽管许多当前的分类框架,特别是深度神经网络,实现了高准确性,但它们往往会错误地估计不确定性。在本文中,我们提出了一种方法,调整一般分类器的置信度估计,使它们接近正确分类的概率。与现有的方法相比,我们的校准方法采用了一个非参数表示,使用一个潜在的高斯过程,是专门为多类分类。它可以应用于输出置信度估计的任何分类器,并且不限于神经网络。我们还提供了一个理论分析的过度和信心不足的分类器及其校准的关系,以及校准的主动学习的实证前景。在实验中,我们展示了我们的方法在不同分类器和基准数据集上的普遍强大性能,特别是对于最先进的神经网络架构。
2020-02-27 cs.CV cs.LG stat.ML
Forming Effective Human-AI Teams: Building Machine Learning Models that Complement the Capabilities of Multiple Experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);GESIS - Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所)
机器学习(ML)模型越来越多地用于经常涉及与人类专家一起工作的应用领域。在这种情况下,当ML模型难以预测某些实例时,将其推迟到单个人类专家可能是有利的。虽然以前的工作集中在一个不同的人类专家的情况下,在许多现实世界的情况下,可能有几个人类专家具有不同的能力。在这项工作中,我们提出了一种训练分类模型的方法,以补充多个人类专家的能力。通过与分配系统一起联合训练分类器,分类器学会准确预测人类专家难以预测的实例,而分配系统学会将每个实例传递给最合适的团队成员-分类器或人类专家之一。我们评估我们提出的方法在多个实验中的公共数据集与“合成”专家和现实世界的医疗数据集注释多个放射科医生。我们的方法优于以前的工作,比最好的人类专家或分类器更准确。此外,它可以灵活地适应不同规模和不同专家多样性水平的团队。
2022-06-16 cs.AI cs.HC cs.LG
From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers
Texas A&M University-Corpus Christi(德克萨斯农工大学科珀斯克里斯蒂分校);BITS Pilani Goa(戈亚斯 pilani Bits 大学);Mississippi State University(密西西比州立大学);Northern Illinois University(北伊利诺伊大学);Texas Christian University(得克萨斯基督教大学)
本研究评估12个指令微调开放权重LLM作为直接因果边分类器的可靠性,发现其判断过度预测、置信度不可靠,仅跨提示/模型一致性更优,建议将其作为软因果先验来源而非因果结构直接证据。
2026-08-26 cs.AI cs.LG stat.ME
On the pragmatism of using binary classifiers over data intensive neural network classifiers for detection of COVID-19 from voice
Carnegie Mellon University(卡内基梅隆大学);Merlin Inc(梅林公司)
最近,多个研究小组在全球范围内努力从语音中检测COVID-19。不同的研究人员使用来自语音信号的不同类型的信息来实现这一点。各种类型的发声声音以及咳嗽和呼吸的声音都已在基于语音的COVID-19自动检测应用程序中获得不同程度的成功。在本文中,我们表明,从语音中检测COVID-19不需要定制的非标准特征或复杂的神经网络分类器,而只需标准特征和简单的二进制分类器就可以成功完成。事实上,我们表明,后者不仅更准确,更可解释,而且计算效率更高,因为它们可以在小型设备上本地运行。我们在超过1000名受试者的人工数据集上证明了这一点,这些受试者在临床环境中收集和校准。
2022-10-25 cs.LG cs.MM cs.SD
Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Stanford University(斯坦福大学);Fundamental Technologies(基础技术公司);Haute Autorité de Santé(法国国家卫生管理局)
该研究量化了批量二元决策中使用近似后验概率的超额风险,给出校准误差遗憾值的解析式与校准分类器遗憾值的上下界,可识别校准的作用场景,且相关量可实际估算,实验验证其能判断后训练收益,还指出多重校准的替代潜力。
2025-03-23 cs.AI cs.LG stat.ML
Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages
Faculty of Information Technology, Universitas Budi Luhur(信息技术学院,布迪卢赫尔大学)
本文评估Jev、Laya-multilingual等模型在印尼区域语言上的性能,发现翻译可提升Jev准确率,置信度门控级联架构能优化性能并降低成本,同时对比了其他商业LLM的表现。
2026-10-14 cs.CL cs.LG
Hidden Heterogeneity: When to Choose Similarity-Based Calibration
Oregon State University(俄勒冈州立大学)
值得信赖的分类器对于在许多现实环境中采用机器学习预测至关重要。可能结果的预测概率可以为高风险决策提供信息,特别是在评估替代决策的预期价值或不良结果的风险时。这些决策需要经过良好校准的概率,而不仅仅是对最有可能的类别的正确预测。黑盒分类器校准方法可以提高分类器输出的可靠性,而不需要重新训练。然而,这些方法无法检测校准也可以提高预测精度的亚群。这样的亚群被认为表现出“隐藏的异质性”(HH),因为原始分类器没有检测到它们。本文提出了一个量化的措施,HH。它还介绍了两种相似性加权校准方法,可以通过本地适应每个测试项目来解决HH:SWC通过与测试项目的相似性对校准集进行加权,SWC-HH显式地结合隐藏的异质性来过滤校准集。实验表明,通过基于相似性的校准方法实现的校准中的改进与HH存在的量相关,并且在给定足够的校准数据的情况下,通常超过通过全局方法实现的校准。因此,HH可以作为一种有用的诊断工具,用于识别本地校准方法何时会有益。
2023-02-20 cs.LG
Multi-Classification using One-versus-One Deep Learning Strategy with Joint Probability Estimates
Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程研究中心);City University of Hong Kong(香港城市大学)
针对一对一多分类策略中投票机制限制准确率的问题,提出融合联合概率度量的深度学习OvO模型,经两阶段概率估计和距离最小化求解,在多场景下准确率优于现有主流模型。
2023-06-16 cs.AI cs.LG
Uncertainty Calibration of Multi-Label Bird Sound Classifiers
INS, Kiel University, Germany(基尔大学);Tilburg University, Netherlands(蒂尔堡大学);Naturalis Biodiversity Center, Netherlands(自然史生物多样性中心);IES, University of Kassel, Germany(卡塞尔大学)
本文研究了多标签鸟类声音分类器的不确定性校准问题,发现不同模型在不同数据集和类别上的校准效果差异显著,提出通过简单后处理方法提升校准性能。
2026-02-24 cs.LG cs.SD
Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations
Google Research(谷歌研究院)
当我们不知道分类器的输入是否属于受保护的组时,我们如何学习对受保护的或敏感的组“公平”的分类器?当受保护组的数据难以获得时,我们如何训练这样的分类器?在许多设置中,即使在模型训练期间,找出敏感的输入属性也可能非常昂贵,并且有时在模型服务期间是不可能的。例如,在推荐系统中,如果我们想预测用户是否会点击给定的推荐,我们通常不知道用户的许多属性,例如,种族或年龄,并且内容的许多属性难以确定,例如,语言或主题。因此,使用基于敏感属性的知识校准的不同分类器是不可行的。在这里,我们使用对抗训练过程来从神经网络学习的潜在表示中删除有关敏感属性的信息。特别是,我们研究了对抗训练的数据选择如何影响所产生的公平性。我们发现了两个有趣的结果:训练这些对抗性模型只需要少量的数据,而数据分布经验地驱动了对手的公平概念。
2017-07-07 cs.CY cs.LG