Mask-Conditional Conformal Prediction: Valid Uncertainty For All Missing Data Mechanisms
LaMME, University of Paris-Saclay, Evry(LaMME,巴黎-萨克雷大学,埃夫里);ENSIIE, Evry(ENSIIE,埃夫里);Capgemini Invent, Paris, France(Capgemini Invent,巴黎,法国)
本文提出加权置信预测方法,通过预填补掩码并校正预测集,提供对一般缺失数据机制的边缘覆盖性和掩码条件有效性。
2026-11-03 cs.LG stat.ML
On the Out-of-Distribution Coverage of Combining Split Conformal Prediction and Bayesian Deep Learning
The MITRE Corporation(MITRE公司)
本研究探讨贝叶斯深度学习与拆分共形预测结合对多类别图像分类分布外覆盖性的影响,指出模型校准集置信度高低会带来不同效果,实验发现该结合在部分场景下会产生降低分布外覆盖性的意外后果。
2024-03-07 cs.LG stat.ML
Noise-Adaptive Conformal Classification with Marginal Coverage
Politecnico di Milano(米兰理工大学);University of Sydney(悉尼大学);University of Hong Kong(香港大学);University of Southern California(南加州大学)
本文提出一种噪声自适应共形推断方法,应对随机标签噪声导致的非可交换性,在合成及真实数据集(如BigEarthNet和CIFAR-10H)上验证了其能提供信息丰富且具有严格边际覆盖保证的预测集。
2026-09-15 cs.LG stat.ME stat.ML
Distribution-informed Online Conformal Prediction
School of Statistics and Data Science, LPMC, KLMDASR and LEBPS, Nankai University(南开大学统计与数据科学学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出了一种基于分布的在线适配预测算法COP,通过整合数据模式以生成更紧的预测集,同时保证覆盖率和减少后悔。
2026-02-24 cs.LG stat.ML
T-SCI: A Two-Stage Conformal Inference Algorithm with Guaranteed Coverage for Cox-MLP
IIIS, Tsinghua University(清华大学交叉信息研究院)
删失数据的处理具有挑战性,因为我们只能获得生存时间的不完全信息,而不能获得其确切值。幸运的是,在线性预测假设下,人们可以使用Cox回归等方法获得生存时间置信区间的保证覆盖率。然而,当用神经网络放松线性假设时(例如,Cox-MLP(Katzman等人,2018; Kvamme等人,2019年,我们失去了保障。为了在没有线性假设的情况下恢复保证覆盖,我们提出了两种基于保形推理的算法。在第一个算法WCCI中,我们重新加权共形推理,并引入了一个新的不符合分数的基础上偏似然。然后,我们提出了一个两阶段的算法T-SCI,我们在第一阶段运行WCCI,并在第二阶段应用分位数共形推理来校准结果。理论分析表明,T-SCI返回保证覆盖率比WCCI温和的假设。我们使用不同的方法对合成数据和真实数据进行了大量的实验,验证了我们的分析。
2021-04-14 cs.AI cs.DS cs.LG
Guaranteed Coverage Prediction Intervals with Gaussian Process Regression
Frederick University(弗雷德里克大学)
本文提出基于保形预测(CP)框架扩展高斯过程回归(GPR)的方法,在模型设定错误时仍能保证预测区间的指定覆盖率,实验证明其优于现有方法。
2024-08-28 cs.LG
Rethinking Generative Mode Coverage: A Pointwise Guaranteed Approach
Columbia University(哥伦比亚大学)
许多生成模型必须与$\textit{missing modes}$作斗争。为此目的的传统智慧是通过训练来减小所生成的分布与所提供的数据分布之间的统计距离(诸如$f$-发散)。但这更多的是一种启发,而不是一种保证。统计距离测量两个分布之间的$\textit{global}$而不是$\textit{local}$相似性。即使它很小,它也不意味着一个合理的模式覆盖。重新思考这个问题,从博弈论的角度来看,我们表明,一个完整的模式覆盖是牢固地实现。如果生成模型可以在全局统计距离度量下适度地近似数据分布,那么我们将能够找到共同覆盖$\textit{every}$数据点的生成器的混合,从而覆盖$\textit{every}$模式,具有下界生成概率。构造生成器混合物与乘法权重更新规则有关,我们提出了我们的算法。我们证明,我们的算法保证完整的模式覆盖。我们在真实和合成数据集上的实验证实了比最近的方法更好的模式覆盖率,这些方法也使用生成器混合,但依赖于全局统计距离。
2019-10-24 cs.LG stat.ML
Online scalable Gaussian processes with conformal prediction for guaranteed coverage
School of ECE University of Georgia Athens, GA 30602, USA;Dept. of ECE University of Minnesota Minneapolis, MN 55455, USA
针对在线场景下高斯过程模型易误设、共形预测的可交换性假设难满足的问题,提出结合共形预测的在线可扩展高斯过程方法,通过反馈自适应调整阈值以保障长期预测覆盖率,性能优于现有方案。
2024-10-07 cs.LG stat.ME stat.ML
Probabilistic Conformal Coverage Guarantees in Small-Data Settings
Berkeley Synchrotron Infrared Structural Biology Program(伯克利同步辐射红外结构生物学项目);Center for Advanced Mathematics in Energy Research Applications(能源研究应用高级数学中心);Molecular Biophysics and Integrated Bioimaging Division(分子生物物理与整合生物成像部门)
本文提出小样本贝塔校正(SSBC),通过利用共形覆盖率的精确有限样本分布调整显著性水平,在小数据场景下为分裂共形预测提供概率覆盖保证,解决单次校准集覆盖率波动大的问题。
2025-09-18 cs.LG
Guaranteed prediction sets for functional surrogate models
Université de technologie de Compiègne(技术大学(Compiègne));CNRS Heudiasyc France(法国国家科学研究中心Heudiasyc实验室);UK Atomic Energy Authority(英国原子能局);University College London(伦敦大学学院)
本文提出一种为函数代理模型(如PDE仿真器)构建具有统计保证的预测集的方法,利用SVD低维表示和zonotope集合传播实现共形预测覆盖,且模型无关。
2025-06-19 cs.AI cs.LG
Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets
Beihang University(北航大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出一种风险控制预测框架,通过校准集和数据驱动阈值优化联合损失函数,为语音情感识别提供覆盖保证,并在多个基线和数据集上验证了其鲁棒性与在线校准能力。
2025-05-07 cs.LG cs.SD eess.AS
Incorrect by Construction: Fine Tuning Neural Networks for Guaranteed Performance on Finite Sets of Examples
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);Defense Nuclear Facilities Safety Board(美国国防核设施安全委员会)
人们对使用形式化方法来保证深度神经网络的可靠性非常感兴趣。然而,这些技术也可以用于植入仔细选择的输入-输出对。我们提出了一种新技术的初步结果,该技术使用SMT求解器来微调ReLU神经网络的权重,以保证有限的特定示例集的结果。此过程可用于确保关键示例的性能,但也可用于插入难以找到的错误示例,从而触发意外性能。我们通过微调MNIST网络来展示这种方法,以错误地对特定图像进行分类,并讨论这种方法可能会损害自由共享的机器学习模型的可靠性。
2020-08-03 cs.LG math.OC stat.ML
Conformalized Deep Splines for Optimal and Efficient Prediction Sets
Genentech(基因泰克公司)
提出SPICE保形回归方法,用神经网络参数化样条估计条件密度,并结合SPICE-ND与SPICE-HPD分数,在预测集大小和条件覆盖上取得最优表现。
2023-11-01 cs.LG
Robust Conformal Prediction under Distribution Shift via Physics-Informed Structural Causal Model
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Lehigh University(利哈伊大学)
针对分布偏移下保形预测覆盖失效问题,利用累积密度函数与Wasserstein距离界定覆盖差异上界,并提出物理信息结构因果模型(PI-SCM)降低该上界,有效提升了多任务下的覆盖鲁棒性。
2024-03-22 cs.LG stat.ML
Conformalized-KANs: Uncertainty Quantification with Coverage Guarantees for Kolmogorov-Arnold Networks (KANs) in Scientific Machine Learning
Purdue University(普渡大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Delft University of Technology(代尔夫特理工大学)
本文提出Conformalized-KANs,将保形预测与KAN集成结合,生成具有覆盖保证的校准预测区间,并在多种超参数设置下验证其鲁棒性,可扩展至FBKANs和MFKANs,提升科学机器学习中KANs的可靠性。
2025-04-21 cs.LG
CS-WCP: Robust Conformal Sets for LLM-Judge Traffic Shifts with Uncertain Group Proportions
Iowa State University(爱荷华州立大学);Kalinga Institute of Industrial Technology(卡林加工业技术学院)
针对LLM裁判预测集在流量转移下覆盖不足的问题,提出CS-WCP方法,通过构建源目标组质量精确区间并取加权共形集并集,在不确定组比例下提供可审计的鲁棒覆盖保障,实验验证其高覆盖率与保守尾部保护。
2026-09-24 cs.LG
Conformal Prediction Sets with Limited False Positives
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们开发了一种新的多标签共形预测方法,我们的目标是输出一组精确的有前途的预测候选人与有限数量的不正确的答案。标准保形预测通过构建校准的候选集来代替单个预测,从而提供适应模型不确定性的能力,并保证该集合包含具有高概率的正确答案。然而,为了服从这种覆盖性质,共形集可能会被嘈杂的候选者淹没-这可能使它们在实践中毫无帮助。这与预算有限的实际应用特别相关,并且与假阳性相关联的成本(货币或其他)不可忽略。我们建议通过强制在预测的共形集合中存在不正确的候选者(即,假阳性的总数)根据用户指定的容限来限定。受此约束,我们的算法然后优化集合覆盖的广义概念(即,真阳性率),其允许给定查询的任何数量的真答案(包括零)。我们在自然语言处理、计算机视觉和计算化学中的许多分类任务中证明了这种方法的有效性。
2022-02-15 cs.LG
Learning High Coverage Discriminative Parsimonious Rulesets
Indian Institute of Science(印度科学研究所);Compass
提出CDPR方法,通过子模最大化算法学习高覆盖、判别性且简约的规则集,在保持高准确率的同时显著提升可解释性,覆盖率比次优算法提升2.5倍以上。
2026-06-15 cs.AI cs.LG
A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
International Research Center for Neurointelligence, The University of Tokyo(国际神经智能研究中心,东京大学);ATR Neural Information Analysis Laboratories(ATR神经信息分析实验室);Department of Information Science, Kyoto University(京都大学信息科学系)
本文研究了基于偏好条件的多目标强化学习,通过平滑Tchebycheff标量化方法证明了偏好与帕累托最优回报向量的唯一性和连续性,并提出CMDPI算法实现O(1/k)的收敛速度。
2026-05-09 cs.LG
Sequential Confidence Sets for Coverage-Constrained Conformal Model Selection
Jinan University(暨南大学)
本文提出CC-SMCS方法,通过同时鞅置信序列构建序贯置信集,在覆盖率硬约束下识别约束最优流水线,提供有限样本保证且无需平稳性假设。
2026-09-25 cs.LG stat.ML
Improving Coverage in Combined Prediction Sets with Weighted p-values
Johns Hopkins University(约翰霍普金斯大学)
提出一种加权聚合预测集的框架,通过为每个预测集分配权重,实现覆盖范围在$1-2α$与$1-α$之间的灵活控制,并推广到数据依赖权重,在混合专家模型等场景中保持有限样本有效性。
2025-12-23 cs.AI cs.LG stat.ML
Adaptive Coverage Policies in Conformal Prediction
Inria, Ecole Normale Supérieure, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,PSL研究大学);University of California, Berkeley(加州大学伯克利分校)
本文提出基于e值和事后符合推断的适应性覆盖策略,通过神经网络训练优化覆盖水平,提高预测集的灵活性和效率。
2026-04-02 cs.LG stat.ML
Conformal Prediction Sets Can Cause Disparate Impact
Layer 6 AI;TD Securities(道明证券)
针对保形预测集在实际决策中需单一输出的局限,通过人类实验发现其会导致差异影响,且满足均等覆盖的集合会加剧该影响,进而提出跨群体均等化集合大小以降低差异影响的方法。
2025-02-13 cs.LG stat.ML
Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores
University of California, Berkeley(加利福尼亚大学伯克利分校);Inria(法国国家信息与自动化研究所)
针对标准 conformal 预测仅保证边际覆盖的局限,本研究提出基于分类器置信度和信任分数的改进算法,在分类器过度自信于错误预测的关键场景提升条件覆盖,实证显示其在多图像数据集上改善了类别、子组等条件覆盖特性。
2025-02-09 cs.AI cs.LG stat.ME
Conformal Classification with Equalized Coverage for Adaptively Selected Groups
University of Southern California(南加州大学)
本研究提出一种面向自适应选择分组的共形分类方法,通过生成带有效条件覆盖率的预测集评估分类不确定性,在预测效率与敏感群体算法公平性间实现折中,并在模拟和真实数据集上验证了有效性。
2024-10-30 cs.LG stat.ML
Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction
Stanford University(斯坦福大学)
我们开发了共形预测方法,用于在多类和多标签问题中构建有效的预测置信集,而无需假设数据生成分布。这里的一个挑战是,典型的共形预测方法-提供边际有效性(覆盖率)保证-提供不均匀的覆盖率,因为它们以基本上忽略困难的例子为代价来解决简单的例子。通过利用分位数回归的思想,我们建立的方法,总是保证正确的覆盖率,但另外提供(渐近最优)的条件覆盖多类和多标签预测问题。为了解决多标签预测中指数级大置信度集的潜在挑战,我们构建了树结构分类器,有效地解释了标签之间的相互作用。我们的方法可以被固定在任何分类模型之上-神经网络,随机森林,提升树-以保证其有效性。我们还提供了一个实证评估,同时提供新的验证方法,这表明我们的信心集更强大的覆盖范围。
2020-07-10 cs.LG stat.ME stat.ML
Aggregating Conformal Prediction Sets via α-Allocation
School of Statistics and Data Science, Nankai University(统计与数据科学学院,南开大学);School of Mathematical Sciences, Shanghai Jiao Tong University(数学科学学院,上海交通大学)
针对多一致性分数下共形预测集规模优化难题,提出COLA聚合策略及三个变体,可在保证有效覆盖的前提下得到更小预测集,实验验证其性能优于现有最优基线。
2025-11-15 cs.LG stat.ME stat.ML
Training-Conditional Coverage Bounds under Covariate Shift
University of Utah(犹他大学);Florida Atlantic University(佛罗里达 Atlantic 大学)
本文研究了在协变量偏移下训练条件覆盖的上界,提供PAC保证,以评估预测集的可靠性。
2026-02-06 cs.LG stat.ML
Conformal Prediction with Macro-Coverage Guarantees
Department of Statistics, University of Chicago(芝加哥大学统计系);Department of Statistics, UC Berkeley(伯克利大学统计系)
提出标签加权共形预测方法,在有限样本下保证宏覆盖(类覆盖率的未加权平均),并推广到广义宏覆盖目标,在长尾分类中平衡边缘覆盖与类条件覆盖。
2026-06-26 cs.LG stat.ME stat.ML
Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing
National Security Institute, Virginia Tech(弗吉尼亚理工学院国家安全研究所);The MITRE Corporation(米特雷公司)
本文演示了系统地使用组合覆盖来选择和表征机器学习模型的测试和训练集。所提出的工作适应组合交互测试,这已成功地利用在软件测试中识别故障,表征数据用于机器学习。MNIST手写数字数据用于证明组合覆盖可用于选择强调机器学习模型性能的测试集,选择导致鲁棒模型性能的训练集,以及选择用于微调模型到新领域的数据。因此,结果证明了组合覆盖作为机器学习训练和测试的整体方法。与以前的工作集中在使用覆盖方面的内部神经网络,本文认为覆盖简单的功能来自输入和输出。因此,本文解决了机器学习模型的测试和训练集的供应商对模型本身没有知识产权的情况。最后,本文解决了先前的批评组合覆盖,并提供了一个反驳,主张在机器学习应用程序中使用的覆盖度量。
2022-01-28 cs.LG cs.SE stat.ML
Contrastive Conformal Sets
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电气与电子工程学院)
本文提出一种基于对比学习的符合集方法,通过最小体积覆盖集和可学习多范数约束,实现对正样本的覆盖和负样本的排除,提升了在图像数据集上的包含-排除平衡。
2026-07-17 cs.LG stat.ML
Conformal Predictions for Longitudinal Data
NatWest Group(苏格兰皇家银行集团);UCL(伦敦大学学院);Institute of Finance and Technology(金融与技术研究所)
提出无分布的LPCI保形预测算法,通过分位数固定效应回归构造有限宽度区间,同时保证纵向数据的纵向与横截面覆盖,实验与理论均验证其优于现有方法。
2023-10-04 cs.LG stat.ML
Optimal Decision-Making Based on Prediction Sets
University of Pennsylvania(宾夕法尼亚大学)
本文提出ROCP算法,通过最小化稳健风险来优化基于预测集的决策制定,适用于医疗诊断等安全关键任务。
2026-02-08 cs.LG stat.ML
Data-light Uncertainty Set Merging with Admissibility
Department of Statistics and Data Science, Fudan University(复旦大学统计与数据科学系);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系)
本文提出轻数据的合成、聚合与检验反演(SAT)方法,通过构建合成检验统计量并利用检验反演,将多个可能依赖的不确定性集合合并为单一统一集合,确保有限样本覆盖有效性及可容许性。
2025-10-11 cs.LG stat.ME
Conformal Prediction for Long-Tailed Classification
University of California, Berkeley(加州大学伯克利分校);University of Montpellier(蒙彼利埃大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心)
本文提出了一种改进的符合预测方法,通过 prevalence-adjusted softmax 和线性插值技术,在长尾分类中平衡预测集大小和类别覆盖。
2026-02-26 cs.CV cs.LG stat.ME
Valid Selection among Conformal Sets
CMAP, École polytechnique, Institut Polytechnique de Paris, France(应用数学与计算科学实验室,巴黎高等理工学院,巴黎理工学院);Inria, École Normale Supérieure, PSL Research University(法国国家科学研究中心,巴黎高等师范大学,巴黎科学实验室);Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA(电气工程与计算机科学系,伯克利大学,美国)
针对选择最优conformal prediction set会破坏覆盖保证的问题,提出一种基于稳定性的方法以确保所选集合的覆盖性,并扩展至在线场景及实验验证其有效性。
2025-06-25 cs.AI cs.LG stat.ME
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出了一种用于集合预测的凸损失函数,通过优化集合大小与条件覆盖之间的平衡,提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
Rectifying Conformity Scores for Better Conditional Coverage
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Skolkovo Institute of Science(斯克尔科沃科学研究所);University of Mons(蒙斯大学);Computing Research Center(计算研究中心)
本文提出一种在分裂共形预测框架下对一致性分数进行可训练变换的新方法,通过估计条件分位数改善条件覆盖并保持精确边际覆盖,在多输出问题中优于现有方法。
2026-11-17 cs.LG math.ST stat.ML
A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA));University of Stuttgart(斯图加特大学)
我们在本文中的目标是自动提取一组决策规则(规则集),最好地解释了分类数据集。首先,从在数据集上训练的一组决策树中提取大的决策规则集。规则集应简明、准确,具有最大的覆盖范围和最少的不一致性。这个问题可以被形式化为加权预算最大覆盖问题的修改版本,已知为NP-难。为了有效地解决组合优化问题,我们引入了一个嵌套的遗传算法,然后我们使用它来获得十个公共数据集的解释。
2022-08-23 cs.AI cs.LG cs.NE
Efficient and Differentiable Conformal Prediction with General Function Classes
Salesforce Research(赛富时研究院);UC Berkeley(加州大学伯克利分校)
量化学习任务中的数据不确定性通常通过学习给定输入的标签的预测区间或预测集来完成。学习的预测集的两个常用属性是\emph{valid coverage}和\emph{good efficiency}(例如低长度或低基数)。保形预测是一种用于学习具有有效覆盖的预测集的强大技术,但默认情况下,其保形化步骤仅学习单个参数,并且不会优化更具表达性的函数类的效率。在本文中,我们提出了一个推广的共形预测多个可学习的参数,通过考虑约束的经验风险最小化(ERM)问题,找到最有效的预测集有效的经验覆盖。该元算法推广了现有的共形预测算法,我们表明,它实现了近似的有效人口覆盖率和类内接近最优的效率,只要在一致化步骤中的函数类在一定意义上是低容量的。接下来,这个ERM问题是具有挑战性的优化,因为它涉及到一个不可微的覆盖约束。我们开发了一个基于梯度的算法,它通过使用可微代理损失和拉格朗日近似的原始约束ERM。实验表明,该算法能够有效地学习预测集,并在改进长度的预测区间、用于多输出回归的最小体积预测集和用于图像分类的标签预测集等应用中显著提高了效率。
2022-05-29 cs.AI cs.LG math.ST
Methodological Framework for Quantifying Semantic Test Coverage in RAG Systems
针对RAG系统测试集缺乏知识库覆盖度量化方法的问题,提出基于向量嵌入与聚类的语义覆盖率量化框架,可计算多类指标、过滤无关问题,实验验证其能有效评估覆盖度并辅助优化测试集。
2025-08-13 cs.AI cs.LG cs.SE