Multi-Variable Conformal Prediction: Optimizing Prediction Sets using Multiple Calibration Variables
TU Munich & MCML, Germany(慕尼黑技术大学及MCML,德国);Politecnico di Milano, Italy(米兰理工学院,意大利);University of Brescia, Italy(布雷西亚大学,意大利);ETH Zürich, Switzerland(苏黎世联邦理工学院,瑞士)
本文提出多变量符合预测框架,通过统一预测集设计与校准为单优化问题,无需数据分割即可保证覆盖概率。RemMCP和RelMCP在椭圆和多模预测集中表现出更小的预测集大小和更低的方差。
2026-10-28 cs.LG stat.ML
When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning
University of Macau(澳门大学);University of Electronic Science and Technology of China(电子科技大学)
针对多模态对比学习后门检测方法的缺陷,提出CASCADE两阶段共形框架,在CC3M数据集上实现高TPR下低FPR与高AUROC,可应对自适应攻击。
2026-08-06 cs.CR cs.CV cs.LG
Distribution Free Prediction Sets for Node Classification
University of Oxford(牛津大学)
针对图神经网络因图结构依赖难以量化预测不确定性的问题,本文通过加权conformal scores反映网络结构,提出一种适用于归纳节点分类的无分布预测集构建方法,实验证明其比朴素方法更紧密且校准更好。
2024-01-08 cs.LG stat.ML
Volume Optimality in Conformal Prediction with Structured Prediction Sets
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Northwestern University(西北大学)
本文提出一种基于动态规划的无分布算法,在结构化预测集($k$-区间并集)中实现近最优体积,并兼顾覆盖保证,实验显示优于现有方法。
2025-02-23 cs.LG stat.ML
Conformal online model aggregation
Carnegie Mellon University(卡内基梅隆大学);University of Padova(帕多瓦大学)
本文提出 COMA,通过加权投票在线自适应聚合多个保形预测集合,在误差与权重负相关条件下保留无分布覆盖保证,并适用于分布式及分布漂移场景。
2025-10-20 cs.LG stat.ML
Conformalized Credal Set Predictors
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出了一种基于保形预测的分类任务Credal集预测方法,能够以高概率保证预测的有效性,并展示了其在自然语言推理任务中的适用性。
2024-02-16 cs.LG stat.ML
Conformal Prediction under Partial Verification
McGill University(麦吉尔大学);Polytechnique de Montréal(蒙特利尔理工学院)
针对共形预测校准验证成本高的问题,提出部分验证方法,通过协调校准示例间的验证,在保持预测集一致的同时,将验证成本降低15%-82%。
2026-10-09 cs.LG stat.ML
Aggregating Conformal Prediction Sets via α-Allocation
School of Statistics and Data Science, Nankai University(统计与数据科学学院,南开大学);School of Mathematical Sciences, Shanghai Jiao Tong University(数学科学学院,上海交通大学)
针对多一致性分数下共形预测集规模优化难题,提出COLA聚合策略及三个变体,可在保证有效覆盖的前提下得到更小预测集,实验验证其性能优于现有最优基线。
2025-11-15 cs.LG stat.ME stat.ML
A Conformal Prediction Approach to Explore Functional Data
Carnegie Mellon University(卡内基梅隆大学)
本文应用共形预测技术计算函数型数据的同时预测带和聚类树。这些工具可用于检测离群值和聚类。我们的预测带和聚类树都为底层随机过程提供了预测集,保证了有限样本行为,没有分布假设。预测集也是信息性的,因为它们对应于底层过程的高密度区域。虽然普通的共形预测有很高的计算成本的功能数据,我们使用的归纳共形预测,以及几个新的选择一致性得分,以简化计算。我们的方法说明了一些实际数据的例子。
2013-02-26 cs.LG stat.ML
Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee
Virginia Tech(弗吉尼亚理工大学)
共形预测的目的是利用过去的经验确定新对象预测的精确置信度。然而,通常使用的训练数据和测试数据之间的可交换的假设限制了它在处理污染测试集的使用。在本文中,我们开发了一种新的基于流的共形推理(FCI)方法来构建预测集和推断复杂和高维数据的离群值。我们利用对抗流的思想将输入数据传输到具有已知分布的随机向量。我们的往返变换可以将输入数据映射到低维空间,同时保留输入数据的条件分布,这使得我们能够构建不一致性分数用于不确定性量化。当测试数据被污染时,我们的方法是适用的和鲁棒的。我们评估我们的方法,强大的基于流的共形推理,基准数据集。我们发现,它产生有效的预测集和准确的离群值检测,是更强大的相对于竞争的方法。
2022-10-15 cs.LG stat.ML
Singleton-Optimized Conformal Prediction
University of Pennsylvania(宾夕法尼亚大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出单例优化置信预测方法,通过优化非一致性评分提升预测集的单例率,减少预测集大小对实际成本的影响。
2026-02-03 cs.LG stat.ML
Conformal prediction for multi-dimensional time series by ellipsoidal sets
Georgia Institute of Technology(佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering(H. Milton Stewart工业与系统工程学院)
针对多变量时间序列,提出序列共形预测方法MultiDimSPCI,构建椭球预测区域,提供有限样本覆盖界,并实证验证其覆盖有效且区域更小。
2024-05-23 cs.LG stat.ML
Conformalized Interval Arithmetic with Symmetric Calibration
City University of Hong Kong(香港城市大学);Alpha Benito Research(阿尔法贝尼托研究院)
本文提出一种对称校准的共形区间算术方法,将单一目标共形预测区间扩展到多目标总和或平均值的估计,并在置换不变假设下证明其有效性,在类别平均估计和路径成本预测任务中优于现有共形及非共形方法。
2025-01-02 cs.LG stat.ML
On the Out-of-Distribution Coverage of Combining Split Conformal Prediction and Bayesian Deep Learning
The MITRE Corporation(MITRE公司)
本研究探讨贝叶斯深度学习与拆分共形预测结合对多类别图像分类分布外覆盖性的影响,指出模型校准集置信度高低会带来不同效果,实验发现该结合在部分场景下会产生降低分布外覆盖性的意外后果。
2024-03-07 cs.LG stat.ML
Learning Object-Centric Video Models by Contrasting Sets
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
对比,自监督学习的对象表示最近出现了一个有吸引力的替代重建为基础的培训。先前的方法集中于将各个对象表示(槽)彼此进行对比。然而,这种方法的一个基本问题是,对于(i)在每个槽中表示不同的对象,整体对比度损失是相同的,因为对于(ii)在所有槽中(重新)表示相同的对象,整体对比度损失是相同的。因此,这一目标并不必然推动插槽中以对象为中心的表示的出现。我们通过引入一个全局的、基于集合的对比损失来解决这个问题:我们不是将单个槽表示与另一个槽表示进行对比,而是将表示进行聚合,并将连接的集合与另一个槽表示进行对比。此外,我们将基于注意力的编码器引入到这种对比设置中,从而简化了训练并提供了可解释的对象掩码。我们在两个合成视频数据集上的结果表明,这种方法在重建、未来预测和对象分离性能方面优于以前的对比方法。
2020-11-20 cs.CV cs.LG
Online Conformal Prediction: Enforcing monotonicity via Online Optimization
University of Michigan(密歇根大学)
本文提出两种新的在线置信预测方法,生成不同置信水平下的嵌套预测集,实现整个风险范围的不确定性量化。方法通过在线优化控制后悔,提高统计效率。
2026-05-12 cs.LG stat.ML
Conformal Uncertainty Sets for Robust Optimization
不确定性下的决策对于任何对观测数据扰动敏感的决策都非常重要。将不确定性纳入最优决策的一种方法是通过鲁棒优化,该方法在某些不确定性集合上最小化最坏情况。我们将共形预测区域与鲁棒优化相连接,提供有限样本有效和保守的椭球不确定性集,恰当地命名为共形不确定性集。在追求这种连接,我们明确定义Mahalanobis距离作为一个潜在的一致性得分在充分的共形预测。我们还比较了覆盖范围和优化性能的共形不确定性集,特别是生成的马氏距离,传统的椭球形不确定性集的模拟强大的优化实例的集合。
2021-09-03 math.OC stat.ME stat.ML
Multivariate Conformal Prediction using Optimal Transport
Apple(苹果公司)
本文提出OTCP方法,利用最优传输实现多元得分排名,从而在无分布假设下构造多维共形预测集合,并在基准数据集上验证了其有效性。
2025-02-05 cs.LG stat.ML
Conformal Classification with Equalized Coverage for Adaptively Selected Groups
University of Southern California(南加州大学)
本研究提出一种面向自适应选择分组的共形分类方法,通过生成带有效条件覆盖率的预测集评估分类不确定性,在预测效率与敏感群体算法公平性间实现折中,并在模拟和真实数据集上验证了有效性。
2024-10-30 cs.LG stat.ML
Split Conformal Prediction under Data Contamination
Department of Statistics, University of Oxford(统计系,牛津大学);Department of Statistics, University of Warwick(统计系,沃里克大学);Department of Mathematics, UCLA(数学系,加州大学洛杉矶分校);Department of Mathematics, Université libre de Bruxelles(数学系,布鲁塞尔自由大学)
本文研究了在数据污染环境下分割置信预测的鲁棒性,提出抗污染置信预测方法,并通过实验验证其有效性。
2025-11-28 cs.LG stat.ML
Distribution-informed Online Conformal Prediction
School of Statistics and Data Science, LPMC, KLMDASR and LEBPS, Nankai University(南开大学统计与数据科学学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出了一种基于分布的在线适配预测算法COP,通过整合数据模式以生成更紧的预测集,同时保证覆盖率和减少后悔。
2026-02-24 cs.LG stat.ML
Optimal Conformal Prediction under Epistemic Uncertainty
LMU Munich(慕尼黑莱茵姆大学);CISPA(Cybersecurity Institute for Safer Applications);LMU Munich MCML(慕尼黑莱茵姆大学MCML);Ghent University(根特大学);University of Cologne(科隆大学);DFKI(德国达姆施塔特研究所)
研究如何在能表达偶然和认知不确定性的信念集上最优应用共形预测,提出概率伯努利预测集及变体,处理信念集有效性无保证场景,通过共形风险控制得出PAC风格保证,并经实证验证理论发现。
2026-07-09 cs.LG stat.ML
Conformal Prediction in Hierarchical Classification with Constrained Representation Complexity
Department of Environment, Ghent University(根特大学环境系);Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);MCML, Munich(慕尼黑机器学习中心);DFKI (DSA), Kaiserslautern(德国人工智能研究中心(数据分析与智能系统部门),凯泽斯劳滕);Dept. of Data Analysis and Mathematical Modelling, Ghent University(根特大学数据分析与数学建模系)
本文提出两种高效算法,扩展了split conformal预测框架到分层分类,通过表示复杂性概念,在保证覆盖性的前提下,使预测集更小且问题更一般化。
2026-04-10 cs.LG stat.ML
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法,可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率,而不管底层算法的假设(通常限制性更大)是否满足。然而,为了使该方法真正有用,希望在满足基础算法的假设的情况下,与基础算法相比,适形预测器在效率上损失很少(而作为适形预测器,它具有更强的有效性保证)。在本文中,我们探讨在贝叶斯岭回归的情况下,这种额外的要求是满足的程度,我们发现,渐近共形预测集不同的岭回归预测区间时,标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Valid Selection among Conformal Sets
CMAP, École polytechnique, Institut Polytechnique de Paris, France(应用数学与计算科学实验室,巴黎高等理工学院,巴黎理工学院);Inria, École Normale Supérieure, PSL Research University(法国国家科学研究中心,巴黎高等师范大学,巴黎科学实验室);Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA(电气工程与计算机科学系,伯克利大学,美国)
针对选择最优conformal prediction set会破坏覆盖保证的问题,提出一种基于稳定性的方法以确保所选集合的覆盖性,并扩展至在线场景及实验验证其有效性。
2025-06-25 cs.AI cs.LG stat.ME
Raman Spectrum Matching with Contrastive Representation Learning
Unknown University(未知大学);Technical University of Denmark(丹麦技术大学)
拉曼光谱是一种有效、低成本、非侵入性的技术,常用于化学鉴定。典型的方法是基于将观察结果与参考数据库相匹配,这需要仔细的预处理,或者监督机器学习,这需要来自每个类的相当大量的训练观察结果。我们提出了一种新的机器学习技术的拉曼光谱匹配,对比表示学习的基础上,不需要预处理和工程作为一个单一的参考光谱从每个类。在三个数据集上,我们证明了我们的方法在预测精度上显着提高或与最先进的方法相当,并且我们展示了如何计算具有指定频率覆盖率的共形预测集。基于我们的研究结果,我们相信对比表示学习是一个有前途的替代现有的方法拉曼光谱匹配。
2022-02-25 cs.LG
Fuzzy Prediction Sets: Conformal Prediction with E-values
Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学)
本文提出模糊预测集,扩展了传统预测集,通过数据驱动的置信水平进行排除,继承e值的合并性质,并展示最优e值如何生成最优模糊预测集。
2026-03-31 math.ST stat.ME stat.ML
Intriguing Properties of Contrastive Losses
Google Research(谷歌研究院)
我们研究了对比学习的三个有趣的性质。首先,我们将标准的对比损失推广到更广泛的损失家族,并且我们发现,在多层非线性投影头的存在下,广义损失的各种实例表现相似。其次,我们研究基于实例的对比学习(具有全局图像表示)是否可以在存在多个对象的图像上学习得很好。我们发现,有意义的层次结构的本地功能,可以学习,尽管这些目标上的全球实例级功能。最后,我们研究了增强视图中共享的竞争特征之间的特征抑制现象,例如“颜色分布”与“对象类”。我们构建了具有明确和可控的竞争特征的数据集,并表明,对于对比学习,一些易于学习的共享特征可以抑制甚至完全阻止其他竞争特征集的学习。在图像中存在多个对象的场景中,主要对象将抑制较小对象的学习。现有的对比学习方法严重依赖于数据增强来支持某些特征集,并且可能在现有增强无法完全解决特征抑制的情况下遭受学习饱和。这对现有的对比学习技术提出了挑战。
2021-10-23 cs.AI cs.CV cs.LG
Weighted Point Set Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric
Sony AI(索尼人工智能);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Sony Group Corporation(索尼集团公司)
针对单点表示难以捕捉实例相似度结构的问题,提出加权点集嵌入方法,通过理论证明其能实现最优相似度并在下游分类任务中降低超额风险。
2025-03-03 cs.LG
Minimum Volume Conformal Sets for Multivariate Regression
Sierra team, Inria Paris, France(Inria巴黎分部);Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA(加州大学伯克利分校电子工程与计算机科学系)
本文提出一种基于新损失函数的优化框架,用于学习最小体积覆盖集,同时保证覆盖有效性。该方法通过任意范数球定义预测集,并联合优化预测模型和不确定性,实现紧致、信息丰富且高效的预测集。
2026-03-18 cs.AI cs.LG stat.ME
Noise-Adaptive Conformal Classification with Marginal Coverage
Politecnico di Milano(米兰理工大学);University of Sydney(悉尼大学);University of Hong Kong(香港大学);University of Southern California(南加州大学)
本文提出一种噪声自适应共形推断方法,应对随机标签噪声导致的非可交换性,在合成及真实数据集(如BigEarthNet和CIFAR-10H)上验证了其能提供信息丰富且具有严格边际覆盖保证的预测集。
2026-09-15 cs.LG stat.ME stat.ML
Evidential Uncertainty Sets in Deep Classifiers Using Conformal Prediction
Toronto Metropolitan University(多伦多都会大学);Vector Institute(向量研究所)
本文提出证据共形预测(ECP)方法,利用证据深度学习量化DNN分类器认知不确定性,基于logit值计算非一致性评分函数生成预测集合,在保持真实标签覆盖率的同时显著减小了集合大小并提升了自适应性。
2024-07-30 cs.AI cs.CV cs.LG
Conformal Prediction and Human Decision Making
本文构建决策论框架,分析conformal prediction集合作为人类决策支持信号的价值,形式化使用策略并指出其与人机决策目标的张力,提出未来研究建议。
2025-03-18 cs.AI cs.LG stat.ML
Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores
University of California, Berkeley(加利福尼亚大学伯克利分校);Inria(法国国家信息与自动化研究所)
针对标准 conformal 预测仅保证边际覆盖的局限,本研究提出基于分类器置信度和信任分数的改进算法,在分类器过度自信于错误预测的关键场景提升条件覆盖,实证显示其在多图像数据集上改善了类别、子组等条件覆盖特性。
2025-02-09 cs.AI cs.LG stat.ME
Selecting informative conformal prediction sets with false coverage rate control
本文提出 InfoSP 与 InfoSCOP,在分类和回归中经规则选择小而有信息量的保形预测集,并对所选样本实现有限样本 FCR 控制。
2024-11-25 math.ST stat.ML stat.TH
Flow-Based Conformal Predictive Distributions
Department of Statistics(统计学系);University of Connecticut(康涅狄格大学);Storrs, CT 06269(斯托尔斯,CT 06269)
本文提出基于流的方法,用于高效生成符合预测边界,适用于任意维度,通过混合置信水平得到符合预测分布,并在多个领域进行评估。
2026-05-07 cs.LG stat.ME stat.ML
Dual-Kernel Graph Community Contrastive Learning
针对图对比学习在大规模图上的可扩展性问题,提出双核图社区对比学习框架,通过核化损失和知识蒸馏提升性能与效率,实验优于现有基线。
2025-11-11 cs.AI cs.LG
One-Shot Federated Conformal Prediction
本文提出一种用于单次联邦学习的保形预测方法,通过分位数之分位数估计器在单轮通信中实现目标覆盖率,并提供本地差分隐私版本,实验证明其效果与集中式设置相近。
2023-07-31 stat.ML
Conformal Risk-Averse Decision Making with Action Conditional Guarantee
University of California, Berkeley(加州大学伯克利分校)
提出行动条件共形预测方法,通过分位数损失最小化算法实现行动条件风险价值优化,在有限样本下提供行动条件安全保证。
2026-06-11 cs.AI cs.LG stat.ML
Flexible Conformal Highest Predictive Conditional Density Sets
本文提出共形最高条件密度集(CHCDS)方法,利用已有条件密度预测区域构造共形预测集,在保证名义无条件覆盖率的同时,数值实验显示其在多模态误差场景下优于现有方法。
2025-04-08 math.ST stat.ME stat.TH
Stable Conformal Prediction Sets
Georgia Institute of Technology(佐治亚理工学院)
当观察变量序列$(x_1, y_1), \ldots, (x_n, y_n)$时,共形预测(CP)是允许仅通过假设数据的分布是可交换的来估计给定$x_{n+1}$的$y_{n+1}$的置信集的方法。CP集对于任何有限的种群大小$n$都有保证的覆盖。虽然有吸引力,但这种集合的计算通常是不可行的,例如当未知变量$y_{n+1}$是连续的时。瓶颈在于,它是基于一个重新调整数据预测模型的过程,在这个过程中,我们用所有可能的值替换未知目标,以便选择最可能的一个。这需要计算无限数量的模型,这通常使其难以处理。在本文中,我们结合CP技术与经典算法的稳定性界限,推导出一个预测集可计算的一个单一的模型拟合。我们证明,我们提出的置信集不会失去任何覆盖保证,同时避免了目前在文献中所做的数据分裂的需要。我们提供了一些数值实验来说明当样本量足够大时,在合成和真实数据集上我们的估计的紧密性。
2022-12-07 cs.LG stat.CO stat.ML
Understanding and Achieving Efficient Robustness with Adversarial Supervised Contrastive Learning
Monash University(莫纳什大学);Defence Science and Technology Group, Australia(澳大利亚国防科技集团);CSIRO Data61, Australia(澳大利亚联邦科学与工业研究组织Data61)
对比学习(CL)是近年来兴起的一种有效的表征学习方法。这种方法的核心是选择正(相似)和负(不相似)集,为模型提供在潜在空间中的数据和类表示之间进行“对比”的机会。在本文中,我们研究CL提高模型的鲁棒性使用对抗样本。我们首先设计并进行了一项全面的研究,以了解对抗性脆弱性在潜在空间中的表现。基于这些经验证据,我们提出了一种有效和高效的监督对比学习,以实现对对抗攻击的模型鲁棒性。此外,我们提出了一种新的样本选择策略,通过去除冗余和提高与锚的相关性来优化正/负集。大量的实验表明,我们的对抗监督对比学习(ASCL)方法实现了与最先进的防御相当的性能,同时通过仅使用$42.8\%$阳性和$6.3\%$阴性,显着优于其他基于CL的防御方法。
2021-10-22 cs.AI cs.CV cs.LG
Learning Optimal Conformal Classifiers
DeepMind(深度思维);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
现代基于深度学习的分类器在测试数据上显示出非常高的准确性,但这并不能为安全部署提供足够的保证,特别是在医疗诊断等高风险AI应用中。通常,预测是在没有可靠的不确定性估计或正式保证的情况下获得的。共形预测(CP)通过使用分类器的预测来解决这些问题,例如,其概率估计,以预测包含具有用户指定概率的真实类的置信度集。然而,在训练之后使用CP作为单独的处理步骤会阻止底层模型适应置信集的预测。因此,本文探讨了策略,通过CP在培训过程中区分与培训模型的目标与保形包装端到端。在我们的方法中,一致性训练(ConfTr),我们专门在训练期间对小批量进行“模拟”一致性。与标准训练相比,ConfTr降低了训练后应用的最先进CP方法的平均置信集大小(效率低下)。此外,它允许“塑造”在测试时预测的置信集,这对于标准CP来说是困难的。在几个数据集的实验中,我们表明ConfTr可以影响效率如何在类之间分布,或者指导置信集的组成,同时保留CP提供的保证。
2022-05-06 cs.CV cs.LG stat.ME
Conformal Calibration of Statistical Confidence Sets
本文提出TRUST和TRUST++两种方法,利用模拟数据校准统计置信集,实现无分布条件覆盖,在小样本下优于现有方法,弥合保形预测与统计推断的差距。
2025-09-25 stat.ME stat.ML
Prediction Sets for Counterfactual Decisions: Coverage, Optimality, and Conformal Prediction
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系)
提出决策理论框架,通过策略耦合覆盖性将不确定性量化与反事实决策最优结合,并开发两阶段共形预测方法PC-RACP,在保证覆盖的同时提升效用。
2026-07-03 cs.LG math.ST stat.ML
Conformal Prediction Sets for Instance Segmentation
Laboratory for Information and Decision Systems, MIT(麻省理工学院信息与决策系统实验室);Department of Electrical Engineering and Computer Science, MIT(麻省理工学院电子工程与计算机科学系);Department of Mechanical Engineering, MIT(麻省理工学院机械工程系);Institute for Data, Systems, and Society, MIT(麻省理工学院数据、系统与社会研究所)
研究针对实例分割模型缺乏不确定性量化的问题,引入共形预测算法生成自适应置信集,应用于多领域实例分割,其预测集因查询难度而异且达目标覆盖率,优于基线,还提供不同保证版本,首次捕捉实例分割中的结构不确定性。
2026-07-08 cs.CV cs.LG stat.ME
Statistical Consistency and Generalization of Contrastive Representation Learning
University of Sydney;Texas A\&M University
本文提出统一的统计学习理论,证明对比损失与最优排序统计一致,并推导出随负样本数增加而改善的泛化界,解释了大负样本集的经验优势。
2026-05-28 cs.LG
Efficient and Differentiable Conformal Prediction with General Function Classes
Salesforce Research(赛富时研究院);UC Berkeley(加州大学伯克利分校)
量化学习任务中的数据不确定性通常通过学习给定输入的标签的预测区间或预测集来完成。学习的预测集的两个常用属性是\emph{valid coverage}和\emph{good efficiency}(例如低长度或低基数)。保形预测是一种用于学习具有有效覆盖的预测集的强大技术,但默认情况下,其保形化步骤仅学习单个参数,并且不会优化更具表达性的函数类的效率。在本文中,我们提出了一个推广的共形预测多个可学习的参数,通过考虑约束的经验风险最小化(ERM)问题,找到最有效的预测集有效的经验覆盖。该元算法推广了现有的共形预测算法,我们表明,它实现了近似的有效人口覆盖率和类内接近最优的效率,只要在一致化步骤中的函数类在一定意义上是低容量的。接下来,这个ERM问题是具有挑战性的优化,因为它涉及到一个不可微的覆盖约束。我们开发了一个基于梯度的算法,它通过使用可微代理损失和拉格朗日近似的原始约束ERM。实验表明,该算法能够有效地学习预测集,并在改进长度的预测区间、用于多输出回归的最小体积预测集和用于图像分类的标签预测集等应用中显著提高了效率。
2022-05-29 cs.AI cs.LG math.ST
Beyond Uncertainty Sets: Leveraging Optimal Transport to Extend Conformal Predictive Distributions to Multivariate Settings
Apple(苹果公司)
针对共形预测长期局限于标量得分、多变量场景下仅能提供渐近覆盖保证且无法输出相对似然的问题,本文基于最优输运共形化分位数区域,首次构建了具备有限样本校准性的多变量共形预测分布。
2026-10-01 cs.LG math.ST stat.ML
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon(亚马逊);University of Freiburg(弗莱堡大学)
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近,该原理也被用于学习视频和文本的跨模态嵌入,但没有充分利用其潜力。特别是,之前的丢失没有考虑模态内的相似性,这会导致嵌入效率低下,因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink,我们提出了一个解决这个问题的对比损失。此外,我们根据输入嵌入定义了高度相关的样本集,并将其从阴性样本中排除,以避免假阴性问题。我们表明,这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Conformal Prediction for Long-Tailed Classification
University of California, Berkeley(加州大学伯克利分校);University of Montpellier(蒙彼利埃大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心)
本文提出了一种改进的符合预测方法,通过 prevalence-adjusted softmax 和线性插值技术,在长尾分类中平衡预测集大小和类别覆盖。
2026-02-26 cs.CV cs.LG stat.ME
Distribution-free Conformal Prediction for Ordinal Classification
针对有序分类问题,本文结合共形预测与FWER控制的多重检验,提出基于边际和类别特定条件共形p值的连续、非连续预测集构建方法,理论证明其覆盖性能达标,实验验证其优于现有共形方法。
2024-11-02 stat.ME stat.ML
Conformal Prediction for Deep Classifier via Label Ranking
Southern University of Science and Technology(南方科技大学);ShanghaiTech University(上海科技大学);Rutgers University(罗格斯大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Chongqing University(重庆大学)
针对深度分类器概率校准不佳导致共形预测集过大的问题,本文提出 SAPS 算法,通过仅保留最大 softmax 概率来降低非一致性分数对概率值的依赖,从而生成更紧凑的预测集并提升条件覆盖率。
2024-06-06 cs.CV cs.LG math.ST
Conditional validity and a fast approximation formula of full conformal prediction sets
本文证明全共形预测集在稳定性条件下具有训练条件保守性,提出计算更快的近似公式,并证明其与全共形、交叉共形及Jackknife等方法在渐近训练条件覆盖上等价。
2025-08-07 math.ST stat.TH