The Role of Hyperparameters in Predictive Multiplicity
Eskisehir Technical University(埃斯基谢希尔技术大学);Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学)
本文评估六种表格模型在21个基准数据集上的超参数调优,发现其虽提升性能却加剧预测分歧,尤以Extreme Gradient Boosting最不稳定。
2025-03-13 cs.LG stat.ML
Using predictive multiplicity to measure individual performance within the AI Act
University of Tübingen and Tübingen AI Center(图宾根大学和图宾根人工智能中心);University of Tübingen and CZS Institute for Artificial Intelligence and Law(图宾根大学和图宾根人工智能与法律研究所);University of Tübingen, Tübingen AI Center and CZS Institute for Artificial Intelligence and Law(图宾根大学、图宾根人工智能中心和图宾根人工智能与法律研究所)
本文探讨AI决策中的预测多重性现象,分析其与欧盟AI法案的冲突,并提出基于个体冲突比率和δ-模糊性的量化方法及实践建议。
2026-06-23 cs.CY cs.LG
Temporal Predictive Multiplicity: Equally Accurate Time Series Models Yield Different Forecast Trajectories
J.P. Morgan AI Research(摩根大通人工智能研究院);Imperial College London(伦敦帝国理工学院)
本研究提出时间预测多重性框架,揭示同等准确的时间序列模型在完整预测轨迹上存在显著分歧,且与逐时域分歧无关,对下游决策有重要影响。
2026-10-08 cs.AI cs.LG
Model Multiplicity and Predictive Arbitrariness in Recidivism Risk Assessment
TU Wien(维也纳工业大学);ICREA(加泰罗尼亚研究与高级研究机构);Universitat Pompeu Fabra(庞培法布拉大学)
针对再犯风险评估中的预测任意性问题,通过理论下界推导和实证分析,发现相似精度的模型间预测一致性通常高于最坏情况理论保证,并提出采用最低风险分配策略来缓解任意性。
2026-08-12 cs.CY cs.LG
Predictive Multiplicity in Probabilistic Classification
Harvard University(哈佛大学);DeepMind(深度思维公司);U.C. San Diego(加利福尼亚大学圣迭戈分校)
本文提出一个测量概率分类中预测多重性的框架,引入捕获竞争模型间风险估计变化的度量及基于优化的计算方法,并分析了其与现实数据特征的关系,强调需更广泛报告预测多重性。
2023-06-23 cs.LG
Data as a Lever: A Neighbouring Datasets Perspective on Predictive Multiplicity
McGill University \& Mila;JPMorgan Chase GT Applied Research
本文从邻近数据集的角度探讨预测多样性,提出多样性感知方法,应用于主动学习和数据填补领域。
2026-02-02 cs.LG
Arbitrary Decisions are a Hidden Cost of Differentially Private Training
EPFL(洛桑联邦理工学院);Harvard University(哈佛大学)
本文揭示差分隐私训练中的随机化导致预测多重性,即同等隐私模型对同一输入可产生不同预测,且隐私越强差异越大,呼吁部署前审计此成本。
2023-05-15 cs.CR cs.CY cs.LG
Measuring consistency via ensemble margin and local prediction variability: Auditing decision systems in the presence of predictive multiplicity
Rutgers University(罗格斯大学);Pacific Northwest National Lab(太平洋西北国家实验室)
该研究提出结合集成边距与局部预测变异性的一致性准则,用于审计存在预测多样性的决策系统,实验表明其可降低错误预测未被检查的风险,且能可靠捕捉Rashomon集的多样性。
2026-09-02 cs.AI cs.LG stat.ML
Resolving Predictive Multiplicity for the Rashomon Set
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Duke University(杜克大学)
本文针对Rashomon集中的预测不一致性问题,提出三种方法:异常值修正、局部修补和成对协调,以减少预测分歧并提升模型可靠性,实验表明这些方法能有效降低不一致度同时保持竞争性准确性。
2026-07-10 cs.LG
Reconciling Predictive Multiplicity in Practice
Stony Brook University(石溪大学);University of Oxford(牛津大学);CMU Tepper School of Business(卡内基梅隆大学泰珀商学院);Emory University(埃默里大学)
本文实证分析了Reconcile算法在模型多重性问题上的有效性,将其与现有方案比较并探讨改进,同时首次将该算法扩展至因果推断场景以解决估计器分歧问题。
2025-01-27 cs.CY cs.LG
On Arbitrary Predictions from Equally Valid Models
Hasso Plattner Institute, University of Potsdam, Germany(波茨坦大学霍索普纳研究所,德国);Chair for AI in Healthcare and Medicine, Technical University of Munich, Germany(慕尼黑技术大学医学与健康人工智能教研室,德国);BioMedIA, Imperial College London, United Kingdom(伦敦帝国理工学院BioMedIA,英国);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心,德国);Universitätsklinikum Hamburg-Eppendorf, Germany(汉堡-埃彭多夫大学医院,德国)
本文研究了医疗任务中等效模型预测多样性的影响因素及缓解方法,发现小规模集成模型能有效减少预测分歧,提高诊断可靠性。
2026-03-22 cs.AI cs.LG
Multi-Target Multiplicity: Flexibility and Fairness in Target Specification under Resource Constraints
Harvard University(哈佛大学);Microsoft Research(微软研究院)
本文提出多目标多重性框架,研究资源约束下目标变量选择对模型公平性的影响,发现目标选择导致的多重性可超过单目标近似最优模型。
2023-06-23 cs.CY cs.LG
Arbitrariness Lies Beyond the Fairness-Accuracy Frontier
JPMorgan Chase Bank, N.A.(摩根大通银行);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
本研究发现仅优化群体公平性与准确率的公平性干预会加剧预测多样性,掩盖模型任意性,为此提出适用于各类公平性干预的集成算法,以提升预测一致性。
2023-06-15 cs.CY cs.IT cs.LG
An Empirical Investigation into Benchmarking Model Multiplicity for Trustworthy Machine Learning: A Case Study on Image Classification
本研究针对深度学习过参数化导致的模型多重性问题,提出多重性表框架,通过图像分类案例基准测试不同超参数对多种可信指标的影响,发现强制规范后多重性依然存在,强调需更全面讨论。
2023-11-24 cs.LG
An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification
Eskisehir Technical University, Department of Statistics, Turkiye(埃斯基谢普技术大学统计系,土耳其);Warsaw University of Technology, Faculty of Mathematics and Information Science(华沙技术大学数学与信息科学系);University of Warsaw, Faculty of Mathematics, Informatics and Mechanics(华沙大学数学、信息学与力学系)
本文研究了平衡方法对预测多样性的影响,通过拉什蒙效应发现平衡方法会增加预测多样性,提出扩展的性能-收益图来平衡训练数据。
2024-07-24 cs.LG
Accounting for Model Uncertainty in Algorithmic Discrimination
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
在算法决策中确保群体公平性的传统方法旨在均衡群体中不同子群体的“总体”出错率。相比之下,我们认为,公平的方法,而不是只专注于均衡错误所产生的模型不确定性(又名认知的不确定性),造成由于缺乏知识的最佳模型或由于缺乏数据。换句话说,我们的建议要求忽略由于数据中固有的不确定性而发生的错误,即,任意的不确定性我们得出了预测的多重性和模型的不确定性之间的连接,并认为预测的多重性的技术可以用来识别由于模型的不确定性所造成的错误。我们提出了可扩展的凸代理来展示预测多样性的分类器,并根据经验表明,我们的方法在性能上具有可比性,并且比目前的状态快四个数量级。我们进一步提出了方法,以实现我们的目标,均衡组出错率,由于模型的不确定性,在算法决策,并证明这些方法的有效性,使用合成和真实的。世界数据集
2021-05-10 cs.CY cs.LG
Reconciling Model Multiplicity for Downstream Decision Making
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
针对下游决策中精度相同但最佳响应行动不一致的模型多重性问题,提出基于多重校准的框架协调预测差异,使模型在决策者视角下与真实分布不可区分,实验证明其能显著降低决策损失并提升行动一致性。
2024-05-30 cs.AI cs.LG
The Impact of Stochasticity on the Rashomon Effect in Machine Learning
本研究实证探究训练随机性对Rashomon效应的影响,发现不同随机性来源对解空间、预测和解释多样性影响各异,且集合大小与分歧不一致,强调需区分具体来源以评估模型可靠性。
2026-09-29 cs.LG
Classification of Functioning, Disability, and Health for Children and Youth: ICF-CY Self Care (SCADI Dataset) Using Predictive Analytics
Binghamton University(宾汉姆顿大学)
《儿童和青年功能、残疾和健康国际分类》(ICF-CY)是指定功能和残疾数据并使其系统化的框架。它提供了一个标准的语义和理论基础的界限和程度的福祉和体弱。ICF-CY的多维布局包含了大量的信息,大约有1400个类别,这使得分析变得困难。我们的研究提出了一个预测模型,分类的自我护理活动数据集的基础上,ICF-CY的自我护理问题。在这项研究中使用的数据驻留70名运动和身体残疾儿童的206个属性。我们的研究实现,比较和分析随机森林,支持向量机,朴素贝叶斯,Hoeffding树,和懒惰的局部加权学习使用双尾T检验在95%的置信区间。研究中涉及的Boruta算法通过最小化数据维数来倡导最小最优的预测因子集。随机森林给出了最好的分类准确率为84.75%,均方根误差为0.18,接收器操作特性为0.99。预测分析可以通过自动化残疾、功能和健康的分类过程来简化ICF-CY的使用。
2019-08-21 cs.CY cs.LG stat.ML
Reconsidering Fairness Through Unawareness From the Perspective of Model Multiplicity
University of Tübingen(图宾根大学);ELLIS Alicante Foundation(阿利坎特基金会)
本文从模型多样性的角度重新审视通过无意识实现的公平性,证明其能减少算法歧视而不降低准确性,并强调在高风险场景中使用受保护属性需有充分正当理由。
2025-08-25 cs.CY cs.LG stat.ML
Predictive Multiplicity in Cell-Fate Assignment: Label-Free Rashomon Sets and the Limits of Per-Cell Certification
McNeil High School(麦克尼尔高中)
该研究针对单细胞轨迹推断中同等拟合数据的模型配置会分配冲突细胞命运的问题,提出无标签框架FateMultiplicity构建Rashomon集,发现单细胞认证的命运边际FM无法提升分配可靠性,仅边际侵蚀比等两种构建方法有效。
2026-10-09 cs.LG q-bio.GN
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich(慕尼黑工业大学)
图中节点之间的相互依赖性是改进节点上的类预测的关键,并用于标签传播(LP)或图神经网络(GNN)等方法。尽管如此,非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中,我们从三个方面探索了节点分类的不确定性量化:(1)我们导出了三个公理,明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络(GPN),明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线,包括异常特征的检测和遗漏类的检测。在实验中,GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Horizon-Constrained Rashomon Sets for Chaotic Forecasting
Dept. of Electrical Engineering, California State University Long Beach, USA;WorkOnward Inc., USA;Dept. of Computer Engineering \& Computer Science, California State University Long Beach, USA
本文提出水平约束Rashomon集理论框架,用于研究混沌系统中模型多样性随预测时间的变化,通过Lyapunov加权指标和决策对齐算法提升决策质量,实验表明在安全关键领域具有显著优势。
2026-04-17 cs.AI cs.LG math.DS
Disentangling Model Multiplicity in Deep Learning
GenMind Ltd(GenMind有限公司);Aalto University(阿尔托大学)
模型多样性是一个众所周知但知之甚少的现象,它破坏了机器学习模型的泛化保证。当两个具有相似训练时间性能的模型在预测和真实世界性能特征方面存在差异时,就会出现这种情况。这种观察到的“预测”多重性(PM)也意味着模型内部的难以捉摸的差异,它们的“代表性”多重性(RM)。我们介绍了一个概念和实验设置RM通过测量激活相似性通过奇异向量典型相关分析(SVCCA)。我们表明,在训练方法系统的某些差异导致较大的RM比别人和评估RM和PM在有限的样本作为预测的泛化能力。我们进一步将RM与通过i.i.d.中的方差测量的PM相关联。和四个标准图像数据集的分布外测试预测。最后,我们呼吁对其进行系统的测量和最大限度的暴露,而不是试图消除RM。
2023-01-31 cs.CV cs.LG
Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification
University of Colorado Denver(科罗拉多大学丹佛分校)
本文提出一种基于狄利克雷参数估计的方法,通过集成softmax输出的矩估计器来分离不确定性估计,提升预测稳定性和不确定性行为,从而增强下游应用性能。
2026-04-07 cs.LG stat.ML
Uncertainty Propagation in Node Classification
NEC Laboratories Europe(NEC欧洲实验室)
针对图神经网络节点分类中消息传递的确定性问题,提出贝叶斯不确定性传播方法,通过贝叶斯建模框架和高斯模型启发的不确定性传播机制量化预测不确定性,并引入不确定性损失函数,在预测可靠性和OOD预测上表现优越。
2023-04-03 cs.LG stat.ML
Bayes in Wonderland! Predictive supervised classification inference hits unpredictability
University of Helsinki(赫尔辛基大学)
边缘贝叶斯预测分类器(mBpc),而不是同步贝叶斯预测分类器(SBpc),单独处理每个数据,因此默认的独立性的意见。然而,由于生成模型参数的学习饱和,这种错误假设对mBpc准确性的不利影响往往会在训练数据量增加的情况下逐渐消失;在de Finetti类型的交换机下保证这两个分类器的收敛。然而,这个结果对于在分区交换(PE)下生成的序列来说是非常重要的,即使是无数的训练数据也不能排除未观察到结果的可能性(仙境!)。我们提供了一个计算方案,允许在PE下生成序列。在此基础上,通过控制训练数据的增加,我们证明了sBpc和mBpc的收敛性。这是使用更简单但计算效率更高的边缘分类器而不是同时分类器的基础。我们还提供了一个参数估计的生成模型产生的分区可交换的序列,以及在不同的样本,这个参数的平等性的测试范例。Ewens抽样公式生成模型的贝叶斯预测监督分类、参数估计和假设检验的软件包作为PEkit软件包存放在CRAN上,并可从https://github.com/AmiryousefiLab/PEkit免费获得。
2021-12-03 cs.LG stat.ML
Quadratic Multiform Separation: A New Classification Model in Machine Learning
AEM Technology Taiwan Corporation(AEM科技台湾公司);National Taiwan University(台湾大学)
在本文中,我们提出了一种新的分类模型在机器学习。我们的结果有三个方面:1)该模型产生的预测准确性与最常见的分类模型相当。2)它比大多数常见的分类模型运行得更快。3)它有能力识别一部分看不见的样本,可以以更高的预测精度找到这些样本的类标签。目前,有几项专利正在申请中。
2022-08-17 cs.LG stat.ML
Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity
ARC Centre of Excellence for Automated Decision-Making and Society(自动化决策与社会卓越研究中心);RMIT University(皇家墨尔本理工大学);ETH Zurich(苏黎世联邦理工学院);Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所);UNSW Sydney(新南威尔士大学悉尼分校)
该研究提出跨模型公平性的新定义,指出从性能等效的模型中任选预测器可能损害个体公平,经实证研究发现此类不公平普遍存在且仅靠技术手段难以缓解,否则会降低预测性能。
2024-07-09 cs.AI cs.LG
Classification and Reconstruction Processes in Deep Predictive Coding Networks: Antagonists or Allies?
Institute for Neural Computation(神经计算研究所);Faculty of Computer Science(计算机科学学院);Ruhr University Bochum(波鸿鲁尔大学)
本研究通过设计类似自编码器的模型家族,发现深度预测编码网络中分类与重建过程在共享表示上相互削弱,扩大维度或增加复杂度可缓解权衡,挑战了现有假设。
2024-01-17 cs.LG
The Fairness of Risk Scores Beyond Classification: Bipartite Ranking and the xAUC Metric
Cornell University(康奈尔大学)
在机器学习的预测风险评分为高风险决策提供信息的情况下,例如刑事司法中的保释和判刑,公平性一直是一个严重的问题。最近的工作的特点是不同的影响,这种风险分数可以有一个二元分类任务时使用。然而,这可能无法解释风险评分的下游用途更加多样化及其非二元性质。为了更好地解释这一点,在本文中,我们调查的角度来看,一个二分排序任务,其中一个试图排名积极的例子高于消极的预测风险分数的公平性。我们引入xAUC差异作为评估风险评分的不同影响的指标,并将其定义为将一个受保护组的随机阳性样本排名在另一组的阴性样本之上的概率差异,反之亦然。我们提供了一个分解的二分排名损失的组件,涉及的差异和组件,涉及每个组内的纯预测能力。我们使用xAUC分析来审计累犯预测,收入预测和心脏骤停预测的预测风险评分,其中它描述了简单比较组内预测性能并不明显的差异。
2019-06-01 cs.LG stat.ML
Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs
JPMorgan Chase AI Research(摩根大通人工智能研究院)
针对表格LLM微调多重性导致预测冲突的问题,本文提出一种基于嵌入空间局部采样的度量方法,无需重训练即可量化预测一致性,并提供概率保证,在多个真实数据集上验证其优于现有方法。
2025-06-04 cs.AI cs.CY cs.LG
Observational Multiplicity
University of California, San Diego(加州大学圣地亚哥分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出“观测多重性”概念,通过遗憾度量评估概率分类中模型预测的任意性,并利用弃权与数据收集提升实际应用安全性。
2026-09-16 cs.LG
Predictive Value Generalization Bounds
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
在本文中,我们研究了一个双标准框架,用于评估评分功能的背景下,二进制分类。阳性和阴性预测值(分别为ppv和npv)是与分类器的预测标签匹配的真实标签的条件概率。通常的分类错误率是这些概率的线性组合,因此,错误率的集中不等式不会产生两个单独预测值的置信区间。我们研究了评分函数关于预测值的推广性质,导出了新的分布自由大偏差和一致收敛界。后一个界限是规定的函数类的复杂性,我们称之为顺序系数的措施,我们将此组合量的VC-子图的尺寸。
2020-07-09 cs.LG stat.ML
Fast Predictive Uncertainty for Classification with Bayesian Deep Networks
University of Tübingen(图宾根大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在贝叶斯深度学习中,分类神经网络输出的分布通常通过首先在权重上构建高斯分布来近似,然后从中采样以接收softmax输出的分布。这是昂贵的。我们重新考虑旧的工作(拉普拉斯桥)来构建这个softmax输出分布的Dirichlet近似,它产生了logit空间中的高斯分布和输出空间中的Dirichlet分布(分类分布之前的共轭)之间的解析映射。重要的是,香草拉普拉斯桥有一定的局限性。我们分析了这些,并提出了一个简单的解决方案,相比其他常用的估计的softmax-Gaussian积分。我们证明了由此产生的Dirichlet分布具有多种优势,特别是更有效地计算不确定性估计和扩展到大型数据集和网络,如ImageNet和DenseNet。我们进一步证明了这种Dirichlet近似的有用性,使用它来构建ImageNet的轻量级不确定性感知输出排名。
2022-05-31 cs.LG stat.ML
Attribution of Predictive Uncertainties in Classification Models
Featurespace Research(Featurespace 研究院)
分类任务中的预测不确定性通常是模型不足或训练数据不足的结果。在流行的应用中,例如图像处理,我们经常需要通过有意义地将这些不确定性归因于输入特征来仔细检查这些不确定性。这有助于改进可解释性评估。然而,这方面的有效框架很少。用于提供显着性掩模的普通形式的流行方法,例如SHAP或集成梯度,对不确定性的目标测量适应性很差。因此,最先进的工具通过创建反事实或对抗性特征向量来进行,并通过与原始图像的直接比较来分配属性。在本文中,我们提出了一个新的框架,结合路径积分,反事实的解释和生成模型,以获得属性,包含一些可观察到的文物或噪音。我们的证据表明,这优于现有的替代品,通过定量评估与流行的基准方法和数据集的不同复杂性。
2022-06-08 cs.CV cs.LG stat.ML
On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Washington(华盛顿大学)
Mixup~ \cite{zhang2017mixup}是最近提出的一种用于训练深度神经网络的方法,其中在训练期间通过凸组合随机图像对及其相关标签来生成额外的样本。虽然实现简单,但它已被证明是一种令人惊讶的有效的图像分类数据增强方法:使用mixup训练的DNN在许多图像分类基准上显示出明显的分类性能增益。在这项工作中,我们讨论了mixup训练的一个迄今为止尚未触及的方面-使用mixup训练的模型的校准和预测不确定性。我们发现,用mixup训练的DNN的校准效果要好得多,也就是说,预测的softmax分数是正确预测的实际可能性的更好指标-比以常规方式训练的DNN更好。我们对许多图像分类架构和数据集进行了实验-包括像ImageNet这样的大规模数据集-并发现情况确实如此。此外,我们发现,仅仅混合特征并不会产生相同的校准益处,并且混合训练中的标签平滑在改善校准方面起着重要作用。最后,我们还观察到,混合训练的DNN不太容易对分布外和随机噪声数据进行过度自信的预测。我们的结论是,在神经网络中看到的典型过度自信,即使是在分布数据上,也可能是使用硬标签训练的结果,这表明混合可以用于预测不确定性是一个重要问题的分类任务。
2020-01-07 cs.LG stat.ML
Comparison of Evolving Granular Classifiers applied to Anomaly Detection for Predictive Maintenance in Computing Centers
University of Bologna(博洛尼亚大学);INFN(意大利国家核物理研究所);Federal University of Lavras(拉夫拉斯联邦大学);INFN-CNAF(意大利国家核物理研究所国家核物理计算中心)
计算中心基于日志的预测性维护是支持CERN(欧洲核研究组织)物理实验的全球计算网格的主要关注点。日志作为面向事件的临时信息,通常以非结构化大数据的形式给出。测井数据处理是一项耗时的计算任务。目标是从不断变化的网格环境中获取必要的信息,以构建分类模型。不断发展的粒度分类器适合于从随时间变化的日志流中学习,因此可以对异常的严重程度进行在线分类。我们制定了一个4类在线异常分类问题,并采用时间窗口之间的地标和两种粒度计算方法,即基于模糊集的进化建模(FBeM)和进化粒度神经网络(eGNN),建模和监测测井活动率。分类结果对于预测性维护至关重要,因为可以优先考虑特定的时间间隔,其中分类器指示存在高或中等严重性异常。
2020-04-08 cs.LG cs.NE stat.ML
Improving Predictive Uncertainty Estimation using Dropout -- Hamiltonian Monte Carlo
German Research Center for Artificial Intelligence(德国人工智能研究中心)
估计预测不确定性对于从图像分类到自动驾驶系统的许多计算机视觉任务至关重要。Hamilton Monte Carlo(HMC)是一种用于执行贝叶斯推断的抽样方法。另一方面,Dropout正则化已经被提出作为一种近似模型平均技术,其倾向于改善大规模模型(例如深度神经网络)中的泛化。虽然HMC为大多数标准贝叶斯模型提供了收敛保证,但它不处理由Dropout正则化产生的离散参数。在本文中,我们提出了一个强大的方法来改善预测的不确定性分类问题,基于辍学和汉密尔顿蒙特卡洛。尽管Dropout引入了一个不光滑的能量函数,但没有这样的收敛保证,由此产生的哈密顿量的离散化证明了经验上的成功。所提出的方法可以有效地估计预测精度,并提供更好的推广困难的测试例子。
2019-07-02 cs.LG stat.ML
Early Recognition of Ball Catching Success in Clinical Trials with RNN-Based Predictive Classification
University Clinic Tübingen(图宾根大学医院);University of Tübingen(图宾根大学)
运动障碍会影响与动态物体的互动,例如接球。临床接球试验的分类可能会让我们深入了解手臂和球运动关系中存在的病理变化。准确的,但也需要早期的决定,以分类捕手的第一个球接触之前,接球尝试。为了获得有临床价值的结果,需要至少75%的显著决策置信度。因此,必须同时优化三个相互竞争的目标:准确性、早期性和决策信心。在这里,我们提出了一种耦合的分类和预测方法,用于早期时间序列分类:预测性的生成递归神经网络(RNN)根据已有的观察结果预测球轨迹的下一个数据点;判别RNN根据可用的数据点和展开的序列预测不断生成分类猜测。我们将我们的方法(我们称之为预测序列分类(PSC))与最先进的序列学习器进行比较,包括各种RNN和时间卷积网络(TCN)架构。在这个艰难的现实世界的任务中,我们可以始终如一地证明PSC在识别早期的准确性和置信度方面优于所有其他模型。具体而言,PSC能够在第一次触球前123毫秒就自信地对接球试验的成功进行分类。我们的结论是,PSC是一个很有前途的方法,早期的时间序列分类时,需要准确和自信的决定。
2021-07-06 cs.LG
Semi-supervised Predictive Clustering Trees for (Hierarchical) Multi-label Classification
Jožef Stefan Institute(约热夫·斯泰凡研究所);Jožef Stefan International Postgraduate School(约热夫·斯泰凡国际研究生学院);University of Bari(巴里大学)
本文针对多标签及层次多标签分类任务,提出基于预测聚类树的半监督学习方法,并扩展为随机森林集成方法,在23个数据集上验证了其优于有监督方法,同时保持可解释性并降低时间复杂度。
2024-03-30 cs.AI cs.LG
Predictive Churn with the Set of Good Models
Harvard University(哈佛大学);Google(谷歌);DeepMind(深度思维);UC San Diego(圣迭戈大学)
本文揭示了算法公平性中的预测多重性与实际部署中的预测流失这两个看似无关的预测不一致概念之间的理论与实证联系。
2025-04-25 cs.LG
Predicting student performance using sequence classification with time-based windows
KU Leuven(鲁汶大学);Universidad de Chile(智利大学)
世界各地越来越多的大学使用各种形式的在线和混合学习作为其学术课程的一部分。此外,COVID-19疫情导致的近期变化导致在线教育的重要性和普遍性急剧增加。电子学习的主要优势之一不仅是改善学生的学习体验和扩大他们的教育前景,而且还有机会通过学习分析深入了解学生的学习过程。这项研究有助于改善和理解电子学习过程的主题,在以下几个方面。首先,我们证明了准确的预测模型可以建立在来自学生的行为数据,这是能够识别表现不佳的学生在课程的早期序列模式的基础上。其次,我们调查的具体性,普遍性的权衡,在建立这样的预测模型,调查是否应该建立预测模型,为每一个课程的基础上,个别课程特定的顺序模式,或在几个课程的基础上更一般的行为模式。最后,我们提出了一种方法来捕捉行为数据的时间方面,并分析其对模型的预测性能的影响。我们改进的序列分类技术的结果能够预测学生的表现,具有很高的准确性,达到90%的课程特定的模型。
2022-09-01 cs.CY cs.LG
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对情感分类中“problems”等非直观特征与标签的关联,提出自动检测与解释方法,并通过众包实验验证其有效性,填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
SOAR: Simultaneous Or of And Rules for Classification of Positive & Negative Classes
CDO, AT\&T Data Science \& AI Research, NY, USA
商业决策已经扩散,现在以平凡和重要的方式影响着我们的日常生活。机器学习从业者在电影推荐、医疗诊断和假释推荐等各种应用中使用了大量的预测模型算法,而没有深入研究驱动特定预测决策的原因。这些应用中的机器学习算法通常因其优异的性能而被选择,然而诸如随机森林和深度神经网络等流行的选择无法提供对预测模型的可解释的理解。近年来,基于规则的算法已被用来解决这个问题。Wang et al.(2017)提出了一种基于or-of-and(析取范式)的分类技术,该技术允许在二进制分类中对单个类进行分类规则挖掘;这种方法也被证明可以执行其他现代算法。在这项工作中,我们扩展了这个想法,同时为这两个类提供分类规则。也就是说,我们为正类和负类提供了一组不同的规则。在描述这种方法时,我们还提出了一种新颖且完整的分类分类法,可以清晰地捕获和量化现实世界中嘈杂的二元分类中固有的模糊性。我们表明,这种方法导致一个更细粒度的制定的似然模型和基于模拟退火的优化实现分类性能与可比技术的竞争。我们将我们的方法应用于合成以及现实世界的数据集,与其他相关的方法,证明我们的建议的实用性进行比较。
2023-02-14 cs.LG stat.ML
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Predictive uncertainty estimation in deep learning for lung carcinoma classification in digital pathology under real dataset shifts
KU Leuven(鲁汶大学);Gauhati University(古瓦哈蒂大学);UZ Leuven(鲁汶大学医院)
该研究针对真实数据集偏移下肺癌分类深度学习模型的可靠性问题,系统评估三种主流预测不确定性估计方法在不同临床相关分布偏移下的性能与校准效果,填补了该领域大规模基准研究的空白。
2024-08-15 cs.AI cs.CV cs.LG
Multi-Stage Prototype Learning for Interpretable Time Series Classification
Department of Neurology, University of California, San Francisco(加州大学旧金山分校神经科部门);Department of Bioengineering and Therapeutic Sciences, University of California, San Francisco(加州大学旧金山分校生物工程与治疗科学部门);UCSF Weill Institute for Neurosciences(UCSF Weill神经科学研究所)
本文提出多阶段原型学习框架,通过显式层次化解释提升时间序列分类的可解释性,验证了在模拟和真实数据集上的性能。
2026-05-07 cs.LG
Predictive modeling of microbiological seawater quality classification in karst region using cascade model
University of Rijeka(里耶卡大学)
本文对克罗地亚里耶卡市沐浴季节的大肠杆菌海水测量结果进行了深入分析。在几个测量点观察到地下水的淹没源,这可能是E增加的原因。coli值。这种特殊性的岩溶地形通常是不考虑在监测过程中,因此提出了一种新的测量方法。级联机器学习模型用于基于气象数据预测沿海水质,由于很少出现水质下降的测量结果导致数据不平衡,因此提高了准确度。目前,级联模型被用作过滤方法,其中未被分类为优秀质量的测量需要进一步分析。然而,随着本文提出的改进,级联模型最终可以作为一个独立的方法使用。
2022-02-11 cs.LG
PredNet and Predictive Coding: A Critical Review
University of Potsdam(波茨坦大学);Otto von Guericke University(奥托·冯·格里克大学)
PredNet是Lotter等人开发的深度预测编码网络,将基于预测误差传播的生物启发架构与视频中的自监督表示学习相结合。虽然该体系结构已经引起了很多关注,并且存在模型的各种扩展,但缺乏批判性的分析。我们通过评估PredNet作为预测编码理论的实现和使用具有挑战性的视频动作分类数据集的自监督视频预测模型来填补这一空白。我们设计了一个扩展的模型来测试,如果条件未来帧预测的动作类的视频提高了模型的性能。我们表明,PredNet还没有完全遵循预测编码的原则。所提出的自上而下的调节导致合成数据的性能增益,但不能扩展到更复杂的现实世界的动作分类数据集。我们的分析旨在指导未来的研究类似的架构的预测编码理论的基础上。
2020-05-18 cs.CV cs.LG eess.IV
Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors
KAIST(韩国科学技术院)
本文提出NodePFN,通过学习后验预测分布实现对任意图的通用节点分类,无需图特定训练,利用合成图先验生成多样化的图结构和特征-标签关系。
2026-04-21 cs.LG
A Survey of Predictive Maintenance Methods: An Analysis of Prognostics via Classification and Regression
Department of Information Systems University of Maryland Baltimore County(信息系统系大学马里兰大学巴尔的摩县);Department of Information Systems Colorado State University Pueblo(信息系统系科罗拉多州立大学普劳尔)
本综述对比分析了预测性维护中基于分类和回归的方法,探讨了关键进展、挑战与新兴趋势,旨在帮助构建更稳健的自适应维护系统并指明未来研究方向。
2025-06-25 cs.LG
Deep Predictive Coding with Bi-directional Propagation for Classification and Reconstruction
Ulster University(阿尔斯特大学);University of Bath(巴斯大学);Loughborough University(拉夫堡大学)
本文提出深度双向预测编码 DBPC,通过每层同时预测前后层神经元活动,利用局部信息与并行学习,使网络能以相同权重同时完成分类和重建,并在更小网络规模下取得与现有方法相近的性能。
2023-05-29 cs.LG cs.NE
Classification with Extreme Learning Machine and Ensemble Algorithms Over Randomly Partitioned Data
TÜBİTAK BİLGEM(土耳其科学技术研究委员会信息与信息安全高级研究中心)
在这个大数据时代,基于机器学习的数据采掘方法被广泛用于检查大规模数据集。从这些类型的数据集导出适用的预测建模是一个具有挑战性的障碍,因为它们的高度复杂性。随着数据可用性水平的提高,数据集的自动分类已成为一项关键而复杂的功能。本文探讨了应用基于MapReduce的分布式AdaBoosting的极限学习机(ELM)来构建可靠的分类模型预测包的能力。因此,(i)构建数据集集合;(ii)使用ELM算法来构建弱分类模型;以及(iii)从一组弱分类模型构建强分类模型。该训练模型被应用于公开的知识发现和数据采掘数据集。
2015-04-12 cs.LG