An Assessment of Human vs. Model Uncertainty in Soft-Label Learning and Calibration
Queen Mary University London(伦敦女王玛丽大学);Amazon(亚马逊);University of Utrecht(乌得勒支大学)
本文通过对比人类和模型标签在软标签学习中的效果,发现人类标签不仅提升了模型准确性,还通过正则化作用改善了模型在困难样本上的校准和训练稳定性。
2026-11-06 cs.AI cs.CL cs.LG
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University(名古屋大学);RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装公司)
针对部署阶段协变量分布未知且可能偏移的问题,提出DRCS,通过最小化最坏情形测试误差上界估计选择鲁棒核心集,并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
IW-GAE: Importance Weighted Group Accuracy Estimation for Improved Calibration and Model Selection in Unsupervised Domain Adaptation
Northwestern University(西北大学)
针对无监督域适应中的分布偏移,提出重要性加权组精度估计器(IW-GAE),通过优化重要性权重实现准确组精度估计,在模型校准和选择任务上分别提升22%和14%。
2024-07-17 cs.LG stat.ML
OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?
EPFL(瑞士联邦理工学院);Idiap Research Institute(IDIAP研究所)
本文提出OOD-Chameleon,将OOD泛化的训练算法选择建模为多标签分类,通过数据集特征在无需训练模型的情况下预测高性能算法,为算法选择和适用性提供了新见解。
2025-05-31 cs.LG
Doubly Robust Feature Selection with Mean and Variance Outlier Detection and Oracle Properties
我们提出了一个通用的方法来处理数据污染,可能会破坏性能的特征选择和估计过程的高维线性模型。具体来说,我们认为共同出现的均值漂移和方差膨胀离群值,这可以建模为额外的固定和随机组件,分别独立评估。我们的建议执行特征选择,同时检测和降低方差膨胀离群值的权重,检测和排除均值漂移离群值,并保留具有全权重的非离群情况。特征选择和均值漂移离群值检测是通过一类鲁棒的非凹惩罚方法进行的。方差膨胀离群值检测是基于惩罚的限制后验模式。由此产生的方法满足一个强大的Oracle属性的特征选择中存在的数据污染-这使得功能的数量以指数方式增加的样本量-和检测真正离群的情况下,每种类型的渐近概率1。这提供了高击穿点和效率之间的最佳折衷。计算效率的启发式程序。我们通过广泛的模拟研究和实际应用说明了我们的建议的有限样本性能。
2021-06-22 stat.ME
Experimental Site Selection under Directional Distribution Shifts
Center for Data Science, New York University(纽约大学数据科学中心)
本文将实验选址建模为最优传输问题,通过最小化总体与样本协变量分布的Wasserstein距离来降低PATE和CATE估计误差,并利用Wasserstein DRO增强对分布偏移的鲁棒性,模拟与实证分析验证了其优于随机和分层抽样选址。
2026-09-29 econ.EM stat.ME
Safe Distributionally Robust Feature Selection under Covariate Shift
Graduate School of Engineering, Nagoya University, Nagoya, Japan(名古屋大学工学研究科);Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan(RIKEN高级智能项目)
本文研究了在协变量偏移下的分布鲁棒特征选择问题,提出安全-DRFS方法,通过扩展传统稀疏建模中的安全筛选到分布鲁棒设置,确保在输入分布偏移范围内包含所有可能最优的特征子集。
2026-03-17 cs.LG stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine(加州大学欧文分校)
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下,迫切需要可靠地评估这些预先训练的模型的性能,并以标签有效的方式执行这种评估(考虑到标签可能稀缺且收集成本高)。在本文中,我们介绍了一种主动贝叶斯方法来评估分类器的性能,以满足desiderata的可靠性和标签效率。我们首先开发推理策略,以量化常见的评估指标,如准确性,误分类成本和校准误差的不确定性。然后,我们提出了一个通用的框架,主动贝叶斯评估使用推断的不确定性,以指导有效的选择标签的实例,使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验(例如,ResNet和BERT)在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
Uncertainty-Aware Subset Selection for Robust Visual Explainability under Distribution Shifts
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出一种结合子模子集选择与层间梯度不确定性估计的方法,以提高在分布偏移下的视觉可解释性鲁棒性和保真度。
2026-03-06 cs.CV cs.LG
JAWS: Auditing Predictive Uncertainty Under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一系列包装方法\textbf{JAWS},分布自由的不确定性量化任务下的协变量偏移,集中在核心方法\textbf{JAW},\textbf{JA} ckknife+ \textbf{W}与数据相关的似然比权重。JAWS还包括使用高阶影响函数\textbf{JAWA}的JAW的计算高效的\textbf{A}近似。理论上,我们表明,JAW放宽刀切+的假设,即使在协变量偏移的数据交换,以实现相同的有限样本覆盖保证。JAWA在一般规律性假设下,在样本大小或影响函数阶数的限制下进一步逼近了JAW保证。此外,我们提出了一种通用的方法来重新利用预测区间生成方法及其对反向任务的保证:基于用户指定的错误标准(例如真实标签周围的安全或可接受的公差阈值)估计预测错误的概率。然后,我们提出\textbf{JAW-E}和\textbf{JAWA-E}作为这个\textbf{E}错误评估任务的重新用途的建议方法。实际上,JAWS优于国家的最先进的预测推理基线在各种有偏见的现实世界的数据集的间隔生成和错误评估预测不确定性审计任务。
2022-11-23 cs.LG stat.ML
Wrapper Feature Selection Algorithm for the Optimization of an Indicator System of Patent Value Assessment
有效的专利价值评估为专利横切提供决策支持,促进专利技术的实际应用。分析了以往专利价值评估研究的局限性,提出了一种基于分类器预测精度的包装模式特征选择算法。在多个UCI标准数据集上的验证实验表明,该算法有效地减小了特征集的规模,显著提高了分类器的预测精度。将该算法应用于专利价值评估指标体系的建立,减小了系统规模,提高了分类器的泛化性能。采用序贯前向选择法进一步缩减指标集规模,生成最优的专利价值评估指标体系。
2020-01-21 cs.LG
Data selection method for assessment of autonomous vehicles
imec(校际微电子中心)
针对自动驾驶汽车安全验证依赖人工、数据适配性不足的问题,提出一种通过优化所选数据元数据分布与预定义分布相似度的高效数据选择方法,经BDD100K实验验证有效,可支撑各类安全功能验证的数据筛选。
2024-10-28 cs.AI cs.LG
Dependence model assessment and selection with DecoupleNets
University of Waterloo(滑铁卢大学)
神经网络建议学习从$d$维样本与任何潜在的依赖结构的多变量均匀性在$d'$维度的映射。该映射称为DecoupleNet,用于依赖模型评估和选择。如果数据生成依赖模型是已知的,并且它是少数几个易于分析的模型之一,那么$d'=d$的一个这样的变换就是Rosenblatt变换。DecoupleNets具有多种优势。例如,它们只需要一个可用的样品,并且适用于$d'<d$,特别是$d'=2$。这允许更简单的模型评估和选择,无论是数字和,因为$d'=2$,特别是图形。图形评估方法具有能够识别候选模型为什么或在域的哪个区域中没有提供足够的拟合的优点,从而导致在特定的感兴趣区域中的模型选择或在这样的区域中的改进的模型构建策略。通过对不同Copula函数数据的仿真研究,验证了该方法的可行性和有效性。现实世界的数据的应用程序说明其有用的模型评估和选择。
2022-10-05 cs.LG q-fin.CP q-fin.RM
Conformal Prediction Assessment: A Framework for Conditional Coverage Evaluation and Selection
Qiuzhen College, Tsinghua University(清华大学求真书院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文提出CPA框架,通过训练可靠性估计器评估条件覆盖,引入CVI指数分解可靠性并证明其一致性,实验表明CPA能有效诊断局部失效模式。
2026-03-28 cs.LG stat.ME stat.ML
Approximate Cross-validation: Guarantees for Model Assessment and Selection
Microsoft Research(微软研究院);Harvard University(哈佛大学)
交叉验证(CV)是一种用于评估和选择预测模型的流行方法。然而,当折叠次数很大时,CV需要在大量训练数据集上重复重新适应学习过程。经验风险最小化(ERM)的最新工作近似昂贵的改装与一个单一的牛顿步热启动从全训练集优化。虽然这可以大大减少运行时间,几个悬而未决的问题,包括这些近似是否导致忠实的模型选择,以及它们是否适合非光滑的目标。我们解决这些问题有三个主要贡献:(i)我们提供了统一的非渐近,确定性模型评估保证近似CV;(ii)我们表明,(大致)相同的条件也保证模型选择性能可比CV;(iii)我们为非光滑预测问题提供了近似CV框架的近似牛顿扩展,并为诸如l1-机构风险管理规范化。
2020-06-11 cs.LG stat.ML
Learning image quality assessment by reinforcing task amenable data selection
University College London(伦敦大学学院);InstaDeep(InstaDeep公司);Stanford School of Medicine(斯坦福医学院)
在本文中,我们认为一种类型的图像质量评估作为一个特定的任务的测量,它可以用来选择更适合于一个给定的目标任务,如图像分类或分割的图像。我们建议使用强化学习同时训练两个神经网络进行图像选择和目标任务。控制器网络通过基于在用户选择的验证集上的目标任务性能最大化累积奖励来学习图像选择策略,同时使用训练集来优化目标任务预测器。因此,经过训练的控制器能够拒绝那些导致目标任务准确性差的图像。在这项工作中,我们表明,制造商预测的图像质量可以显着不同于由人类手动定义的特定于任务的图像质量标签。此外,我们证明,它是可以学习有效的图像质量评估,而不使用一个“干净”的验证集,从而避免了人类标记的图像方面的要求,他们的顺从性的任务。使用$6712$,标记和分割,从$259$患者的临床超声图像,实验结果表明,所提出的图像质量评估实现了平均分类精度为$0.94\pm0.01$和平均分割Dice为$0.89\pm0.02$,通过丢弃$5\%$和$15\%$的采集图像,分别。与不考虑任务顺从性的网络中的相应$0.90\pm0.01$和$0.82\pm0.02$相比,在两个测试任务中观察到显著改善的性能。这使得能够在实时超声采集期间以及许多其他医学成像应用中进行图像质量反馈。
2021-02-15 cs.CV cs.LG
A feature selection method based on Shapley values robust to concept shift in regression
Fortia Energía(富蒂亚能源公司);Universidad Politécnica de Madrid(马德里理工大学);Instituto de Ciencias Matemáticas(数学科学研究所)
针对回归中的概念漂移导致特征影响力失效的问题,提出一种关联 Shapley 值与预测误差的局部特征选择方法,在漂移和静态场景中均表现出优越或相当的性能。
2023-09-25 cs.AI cs.LG stat.ME
RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment
Nanjing University(南京大学)
本文提出RL-Selector,将数据选择转化为强化学习过程,利用epsilon-sample cover量化样本冗余并作为奖励信号优化选择策略,在降低训练成本的同时提升了模型泛化性能和训练效率。
2025-06-26 cs.CV cs.LG
Optimal trees selection for classification via out-of-bag assessment and sub-bagging
Abdul Wali Khan University Mardan(阿卜杜勒·瓦利·汗大学马尔丹分校);University of Essex(埃塞克斯大学);Shaheed Benazir Bhutto Women University Peshawar(白沙瓦贝娜齐尔·布托女子大学);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
训练数据大小对机器学习方法的影响在过去的二十年中得到了很好的研究。基于树的机器学习方法的预测性能通常随着训练数据大小的增加而以降低的速率提高。我们在最优树集成(OTE)中研究了这一点,由于内部验证,该方法无法从一些训练观察中学习。改进的树选择方法,从而提出了OTE,以满足内部验证中的训练观察的损失。在第一种方法中,相应的袋外(OOB)的意见,用于个人和集体的性能评估每棵树。树基于它们在OOB观测上的单独性能进行排名。选择一定数量的排名靠前的树,并从最准确的树开始,逐个添加后续树,并通过使用从正在添加的树的自举样本中遗漏的OOB观察来记录其影响。如果树提高了集合的预测精度,则选择该树。在第二种方法中,树是在训练数据的随机子集上生长的,而不是引导样本(用替换)。与第一种方法类似,每个样本的其余观测值用于每个相应树的单独和集体评估。对21个基准数据集和模拟研究的分析表明,与OTE和其他最先进的方法相比,改进后的方法性能有所提高。
2020-12-30 cs.LG stat.ML
Transductive Model Selection under Prior Probability Shift
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche(信息科学与技术研究所,国家研究理事会)
针对直推式分类场景中先验概率偏移导致的模型选择难题,提出一种直接在目标未标注数据上优化超参数的方法,实验验证其优于基于标注数据交叉验证的传统方法。
2025-07-30 cs.LG
Disinformation Detection: A review of linguistic feature selection and classification models in news veracity assessments
State University of New York at Albany(纽约州立大学奥尔巴尼分校);College of Emergency Preparedness, Homeland Security and Cybersecurity(应急准备、国土安全与网络安全学院)
在过去的几年里,“假新闻”的话题及其对人们意见的影响已经成为越来越令人担忧的问题。虽然在互联网上传播虚假信息并不是一个新现象,但社交媒体的广泛使用加剧了其影响,提供了更多的传播渠道和“病毒式传播”的可能性。“没有什么比2016年美国总统大选更明显的了。虽然目前通过巨魔、机器人和超党派媒体传播的虚假信息可能会强化现有的偏见,而不是动摇犹豫不决的选民,但这种虚假信息泛滥的影响绝非微不足道。其后果的严重程度从对新闻媒体的全面不信任到公民信息不灵通,在极端情况下,甚至引发暴力行动。很明显,人类辨别谎言和真相的能力充其量是有缺陷的。因此,已经对应用机器学习方法来检测故意欺骗的新闻文章给予了更多的关注。本文着眼于在这方面已经做的工作。
2019-10-26 cs.CL cs.CY cs.LG
Unsupervised Assessment of Landscape Shifts Based on Persistent Entropy and Topological Preservation
Technical University of Denmark(丹麦技术大学)
本文提出一种基于持久熵和拓扑保持投影的持续学习框架,从数据拓扑结构变化角度监测多维数据流中的概念漂移,并在MNIST数据流上验证其有效性。
2024-10-22 cs.CV cs.LG
Dataset Complexity Assessment Based on Cumulative Maximum Scaled Area Under Laplacian Spectrum
Hokkaido University(北海道大学)
数据集复杂度评估的目的是在训练分类器之前通过复杂度计算来预测数据集的分类性能,也可以用于分类器选择和数据集约简。深度卷积神经网络(DCNN)的训练过程由于超参数不确定性和不同数据集引入的域移位而迭代且耗时。因此,在训练DCNN模型之前,通过有效地评估数据集的复杂性来预测分类性能是有意义的。本文提出了一种新的方法,称为累积最大缩放面积下拉普拉斯谱(cmsAULS),它可以实现最先进的复杂性评估性能的六个数据集。
2022-09-29 cs.AI cs.CV cs.LG
Time-shift selection for reservoir computing using a rank-revealing QR algorithm
US Naval Research Laboratory(美国海军研究实验室);University of New Mexico(新墨西哥大学)
本文提出利用秩揭示 QR 算法最大化储备池矩阵秩来选择时移,该方法无需任务信息或系统模型,并在光电振荡器和 tanh 循环网络储备池上几乎全面优于随机选择。
2023-04-25 cond-mat.dis-nn cs.LG
Cross-Subject Statistical Shift Estimation for Generalized Electroencephalography-based Mental Workload Assessment
Institut National de la Recherche Scientifique(国家科学研究院);Université du Québec(魁北克大学);Thales Research and Technology Canada(泰雷兹加拿大研究技术中心)
针对EEG心理负荷评估中跨受试者分布差异导致模型泛化性差的问题,提出估计边缘与条件两类统计偏移的策略,探究了不同归一化方法对偏移量及预测准确率的影响,可用于评估域适应策略有效性。
2021-09-22 cs.LG eess.SP stat.ML
Selection of CMIP6 Models for Regional Precipitation Projection and Climate Change Assessment in the Jhelum and Chenab River Basins
Department of Computer Science, University of Évora(埃夫拉尔大学计算机科学系);MED—Mediterranean Institute for Agriculture, Environment and Development & CHANGE—Global Change and Sustainability Institute, Institute for Advanced Studies and Research, University of Évora(地中海农业、环境与发展研究所及全球变化与可持续性研究所,埃夫拉尔大学高级研究学院);NUST Institute of Civil Engineering (NICE), School of Civil and Environmental Engineering (SCEE), National University of Sciences and Technology (NUST)(国家科技大学土木工程研究所(NICE)、土木与环境工程学院(SCEE));Institute of Geographical Information Systems (IGIS), School of Civil and Environmental Engineering (SCEE), National University of Sciences and Technology (NUST)(地理信息系统研究所(IGIS)、土木与环境工程学院(SCEE),国家科技大学);IMT Atlantique, Lab-STICC UMR CNRS 6285(IMT Atlantic、Lab-STICC UMR CNRS 6285)
本研究通过基于包络的方法选择CMIP6模型,用于恰尔穆和查纳河盆地的降水预测和气候变化评估,首次比较了SSP情景数据,并分析了气候变化影响及极端指数。
2026-02-13 cs.LG physics.ao-ph
Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection
Intel Corp.(英特尔公司);Seoul National University(首尔国立大学)
虽然许多现实世界的数据流意味着它们以非平稳的方式频繁变化,但大多数深度学习方法都是在训练数据上优化神经网络,这会导致数据集发生变化时严重的性能下降。然而,不太可能由人类注释或检查新流式传输的数据,因此期望以无监督的方式在推断时测量模型漂移。本文提出了一种新的基于无标记测试数据的批量归一化层统计量的模型漂移估计方法。为了弥补输入数据流可能出现的采样误差,我们对每个代表层采用了低秩近似。我们证明了我们的方法的有效性,不仅对数据集的移动检测,但也对模型选择时,有多个候选模型之间的模型动物园或训练轨迹在一个无监督的方式。我们通过比较不同网络架构之间的模型漂移分数进一步证明了我们方法的一致性。
2021-07-01 cs.CV cs.LG
AI and Machine Learning for Next Generation Science Assessments
AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心);University of Georgia(佐治亚大学)
本文梳理科学教育中基于机器学习的评估现状,提出自动评估评分准确性框架,探讨预训练模型在学生作答评估中的应用,以支撑契合三维学习目标的科学表现性评估。
2024-04-23 cs.AI cs.CY cs.LG
Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection
Faculty of Information Technology, Monash University, Melbourne, Australia(信息技术学院,墨尔本大学,澳大利亚)
提出SHIFT方法,通过单次推理展开的隐藏状态变化(RIRS)作为实例效用代理,结合质量加权CoreSet覆盖,实现无训练、无标签的RLVR数据选择,在数学推理和医学QA上优于基线。
2026-05-27 cs.LG
Impact of novel aggregation methods for flexible, time-sensitive EHR prediction without variable selection or cleaning
University of Cambridge(剑桥大学)
重症监护室(ICU)中患者状态的动态评估(例如,通过自动化的、连续更新的结果评估)对于早期警报、决策支持和资源分配至关重要。专家选择的临床变量的提取和清理丢弃了信息,并延长了在医学中引入机器学习的协作努力。我们为灵活的深度学习架构提出了改进的聚合方法,该架构学习患者图表,实验室和输出事件的联合表示。我们的模型优于最近的深度学习模型,用于使用ICU时间序列进行患者死亡率分类,通过嵌入和聚合所有事件,无需预处理或变量选择。我们的模型在MIMIC-III数据集上48小时达到了AUROC 0.87的强劲表现,同时通过每小时softmax聚合以可解释的方式使用了13,233个独特的未预处理变量。这证明了我们的方法可以很容易地与现有的电子健康记录系统相结合,自动化,动态的病人风险分析。
2019-09-17 cs.LG stat.ML
Clustering-Based Validation Splits for Model Selection under Domain Shift
Institute of Sound and Vibration Research(声学与振动研究所);University of Southampton(南安普顿大学)
本文提出基于核k均值聚类和线性规划的验证集划分方法,通过最大化训练集与验证集间的MMD来提升域偏移下的模型选择性能。
2025-08-17 cs.CV cs.LG
Graph Data Selection for Domain Adaptation: A Model-Free Approach
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对图域适应中严重偏移与资源受限问题,提出无模型数据选择框架GRADATE,利用最优传输理论选择源域训练数据,提升现有GDA方法性能并减少数据需求。
2025-10-24 cs.LG