Sub-Quadratic Bisimulation Metrics via Approximate Nearest Neighbors: Coverage-Augmented Guarantees and Computable Two-Sided Certificates
该研究针对MDP提出带证书的次二次双模拟度量方法,通过近似最近邻索引与单调上下界实现,在基准测试中比基线更高效,且在网格世界任务中性能提升28.6%。
2026-08-10 cs.LG
Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric
Pervasive Communication Research Center, Purple Mountain Laboratories(紫金山实验室普适通信研究中心)
提出DT-BSM度量,基于Wasserstein距离量化数字孪生与真实环境MDP差异,证明DT训练策略性能遗憾值有界,并给出经验计算方法与收敛性保证。
2025-02-25 cs.LG
Scalable methods for computing state similarity in deterministic Markov Decision Processes
Google Brain(谷歌大脑)
我们提出了新的算法计算和近似互模拟指标的马尔可夫决策过程(MDP)。互模拟度量是一种优雅的形式主义,它捕获状态之间的行为等价性,并为最佳行为的差异提供强有力的理论保证。不幸的是,他们的计算是昂贵的,需要一个表格表示的状态,这迄今为止,使他们不切实际的大问题。在本文中,我们提出了一个新版本的度量,是绑在一个MDP的行为政策,随着其理论性质的分析。然后,我们提出了两个新的算法近似互模拟度量大,确定性的MDP。第一个通过采样来实现,并保证收敛到真实的度量。第二个是可微损失,它使我们能够学习连续状态MDP的近似值,这在此之前是不可能的。
2019-11-21 cs.AI cs.LG stat.ML
Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院)
从丰富的观测数据中构建可推广的目标条件代理是强化学习(RL)解决现实问题的关键。传统上,在目标条件强化学习中,智能体被提供了他们想要达到的确切目标。然而,在执行任务之前知道目标的配置通常是不现实的。一个更具可扩展性的框架将允许我们为代理提供类似任务的示例,然后让代理推断其当前状态的目标应该是什么。我们提出了一种新的状态抽象形式,称为目标条件互模拟,捕获功能等变性,允许重用的技能,以实现新的目标。我们学习这种表示使用这种抽象的度量形式,并显示其能力,以推广到新的目标,在模拟操作任务。此外,我们证明,这种学习表示是足够的,不仅为目标条件的任务,但服从于任何下游的任务所描述的状态唯一的奖励函数。视频可以在https://sites.google.com/view/gc-bisimulation上找到。
2022-05-16 cs.LG
Learning Invariant Representations for Reinforcement Learning without Reconstruction
Facebook AI Research(Facebook AI研究院);University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);McGill University(麦吉尔大学)
我们研究了表示学习如何从丰富的观察(如图像)中加速强化学习,而不依赖于领域知识或像素重建。我们的目标是学习既能提供有效的下游控制又能对任务无关细节保持不变性的表示。互模拟度量量化连续MDP中状态之间的行为相似性,我们建议使用它来学习鲁棒的潜在表示,这些表示仅对来自观察的任务相关信息进行编码。我们的方法训练编码器,使得潜在空间中的距离等于状态空间中的互模拟距离。我们证明了我们的方法的有效性,在忽视任务无关的信息,使用修改后的视觉MuJoCo任务,其中的背景被替换为移动干扰和自然视频,同时实现SOTA性能。我们还测试了第一人称高速公路驾驶任务,我们的方法学习了云,天气和时间的不变性。最后,我们提供的泛化结果来自互模拟度量的属性,并链接到因果推理。
2021-04-07 cs.AI cs.LG stat.ML
Learning Action-based Representations Using Invariance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California Berkeley(加州大学伯克利分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对强化学习中长时序可控性特征难捕捉的问题,提出受互模拟不变性启发的动作互模拟编码方法,通过递归约束扩展单步可控性,经无奖励数据预训练可提升多环境样本效率,并辅以理论与定性验证。
2024-06-24 cs.AI cs.LG stat.ML
Generalization Across Observation Shifts in Reinforcement Learning
Amazon(亚马逊);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文扩展双模拟框架,通过基于双模拟的新目标学习对上下文相关观测偏移不变的表示,并给出模拟器保真度与策略迁移的理论界,在高维图像控制任务中验证了泛化效果。
2023-06-07 cs.AI cs.LG cs.RO
A Theoretical Analysis of State Similarity Between Markov Decision Processes
本文提出广义双模拟度量(GBSM)用于分析多个马尔可夫决策过程间状态相似性,通过理论分析和实验验证,提供了更精确的显式界限和样本复杂度。
2025-12-19 cs.LG
State Chrono Representation for Enhancing Generalization in Reinforcement Learning
Nanyang Technological University(南洋理工大学);Continental Automotive Singapore(大陆汽车新加坡公司);University of California, Santa Barbara(加州大学圣巴巴拉分校);The Chinese University of Hong Kong(香港中文大学)
针对图像输入强化学习中泛化能力不足的问题,提出状态时序表示(SCR)方法,通过将长期时间信息融入双模拟度量学习,在不增加大量参数的情况下提升表示质量,并在DeepMind Control和Meta-World任务中优于现有度量方法。
2024-11-09 cs.LG cs.RO
Robust Representation Learning by Clustering with Bisimulation Metrics for Visual Reinforcement Learning with Distractions
CAS Key Laboratory of Technology in GIPAS, University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
最近的研究表明,表示学习在基于像素的样本高效强化学习(RL)中起着至关重要的作用。不幸的是,在现实世界的场景中,表示学习通常是脆弱的任务无关的干扰,如背景或观点的变化。为了解决这个问题,我们提出了一种新的基于聚类的方法,即互模拟聚类(CBM),它通过对潜在空间中的视觉观察进行分组来学习鲁棒的表示。具体来说,CBM在两个步骤之间交替:(1)通过测量观察到学习的原型的互模拟距离来对观察进行分组;(2)根据当前的聚类分配来学习一组原型。使用互模拟度量计算集群分配使CBM能够捕获任务相关信息,因为互模拟度量量化了观察之间的行为相似性。此外,CBM鼓励每个组内的一致性表示,这有助于过滤掉任务无关的信息,从而诱导强大的表示对分心。一个吸引人的特点是,CBM可以实现样本有效的表示学习,即使同时存在多个分心。实验表明,CBM显着提高了样本效率的流行的视觉RL算法,并实现了国家的最先进的性能在多个和单一的分心设置。该代码可在https://github.com/MIRALab-USTC/RL-CBM上获得。
2023-02-24 cs.AI cs.LG
Towards Robust Bisimulation Metric Learning
University of Toronto(多伦多大学)
深度强化学习(DRL)中的学习表示必须从复杂的观察中提取任务相关的信息,在分散注意力的鲁棒性和策略的信息性之间进行平衡。这种稳定而丰富的表示,通常通过现代函数近似技术学习,可以使策略改进定理的实际应用,即使在高维连续状态-动作空间中。互模拟度量为这个表示学习问题提供了一种解决方案,通过在表示空间中将功能相似的状态折叠在一起,这促进了对噪声和干扰物的不变性。在这项工作中,我们推广的价值函数近似界的政策互模拟指标的非最优政策和近似的环境动态。我们的理论结果有助于我们识别在实际使用中可能发生的嵌入病理。特别是,我们发现,这些问题源于一个欠约束的动力学模型和一个不稳定的依赖性的嵌入规范的奖励信号的环境中稀疏的奖励。此外,我们提出了一套实用的补救措施:(i)对表示空间的规范约束,以及(ii)具有内在奖励和潜在空间正则化的先验方法的扩展。最后,我们提供的证据表明,所得到的方法不仅是更强大的稀疏奖励函数,但也能够解决具有挑战性的连续控制任务与观察分心,以前的方法失败。
2021-10-27 cs.AI cs.CV cs.LG
Differentiating Bisimulation Metrics: A Framework for Parametric Markov Chain Fitting via Bicausal Optimal Transport
Universitat Pompeu Fabra(庞培法布拉大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出可微双因果最优传输(D-BOT)算法,通过将双模拟度量作为可微线性规划,利用包络定理求闭式梯度,交替优化以拟合参数马尔可夫链,适用于状态压缩、模型学习和模仿学习。
2026-09-30 cs.LG
Distances for Markov chains from sample streams
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出一种基于样本流的随机优化方法,通过新的线性规划表述和随机原始-对偶算法估计马尔可夫链的双模拟度量,无需显式转移模型,并提供样本复杂度保证和实证验证。
2025-05-23 cs.LG stat.ML
Learning and Understanding a Disentangled Feature Representation for Hidden Parameters in Reinforcement Learning
Draper(德雷珀)
隐藏参数是强化学习(RL)环境中的潜在变量,其在轨迹的过程中是恒定的。了解哪些隐藏参数(如果有的话)会影响特定环境,可以帮助开发和适当使用RL系统。我们提出了一种无监督的方法来映射RL轨迹到一个特征空间,其中距离表示由于隐藏参数导致的系统行为的相对差异。我们的方法通过利用基于模型的RL中使用的递归神经网络(RNN)世界模型来解开隐藏参数的影响。首先,我们改变了标准的世界模型训练算法,以隔离隐藏在世界模型内存中的参数信息。然后,我们使用一种度量学习方法将RNN记忆映射到一个空间中,该空间的距离度量近似于隐藏参数的互模拟度量。由此产生的解纠缠特征空间可以用于有意义地将轨迹彼此关联并分析隐藏参数。我们在三个RL环境中的四个隐藏参数上展示了我们的方法。最后,我们提出了两种方法来帮助识别和理解隐藏参数对系统的影响。
2022-11-29 cs.LG
Continuous MDP Homomorphisms and Homomorphic Policy Gradient
McGill University(麦吉尔大学);Mila(米拉研究所);DeepMind(深度思维)
摘要抽象作为一种提高强化学习算法效率和泛化能力的方法已经得到了广泛的研究。在本文中,我们研究在连续控制设置的抽象。我们扩展了MDP同态的定义,以包含连续状态空间中的连续动作。我们推导出一个策略梯度定理的抽象MDP,这使我们能够利用近似对称的环境中的策略优化。基于这个定理,我们提出了一个演员批评的算法,能够同时学习的政策和MDP同态映射,使用宽松的互模拟度量。我们在DeepMind控制套件中的基准任务上证明了我们方法的有效性。我们的方法的能力,利用MDP同态的表示学习导致从像素观察学习时,提高性能。
2022-09-15 cs.LG
Bisimulation Metrics are Optimal Transport Distances, and Can be Computed Efficiently
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出折扣占用耦合与 LP 表述,将马尔可夫链互模拟度量统一为最优传输距离,并通过熵正则化的 SVI 实现快速高效计算。
2024-06-11 cs.LG math.OC stat.ML
Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
The University of Tokyo(东京大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);McGill University(麦吉尔大学);Araya Inc., Tokyo, Japan(日本东京阿雷亚公司);University of Sussex(Sussex大学)
提出统一框架,通过局部一步系统动态描述组成性地定义行为语义,证明行为结构在抽象与具体系统间的安全迁移,并构建具有可靠性保证的定量度量。
2026-08-10 cs.AI cs.LG math.CT
Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study
研究发现联合嵌入预测目标会丢弃外生但控制相关的特征,即使这些特征易于编码;通过受控实验比较六种目标,发现无奖励预测目标均导致该特征接近随机精度,而奖励接地变体可选择性保留。
2026-06-29 cs.LG
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
Department of Electrical Engineering, Columbia University, New York, USA.(电气工程系,哥伦比亚大学,纽约,美国)
本文提出了一种联合嵌入预测世界模型,通过引入双模拟编码器增强对慢特征的鲁棒性,提升在减少潜在空间中的导航任务性能。
2026-10-02 cs.LG math.OC
Predictive Auto-scaling with OpenStack Monasca
Scuola Normale Superiore(比萨高等师范学校);Scuola Superiore Sant’Anna(圣安娜高等研究院);University of Pisa(比萨大学);National Research Council(国家研究委员会)
云自动缩放机制通常基于反应式自动化规则,该反应式自动化规则每当某个度量(例如,实例之间的平均CPU使用率超过预定义的阈值。当扩展集群涉及到不可忽略的引导新实例的时间时,调整这些规则变得特别麻烦,因为它经常发生在生产云服务中。为了解决这个问题,我们提出了一个架构的基础上,系统预计在不久的将来发展的状态,自动扩展云服务。我们的方法利用时间序列预测技术,如基于机器学习和人工神经网络的技术,来预测关键指标的未来动态,例如,资源消耗指标,并对它们应用基于阈值的缩放策略。其结果是预测性自动化策略,例如,该策略能够自动预测云应用程序负载的峰值,并提前触发适当的缩放操作以适应预期的流量增加。我们将我们的方法原型化为一个开源的OpenStack组件,它依赖于并扩展了Monasca提供的监控功能,从而增加了可由Heat或Senlin等编排组件利用的预测指标。我们展示了使用递归神经网络和多层感知器作为预测器的实验结果,并与简单的线性回归和传统的非预测自动缩放策略进行了比较。然而,所提出的框架允许根据需要轻松定制预测策略。
2021-11-03 cs.DC cs.LG cs.SY
Critical Appraisal of Fairness Metrics in Clinical Predictive AI
University of Oxford(牛津大学);KU Leuven(鲁汶大学);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Massachusetts Institute of Technology(麻省理工学院);Harvard T H Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Emory University(埃默里大学);University of Birmingham(伯明翰大学)
该研究通过范围综述批判性评估临床预测AI的公平性指标,发现现有62个指标碎片化、临床验证不足且过度依赖阈值,强调未来应优先开发具有临床意义的公平性度量。
2025-06-20 cs.LG
Rashomon Capacity: A Metric for Predictive Multiplicity in Classification
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
当具有统计上不可区分的性能的分类模型将相互冲突的预测分配给单个样本时,会出现预测多重性。当用于后果应用中的决策时(例如,贷款、教育、刑事司法),在不考虑预测多重性的情况下开发的模型可能导致对特定个人作出不公正和任意的决定。我们引入了一个新的度量,称为罗生门容量,以衡量预测的概率分类的多重性。用于预测多重性的先前度量集中于输出阈值的分类器(即,0-1)预测类相比之下,罗生门容量适用于概率分类器,捕获单个样本的更细微的分数变化。我们提供了一个严格的推导罗生门容量,论证其直观的吸引力,并演示如何在实践中估计它。我们表明,罗生门产能产生原则性的战略,披露冲突的模型,利益相关者。我们的数值实验说明了罗生门容量如何在各种数据集和学习模型(包括神经网络)中捕获预测多重性。本文介绍的工具可以帮助数据科学家在模型部署之前测量和报告预测多样性。
2022-10-19 cs.IT cs.LG math.IT
Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学信息学实验室)
针对教育领域现有公平性指标仅关注预测性能偏差、未考虑模型行为与偏差严重程度的问题,提出MADD指标及可视化分析方法,实验验证了预测性能公平不代表行为公平,可用于优化模型选择与使用。
2023-07-21 cs.CY cs.LG stat.ML
On the Behavior of Intrusive and Non-intrusive Speech Enhancement Metrics in Predictive and Generative Settings
Universität Hamburg(汉堡大学)
本文比较同一语音增强骨干在预测式与生成式范式下的多种侵入式、非侵入式指标表现,揭示两类指标相关性随范式变化,呼吁建立无偏评估体系。
2023-06-05 cs.LG cs.SD eess.AS
Understanding Behavioral Metric Learning: A Large-Scale Study on Distracting Reinforcement Learning Environments
本研究通过大规模基准测试和隔离设置,系统评估了深度强化学习中五种行为度量学习方法,并引入去噪因子和开源代码库,以明确度量学习的效果与来源。
2025-09-08 cs.AI cs.LG
Collapsibility of Performance Metrics in Clinical Predictive AI
University of Oxford(牛津大学);KU Leuven(鲁汶大学);University of Birmingham(伯明翰大学)
该研究分析临床预测AI的15种性能指标的可折叠性,发现AUC等5种指标非可折叠、10种可折叠,指出非可折叠性会误导公平性评估,明确报告其可折叠性可提升评估的可解释性与透明度。
2026-09-01 cs.AI cs.LG
Image Registration and Predictive Modeling: Learning the Metric on the Space of Diffeomorphisms
The Institute for Information Transmission Problems(信息传输问题研究所);Higher School of Economics(高等经济学院);University of Pennsylvania(宾夕法尼亚大学);Indiana University(印第安纳大学);Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Illinois Institute of Technology(伊利诺伊理工学院)
我们提出了一种度量优化的方法在大变形同构度量映射(LDDMM)的框架下,通过处理诱导黎曼度量空间的同构作为一个内核在机器学习上下文中。为了简单起见,我们选择核Fischer线性判别分析(KLDA)作为框架。在期望最大化框架中优化核参数,我们通过决策函数的铰链损失定义模型保真度。由此产生的算法优化的LDDMM范数诱导微分算子的参数作为一个解决方案,以组明智的注册和分类问题。在实践中,这可能会导致生物意识登记,将注意力集中在手头的预测任务上,例如确定疾病的影响。我们首先在合成数据集上测试了我们的算法,结果表明我们的参数选择提高了配准质量和分类精度。然后,我们在来自精神分裂症队列Schizconnect的3D皮层下形状上测试了该算法。与基线参数相比,我们的精神分裂症对照预测模型显示ROC AUC显着改善。
2018-08-10 cs.CV cs.LG stat.ML
n-MeRCI: A new Metric to Evaluate the Correlation Between Predictive Uncertainty and True Error
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂国立高等工程师学院);CNRS(法国国家科学研究中心);Safran(赛峰集团)
随着深度学习在机器人领域的应用越来越普遍,评估推理的可靠性成为机器人领域的一个核心问题。这个领域被称为预测不确定性,已经受到研究小组的审查,这些研究小组正在开发适用于深度学习的贝叶斯方法,例如蒙特卡罗辍学。不幸的是,就目前而言,预测不确定性的真正目标已经被掩盖了。事实上,这些方法仅根据网络预测的原始性能进行评估,而不评估其估计不确定性的质量。评估这种不确定性预测质量在机器人技术中尤其重要,因为行动将取决于感知信息的置信度。在这种情况下,本文的主要贡献是提出了一种新的度量,适用于相对不确定性评估的评估,并直接适用于深度神经网络回归。为了实验验证这个度量,我们在玩具数据集上对其进行评估,然后将其应用于单目深度估计任务。
2019-08-20 cs.CV cs.LG stat.ML
A Fair Post-Processing Method based on the MADD Metric for Predictive Student Models
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(信息科学与技术实验室(LIP6))
本文提出一种基于 MADD 指标的后处理方法,在保持学生成功预测模型准确性的同时改善群体公平性,并通过模拟与真实教育数据验证其有效性。
2024-07-07 cs.AI cs.CY cs.DM
On Fixing the Right Problems in Predictive Analytics: AUC Is Not the Problem
University of Pennsylvania(宾夕法尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Denver(丹佛大学);Teachers College Columbia University(哥伦比亚大学教育学院)
本文针对Kwegyir-Aggrey等人2023年发表于ACM FAccT的批评AUC ROC使用的文章提出商榷,指出其技术偏差与逻辑问题,论证AUC ROC在合理预测分析中仍有效,倡导多指标结合使用。
2024-04-10 cs.LG
Model-based metrics: Sample-efficient estimates of predictive model subpopulation performance
Apple(苹果公司)
机器学习模型$-$现在通常被开发用于筛选、诊断或预测健康状况$-$,并使用各种性能指标进行评估。评估模型的实际效用的重要第一步是评估其在整个感兴趣的人群中的平均性能。在许多情况下,模型在预定义的亚群中做出良好的预测也很关键。例如,要证明一个模型是公平的,就需要评估该模型在不同人口统计分组中的表现。然而,子群体性能指标通常仅使用来自该子群体的数据来计算,从而导致较小群体的方差估计值较高。我们设计了一个程序来衡量子群体的性能,可以更样本效率比典型的子样本估计。我们建议使用一个评估模型$-$,该模型描述了预测模型得分$-$的条件分布,以形成基于模型的度量(MBM)估计。我们的程序结合了模型检查和验证,我们提出了一个计算效率的近似传统的非参数引导形成置信区间。我们评估MBMs的两个主要任务:一个半合成的设置,其中地面真实指标和现实世界的医院再入院预测任务。我们发现,MBMs始终产生更准确和更低的方差估计模型的性能为小的亚群。
2021-04-25 cs.LG stat.AP stat.ME
The Fairness of Risk Scores Beyond Classification: Bipartite Ranking and the xAUC Metric
Cornell University(康奈尔大学)
在机器学习的预测风险评分为高风险决策提供信息的情况下,例如刑事司法中的保释和判刑,公平性一直是一个严重的问题。最近的工作的特点是不同的影响,这种风险分数可以有一个二元分类任务时使用。然而,这可能无法解释风险评分的下游用途更加多样化及其非二元性质。为了更好地解释这一点,在本文中,我们调查的角度来看,一个二分排序任务,其中一个试图排名积极的例子高于消极的预测风险分数的公平性。我们引入xAUC差异作为评估风险评分的不同影响的指标,并将其定义为将一个受保护组的随机阳性样本排名在另一组的阴性样本之上的概率差异,反之亦然。我们提供了一个分解的二分排名损失的组件,涉及的差异和组件,涉及每个组内的纯预测能力。我们使用xAUC分析来审计累犯预测,收入预测和心脏骤停预测的预测风险评分,其中它描述了简单比较组内预测性能并不明显的差异。
2019-06-01 cs.LG stat.ML
Statistical multi-metric evaluation and visualization of LLM system predictive performance
IBM Research(IBM研究院)
提出一个自动执行统计检验、聚合跨指标与数据集结果并可视化的框架,以支持LLM系统配置决策,并在CrossCodeEval基准上验证。
2025-01-30 cs.CL cs.LG stat.AP
Novel Techniques to Assess Predictive Systems and Reduce Their Alarm Burden
OSF Healthcare(OSF医疗保健);Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Keylog Solutions LLC(基洛格解决方案有限责任公司);Georgetown University School of Medicine(乔治城大学医学院);Asatte Consulting Associates LLC(阿萨特咨询 associates 有限责任公司);WhisperSom Corporation(惠斯珀Som公司);HealthLab(健康实验室)
机器预测算法(例如,二进制分类器)通常是基于使用诸如灵敏度和预测值之类的经典度量所声称的性能来采用的。然而,分类器的性能在很大程度上取决于分类器操作的上下文(工作流)。经典指标不反映预测因子的实际效用,除非满足某些隐含的假设,而这些假设在许多常见的临床场景中无法满足。这往往会导致次优的执行和失望时,预期的成果没有实现。经典指标的一个常见故障模式出现在可以对同一事件进行多个预测时,特别是当冗余的真阳性预测产生很少的附加值时。这描述了许多临床警报系统。我们解释了为什么经典的指标不能正确地表示预测性能在这样的背景下,并介绍了一种改进的性能评估技术,使用效用函数来评分预测的基础上,他们的效用在一个特定的工作流上下文中。由此产生的效用度量(u-度量)明确占时间关系的预测效用的影响。与传统测量相比,u度量更准确地反映了在现场临床环境中操作的预测器的真实世界成本和收益。这种改进可能是显著的。我们还描述了一个正式的方法打盹,缓解策略,其中一些预测被抑制,以提高预测性能,减少误报,同时保留事件捕获。Snoozing对于生成中断警报的预测器特别有用。U-指标正确地测量和预测了休眠的性能优势,而传统的指标却不能。
2022-07-05 cs.IR cs.LG
Beyond Predictive Fairness: Quantifying Attribution Consistency Across Demographic Groups in Diabetic Retinopathy Screening
Hertie Institute for AI in Brain Health(赫蒂脑健康人工智能研究所);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
该研究提出解释一致性得分(ECS)作为公平性感知指标,以糖尿病视网膜病变筛查为案例,发现不同族裔群体预测性能有差异但解释一致性较高且与性能差异无显著关联,说明预测公平性与解释一致性是模型行为的互补维度,推动公平性评估拓展至预测性能之外。
2026-08-20 cs.AI cs.LG
Predictive linguistic cues for fake news: a societal artificial intelligence problem
Universiti Brunei Darussalam(文莱达鲁萨兰大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
媒体新闻是公众舆论的重要组成部分,因此,绝不能是假的。网站、博客和社交媒体上的新闻在发布之前必须进行分析。在本文中,我们提出了媒体新闻项目的语言特征,以区分假新闻和真正的新闻使用机器学习算法。神经假新闻生成,机器创建的标题,机器生成的文本和图像标题中的语义不一致是其他类型的假新闻问题。这些问题使用神经网络,主要控制分布特征,而不是证据。我们提出了应用特征集和类之间的相关性,以及特征之间的相关性来计算相关属性评价度量和协方差度量来计算新闻项上属性的方差。观察到具有高度量值的特征唯一、负、正和基数,以提供高的曲线下面积(AUC)和F1分数。
2022-11-26 cs.CL cs.LG
Are Metrics Enough? Guidelines for Communicating and Visualizing Predictive Models to Subject Matter Experts
Tufts University(塔夫茨大学);Novartis Pharmaceuticals Corporation(诺华制药公司)
针对数据科学家与主题专家间的模型沟通瓶颈,本文通过迭代研究识别术语、指标与可视化造成的隔阂,提出以可视化传达模型优劣的指南,并在回归场景中验证其效果。
2025-03-17 cs.HC cs.LG
Conformal and kNN Predictive Uncertainty Quantification Algorithms in Metric Spaces
Department of Economics and Business, Pompeu Fabra University(巴塞罗那庞培法布拉大学经济与商业系);ICREA;Barcelona Graduate School of Economics(巴塞罗那经济研究生院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Department of Biostatistics, Harvard University(哈佛大学生物统计学系)
针对度量空间回归模型,提出基于同方差性的共形预测算法和异方差下的kNN过程,分别提供有限样本覆盖保证和局部自适应预测半径,适用于大规模数据和序列扩展。
2026-06-23 cs.LG math.ST stat.ME
PhysicsBench: A Unified Leaderboard for Generative and Predictive Models in Engineering Design and Simulation
PhysicsBench是面向工程设计与仿真的统一基准排行榜,涵盖多维度任务与数据集,采用标准化流程评估66个模型,可实现模型去偏排名,助力模型选择。
2026-08-26 cs.CE cs.LG
Why Calibration Error is Wrong Given Model Uncertainty: Using Posterior Predictive Checks with Deep Learning
Bloomberg(彭博)
在过去的几年里,有一种趋势是将统计模型与神经网络结合使用,最终目标是能够更好地回答这个问题,“我们的模型知道什么?”".从这一趋势来看,预测区间覆盖概率(PICP)等经典指标和校准误差等新指标已经进入了模型评估的一般程序,以便更好地了解我们模型的不确定性与现实的比较。不确定性建模的一个重要组成部分是模型不确定性(认知不确定性),这是对模型所知道和不知道的内容的测量。然而,目前的评估技术往往混淆模型的不确定性与任意的不确定性(不可约误差),导致不正确的结论。在本文中,使用后验预测检查,我们展示了如何校准误差及其变量几乎总是不正确的使用给定的模型不确定性,并进一步展示了这种错误如何导致信任坏模型和不信任好模型。虽然后验预测检查经常用于贝叶斯模型的样本内评估,但我们表明它在现代深度学习世界中仍然占有重要地位。
2021-12-02 cs.LG stat.ML
Empirical Analysis of Predictive Algorithms for Collaborative Filtering
Microsoft Research(微软研究院)
协同过滤或推荐系统使用关于用户偏好的数据库来预测新用户可能喜欢的其他主题或产品。在本文中,我们描述了几种算法设计的这项任务,包括相关系数,基于向量的相似性计算,统计贝叶斯方法的基础上的技术。我们在一组有代表性的问题域中比较了各种方法的预测准确性。我们使用两类基本的评估指标。第一个特征的准确性在一组个人的预测方面的平均绝对偏差。第二个估计建议项目的排序列表的效用。此度量使用对用户将在有序列表中看到推荐的概率的估计。实验针对与3个应用领域、4个实验协议和各种算法的2个评估指标相关联的数据集进行。结果表明,在广泛的条件下,贝叶斯网络与决策树在每个节点和相关性的方法优于贝叶斯聚类和向量相似性的方法。在相关性和贝叶斯网络之间,首选方法取决于数据集的性质、应用程序的性质(排名与逐个呈现)以及用于进行预测的投票的可用性。其他考虑因素包括数据库的大小、预测速度和学习时间。
2013-01-30 cs.IR cs.LG
Predictive Performance Modeling for Distributed Computing using Black-Box Monitoring and Machine Learning
Humboldt-Universität zu Berlin(柏林洪堡大学)
在许多领域,过去十年的特点是数据量不断增加,计算工作负载的复杂性不断增加,这为分布式系统中的高度数据并行计算提出了新的需求。这些系统的有效操作是具有挑战性的,当面临不确定性的性能的工作和任务下,不同的资源配置,例如,用于调度和资源分配。我们调查预测性能建模(PPM)的方法来估计性能指标,如执行持续时间,所需的内存或等待时间的未来的工作和任务的基础上,过去的性能观察。我们专注于非侵入性方法,即,可以应用于任何工作负载而无需修改的方法,因为从管理计算基础设施的系统的角度来看,工作负载通常是黑盒。我们对性能变化的来源、预测的性能指标、所需的训练数据、用例和基础预测技术进行了分类和比较。最后,我们确定了几个开放的问题和迫切的研究需要在该领域。
2018-05-30 cs.DC cs.LG
Beyond MSE: Rethinking the Evaluation Metric and Benchmarking for Irregular Time Series Forecasting
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与通信学院)
本文针对不规则时间序列预测中MSE评估存在偏差的问题,提出CSE指标并构建多类型数据集基准,验证其能更准确评估模型连续时间预测性能。
2026-08-19 cs.AI cs.LG
Towards Reproducibility in Predictive Process Mining: SPICE -- A Deep Learning Library
Process Intelligence, Center for Applied Research on Supply Chain Services, Fraunhofer IIS(过程智能中心、供应链服务应用研究中心、弗劳恩霍夫研究所);Electrical Engineering, Chalmers University of Technology, Gothenburg, Sweden(电气工程、查尔姆斯理工大学、哥德堡,瑞典);Machine Learning Lab, University of Technology Nuremberg, Germany(机器学习实验室、图腾大学努尔堡,德国)
本文提出SPICE,一个基于PyTorch的Python框架,重新实现三种流行的深度学习方法,以提高预测过程挖掘的可重复性和可比性。
2026-08-26 cs.AI cs.LG
J-LAW: Joint Localization and Action-Conditioned World Modeling via Coupled Latent Factor Graphs
Geely Technology Europe(吉利技术欧洲公司);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)(信息工程测绘与遥感国家重点实验室(LIESMARS));Wuhan University(武汉大学)
提出J-LAW,通过耦合因子图联合优化度量物体位姿、潜在世界状态和潜在地标嵌入,实现定位与可操作世界建模的协同提升,实验证明能显著降低潜在预测误差和端点漂移。
2026-09-01 cs.LG cs.RO
Multivariate Industrial Time Series with Cyber-Attack Simulation: Fault Detection Using an LSTM-based Predictive Data Model
Kaspersky Lab(卡巴斯基实验室)
采用基于LSTM神经网络的方法对工业多变量时间序列数据进行故障监测和检测。为了验证这种方法,我们创建了一个Modelica模型的一部分,一个真正的瓦斯油工厂。通过将hack引入Modelica模型的逻辑,我们能够生成工厂中故障行为的根源和原因。有了一个带有标记错误的自一致数据集,我们使用了一个带有预测错误阈值的LSTM架构来获得精度和召回率质量指标。被认为是阈值水平上的质量度量的依赖性。一个适当的机制,如“一个手柄”被引入过滤故障,是在工厂运营商的领域感兴趣。
2016-12-26 cs.LG stat.ML
A New Metric for Lumpy and Intermittent Demand Forecasts: Stock-keeping-oriented Prediction Error Costs
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
产品需求预测对于物流和生产的短期和长期优化至关重要。因此,最准确的预测可能是可取的。为了最佳地训练预测模型,需要通过适当的度量来评估预测与实际需求相比的偏差。然而,如果度量不代表实际的预测误差,则预测模型未被充分优化,并且因此将产生不准确的预测。然而,诸如MAPE或RMSE的最常见的度量不适合于预测误差的评估,特别是对于不稳定和间歇性需求模式,因为它们不足以解释例如,时间变化(在实际需求之前或之后的预测)或成本相关方面。因此,我们提出了一个新的指标,除了统计考虑,还解决了业务方面。此外,我们根据汽车售后市场的模拟和实时需求时间序列评估该指标。
2020-04-22 cs.LG q-fin.GN stat.ML
Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data
Manipal Institute of Technology, MAHE(马尼帕尔理工学院,马尼帕尔高等教育学院)
大多数机器学习模型都假设训练、测试和部署数据是独立同分布的。这种假设在自然环境中通常不成立。通常,部署数据受到各种类型的分布偏移的影响。模型性能的大小与数据集分布的这种变化成正比。因此,有必要评估模型的不确定性和对分布变化的鲁棒性,以获得对真实世界数据的预期性能的现实估计。目前的方法来评估不确定性和模型的鲁棒性是缺乏的,往往无法描绘全貌。此外,到目前为止,大多数分析主要集中在分类任务上。在本文中,我们使用Shifts天气预测数据集为一般回归任务提出了更有见地的指标。我们还提出了使用这些指标的基线方法的评估。
2021-12-13 cs.AI cs.LG
Beyond Measurement Metrics: A Human-Centered Framework for Semantic Validation of Network Traffic Classification
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所);Technische Universität Darmstadt(达姆施塔特工业大学)
针对网络流量分类模型仅追求预测性能而忽视语义可信度的问题,提出一个结合数据、模型、可解释性、可视化与专家推理的以人为中心框架,以支持语义验证,提升模型的稳健性与可信度。
2026-09-16 cs.HC cs.LG cs.NI
A Conformal Predictive Measure for Assessing Catastrophic Forgetting
Communication Systems Department, EURECOM, France(EURECOM通信系统部);Andalusian Institute of Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);Department of Computer Science and Artificial Intelligence, University of Granada, Spain(格拉纳达大学计算机科学与人工智能系)
本研究提出基于共形预测的新指标CPCF,通过监测模型对旧任务的置信度量化持续学习中的灾难性遗忘,经四个基准数据集验证其与旧任务准确率强相关,可作为动态学习环境下评估灾难性遗忘的可靠工具。
2025-05-15 cs.AI cs.LG
Bayesian Comparisons Between Representations
Université du Luxembourg(卢森堡大学)
本文提出基于线性读出预测分布的贝叶斯度量来比较神经网络表示,该度量可解析计算且与现有核方法关联,在ImageNet-1k上验证了其有效性和不确定性信息优势。
2025-05-25 cs.LG q-bio.QM
Explanation-based Training with Differentiable Insertion/Deletion Metric-aware Regularizers
Chiba Institute of Technology(千叶工业大学);NTT Corporation(NTT公司)
针对机器学习解释忠实度提升问题,提出ID-ExpO方法,通过扩展不可微的插入/删除度量为可微形式并构建正则化器优化预测器,在保持准确率的同时让事后解释器生成更忠实易读的解释。
2024-03-11 cs.CV cs.LG stat.ML
Evolved Sample Weights for Bias Mitigation: Effectiveness Depends on the Fairness Objective
Cedars-Sinai Medical Center, Los Angeles(西德萨斯-辛AI医疗中心,洛杉矶);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了通过遗传算法进化样本权重以平衡公平性与预测性能的效果,发现公平性目标的选择显著影响结果。
2026-03-18 cs.AI cs.LG cs.NE