GT-PSSM: Unified Probabilistic Framework for Stochastic Dynamics Modeling and Dependency Learning in Multivariate Time Series Anomaly Detection
KAIST(韩国科学技术院);Pusan National University(釜山国立大学)
针对现有多元时间序列异常检测方法忽略随机性且难以捕捉长时依赖和变量交互的问题,提出GT-PSSM,统一概率框架结合PSSM与图变换器,实现更稳健的异常检测。
2026-09-29 cs.LG stat.ML
Extending Desbordante with Probabilistic Functional Dependency Discovery Support
Saint-Petersburg University(圣彼得堡大学)
研究旨在通过在Desbordante工具中支持概率函数依赖(pFD)来改进数据剖析。通过分析和实证研究pFD,评估其与近似函数依赖(AFD)差异,实现pFD发现算法并研究性能,与AFD算法比较,探索能否相互获取结果,为数据剖析提供新支持。
2026-07-28 cs.AI cs.CE cs.DB
Sample Efficient Learning of Image-Based Diagnostic Classifiers Using Probabilistic Labels
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);National University of Singapore(新加坡国立大学)
深度学习方法通常需要庞大的数据集来实现良好的泛化。这使得它在基于图像的医疗诊断等任务中的使用变得复杂,在这些任务中,小的训练数据集通常不足以学习适当的数据表示。对于这样的敏感任务,提供预测的置信度也很重要。在这里,我们提出了一种学习和使用概率标签的方法,从相对较小的数据集训练准确和校准的深度网络。与传统方法相比,我们观察到使用这些标签训练的模型在三个分类任务中的准确性提高了22%:髋关节发育不良,脂肪肝和青光眼的诊断。使用概率标签训练的模型的输出被校准,允许将其预测解释为适当的概率。我们预计这种方法将适用于其他任务,其中很少有训练实例可用,专家知识可以编码为概率。
2021-02-11 cs.CV cs.LG
Probabilistic Diagnostic Tests for Degradation Problems in Supervised Learning
Purdue University(普渡大学)
几项研究指出了监督机器学习性能下降的不同原因。类不平衡、重叠、小析取、噪声标签和稀疏性等问题限制了分类算法的准确性。尽管许多方法以方法论或算法的形式试图最小化性能下降,但它们都是范围有限的孤立努力。大多数这些方法集中在许多问题中的一个补救,实验结果来自少数数据集和分类算法,预测能力的测量不足,缺乏统计验证来测试所提出的方法的真正好处。本文由两个主要部分组成:第一部分,提出了一种新的概率诊断模型的基础上,确定每个问题的迹象和症状。因此,这些问题的早期和正确的诊断是为了实现,以选择不仅是最方便的补救治疗,但也公正的性能指标。其次,研究了几种有监督算法在训练集存在这类问题时的行为和性能。因此,可以跨分类器估计治疗成功的预测。
2020-04-15 cs.AI cs.LG stat.ML
An Explainer for Temporal Graph Neural Networks
University of Florida(佛罗里达大学)
时态图神经网络(TGNNs)由于能够同时捕捉图的拓扑依赖性和非线性时态动态特性,已被广泛用于建模时变图相关任务。TGNN的解释对于透明和可信的模型至关重要。然而,复杂的拓扑结构和时间依赖性使得解释TGNN模型非常具有挑战性。在本文中,我们提出了一个新的解释框架TGNN模型。给定要解释的图上的时间序列,该框架可以以概率图模型的形式在一个时间段内识别主导解释。交通领域的案例研究表明,所提出的方法可以发现动态依赖结构的道路网络的一段时间。
2022-09-02 cs.LG
Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出测试时个性化框架,通过采样候选策略模型并使用个性化奖励模型选择最佳方案,解决缩放失败问题,并推导出统一缩放定律以诊断用户级崩溃和查询级奖励黑客两种失败模式。
2026-05-09 cs.AI cs.LG
The Libra Toolkit for Probabilistic Models
University of Oregon(俄勒冈大学)
Libra Toolkit是一个用于离散概率模型学习和推理的算法集合,包括贝叶斯网络,马尔可夫网络,依赖网络和和积网络。与其他工具包相比,Libra更强调学习易于处理的模型的结构,在这些模型中,精确推理是有效的。它还包括用于学习图形模型的各种算法,其中推理可能是棘手的,以及用于执行精确和近似推理。Libra是在2条款BSD许可证下发布的,以鼓励在学术界和工业界广泛使用。
2015-04-01 cs.AI cs.LG
Signature Kernel Scoring Rule: A Spatio-Temporal Diagnostic for Probabilistic Weather Forecasting
Department of Statistics, University of Warwick(沃里克大学统计系)
本文提出签名核评分规则,用于概率天气预测,通过迭代积分将天气变量视为连续路径,以编码时空依赖性,并在WeatherBench 2上验证其高判别力和路径依赖交互捕捉能力。
2026-04-30 cs.LG stat.AP stat.ML
An Easy to Interpret Diagnostic for Approximate Inference: Symmetric Divergence Over Simulations
概率推理算法的误差估计是一个重要问题。现有的马尔可夫链蒙特卡罗方法的诊断假设推理是渐近精确的,并不适合近似方法,如变分推理或拉普拉斯方法。本文介绍了一种诊断的基础上反复模拟数据集从先验和执行推理的每一个。中心的观察是,它是可能的,以估计一个对称的KL发散定义在这些模拟。
2021-02-25 cs.LG stat.ML
Confidence Estimation in Structured Prediction
Technion-Israel Institute of Technology(以色列理工学院)
结构化分类任务,如序列标记和依存句法分析,已经引起了自然语言处理和机器学习社区的极大兴趣。几种在线学习算法适用于结构化任务,例如感知器、被动攻击和最近引入的置信加权学习。这些在线算法易于实现,训练速度快,并产生最先进的性能。然而,与隐马尔可夫模型和条件随机场等概率模型不同,这些方法生成的模型仅输出预测,而没有关于输出正确性置信度的附加信息。在这项工作中,我们填补了空白,提出了一些替代方案来计算非概率算法的输出的置信度,我们展示了如何计算预测中的置信度估计,使得置信度反映了单词被正确标记的概率。然后,我们展示了如何使用我们的方法来检测错误标记的单词,贸易召回精度和主动学习。我们评估我们的方法对四个名词短语组块和命名实体识别序列标签的任务,并在依存句法分析的14种语言。
2011-11-06 cs.LG
Reconsidering Dependency Networks from an Information Geometry Perspective
Human Informatics and Interaction Research Institute(人类信息学与交互研究所);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
依赖网络(Heckerman等人,2000)是包括大量变量的系统的潜在概率图模型。与贝叶斯网络一样,依赖网络的结构由有向图表示,每个节点都有一个条件概率表。学习和推理是在单个节点上本地实现的;因此,即使有大量的变量,计算仍然是易于处理的。然而,依赖网络的学习分布是称为伪吉布斯采样的马尔可夫链的平稳分布,并且没有封闭形式的表达式。这一技术上的缺陷阻碍了依赖网络的发展。在本文中,我们考虑一个特定的流形为每个节点。然后,我们可以将伪吉布斯采样解释为这些流形上的迭代m投影。这种解释提供了一个理论界的位置,稳定分布的伪吉布斯抽样存在于分布空间。此外,这种解释涉及结构和参数学习算法作为优化问题。此外,我们比较依赖和贝叶斯网络的实验。结果表明,依赖网络和贝叶斯网络在学习分布的准确性方面具有大致相同的性能。结果还表明,依赖网络的学习速度比贝叶斯网络快得多。
2021-07-02 cs.LG stat.ML
Deep Dependency Networks for Multi-Label Classification
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一种简单的方法,它结合了概率图模型和深度学习架构的优势,用于解决多标签分类任务,特别关注图像和视频数据。首先,我们表明,以前的方法,结合马尔可夫随机场与神经网络的性能可以适度提高利用更强大的方法,如迭代连接图传播,整数线性规划,和$\ell_1$正则化为基础的结构学习。然后,我们提出了一个新的建模框架,称为深度依赖网络,它增强了依赖网络,一个模型,很容易训练和学习更准确的依赖关系,但限于吉布斯采样推理,到输出层的神经网络。我们表明,尽管它的简单性,共同学习这种新的架构产生了显着的性能改善基线神经网络。特别是,我们对三个视频活动分类数据集:Charades,Textually Annotated Cooking Scenes(TACoS)和Wetlab,以及三个多标签图像分类数据集:MS-COCO,PASCAL VOC和NUS-WIDE的实验评估表明,深度依赖网络几乎总是优于不使用依赖网络的纯神经架构。
2023-02-06 cs.CV cs.LG
A Trustworthy Industrial Fault Diagnosis Architecture Integrating Probabilistic Models and Large Language Models
针对工业故障诊断可信度不足的问题,提出融合贝叶斯网络与LLM的可信诊断架构,含认知仲裁、置信度校准等模块,实验显示准确率提升超28个百分点、ECE降低超75%,为高可信工业AI诊断提供新方案。
2025-10-04 cs.LG cs.SY eess.SP
Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting
AI Institute(人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
概率时间序列预测是根据历史数据估计未来时间序列的分布,这对于下游决策中的风险管理至关重要。我们提出了一种用于概率时间序列预测的深层状态空间模型,其中非线性排放模型和过渡模型由网络参数化,相关性由递归神经网络建模。我们采取自动相关性确定(ARD)的观点,并设计了一个网络,利用外生变量,除了时间序列。特别是,我们的ARD网络可以结合外生变量的不确定性,并最终帮助识别有用的外生变量,并抑制那些与预测无关的外生变量。多步预测的分布近似的Monte Carlo模拟。我们在实验中表明,我们的模型产生准确和尖锐的概率预测。我们预测的估计不确定性也随着时间的推移以自发的方式实际增加。
2021-01-31 cs.LG stat.ML
Learning complex dependency structure of gene regulatory networks from high dimensional micro-array data with Gaussian Bayesian networks
Instituto de Física de Cantabria, CSIC–Universidad de Cantabria(坎塔布里亚物理研究所,西班牙国家研究委员会-坎塔布里亚大学)
基因表达数据集由数千个样本量相对较小的基因组成(即大- $p$ -小- $n$)。此外,各种顺序的依赖关系在数据集中共存。在无向概率图模型(UGM)框架下,Glasso算法被提出来处理高维微阵列数据集。此外,默认的Glasso算法的修改开发,以克服复杂的相互作用结构的问题。在这项工作中,我们提倡使用一个简单的基于分数的爬山算法(HC),学习高斯贝叶斯网络(BN)依赖于有向无环图(DAG)。我们比较了HC与Glasso及其在UGM框架中的修改,它们能够从属于大肠杆菌基因组的微阵列数据重建GRNs。我们受益于联合概率密度(JPD)函数的分析特性,有向和无向的PGMs建立将DAG转换为UGM。我们的结论是,复杂数据的依赖关系是最好的HC算法学习,提出他们最准确和有效地,同时建模强本地和弱,但显着的全球连接共存的基因表达数据集。HC算法本质上适应数据集的复杂依赖结构,而不需要预先强制特定的结构。相反,Glasso和修改模型不必要的依赖性,在网络中的概率信息和JPD函数中的结构偏差,只能减轻包括许多参数的代价。
2022-02-14 cs.LG q-bio.MN q-bio.QM
Coresets for Dependency Networks
TU Dortmund(多特蒙德工业大学);TU Darmstadt(达姆施塔特工业大学)
许多应用从数据中推断概率图模型的结构,以阐明变量之间的关系。但是,我们如何在海量数据集上训练图形模型呢?在本文中,我们展示了如何构建核心集-压缩数据集,可以用作原始数据的代理,并具有可证明的有界最坏情况误差-对于高斯依赖网络(DN),即,高斯循环有向图模型,其中每个变量的父母是它的马尔可夫毯。具体来说,我们证明了高斯DN承认coresets的大小独立的数据集的大小。不幸的是,这并不适用于一般指数族成员上的DN。正如我们将证明的那样,泊松DN不允许小的核心集。尽管这个最坏的情况下的结果,我们将提供一个论点,为什么我们的核心建设DN仍然可以在实践中计数数据。为了证实我们的理论结果,我们在真实数据集上对所得的核心DN进行了经验评估。结果
2017-10-16 cs.AI cs.LG stat.ML
Causality Refined Diagnostic Prediction
KTH Royal Institute of Technology(瑞典皇家理工学院);Carnegie Mellon University(卡内基梅隆大学);Karolinska Institute(卡罗林斯卡学院)
近年来,将机器学习应用于医疗保健领域已显示出可喜的成果。来自学习算法的可解释的输出对于卫生保健人员的决策是期望的。在这项工作中,我们探讨了利用因果关系来完善诊断预测的可能性。我们专注于诊断预测的任务,使用不舒适的图纸,并探讨两种方法,采用因果识别,以提高诊断结果。首先,我们使用因果识别来推断诊断标签之间的因果关系,其本身提供了可解释的结果,以帮助医疗保健人员的决策和培训。其次,我们提出了一种后处理方法,其中推断的因果关系用于改进多视图概率模型的预测精度。实验结果表明,首先,因果识别是能够正确地检测诊断标签之间的因果关系,其次,有可能提高疼痛诊断预测精度使用的因果关系。
2017-11-29 cs.LG stat.ML
Upstream Probabilistic Meta-Imputation for Multimodal Pediatric Pancreatitis Classification
本文提出UPMI方法,通过元特征空间中的概率元填补提升多模态儿童胰腺炎分类性能,实现AUC提升5%。
2025-11-19 cs.CV cs.LG
DEFactor: Differentiable Edge Factorization-based Probabilistic Graph Generation
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
产生具有最佳特性的新型分子是许多行业(如药物发现)的关键步骤。最近,深度生成模型已经显示出进行从头分子设计的有前途的方式。尽管图形生成模型目前可用,但它们在其参数数量上具有图形大小依赖性,将其使用限制为仅非常小的图形,或者被公式化为构建图形所需的离散动作序列,使得输出图形相对于模型参数不可微,因此防止它们在诸如条件图形生成的场景中使用。在这项工作中,我们提出了一个模型的条件图生成,计算效率高,使直接优化的图形。我们展示了我们的模型基于原型的分子图条件生成任务的良好性能。
2018-11-24 cs.AI cs.LG
Probabilistic Graphs for Sensor Data-driven Modelling of Power Systems at Scale
IBM Research - Ireland(IBM研究院(爱尔兰))
随着分布式能源份额的增加以及智能互联网设备的大规模部署,电网的复杂性日益增加,需要新的规划和运营建模工具。目前用于数据滤波、预测和异常检测的基于物理的状态估计模型难以维护和适应电力系统不断变化的复杂动态特性。提出了一种基于概率图的数据驱动方法,其中可以组合系统变量子集的联合密度的自定义非线性局部模型来建模任意大而复杂的系统。图形模型允许以变量依赖结构或局部定量关系的形式自然地嵌入领域知识。提出了一个具体的例子,神经网络模型被用来代表当地的联合密度,虽然该方法概括到其他模型类。准确性和可扩展性进行评估的大规模数据集代表欧洲输电网。
2018-11-18 cs.LG stat.ML
Graph Convolutional Neural Networks Sensitivity under Probabilistic Error Model
Aalto University(阿尔托大学)
本文提出分析框架研究图卷积神经网络对概率图扰动的灵敏度,推导图移位算子误差界与层间输出线性关系,验证单层稳定性与多层递归特性,经GIN和SGCN实验证实理论与方法有效。
2024-09-07 cs.LG stat.ML
Deep Dependency Networks and Advanced Inference Schemes for Multi-Label Classification
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出深度依赖网络(DDNs)统一框架,结合依赖网络与深度学习用于多标签分类,并引入基于局部搜索和整数线性规划的先进推理方案,在多个图像和视频数据集上验证了其优于基础神经架构和马尔可夫网络组合的方法。
2024-04-17 cs.AI cs.CV cs.LG
Advanced Transient Diagnostic with Ensemble Digital Twin Modeling
North Carolina State University(北卡罗来纳州立大学)
使用机器学习(ML)模型作为数字孪生模型来代替系统代码进行降阶建模(ROM)在过去几年中越来越受到关注。然而,由于核反应堆瞬态的复杂性和非线性性质以及所需的大量任务,单个ML模型无法概括所有任务。在本文中,我们将特定问题的数字孪生ML模型与集成相结合,以增强预测结果。合奏还利用间接概率跟踪方法的替代状态变量,以产生准确的预测不可观测的安全目标。这种独特的方法称为Ensemble诊断数字孪生模型(EDDM),它不仅可以从合并的诊断数字孪生模型中选择最合适的预测,而且可以减少与训练相关的泛化误差。
2022-05-23 cs.LG cs.SY eess.SY
Learning Inclusion-Optimal Chordal Graphs
University of Liège(列日大学)
弦图可用于编码依赖模型,这些依赖模型可由有向无环图和无向图表示。本文讨论了一个非常简单和有效的算法来学习弦结构的概率模型从数据。该算法是一个贪婪的爬山搜索算法,使用包含边界附近的弦图。在限制的大样本量和适当的假设下的评分标准,我们证明了该算法将找到一个结构,是包容性最优的数据生成分布的依赖模型时,可以完全由无向图表示。模拟数据集上的算法进行评估。
2012-06-13 cs.DS cs.LG stat.ML
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University(汉阳大学);Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学);University of Toronto(多伦多大学);Uber ATG Toronto(优步先进技术集团多伦多分部);Vector Institute(向量研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构,但执行这些推理通常是困难的。消息传递算法(如置信传播)是在利用图结构的同时在相关变量之间传播证据的自然方式,但当条件依赖图包含循环时,这些算法可能会遇到困难。在这里,我们使用图神经网络(GNNs)来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后,我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性,并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
LambdaNet: Probabilistic Type Inference using Graph Neural Networks
University of Texas at Austin(得克萨斯大学奥斯汀分校)
随着渐进式类型在Python和TypeScript等语言中越来越流行,自动推断类型注释的需求越来越大。虽然类型注释有助于完成代码完成和静态错误捕获等任务,但这些注释不能完全由编译器确定,并且手工注释很繁琐。提出了一种基于图神经网络的TypeScript概率类型推断方案。我们的方法首先使用轻量级的源代码分析生成一个程序抽象称为类型依赖图,它链接类型变量与逻辑约束以及名称和使用信息。给定这个程序抽象,然后我们使用图神经网络在相关类型变量之间传播信息,并最终进行类型预测。我们的神经架构既可以预测数字或字符串等标准类型,也可以预测在训练过程中没有遇到的用户定义类型。我们的实验结果表明,我们的方法优于以前的工作在这个空间中的$14\%$(绝对)库类型,同时有能力作出类型预测,是现有技术的范围之外。
2020-04-29 cs.LG cs.PL stat.ML