Clinical Reasoning over Tabular Data and Text with Bayesian Networks
Ghent University(根特大学)
本文探讨了将神经文本表示以生成式和判别式方式融入贝叶斯网络,以增强其对自然语言数据的临床推理能力,并通过肺炎诊断模拟验证了该策略。
2024-05-23 cs.AI
Multi-Level Temporal Graph Networks with Local-Global Fusion for Industrial Fault Diagnosis
Department of Chemical Engineering, Texas Tech University(德克萨斯理工大学化学工程系)
本文提出一种多级时序图网络,通过局部-全局特征融合提升工业故障诊断性能,实验表明其在复杂故障场景中表现优于基线方法。
2026-04-20 cs.AI cs.LG
Motivating explanations in Bayesian networks using MAP-independence
Donders Institute for Brain, Cognition, and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University(拉德堡德大学)
在决策支持系统中,系统诊断或分类的动机和理由对于人类用户接受系统至关重要。在贝叶斯网络中,诊断或分类通常被形式化为给定证据变量的观测值,对假设变量的最可能联合值分配的计算(通常称为MAP问题)。虽然解决MAP问题给出了证据的最可能的解释,但就人类用户而言,计算是一个黑盒子,并且它没有提供允许用户欣赏和接受决策的额外见解。例如,用户可能想知道未观察到的变量是否可能(在观察时)影响解释,或者它在这方面是否无关紧要。在本文中,我们引入了一个新的概念,MAP-独立性,试图捕捉这一概念的相关性,并探讨其作用对一个潜在的理由的推理,以最好的解释。我们形式化的几个计算问题的基础上,这个概念,并评估其计算复杂性。
2022-08-05 cs.AI
TDANet: A Novel Temporal Denoise Convolutional Neural Network With Attention for Fault Diagnosis
Fudan University(复旦大学);Shanghai University(上海大学)
本文提出TDANet模型,通过将一维信号转为二维张量并结合多尺度卷积、时序变量去噪模块和多头注意力融合模块,有效提升噪声环境下的故障诊断准确率。
2024-03-29 cs.AI cs.LG eess.SP
ADAPQUEST: A Software for Web-Based Adaptive Questionnaires based on Bayesian Networks
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达尔·莫尔人工智能研究所)
我们介绍ADAPQUEST,一个用Java编写的软件工具,用于开发基于贝叶斯网络的自适应问卷。这里的适应性是指根据考生技能水平的演变模型动态选择问题序列。贝叶斯网络提供了一个灵活的和高度可解释的框架来描述这样的测试过程,特别是在处理多种技能时。ADAPQUEST嵌入了专用的启发策略,以简化问卷参数的启发。这个工具的应用程序的精神障碍的诊断也讨论了一些实施细节。
2021-12-29 cs.AI
Efficient Test Selection in Active Diagnosis via Entropy Approximation
IBM T.J. Watson Research Center(IBM T.J. Watson研究中心);U. C. Berkeley(加州大学伯克利分校)
我们考虑的问题,诊断故障的贝叶斯网络表示的系统中,诊断对应于恢复最有可能的状态的未观察到的节点的测试结果(观察到的节点)。在这种情况下,找到一个最佳的测试子集通常是棘手的。我们表明,它是困难的,甚至计算下一个信息量最大的测试使用贪婪的测试选择,因为它涉及到几个熵项的精确计算是棘手的。我们提出了一种近似的方法,利用循环的信念传播基础设施,同时计算近似的边缘和条件熵的多个子集的节点。我们应用我们的方法在计算机网络的故障诊断,并显示该算法是非常有效的现实的互联网拓扑结构。我们还提供了贪婪的测试选择方法的理论依据,以及一些性能保证。
2012-07-04 cs.AI
Etude de Modèles à base de réseaux Bayésiens pour l'aide au diagnostic de tumeurs cérébrales
Ecole supérieur des sciences et des technologies de Hammam Sousse - Université de Sousse(哈马姆苏斯高等科学技术学院 - 苏塞大学);Faculté des sciences de Monastir(莫纳斯提尔理学院)
本文介绍了基于不同模型的贝叶斯网络RB建模在脑肿瘤诊断中的应用。事实上,它们很好地适应了这些肿瘤诊断过程中的不确定性的表示。在我们的工作中,我们首先测试了几个结构,这些结构一方面来自医生进行的贝叶斯网络推理,另一方面来自自动生成的结构。该步骤旨在找到提高诊断准确性的最佳结构。机器学习算法涉及MWST-EM算法、SEM和SEM + T。为了从不完整的数据库中估计贝叶斯网络的参数,我们提出了一种扩展的EM算法,通过添加先验知识的形式的阈值计算的算法RBE的第一阶段。最后讨论了所取得的令人鼓舞的结果
2012-07-10 cs.AI
Frequency Feature Fusion Graph Network For Depression Diagnosis Via fNIRS
本文提出一种基于离散傅里叶变换和TGCN的频率特征融合图网络,利用超大规模数据集提取时间生物标志物,显著提升了fNIRS抑郁症诊断的F1分数和可解释性。
2025-04-29 cs.AI cs.LG
Characterization of Dynamic Bayesian Network
National School of Engineer of Sousse(苏塞工程师学院);Preparatory Institute of Engineer of National School of Engineer of Sousse(苏塞工程师学院预备工程师学院)
在本报告中,我们将对动态贝叶斯网络(DBN)感兴趣,它试图将时间维度与不确定性结合起来。我们从DBN的基础知识开始,特别关注推理和学习概念和算法。然后,我们将提出不同的层次和方法,建立DBNs以及纳入静态贝叶斯网络的时间维的方法。
2012-04-07 cs.AI
Traffic Flow Forecasting Using a Spatio-Temporal Bayesian Network Predictor
Tsinghua University(清华大学)
提出了一种新的交通流预测模型--时空贝叶斯网络预测模型。与现有的方法不同,我们的方法结合了所有的空间和时间信息,在交通网络进行我们的交通流量预测的当前站点。采用Pearson相关系数对输入变量(交通流)进行排序预测,并采用最佳优先策略选择一个子集作为贝叶斯网络的原因节点。在时空贝叶斯网络中,给定导出的原因节点和相应的结果节点,采用高斯混合模型描述输入和输出之间的统计关系。最后,在最小均方误差(M.M.S.E.)准则下进行交通流预测。北京市城市车流数据的实验结果验证了时空贝叶斯网络预测器的有效性。
2017-12-24 cs.AI stat.AP
Ontology Temporal Evolution for Multi-Entity Bayesian Networks under Exogenous and Endogenous Semantic Updating
这是一个挑战,任何知识库推理管理无处不在的不确定本体以及不确定的更新时间,同时以最小的计算成本达到可接受的服务水平。提出了一种面向开放交互系统的本体合并方法。一个解决方案,使用多实体贝叶斯网络与SWRL规则,和Java程序,提出了动态监测外生和内生的时间演化更新合并本体的概率框架上的语义Web。
2010-09-10 cs.AI cs.LO
Probabilistic modeling of lake surface water temperature using a Bayesian spatio-temporal graph convolutional neural network
BFH(伯尔尼应用科技大学)
准确的湖温估算对于解决水文和生态领域的许多问题至关重要。如今,开发物理模型来估计湖泊动态;然而,精确估计湖泊表面温度所需的计算可能过于昂贵。我们建议聚集在一定深度的湖泊温度的模拟,连同一系列的气象特征,以概率估计湖面温度。因此,我们介绍了一个时空神经网络,结合贝叶斯递归神经网络和贝叶斯图卷积神经网络。这项工作表明,所提出的图形模型可以提供均匀的良好性能,覆盖整个湖面,尽管有稀疏的训练数据。将定量结果与最先进的贝叶斯深度学习方法进行比较。开发的架构层的代码以及演示脚本可在https://renkulab.io/projects/das/bstnn上获得。
2021-09-27 cs.AI cs.LG
Analyzing historical diagnosis code data from NIH N3C and RECOVER Programs using deep learning to determine risk factors for Long Covid
University of Virginia(弗吉尼亚大学);NIH(美国国立卫生研究院)
本文提出一种可解释的深度学习模型,利用N3C历史诊断代码预测长新冠风险,准确率达70.48%,并通过GradCAM识别关键诊断代码及其时间趋势。
2022-10-05 cs.AI cs.LG
A Causal Bayesian Model for the Diagnosis of Appendicitis
University of Pennsylvania(宾夕法尼亚大学)
因果贝叶斯方法是基于这样的假设,即影响(例如,症状)对于某些致病因子不是条件独立的(例如,疾病)在条件上独立于由药剂引起的某些中间状态,(例如,病理状态)。本文介绍了因果贝叶斯模型诊断阑尾炎的发展。本文首先描述了标准的贝叶斯方法来推理不确定性和它所面临的主要批评。然后,本文奠定了贝叶斯方法的因果扩展的理论基础,并详细介绍了我们已经开发的具体改进。然后,本文继续描述我们的知识工程和实施和系统的测试结果。本文最后讨论了因果贝叶斯方法如何处理标准贝叶斯模型的批评,以及为什么它优于其他方法来推理流行的AI社区的不确定性。
2013-03-27 cs.AI
Model-Based Diagnosis with Qualitative Temporal Uncertainty
RWTH Aachen(亚琛工业大学)
在本文中,我们描述了一个框架,基于模型的诊断的动态系统,扩展了以前的工作在这一领域中使用和表达的时间不确定性的形式的定性区间关系的一个艾伦。基于定性和定量的时间约束扩展的逻辑框架,我们展示了如何描述行为模型(一致性和溯因),讨论如何使用抽象的观察,并显示如何计算抽象的时间诊断。这产生了一个表达框架,它允许表示复杂的时间行为,使我们能够表示时间的不确定性。由于它的抽象能力,计算独立于时间设置中的观测和时间点的数量。在整个论文中使用了肝炎诊断的一个例子。
2013-02-27 cs.AI
A Bayesian Approach for Medical Inquiry and Disease Inference in Automated Differential Diagnosis
Arizona State University(亚利桑那州立大学)
我们提出了一个贝叶斯方法的医疗查询和疾病推理,在鉴别诊断的两个主要阶段。与以前的工作不同,模拟给定概率的数据并对其使用ML算法,我们直接使用快速医学参考(QMR)信念网络,并在推理阶段应用贝叶斯推理,在查询阶段应用贝叶斯实验设计。此外,我们通过将贝叶斯实验设计框架从一步搜索扩展到多步搜索来改进查询阶段。我们的方法具有一些实际优势,因为它是可解释的,无需昂贵的培训,并且能够适应新的变化而无需任何额外的努力。我们的实验表明,我们的方法在两个模拟数据集SymCAT和HPO上取得了新的最先进的结果,在两个诊断对话数据集Muzhi和Dxy上取得了有竞争力的结果。
2021-10-23 cs.AI cs.LG
Modeling Uncertain Temporal Evolutions in Model-Based Diagnosis
Universita' di Torino(都灵大学)
虽然诊断问题的概念已经在静态系统的背景下进行了广泛的研究,在大多数实际应用中,建模系统的行为是显着的变化在时间。本文的目标是提出一种新的方法来建模的不确定性时变系统的时间演化和基于模型的时间诊断的表征。由于在大多数现实世界的情况下,知识的时间演变的系统被诊断是不确定的,我们考虑的情况下,概率的时间知识可用于系统的每个组成部分,我们选择通过马尔可夫链来建模。事实上,我们的目标是利用统计假设的可靠性理论的背景下,诊断时变系统。最后,我们将展示如何利用马尔可夫链理论,以丢弃,在诊断过程中,非常不可能的诊断。
2013-03-13 cs.AI
Temporal Decision Trees: Model-based Diagnosis of Dynamic Systems On-Board
基于领域模型的离线推理的决策树的自动生成是在技术领域中使用基于模型的方法的优点和嵌入式应用所施加的约束之间的合理折衷。在本文中,我们扩展的方法来处理时间信息。我们引入了时间决策树的概念,它的目的是利用相关的信息,只要它被收购,我们提出了一个算法,编译这样的树基于模型的推理系统。
2011-06-26 cs.AI
A Composite Fault Diagnosis Model for NPPs Based on Bayesian-EfficientNet Module
针对核电站多系统重要机械部件故障,提出基于贝叶斯算法与EfficientNet大模型的复合多故障诊断模型,通过迁移学习评估该技术在核电站场景中的有效性。
2024-11-13 cs.AI cs.SY eess.SP
iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis
University of Copenhagen, Copenhagen, Denmark;Rutgers University, New Brunswick, NJ, USA;Section of Health Data Science \& AI, Department of Public Health, University of Copenhagen, Copenhagen, Denmark;MRC Centre for Global Infectious Disease Analysis, Department of Infectious Disease Epidemiology, School of Public Health, Faculty of Medicine, Imperial College London, London, United Kingdom
提出iLoRA,一种贝叶斯图条件LoRA框架,通过推断输入中的潜在交互图生成输入条件LoRA更新,联合学习预测和潜在交互结构,在微生物组诊断中优于现有方法。
2026-05-28 cs.AI cs.LG
A Structurally and Temporally Extended Bayesian Belief Network Model: Definitions, Properties, and Modeling Techniques
University of Pittsburgh(匹兹堡大学)
我们开发了可修改的时间信念网络(MTBN)语言作为贝叶斯信念网络(BN)的结构和时间扩展,以促进不确定性下的规范性时间和因果建模。在本文中,我们提出了模型的定义,它的组件,它的基本属性。我们还讨论了如何表示各种类型的时间知识,重点是混合时间显式时间建模,动态结构,避免因果时间不一致,并处理涉及同时行动(决策)和因果和非因果关联的模型。我们研究BN,可修改的信念网络,MTBN与一个单一的时间粒度之间的关系,并建议适用于他们每一个的应用领域。
2013-02-13 cs.AI
DiagnoLLM: A Hybrid Bayesian Neural Language Framework for Interpretable Disease Diagnosis
针对临床AI需兼具准确性与可解释性的需求,提出融合贝叶斯建模、eQTL引导深度学习与LLM叙事生成的DiagnoLLM框架,在AD检测中达88%准确率,可生成适配医患的可信诊断报告。
2025-11-16 cs.AI cs.CL cs.LG
A Temporal Neuro-Fuzzy Monitoring System to Manufacturing Systems
Université de Batna(巴特纳大学);Centre universitaire Khenchela(肯切拉大学中心);Laboratoire d’Automatique et Productique (LAP)(自动化与生产实验室)
故障诊断和故障预测是提高制造系统安全性的关键技术。因此,在线故障检测和隔离是安全关键和智能控制系统中最重要的任务之一。计算智能技术作为传统故障诊断方法的延伸正在被研究。本文讨论了时间神经模糊系统(TNFS)的故障诊断中的应用研究的制造系统。找到一个合适的结构检测和隔离十个现实的执行器故障的关键问题进行了说明。在此框架下,开发了模拟洗礼的NEFDIAG(神经模糊诊断)1.0版数据处理交互软件。该软件主要用于工业过程故障的分类神经模糊系统的创建,训练和测试。NEFDIAG可以表示为一种特殊类型的模糊感知器,有三层用于分类模式和故障。本系统选用阿尔及利亚SCIMAT水泥厂熟料车间。
2011-07-17 cs.AI
Fault Diagnosis across Heterogeneous Domains via Self-Adaptive Temporal-Spatial Attention and Sample Generation
School of Automation(自动化学院);The School of Information Technology(信息科技学院);Wuhan University of Technology(武汉理工大学);Halmstad University(哈马碧大学)
针对工业多模态过程中故障诊断存在的类别部分重叠、数据分布差异大的问题,提出融合样本生成与自适应时空注意力的TSA-SAN模型,通过生成样本补充数据、注意力机制聚焦关键特征,显著提升了跨域故障诊断的性能。
2025-05-16 cs.AI cs.LG
Functional Space Variational Inference for Uncertainty Estimation in Computer Aided Diagnosis
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
深度神经网络彻底改变了医学图像分析和疾病诊断。尽管它们的性能令人印象深刻,但很难为这些网络生成校准良好的概率输出,这使得它们成为不可解释的黑匣子。贝叶斯神经网络提供了一种用于对不确定性进行建模并提高患者安全性的原则性方法,但是它们具有较大的计算开销并且在校准中提供有限的改进。在这项工作中,通过以皮肤病变分类为例的任务,我们表明,通过将贝叶斯推理转移到功能空间,我们可以制作有意义的先验,以更低的计算成本提供更好的校准不确定性估计。
2020-05-28 cs.AI cs.LG stat.ML
Attention-Based Multiscale Temporal Fusion Network for Uncertain-Mode Fault Diagnosis in Multimode Processes
School of Automation(自动化学院);The School of Information Technology(信息科技学院);Wuhan University of Technology(武汉理工大学);Halmstad University(哈马碧大学)
针对多模态工业过程监测数据分布差异导致共享健康特征难提取的问题,提出AMTFNet,融合多尺度卷积、GRU、实例归一化与时间注意力,并在两个数据集上实现高精度且轻量的故障诊断。
2025-07-23 cs.AI cs.LG
AT-Attn: Temporal-Aware Cross-Attention for Longitudinal Multimodal Alzheimer's Disease Diagnosis
Xinyue Du1, Yibo Liu2, Zhenglei Zhou3, Xuancheng Yao2, Weimin Zhong1, Qiuhui Chen14(未知)
研究针对纵向AD诊断中多模态信息整合难题,提出AT-Attn框架,结合多种技术整合MRI与临床信息,在患者级五折交叉验证中,该模型多项指标优于单模态和简单融合基线,为AD诊断提供临床相关补充信息。
2026-07-09 cs.AI cs.CV
Local Temporal Feature Enhanced Transformer with ROI-rank Based Masking for Diagnosis of ADHD
Hanyang University(汉阳大学)
针对ADHD诊断问题,提出一种基于ROI-rank掩码的局部时间特征增强Transformer模型,通过CNN嵌入块、局部时间注意力和ROI-rank掩码学习脑时空特征,在ADHD-200数据集上取得77.78ACC等性能,优于其他Transformer变体。
2025-04-12 cs.AI cs.CV eess.IV
Induction and Uncertainty Management Techniques Applied to Veterinary Medical Diagnosis
NASA AMES(NASA艾姆斯研究中心)
本文讨论了一个项目之间进行的计算科学系,统计学,兽医学院设计一个医疗诊断系统。医院数据库系统中的在线医疗数据已经收集了几年。许多归纳方法被用来从数据中提取知识,试图改进临床医生使用的简单诊断图表。它们还增强了经典统计方法的结果-发现许多更重要的变量。本文的第二部分描述了一个基本的贝叶斯证据合成方法,在初始阶段使用模糊事件。给出了计算结果,并与其它方法进行了比较。
2013-03-27 cs.AI
A Theoretical Framework for Context-Sensitive Temporal Probability Model Construction with Application to Plan Projection
我们定义了一个上下文敏感的时间概率逻辑表示类的离散时间时间贝叶斯网络。上下文约束允许推理只集中在概率知识的相关部分。我们为我们的语言提供了声明性语义。我们提出了一个贝叶斯网络的构建算法,其生成的网络提供声音和完整的答案查询。我们使用逻辑编程中的相关概念来证明我们的方法。我们已经实现了贝叶斯网络的构造算法的理论的一个子集,并证明它的应用程序的问题,评估治疗急性心脏病的有效性。
2013-02-20 cs.AI
Counterfactual diagnosis
Babylon Health(巴比伦健康);University College London(伦敦大学学院)
机器学习有望彻底改变临床决策和诊断。在医学诊断中,医生的目的是通过确定疾病\emph{causing}来解释病人的症状。然而,现有的诊断算法是纯粹关联的,识别与患者症状和病史强烈相关的疾病。我们发现,这种无法从因果关系中分离相关性可能导致次优或危险的诊断。为了克服这一点,我们重新制定诊断作为一个反事实推理任务,并得出新的反事实诊断算法。我们表明,这种方法更接近临床医生的诊断推理,并显着提高了诊断的准确性和安全性。我们将我们的反事实算法与标准贝叶斯诊断算法进行比较,并使用一组临床小插曲测试了44名医生。虽然贝叶斯算法达到了与普通医生相当的准确性,在我们的队列中排名前48%的医生中,我们的反事实算法排名前25%的医生,达到了专家的临床准确性。这种改进只需要改变我们查询模型的方式就可以实现,而不需要任何额外的模型改进。我们的研究结果表明,反事实推理是将机器学习应用于医学诊断的重要组成部分。
2020-03-13 cs.AI cs.LG stat.ML
Temporal Subtyping of Alzheimer's Disease Using Medical Conditions Preceding Alzheimer's Disease Onset in Electronic Health Records
Florida State University(佛罗里达州立大学);University of Florida(佛罗里达大学)
本研究利用谱聚类对近3万名AD患者的纵向电子健康记录进行时间亚型分型,识别出四种具有不同疾病进展模式的亚型,有助于早期检测和个性化治疗。
2022-02-22 cs.AI cs.LG stat.AP
Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
Beijing Institute of Technology(北京理工大学);University of Toronto(多伦多大学);Hong Kong Baptist University(香港 Baptist 大学)
本文识别动态图变换器在时间分布偏移下的注意力分散问题,并提出可迁移的差分注意力机制以提升性能,尤其在高偏移数据集上表现显著。
2026-05-15 cs.AI cs.LG
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种集成TFT和VAE的可视化分析框架,通过降维技术将复杂时间序列映射至2D潜在空间,直观探索电网事件特征,提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
TSViT: A Time Series Vision Transformer for Fault Diagnosis
University of Oulu(奥卢大学)
本文提出TSViT,将卷积层与Transformer编码器结合用于振动信号故障诊断,在三个数据集上取得最高100%平均准确率,并分析了超参数对性能、计算量和参数量的影响。
2024-10-13 cs.AI cs.SY eess.SY
Unsupervised Spatio-Temporal State Estimation for Fine-grained Adaptive Anomaly Diagnosis of Industrial Cyber-physical Systems
Huazhong University of Science and Technology(华中科技大学)
针对工业信息物理系统多变量时间序列异常诊断中状态依赖挖掘不足、异常演化难解释的问题,提出MAD-Transformer方法,通过时空状态矩阵与三分支注意力捕捉多维度依赖,联合多损失优化,实现细粒度自适应异常诊断,性能优于现有基线。
2024-03-05 cs.AI cs.CR cs.LG
BEAT-Net: Injecting Biomimetic Spatio-Temporal Priors for Interpretable ECG Diagnosis
School of Information Technology(信息科技学院);Monash University Malaysia(墨尔本大学马来西亚分校);Faculty of Biomedical Engineering(生物医学工程学院);Shenzhen University of Advanced Technology(深圳先进技术大学)
BEAT-Net通过生物仿生时空先验实现ECG分类的可解释性与高效性
2026-09-21 cs.AI cs.LG
A Bayesian Mixture Model of Temporal Point Processes with Determinantal Point Process Prior
Renmin University of China(中国人民大学)
针对事件序列聚类中混合模型过拟合和簇多样性不足的问题,提出带行列式点过程先验的贝叶斯混合模型TP$^2$DP$^2$,结合条件吉布斯采样推断,自动确定簇数并提升聚类质量。
2024-11-07 cs.AI cs.LG
A Structure-guided Effective and Temporal-lag Connectivity Network for Revealing Brain Disorder Mechanisms
脑网络为许多脑疾病的诊断提供了重要的见解,如何有效地对脑结构进行建模已成为脑成像分析领域的核心问题之一。最近,已经提出了各种计算方法来估计因果关系(即,有效连接)之间的大脑区域。与传统的基于相关性的方法相比,有效的连通性可以提供信息流的方向,这可能为脑部疾病的诊断提供额外的信息。然而,现有的方法要么忽略了大脑区域之间的信息传输存在时间滞后的事实,要么简单地将所有大脑区域之间的时间滞后值设置为固定值。为了克服这些问题,我们设计了一个有效的时间滞后神经网络(简称ETLN),同时推断的因果关系和大脑区域之间的时间滞后值,它可以在一个端到端的方式进行训练。此外,我们还介绍了三种机制,以更好地指导大脑网络的建模。在阿尔茨海默病神经影像学倡议(ADNI)数据库上的评估结果证明了该方法的有效性。
2022-12-01 cs.AI eess.IV q-bio.NC
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney(悉尼大学);JD Explore Academy, JD.com Inc.(京东探索研究院);University of Social Sciences(社会科学大学);Systems Research Institute of the Polish Academy of Sciences(波兰科学院系统研究所);Tsinghua University(清华大学)
贝叶斯神经网络(BNN)已经成为减轻深度学习中过度自信预测的主要方法,但是由于大量的分布参数,它们经常遭受缩放问题。在本文中,我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时,后验方差很大,这促使我们设计时空融合BNN(STF-BNN)以有效地将BNN扩展到大模型:(1)首先从零开始正常训练神经网络以实现快速训练;(2)第一层转换为贝叶斯并采用随机变分推理进行推断,而其他层是固定的。与普通的BNN相比,我们的方法可以大大减少训练时间和参数的数量,这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明,STF-BNN(1)在预测和不确定性量化方面达到了最先进的性能;(2)显着提高了对抗鲁棒性和隐私保护;(3)大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
Efficient Hierarchical Bayesian Inference for Spatio-temporal Regression Models in Neuroimaging
Technische Universität Berlin(柏林工业大学);University of California, San Francisco(加利福尼亚大学旧金山分校);Central China Normal University(华中师范大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
神经成像及其他领域的一些问题需要对多任务稀疏分层回归模型的参数进行推断。例子包括M/EEG逆问题,基于任务的功能磁共振成像分析的神经编码模型,和气候科学。在这些域中,要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有的工作要么忽略了时间结构,或导致计算要求的推理计划。克服这些局限性,我们设计了一种新的灵活的分层贝叶斯框架内,模型参数和噪声的时空动态建模有克罗内克积协方差结构。在我们的框架中的推理是基于优化最小化优化,并保证收敛性能。我们的高效算法利用时间自协方差矩阵的内在黎曼几何。对于由Toeplitz矩阵描述的平稳动力学,采用循环嵌入理论。我们证明了凸边界性质,并得出更新规则的算法。在M/EEG的合成和真实神经数据上,我们证明了我们的方法可以提高性能。
2021-11-23 cs.AI cs.LG eess.SP