A Symbolic Approach to Explaining Bayesian Network Classifiers
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种方法来解释贝叶斯网络分类器，这是基于编译这样的分类器到决策函数，具有一个易于处理的和符号的形式。我们介绍了两种类型的解释，为什么分类器可能已分类的实例积极或消极，并建议算法计算这些解释。第一种类型的解释标识负责当前分类的当前活动特征的最小集合，而第二种类型的解释标识其当前状态（活动或不活动）足以进行分类的特征的最小集合。我们认为，特别是天真和潜在树贝叶斯网络分类器的编译成有序决策图（ODD），提供了一个上下文，我们的建议，使用案例研究和实验的基础上，从文献分类评估。
2018-05-09 cs.AI cs.LG
Bayesian Treatment of Incomplete Discrete Data applied to Mutual Information and Feature Selection
给定一对随机变量的联合机会，可以计算感兴趣的量，如互信息。未知机会的贝叶斯处理涉及从二阶先验分布和数据似然计算机会的后验分布。不完全数据的一种常见处理方法是假设可重复性并通过期望最大化（EM）算法确定机会。上述两种不同的方法是公认的，但通常是分开的。本文在Dirichlet先验的情况下将这两种方法结合起来，导出了机会和互信息的均值、众数和（协）方差的有效近似。此外，我们证明了单峰的后验分布，从而EM收敛到全局最大值的重要性质，在选定的框架。这些结果适用于增量学习和朴素贝叶斯分类的特征选择问题。基于互信息分布的快速滤波器被证明优于基于经验互信息的传统滤波器。
2003-06-24 cs.AI cs.LG math.PR
Characterization of Dynamic Bayesian Network
National School of Engineer of Sousse（苏塞工程师学院）；Preparatory Institute of Engineer of National School of Engineer of Sousse（苏塞工程师学院预备工程师学院）
在本报告中，我们将对动态贝叶斯网络（DBN）感兴趣，它试图将时间维度与不确定性结合起来。我们从DBN的基础知识开始，特别关注推理和学习概念和算法。然后，我们将提出不同的层次和方法，建立DBNs以及纳入静态贝叶斯网络的时间维的方法。
2012-04-07 cs.AI
GDBN: a Graph Neural Network Approach to Dynamic Bayesian Network
Bytedance（字节跳动）
识别多变量时间序列之间的因果关系是理解动态系统背后复杂机制的最重要因素之一。它为科学和商业分析中的预测，模拟和干预提供了关键工具。在本文中，我们提出了一个图神经网络的方法与分数为基础的方法，旨在学习一个稀疏的DAG捕捉的因果依赖关系的离散时间时序图。我们证明了与图神经网络的方法显着优于其他国家的最先进的方法与动态贝叶斯网络推理。此外，从实验中，结构因果模型可以更准确地比线性SCM发现的方法，如Notears。
2023-01-28 cs.AI cs.LG stat.ML
Expectation Propogation for approximate inference in dynamic Bayesian networks
SNN, University of Nijmegen（奈梅亨大学 SNN）
本文将动态贝叶斯网络中近似推理的期望传播描述为Pearl精确置信传播的自然推广.期望传播是一种贪心算法，在许多实际情况下收敛，但并不总是收敛.我们导出了一个双环算法，保证收敛到Bethe自由能的局部最小值.此外，我们证明了（阻尼）期望传播的稳定不动点对应于这个自由能的局部极小值，我们通过将这些算法应用于切换线性动力系统来说明这些算法，并讨论其意义用于一般贝叶斯网络中的近似推理。
2012-12-12 cs.AI
Dependency Parsing with Dynamic Bayesian Network
有限状态自动机的精确解析被认为是不合适的，因为无界的非局部性语言的压倒性表现。我们提出了一种方法来构造解析任务，以使其适合本地分类方法。这使我们能够建立一个动态贝叶斯网络，揭示英语句子的句法依存结构。《华尔街日报》的实验表明，该模型成功地从标记数据中学习。
2007-03-27 cs.AI cs.CL
Relational Dynamic Bayesian Networks
University of Washington（华盛顿大学）
涉及随着时间的推移创建对象和关系的随机过程很普遍，但研究相对较少。例如，工厂装配过程中的准确故障诊断需要推断错误装配操作的概率，但高效且准确地做到这一点是困难的。这些过程被建模为动态贝叶斯网络，具有非常大的域和极高的维度的离散变量。在本文中，我们介绍了关系动态贝叶斯网络（RDBN），这是一个扩展的动态贝叶斯网络（DBNs）的一阶逻辑。RDBN是动态概率关系模型（DPRM）的推广，我们在以前的工作中提出了动态不确定域的模型。首先，我们扩展了Rao-Blackwellised粒子滤波在我们的早期工作中描述的RDBN。接下来，我们解除了与Rao Blackwellization在RDBN中的假设，并提出了两种新形式的粒子滤波。第一种方法使用谓词上的抽象层次来平滑粒子滤波器的估计。第二个采用核密度估计与核函数专门设计的关系域。实验结果表明，这两种方法在装配计划执行监控任务上的性能明显优于标准粒子滤波。
2011-09-09 cs.AI
Multi-Sensor Fusion Method using Dynamic Bayesian Network for Precise Vehicle Localization and Road Matching
LORIA-INRIA Lorraine（洛里亚-洛林因里亚研究所）；LAGIS-CNRS UMR 8146 Polytech'Lille（里尔理工大学LAGIS-CNRS联合研究所UMR 8146）
本文提出了一种新的道路匹配方法，旨在支持先进的驾驶辅助系统中的实时导航功能的多传感器融合策略。管理多假设是解决道路匹配问题的有效策略。利用动态贝叶斯网络实现了多传感器融合和多模态估计。实验结果，使用来自防抱死制动系统（ABS）传感器，差分全球定位系统（GPS）接收器和准确的数字路线图的数据，说明了这种方法的性能，特别是在模糊的情况下。
2007-09-07 cs.AI cs.RO
Optimal partition of feature using Bayesian classifier
针对朴素贝叶斯分类器中特征条件依赖易引发决策偏差、条件独立难实现的问题，提出共单调独立分类器CIBer实现特征最优划分，在多数据集上取得比随机森林、XGBoost更低错误率及相当或更高准确率。
2024-12-08 cs.AI cs.LG
Mercer Features for Efficient Combinatorial Bayesian Optimization
School of EECS, Washington State University（华盛顿州立大学电气工程与计算机科学学院）
贝叶斯优化（BO）是一个有效的框架，用于解决黑盒优化问题与昂贵的功能评估。本文讨论了组合空间的BO问题设置（例如，序列和图形），这在科学和工程应用中自然发生。一个典型的例子是由昂贵的实验指导的分子优化。关键的挑战是平衡统计模型的复杂性和搜索的易处理性，以选择组合结构进行评估。在本文中，我们提出了一种有效的方法称为Mercer特征组合贝叶斯优化（MerCBO）。MerCBO背后的关键思想是通过利用离散对象的组合图表示的结构，为离散对象上的扩散核提供显式特征映射。这些美世功能结合汤普森采样作为采集功能，使我们能够采用易于处理的求解器来找到下一个结构进行评估。不同的现实世界的基准实验表明，MerCBO执行类似或优于以前的方法。源代码可在https://github.com/aryandeshwal/MerCBO上获得。
2020-12-14 cs.AI cs.LG
Water Disaggregation via Shape Features based Bayesian Discriminative Sparse Coding
Google Corporation（谷歌公司）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University at Albany-SUNY（纽约州立大学奥尔巴尼分校）
随着淡水短缺问题日益严重，采取有效措施节约用水至关重要。根据先前的研究，器械水平的消耗可能导致显著的淡水保护。现有的水分解方法主要集中在学习设备的特征，但它们缺乏准确区分并行设备消耗的机制。在本文中，我们提出了一个贝叶斯判别稀疏编码模型，使用拉普拉斯先验（BDSC-LP），以广泛提高解聚性能。为了得到判别基函数，形状特征描述低采样率的用水模式。设计了一种基于Gibbs抽样的推理方法来扩展分解字典的判别能力。使用真实世界和合成数据集进行了大量的实验，以验证所提出的模型的有效性。
2018-08-26 cs.AI cs.LG stat.ML
Graph Bayesian Optimization: Algorithms, Evaluations and Applications
Key Laboratory of Symbolic Computation and Knowledge Engineer, Ministry of Education（教育部符号计算与知识工程重点实验室）；School of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
网络结构优化是复杂网络分析中的一项基本任务。然而，几乎所有的贝叶斯优化研究都是针对向量输入的目标函数优化。在这项工作中，我们首先提出了一个灵活的框架，表示图贝叶斯优化，以处理任意图中的贝叶斯优化社区。通过将所提出的框架与图核相结合，它可以充分利用隐式图结构特征来补充根据经验猜测的显式特征，例如节点的标签和图的任何属性。所提出的框架可以确定哪些功能是更重要的优化过程中。我们应用该框架解决了四个问题，包括两个评估和两个应用程序，以证明其有效性和潜在的应用。
2018-11-06 cs.AI cs.LG stat.ML
A Bayesian explanation of machine learning models based on modes and functional ANOVA
Honeywell International（霍尼韦尔国际公司）
本文提出一种基于贝叶斯框架和函数ANOVA分解的逆解释方法，通过特征距离排序解释标签偏差，相比SHAP更直观稳健，且额外成本与维度无关。
2024-11-05 cs.AI cs.LG stat.CO
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系，提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
A Novel Bayesian Classifier using Copula Functions
表示贝叶斯分类器的一种有用方法是通过\emph{discriminant functions}。在这里，使用Copula函数，我们提出了一个新的模型的判别。该模型提供了一个丰富的和广义类的决策边界。这些决策边界显著提高了分类精度，尤其是对于高维特征空间。我们通过模拟结果加强我们的分析。
2006-12-05 cs.AI cs.IR cs.LG
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney（悉尼大学）；JD Explore Academy, JD.com Inc.（京东探索研究院）；University of Social Sciences（社会科学大学）；Systems Research Institute of the Polish Academy of Sciences（波兰科学院系统研究所）；Tsinghua University（清华大学）
贝叶斯神经网络（BNN）已经成为减轻深度学习中过度自信预测的主要方法，但是由于大量的分布参数，它们经常遭受缩放问题。在本文中，我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时，后验方差很大，这促使我们设计时空融合BNN（STF-BNN）以有效地将BNN扩展到大模型：（1）首先从零开始正常训练神经网络以实现快速训练;（2）第一层转换为贝叶斯并采用随机变分推理进行推断，而其他层是固定的。与普通的BNN相比，我们的方法可以大大减少训练时间和参数的数量，这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明，STF-BNN（1）在预测和不确定性量化方面达到了最先进的性能;（2）显着提高了对抗鲁棒性和隐私保护;（3）大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
Dynamic Bayesian Ontology Languages
TU Dresden（德累斯顿工业大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
许多形式主义结合本体语言与不确定性，通常以概率的形式，已经研究了多年。然而，这些形式主义中的大多数都假设知识的概率结构随着时间的推移保持静态。我们提出了一个通用的方法来扩展本体语言来处理动态贝叶斯网络所代表的随时间变化的不确定性。我们展示了如何在原始语言和动态贝叶斯推理推理可以利用有效的推理在我们的框架。
2015-06-26 cs.AI cs.LO
Deriving a Stationary Dynamic Bayesian Network from a Logic Program with Recursive Loops
逻辑程序中的递归循环对PLP框架提出了挑战性的问题。一方面，它们永远循环，这样PLP的后向推理就永远不会停止。另一方面，它们会产生循环影响，这在贝叶斯网络中是不允许的。因此，在现有的PLP方法中，具有递归循环的逻辑程序被认为是有问题的，因此被排除。在本文中，我们提出了一种方法，利用递归循环来建立一个静态的动态贝叶斯网络。我们的工作源于一个观察，递归循环在逻辑程序意味着一个时间序列，因此可以用来建模一个静态的动态贝叶斯网络，而不使用显式的时间参数。我们引入了一个贝叶斯知识库的形式$A \leftarrow A_1,...,A_l, true, Context, Types$的逻辑子句，它自然表示的知识，$A_i$的$A$有直接的影响，在上下文$Context$下的类型约束$Types$。然后，我们使用一个逻辑程序的良基模型来定义直接影响关系，并应用SLG-分辨率来计算随机变量的空间连同它们的父母的连接。我们引入了一个新的概念的影响条款，在此基础上建立了一个声明性的语义贝叶斯知识库和算法，从一个逻辑程序的两片动态贝叶斯网络的开发。
2005-06-27 cs.AI cs.LG cs.LO
Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments
IDSIA（达勒·莫尔人工智能研究所）
为了最大限度地取得成功，AGI通常需要探索其最初未知的世界。有没有一个最佳的方法来做到这一点？在这里，我们得到一个肯定的答案，为广泛的一类环境。
2011-03-29 cs.AI stat.ML
Feature Importance in Bayesian Assessment of Newborn Brain Maturity from EEG
University of Bedfordshire（贝德福德大学）
应用贝叶斯模型平均（BMA）方法从睡眠脑电图中评估新生儿脑成熟度。从理论上讲，这种方法提供了对决策中不确定性的最准确评估。然而，现有的BMA技术已被证明在缺乏一些先验信息的情况下提供有偏差的评估，从而能够在合理的时间内详细探索模型参数空间。细节的缺乏导致从后验分布中不成比例地采样。在脑成熟度的EEG评估的情况下，BMA结果可能是有偏差的，因为缺乏关于EEG特征重要性的信息。在本文中，我们将探讨如何后验信息的EEG功能可以使用，以减少不成比例的采样对BMA性能的负面影响。我们使用睡眠新生儿记录的EEG数据来测试所提出的BMA技术的效率。
2010-02-24 cs.AI
Decision making in dynamic and interactive environments based on cognitive hierarchy theory, Bayesian inference, and predictive control
University of Michigan（密歇根大学）
在本文中，我们描述了一个集成的框架，自主决策的动态和交互式的环境。我们的自我代理和它的操作环境之间的相互作用建模为两个球员的动态博弈，并集成认知行为模型，贝叶斯推理，滚动时域最优控制定义一个动态演变的决策策略的自我代理。代表自主车辆控制在三个交通场景中的自主自我车辆与人类驾驶的车辆相互作用的仿真例子报告。
2019-09-18 cs.AI cs.RO
