Counting Markov Blanket Structures
University of Pittsburgh School of Medicine（匹兹堡大学医学院）
学习马尔可夫毯（MB）结构已被证明在执行特征选择，学习贝叶斯网络（BN）和发现因果关系方面非常有用。我们提出了一个公式，有效地确定MB结构的数量给定的目标变量和一组其他变量。正如预期的那样，MB结构的数量呈指数级增长。然而，我们定量地表明，有少得多的MB结构，包含目标变量比有BN结构，包含它。特别是，BN结构MB结构的比例出现指数增加的变量的数量。
2014-07-12 cs.AI cs.LG stat.ML
Causal Learner: A Toolbox for Causal Structure and Markov Blanket Learning
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Computer and Information, Hefei University of Technology（合肥工业大学计算机与信息学院）；UniSA STEM, University of South Australia（南澳大学UniSA STEM）
因果学习器是一个开源工具箱，集成了数据生成、全局和局部因果结构学习、马尔可夫毯学习及评估功能，支持新算法的开发与评估。
2025-02-23 cs.AI cs.LG
High-Order Markov Blanket Discovery via a k-Order Relaxation of the Faithfulness Assumption
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Hybrid Intelligence（混合智能机构）
该研究针对忠实性假设被高阶依赖等违反的问题，提出k阶松弛的忠实性假设，构建kOMB算法，实验证明其可在假设违反时恢复变量的马尔可夫毯
2026-07-30 cs.AI cs.LG stat.ML
Covering up bias in CelebA-like datasets with Markov blankets: A post-hoc cure for attribute prior avoidance
UnifyID（UnifyID公司）；Stanford University（斯坦福大学）
属性先验避免需要对数据集通常与生俱来的（Meta）属性进行潜意识或故意的非建模，例如与CelebA和CelebA-HQ数据集相关联的40个语义面部属性。我们发现，这种弱点的后果在这些数据集上学习的最先进的深度生成模型中尤为明显，这些模型只是对像素空间测量进行建模，从而导致了一个充满属性间偏见的潜在空间。当我们进行基于潜在向量插值的人脸操作实验时，这一点在内心表现出来。在本文中，我们解决了这个问题，并提出了一个事后解决方案，利用伊辛属性事先学习的属性空间，并通过定性实验展示其功效。
2019-07-22 cs.CV cs.LG
Beyond Stationarity in Time Series: Discovering Causal Structures and Latent Regimes via Markov Blankets
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等工程学院）；LIG（信息与信号处理实验室）；Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；Institut Pierre Louis d’Epidémiologie et de Santé Publique（皮埃尔·路易流行病学与公共卫生研究所）
本文提出RCBNB-MB算法，突破时间序列平稳性假设，通过马尔可夫毯识别潜在因果状态与结构，经实验验证其在非平稳时间序列因果发现中优于基线方法。
2026-09-07 cs.AI cs.LG
Designing Reconfigurable Intelligent Systems with Markov Blankets
Distributed Systems Group, TU Wien（维也纳技术大学分布式系统组）
针对计算连续体系统集中管理开销大的问题，提出基于马尔可夫毯的因果过滤器实现分散SLO评估与设备配置，确保QoS，形成分散智能。
2023-11-17 cs.AI cs.DC cs.LG
Stein Variational Message Passing for Continuous Graphical Models
Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
我们提出了一种新的分布式推理算法的连续图形模型，通过扩展Stein变分梯度下降（SVGD），利用马尔可夫依赖结构的兴趣分布。我们的方法结合了SVGD与一组结构化的本地核函数定义在每个节点的马尔可夫毯，这消除了高维度的诅咒，同时产生一个分布式算法的分散推理任务。我们证明我们的方法与理论分析，并表明，使用本地内核可以被视为一种新型的本地化近似，匹配的目标分布上的条件分布的每个节点在其马尔可夫毯。我们的实证结果表明，我们的方法优于各种基线，包括标准MCMC和粒子消息传递方法。
2018-06-07 cs.LG stat.ML
Markov Property in Generative Classifiers
我们表明，对于生成分类器，条件独立对应于诱导歧视功能的线性约束。因此，无向马尔可夫网络分类器的判别函数可以由线性约束集来表征。这些约束表示的二阶有限差分算子的功能分类变量。作为一个应用，我们研究了无向马尔可夫性质下的生成分类器的表达能力，并提出了一种将判别分类器和生成分类器相结合的一般方法。
2018-11-12 cs.LG stat.ML
Learning Minimalistic Tsetlin Machine Clauses with Markov Boundary-Guided Pruning
University of Agder（阿格德大学）；NORCE（挪威研究中心NORCE）；PwC Switzerland（普华永道瑞士）；Sørlandet Hospital（南挪威医院）
本文提出一种新的 Tsetlin Machine 反馈方案，通过引入上下文特定独立性自动机在训练中剪枝马尔可夫边界外的特征，从而学习极简子句，并从理论和实验上验证了其有效性，将贝叶斯网络与 TM 相联系。
2023-09-12 cs.AI cs.LG
Model-Augmented Estimation of Conditional Mutual Information for Feature Selection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
马尔可夫毯特征选择虽然在理论上是最优的，但通常难以实现。这是由于现有的条件独立性（CI）测试方法的缺点，往往斗争的维数灾难或计算复杂性。我们提出了一种新的两步方法，有利于马尔可夫毯特征选择在高维。首先，使用神经网络将特征映射到低维表示。在第二步中，通过将$k$条件互信息估计器应用于学习的特征图来执行CI测试。映射的目的是确保映射的样本都保存信息和共享类似的信息，当且仅当它们是接近的欧几里得距离的目标变量。我们表明，这些属性提高性能的$k$ -NN估计在第二步。所提出的方法的性能进行评估合成和真实数据。
2020-06-19 cs.LG stat.ML
PPFS: Predictive Permutation Feature Selection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
提出预测排列特征选择（PPFS），一种基于马尔可夫毯的新型包装器方法，利用预测排列独立性测试和监督算法，在分类和回归任务上优于现有方法。
2021-10-20 cs.LG
Integrating Specialized Classifiers Based on Continuous Time Markov Chain
The Chinese University of Hong Kong（香港中文大学）
在现实世界的识别系统中，通常采用专用分类器，即专用于类别子集的分类器。然而，集成这样的分类器是不平凡的。现有的方法，例如加权平均，通常隐含地假设集合的所有成分覆盖相同的类集合。这种方法在用于组合专门的分类器时可能会产生误导性的预测。这项工作探索了一种新的方法。它不是直接组合来自单个分类器的预测，而是首先将预测分解成成对偏好集，将它们视为类之间的过渡通道，并在此基础上构建连续时间马尔可夫链，并使用该链的均衡分布作为最终预测。这种方法使我们能够对所有专门的预测形成一个连贯的画面。在大型公共数据集上，该方法与主流集成方法相比，特别是在分类器覆盖高度不平衡的情况下，获得了相当大的改进。
2017-09-07 cs.CV cs.LG
Linear chain conditional random fields, hidden Markov models, and related classifiers
IBM France（IBM法国）；Telecom SudParis, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）
从业者在不同的问题中使用隐马尔可夫模型（HMRM）大约60年。此外，条件随机场（CRF）是一种替代HSPINAL，并出现在文献中作为不同的和有点并发的模型。我们提出两个贡献。首先，我们表明，基本的线性链CRF（LC-CRF），被认为是不同的障碍，实际上是等价的，在这个意义上，对于每个LC-CRF存在一个HMM -我们指定-谁的后验分布是相同的给定的LC-CRF。第二，我们表明，它是可能的重新制定的生成贝叶斯分类器最大后验模式（MPM）和最大后验概率（MAP）中使用的障碍，歧视性的。最后一点在许多领域都很重要，特别是在自然语言处理（NLP）中，因为它表明在某些情况下，放弃Hacking而支持CRF是不必要的。
2023-02-27 cs.LG stat.ML
Bayesian Classifier for Route Prediction with Markov Chains
IBM Research – Ireland（IBM爱尔兰研究院）；University College Dublin（都柏林大学学院）
我们在这里提出了一个通用的框架和一个特定的算法，用于预测目的地，路线，或者更一般的模式，一个正在进行的旅程，建立在[Y。Lassoued，J. Monteil，Y. Gu，G.鲁索河Shorten和M. Mevissen，“用于路线和目的地预测的隐马尔可夫模型”，IEEE智能交通系统国际会议，2017年。在所提出的框架中，已知的旅程模式被建模为随机过程，发射的路段访问的旅程，并正在进行的旅程是通过更新的后验概率的每个旅程模式给定的路段访问到目前为止预测。在这篇文章中，我们使用马尔可夫链作为旅程模式的模型，并且一旦后验概率之一超过预定义的阈值，就认为预测是最终的。尽管两者都很简单，但在合成数据集上运行的示例证明了所做预测的高准确性。
2018-08-31 cs.LG math.PR stat.ML
Robust Classification using Hidden Markov Models and Mixtures of Normalizing Flows
KTH Royal Institute of Technology（KTH皇家理工学院）
我们测试的鲁棒性的最大似然（ML）为基础的分类，连续的数据作为观察被噪声破坏。假设是，生成模型，结合隐马尔可夫模型（HMM）的状态转换和神经网络的隐状态的概率分布的HMM，可以提供一个强大的分类性能。该模型被称为基于归一化流混合模型的隐马尔可夫模型（NMM-HMM）。它可以使用期望最大化（EM）和反向传播的组合进行训练。我们在语音识别的应用中验证了改进的NMM-HMM分类器的鲁棒性。
2021-02-15 cs.LG eess.SP
Recognizing Combinations of Facial Action Units with Different Intensity Using a Mixture of Hidden Markov Models and Neural Network
Sharif University of Technology（谢里夫理工大学）
面部动作编码系统由44个动作单元（AU）和7000多个组合组成。隐马尔可夫模型（Hidden Markov Models，简称HMF）分类器由于具有处理面部动作单元（AU）动态变化的能力，已被成功地用于识别面部动作单元和表情。然而，对于每个单个AU和每个AU组合，需要单独的HMM。由于AU编号的组合以千计，因此需要更有效的方法。本文提出了一种精确的实时基于序列的人脸AU表示和识别系统。我们的系统具有以下特点：1）采用HMM和神经网络的混合，我们开发了一种新的精确分类器，它可以处理AU动态，识别细微变化，并且对强度变化也是鲁棒的，2）虽然我们仅对每个单个AU使用HMM，但是通过采用神经网络，我们可以识别每个单个和组合AU，3）同时使用基于几何和外观的特征，并应用有效的降维技术，我们的系统对光照变化具有鲁棒性，并且它可以表示涉及面部表情形成的时间信息。在Cohn-Kanade数据库上的实验结果表明了该方法的优越性。关键词：分类器设计与评估，数据融合，面部动作单元，隐马尔可夫模型，神经网络。
2010-04-04 cs.CV cs.LG
Improving usual Naive Bayes classifier performances with Neural Naive Bayes based models
IBM France（IBM法国）；Telecom SudParis（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
朴素贝叶斯是一种流行的概率模型，因其简单性和可解释性而受到赞赏。然而，相关分类器的通常形式存在两个主要问题。首先，由于只考虑观测值的规律，不能考虑复杂的特征。此外，它考虑了条件独立的观察给定的隐藏变量。本文介绍了原始的神经朴素贝叶斯，用神经网络函数对朴素贝叶斯分类器的参数进行建模。这可以纠正第一个问题。我们还引入了新的神经池马尔可夫链模型，减轻了独立性条件。我们实证研究了这些模型对情感分析的好处，将通常分类器的错误率除以4.5，在IMDB数据集上使用FastText嵌入。
2021-11-14 cs.LG stat.ML
Deriving discriminative classifiers from generative models
IBM GBS France（IBM 全球商业服务法国分公司）；SAMOVAR（萨莫瓦实验室）；Telecom SudParis（巴黎南泰尔电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们处理贝叶斯生成分类器和判别分类器。给定模型分布$p(x, y)$，利用观测$y$和目标$x$，通过首先考虑$p(x, y)$然后使用贝叶斯规则计算$p(x | y)$来计算生成分类器。该方法直接由$p(x | y)$给出判别模型，并利用该模型计算判别分类器.然而，最近的工作表明，贝叶斯最大后验分类器定义的朴素贝叶斯（NB）或隐马尔可夫链（HMC），这两个生成模型，也可以匹配的歧视性分类器的定义。因此，在某些情况下，将分类器分为“生成”和“区分”有点误导。事实上，这种区别与计算分类器的方式有关，而不是分类器本身。我们提出了一个一般的理论结果，指定如何从生成模型诱导的生成分类器也可以计算在同一模型的歧视性的方式。NB和HMC的例子被发现再次作为特殊情况下，我们将一般结果应用到NB的两个原始扩展，和HMC的两个扩展，其中一个是原始的。最后，我们简要说明了在自然语言处理（NLP）框架中计算分类器的新判别方式的兴趣。
2022-07-21 cs.LG stat.ML
Feature Selection for Efficient Local-to-Global Bayesian Network Structure Learning
Hefei University of Technology（合肥工业大学）；University of South Australia（南澳大学）
局部到全局学习方法在贝叶斯网络结构学习中起着重要作用。现有的局部到全局学习算法首先通过学习数据集中每个变量的MB（Markov blanket）或PC（parents and children）来构造DAG（directed acyclic graph）的骨架，然后在骨架中定向边。然而，现有的MB或PC学习方法通常在计算上是昂贵的，特别是对于大尺寸BN，导致低效的局部到全局学习算法。为了解决这个问题，在本文中，我们开发了一个有效的局部到全局的学习方法，使用特征选择。具体来说，我们首先分析了著名的最小冗余和最大相关性（MRMR）特征选择方法学习PC集的变量的基本原理。在此基础上，提出了一种有效的基于特征选择的结构学习方法F2 SL（feature selection -based structure learning）。F2 SL方法首先采用MRMR方法来学习DAG骨架，然后在骨架中定向边缘。采用独立性测试或分数函数定向边缘，我们实例化的F2 SL方法成两个新的算法，F2 SL-C（使用独立性测试）和F2 SL-S（使用分数函数）。实验结果表明，与现有的局部到全局BN学习算法相比，本文提出的算法具有更高的学习效率和更好的结构学习质量。
2021-12-20 cs.LG
Using the Naive Bayes as a discriminative classifier
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球企业服务部）
对于分类任务，概率模型可以分为两个不相交的类：生成或判别。它取决于给定观测$y$，$p(x | y)$的标签$x$的后验概率计算。一方面，生成式分类器，如朴素贝叶斯或隐马尔可夫模型（HMM），在使用贝叶斯规则来计算$p(x | y)$之前，需要计算联合概率p（x，y）。另一方面，判别分类器直接计算$p(x | y)$，而不管观测的规律。它们现在被广泛使用，具有逻辑斯谛回归、条件随机场（CRF）和人工神经网络等模型。然而，最近的熵前向-后向算法表明，隐马尔可夫模型，作为一个生成模型，也可以匹配的歧视性的定义。这个例子引发了一个问题，即其他生成模型是否也是如此。在本文中，我们证明了朴素贝叶斯分类器也可以匹配判别分类器的定义，因此它可以以生成或判别的方式使用。此外，这一观察还讨论了生成-判别对的概念，例如，将朴素贝叶斯和逻辑斯谛回归或HMM和CRF联系起来。与此相关，我们表明，逻辑斯谛回归可以被看作是一个特殊的情况下，朴素贝叶斯用于判别的方式。
2021-03-05 cs.LG stat.ML
Fast classification using sparse decision DAGs
University of Paris-Sud（巴黎第十一大学）；CNRS（法国国家科学研究中心）；Hungarian Academy of Sciences（匈牙利科学院）；University of Szeged（塞格德大学）
在本文中，我们提出了一种算法，建立稀疏决策DAG（有向无环图）从外部学习方法，如AdaBoost提供的基础分类列表。基本思想是将DAG设计任务转换为马尔可夫决策过程。每个实例可以基于正在构建的分类器的当前状态来决定使用或跳过每个基本分类器。结果是稀疏决策DAG，其中以数据依赖的方式选择基本分类器。该方法具有单个超参数，具有控制精度/速度权衡的明确语义。该算法在三个对象检测基准上与最先进的级联检测器具有竞争力，并且当存在少量基础分类器时，它明显优于它们。与级联不同，它也很容易适用于多类分类。使用多类设置，我们在基准网页排名数据集上显示，我们可以显着提高决策速度，而不会损害排名器的性能。
2012-06-27 cs.LG stat.ML
Discriminative calibration: Check Bayesian computation from simulations and flexible classifier
Flatiron Institute（熨斗研究所）；University of Massachusetts（马萨诸塞大学）
本文提出判别式校准方法，用灵活分类器替代 SBC 秩检验，从数据中学习检验统计量，以获得更高统计功效和可解释的误校准散度度量，适用于无似然推断及 MCMC、变分推断等贝叶斯计算方法。
2023-10-27 cs.LG stat.CO stat.ML
LSBN: A Large-Scale Bayesian Structure Learning Framework for Model Averaging
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文的动机是在大规模网络中使用模型平均的贝叶斯结构学习。目前，贝叶斯模型平均算法适用于只有几十个变量的网络，受到其超指数复杂度的限制。我们提出了一个新的框架，称为LSBN（大规模贝叶斯网络），使它有可能处理网络与无限大小的原则，分而治之。LSBN的方法包括三个步骤。一般来说，LSBN首先使用二阶划分策略执行划分，从而获得更鲁棒的结果。LSBN在每个重叠社区内进行抽样和结构学习，然后通过马尔可夫毯将社区与其他变量隔离开来。最后，LSBN采用了一种有效的算法，将重叠的社区结构合并为一个整体。通过与ARACNE、PC、Greedy Search和MMHC等四种最先进的大规模网络结构学习算法的比较，LSBN在五个常用的基准数据集上的查准率、查全率和f-score等性能指标都表现出相当的结果。同时，LSBN使得以往难以解决的大规模贝叶斯结构学习问题通过模型平均成为可能。总之，LSBN为网络结构的重构提供了一个可扩展的并行框架。此外，重叠社区的完整信息作为副产品，可以用来挖掘生物网络中的有意义的集群，如蛋白质-蛋白质相互作用网络或基因调控网络，以及在社会网络。
2012-10-18 cs.LG stat.ML
MRNet: a Multi-scale Residual Network for EEG-based Sleep Staging
Wuhan University（武汉大学）
基于脑电图的睡眠分期在睡眠障碍的临床诊断和治疗中具有重要作用。为了将人类专家从繁重的标记工作中解放出来，最近已经采用深度神经网络来制定自动睡眠分期系统。然而，脑电信号在网络传播过程中丢失了大量的细节信息，影响了深层特征的表示。为了解决这个问题，我们提出了一个新的框架，称为MRNet，数据驱动的睡眠分期集成多尺度特征融合模型和基于马尔可夫序列校正算法。MRNet的骨干网络是一个基于残差块的网络，它作为一个特征提取器，然后融合模型通过连接骨干网络不同深度的输出来构建一个特征金字塔，这可以帮助网络更好地理解不同尺度下的信号。基于马尔可夫的顺序校正算法的设计，以减少由分类器产生的输出抖动。该算法依赖于与睡眠阶段转换规则和马尔可夫链相关联的先前阶段分布。实验结果表明，我们提出的方法在准确率和F1得分（例如，Sleep-EDFx上的85.14% Acc和78.91% F1评分，Sleep-EDF上的87.59% Acc和79.62% F1评分）。
2021-01-07 cs.LG eess.SP
Any Part of Bayesian Network Structure Learning
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Computer and Information, Hefei University of Technology（合肥工业大学计算机与信息学院）；School of Information Technology and Mathematical Sciences, University of South Australia（南澳大学信息技术与数学科学学院）
我们研究一个有趣且具有挑战性的问题，学习贝叶斯网络（BN）结构的任何部分。在该挑战中，使用现有的全局BN结构学习算法来找到整个BN结构以实现我们感兴趣的BN结构的部分将是计算效率低的。而局部BN结构学习算法直接用于解决这一难题时，会遇到边缘方向错误的问题。本文首先提出了扩展回溯的概念来解释局部BN结构学习方法存在的错误边缘方向问题，然后提出了一种高效准确的任意部分BN结构学习算法--APSL。具体来说，APSL将Markov毯（MB）中的V结构分为碰撞V结构和非碰撞V结构两种类型，然后从感兴趣的节点开始，在找到的MB中递归地寻找碰撞V结构和非碰撞V结构，直到BN结构中我们感兴趣的部分被定向。为了提高APSL算法的效率，我们进一步设计了基于特征选择的APSL-FS算法。使用六个基准BN，大量的实验验证了我们的方法的效率和准确性。
2021-03-23 cs.AI cs.LG stat.ML
