Evaluation of the Performance of the Markov Blanket Bayesian Classifier Algorithm
马尔可夫覆盖贝叶斯分类器是最近提出的概率分类器的构造算法。本文提出了一个经验比较的MBBC算法与其他三个贝叶斯分类:朴素贝叶斯,树增强朴素贝叶斯和一般贝叶斯网络。所有这些都使用Cooper和Herskovits的K2框架实现。分类器的性能(使用简单的准确性措施和ROC曲线)和速度方面进行了比较,在一系列的标准基准数据集。它的结论是MBBC是竞争力的速度和精度与其他算法考虑。
2002-11-01 cs.LG
Comparing Bayesian Network Classifiers
University of Alberta(阿尔伯塔大学)
在本文中,我们经验评估算法学习四种类型的贝叶斯网络(BN)分类-朴素贝叶斯,树增强朴素贝叶斯,BN增强朴素贝叶斯和一般的BN,其中后两个学习使用两个变量的条件独立(CI)的BN-学习算法。实验结果表明,所获得的分类器,学习使用CI为基础的算法,是有竞争力的(或优于)最知名的分类器,基于贝叶斯网络和其他形式主义,学习和使用这些分类器的计算时间是相对较小的。此外,这些结果还提出了一种学习更有效分类器的方法;我们根据经验证明,这种新算法确实如预期那样工作。总的来说,这些结果表明BN分类器在机器学习和数据采掘社区中值得更多的关注。
2013-01-23 cs.AI cs.LG stat.ML
Near-Optimal Consistency-Robustness Trade-Offs for Learning-Augmented Online Knapsack Problems
本文提出学习增强在线背包算法,结合可信预测与最坏情况算法实现近最优一致性-鲁棒性权衡,并引入分数到整数转换新方法。
2025-07-09 cs.GT cs.LG
LAB-Tab: LLM-Augmented Bayesian Network Adaptation for Few-Shot Tabular Generation
针对小样本表格生成的分布偏移问题,提出LLM增强的贝叶斯网络适配框架LAB-Tab,在六个ACS分布偏移场景中表现优于基准方法,性能提升显著。
2026-08-04 cs.AI cs.LG
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Learning Selectively Conditioned Forest Structures with Applications to DBNs and Classification
Carnegie Mellon University(卡内基梅隆大学)
使用最大后验概率(MAP)估计或贝叶斯模型平均(BMA)处理贝叶斯网络结构中的不确定性通常是棘手的,因为可能的有向非循环图的超指数数量。当先验是可分解的时,可以进行有效学习的两类图是树结构和有限入度的固定序。我们将展示如何MAP估计和BMA选择性条件森林(SCF),这两个类的组合,可以有效地计算有序的变量集。我们将SCF应用于时态数据来学习具有时间步长内森林和时间步长间有限度结构的动态贝叶斯网络,从而在没有结构组合的情况下提高DBN的模型准确性。我们还将SCF应用于贝叶斯网络分类,以学习选择性森林增强朴素贝叶斯分类器。我们认为,内置的特征选择的选择性增强贝叶斯分类器,使他们更可取的类似的非选择性分类器的基础上的经验证据。
2012-06-20 cs.LG stat.ML
Robust Learning-Augmented Dictionaries
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);York University(约克大学)
提出了首个学习增强字典数据结构RobustSL,通过预测元素访问频率增强跳表,在保持最优一致性的同时确保对抗预测下的最优鲁棒性,并在合成与真实数据集上表现优于替代方案。
2024-02-15 cs.DS cs.LG
CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies
Ecole Polytechnique(巴黎综合理工学院);IRT SystemX(法国系统X技术研究所);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学);IP-Paris(巴黎理工学院)
强化学习作为解决最优控制问题的一种工具,已经引起了人们极大的兴趣。解决一个给定的问题(任务或环境)涉及收敛到一个最优的策略。然而,可能存在多个最优策略,它们的行为可能会有很大的不同;例如,有些策略可能比其他策略更快,但代价是更大的风险。我们考虑并研究了最优策略的分布。我们设计了一个好奇心增强的大都会算法(CAMEO),这样我们就可以采样最优策略,并使这些策略有效地采用不同的行为,因为这意味着更大的覆盖面不同的可能的最优策略。在实验模拟中,我们表明,CAMEO确实获得的政策,所有解决经典的控制问题,甚至在具有挑战性的情况下,提供稀疏的奖励环境。我们进一步表明,不同的政策,我们采样呈现不同的风险状况,对应于有趣的实际应用中的可解释性,并代表了第一步学习的最优政策本身的分布。
2023-02-15 cs.AI cs.LG
Graph-Augmented Normalizing Flows for Anomaly Detection of Multiple Time Series
Pennsylvania State University(宾夕法尼亚州立大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
异常检测是针对各种各样的数据类型的广泛研究的任务;其中,多个时间序列频繁地出现在应用中,包括例如电网和交通网络。然而,检测多个时间序列的异常是一个具有挑战性的课题,因为组成序列之间存在复杂的相互依赖关系。我们假设异常发生在低密度区域的分布和探索使用规范化流的无监督异常检测,因为他们的质量优越的密度估计。此外,我们提出了一种新的流量模型,通过施加贝叶斯网络之间的组成系列。贝叶斯网络是一种有向无环图(DAG),它对因果关系进行建模;它将序列的联合概率分解为易于评估的条件概率的乘积。我们把这种图增强的归一化流方法称为GANF,并提出了DAG与流参数的联合估计。我们在真实世界的数据集上进行了广泛的实验,并证明了GANF在密度估计,异常检测和时间序列分布漂移识别方面的有效性。
2022-05-08 cs.LG stat.ML
On the Rates of Convergence from Surrogate Risk Minimizers to the Bayes Optimal Classifier
The University of Sydney(悉尼大学)
我们研究了从经验代理风险最小化到贝叶斯最优分类器的收敛速度。具体来说,我们引入了\emph{consistency intensity}的概念来表征代理损失函数,并利用这个概念来获得从经验代理风险最小化到贝叶斯最优分类器的收敛速度,从而能够公平地比较不同代理风险最小化的超额风险。本文的主要结果具有实际意义,包括(1)表明铰链损失优于逻辑和指数损失的意义上,其经验极小收敛到贝叶斯最优分类器和(2)指导修改代理损失函数,以加速收敛到贝叶斯最优分类器。
2021-02-25 cs.LG stat.ML
Towards Optimal Robustness in Learning-Augmented Paging
Department of XXX, University of YYY, Location, Country;School of ZZZ, Institute of WWW, Location, Country;Zhejiang University, Hangzhou, China;Nanjing University of Aeronautics;Nanyang Technological University, Singapore
本文提出一种新框架,通过相对预测预算原语,在学习增强分页中实现最优鲁棒性界 H_k + O(1),并实验验证其实际性能。
2026-06-08 cs.DS cs.LG
QRnet: optimal regulator design with LQR-augmented neural networks
Naval Postgraduate School(美国海军研究生院)
本文提出了一种新的计算方法来设计高维非线性系统的最优调节器。所提出的方法利用物理信息机器学习来解决最优反馈控制中出现的高维Hamilton-Jacobi-Bellman方程。具体地说,我们增加线性二次调节器与神经网络来处理非线性。我们训练增强模型的数据生成而不离散的状态空间,使应用程序的高维问题。我们使用所提出的方法来设计一个不稳定的Burgers方程的候选最优调节器,并通过这个例子,证明改进的鲁棒性和准确性相比,现有的神经网络配方。
2020-11-16 cs.LG cs.SY eess.SY
Bayes-CPACE: PAC Optimal Exploration in Continuous Space Bayes-Adaptive Markov Decision Processes
University of Washington(华盛顿大学)
我们提出了第一个PAC最优算法贝叶斯自适应马尔可夫决策过程(BAMDPs)在连续的状态和动作空间,尽我们所知。BAMDP框架通过将贝叶斯信念更新纳入长期预期收益来优雅地解决模型的不确定性。然而,计算精确的最优贝叶斯策略是棘手的。我们的关键见解是计算一个接近最优的价值函数覆盖连续的状态-信念-行动空间与有限的一组代表性的样本,并利用Lipschitz连续性的价值函数。我们证明了我们的算法的近最优性,并分析了一些计划,提高算法的效率。最后,我们实证验证了我们的方法在一些离散和连续BAMDPs,并表明,学习的政策始终具有竞争力的性能对基线方法。
2018-10-06 cs.LG cs.RO stat.ML
Pareto-Optimal Learning-Augmented Algorithms for Online Conversion Problems
The Hong Kong University of Science and Technology(香港科技大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);California Institute of Technology(加州理工学院)
本文利用机器学习的预测来设计在线转换问题的竞争算法,目标是在预测准确时提高竞争率(即,一致性),同时还保证最坏情况下的竞争比而不管预测质量(即,鲁棒性)。我们统一的积分和分数转换问题,这也被称为1-最大搜索和单向交易问题的算法设计成一类在线基于阈值的算法(OTA)。通过将预测结合到OTA的设计中,我们实现了一致性和鲁棒性的帕累托最优权衡,即,对于鲁棒性保证,没有在线算法可以实现更好的一致性保证。我们使用比特币转换的数值实验来证明OTA的性能。
2021-09-03 cs.DS cs.LG
Optimal Robustness-Consistency Trade-offs for Learning-Augmented Online Algorithms
UC Berkeley(加州大学伯克利分校)
我们研究的问题,提高在线算法的性能,将机器学习的预测。我们的目标是设计出一致且鲁棒的算法,这意味着当预测准确时,算法表现良好,并保持最坏情况的保证。这样的算法已经在最近的一系列工作中进行了研究,由于Lykouris和Vassilvitskii(ICML '18)和Purohit等人(NeurIPS '18)。它们为各种在线问题提供了鲁棒性-一致性权衡。然而,他们留下了一个悬而未决的问题:这些权衡是否紧密,即,在多大程度上需要这种权衡。在本文中,我们使用机器学习预测提供了第一组用于竞争分析的非平凡下界。我们专注于滑雪租赁和非千里眼调度的经典问题,并在各种设置中提供最佳权衡。
2020-10-22 cs.DS cs.LG
On Uncertainty Quantification for Near-Bayes Optimal Algorithms
University of Oxford(牛津大学)
本文提出一种基于鞅后验的通用不确定性量化方法,利用常用机器学习算法接近贝叶斯最优的特性,在未知任务分布下恢复贝叶斯后验,并通过多种非神经网络和神经网络算法实验验证其有效性。
2024-10-21 cs.LG stat.ML
Practical Bayes-Optimal Membership Inference Attacks
Chalmers University of Technology(查尔姆斯理工大学);AI Sweden(瑞典人工智能中心);Linköping University(林雪平大学)
该研究基于贝叶斯决策理论推导了节点级成员推理攻击的最优规则,提出适用于普通数据和图数据的BASE与G-BASE方法,以更低成本达到SOTA性能,还证明了BASE与RMIA在特定超参数下等价。
2025-10-27 cs.CR cs.LG
Optimal Scaling Laws for Efficiency Gains in a Theoretical Transformer-Augmented Sectional MoE Framework
Collins Aerospace(柯林斯宇航公司)
本文提出一种分段式MoE架构,通过分割嵌入维度并利用前置Transformer层保持表示,推导最优缩放定律以在硬件约束下确定专家数量,提升计算效率与可扩展性。
2025-03-26 cs.AI cs.LG
Gradient-augmented Supervised Learning of Optimal Feedback Laws Using State-dependent Riccati Equations
University of Verona(维罗纳大学);University of Nottingham(诺丁汉大学)
提出了一种求解大规模非线性镇定问题的有监督学习方法。一个稳定的反馈律是从状态依赖的Riccati方程求解产生的数据集训练的。通过在损失函数中使用梯度信息来丰富训练阶段,所述损失函数通过使用超参数来加权。高维非线性稳定性试验表明,实时顺序的大规模代数Riccati方程的解决方案,可以取代一个适当的训练前馈神经网络。
2021-03-06 cs.LG cs.SY eess.SY
Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo
University of Cambridge(剑桥大学);Helmholtz AI, TU Munich(亥姆霍兹人工智能,慕尼黑工业大学)
本文研究PAC-Bayes界优化中因子化高斯后验限制造成的紧致性损失,通过哈密顿蒙特卡洛采样最优吉布斯后验并结合热力学积分估计KL散度,在MNIST上发现与MFVI相比差距可达5-6%。
2023-10-30 cs.LG stat.ML
Bayes-optimal Hierarchical Classification over Asymmetric Tree-Distance Loss
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Microsoft Research(微软研究院)
层次分类是一种有监督的多类分类问题,它是在按层次结构组织的类标签集合上进行的。在这份报告中,我们研究的工作Ramaswamy等。在对称树距离损失上的分层分类。我们扩展了非对称树距离损失的层次分类算法的一致性。我们设计了一个$\mathcal{O}(nk\log{}n)$算法来寻找贝叶斯最优分类的k元树作为一个层次。我们表明,在合理的假设下,非对称损失函数,贝叶斯最优分类在这种非对称损失可以找到$\mathcal{O}(k\log{}n)$。我们利用这一洞察力,并试图扩展Ova级联算法\citet{ramaswamy2015convex}的分层分类的不对称损失。
2018-02-17 cs.AI cs.LG
Bayes-Optimal Effort Allocation in Crowdsourcing: Bounds and Index Policies
Cornell University(康奈尔大学)
我们考虑在众包,我们希望分配标签任务不完美的同质人群工作者,以最大限度地提高整体精度在连续时间贝叶斯设置,预算和时间的限制下,努力分配。这个问题的贝叶斯最优策略是一个部分可观察的马尔可夫决策过程的解决方案,但维数灾难使计算不可行。基于Adelman & Mersereau(2008)中的拉格朗日松弛技术,我们提供了一个计算上易于处理的贝叶斯最优策略值的特定实例上限,该上限反过来可以用于限制任何其他次优策略的最优性差距。在精神上类似于不安分的多武装土匪的惠特尔指数的方法中,我们提供了一个用于众包中的努力分配的指数策略,并在数值上证明它优于其他最先进的技术,并接近最优解。
2015-12-31 cs.AI cs.LG stat.ML
Bayes-Optimal Fair Classification with Multiple Sensitive Features
Department of Information Systems, Arizona State University(信息系统系,亚利桑那州立大学);Department of Information Systems and Intelligent Business, School of Management, Xi’an Jiaotong University(信息系统与智能商业系,管理学院,西安交通大学)
针对现有贝叶斯最优公平分类仅考虑单一敏感特征的局限,本文刻画多敏感特征下的贝叶斯最优公平分类器形式,提出两种实用算法,实验验证其性能优于现有方法。
2025-11-16 cs.LG stat.ML
Bayes Optimal Early Stopping Policies for Black-Box Optimization
Google Research(谷歌研究)
我们推导出一个最佳的政策,自适应重新启动的随机算法,根据观察到的功能运行到目前为止,以尽量减少所需的预期时间的算法成功终止。给定合适的贝叶斯先验,该结果可用于从包括随机搜索、连续减半和Hyperband的算法的大家族中选择最佳黑盒优化算法。在CIFAR-10和ImageNet超参数调整问题上,所提出的策略在达到给定目标准确度的预期时间方面比随机搜索提高了13倍,并且比基线自适应策略提高了3倍,只要其准确度低于中位数,就终止运行。
2019-02-21 cs.LG stat.ML
Optimal partition of feature using Bayesian classifier
针对朴素贝叶斯分类器中特征条件依赖易引发决策偏差、条件独立难实现的问题,提出共单调独立分类器CIBer实现特征最优划分,在多数据集上取得比随机森林、XGBoost更低错误率及相当或更高准确率。
2024-12-08 cs.AI cs.LG
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
元学习可以成功地从数据中获取有用的归纳偏差。然而,它的泛化性能看不见的学习任务知之甚少。特别是如果元训练任务的数量很少,这会引起过度拟合的担忧。我们提供了一个理论分析,使用PAC贝叶斯框架,并获得新的泛化界的元学习。使用这些界限,我们开发了一类具有性能保证和原则性元级正则化的PAC最优元学习算法。与以前的PAC-Bayesian元学习器不同,我们的方法导致了一个标准的随机最优化问题,可以有效地解决,规模很好。当使用高斯过程和贝叶斯神经网络作为基础学习器实例化我们的PAC最优超后验(PACOH)时,所得到的方法在预测精度和不确定性估计的质量方面都具有最先进的性能。由于他们对不确定性的原则性处理,我们的元学习者也可以成功地用于顺序决策问题。
2021-06-18 cs.LG stat.ML
A State-Augmented Approach for Learning Optimal Resource Management Decisions in Wireless Networks
University of Pennsylvania(宾夕法尼亚大学);Intel Corporation(英特尔公司)
我们认为在多用户无线网络中的无线电资源管理(RRM)的问题,其中的目标是优化网络范围内的效用函数受到约束的遍历平均性能的用户。我们提出了一个状态增强参数化的RRM政策,其中旁边的瞬时网络状态,RRM政策作为输入的一组对偶变量对应的约束。我们提供了理论上的理由的可行性和近最优的RRM决定所提出的状态增强算法。专注于RRM政策参数化的图神经网络(GNN)和双变量的双下降动态的功率分配问题,我们数值证明,所提出的方法实现了优越的平均值,最小值和第5百分位率之间的权衡比基线方法。
2022-11-09 cs.IT cs.LG eess.SP
Meta-trained agents implement Bayes-optimal agents
DeepMind(深度思维)
基于记忆的元学习是一种强大的技术,可以构建快速适应目标分布中任何任务的代理。之前的一项理论研究认为,这种出色的表现是因为元训练协议激励代理人以贝叶斯最优方式行事。我们实证研究了一些预测和强盗任务的这一说法。从理论计算机科学的想法的启发,我们表明,元学习和贝叶斯最优代理不仅表现相似,但他们甚至共享一个类似的计算结构,在这个意义上,一个代理系统可以近似地模拟其他。此外,我们证明贝叶斯最优代理是元学习动态的不动点。我们的研究结果表明,基于记忆的元学习可以作为一种通用技术,用于在数值上近似贝叶斯最优代理-也就是说,即使对于我们目前没有易于处理的模型的任务分布。
2020-10-21 cs.AI cs.LG cs.NE
Suboptimal Performance of the Bayes Optimal Algorithm in Frequentist Best Arm Identification
针对固定预算正态分布奖励最优臂识别问题,证明贝叶斯最优算法在特定参数下无法实现简单遗憾指数下降,打破两类方法渐近等价的认知,并提出期望Bellman改进概念为后续研究奠基。
2024-04-15 cs.LG math.PR stat.ML
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology(格拉茨技术大学)
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中,我们考虑学习树增强朴素贝叶斯(TAN)结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化,而是学习图结构上的分布。在训练之后,我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失,只要求它是可微的。我们进行了广泛的实验,使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Finding All Bayesian Network Structures within a Factor of Optimal
University of Waterloo(滑铁卢大学);University of York(约克大学)
贝叶斯网络是一种广泛使用的概率图模型,在知识发现和预测中具有应用。从数据中学习贝叶斯网络(BN)可以被转换为使用众所周知的评分和搜索方法的优化问题。然而,选择单个模型(即,最佳评分BN)可能是误导性的,或者可能无法达到最佳可能的准确度。一个替代方法是执行某种形式的贝叶斯或频率模型平均,其中可能BN的空间以某种方式进行采样或枚举。不幸的是,现有的模型平均方法要么严重限制了贝叶斯网络的结构,要么只能扩展到少于30个随机变量的网络。在本文中,我们提出了一种新的方法来模型平均启发性能保证近似算法。我们的方法有两个主要优点。首先,我们的方法只考虑可信的模型,因为它们在得分上是最优或接近最优的。第二,我们的方法更有效,比现有方法可扩展到更大的贝叶斯网络。
2018-11-12 cs.AI cs.LG stat.ML
Optimal Conservative Offline RL with General Function Approximation via Augmented Lagrangian
UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)是指根据先前收集的交互数据集进行决策,在过去几年中受到了极大的关注。很多努力都集中在通过各种形式的保守策略学习来解决部分数据覆盖的普遍问题,从而提高离线RL的实用性。虽然大多数算法不具有有限样本保证,但在处理部分覆盖的单策略集中性框架内设计和分析了几种可证明的保守离线RL算法。然而,在非线性函数近似设置的置信区间是很难获得的,现有的可证明算法遭受计算的棘手性,禁止强的假设,和次优的统计率。在本文中,我们利用边缘化的重要性采样(MIS)制定的RL,并提出了第一组离线RL算法,是统计上最优的和实用的一般功能近似和单政策集中,绕过不确定性量化的需要。我们确定,成功地解决基于样本的近似的MIS问题的关键是确保一定的占用有效性约束几乎满足。我们通过一种新的应用程序的增广拉格朗日方法来执行这些约束,并证明了以下结果:与MIS制定,增广拉格朗日是足够的统计最优离线RL。与通过行为正则化等方法诱导额外保守性的先前算法形成鲜明对比,我们的方法可证明消除了这种需要,并将正则化器重新解释为“占用有效性的执行者”而不是“保守性的促进者”。"
2022-11-01 cs.AI cs.LG math.OC