Bayesian Conditional Density Filtering
Duke University(杜克大学);UC Santa Cruz(加州大学圣克鲁兹分校)
我们提出了一个有效的在线贝叶斯推断的条件密度过滤(C-DF)算法。C-DF使MCMC抽样适应在线设置,从近似值到条件后验分布进行抽样,该后验分布通过在新数据到达时传播替代条件充分统计量(数据和参数估计的函数)获得。这些量消除了同时存储或处理整个数据集的需要,并提供了许多理想的功能。通常,这些包括减少内存需求和运行时间,改进混合,以及最先进的参数推断和预测。这些改进是通过几个说明性的例子,包括高维压缩回归的应用程序。最后,我们证明了C-DF样本渐近收敛到目标后验分布的采样进行和更多的数据到达。
2015-09-22 cs.LG stat.CO stat.ML
Parallel Sampling for Efficient High-dimensional Bayesian Network Structure Learning
Queen Mary University of London(伦敦玛丽女王大学)
学习贝叶斯网络结构的基于分数的算法可用于精确和近似解决方案。虽然近似学习随着变量的数量而更好地扩展,但在存在高维数据的情况下,它在计算上可能是昂贵的。本文描述了一个近似算法,执行并行采样的候选父集(CPS),并可以被视为一个扩展的MINOBS,这是一个国家的最先进的算法,从高维数据的结构学习。修改后的算法,我们称之为并行采样MINOBS(PS-MINOBS),构造的图形,通过采样CPS为每个变量。假设CPS的分布按每个变量的贝叶斯评分排序时为半正态分布,平行进行采样。从半正态分布中抽样可确保抽样的CPS可能是产生较高分数的CPS。实证结果表明,在大多数情况下,该算法发现更高的分数结构比MINOBS时,这两种算法被限制到相同的运行时间限制。
2022-02-19 cs.AI cs.LG
Robust Learning of Fixed-Structure Bayesian Networks in Nearly-Linear Time
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Shanghai University of Finance and Economics(上海财经大学);Institute of Advanced Study(高等研究院);Shanghai Jiao Tong University(上海交通大学)
我们研究了学习贝叶斯网络的问题,其中一个$ε$ -分数的样本是adversarially损坏。我们专注于完全可观察的情况下,底层的图形结构是已知的。在这项工作中,我们提出了第一个近线性时间算法,这个问题的尺寸无关的误差保证。具有可比误差保证的先前鲁棒算法至少慢$(d/ε)$的因子,其中$d$是贝叶斯网络中的变量的数量,并且$ε$是损坏样本的分数。我们的算法和分析是相当简单的,比以前的工作。我们通过建立贝叶斯网络的鲁棒学习和鲁棒均值估计之间的直接联系来实现这一点。作为我们的算法中的一个子程序,我们开发了一个强大的均值估计算法,其运行时间是近线性的输入样本中的非零的数量,这可能是独立的利益。
2021-05-12 cs.DS cs.LG math.ST
Nearest-Neighbor Sample Compression: Efficiency, Consistency, Infinite Dimensions
Ben-Gurion University of the Negev(本-古里安大学);Weizmann Institute of Science(魏茨曼科学研究所)
我们研究最近提出的1-最近邻为基础的多类学习算法的贝叶斯一致性。该算法是从样本压缩界限,并享有严格的统计优势,完全经验的泛化界限,以及更快的运行时间和内存节省的算法优势。我们证明了该算法在有限倍维度量空间中是强贝叶斯相容的,这是一个有效的最近邻样本压缩方案的第一个相容性结果。而令人惊讶的是,我们发现,该算法仍然是贝叶斯一致的,即使在一定的无限维设置,其中的基本测量理论的条件,经典的一致性证明铰链被违反。这更加令人惊讶,因为已知$k$ -NN在该设置中不是贝叶斯一致的。我们提出了几个具有挑战性的开放问题,为未来的研究。
2019-06-26 cs.LG math.ST stat.TH
Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features
University of Liverpool(利物浦大学);Defence Science and Technology Laboratory (Dstl)(国防科学与技术实验室)
深度神经网络(DNN)的验证和确认已经进行了深入的研究,旨在了解DNN是否以及如何应用于安全关键应用。然而,现有的验证和确认技术在DNN的大小和数据集的大小上都受到其可扩展性的限制。在本文中,我们提出了一种新的抽象方法,将DNN和数据集抽象为贝叶斯网络(BN)。我们利用降维技术来识别DNN的隐藏层已经学习的隐藏特征,并将每个隐藏特征与BN的节点相关联。在这个BN上,我们可以进行概率推理来理解DNN处理数据的行为。更重要的是,我们可以推导出一种运行时监控方法,以检测在操作时间罕见的输入和输入数据的协变量偏移。我们还可以调整现有的结构覆盖率引导测试技术(即,基于DNN的低级元素,例如神经元),以便生成更好地运用隐藏特征的测试用例。我们使用可在https://github.com/TrustAI/DeepConcolic上获得的DeepConcolic工具来实现和评估BN抽象技术。
2021-03-05 cs.LG cs.SE
Divide-and-Conquer Strategy for Large-Scale Dynamic Bayesian Network Structure Learning
Southern University of Science and Technology(南方科技大学)
本文提出一种面向大规模2时间片贝叶斯网络结构学习的分治策略,利用2-TBNs先验知识提升性能,在超千变量问题上显著提高准确性并大幅降低运行时间。
2023-12-04 cs.AI cs.LG
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上,贝叶斯方法发现成对相互作用享有许多好处,如一致的不确定性量化,结合背景知识的能力,和理想的收缩性能。然而,在实践中,贝叶斯方法往往是计算上棘手的,即使是中等规模的问题。我们的关键见解是,许多具有实际意义的分层模型都承认特定的高斯过程(GP)表示; GP允许我们用O(p)核超参数向量而不是O(p^2)相互作用和主效应来捕获后验。通过隐式表示,我们可以在模型超参数上运行马尔可夫链蒙特卡罗(MCMC),每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为,我们的方法:(1)减少运行时间的数量级MCMC的天真的应用程序,(2)提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法,(3)提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Institute of Engineering Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学工程学院)
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量,我们表明,情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量,$n$是强盗的数量和$S$是每个强盗的状态数(在S,n和K中的确切界限在本文中给出)。直到因子$\sqrt S$,这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的:它的运行时间与强盗的数量成线性关系。我们进一步表明,这种线性运行时间不能通过适应经典的非贝叶斯算法,如UCRL 2或UCBVI马尔可夫强盗问题。最后,我们进行数值实验,证实MB-PSRL优于其他现有的算法在实践中,无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
Neural Aided Kalman Filtering for UAV State Estimation in Degraded Sensing Environments
Whiting School of Engineering EP Program(约翰霍普金斯大学工程学院EP项目)
本文提出基于贝叶斯神经网络的卡尔曼滤波框架,用于在传感器退化环境下提升无人机状态估计的鲁棒性和精度。
2026-04-30 cs.LG
Concave Penalized Estimation of Sparse Gaussian Bayesian Networks
University of California, Los Angeles(加州大学洛杉矶分校)
我们开发了一个惩罚似然估计框架,从观测数据中估计高斯贝叶斯网络的结构。与最近通过限制搜索空间来加速学习问题的方法相比,我们的主要贡献是一种基于分数的结构学习的快速算法,该算法不以任何方式限制搜索空间,并且适用于具有数千个变量的高维数据集。我们使用凹正则化,而不是更流行的$\ell_0$(例如BIC)惩罚,是新的。此外,我们提供了理论保证,推广现有的渐近结果时,基本分布是高斯分布。最值得注意的是,我们的框架不需要存在所谓的忠实的DAG表示,因此理论必须以一种新的方式处理估计问题的固有不可识别性。最后,作为一个独立的兴趣,我们提供了一个全面的比较,我们的方法,几个标准的结构学习方法,使用开源软件包开发的R语言。基于这些实验,我们表明,我们的算法是显着快于其他竞争的方法,同时获得较高的灵敏度与可比的错误发现率的高维数据。特别是,我们的方法生成具有8000个节点的DAG的20个估计的解决方案路径的总运行时间约为一小时。
2015-01-04 cs.LG stat.ME stat.ML
Few-Shot Testing: Estimating Uncertainty of Memristive Deep Neural Networks Using One Bayesian Test Vector
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出一种贝叶斯测试向量生成框架,通过仅需存储单个测试向量来估计忆阻存内计算硬件上神经网络在器件非理想性下的模型不确定性,以仅0.024MB内存开销持续实现100%测试覆盖率。
2024-05-29 cs.AI cs.ET cs.LG
Native Fortran Implementation of TensorFlow-Trained Deep and Bayesian Neural Networks
North Carolina State University(北卡罗来纳州立大学);University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室)
针对核工程领域Fortran代码与TensorFlow训练的ML模型不兼容问题,提出无需依赖外部工具的原生Fortran框架实现DNNs和BNNs,经测试获显著加速且成功集成到CTF代码,支持核应用中ML方法研究。
2025-02-07 cs.AI cs.LG
On resampling vs. adjusting probabilistic graphical models in estimation of distribution algorithms
Federal University of Technology - Paraná (UTFPR)(联邦理工大学-巴拉那州(UTFPR));The University of Adelaide(阿德莱德大学);Aalborg University(奥尔堡大学)
贝叶斯优化算法(BOA)是一种使用贝叶斯网络作为概率图模型(PGM)的分布估计算法(EDA)。在给定解样本的情况下,确定最优贝叶斯网络结构是一个NP难问题。这个步骤应该在BOA的每次迭代中完成,这是一个非常耗时的过程。出于这个原因,大多数实现使用贪婪估计算法,如K2。然而,我们在本文中表明,PGM结构的显着变化并不经常发生,并且在进化结束时可能特别稀疏。因此,BOA的统计研究提出了一种模式的PGM调整,可以作为一个指导,以减少在进化过程中的PGM更新的频率。这是通过提出一种新的基于BOA的优化方法(FBOA),其PGM在每次迭代时都不更新来实现的。这种新方法避免了标准BOA中通常存在的计算负担。结果比较两种算法的性能NK景观优化问题使用的耐用性和预期的运行时间之间的相关性枚举的实例。实验表明,FBOA提出了竞争力的结果,同时显着节省计算时间。
2019-02-15 cs.AI cs.LG stat.ML
Large-scale empirical validation of Bayesian Network structure learning algorithms with noisy data
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(图灵研究所)
在过去的几十年里,许多贝叶斯网络(BN)结构学习算法被提出。每个出版物都为该出版物中提出的算法提供了一个经验或理论案例,并且研究结果往往在其关于哪种算法是“最佳”的声明中不一致。部分原因是没有商定的评价方法来确定其有效性。此外,每个算法都基于一组假设,例如完整的数据和因果充分性,并且倾向于使用符合这些假设的数据进行评估,然而这些假设在现实世界中可能是不切实际的。因此,人们普遍认为,综合表现高估了实际表现,尽管这种情况可能会在多大程度上发生仍然是未知的。本文研究了15种结构学习算法的性能。我们提出了一种方法,将算法应用于数据,结合合成噪声,在努力更好地了解结构学习算法的性能时,应用于实际数据。每个算法都经过多个案例研究、样本大小、噪声类型的测试,并采用多个评估标准进行评估。这项工作涉及大约10,000个图表,总结构学习运行时间为7个月。它提供了第一个大规模的经验验证BN结构学习算法在不同的假设下的数据噪声。结果表明,传统的合成性能可能会高估现实世界的性能10%到50%以上。他们还表明,虽然基于分数的学习通常优于基于约束的学习,但更高的拟合分数并不一定意味着更准确的因果图。为了便于与未来的研究进行比较,我们将所有数据,原始结果,图表和BN模型免费在线提供。
2020-09-11 cs.AI cs.LG stat.ML
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California(南加州大学)
本文提出PreferenceEKF方法,通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理,在D4RL等基准上较其他贝叶斯深度学习方法更优,助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Numerically robust Gaussian state estimation with singular observation noise
Technical University of Denmark(丹麦技术大学);Lund University(隆德大学)
针对奇异观测噪声下的高斯状态估计,论文结合基变换与 Bayes 规则将其降维为非奇异问题,实现低耗时、高稳定及边际似然和后验 Gauss–Markov 表示,并通过模拟验证。
2025-03-13 cs.LG cs.NA math.NA
Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
高斯过程(GP)是贝叶斯非参数模型,在无数的应用中非常有用。尽管它们很受欢迎,但GP预测的成本(相对于训练点数量的二次存储和三次复杂度)仍然是将GP应用于大数据的障碍。我们提出了一种快速后验均值预测算法FastMuyGPs来解决这个缺点。FastMuyGPs基于MuyGPs超参数估计算法,并利用留一交叉验证、预处理、最近邻稀疏化和预计算的组合来提供可扩展的快速GP预测。我们展示了几个基准,其中FastMuyGPs预测达到了卓越的准确性和竞争力或优越的运行时间,深度神经网络和最先进的可扩展GP算法。
2022-05-22 cs.LG cs.NA math.NA
Quantum Expectation-Maximization for Gaussian Mixture Models
IRIF(法国国家科学研究中心与巴黎西岱大学联合基础计算机科学研究所);Paris(巴黎西岱大学);QCWare Corp.(QCWare公司);Atos Quantum Lab(源讯量子实验室)
期望最大化(EM)算法是无监督机器学习中的一个基本工具。它经常被用来作为一种有效的方法来解决极大似然(ML)估计问题,特别是对模型的潜在变量。它也是拟合混合模型的首选算法:生成模型将源自$k$不同过程的未标记点表示为来自$k$多变量分布的样本。在这项工作中,我们定义并使用量子版本的EM来拟合高斯混合模型。给定对维度为$d$的$n$向量的数据集的量子访问,我们的算法具有与经典算法类似的收敛性和精度保证,但是运行时间仅在训练集中的元素数量上是多对数的,并且在其他参数上是多项式的-如特征空间的维度和混合物中的分量的数量。我们进一步推广的算法在两个方向。首先,我们展示了如何拟合指数族中概率分布的任何混合模型。然后,我们展示了如何使用该算法来计算混合模型的最大后验(MAP)估计:似然估计问题的贝叶斯方法。我们讨论了该算法在一个数据集上的性能,该数据集预计将被成功地分类,该算法认为,在这些情况下,我们可以在运行时给予强有力的保证。
2020-07-07 cs.DS cs.LG quant-ph
Gaussian Process Optimization with Adaptive Sketching: Scalable and No Regret
Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学);Facebook AI Research(脸书人工智能研究院);INRIA Lille - Nord Europe(法国里尔-北欧国家信息与自动化研究所)
高斯过程(GP)是一种研究得很好的贝叶斯方法,用于优化黑盒函数。尽管它们在简单问题中是有效的,但基于GP的算法很难扩展到高维函数,因为它们的每次迭代时间和空间成本在维度$d$和迭代$t$的数量上至少是二次的。给定一组可供选择的$A$替代方案,整个运行时$O(t^3A)$是禁止的。在本文中,我们介绍BKB(预算核化土匪),一个新的近似GP算法的优化下,土匪反馈,实现接近最优的遗憾(因此接近最优的收敛速度)与接近恒定的每次迭代的复杂性和显着没有假设的输入空间或协方差的GP。我们结合了核线性强盗算法(GP-UCB)与随机矩阵素描的基础上杠杆得分抽样,我们证明了随机抽样诱导点的基础上,他们的后验方差给出了一个准确的低秩近似的GP,保持方差估计和置信区间。因此,BKB不遭受方差饥饿,许多以前的稀疏GP近似所面临的一个重要问题。此外,我们表明,我们的程序选择在大多数$\tilde{O}(d_{eff})$点,其中$d_{eff}$是探索空间的有效尺寸,这是通常比$d$和$t$小得多。这大大降低了问题的维数,从而导致$O(TAd_{eff}^2)$运行时和$O(A d_{eff})$空间复杂性。
2019-08-27 cs.LG stat.ML
Solving All Regression Models For Learning Gaussian Networks Using Givens Rotations
针对贝叶斯网络学习中需计算大量回归模型的问题,提出结合QR分解与Givens旋转的高效精确算法,复杂度低于现有同类算法且支持并行化加速。
2020-12-26 cs.LG cs.NA math.NA
Efficient Set-Valued Prediction in Multi-Class Classification
在不确定性的情况下,多类分类器优选地返回一组候选类,而不是预测几乎没有保证的单个类标签。更确切地说,分类器应该在正确性(真正的类在候选者中)和精度(候选者不太多)之间寻求最佳平衡。我们正式这个问题的一般决策理论框架内,统一在这一领域的现有工作。在这个框架中,不确定性是量化的条件类概率,和预测集的质量是衡量的效用函数。然后,我们解决了寻找贝叶斯最优预测的问题,即,具有最高期望效用的类别标签的子集。对于这个问题,这是计算上的挑战,因为有指数(类的数量)许多预测可供选择,我们提出了有效的算法,可以应用于一个广泛的家庭的效用函数。我们的理论结果是补充实验研究,在其中,我们分析了所提出的算法的预测精度和运行时效率。
2020-05-27 cs.LG stat.ML
Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications
Samsung Electronics(三星电子);Seoul National University(首尔国立大学)
尽管最新的高端智能手机拥有强大的CPU和GPU,但在移动设备上运行更深层次的卷积神经网络(CNN)来完成ImageNet分类等复杂任务是一项挑战。为了在移动设备上部署深度CNN,我们提出了一种简单有效的方案来压缩整个CNN,我们称之为一次性全网络压缩。该方案包括三个步骤:(1)变分贝叶斯矩阵分解的秩选择,(2)核张量的Tucker分解,(3)微调以恢复累积的精度损失,每个步骤都可以使用公开可用的工具轻松实现。我们通过在智能手机上测试各种压缩CNN(AlexNet,VGGS,GoogLeNet和VGG-16)的性能来证明所提出方案的有效性。模型的大小,运行时间和能源消耗的显着减少,在精度损失小的成本。此外,我们解决的重要实施层面的问题1?1卷积,这是GoogLeNet的inception模块以及我们提出的方案压缩的CNN的关键操作。
2016-02-24 cs.CV cs.LG
Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion
Frankfurt School of Finance and Management(法兰克福金融管理学院)
本文提出用无梯度的 EKI 训练 neural ODEs,并通过含 Tikhonov 正则化的反问题处理系统辨识与最优控制,实验表明其效率和解质量可媲美梯度优化器。
2023-07-15 cs.LG cs.NA cs.SY
The Kikuchi Hierarchy and Tensor PCA
Courant Institute of Mathematical Sciences at New York University(纽约大学应用数学科学研究所);University of California, Davis(加州大学戴维斯分校);Stanford University(斯坦福大学);Cornell University(康奈尔大学);Santa Fe Institute(圣菲研究所)
针对张量PCA问题,提出受统计物理启发的Kikuchi层级算法,其ℓ级可跟踪隐藏变量ℓ元依赖,多项式时间算法性能匹配SOS,亚指数算法权衡最优,证明更简洁且适用于随机k-XOR问题,为贝叶斯推理最优算法及方法统一提供新方向。
2025-08-19 cond-mat.stat-mech cs.DS cs.LG