Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine(加州大学尔湾分校);Google(谷歌);Yahoo Labs(雅虎实验室);University of Amsterdam(阿姆斯特丹大学)
尽管具有各种吸引人的品质,如高预测精度和量化不确定性和避免过拟合的能力,但由于推理成本过高,贝叶斯矩阵分解尚未被广泛采用。在本文中,我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法,基于分布随机梯度Langevin动力学,不仅可以匹配标准MCMC方法,如吉布斯抽样的预测精度,但同时是快速和简单的随机梯度下降。在我们的实验中,我们表明,我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明,我们的方法降低了预测误差的速度与分布式随机梯度下降一样快,Netflix数据集的RMSE提高了4.1%,Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server
University of Oxford(牛津大学);DeepMind
本文对贝叶斯机器学习算法做了两个贡献。首先,我们提出了随机自然梯度期望传播(SNEP),一种新的替代期望传播(EP),一个流行的变分推理算法。SNEP是一种黑盒变分算法,因为它不需要对感兴趣的分布进行任何简化假设,除了用于估计EP倾斜分布的矩的一些Monte Carlo采样器的存在之外。此外,相对于EP没有收敛保证,SNEP可以被证明是收敛的,即使使用蒙特卡罗矩估计。其次,我们提出了一种新的分布式贝叶斯学习架构,我们称之为后验服务器。后验服务器允许在数据集以分布式方式存储在集群中的情况下进行可扩展和鲁棒的贝叶斯学习,每个计算节点包含不相交的数据子集。在每个计算节点上运行一个独立的Monte Carlo采样器,仅直接存取局部数据子集,但其目标是在给定整个集群的所有数据的情况下近似全局后验分布。这是通过使用SNEP的分布式异步实现跨集群传递消息来实现的。我们证明了SNEP和分布式贝叶斯学习的逻辑回归和神经网络后服务器。保留字:分布式学习,大规模学习,深度学习,贝叶斯学习,变分推理,期望传播,随机近似,自然梯度,马尔可夫链蒙特卡罗,参数服务器,后验服务器。
2017-09-07 cs.LG stat.ML
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon(阿拉贡工程研究院);University of Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已经成为高通量计算的流行方法,如计算机实验设计或昂贵模型的超参数调整,其中样本效率是强制性的。在这些应用程序中,分布式和可扩展的架构是必要的。然而,贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算,从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是,当与顺序设置中的其他采集功能相比时,已知汤普森采样的性能次优。在本文中,我们提出了一种新的方法,完全分布式贝叶斯优化,它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下,随机政策,如玻尔兹曼政策,有一些有趣的性质,也可以研究贝叶斯优化。此外,玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序,显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
D-MFVI: Distributed Mean Field Variational Inference using Bregman ADMM
Rutgers, The State University of New Jersey(罗格斯大学,新泽西州立大学)
贝叶斯模型为复杂数据集的概率建模提供了一个框架。然而,许多这样的模型在计算上要求很高,特别是在存在大型数据集的情况下。另一方面,在传感器网络应用中,统计(贝叶斯)参数估计通常需要分布式算法,其中数据和计算都分布在网络的节点上。在本文中,我们提出了一个分布式贝叶斯学习的一般框架,使用布雷格曼交替方向乘法(B-ADMM)。我们证明了我们的框架的效用,与平均场变分贝叶斯(MFVB)作为分布式矩阵分解(MF)和分布式仿射运动恢复结构(SfM)的原语。
2015-07-03 cs.LG stat.ML
A Tutorial on Distributed (Non-Bayesian) Learning: Problem, Algorithms and Results
Arizona State University(亚利桑那州立大学);Boston University(波士顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们概述了分布式学习的一些结果,重点是最近提出的一系列算法,称为非贝叶斯社会学习。我们考虑分布式学习问题的不同方法及其在有限多个假设的情况下的算法解决方案。最初的集中式问题进行了讨论,然后由一个概括的分布式设置。收敛性和收敛速度的结果给出了渐近和有限时间制度。各种扩展进行了讨论,如处理定向时变网络,Nesterov的加速技术和连续集的假设。
2016-09-23 cs.LG cs.MA cs.SI
Differentially Private Distributed Bayesian Linear Regression with MCMC
Sabancı University(萨班哲大学);University of Amsterdam(阿姆斯特丹大学)
面向多方共享含噪汇总统计量的分布式场景,提出差分隐私 Bayesian 线性回归框架,利用 MCMC 及单轮快速算法实现兼具计算优势、估计与预测性能的隐私推断。
2023-06-07 cs.LG stat.CO stat.ML
Robust Distributed Bayesian Learning with Stragglers via Consensus Monte Carlo
Kings College London(伦敦国王学院)
本文研究了分布式贝叶斯学习的设置包括一个中央服务器和多个工人的问题,重点减轻掉队者的影响。标准的一次性,或并行,贝叶斯学习协议被称为共识蒙特卡罗(CMC)的推广提出了两个离散弹性解决方案的基础上分组和编码。在为CMC设计离散弹性算法时的两个主要挑战是需要估计多个镜头中工人输出的统计数据,以及在服务器处执行的工人输出的联合非线性后处理。这与其他分布式设置(如梯度编码)形成鲜明对比,后者只需要工人输出的每次拍摄总和。所提出的方法,被称为基于组的CMC(G-CMC)和编码CMC(C-CMC),利用冗余计算的工人,以使全球后验样本的估计在服务器上的部分输出的基础上,从工人。仿真结果表明,C-CMC可能优于G-CMC的少量工人,而G-CMC是一般更可取的大量工人。
2022-08-29 cs.LG eess.SP
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
高斯混合模型是聚类和数据建模的经典技术,在许多应用中使用。随着大数据的兴起,需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化(EM)算法的在线变体,但它们的数据效率因E步的随机近似而降低,并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术,自然适合在线和分布式计算。由于贝叶斯后验是不听话的,我们将其投影到一个家庭听话的分布后,每个观察匹配一组足够的时刻。在一组数据建模基准上,这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Distributed Bayesian Online Learning for Cooperative Manipulation
Technical University of Munich(慕尼黑工业大学)
对于多个代理的动态在物理上耦合的任务,例如,在协同操作中,个体智能体之间的协调变得至关重要,这需要对相互作用动力学的精确知识。这个问题通常使用集中式估计器来解决,这会对整个系统的灵活性和鲁棒性产生负面影响。为了克服这一缺点,我们提出了一种新的分布式学习框架的示范性任务的合作操作使用贝叶斯原理。仅使用本地状态信息,每个代理获得的对象动态和把握运动学的估计。这些局部估计值使用动态平均一致性进行组合。由于该方法的强概率基础,对象动力学和抓取运动学的每个估计都伴随着不确定性的测量,这允许保证具有高概率的有界预测误差。此外,贝叶斯原理直接允许具有恒定复杂度的迭代学习,使得所提出的学习方法可以在实时应用中在线使用。在一个模拟的协同操作任务中证明了该方法的有效性。
2022-06-28 cs.LG cs.RO
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ(巴黎萨克雷大学,凡尔赛大学校区);Sorbonne Paris Nord University(索邦巴黎北大学);LIPN(巴黎北部科学实验室)
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法,通过潜在多元高斯块分布实现非参数联合聚类,经实验验证在聚类准确率和效率上表现良好,还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
Distributed, partially collapsed MCMC for Bayesian Nonparametrics
Princeton University(普林斯顿大学)
贝叶斯非参数(BNP)模型提供了用于发现数据集中潜在特征的优雅方法,但此类模型中的推理可能很慢。我们利用的事实,完全随机措施,常用的模型,如狄利克雷过程和β-伯努利过程可以表示为,可分解成独立的子措施。我们使用这种分解的潜在措施划分成一个有限的措施,只包含实例化的组件,和一个无限的措施,包含所有其他组件。然后,我们选择不同的推理算法的两个组件:未塌陷的采样器混合以及有限的措施,而塌陷的采样器混合以及无限的,稀疏占用的尾巴。由此产生的混合算法可以应用于广泛的一类模型,并可以很容易地分布,以允许可扩展的推理,而不牺牲渐近收敛保证。
2020-03-04 cs.LG stat.ML
Distributed Bayesian Estimation in Sensor Networks: Consensus on Marginal Densities
该研究针对传感器网络场景,设计分析了多场景下的分布式贝叶斯密度估计算法,证明了收敛性,还提出高斯版本并结合变分推断应用于LiDAR建图问题。
2025-03-23 cs.LG cs.MA cs.RO
Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis
Tokyo University of Agriculture and Technology(东京农工大学);RIKEN AIP(理化学研究所人工智能项目)
针对现有贝叶斯张量环(BTR)分解方法存在的次优解、仅适用于连续数据及难以处理大型张量等问题,提出采用非参数乘法伽马过程(MGP)先验、波利亚-伽马增强及高效吉布斯采样器与在线EM算法的新BTR模型,提升潜在结构识别准确性、离散数据处理能力及大规模张量适用性。
2024-12-04 cs.LG stat.ML
Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS(实验室信息与决策系统实验室);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出了一种方法来创建流,分布式推理算法的贝叶斯非参数(BNP)模型。在提出的框架中,处理节点接收一系列数据小批量,计算每个小批量的变分后验,并对中心模型进行异步流更新。与以前的算法相比,所提出的框架是真正的流,分布式,异步,学习率免费,和截断免费。开发框架的关键挑战是,BNP模型不会对其组件施加固有的排序,因此在执行每次更新之前,找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题,本文提出了一个组合优化问题的组件对应,并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用,实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London(伦敦国王学院)
本文介绍了分布式Stein变分梯度下降(DSVGD),一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子,以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新,最终目标是最小化全局自由能。通过改变粒子的数量,DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美,在代理数量的准确性和可扩展性方面,也可以在每次迭代中调度单个设备,同时还可以提供经过良好校准的,因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传前沿交叉卓越创新中心);Yunnan University(云南大学)
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而,在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外,大数据通常是分布式收集和存储在不同的机器上。因此,这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展,对异构噪声进行建模,并解决分布式系统中的通信问题。为此,我们提出了一个分布式贝叶斯矩阵分解模型(DBMD)的大数据采掘和聚类。具体来说,我们采用三种策略来实现分布式计算:1)加速梯度下降,2)交替方向乘子法(ADMM),3)统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性,我们提出了一个最佳的插件加权平均,减少了估计的方差。合成实验验证了我们的理论结果,真实世界的实验表明,我们的算法可以很好地扩展到大数据,并实现优于或竞争性能相比,其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Differentially Private Bayesian Learning on Distributed Data
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);Waseda University(早稻田大学)
机器学习的许多应用,例如在医疗保健中,将受益于可以保证数据主体隐私的方法。差分隐私(DP)已经成为保护学习结果的标准。标准的DP算法需要单个受信任方访问整个数据,这是一个明显的弱点。我们考虑分布式环境中的DP贝叶斯学习,其中每一方只持有单个样本或几个样本的数据。我们提出了一个学习策略的基础上,一个安全的多方总和功能,从数据持有人和高斯机制DP汇总。我们的方法建立在一个渐进的最佳和实际有效的DP贝叶斯推断与迅速减少额外的成本。
2017-05-29 cs.CR cs.LG stat.CO
Distributed Bayesian Learning of Dynamic States
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院);University of Salerno(萨勒诺大学)
本文研究了网络智能体在部分信息下合作跟踪自然动态的问题。该算法是一种用于有限状态隐马尔可夫模型(HMM)的分布式贝叶斯过滤算法。它可以用于顺序状态估计任务,以及用于建模动态环境下的社交网络上的意见形成。我们证明了对于一类几何遍历的状态转移模型,其中包括快速变化的模型,与最优集中解的不一致是渐近有界的。我们还推导出用于计算误差概率的递归,并在高斯观测模型下建立收敛性。仿真来说明理论和比较替代方法。
2022-12-05 cs.LG cs.MA cs.SI
Distributed Bayesian Piecewise Sparse Linear Models
NEC System Platform Research Laboratories(NEC系统平台研究所);NEC Data Science Research Laboratories(NEC数据科学研究所)
由于新兴的企业预测分析、数据隐私的威胁、人工智能在社会中的责任等,机器学习模型的可解释性的重要性日益增加。它们通常会产生与最先进的非线性方法相比具有竞争力的准确性。此外,他们的陈述(即,基于规则的分割加上稀疏线性公式)通常被领域专家所偏好。然而,这样的模型的一个缺点是,同时确定的“件”和基数的每个线性预测,这限制了它们的适用性中等规模的数据集的计算成本高。提出了一种基于分布式存储结构的分段稀疏线性模型学习的分布式因子分解渐近贝叶斯(FAB)推理方法。分布式FAB推理解决了同时模型选择问题,而无需传送$O(N)$数据,其中N是训练样本的数量,并实现了相对于CPU核数量的线性横向扩展。实验结果表明,分布式FAB推理具有较高的预测精度和性能的可扩展性与合成和基准数据。
2017-11-07 cs.AI cs.DC cs.LG
Distributed Fractional Bayesian Learning for Adaptive Optimization
Department of Control Science and Engineering, Tongji University(控制科学与工程系,同济大学);State Key Laboratory of Autonomous Intelligent Unmanned Systems(自主智能无人系统国家重点实验室);Frontiers Science Center for Intelligent Autonomous Systems, Ministry of Education(智能自主系统前沿科学中心,教育部);Shanghai Institute of Intelligent Science and Technology, Tongji University(上海智能科学与技术研究院,同济大学)
针对含公共未知参数的分布式自适应优化问题,提出结合分布式分数阶贝叶斯学习与梯度下降的方案,证明了收敛性与次线性速率,并用实验验证理论。
2025-09-01 cs.DC cs.LG cs.MA
Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing
University of Louisville(路易斯维尔大学);University of North Texas(北得克萨斯大学);University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学)
针对环全归约(RAR)分布式联邦学习面临的独特拜占庭攻击风险,提出首个兼具拜占庭鲁棒性与通信效率的BRACE算法,为其收敛性提供理论保证并验证有效性,解决RAR架构的安全问题。
2025-02-12 cs.CR cs.LG
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
最近,贝叶斯优化(BO)被联邦汤普森采样(FTS)算法扩展到联邦学习(FL)设置,它有很好的应用,如联邦超参数调整。然而,FTS没有配备一个严格的隐私保证,这是一个重要的考虑因素,在FL。最近的作品已纳入差分隐私(DP)到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架,我们在这里的工作将DP集成到FTS中,以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力,以及BO的本地建模技术,通过分布式探索(DE)进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE(DP-FTS-DE)算法被赋予的隐私和效用的理论保证,并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明,DP-FTS-DE实现高效用(竞争性能),具有很强的隐私保证(小的隐私损失),并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
Distributed Variational Bayesian Algorithms for Extended Object Tracking
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文研究了分布式扩展目标跟踪问题,提出了一种基于变分贝叶斯方法的集中算法,并扩展到分布式场景,通过交替方向乘子法技术,同时估计扩展目标状态和测量噪声协方差。
2019-03-01 cs.DC cs.LG cs.SY
Asynchronous Bayesian Learning over a Network
Oklahoma State University(俄克拉荷马州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
我们提出了一个实用的异步数据融合模型,网络代理进行分布式贝叶斯学习,而无需共享原始数据。我们的算法使用了一个基于流言的方法,对随机选择的代理采用未经调整的朗之万动态参数采样。我们还引入了一个事件触发机制,以进一步减少八卦代理之间的通信。这些机制大大减少了通信开销,并有助于避免分布式算法通常遇到的瓶颈。此外,通过该算法减少的链路利用率预计将增加对偶尔链路故障的弹性。我们建立了我们的算法的数学保证,并通过数值实验证明其有效性。
2022-11-16 cs.DC cs.LG
Distributed Cooperative Decision-Making in Multiarmed Bandits: Frequentist and Bayesian Algorithms
Princeton University(普林斯顿大学);Michigan State University(密歇根州立大学)
本文研究了在多臂老虎机问题中,如何在探索与利用之间取得平衡进行分布式协同决策,提出了适用于多智能体的频率主义和贝叶斯算法,并证明了这些算法在渐近意义上能够恢复集中式智能体的性能。
2019-09-17 cs.LG cs.SY eess.SY
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne(墨尔本大学);Colorado State University(科罗拉多州立大学);Australian Bureau of Statistics(澳大利亚统计局);Duke University(杜克大学);United States Census Bureau(美国人口普查局)
实体解析(ER;也称为记录链接或重复数据删除)是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用,它提供了一个自然的框架,用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点,现有的模型在实践中受到严重限制,因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放,但这种幼稚的方法可能会在后验中引起显著的误差。在本文中,我们提出了一个可扩展的贝叶斯ER的原则模型,称为“分布式贝叶斯链接”或d-眨眼,它联合执行阻塞和ER,而不影响后验正确性。我们的方法依赖于几个关键思想,包括:(i)一个辅助变量表示,诱导的实体和记录到块的分区;(ii)一种方法,用于构建基于k-d树的平衡块;(iii)一个分布式的部分折叠吉布斯采样器与改进的混合;和(iv)快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
Edge AI Collaborative Learning: Bayesian Approaches to Uncertainty Estimation
Silicon Austria Labs(奥地利硅研究所);FH Joanneum(约阿尼纳应用科学大学)
本文研究边缘设备分布式机器学习中的不确定性估计问题,提出基于贝叶斯神经网络扩展DiNNO算法,实验表明该方法有效且通过Kullback-Leibler散度正则化使验证损失降低12-30%。
2024-10-11 cs.DC cs.LG cs.MA
Distributed Thompson sampling under constrained communication
Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
本文提出一种基于高斯过程的分布式汤普森采样方法,用于通信图受限的多智能体贝叶斯优化,并证明只要通信图连通,其贝叶斯遗憾上界在时间上优于顺序单智能体方法。
2025-01-01 cs.LG cs.SY eess.SY
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin(德克萨斯大学奥斯汀分校);University of Sao Paulo (USP)(圣保罗大学)
本文介绍了一种隐私感知贝叶斯方法,它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下,实例及其分类/聚类结果分布在不同的数据站点,并有共享限制。作为一种特殊情况,当目标数据的实例分布在不同的数据站点时,模型的隐私感知计算也进行了讨论。实验结果表明,该方法可以提供良好的分类精度,同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Collaborative and Distributed Bayesian Optimization via Consensus: Showcasing the Power of Collaboration for Optimal Design
Northeastern University(东北大学);Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
针对优化设计试错成本高的问题,提出基于共识的协作式分布式贝叶斯优化框架,含过渡式协作机制,理论证明遗憾值次线性增长,实验验证可加速设计并惠及所有参与者。
2024-03-09 cs.DC cs.LG
A Secure and Private Distributed Bayesian Federated Learning Design
Beijing Laboratory of Advanced Information Network(北京先进信息网络实验室);Beijing Key Laboratory of Network System Architecture and Convergence(北京网络系统架构与融合重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学);College of Information Science and Electronic Engineering(信息科学与电子工程学院);University of Miami(迈阿密大学);The University of Hong Kong(香港大学)
本文提出了一种结合拜占庭鲁棒性、隐私保护和收敛加速的分布式贝叶斯联邦学习框架,通过图神经网络强化学习算法实现设备自主连接决策,提升了系统鲁棒性和效率。
2026-02-23 cs.AI cs.LG
Uncertainty Set Prediction of Aggregated Wind Power Generation based on Bayesian LSTM and Spatio-Temporal Analysis
MOE KLINNS Lab of Xi’an Jiaotong University(西安交通大学教育部KLINNS实验室);Xi’an Jiaotong University(西安交通大学)
在电力市场环境下,分布式风电场的聚集随机特性将为系统的安全经济运行提供有价值的信息。研究了地理分布风电场聚集发电量的不确定集预测问题。提出了一个时空模型,从邻近风电场的近地面风场的局部观测中学习动态特征。我们使用贝叶斯LSTM,一种概率预测模型,来获得单个风电场发电的不确定性集。然后,不同的风电场之间的空间相关性,以校正输出结果。基于西北地区6个风电场实际数据的数值检验结果表明,分布式风电场聚合风发电量的不确定性集比单个风电场的不确定性集波动小。
2021-10-07 cs.LG cs.SY eess.SY
Dynamic Scheduling of MPI-based Distributed Deep Learning Training Jobs
SAIC-Toronto(三星高级技术研究院多伦多分院)
解决适合深度学习的问题有一个总的趋势,即在更大的训练集上训练更复杂的深度学习架构。这需要更长的计算时间和更大的数据并行化或模型并行化。数据和模型并行在参数服务器架构中的速度在历史上都更快,但是由于算法的改进,数据并行在环形架构中开始更快。在本文中,我们分析了数学背后的环形架构,并作出明智的适应动态调度环形架构。为此,我们制定了一个非凸,非线性,NP-难整数规划问题和一个新的有效的加倍启发式的解决方案。我们构建在Horovod之上:一个基于TensorFlow的开源环架构框架。我们表明,Horovod工作有一个低成本的停止和重新启动,停止和重新启动环架构的工作导致更快的完成时间。这两个事实使环形结构作业的动态调度成为可能。最后,我们使用这些运行模拟调度程序,并显示在某些工作负载模式下平均作业时间减少了一半以上。
2019-08-21 cs.DC cs.LG stat.ML
Improved uncertainty quantification for neural networks with Bayesian last layer
TU Dortmund University(多特蒙德工业大学)
针对标准神经网络不确定性量化能力不足的问题,提出一种改进的贝叶斯最后一层神经网络方法,通过重写对数边际似然实现高效反向传播训练,并引入外推度量改进外推点的不确定性量化,在测试数据上取得最高对数预测密度。
2024-01-03 cs.LG cs.SY eess.SY
INSPIRE: Distributed Bayesian Optimization for ImproviNg SPatIal REuse in Dense WLANs
Univ Lyon, ENS de Lyon Université Claude Bernard Lyon 1, CNRS, LIP(里昂大学,里昂高等师范学校,克洛德·贝尔纳里昂第一大学,法国国家科学研究中心,里昂信息处理实验室)
本文提出分布式贝叶斯优化方案 INSPIRE,通过动态调整 TX_POWER 和 OBSS_PD 参数改善密集 WLAN 的空间复用,并在 ns-3 模拟中显著提升公平性与吞吐量。
2023-10-30 cs.LG cs.NI
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models
Naval Postgraduate School(海军研究生院)
本文针对贝叶斯深度学习模型难以直接使用联邦聚合的问题,在 CIFAR-10 的 IID 与非 IID 设置下评估六种策略及 Monte Carlo dropout 联邦平均,证明聚合策略是影响准确率、校准和不确定性的关键超参数。
2024-04-04 cs.LG stat.ML
A New Approach to Distributed Hypothesis Testing and Non-Bayesian Learning: Improved Learning Rate and Byzantine-Resilience
Purdue University(普渡大学);Sandia National Laboratories(桑迪亚国家实验室)
我们研究了一组代理的设置,每个代理接收部分信息的私人信号,寻求协作学习世界的真实底层状态(从一组有限的假设),生成他们的联合观察配置文件。为了解决这个问题,我们提出了一个分布式学习规则,从根本上不同于现有的方法,因为它不采用任何形式的“置信平均”。相反,智能体根据最小规则更新他们的信念。在对观测模型和网络结构的标准假设下,我们建立了每个代理几乎肯定渐近地学习真理。作为我们的主要贡献,我们证明了概率为1,每个假假设被排除由每个代理指数快速在一个网络独立的速率,严格大于现有的利率。然后,我们开发了一个计算效率高的变体,我们的学习规则,是可证明弹性代理谁不按预期的行为(所代表的拜占庭对手模型),并故意试图传播错误信息。
2019-07-05 cs.IT cs.LG cs.SY
Quantum ring all-reduce: communication and privacy advantages for distributed learning
University of Edinburgh(爱丁堡大学);Centre for Quantum Technologies(量子技术中心)
提出量子环全归约协议,利用预共享纠缠和超密编码将每链路在线通信量减半,并通过验证纠缠实现信息论安全的可组合ε-安全聚合,同时获得通信与隐私优势。
2026-06-24 cs.DC cs.LG quant-ph
Towards Federated Bayesian Network Structure Learning with Continuous Optimization
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
传统上,贝叶斯网络结构学习通常在一个中心站点进行,所有数据都收集在该中心站点。然而,在实践中,数据可以跨不同方分布(例如,公司、设备),他们打算共同学习贝叶斯网络,但由于隐私或安全问题而不愿意披露与他们的数据相关的信息。在这项工作中,我们提出了一个联邦学习的方法来估计贝叶斯网络的结构,从数据是水平划分在不同的缔约方。我们开发了一个分布式结构学习方法的基础上连续优化,使用交替方向的乘法器(ADMM),只有模型参数必须在优化过程中进行交换。我们证明了我们的方法的灵活性,通过采用它的线性和非线性的情况下。在合成数据集和真实数据集上的实验结果表明,该方法比其他方法具有更好的性能,特别是当客户端数量相对较多且每个客户端的样本量有限时。
2022-04-04 cs.LG stat.ML
Client Selection for Federated Bayesian Learning
South China University of Technology(华南理工大学);King’s College London(伦敦国王学院)
Distributed Stein Variational梯度下降(DSVGD)是一种用于联邦贝叶斯学习的非参数分布式学习框架,其中多个客户端通过与服务器通信许多非随机和交互粒子来联合训练机器学习模型。由于通信资源有限,选择具有最多信息的局部学习更新的客户端可以提高模型收敛性和通信效率。本文提出了两种基于核Stein离散(KSD)和Hilbert内积(HIP)的DSVGD选择方案。我们推导出了这两种方案的每次迭代的全局自由能减少的上界,然后将其最小化以加快模型收敛。我们使用各种学习任务和数据集,在模型精度、收敛速度和稳定性方面对我们的方案与传统方案进行评估和比较。
2023-03-13 cs.LG eess.SP
Distributed Bayesian Matrix Factorization with Limited Communication
Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University(赫尔辛基信息科技研究院 HIIT,计算机科学系,阿莱大学);Department of Informatics, University of Bergen(信息学院,卑尔根大学)
本文提出了一种分布式贝叶斯矩阵分解方法,通过分层分解联合后验分布,结合并行计算和高效近似实现,提高了大规模数据处理效率,同时保持预测准确性。
2019-02-27 cs.DC cs.LG cs.NA
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive(CSL)框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代,可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计,CSL可证明地改进了朴素平均方案,并有利于置信区间的构建。对于高维正则化估计,CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断,CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率,即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
Learning Graphical Models from a Distributed Stream
Iowa State University(爱荷华州立大学);University of Warwick(华威大学)
数据管理系统当前面临的挑战是支持在大型、多维和不断发展的数据上构建和维护机器学习模型。虽然可以支持这些任务的系统正在出现,但扩展到分布式流数据的需求需要新的模型和算法。在这种情况下,除了计算可扩展性和模型准确性之外,我们还需要最大限度地减少分布式处理器之间的通信量,这是延迟的主要组成部分。我们研究了贝叶斯网络,图形模型的主力,并提出了一种有效的通信方法,用于不断学习和维护贝叶斯网络模型的数据,作为一个分布式流在多个处理器之间分区。我们展示了一种策略,用于维护模型参数,导致通信的指数减少时,与基线方法,以保持确切的MLE(最大似然估计)。同时,我们的策略为目标分布和分类任务提供了相似的预测误差。
2017-10-05 cs.AI cs.LG stat.ML
Generalized Robust Bayesian Committee Machine for Large-scale Gaussian Process Regression
Nanyang Technological University(南洋理工大学);Applied Technology Group, Rolls-Royce Singapore(新加坡劳斯莱斯应用技术集团);Data Science and Artificial Intelligence Research Center, Nanyang Technological University(南洋理工大学数据科学与人工智能研究中心)
为了将标准高斯过程(GP)回归扩展到大规模数据集,聚合模型采用因子分解的训练过程,然后组合来自分布式专家的预测。然而,最先进的聚合模型要么提供不一致的预测,要么需要耗时的聚合过程。我们首先证明了不相交或随机数据划分的典型聚集的不一致性,然后提出了一个一致的,但有效的大规模GP聚集模型。所提出的模型继承了聚合的优点,例如,封闭形式的推理和聚合,并行化和分布式计算。此外,理论和实证分析表明,新的聚合模型表现更好,由于一致的预测,收敛到真正的底层函数时,训练规模接近无穷大。
2018-06-03 cs.LG stat.ML
Asynchronous Local Computations in Distributed Bayesian Learning
Oklahoma State University(俄克拉荷马州立大学);DEVCOM Army Research Lab(DEVCOM陆军研究实验室)
针对多智能体分布式贝叶斯学习中的通信开销问题,提出基于gossip的异步通信与ULA MCMC局部计算方法,在理论上量化收敛速度,并在真实数据集上实现了更快的初始收敛与高分类准确率。
2024-01-07 cs.DC cs.LG cs.MA
Bayesian optimization of distributed neurodynamical controller models for spatial navigation
Johns Hopkins University/Applied Physics Laboratory(约翰斯·霍普金斯大学/应用物理实验室);Kavli Neuroscience Discovery Institute, Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院)
用于控制多智能体群的动态系统模型已经证明了在弹性、分散式导航算法方面的进展。我们之前介绍了NeuroSwarms控制器,其中基于代理的相互作用通过类比神经元网络相互作用来建模,包括吸引子动力学和相位同步,理论上这些相互作用在导航啮齿动物的海马位置细胞回路中运行。这种复杂性排除了线性分析的稳定性,可控性和性能通常用于研究传统的群体模型。此外,调整动态控制器的手或网格搜索往往是不够的,由于目标的复杂性,模型参数的维数,和基于模拟的采样的计算成本。在这里,我们提出了一个框架,调整动态控制器模型的自治多智能体系统的基础上贝叶斯优化(BayesOpt)。我们的方法利用任务相关的目标函数训练高斯过程(GP)作为代理模型,实现自适应和有效的探索动态控制器模型的参数空间。我们证明了这种方法,通过研究一个目标函数选择NeuroSwarms的行为,合作本地化和捕获空间分布的奖励下的时间压力。我们通过结合不同几何形状的模拟得分来概括不同环境下的任务性能。为了验证搜索性能,我们通过可视化均匀流形近似和投影(UMAP)嵌入中的样本轨迹,比较了高与低似然参数点的高维聚类。我们的研究结果表明,自适应,样本效率的评估复杂系统的自组织行为能力,包括动态群控制器,可以加速翻译的神经科学理论应用领域。
2021-10-31 cs.LG cs.MA cs.NE
Multi-GPU Distributed Parallel Bayesian Differential Topic Modelling
Research School of Computer Science(计算机科学研究学院)
数据、文档和其他内容爆炸式增长,人们需要工具来分析和解释这些内容,需要工具将内容转化为信息和知识。主题建模是为了解决这些问题而发展起来的。主题模型,如LDA [Blei et. 2003]允许自动提取数据中的显著模式。在分析文本时,这些模式被称为主题。在LDA的众多扩展中,很少有扩展能够可靠地分析多组文档并提取主题相似性。最近,差分主题建模(SPDP)的引入[Chen et. 2012]在区别性设置中一致地比许多主题模型表现得更好。还需要提高主题模型的采样速度。虽然已经为分布式算法做出了一些努力,但目前还没有使用图形处理单元(GPU)完成的工作。注意,GPU框架已经成为解决许多问题的最具成本效益的平台。在本论文中,我提出并实现了一个近似于SPDP的可扩展的多GPU分布式并行框架。通过实验,我已经证明了我的算法在速度上提高了大约50倍,同时几乎同样准确,只有一个便宜的笔记本电脑GPU。此外,我已经证明了当使用多个GPU时,速度的提高是次线性可扩展的,同时保持了准确性。因此,在中型GPU集群上,速度提升可能达到一千倍。注意SPDP只是LDA的其他扩展的代表。虽然我的算法是为了与SPDP一起工作而实现的,但它被设计成足够通用的,可以与其他主题模型一起工作。对较小集合的加速(即,这意味着这些更复杂的LDA扩展现在可以实时完成,从而开辟了在工业中使用这些LDA模型的新方法。
2015-10-22 cs.CL cs.DC cs.LG
Interaction-Based Distributed Learning in Cyber-Physical and Social Networks
Università del Salento(萨伦托大学)
在本文中,我们考虑了一个网络场景中,代理可以根据一个分数图,模型一些物理或社会互动的相互评价。我们的目标是设计一个分布式协议,由代理运行,允许他们学习他们的未知状态之间的有限集的可能值。我们提出了一个贝叶斯框架,其中分数和状态分别与未知参数和超参数的概率事件相关联。我们证明,每个代理可以学习它的状态,通过一个本地贝叶斯分类器和(集中)最大似然(ML)估计的参数超参数,结合平原ML和经验贝叶斯方法。通过使用图形模型中的工具,使我们能够深入了解分数和状态的条件依赖性,我们提供了两个宽松的概率模型,最终导致ML参数超参数估计服从分布式计算。为了突出建议放宽的适当性,我们展示了分布式估计的机器对机器的测试设置异常检测和社会互动设置用户分析。
2017-06-13 cs.LG math.OC math.ST
Big Learning with Bayesian Methods
Tsinghua University(清华大学)
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣,大学习是一个新兴的子领域,研究可扩展的机器学习算法,系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法,在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展,包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理,以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO