A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin(德克萨斯大学奥斯汀分校);University of Sao Paulo (USP)(圣保罗大学)
本文介绍了一种隐私感知贝叶斯方法,它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下,实例及其分类/聚类结果分布在不同的数据站点,并有共享限制。作为一种特殊情况,当目标数据的实例分布在不同的数据站点时,模型的隐私感知计算也进行了讨论。实验结果表明,该方法可以提供良好的分类精度,同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Anchored Bayesian Gaussian Mixture Models
有限混合物是一种灵活的建模工具,用于不规则形状的密度和来自异质种群的样本。当使用组分特征上的可交换先验对混合物进行建模时,组分标签是任意的,并且在后验分析中是不可区分的。这使得不可能将任何有意义的解释归因于组件特征的边缘后验分布。我们提出了一个模型,其中一个小数目的观察假设产生的一些标记的组件密度。所得到的模型是不可交换的,允许在没有后处理的情况下对组件特征进行推断。我们的方法在建模阶段为组件标签分配意义,并且可以作为标签上的数据依赖性信息先验来证明。我们表明,我们的方法产生可解释的结果,通常(但不总是)类似于重新标记算法产生的结果,额外的好处是边际推论直接来自一个指定的概率模型,而不是事后操纵。我们提供的渐近结果导致实际的指导方针,模型选择的动机是最大限度地提高先验信息的类标签,并证明我们的方法对真实和模拟数据。
2020-07-08 stat.ME
Multi-view Anomaly Detection via Probabilistic Latent Variable Models
NTT Communication Science Laboratories(NTT通信科学实验室);Yahoo Labs(雅虎实验室)
我们提出了一个非参数贝叶斯概率潜变量模型的多视图异常检测,这是发现实例的任务,具有不一致的意见。与所提出的模型,一个非异常实例的所有视图被假定为从一个单一的潜在向量生成。另一方面,假设异常实例具有多个隐向量,并且其不同视图从不同的隐向量生成。通过推断每个实例使用的潜向量的数量与Dirichlet过程先验,我们得到多视图异常分数。该模型可以看作是一个强大的扩展的概率典型相关分析噪声多视图数据。我们提出了基于随机期望最大化算法的模型的贝叶斯推断程序。所提出的模型的有效性表现在性能方面时,检测多视图异常和插补缺失值的多视图数据与异常。
2014-11-13 cs.LG stat.ML
Bayesian Importance of Features (BIF)
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);University of British Columbia(不列颠哥伦比亚大学)
我们引入了一个简单而直观的框架,通过输入特征重要性的概率评估提供了统计模型的定量解释。其核心思想来自于利用狄利克雷分布来定义输入特征的重要性,并通过近似贝叶斯推断来学习它。学习的重要性具有概率解释,并提供每个输入特征对模型输出的相对重要性,另外评估其重要性量化的置信度。由于在解释上使用狄利克雷分布,我们可以定义一个封闭形式的发散来衡量不同模型下学习的重要性之间的相似性。我们使用这种分歧来研究特征重要性可解释性与现代机器学习中的基本概念(如隐私和公平)的权衡。此外,BIF可以在两个级别上工作:全局解释(所有数据实例的特征重要性)和局部解释(每个数据实例的个体特征重要性)。我们证明了我们的方法在各种合成和真实数据集上的有效性,同时考虑到表格和图像数据集。该代码可在https://github.com/kamadforge/featimp_dp上获得。
2022-09-17 cs.LG stat.ML
Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision
University of Washington(华盛顿大学);Waseda University(早稻田大学)
程序化弱监督(PWS)已经成为一种广泛的范式,以有效地综合训练标签。PWS的核心组成部分是标签模型,它通过聚合抽象为标签函数(LF)的多个噪声监督源的输出来推断真实标签。现有的统计标签模型通常只依赖于LF的输出,在对底层生成过程建模时忽略了实例特征。在本文中,我们试图通过建议的FABLE将实例特征纳入统计标签模型。特别是,它建立在贝叶斯标签模型的混合物上,每个模型对应于一个全局相关模式,并且混合成分的系数由基于实例特征的高斯过程分类器预测。我们采用一种基于辅助变量的变分推理算法来解决高斯过程和贝叶斯标签模型之间的非共轭问题。对11个基准数据集的广泛实证比较显示,FABLE在9个基线上实现了最高的平均性能。
2022-10-09 cs.LG stat.ME stat.ML
Context-Specific Refinements of Bayesian Network Classifiers
IE University(IE大学);University of Valencia(瓦伦西亚大学)
本文提出基于分段树模型的上下文特定贝叶斯网络分类器,扩展TAN等模型,通过数据驱动学习提升分类准确性。
2024-05-28 cs.LG stat.ML
Varying-coefficient models with isotropic Gaussian process priors
University College London(伦敦大学学院);SoundCloud Ltd.(SoundCloud有限公司);University of Potsdam(波茨坦大学)
我们研究的学习问题,其中的条件分布的输出给定的输入变化作为一个功能的额外的任务变量。在具有高斯过程先验的变系数模型中,高斯过程生成任务变量与该条件的参数之间的函数关系。变系数模型继承了分层贝叶斯多任务模型,但也是条件连续变化的推广,例如,在时间或空间上。然而,在变系数模型中的贝叶斯推断通常是棘手的。我们发现,推理变系数模型与各向同性高斯过程先验解决标准的高斯过程,可以有效地解决的推断。该模型中的MAP推理归结为使用任务核和实例核的多任务学习,使用图-拉普拉斯核可以有效地进行分层贝叶斯多任务模型的推理。我们报告的地理空间预测的实验。
2015-10-14 cs.LG stat.ML
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo(滑铁卢大学)
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离,而另一些则使用采样。然而,从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中,我们从分布的数据,而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验,我们动态更新类的分布,通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用,例如,三重损失或邻域分量分析(NCA)损失。因此,我们的三元组挖掘方法被称为贝叶斯更新三元组(BUT)和贝叶斯更新NCA(BUNCA),这取决于使用的损失函数。两个公共数据集,即MNIST和组织病理学结直肠癌(CRC)的实验结果,证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Strengthening the Case for a Bayesian Approach to Car-following Model Calibration and Validation using Probabilistic Programming
计算和存储器的限制历来阻碍交通模拟软件用户充分利用其基础的预测模型。特别地,当校准车辆跟随模型时,调节包括1)使用敏感性分析来限制要校准的参数的数量,以及2)使用从跨多个驾驶员的多个车辆跟随实例收集的数据来仅识别一组参数值。快捷方式还受到数据集大小不足的激励,对于这些数据集大小,驾驶员可能具有太少的实例以完全考虑其驾驶行为的变化。在本文中,我们证明了最新的技术进步可以使交通研究人员和工程师克服这些限制,并产生校准结果,1)优于行业标准方法,2)允许为数据集中的每个驱动程序估计一组独特的参数,即使给定少量的数据。我们提出了一种新的校准过程的基础上贝叶斯机器学习和概率规划的汽车跟驰模型,并将其应用到现实世界的数据从自然驾驶研究。我们还讨论了数学和软件工具的这种组合如何提供额外的好处,如更多的信息模型验证和将真实数据的不确定性纳入模拟轨迹。
2019-08-07 cs.LG stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Scalable Bayesian Network Structure Learning with Splines
University of Waterloo(滑铁卢大学)
贝叶斯网络(BN)的图结构可以使用众所周知的评分和搜索方法从数据中学习。以前的工作已经表明,将条件概率分布(CPD)的结构化表示纳入评分和搜索方法可以提高学习图的准确性。在本文中,我们提出了一种新的方法,能够学习BN的图形,同时建模变量之间的线性和非线性局部概率关系。我们实现这一目标的组合特征选择,以减少局部关系的搜索空间和扩展的得分和搜索方法,将建模的CPD变量作为多元自适应回归样条(MARS)。MARS是表示为分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上表明,我们提出的方法可以提高学习图的准确性,同时扩展到具有大量变量的实例。
2022-06-20 cs.AI cs.LG stat.ML
Bayesian Crowdsourcing with Constraints
University of Minnesota(明尼苏达大学)
众包已经成为一种强大的范例,通过利用大量的人类注释者来有效地标记大型数据集并执行各种学习任务。当关于数据的附加信息可用时,增强来自人类注释者的标签聚合的半监督众包方法是很好的动机。这项工作涉及半监督众包分类,在两种半监督制度下:a)标签约束,为数据子集提供地面真实标签; b)可能更容易获得实例级约束,指示数据对之间的关系。贝叶斯算法的基础上变分推理的发展,为每个政权,和他们的量化改进的性能,相比无监督众包,分析和经验验证了几个众包数据集。
2021-07-16 cs.LG stat.ML
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business(雅典经济与商业大学)
我们提出了一个概率框架,直接插入先验知识的强化学习(RL)算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合,从而允许实现跨任务的迁移学习。所得到的方法是灵活的,它可以很容易地结合到任何标准的政策和政策上的算法,如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例,这些规则可以在各种各样的任务(例如导航任务)中使用。此外,我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法,并展示了如何将其与贝叶斯传输RL。最后,我们展示了我们的方法解决迷宫,并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover(莱布尼茨汉诺威大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
算法参数,特别是机器学习算法的超参数,可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置,SMAC3为贝叶斯优化提供了一个强大而灵活的框架,可以在几次评估中提高性能。它为典型用例提供了几个外观和预设,例如优化超参数,解决低维连续(人工)全局优化问题,以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
ExDBN: Learning Dynamic Bayesian Networks using Extended Mixed-Integer Programming Formulations
Czech Technical University in Prague(捷克技术大学布拉格分校);HSBC Holdings Plc., Singapore(汇丰控股有限公司(新加坡));Athena Research Center(雅典研究中心)
ExDBN通过扩展混合整数规划公式,提出了一种基于得分的学习算法,以更准确地学习动态贝叶斯网络。
2025-11-12 cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology(以色列理工学院)
在贝叶斯强化学习(RL)设置中,假设未知问题参数(奖励和转换)的先验分布,并寻求优化(后验)预期回报的策略。一个常见的近似,最近已被推广为元RL,是训练代理上的样本$N$问题的实例,从以前的,希望对于足够大的$N$,良好的泛化行为,一个看不见的测试实例将获得。在这项工作中,我们研究推广贝叶斯RL下的可能近似正确(PAC)的框架,使用算法稳定性的方法。我们的主要贡献是通过增加正则化,最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL,因为马尔可夫决策过程(MDP)不是凸的。相反,建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度,我们表明,正则化MDPs满足一定的二次增长标准,这是足以建立稳定性。这个结果,这可能是独立的利益,使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique(巴黎综合理工学院CMAP实验室)
本文通过将逐点风险分解为偶然不确定性与认知不确定性,并结合贝叶斯近似,提出可生成多种预测不确定性度量的框架,且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Bayesian Anomaly Detection Using Extreme Value Theory
数据驱动的异常检测方法通常为目标系统的正常行为构建模型,并根据该模型对每个数据实例进行评分。总是需要阈值来将具有高(或低)分数的数据实例识别为异常。这对这种方法的适用性提出了实际限制,因为大多数方法对阈值的选择敏感,并且设置最佳阈值具有挑战性。我们提出了一个概率框架来明确地对正常和异常行为进行建模,并对数据进行概率推理。提出了一种基于极值理论的公式,将异常行为建模为正常行为的极值。作为一个具体的实例,联合非参数聚类和异常检测算法提出了一个Dirichlet过程混合模型的正常行为建模。
2019-10-07 cs.LG stat.ME stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine(加州大学欧文分校)
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下,迫切需要可靠地评估这些预先训练的模型的性能,并以标签有效的方式执行这种评估(考虑到标签可能稀缺且收集成本高)。在本文中,我们介绍了一种主动贝叶斯方法来评估分类器的性能,以满足desiderata的可靠性和标签效率。我们首先开发推理策略,以量化常见的评估指标,如准确性,误分类成本和校准误差的不确定性。然后,我们提出了一个通用的框架,主动贝叶斯评估使用推断的不确定性,以指导有效的选择标签的实例,使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验(例如,ResNet和BERT)在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction
Ainstein AI
Dropout正在吸引人们对深度学习的浓厚研究兴趣,将其作为防止过拟合的有效方法。最近结合结构信息时,决定哪些单位辍学产生了可喜的结果相比,忽略结构信息的方法。然而,现有工作的一个主要问题是,它未能区分实例时,构造辍学架构。这对于许多应用来说可能是一个严重的缺陷。为了解决这个问题,我们提出了基于实例依赖的辍学架构(CODA)的建构主义学习,这是从哲学理论,建构主义学习的启发。特别地,在此理论基础上,我们设计了一种更好的丢弃技术,均匀过程混合模型,使用贝叶斯非参数方法均匀过程。我们已经在5个真实世界的数据集上评估了我们提出的方法,并将其性能与其他最先进的dropout技术进行了比较。实验结果证明了CODA算法的有效性。
2021-06-15 cs.LG stat.ML
Decomposed Quadratization: Efficient QUBO Formulation for Learning Bayesian Network
Yuta Shikuri(独立研究者)
本文提出分解二次化QUBO公式化方法,通过减少二值变量数量提升大规模优化效率,并在贝叶斯网络结构学习中显著降低变量需求且评分最大化性能优于现有算法。
2025-08-24 cs.LG stat.ML
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题,代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策,其中,在随机多臂土匪的情况下,包括汤普森抽样政策。我们提供了一个新的分析表明,任何算法产生的政策,在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后,$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题,其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下,我们表明,汤普森抽样可以产生的乐观集之外的政策,并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题,我们称之为变分贝叶斯乐观采样算法(VBOS)。该过程适用于任何后验,\ie,它不需要后验具有任何特殊属性,如对数,单峰,或光滑。问题的变分视图具有许多有用的属性,包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights
University of Edinburgh(爱丁堡大学)
在没有大型标记数据集的情况下,自监督学习技术可以通过从未标记数据中学习有用的表示来提高性能,这些数据通常更容易获得。然而,在未标记的集合和下游目标问题数据之间通常存在域转移。我们表明,通过学习贝叶斯实例权重的未标记的数据,我们可以提高下游的分类精度,优先考虑最有用的实例。此外,我们还证明了通过丢弃不必要的数据点可以减少训练时间。我们的方法BetaDataWeighter使用STL-10和Visual Decathlon上流行的自监督旋转预测任务进行评估。我们比较相关的实例加权方案,手工设计的算法和元学习,以及传统的自监督学习。BetaDataWeighter在数据集上实现了最高的平均准确度和排名,在STL-10上,它可以修剪高达78%的未标记图像,而不会显著降低准确度,相应地减少了50%以上的训练时间。
2020-06-22 cs.LG stat.ML
The Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出贝叶斯学习规则,用自然梯度估计候选分布来近似后验,从而统一并推广了从岭回归、牛顿法到随机梯度下降、Dropout 等众多经典与现代机器学习算法,并支持设计新算法。
2024-06-08 cs.LG stat.ML
Towards Gaussian Bayesian Network Fusion
Universidad Politécnica de Madrid(马德里理工大学)
由于我们现在拥有越来越多的生成和存储数据的设施,数据集的复杂性正在增长。这对机器学习提出了许多挑战,这些挑战导致新方法和范式的提出,以便能够处理现在所谓的大数据。在本文中,我们提出了一种方法,用于聚合不同的贝叶斯网络结构,已经从不同的数据集学习,作为第一步,对挖掘数据集,需要在一个水平的方式进行分区,即相对于实例,以便进行处理。讨论了在处理这种情况时应考虑的因素。贝叶斯网络的可扩展学习正在慢慢出现,我们的方法构成了对不同来源的高斯贝叶斯网络聚合的第一个见解之一。在合成数据上进行测试,取得了优于个体学习的良好效果。未来的研究将集中在扩展该方法和测试更多样化的数据集。
2018-12-01 cs.LG stat.ML
Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data
GE Research(通用电气研究中心)
关于物理学,数据告诉了我们什么,它们没有告诉我们什么?人们对使用机器学习模型从数据中发现微分方程等支配性物理定律的兴趣激增,但目前的方法缺乏不确定性量化来传达其可信度。这项工作从贝叶斯的角度解决了这个缺点。我们介绍了一种新的模型,包括“叶”模块,学习代表不同的实验的时空功能数据作为神经网络和一个单一的“根”模块,表示其管理的非线性微分算子作为高斯过程的非参数分布。自动微分用于从叶函数计算所需的偏导数作为根的输入。我们的方法量化的可靠性的学习物理学的后验分布在运营商和传播这种不确定性的解决方案的新的初边值问题的实例。数值实验证明了该方法对几个非线性偏微分方程。
2020-06-07 cs.LG stat.ML
Sequential Cooperative Bayesian Inference
Rutgers University(罗格斯大学)
在向其他代理人学习时,合作往往是隐含的假设。合作意味着选择数据的主体和从数据中学习的主体具有相同的目标,即学习者推断预期的假设。人类和机器学习的最新模型已经证明了合作的可能性。我们通过序列数据寻求贝叶斯代理合作推理的基础理论结果。我们开发了新的方法分析的一致性,收敛速度和稳定性的顺序合作贝叶斯推理(SCBI)。我们的有效性,样本效率和鲁棒性的分析表明,合作不仅是可能的,在特定的情况下,但在理论上是有根据的一般。我们讨论了人与人和人机合作的影响。
2020-07-01 cs.LG cs.MA stat.ML
Algebraic Bayesian analysis of contingency tables with possibly zero-probability cells
在本文中,我们考虑了贝叶斯分析的列联表允许的可能性,细胞可能有概率为零。从这个意义上说,我们离开标准的对数线性模型,隐含地假设一个积极的约束。我们的方法使我们考虑混合模型的列联表,其中的成分的混合物,我们称之为模型实例,有不同的支持。我们依靠多项式代数的思想来识别各种模型实例。我们还提供了一种方法来分配先验概率的模型的每个实例,以及描述的方法,用于构建先验的参数空间的每个实例。我们说明我们的方法,通过一个$5 \times 2$表,涉及两个结构零,以及零计数。我们得到的结果表明,我们的分析可能会导致的结论是实质性的不同,将获得在一个标准的框架,其中的可能性零概率细胞没有明确占。
2007-03-05 math.ST stat.TH
Bayesian Optimization for Dynamic Problems
我们提出了实用的扩展贝叶斯优化解决动态问题。我们使用时空高斯过程先验来建模动态目标函数,该先验捕获函数随时间的所有实例。我们对贝叶斯优化的扩展使用从该模型中学习到的信息来指导对时间演化最小值的跟踪。通过利用时间相关性,所提出的方法还确定何时进行评估,以多快的速度进行这些评估,并根据可用信息得出适当的步骤预算。最后,我们评估我们的技术在合成和现实世界的问题。
2018-03-09 stat.ML
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中,我们必须经常搜索具有不同数量参数的结构。例如,我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据,我们为条件参数空间定义了一个新的内核,该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明,该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
Combining Multi-Fidelity Modelling and Asynchronous Batch Bayesian Optimization
Imperial College London(帝国理工学院);BASF SE(巴斯夫欧洲公司)
贝叶斯优化是实验设计中的一个有用工具。不幸的是,贝叶斯优化的经典顺序设置不能很好地转化为实验室实验,例如电池设计,其中测量可能来自不同的来源,并且它们的评估可能需要大量的等待时间。多保真度贝叶斯优化解决了来自不同来源的测量的设置。异步批处理贝叶斯优化提供了一个框架,可以在先前实验的结果显示之前选择新的实验。本文提出了一种结合多保真度和异步批处理方法的算法。我们实证研究的算法行为,并表明它可以优于单保真度批处理方法和多保真度顺序方法。作为一个应用,我们考虑使用纽扣电池实验来近似电池性能,设计电极材料以获得袋状电池的最佳性能。
2023-02-23 cs.CE cs.LG stat.ML
Truth Inference at Scale: A Bayesian Model for Adjudicating Highly Redundant Crowd Annotations
University of Melbourne(墨尔本大学)
众包是为机器学习创建培训和评估数据集的一种廉价而流行的手段,但它带来了“真理推理”的问题,因为不能完全信任个人工人提供可靠的注释。对注释聚合模型的研究试图推断出潜在的“真实”注释,这已被证明可以提高众包数据的效用。然而,现有技术仅在低冗余设置中胜过简单基线,其中每个实例的注释数量低($\le 3$),或者在工作者不可靠并且产生低质量注释的情况下(例如,通过垃圾邮件、随机或敌对行为。)正如我们所展示的,众包产生的数据集通常不是这种类型:数据是高度冗余的注释(每个实例都有$\ge 5$注释),绝大多数工作人员都能产生高质量的输出。在这些设置中,多数投票启发式执行得非常好,大多数真理推理模型都不如这个简单的基线。我们提出了一种新的技术,基于共轭先验的贝叶斯图形模型,和简单的迭代期望最大化推理。我们的技术产生竞争力的性能,以国家的最先进的基准方法,是唯一的方法,显着优于多数票启发式在单侧水平0.025,显着性检验。此外,我们的技术很简单,只需要50行代码就可以实现,几秒钟就可以完成训练。
2019-02-24 cs.IR cs.LG stat.ML
Statistical Guarantees for the Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
我们引入了一个概率鲁棒性贝叶斯神经网络(BNN)的措施,定义为概率,给定一个测试点,有界集内存在一个点,使BNN预测两者之间的差异。例如,这种度量可以用来量化对抗性示例存在的概率。基于概率模型的统计验证技术,我们开发了一个框架,允许我们估计具有统计保证的BNN的概率鲁棒性,即,具有先验误差和置信界限。我们提供了实验比较几个近似BNN推理技术的图像分类任务与MNIST和两个类的GTSRB数据集的子集。我们的研究结果使BNN预测在对抗环境中的不确定性量化成为可能。
2019-03-05 cs.CV cs.LG stat.ML
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach
Technische Universität Berlin(柏林工业大学)
我们分析了一个算法的动态近似推理与大高斯潜变量模型在学生-教师的情况。为了对潜在变量之间的非平凡依赖关系进行建模,我们假设从旋转不变集合中提取随机协方差矩阵。对于完美的数据模型匹配的情况下,来自副本方法的静态顺序参数的知识,使我们能够获得有效的算法更新的矩阵向量乘法与一个固定的矩阵。利用动力泛函方法,我们得到了一个精确的有效随机过程的热力学极限为一个单一的节点。由此,我们得到了收敛速度的封闭形式表达式。分析结果与大型模型的单实例模拟结果吻合良好。
2020-01-14 cond-mat.dis-nn cs.LG stat.ML
Bayesian Nonparametric Factor Analysis via Marginalized Dirichlet Process Column Clustering with Spike-and-Slab Sparsity
St. Xavier’s College (Autonomous), Kolkata(加尔各答圣泽维尔学院(自治));Indian Statistical Institute(印度统计研究所)
提出一种边缘化狄利克雷过程列聚类与尖峰- slab稀疏性的贝叶斯非参数因子模型,自适应推断因子数并合并冗余字典,实现最优收缩率,在模拟和乳腺癌数据中优于基线。
2026-09-29 math.ST stat.AP stat.ME
Bayesian Semi-supervised Learning with Graph Gaussian Processes
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个数据有效的高斯过程为基础的贝叶斯方法的半监督学习问题的图。该模型在半监督学习基准实验中表现出与最先进的图神经网络相比极具竞争力的性能,并且在标签稀缺的主动学习实验中表现出优于神经网络的性能。此外,该模型不需要提前停止以控制过拟合的验证数据集。我们的模型可以被看作是一个实例的经验分布回归加权局部网络连接。我们进一步激发了直观的贝叶斯线性模型解释模型的建设,其中的节点功能过滤相关的图形拉普拉斯算子。该方法可以很容易地实现适应现成的可扩展的高斯过程的变分推理算法。
2018-10-12 cs.LG cs.SI stat.ML
Reasoning about Bayesian Network Classifiers
University of California, Los Angeles(加州大学洛杉矶分校)
贝叶斯网络分类器在很多领域都有应用,其中一种常见的分类器是朴素贝叶斯分类器。在本文中,我们介绍了一种推理贝叶斯网络分类器的方法,我们显式地将它们转换为有序决策图(ODD),然后使用这些分类器的属性的原因。具体来说,我们提出了一个算法转换成一个ODD的任何朴素贝叶斯分类器,我们从理论上和实验表明,该算法可以给我们一个ODD的大小是易于处理的,即使给定一个棘手的实例数。由于ODD是分类器的易处理表示,我们的算法允许我们有效地测试两个朴素贝叶斯分类器的等价性,并描述它们之间的差异。我们还显示了一些额外的结果,包括不同的分类器,可以通过改变一些CPT在一个朴素贝叶斯分类器,和允许的范围内的CPT保持当前分类器不变的变化引起的计数。
2012-10-19 cs.AI cs.LG stat.ML
Bayesian Optimization With Censored Response Data
University of British Columbia(不列颠哥伦比亚大学)
贝叶斯优化(BO)的目的是使用一个模型来最小化给定的黑盒函数,该模型在有关该函数的新证据可用时更新。在这里,我们解决了部分右删失响应数据下的BO问题,在某些评估中,我们只得到函数值的下界。处理这样的响应数据的能力,使我们能够自适应地审查昂贵的函数评价最小化问题的函数评价的成本对应的函数值。一个重要的应用程序产生这样的删失数据是运行时最小化的算法配置问题的变体:找到一个给定的参数算法,最小化所需的运行时间从一个给定的分布解决问题的实例的设置。我们证明,终止缓慢的算法过早运行,并处理由此产生的右删失的意见,可以大大提高最先进的基于模型的算法配置。
2013-10-07 cs.AI cs.LG stat.ML
Learning from Noisy Label Distributions
Software Technology and Artificial Intelligence Research Laboratory (STAIR Lab), Chiba Institute of Technology(千叶工业大学软件技术与人工智能研究实验室(STAIR Lab))
在本文中,我们考虑了一个新的机器学习问题,即从噪声标签分布中学习分类器。在这个问题中,每个具有特征向量的实例至少属于一个组。然后,代替每个实例的真实标签,我们观察与组相关联的实例的标签分布,其中标签分布被未知噪声扭曲。我们的目标是(1)估计每个实例的真实标签,以及(2)学习一个分类器来预测新实例的真实标签。我们提出了一个概率模型,认为真正的标签分布的群体和参数,代表作为隐藏变量的噪声。该模型可以基于变分贝叶斯方法来学习。在数值实验中,我们表明,该模型优于现有的方法在估计的真实标签的实例。
2017-08-11 cs.AI cs.LG stat.ML
Information Pursuit: A Bayesian Framework for Sequential Scene Parsing
Johns Hopkins University(约翰斯·霍普金斯大学)
尽管在目标检测和分类方面取得了巨大的进步,但将目标实例之间的预期上下文关系纳入现代识别系统的问题仍然是一个关键挑战。在这项工作中,我们提出了信息追求,贝叶斯框架的场景分析,结合先验模型的几何形状的场景和空间排列的对象实例与数据模型的输出高层次的图像分类器训练,以回答有关场景的具体问题。在拟议的框架中,现场的解释是逐步完善的证据积累从一系列问题的答案。在每一步,我们选择的问题,以最大限度地提高互信息之间的新的答案和充分的解释给定的当前证据从以前的调查。我们还提出了一种方法,用于从合成的,注释的场景中学习模型的参数,通过自上而下的采样从一个易于学习的生成场景模型。最后,我们介绍了一个数据库的注释室内场景的餐桌,我们用它来评估所提出的方法。
2017-01-09 cs.AI cs.CV stat.ML
Macau: Scalable Bayesian Multi-relational Factorization with Side Information using MCMC
我们提出澳门,一个强大而灵活的贝叶斯分解方法的异构数据。我们的模型可以分解任何一组可以由关系模型表示的实体和关系,包括张量和每个实体的多个关系。Macau还可以结合辅助信息,特别是实体和关系特征,这对于预测稀疏观察的关系至关重要。Macau可扩展到数百万个实体实例、数亿个观测值和具有数百万个维度的稀疏实体特征。为了实现按比例放大,我们专门设计了实体和关系特征的采样过程,主要依赖于线性回归中的噪声注入。我们在一系列实验中展示了Macau的性能和先进功能,包括具有挑战性的药物蛋白活性预测任务。
2015-12-17 stat.ML
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Some Case Studies Using Bayesian Statistical Models
我们提供了四个案例研究,使用贝叶斯机器进行归纳推理。我们的主要动机在于提供几个实例,其中贝叶斯数据分析方法被最好地利用来执行复杂的任务,例如描述,测试,估计和预测。这项工作并不意味着是一个参考文本或调查在贝叶斯统计推断。我们的目标只是提供几个使用贝叶斯方法来解决数据驱动问题的例子。我们在这里涉及的主题,包括贝叶斯非参数,时间序列的贝叶斯分析和空间数据的贝叶斯分析的问题。
2021-11-17 stat.AP stat.ME
Bayesian Active Meta-Learning for Black-Box Optimization
King’s College London(伦敦国王学院)
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的,例如,用于在未知传播场景中无线系统的最佳部署。元学习可以通过利用来自一组相关学习任务的数据来解决这个问题,例如,从类似的部署设置。在实践中,可能只有来自相关任务的未标记数据集可用,这需要在用于元学习之前执行昂贵的标记过程。例如,人们可能知道基站在给定区域中的可能位置,但不知道每个部署可实现的性能指标。为了减少元学习所需的标记步骤的数量,本文介绍了一种信息理论的主动任务选择机制,并评估了一个实例的方法贝叶斯优化的黑盒模型。
2022-05-23 cs.IT cs.LG math.IT
Bayesian clustering of replicated time-course gene expression data with weak signals
为了识别基因表达的新动态模式,我们开发了一种统计方法,将从多个时间点的多个重复中收集的基因表达的噪声测量值进行聚类,其中聚类数量未知。我们提出了一个随机效应的混合模型,再加上一个Dirichlet过程前聚类。混合模型公式化允许概率聚类分配。随机效应公式允许将数据的总变异性归因于与试验设计一致的来源,特别是当噪声水平高且时间依赖性不强时。Dirichlet过程先验在分区上引入先验分布,并有助于从数据中估计聚类(或混合成分)的数量。我们进一步解决了与Dirichlet过程先验方法相关的两个挑战。一是高效采样。我们开发了一种新的大都会-黑斯廷斯马尔可夫链蒙特卡罗(MCMC)程序来采样分区。另一个是有效地使用MCMC样本形成集群。我们提出了一个两步的后验推理过程,其中包括重新标记和重新标记,估计后验分配概率矩阵。该矩阵可以直接用于集群分配,同时描述集群中的不确定性。我们通过模拟数据证明了我们的模型和抽样程序的有效性。将我们的方法应用于从果蝇成体肌肉细胞中收集的5分钟Notch激活后的真实数据集,我们在163个差异表达基因中识别出14个不同转录反应的簇,这为Notch信号通路中的潜在转录机制提供了新的见解。这里开发的算法在R包DIRECT中实现,可在CRAN上获得。
2013-11-28 stat.AP
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法,例如贝叶斯优化,用于各种应用,包括超参数调整和实验设计。最近,\emph{multi-fidelity}方法已经获得了相当大的关注,因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而,大多数多保真度方法仅假设有限数量的近似。然而,在许多实际应用中,可能存在连续的近似谱。例如,当调整昂贵的神经网络时,可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里,近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中,我们开发了贝叶斯优化方法,BOCA,这种设置。我们验证了它的理论性质,并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Functional inequalities for perturbed measures with applications to log-concave measures and to some Bayesian problems
我们研究了作为扰动的概率测度的函数不等式(Poincaré,Cheeger,log-Sobolev)。给出了一般测度和对数凹分布的几个显式结果,本文的最初目的是为了得到常数的显式界,例如统计应用。然后将这些结果应用于统计学中使用的朗之万蒙特卡罗方法,以计算贝叶斯估计。
2021-01-27 math.PR math.ST stat.TH
Adjusted composite likelihood for robust Bayesian meta-analysis
复合似然是一种非真实似然函数,它允许对模型的有限方面进行推断,例如边际或条件分布。复合似然不是正确的似然,因此需要从频率论和贝叶斯的角度对其在推断中的使用进行校准。复合似然的最大化可以作为一个估计量,其方差通过适当定义的三明治矩阵进行评估。在贝叶斯设置中,复合似然可以通过幅度和曲率方法进行调整。幅度方法意味着将可能性提高到一个常数,而曲率方法意味着通过平移、重新缩放和旋转参数向量来评估不同点处的可能性。一些作者认为曲率方法总体上更可靠,但其他人证明幅度方法足以恢复例如检验统计量的零分布。我们提出了一个简单的校准的边缘后验分布的标量参数的兴趣,这是不变的单调和光滑的变换。例如,在医学统计学中,这就足够了,其中单个标量效应度量通常是目标。
2021-04-05 stat.ME
Maximum Probability and Relative Entropy Maximization. Bayesian Maximum Probability and Empirical Likelihood
工程,简要调查这里,关注两个基本方法:最大概率和贝叶斯最大概率;以及与他们的渐近实例:相对熵最大化和最大非参数似然。参数和经验的扩展后者的方法-经验最大最大熵和经验的李克图-也提到。这些方法被看作是解决某些不适定反问题的工具,分别称为Pi-问题,Phi-问题。在这两类问题,概率理由和解释各自的方法进行了讨论。
2008-04-24 math.PR math.ST stat.ME
Bayesian quadrature and energy minimization for space-filling design
在计算机实验中的一个标准目标是近似的行为,一个未知的功能在一个紧凑的领域内的一些评价。当对函数知之甚少时,建议进行空间填充设计:通常,通过最小化几何(例如,覆盖半径)或测量均匀性距离的差异标准来获得分布在可用空间中的评估点。本文研究了积分设计(正交设计),(连续)BLUE的位置模型,空间填充设计,能量最小化(核差异)的带号测度之间的联系。积分严格正定核定义了严格凸的能量泛函,具有势和方向导数的概念之间的等价性,显示了差异最小化和更传统的最优实验设计之间的强关系。特别是,核放牧算法,这是特殊的情况下,顶点方向的方法用于最优设计,可以应用到建设的点序列具有适当的空间填充性能。
2018-08-31 math.ST stat.TH
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
在寻找更有效的样本学习(RL)算法时,一个有希望的方向是利用尽可能多的外部非策略数据。例如,专家示范。在过去,已经提出了多种想法来充分利用添加到重放缓冲区的演示,例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法,能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节(通过重新标记),鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明,我们的方法的基础上奖励重新标记提高了性能的基础算法(SAC和DDPG)对这些任务。最后,我们最好的算法STIR $^2$(通过奖励重新标记的自我和教师模仿),它集成到我们的方法中,从以前的作品中进行了多次改进,比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Model-based clustering based on sparse finite Gaussian mixtures
在有限混合高斯分布的基础上,基于贝叶斯模型的聚类框架中,我们提出了一种联合方法来估计混合成分的数量,同时识别集群相关的变量,以及获得一个确定的模型。我们的方法包括在指定稀疏分层先验的混合权重和组件的手段。在故意过拟合混合模型中,权重的稀疏先验在MCMC期间清空多余的分量。一个简单的估计的真实数量的组件是由MCMC采样期间访问的非空组件的最频繁的数量。在分量均值上的预收缩先验,即正常伽马先验,导致改进的参数估计以及聚类相关变量的识别。在使用基于数据增广和吉布斯抽样的MCMC方法估计混合模型之后,通过在绘制的点过程表示中重新标记MCMC输出来获得辨识模型。这是使用基于Mahalanobis距离的$K$ -质心聚类分析来执行的。我们评估我们提出的策略在模拟设置与人工数据,并将其应用到基准数据集。
2016-06-22 stat.ME
Bayesian Updates Compose Optically
贝叶斯规则告诉我们如何反转因果过程,以便根据新的证据更新我们的信念。如果过程被认为具有复杂的组合结构,我们可能会问,组合组件过程的反演是否会给出与整体反演相同的信念更新。我们肯定地回答了这个问题,表明相关的组成结构正是透镜图案的组成结构,并且我们可以将贝叶斯反演看作是相应的非线性范畴中的状态依赖态射的一个特定实例。本文定义了(混合)贝叶斯透镜的一般概念,并讨论了当这些透镜的反变分量是精确贝叶斯反演时,它们的合法性。我们证明我们的主要结果抽象和具体的,离散和连续状态,照顾到说明共同的结构。
2020-07-28 math.CT math.ST stat.TH
Both necessary and sufficient conditions for Bayesian exponential consistency
在过去的十年中,贝叶斯非参数过程的渐近理论有了显著的发展。指数一致性在这方面发挥了重要作用。已知$f_0$在先验的Kullback-Leibler支持下的条件不能保证后验的指数一致性。许多作者得到了后验的指数相合性的额外充分条件,例如,参见Schwartz(1965),Barron,Schervish and Wasserman(1999),Ghosal,Ghosh and Ramamoorthi(1999),Walker(2004),Xing and Ranneby(2008)。然而,由于Kullback-Leibler支持条件,很少知道的充要条件和充分条件。本文给出了一类既有充要条件。作为结果,我们得到了一个简单的贝叶斯指数一致性的充分条件,这是弱于以前的充分条件。
2008-12-05 math.ST stat.TH