Automatic structured variational inference
Radboud University(拉德堡德大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Google Research(谷歌研究院)
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而,变分方法的性能取决于一个合适的变分家庭的选择。在这里,我们介绍了自动结构化变分推断(ASVI),一个全自动的方法构造结构化变分家庭,共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递,因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度,因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现,ASVI提供了一个明显的改善性能相比,其他流行的方法,如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
Automatic variational inference with cascading flows
Donders Centre for Cognition, Radboud University(拉德堡德大学唐德斯认知中心);One Planet(一个星球(研究机构))
概率推理的自动化是机器学习的主要目标之一。最近,变分推断和深度学习的融合产生了强大而灵活的自动推理方法,可以通过随机梯度下降进行训练。特别是,归一化流是高度参数化的深度模型,可以拟合任意复杂的后验密度。然而,规范化流在高度结构化的概率程序中很难实现,因为它们需要重新学习程序的前向传递。自动结构化变分推断(ASVI)通过构造嵌入前向传递的变分程序来解决这个问题。在这里,我们结合规范化流的灵活性和事先嵌入属性的ASVI在一个新的家庭变分方案,我们命名为级联流。级联流程序在先前程序的条件分布之间插入一个新设计的高速公路流架构,以便将其转向观察到的数据。这些程序可以从输入的概率程序自动构造,也可以自动摊销。我们在一系列的结构化推理问题的新变分方案的性能进行评估。我们发现,级联流有更高的性能比规范化流程和ASVI在一个大的结构化推理问题。
2021-02-09 cs.LG stat.ML
Ice Core Dating using Probabilistic Programming
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局)
冰芯记录了过去气候的重要信息。然而,在冰芯数据具有科学价值之前,必须通过估计年龄作为深度的函数来推断年表。在某些条件下,冰中锁定的化学物质显示出准周期性的循环,描绘出年度层。手动计算这些嘈杂的季节模式来推断年表可能是一个不完美且耗时的过程,并且不能以原则性的方式捕获不确定性。此外,可能从一个区域收集几个冰芯,从而引入它们之间的空间相关性。我们提出了一个探索使用概率模型自动测年冰芯,使用概率编程展示其用于原型设计,自动推理和可维护性,并展示这些工具的常见故障模式。
2022-10-29 cs.LG stat.ML
Inference Over Programs That Make Predictions
Babylon Health(巴比伦健康)
这个摘要扩展了以前的工作(arXiv:1407.2646,arXiv:1606.00075)使用概率编程的程序归纳。它描述了扩展该工作的可能的进一步步骤,使得最终自动概率程序合成可以概括任何合理的输入和输出集合,特别是关于文本、图像和视频数据。
2018-10-02 cs.LG cs.PL stat.ML
Deployable probabilistic programming
PUB+
我们提出了一个适合作为生产软件系统的一部分部署的概率编程设施的设计准则。作为一个参考实现,我们介绍Infergo,一个概率编程工具去,一个现代程序设计语言的选择服务器端软件开发。我们认为,一个类似的概率编程设施可以添加到大多数现代通用程序设计语言。概率编程能够通过基于数据的概率推理来自动调整程序参数和算法决策。为了便于增加概率编程能力,其他程序设计语言,我们分享实施的选择和技术,在开发的Infergo。我们说明了适用性的Infergo的各种用例的案例研究,并评估Infergo的性能在几个基准,比较Infergo专用的推理为中心的概率编程框架。
2019-06-20 cs.AI cs.LG cs.PL
SPPL: Probabilistic Programming with Fast Exact Symbolic Inference
Massachusetts Institute of Technology(麻省理工学院)
我们提出的总和产品概率语言(SPPL),一种新的概率程序设计语言,自动提供精确的解决方案,广泛的概率推理查询。SPPL将概率程序转换为和积表达式,这是一种新的符号表示和相关的语义域,扩展了标准和积网络以支持混合型分布,数值变换,逻辑公式以及逐点和集值约束。我们正式SPPL通过一种新的翻译策略,从概率程序和产品的表达式,并给出健全的精确算法的条件和计算事件的概率。SPPL对概率程序施加了一系列限制,以确保它们可以被翻译成和积表达式,这允许系统利用新技术,通过自动利用概率结构来提高翻译和推理的可扩展性。我们实现了一个原型的SPPL与模块化架构和评估基准系统的目标,显示它获得了高达3500倍的加速比最先进的符号系统的任务,如验证的公平性的决策树分类,平滑隐马尔可夫模型,条件变换的随机变量,并计算罕见的事件概率。
2021-06-11 cs.LG cs.PL cs.SC
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度,提出了概率规划近似推理的一种新算法。这种方法是有效的,没有限制的概率程序,它是特别实用的分布,这是不容易分析,包括高度结构化的分布,出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化,并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Automatic Differentiation Variational Inference
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
概率建模是迭代的。科学家提出一个简单的模型,将其与她的数据相匹配,根据她的分析进行改进,然后重复。然而,将复杂的模型拟合到大数据是这个过程中的瓶颈。为新模型推导算法可能在数学和计算上都具有挑战性,这使得很难有效地循环这些步骤。为此,我们开发了自动微分变分推断(ADVI)。使用我们的方法,科学家只提供了一个概率模型和一个数据集,没有别的。ADVI自动推导出一个有效的变分推断算法,使科学家可以自由地改进和探索许多模型。ADVI支持广泛的模型类别-不需要共轭假设。我们研究了10种不同模型的ADVI,并将其应用于具有数百万观测值的数据集。ADVI被集成到Stan中,这是一个概率编程系统;它可以立即使用。
2016-03-02 cs.AI cs.LG stat.CO
Multiple Kernel Learning and Automatic Subspace Relevance Determination for High-dimensional Neuroimaging Data
Işık University(伊希克大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);University of Southern California(南加州大学)
阿尔茨海默病是痴呆症的主要原因。其诊断需要对疾病阶段敏感的准确生物标志物。在这方面,我们把概率分类作为设计疾病分期的概率生物标志物的方法。概率生物标志物自然支持决策的解释和与之相关的不确定性的评估。在本文中,我们通过高斯过程获得概率生物标志物。高斯过程使概率核机器能够提供灵活的方法来完成多核学习。利用这种灵活性,我们提出了一种新的变化的自动相关性确定和解决的挑战,通过多个内核的高维。我们的研究结果表明,高斯过程模型是竞争或优于著名的支持向量机的分类性能,即使在单核学习的情况下。将基本方案扩展到多核学习,我们提高了高斯过程模型的有效性及其在疾病的已知解剖学相关性方面的可解释性。例如,疾病的病理学开始于海马体和内嗅皮层及其周围。通过使用高斯过程和多核学习,我们已经自动有效地确定了神经成像数据的这些部分。除了可解释性之外,我们的高斯过程模型在类似设置下与最近的深度学习解决方案相比具有竞争力。
2017-06-02 cs.LG q-bio.NC stat.ML
Gaussian Processes to speed up MCMC with automatic exploratory-exploitation effect
Trinity College Dublin(都柏林大学三一学院)
针对概率模型的对数似然估计计算量大的问题,提出了一种基于代理高斯过程(GP)模型的两阶段梅特罗波利斯-黑斯廷斯算法.该方法的主要特点,以及与传统方法的区别。以前的作品,是从头开始学习目标分布的能力(同时采样),因此不需要预先训练GP。这是基本的自动和推理的概率编程语言特别是,我们提出了一个替代的第一阶段接受计划边缘化的GP分布函数,这使得接受率显式依赖于GP的方差。该方法被扩展为Metropolis-Adjusted Langevin算法(MALA)。
2021-09-28 cs.LG math.PR stat.ML
Delayed Sampling and Automatic Rao-Blackwellization of Probabilistic Programs
我们引入了一个动态机制的解决方案的解析易处理的子结构的概率程序,使用共轭先验和仿射变换,以减少方差的蒙特卡罗估计。对于使用序贯蒙特卡罗的推理,这会自动产生改进,例如局部最优建议和Rao-Blackwellization。该机制在运行程序旁边维护一个有向图,该图随着操作的触发而动态演化。图的节点表示随机变量,边表示它们之间的可分析的关系。随机变量尽可能长时间地保留在图中,只有当程序以无法解析的方式使用它们时才进行采样。与此同时,它们以尽可能多的观察为条件。我们展示了一些教学的例子,以及一个线性-非线性状态空间模型与模拟数据的机制,和一个流行病学模型与真实数据的登革热疫情在密克罗尼西亚。在所有情况下,一个或多个变量被自动边缘化,以显着减少边际似然估计的方差,在最后的情况下,促进随机权重或伪边际型重要性采样器的参数估计。我们已经在英国国教和一种名为Birch的新概率编程语言中实现了这种方法。
2018-03-21 stat.CO stat.ML
Guaranteed Bounds for Posterior Inference in Universal Probabilistic Programming
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Oxford(牛津大学)
提出了一种通过计算保界来近似概率规划后验分布的新方法。我们的工作的出发点是一个基于区间的跟踪语义的递归,高阶概率程序设计语言与连续分布。以(超/次加性)措施的形式,这些下限/上限是非随机的,可证明是正确的:使用语义,我们证明了一个给定的程序的实际后夹在上下界(健全性),而且边界收敛到后(完整性)。作为一个实际的和健全的近似,我们引入了一个权重感知区间类型的系统,它自动推断区间界限上不仅返回值,但也重量的程序执行,同时。我们已经构建了一个名为GuBPI的工具实现,它可以自动计算这些后验下限/上限。我们的评价的例子从文献中表明,界是有用的,甚至可以用来识别错误的输出随机后验推理过程。
2022-06-06 cs.LG cs.LO cs.PL
Detecting Parameter Symmetries in Probabilistic Models
概率模型通常具有可以在不改变模型的情况下被转换、缩放、置换或以其他方式变换的参数。这些对称性可能导致模型参数的后验分布中的强相关性和多峰性,这可能对执行推断和解释结果构成挑战。在这项工作中,我们解决了常见的问题模型对称性的自动检测。要做到这一点,我们介绍了当地的对称性,其中包括许多常见的情况下,并服从自动检测。我们将展示如何推导出算法来检测几个广泛的本地对称类。我们的算法与概率编程结构兼容,如数组,for循环和if语句,并且它们可以扩展到具有许多变量的模型。
2013-12-19 stat.ML
Simplifying debiased inference via automatic differentiation and probabilistic programming
本研究提出名为Dimple的算法,通过自动微分和基元组合的方式,无需用户推导高效影响函数即可构建高效估计量,还提供了Python概念验证实现,大幅降低了高效去偏推断的使用门槛。
2025-06-14 stat.CO stat.ME stat.ML
Probabilistic Surrogate Networks for Simulators with Unbounded Randomness
University of British Columbia(不列颠哥伦比亚大学);Inverted AI Ltd.(Inverted AI有限公司);University of Oxford(牛津大学);Convergent Manufacturing Technologies Inc.(Convergent制造技术公司);Mila(米拉)
我们提出了一个自动构建和训练快速,近似,深度神经代理随机模拟器的框架。与传统的代理建模方法不同,我们的代理保留了参考模拟器的可解释结构和控制流。我们的代理目标随机模拟器,其中随机变量的数量本身可以是随机的,并且可能是无界的。我们的框架进一步实现了自动替换的参考模拟器与代理进行摊销推理时。我们的代理人的保真度和速度允许更快的随机模拟和准确和更快的后验推理。使用一个说明性的,但不平凡的例子,我们展示了我们的代理人的能力,准确地建模的概率程序与无限数量的随机变量。然后,我们继续一个例子,表明我们的代理人能够准确地模拟一个复杂的结构,如一个程序合成的例子中的无界堆栈。我们进一步展示了我们的代理建模技术如何在复杂的黑盒模拟器中更快地进行摊销推理。具体来说,我们进行基于模拟器的材料质量测试,推断出固化过程中复合材料的安全关键潜在内部温度曲线。
2023-01-21 cs.LG stat.ML
Composable Effects for Flexible and Accelerated Probabilistic Programming in NumPyro
Uber AI(优步人工智能)
NumPyro是一个轻量级库,为Pyro概率编程语言提供了一个替代的NumPy后端,具有相同的建模接口,语言原语和效果处理抽象。效果处理程序允许Pyro的建模API扩展到NumPyro,尽管它构建在一个根本不同的基于JAX的功能后端之上。在这项工作中,我们展示了组成Pyro的效果处理程序与程序转换,使硬件加速,自动微分,并在JAX矢量化的力量。特别是,NumPyro提供了一种可以端到端JIT编译的No-U-Turn Sampler(NUTS)的迭代公式,其实现速度比小型和大型数据集制度中的现有替代方案快得多。
2019-12-24 cs.AI cs.LG cs.PL
Generalized Product of Experts for Automatic and Principled Fusion of Gaussian Process Predictions
University of Toronto(多伦多大学)
在这项工作中,我们提出了一个广义产品的专家(GPoE)框架相结合的多个概率模型的预测。我们确定了四个理想的属性是重要的可扩展性,表现力和鲁棒性,学习和推断与多个模型的组合时。通过分析和实验,我们证明了高斯过程(GP)的gPoE具有这些品质,而没有其他现有的组合方案同时满足所有这些品质。由此产生的GP-gPoE是高度可扩展的,因为单个GP专家可以独立地并行学习;非常有表现力,因为专家组合的方式取决于输入而不是固定的;组合预测仍然是具有自然解释的有效概率模型;并且最终对来自单个专家的不可靠预测具有鲁棒性。
2015-11-24 cs.AI cs.LG stat.ML
Automatic Classification of Variable Stars in Catalogs with missing data
Pontificia Universidad Católica de Chile(智利天主教大学);Harvard-Smithsonian Center for Astrophysics(哈佛-史密森天体物理中心);Harvard University(哈佛大学)
本文提出了一种对含有缺失数据的天文星表进行自动分类的方法。我们使用贝叶斯网络,一种概率图形模型,它允许我们执行推理,以预测给定观测数据和变量之间依赖关系的缺失值。为了从不完整的数据中学习贝叶斯网络,我们使用了一种迭代算法,该算法利用抽样方法和期望最大化来估计具有缺失值的数据中变量的分布和概率依赖性。为了测试我们的模型,我们使用了三个缺失数据的星表(SAGE,2MASS和UBVI)和一个完整的星表(CAMO)。我们研究如何分类准确性的变化时,从缺失的数据目录的信息包括在内,我们的方法相比,传统的缺失数据的方法和计算成本。将这些目录与丢失的数据相结合,我们发现,在保持计算成本不变的情况下,可变对象的分类提高了百分之几,类星体检测提高了15%。
2013-10-29 astro-ph.IM cs.LG stat.ML
Probabilistic Programming with Gaussian Process Memoization
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GPs)是统计学、机器学习、机器人学、计算机视觉和科学计算中广泛使用的工具。然而,尽管它们很受欢迎,但它们很难应用;除了最简单的分类或回归应用程序之外,所有应用程序都需要对复杂的协方差函数进行规范和推断,而这些函数不允许简单的分析后验。本文展示了如何嵌入高斯过程中的任何高阶概率程序设计语言,使用基于记忆的习惯用法,并通过实现和扩展经典和国家的最先进的GP应用程序演示其实用性。高斯过程的接口,称为gptom,将任意实值计算过程作为输入,并返回一个统计仿真器,该仿真器会在调用原始过程并记录其输入输出行为时自动改进。gptom的灵活性说明通过三个应用程序:(i)强大的GP回归与分层超参数学习,(ii)发现符号表达式的时间序列数据通过完全贝叶斯结构学习的随机语法生成的内核,和(iii)一个强盗配方的贝叶斯优化与自动推理和动作选择。所有应用程序都共享一个50行的Python库,每个应用程序只需要不到20行的概率代码。
2016-01-05 cs.AI cs.LG stat.ML
Functional Tensors for Probabilistic Programming
Uber AI(优步人工智能实验室);Facebook(脸书)
设计一个能在统一框架内容纳多种推理策略的概率编程系统是一个重大的挑战。注意到现代自动微分框架的多功能性在很大程度上是基于张量的统一概念,我们描述了一个软件抽象的集成-功能张量-捕获张量的许多好处,同时也能够描述连续的概率分布。此外,函数张量是广义变量消除和并行扫描过滤算法的自然候选者,这些算法能够为一大群易于处理的建模基元进行并行精确推理。我们通过将函数张量集成到Pyro编程语言的建模前端和推理后端来展示函数张量的多功能性。在实验中,我们表明,由此产生的框架,使各种各样的推理策略,包括那些混合精确和近似推理。
2020-03-10 cs.LG stat.ML
Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior
Zhejiang University(浙江大学);The University of Hong Kong(香港大学);Tongji University(同济大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);Aalborg University(奥尔堡大学)
典型多进分解(CPD)的张量秩学习一直被认为是一个重要而又具有挑战性的问题。特别是,由于张量秩控制CPD模型的复杂性,其不准确的学习将导致对噪声的过拟合或对信号源的欠拟合,甚至破坏模型参数的可解释性。然而,张量秩的最佳确定是一个非确定性的多项式时间困难(NP-困难)的任务。在概率CPD建模的背景下,引入了高斯-伽马先验下的贝叶斯推理,而不是通过试错实验来穷尽地搜索最佳张量秩,并且它被证明是自动张量秩确定的有效策略。这引发了对具有自动张量秩学习的其他结构化张量CPD的蓬勃研究。另一方面,这些研究工作也揭示了高斯-伽马模型在高阶张量和/或低信噪比(SNR)下表现不佳。为了克服这些缺点,本文在概率CPD模型之前引入了一种更先进的广义双曲(GH)模型,它不仅包括Gaussian-gamma模型作为特例,而且更灵活地适应不同水平的稀疏性。基于这种新的概率模型,算法的变分推理的框架下,其中每一个更新是在一个封闭的形式。大量的数值结果,使用合成数据和真实世界的数据集,证明了显着改善的性能,所提出的方法在学习低以及高张量秩,即使在低信噪比的情况下。
2022-03-29 cs.LG eess.SP stat.ML
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
PGMax是一个开源Python包,用于(a)轻松地将离散概率图形模型(PGM)指定为因子图;以及(b)在JAX中自动运行高效和可扩展的循环置信传播(LBP)。PGMax支持具有易处理因子的一般因子图,并利用GPU等现代加速器进行推理。与现有的替代方案相比,PGMax获得了更高质量的推理结果,推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互,开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个概率分析模型,它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子,使用神经表示作为输入。神经网络架构基于双向LSTM-CNN,通过使用双向LSTM和CNN的组合,自动受益于单词和字符级表示。在神经网络之上,我们引入了一个概率结构层,定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理(Tutte,1984),可以有效地计算分区函数和边缘,从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Simplifying Probabilistic Expressions in Causal Inference
University of Jyvaskyla(于韦斯屈莱大学)
获得介入分布的非参数表达式是因果推断中最基本的任务之一。这样的表达式可以通过算法或do演算的手动应用获得可识别的因果效应。通常,当涉及到缺失数据或测量误差时,我们会得到一个复杂的表达式,这可能导致有偏差或效率低下的估计。我们提出了一个自动简化算法,旨在消除符号不必要的变量,从这些表达式的基础图形模型的结构的优势。我们的方法适用于所有因果效应公式,并且在R包causaleffect中随时可用。
2018-06-19 cs.AI cs.LG stat.ML
Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs
MIT(麻省理工学院);Siberian Federal University(西伯利亚联邦大学)
计算机视觉作为计算机图形学的贝叶斯逆问题的想法有着悠久的历史和吸引人的优雅,但它已被证明难以直接实现。相反,大多数视觉任务是通过复杂的自下而上的处理管道来完成的。在这里,我们表明,它是可以编写简短,简单的概率图形程序,定义灵活的生成模型,并自动反转它们来解释现实世界的图像。生成概率图形程序包括一个随机场景生成器,基于图形软件的渲染器,连接渲染器的输出和数据的随机似然模型,以及调整渲染器的保真度和似然模型的容限的潜变量。计算机图形学的表示和算法最初是为了产生高质量的图像而设计的,现在被用作高度近似和随机生成模型的确定性支柱。该公式结合了概率编程、计算机图形学和近似贝叶斯计算,并且仅依赖于通用的自动推理技术。我们描述两个应用程序:读取退化和不利模糊的字母数字字符序列,并从车载摄像机图像推断3D道路模型。我们提出的每一个概率图形程序都依赖于不到20行的概率代码,并支持对模糊的真实世界图像进行准确的近似贝叶斯推断。
2013-06-29 cs.AI cs.CV stat.ML
Augur: a Modeling Language for Data-Parallel Probabilistic Inference
Oracle Labs(甲骨文实验室);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学)
为每个新的概率模型实现推理过程是耗时且容易出错的。概率编程通过允许用户指定模型并让编译器自动为其生成推理过程来解决这个问题。为了使这种方法实用,重要的是生成具有合理性能的推理代码。在本文中,我们提出了一个概率编程语言和编译器的贝叶斯网络,旨在有效地利用数据并行架构,如GPU。我们的语言完全集成在Scala编程语言中,并受益于IDE支持,类型检查和代码完成等工具。我们表明,编译器可以生成可扩展到数千个GPU核心的数据并行推理代码,利用贝叶斯网络中的条件独立关系。
2014-06-10 cs.AI cs.DC cs.PL
Verification of ML Systems via Reparameterization
Oracle Labs(甲骨文实验室);Boston College(波士顿学院);University of Pittsburgh(匹兹堡大学);IMDEA Software Institute(IMDEA软件研究所)
随着机器学习越来越多地用于基本系统,减少或消除严重错误的发生率非常重要。越来越多的研究已经开发出机器学习算法,这些算法具有关于性能、鲁棒性或公平性的正式保证。然而,这些算法的分析通常是复杂的,并且在实践中实现这样的系统引入了错误的空间。证明助手可以用于通过构造排除此类错误的机器检查的正确性证明来正式验证机器学习系统。然而,在证明助手内部关于概率性声明的推理仍然具有挑战性。我们展示了如何一个概率程序可以自动表示在一个定理证明使用的概念\emph{reparameterization},以及如何一些繁琐的证明可测性可以自动生成的概率程序。为了证明这种方法足够广泛,可以处理不同类型的机器学习系统,我们验证了统计学习理论的经典结果(决策树桩的PAC可学习性),并证明贝叶斯假设检验中使用的零模型满足称为人口统计学平价的公平性标准。
2020-07-14 cs.AI cs.LG stat.ML
Automatic Relevance Determination For Deep Generative Models
在建立概率潜变量模型时,经常出现的问题是正则化和模型选择,例如潜空间维数的选择。在具有潜在变量的信念网络的背景下,这个问题已经通过采用蒙特卡罗推理的自动相关性确定(ARD)来解决。我们提出了一种变分推断方法,使用双随机变分推断来提供快速和可扩展的学习。我们展示了一个标准数据集上的实证结果,说明了自动收缩潜在空间的影响。我们表明,由此产生的潜在表示显着更紧凑,而不会失去学习模型的表达能力。
2015-08-26 stat.ML
Automatic Variational Inference in Stan
变分推断是一种可扩展的近似贝叶斯推断技术。推导变分推断算法需要繁琐的特定于模型的计算;这使得它难以自动化。提出了一种自动变分推断算法--自动微分变分推断(ADVI)。用户只提供了一个贝叶斯模型和一个数据集;没有别的。我们不做共轭假设,并支持广泛的一类模型。该算法自动确定一个合适的变分家庭和优化的变分目标。我们在Stan中实现了ADVI(代码现已可用),这是一个概率编程框架。我们比较ADVI MCMC抽样分层广义线性模型,非共轭矩阵分解,和混合模型。我们用25万张图片训练混合模型。有了ADVI,我们可以在Stan中编写的任何模型上使用变分推断。
2015-06-12 stat.ML
Time Series Structure Discovery via Probabilistic Program Synthesis
存在对能够从时间序列数据发现结构的技术的广泛需求。最近引入的诸如自动贝叶斯协方差发现(ABCD)的技术提供了一种通过搜索使用简单语法生成的协方差核的空间来在单个时间序列内找到结构的方式。虽然ABCD可以识别广泛的时间模式,但它很难扩展,并且在实践中可能很脆弱。本文展示了如何扩展ABCD制定它的概率程序综合。关键的技术思想是(i)表示模型使用抽象的语法树的域特定的概率语言,和(ii)表示的时间序列模型先验,可能性,和搜索策略,使用概率程序在一个充分表达的语言。最终的概率程序是在Venture中用不到70行的概率代码编写的。该文件演示了一个应用程序,时间序列聚类,涉及非参数扩展ABCD,实验的插值和外推对现实世界的计量经济数据,并提高了非参数和标准回归基线的准确性。
2017-05-22 stat.ML
A Probabilistic Machine Learning Approach to Detect Industrial Plant Faults
随着越来越多的传感器数据在整个工业过程中被收集,工业设备中的故障检测是一个热门的研究领域。自动数据驱动的方法被广泛需要,并被视为有前途的投资领域。提出了一种基于惩罚逻辑斯谛回归、随机森林和梯度提升树等分类方法的工业设备故障预测的有效机器学习算法。通过将原始预测问题转化为分类问题,分两步依次预测故障的开始时间和结束时间。本文描述的算法在预测与健康管理学会2015年数据挑战赛中获得第一名。
2016-03-18 stat.AP stat.ML
Automatic discovery of cell types and microcircuitry from neural connectomics
神经连接组学已经开始产生大量的数据,需要新的分析方法来发现生物和计算结构。长期以来,人们一直认为发现神经元类型及其与微电路的关系对于理解神经功能至关重要。在这里,我们开发了一种非参数贝叶斯技术,识别神经元类型和连接组学数据中的微电路模式。它结合了生物学家传统上使用的信息,包括连接性,细胞体位置和突触的空间分布,以原则和概率一致的方式。我们表明,该方法可以恢复视网膜中已知的神经元类型,并能够预测连通性,优于简单的算法。它也可以揭示有趣的结构,在神经系统的C。elegans,并自动发现微处理器的结构。我们的方法从连接组学中提取结构意义,从而实现从这些新兴数据集自动获得解剖学见解的新方法。
2014-07-15 q-bio.NC stat.ML
Composing inference algorithms as program transformations
Indiana University(印第安纳大学)
对于每个目标模型和每个推理算法,概率推理过程通常都是从头开始精心编写的。我们通过自动从模型生成推理过程来减少这一工作。我们通过将推理算法分解为可重用的程序到程序转换来实现代码生成模块化。这些转换执行精确的推理,并生成计算期望值、密度和MCMC样本的概率程序。由此产生的推理过程是准确和快速的其他概率编程系统在现实世界中的问题。
2017-07-12 cs.AI stat.CO stat.ME