Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Exact Inference in High-order Structured Prediction
Purdue University（普渡大学）
本文研究高阶结构化预测中的推断问题，提出两阶段凸优化算法实现精确标签恢复，并利用超图Cheeger型不等式将算法性能与超边扩展性质相联系。
2023-02-07 cs.LG stat.ML
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
稀疏变分近似允许在高斯过程（GP）模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中，这些GP是后验耦合的。对于许多应用，例如回归，其中预测精度是感兴趣的量，这种耦合并不重要。然而，如果人们对后验不确定性感兴趣，它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时，均值场方法提供了快速准确的后验均值，而结构化后验均值导致推理算法的计算复杂度更高。在这里，我们扩展了以前的稀疏GP近似，并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Partial Inference in Structured Prediction
Purdue University（普渡大学）
针对结构化预测中的部分推断问题，提出基于生成模型的两阶段凸优化标签恢复方法，并从 KKT 条件及原始-对偶构造出发给出可证明的统计与拓扑保证。
2023-06-06 cs.LG stat.ML
Bayesian Semi-structured Subspace Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich and MCML（慕尼黑大学和慕尼黑机器学习中心）；UZH and ZHAW Zürich（苏黎世大学和苏黎世应用科学大学）
针对半结构回归模型缺乏认知不确定性建模的问题，提出结构化全参数与非结构化子空间联合后验采样的贝叶斯子空间推断方法，可恢复结构化后验并逼近MCMC，且预测性能具有竞争力。
2024-01-23 cs.LG stat.ML
Causal Effect Inference for Structured Treatments
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们解决了结构化治疗的条件平均治疗效果（CATE）的估计（例如，图表、图像、文本）。给出了一个弱条件的效果，我们提出了广义罗宾逊分解，其中（i）隔离的因果估计（减少正则化偏差），（ii）允许一个插件任意模型的学习，（iii）在温和的假设下具有准预言收敛保证。在小世界和分子图的实验中，我们证明了我们的方法在CATE估计中优于以前的工作。
2021-10-27 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Automatic structured variational inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Google Research（谷歌研究院）
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而，变分方法的性能取决于一个合适的变分家庭的选择。在这里，我们介绍了自动结构化变分推断（ASVI），一个全自动的方法构造结构化变分家庭，共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递，因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度，因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现，ASVI提供了一个明显的改善性能相比，其他流行的方法，如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
Graph Structured Prediction Energy Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对于多个变量的联合推断，已经开发了各种结构化预测技术来对变量之间的相关性进行建模，从而改进预测。然而，许多经典的方法遭受的两个主要缺点之一：他们要么缺乏的能力，模型高阶变量之间的相关性，同时保持计算易处理的推理，或者他们不允许明确的模型已知的相关性。为了解决这一缺点，我们引入了“图结构预测能量网络”，我们开发了推理技术，允许对显式局部和隐式高阶相关性进行建模，同时保持推理的易处理性。我们将所提出的方法应用于自然语言处理和计算机视觉领域的任务，并展示了其通用性。
2020-01-05 cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
Theory and computation for structured variational inference
Department of Statistics, Columbia University（哥伦比亚大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Foundations of Data Science, Yale University（耶鲁大学数据科学基础）
针对星形结构变分推断，首次证明其变分近似的存在性、唯一性和自洽性，推导定量误差界并扩展至该场景，开发基于最优传输的梯度算法，还为星形可分传输映射提出新稳定性结果。
2025-11-13 cs.LG stat.ML
SparseMAP: Differentiable Sparse Structured Inference
Cornell University（康奈尔大学）；Unbabel；Instituto de Telecomunicações（电信研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
结构化预测需要在组合数量的结构上进行搜索。为了解决这个问题，我们引入了SparseMAP：一种新的稀疏结构化推理方法，以及它的自然损失函数。SparseMAP只自动选择几个全局结构：它位于MAP推理和边缘推理之间，MAP推理选择单个结构，边缘推理为所有结构分配概率质量，包括不可信的结构。重要的是，SparseMAP可以仅使用对MAP oracle的调用来计算，使其适用于具有棘手的边缘推理的问题，例如，线性分配稀疏性使梯度反向传播效率高，无论结构如何，使我们能够用通用和稀疏结构的隐藏层来增强深度神经网络。依赖解析和自然语言推理的实验表明，竞争力的准确性，提高可解释性，并捕捉自然语言的歧义，这是有吸引力的管道系统的能力。
2018-06-20 cs.CL cs.LG stat.ML
Variational Message Passing with Structured Inference Networks
最近将深度模型与概率图模型相结合的努力在提供灵活的模型方面很有希望，这些模型也很容易解释。我们提出了一个变分消息传递算法的变分推断在这样的模型。我们做了三个贡献。首先，我们提出了结构化的推理网络，它将图形模型的结构纳入变分自动编码器（VAE）的推理网络中。其次，我们建立条件下，这样的推理网络，使快速摊销推理类似于VAE。最后，我们推导出一个变分的消息传递算法进行有效的自然梯度推理，同时保持摊销推理的效率。通过同时启用深度结构化模型的结构化，摊销和自然梯度推理，我们的方法简化和推广了现有的方法。
2018-06-14 stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
A deep-structured fully-connected random field model for structured inference
University of Waterloo（滑铁卢大学）
为了结构化推理的目的，在使用全连接的图形模型和深度结构化的图形模型方面已经有了很大的兴趣。然而，完全连接和深度结构化的图形模型在很大程度上是独立探索的，这两个概念的统一有待探索。统一这两种模型的一个根本挑战是处理计算复杂性。在这项研究中，我们调查的可行性，统一的全连接和深层结构化的模型在计算上易于处理的方式结构化推理的目的。为了实现这一点，我们引入了一个深结构的全连接随机场（DFRF）模型，该模型集成了一系列放置在状态层之间的中间稀疏自动编码层，以显着降低计算复杂度。图像分割的问题被用来说明使用DFRF的结构化推理的可行性，在计算上易于处理的方式。在这项研究中的结果表明，它是可行的，以计算上易于处理的方式来解决结构化推理问题，如图像分割，统一的全连接和深层结构化的模型。
2015-05-27 cs.IT cs.LG math.IT
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
通过信息投影的近似推理最近被引入作为一种通用的方法，用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性，提出了有效的算法，通过信息投影的近似推理，适用于任何结构的变量集，承认枚举使用\emph{matroid}。我们表明，由此产生的信息投影可以减少到组合子模优化拟阵约束。此外，利用最新的子模块优化的进展，我们提供了一个有效的贪婪算法，具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的，正如我们所展示的，包括组稀疏回归，组稀疏主成分分析和稀疏典型相关分析等。此外，模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比，建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Exact inference in structured prediction
结构化预测可以被认为是多个标签的同时预测。这通常通过最大化标签空间上的得分函数来完成，该得分函数分解为成对和一元势的总和。以上自然地用图来建模，其中边和顶点分别与成对势和一元势相关。我们考虑了Globerson等人提出的生成过程，并将其应用于一般连通图。我们分析的结构条件的图，允许的标签的准确恢复。我们的研究结果表明，准确的恢复是可能的，并在多项式时间的一个大类的图实现。特别是，我们表明，图是坏的扩展器可以通过添加来自Erdens-Rényi模型的小的边缘扰动来完全恢复。最后，作为我们分析的副产品，我们提供了一个扩展的Cheeger不等式。
2019-06-02 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Automatic variational inference with cascading flows
Donders Centre for Cognition, Radboud University（拉德堡德大学唐德斯认知中心）；One Planet（一个星球（研究机构））
概率推理的自动化是机器学习的主要目标之一。最近，变分推断和深度学习的融合产生了强大而灵活的自动推理方法，可以通过随机梯度下降进行训练。特别是，归一化流是高度参数化的深度模型，可以拟合任意复杂的后验密度。然而，规范化流在高度结构化的概率程序中很难实现，因为它们需要重新学习程序的前向传递。自动结构化变分推断（ASVI）通过构造嵌入前向传递的变分程序来解决这个问题。在这里，我们结合规范化流的灵活性和事先嵌入属性的ASVI在一个新的家庭变分方案，我们命名为级联流。级联流程序在先前程序的条件分布之间插入一个新设计的高速公路流架构，以便将其转向观察到的数据。这些程序可以从输入的概率程序自动构造，也可以自动摊销。我们在一系列的结构化推理问题的新变分方案的性能进行评估。我们发现，级联流有更高的性能比规范化流程和ASVI在一个大的结构化推理问题。
2021-02-09 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Deep Structured Mixtures of Gaussian Processes
TU Graz（格拉茨工业大学）；OFAI（奥地利人工智能研究所）；TU Eindhoven（埃因霍温理工大学）；University of Cambridge（剑桥大学）
高斯过程（GP）是一种功能强大的非参数贝叶斯回归模型，允许精确的后验推理，但具有较高的计算和内存成本。为了提高GP的可扩展性，经常采用近似后验推理，其中一类突出的近似技术是基于本地GP专家的。然而，到目前为止提出的本地专家技术要么没有很好的原则，有限的近似保证，或导致棘手的模型。在本文中，我们引入了GP专家的深度结构化混合物，这是一种随机过程模型，i）允许精确的后验推理，ii）具有吸引人的计算和内存成本，iii）当用作GP近似时，捕获预测不确定性始终优于以前的基于专家的近似。在各种实验中，我们表明，深度结构的混合物具有较低的近似误差，并且通常具有竞争力或优于先前的工作。
2020-04-26 cs.LG stat.ML
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Structured Neural Networks for Density Estimation and Causal Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；California Institute of Technology（加州理工学院）
该研究提出结构化神经网络StrNN，通过基于神经网络架构与二进制矩阵分解关联设计的掩码注入结构，解决NP难的结构设计问题，在密度估计和因果推断任务中验证了效用，为相关研究开辟新途径。
2023-11-03 cs.LG stat.ML
Gray-box inference for structured Gaussian process models
针对具有高斯过程（GP）先验和线性链似然的贝叶斯结构预测问题，提出了一种自动变分推理方法。我们的方法不需要知道结构化似然模型的细节，并且可以扩展到大量的观测。此外，我们表明，所需的预期似然项及其梯度的变分目标（ELBO）可以有效地估计使用期望非常低维高斯分布。ELBO的优化是完全并行的序列，并服从随机最优化，我们使用控制变量技术和最先进的增量优化，使我们的框架在实践中有用。一组自然语言处理任务的结果表明，我们的方法可以一样好（有时更好）硬编码的方法，包括SVM-struct和CRF，并克服了以前的推理算法基于采样的可扩展性限制。总的来说，这是为贝叶斯结构化预测开发自动推理方法的基本步骤。
2016-09-14 stat.ML
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Approximate Inference in Structured Instances with Noisy Categorical Observations
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了在噪声观测存在的情况下，恢复具有分类随机变量的结构化实例的潜在地面真值标记的问题。我们提出了一个新的近似算法，实现低汉明误差的存在噪声的顶点和边的观察与分类变量的图。我们的主要结果表明，对数依赖的汉明误差的类别的随机变量的数量。我们的方法与具有固定数量的聚类的相关聚类相连接。我们的研究结果将Globerson et al.（2015）和Foster et al.（2018）的工作推广到了分类标签的情况，他们研究了二元标签下结构化预测的难度。
2019-07-06 cs.DS cs.LG stat.ML
Structured Inference Networks for Nonlinear State Space Models
New York University（纽约大学）
高斯状态空间模型作为序列数据的生成模型已经使用了几十年。他们承认一个直观的概率解释，有一个简单的功能形式，并享有广泛的采用。我们引入了一种统一的算法来有效地学习广泛的线性和非线性状态空间模型，包括由深度神经网络建模的发射和跃迁分布的变体。我们的学习算法同时学习编译的推理网络和生成模型，利用递归神经网络参数化的结构化变分近似来模拟后验分布。我们将学习算法应用于合成和真实世界的数据集，展示了其可扩展性和多功能性。我们发现，使用结构化近似的后验结果的模型具有显着更高的保持出来的可能性。
2016-12-05 cs.AI cs.LG stat.ML
Cost-Effective Incentive Allocation via Structured Counterfactual Inference
University of California, Berkeley（加州大学伯克利分校）；Ant Financial Service Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们解决了一个普遍存在于现代营销活动中的实际问题，在这个问题中，中央代理试图学习一个政策，用于向客户分配战略性的财务激励措施，并只观察到强盗反馈。与传统的政策优化框架相比，我们考虑到在这种情况下常见的额外的奖励结构和预算约束，并开发了一个新的两步法来解决这个约束反事实的政策优化问题。我们的方法首先铸造的奖励估计问题作为一个补充结构的域适应问题，然后使用的估计优化的政策约束。我们还建立了我们的估计过程的理论误差范围，我们的经验表明，该方法导致显着改善合成和真实的数据集。
2019-11-11 cs.LG stat.ML
Single Shot Structured Pruning Before Training
University of Oxford（牛津大学）
我们介绍了一种使用在训练前应用的结构化修剪来将深度神经网络中的训练速度加快2倍并将推理速度加快3倍的方法。与以前在训练前修剪单个权重的工作不同，我们的工作开发了一种方法来删除整个通道和隐藏单元，其明确目标是加快训练和推理。我们引入了一个计算感知的评分机制，使修剪单位的灵敏度每FLOP删除，允许更大的速度。我们的方法快速，易于实现，并且在训练开始之前只需要对一批数据进行一次向前/向后传递即可完成修剪。
2020-07-01 cs.LG stat.ML
Fairness constraints can help exact inference in structured prediction
结构化预测中的许多推理问题可以建模为在标签空间上最大化得分函数，其中图是将总分数分解为一元（节点）和成对（边缘）分数之和的自然表示。给定具有无向连接图$G$和二进制标签的真实向量的生成模型，先前已经示出，当$G$具有良好的扩展属性时，例如完全图或$d$ -正则扩展器，可以从每个边缘和节点的单个噪声观察中精确地恢复真实标签（具有高概率并且在多项式时间内）。我们在统计奇偶性的概念下分析了以前研究过的生成模型，由Globerson等人（2015）。也就是说，给定一个公平的二进制节点标记，我们问的问题是，是否有可能恢复公平的分配，以高概率和多项式时间，从单一的边缘和节点的意见。我们发现，与公知的公平性和模型性能之间的权衡相比，公平性约束的加入提高了准确恢复的概率。我们有效地解释了这一现象，并经验性地展示了具有较差扩展特性的图形（如网格）现在如何能够以高概率实现精确恢复。最后，作为我们的分析的副产品，我们提供了一个更严格的最小特征值界比外尔不等式。
2020-07-01 cs.LG stat.ML
Tight Measurement Bounds for Exact Recovery of Structured Sparse Signals
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
标准压缩感测结果表明，为了精确地恢复R ^p中的s稀疏信号，需要O（s）。log（p））测量。虽然这个界限在实践中非常有用，但现实世界的信号往往不仅稀疏，而且还表现出稀疏模式的结构。本文主要研究群体结构模式。在该模型下，信号系数组一起是活动的（或非活动的）。组是预定义的，但是活动的组的特定集合（即，在信号支持中）必须从测量中学习。我们表明，利用知识的群体，可以进一步减少所需的精确信号恢复测量的数量，并推导出所需的测量数量的普遍界限。这个界限是普遍的，因为它只取决于所考虑的群体的数量，而不取决于群体的具体情况（例如，组成、大小、范围、重叠等）。实验表明，我们的结果适用于各种重叠群配置。
2011-10-18 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Train and Test Tightness of LP Relaxations in Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Cambridge（剑桥大学）；New York University（纽约大学）
结构化预测用于计算机视觉和自然语言处理等领域，以预测结构化输出，如分割或解析树。在这些设置中，预测是通过MAP推理或等效地通过求解整数线性规划来执行的。由于获得准确预测所需的复杂评分函数，学习和推理通常都需要使用近似求解器。我们提出了一个理论上的解释，惊人的观察，基于线性规划（LP）松弛的近似往往是紧密的现实世界的情况。特别是，我们表明，学习与LP松弛推理鼓励完整性的训练实例，并从训练的紧密性推广到测试数据。
2016-04-27 cs.AI cs.LG stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Structured Variational Inference in Continuous Cox Process Models
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；UNSW（新南威尔士大学）；Centre for Translational Data Science（转化数据科学中心）；The University of Sydney（悉尼大学）
我们提出了一个可扩展的框架，在一个非齐次泊松过程建模的连续sigmoidal Cox过程，假设相应的强度函数是由一个高斯过程（GP）事先转换成一个缩放的逻辑sigmoid函数的推断。我们提出了一个易于处理的表示的可能性，通过增强与叠加的泊松过程。此视图支持结构化变分近似，捕获模型中变量之间的依赖关系。我们的框架避免了域的离散化，不需要在输入空间上进行精确的数值积分，并且不限于具有平方指数核的GP。我们评估我们的方法在合成和真实世界的数据显示，它的好处是特别明显的多元输入设置，它克服了平均场方法和采样方案的局限性。我们提供了最先进的速度，准确性和不确定性量化权衡方面。
2019-06-07 cs.LG stat.AP stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
BLAST: Block-Level Adaptive Structured Matrices for Efficient Deep Neural Network Inference
University of Michigan（密歇根大学）
针对大模型推理的密集矩阵运算计算挑战，提出BLAST块级自适应结构化矩阵，可灵活表示多种权重结构，在中/大模型上均实现高效压缩且性能损失更低。
2024-10-30 cs.AI cs.LG stat.ML
Scaling Structured Inference with Randomization
University of Edinburgh（爱丁堡大学）；Columbia University（哥伦比亚大学）
深度离散结构化模型最近已经取得了相当大的进展，但是使用动态规划（DP）的传统推理通常只适用于少量状态（少于数百个），这严重限制了模型容量。与此同时，在整个机器学习中，最近有一种趋势是使用随机截断技术来加速涉及大额的计算。在这里，我们提出了一个家庭的随机动态规划（RDP）算法的规模结构化模型的潜在状态数以万计。我们的方法是广泛适用于经典的DP为基础的推理（分区，边际，重新参数化，熵）和不同的图形结构（链，树，更一般的超图）。它还与自动微分兼容：它可以与神经网络无缝集成，并通过基于梯度的优化器进行学习。我们的核心技术通过在一小部分节点上限制和重新加权DP来近似和积，从而减少了数量级的计算。我们进一步通过Rao-Blackwellization和重要性采样实现低偏差和方差。在不同图上的实验证明了我们的方法的准确性和效率。此外，当使用RDP训练一个结构化的变分自编码器与缩放推理网络，我们实现了更好的测试可能性比基线，并成功地防止后崩溃。代码：https://github.com/FranxYao/RDP
2022-07-24 cs.CL cs.DS cs.LG
Structured Variational Inference in Unstable Gaussian Process State Space Models
ETH Zurich（苏黎世联邦理工学院）
提出了一种新的变分推理算法，用于高斯过程状态空间模型（GPSSMs）的学习。我们的算法可以学习不稳定和部分可观测的系统，以前的算法失败。我们的主要算法贡献是一个新的近似后验，可以有效地计算使用一个单一的向前和向后通过沿训练轨迹。前向-后向传递的灵感来自线性动态系统的卡尔曼平滑，但推广到GPSSM。我们的第二个贡献是修改的条件步骤，有效地降低了卡尔曼增益。这种修改对于在没有测量值的情况下获得良好的测试性能至关重要。最后，我们的实验表明，我们的学习算法表现良好，在稳定和不稳定的真实系统的隐藏状态。
2020-06-10 cs.LG cs.SY eess.SY
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania（宾夕法尼亚大学）
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题，本文提出结构化变分族，证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型，其图形和参数随时间的突变而变化。我们证明，它是可能的执行精确的贝叶斯推断，只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后，我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是，我们表明，数量，如后验分布的变化点或后边缘概率随时间的推移，可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
Composing graphical models with neural networks for structured representations and fast inference
我们提出了一个通用的建模和推理框架，该框架将概率图模型与深度学习方法组合在一起，并结合了它们各自的优势。我们的模型家族用神经网络观测模型增强了潜变量的图形结构。对于推理，我们扩展变分自编码器使用图形模型近似分布与识别网络输出共轭电位。这些模型的所有组件都是通过一个目标同时学习的，从而提供了一个可扩展的算法，该算法利用了随机变分推断、自然梯度、图形模型消息传递和重新参数化技巧。我们说明了这个框架与几个例子模型和应用程序的小鼠行为表型。
2017-07-07 stat.ML
Fast nonparametric clustering of structured time-series
University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）
在本出版物中，我们结合了两个贝叶斯非参数模型：高斯过程（GP）和狄利克雷过程（DP）。我们在GP模型中的创新是引入GP先验的变化，使我们能够对结构化时间序列数据进行建模，即包含我们希望对组间和组内变异性进行建模的组的数据。我们在DP模型中的创新是一种新的快速折叠变分推理过程的实现，它使我们能够比标准VB方法更快地优化变分逼近。在生物时间序列应用中，我们展示了我们的模型如何更好地捕捉数据的显著特征，从而与现有的生物分类保持更好的一致性，而相关的推理算法提供了基于EM的变分推理的两倍加速。
2014-04-14 cs.CV cs.LG stat.ML
LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Unbabel
结构化预测需要操纵大量的组合结构，例如，依赖树或比对，作为潜在变量或输出变量。最近，SparseMAP方法已被提出作为最大后验概率（MAP）和边际推理的可微稀疏替代方案。SparseMAP返回少量结构的组合，这在某些下游应用程序中是一个理想的属性。然而，SparseMAP需要一个易于处理的MAP推理oracle。这排除了，例如，循环图模型或具有逻辑约束的因子图，这通常需要近似推理。在本文中，我们介绍了LP-SparseMAP，SparseMAP的扩展，解决了这个限制，通过局部多面体松弛。LP-SparseMAP使用因子图的灵活和强大的域特定语言来定义和反向传播任意隐藏结构，支持粗分解，硬逻辑约束和高阶相关性。我们推导出使用LP-SparseMAP作为隐藏层或输出层所需的前向和后向算法。在三个结构化预测任务的实验表明，与SparseMAP和结构化SVM相比，它具有优势。
2020-08-05 cs.CL cs.LG stat.ML
Policy Message Passing: A New Algorithm for Probabilistic Graph Inference
Borealis AI（北极光人工智能）；Princeton University（普林斯顿大学）；Simon Fraser University（西蒙弗雷泽大学）
一般的图结构神经网络架构通过两个核心组件对图进行操作：（1）足够复杂的消息函数;（2）固定的信息聚合过程。在本文中，我们提出了政策消息传递算法，它需要一个概率的角度来看，并重新制定了整个信息聚合的随机序列过程。该算法可以在更大的搜索空间上进行搜索，利用推理历史进行推理，对噪声边缘具有较好的鲁棒性。我们将我们的算法应用于多个复杂的图推理和预测任务，并表明我们的算法始终优于最先进的图结构模型。
2019-09-29 cs.CV cs.LG stat.ML
