Causal Effect Inference for Structured Treatments
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们解决了结构化治疗的条件平均治疗效果（CATE）的估计（例如，图表、图像、文本）。给出了一个弱条件的效果，我们提出了广义罗宾逊分解，其中（i）隔离的因果估计（减少正则化偏差），（ii）允许一个插件任意模型的学习，（iii）在温和的假设下具有准预言收敛保证。在小世界和分子图的实验中，我们证明了我们的方法在CATE估计中优于以前的工作。
2021-10-27 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Automatic structured variational inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Google Research（谷歌研究院）
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而，变分方法的性能取决于一个合适的变分家庭的选择。在这里，我们介绍了自动结构化变分推断（ASVI），一个全自动的方法构造结构化变分家庭，共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递，因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度，因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现，ASVI提供了一个明显的改善性能相比，其他流行的方法，如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
Graph Structured Prediction Energy Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对于多个变量的联合推断，已经开发了各种结构化预测技术来对变量之间的相关性进行建模，从而改进预测。然而，许多经典的方法遭受的两个主要缺点之一：他们要么缺乏的能力，模型高阶变量之间的相关性，同时保持计算易处理的推理，或者他们不允许明确的模型已知的相关性。为了解决这一缺点，我们引入了“图结构预测能量网络”，我们开发了推理技术，允许对显式局部和隐式高阶相关性进行建模，同时保持推理的易处理性。我们将所提出的方法应用于自然语言处理和计算机视觉领域的任务，并展示了其通用性。
2020-01-05 cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
Theory and computation for structured variational inference
Department of Statistics, Columbia University（哥伦比亚大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Foundations of Data Science, Yale University（耶鲁大学数据科学基础）
针对星形结构变分推断，首次证明其变分近似的存在性、唯一性和自洽性，推导定量误差界并扩展至该场景，开发基于最优传输的梯度算法，还为星形可分传输映射提出新稳定性结果。
2025-11-13 cs.LG stat.ML
On the Fundamental Limits of Exact Inference in Structured Prediction
Purdue University（普渡大学）
推理是结构化预测中的一项主要任务，它可以很自然地用图来建模。在马尔可夫随机场的背景下，噪声观测对应的节点和边缘通常涉及，和精确推理的目标是恢复未知的真实标签为每个节点精确。本文的重点是不考虑计算效率的精确恢复的基本限制，假设由Globerson等人提出的生成过程。（2015）。我们得到了任何算法的必要条件和极大似然估计以高概率实现精确恢复的充分条件，并揭示了充分和必要条件是紧到一个对数因子的广泛的图形。最后，我们证明了Bello和Honorio（2019）的计算易处理方法的基本极限和性能之间存在差距，这意味着需要进一步开发精确推理的算法。
2021-02-17 cs.LG stat.ML
SparseMAP: Differentiable Sparse Structured Inference
Cornell University（康奈尔大学）；Unbabel；Instituto de Telecomunicações（电信研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
结构化预测需要在组合数量的结构上进行搜索。为了解决这个问题，我们引入了SparseMAP：一种新的稀疏结构化推理方法，以及它的自然损失函数。SparseMAP只自动选择几个全局结构：它位于MAP推理和边缘推理之间，MAP推理选择单个结构，边缘推理为所有结构分配概率质量，包括不可信的结构。重要的是，SparseMAP可以仅使用对MAP oracle的调用来计算，使其适用于具有棘手的边缘推理的问题，例如，线性分配稀疏性使梯度反向传播效率高，无论结构如何，使我们能够用通用和稀疏结构的隐藏层来增强深度神经网络。依赖解析和自然语言推理的实验表明，竞争力的准确性，提高可解释性，并捕捉自然语言的歧义，这是有吸引力的管道系统的能力。
2018-06-20 cs.CL cs.LG stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
A deep-structured fully-connected random field model for structured inference
University of Waterloo（滑铁卢大学）
为了结构化推理的目的，在使用全连接的图形模型和深度结构化的图形模型方面已经有了很大的兴趣。然而，完全连接和深度结构化的图形模型在很大程度上是独立探索的，这两个概念的统一有待探索。统一这两种模型的一个根本挑战是处理计算复杂性。在这项研究中，我们调查的可行性，统一的全连接和深层结构化的模型在计算上易于处理的方式结构化推理的目的。为了实现这一点，我们引入了一个深结构的全连接随机场（DFRF）模型，该模型集成了一系列放置在状态层之间的中间稀疏自动编码层，以显着降低计算复杂度。图像分割的问题被用来说明使用DFRF的结构化推理的可行性，在计算上易于处理的方式。在这项研究中的结果表明，它是可行的，以计算上易于处理的方式来解决结构化推理问题，如图像分割，统一的全连接和深层结构化的模型。
2015-05-27 cs.IT cs.LG math.IT
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
通过信息投影的近似推理最近被引入作为一种通用的方法，用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性，提出了有效的算法，通过信息投影的近似推理，适用于任何结构的变量集，承认枚举使用\emph{matroid}。我们表明，由此产生的信息投影可以减少到组合子模优化拟阵约束。此外，利用最新的子模块优化的进展，我们提供了一个有效的贪婪算法，具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的，正如我们所展示的，包括组稀疏回归，组稀疏主成分分析和稀疏典型相关分析等。此外，模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比，建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Automatic variational inference with cascading flows
Donders Centre for Cognition, Radboud University（拉德堡德大学唐德斯认知中心）；One Planet（一个星球（研究机构））
概率推理的自动化是机器学习的主要目标之一。最近，变分推断和深度学习的融合产生了强大而灵活的自动推理方法，可以通过随机梯度下降进行训练。特别是，归一化流是高度参数化的深度模型，可以拟合任意复杂的后验密度。然而，规范化流在高度结构化的概率程序中很难实现，因为它们需要重新学习程序的前向传递。自动结构化变分推断（ASVI）通过构造嵌入前向传递的变分程序来解决这个问题。在这里，我们结合规范化流的灵活性和事先嵌入属性的ASVI在一个新的家庭变分方案，我们命名为级联流。级联流程序在先前程序的条件分布之间插入一个新设计的高速公路流架构，以便将其转向观察到的数据。这些程序可以从输入的概率程序自动构造，也可以自动摊销。我们在一系列的结构化推理问题的新变分方案的性能进行评估。我们发现，级联流有更高的性能比规范化流程和ASVI在一个大的结构化推理问题。
2021-02-09 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Deep Structured Mixtures of Gaussian Processes
TU Graz（格拉茨工业大学）；OFAI（奥地利人工智能研究所）；TU Eindhoven（埃因霍温理工大学）；University of Cambridge（剑桥大学）
高斯过程（GP）是一种功能强大的非参数贝叶斯回归模型，允许精确的后验推理，但具有较高的计算和内存成本。为了提高GP的可扩展性，经常采用近似后验推理，其中一类突出的近似技术是基于本地GP专家的。然而，到目前为止提出的本地专家技术要么没有很好的原则，有限的近似保证，或导致棘手的模型。在本文中，我们引入了GP专家的深度结构化混合物，这是一种随机过程模型，i）允许精确的后验推理，ii）具有吸引人的计算和内存成本，iii）当用作GP近似时，捕获预测不确定性始终优于以前的基于专家的近似。在各种实验中，我们表明，深度结构的混合物具有较低的近似误差，并且通常具有竞争力或优于先前的工作。
2020-04-26 cs.LG stat.ML
Learning Energy-Based Approximate Inference Networks for Structured Applications in NLP
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
结构化预测在自然语言处理（NLP）中有着悠久的历史。结构化应用的复杂模型带来了学习和推理的困难。这些困难导致研究人员更多地关注具有简单结构组件的模型（例如，局部分类器）。近年来，深度表示学习变得越来越流行。另一方面，他们的方法的结构组成部分通常相对简单。本文主要研究复杂结构模型。我们为复杂的结构化模型提供了一个学习框架，以及一种具有更好的速度/精度/搜索误差权衡的推理方法。本文首先对基于能量的模型进行了一般性的介绍。在NLP和其他应用中，能量函数与评分函数的概念相当。在本文中，我们讨论了能量函数的概念和不同能量函数的结构模型。然后，我们提出了一种方法，在该方法中，我们训练一个神经网络进行argmax推理下的结构化能量函数，称为“推理网络”或“基于能量的推理网络”的训练网络。然后，我们开发了使用对抗学习框架联合学习能量函数和推理网络的方法。尽管基于能量的模型的推理和学习困难，我们在这篇论文中提出的方法，使基于能量的模型更容易被应用在结构化的NLP应用程序。
2021-08-27 cs.CL cs.LG
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Structured Neural Networks for Density Estimation and Causal Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；California Institute of Technology（加州理工学院）
该研究提出结构化神经网络StrNN，通过基于神经网络架构与二进制矩阵分解关联设计的掩码注入结构，解决NP难的结构设计问题，在密度估计和因果推断任务中验证了效用，为相关研究开辟新途径。
2023-11-03 cs.LG stat.ML
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Approximate Inference in Structured Instances with Noisy Categorical Observations
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了在噪声观测存在的情况下，恢复具有分类随机变量的结构化实例的潜在地面真值标记的问题。我们提出了一个新的近似算法，实现低汉明误差的存在噪声的顶点和边的观察与分类变量的图。我们的主要结果表明，对数依赖的汉明误差的类别的随机变量的数量。我们的方法与具有固定数量的聚类的相关聚类相连接。我们的研究结果将Globerson et al.（2015）和Foster et al.（2018）的工作推广到了分类标签的情况，他们研究了二元标签下结构化预测的难度。
2019-07-06 cs.DS cs.LG stat.ML
Structured Inference Networks for Nonlinear State Space Models
New York University（纽约大学）
高斯状态空间模型作为序列数据的生成模型已经使用了几十年。他们承认一个直观的概率解释，有一个简单的功能形式，并享有广泛的采用。我们引入了一种统一的算法来有效地学习广泛的线性和非线性状态空间模型，包括由深度神经网络建模的发射和跃迁分布的变体。我们的学习算法同时学习编译的推理网络和生成模型，利用递归神经网络参数化的结构化变分近似来模拟后验分布。我们将学习算法应用于合成和真实世界的数据集，展示了其可扩展性和多功能性。我们发现，使用结构化近似的后验结果的模型具有显着更高的保持出来的可能性。
2016-12-05 cs.AI cs.LG stat.ML
Structured Stochastic Variational Inference
Adobe Research（Adobe研究院）；Columbia University（哥伦比亚大学）
随机变分推理使得使用随机优化来快速近似由大数据集诱导的后验分布成为可能。该算法依赖于使用完全因式分解的变分分布。然而，这种“平均场”独立近似限制了后验近似的保真度，并引入局部最优。我们展示了如何放松平均场近似，以允许全局参数和局部隐变量之间的任意依赖关系，通过减少偏差，对局部最优值的敏感性和对超参数的敏感性来产生更好的参数估计。
2014-11-26 cs.LG
Blending Learning and Inference in Structured Prediction
University of Haifa（海法大学）；ETH Zurich（苏黎世联邦理工学院）；TTI Chicago（芝加哥丰田工业研究所）
在本文中，我们推导出一个有效的算法来学习一般图形模型中的结构预测参数。该算法融合了学习和推理任务，与传统的方法，如条件随机场和结构化支持向量机相比，速度有了显著的提高。为此，我们利用预测器的结构来描述一个低维结构化预测任务，该任务在学习模型参数的同时鼓励不同结构内的局部迭代。学习任务的凸性提供了在不同部分之间加强协调的手段。我们提出的推理学习混合算法保证收敛到低维原规划和对偶规划的最优解。与许多现有的方法不同，推理学习混合允许我们在任何大小的区域和非常大量的参数上有效地学习高阶图形模型。我们证明了我们的方法的有效性，同时提出国家的最先进的立体声估计，语义分割，形状重建，室内场景理解的结果。
2013-08-30 cs.LG
Cost-Effective Incentive Allocation via Structured Counterfactual Inference
University of California, Berkeley（加州大学伯克利分校）；Ant Financial Service Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们解决了一个普遍存在于现代营销活动中的实际问题，在这个问题中，中央代理试图学习一个政策，用于向客户分配战略性的财务激励措施，并只观察到强盗反馈。与传统的政策优化框架相比，我们考虑到在这种情况下常见的额外的奖励结构和预算约束，并开发了一个新的两步法来解决这个约束反事实的政策优化问题。我们的方法首先铸造的奖励估计问题作为一个补充结构的域适应问题，然后使用的估计优化的政策约束。我们还建立了我们的估计过程的理论误差范围，我们的经验表明，该方法导致显着改善合成和真实的数据集。
2019-11-11 cs.LG stat.ML
Single Shot Structured Pruning Before Training
University of Oxford（牛津大学）
我们介绍了一种使用在训练前应用的结构化修剪来将深度神经网络中的训练速度加快2倍并将推理速度加快3倍的方法。与以前在训练前修剪单个权重的工作不同，我们的工作开发了一种方法来删除整个通道和隐藏单元，其明确目标是加快训练和推理。我们引入了一个计算感知的评分机制，使修剪单位的灵敏度每FLOP删除，允许更大的速度。我们的方法快速，易于实现，并且在训练开始之前只需要对一批数据进行一次向前/向后传递即可完成修剪。
2020-07-01 cs.LG stat.ML
Improving Joint Training of Inference Networks and Structured Prediction Energy Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；New York University（纽约大学）
基于深度能量的模型很强大，但对学习和推理构成了挑战（Belanger和McCallum，2016）。Tu和Gimpel（2018）通过训练“推理网络”来近似结构化推理，而不是使用梯度下降，为基于能量的模型开发了一个有效的框架。然而，他们的交替优化方法在训练过程中存在不稳定性，需要额外的损失项和仔细的超参数调整。在本文中，我们提供了几种策略来稳定和改进这种用于结构化预测的能量函数和推理网络的联合训练。我们设计了一个复合目标，共同训练成本增加和测试时间推理网络以及能量函数。我们提出了联合参数化的推理网络，鼓励他们在学习过程中捕捉互补的功能。我们经验验证我们的策略在两个序列标签任务，显示更容易的路径比以前的工作，以及进一步改善与全球能源方面的强劲表现。
2020-10-10 cs.CL cs.LG
Fairness constraints can help exact inference in structured prediction
结构化预测中的许多推理问题可以建模为在标签空间上最大化得分函数，其中图是将总分数分解为一元（节点）和成对（边缘）分数之和的自然表示。给定具有无向连接图$G$和二进制标签的真实向量的生成模型，先前已经示出，当$G$具有良好的扩展属性时，例如完全图或$d$ -正则扩展器，可以从每个边缘和节点的单个噪声观察中精确地恢复真实标签（具有高概率并且在多项式时间内）。我们在统计奇偶性的概念下分析了以前研究过的生成模型，由Globerson等人（2015）。也就是说，给定一个公平的二进制节点标记，我们问的问题是，是否有可能恢复公平的分配，以高概率和多项式时间，从单一的边缘和节点的意见。我们发现，与公知的公平性和模型性能之间的权衡相比，公平性约束的加入提高了准确恢复的概率。我们有效地解释了这一现象，并经验性地展示了具有较差扩展特性的图形（如网格）现在如何能够以高概率实现精确恢复。最后，作为我们的分析的副产品，我们提供了一个更严格的最小特征值界比外尔不等式。
2020-07-01 cs.LG stat.ML
Tight Measurement Bounds for Exact Recovery of Structured Sparse Signals
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
标准压缩感测结果表明，为了精确地恢复R ^p中的s稀疏信号，需要O（s）。log（p））测量。虽然这个界限在实践中非常有用，但现实世界的信号往往不仅稀疏，而且还表现出稀疏模式的结构。本文主要研究群体结构模式。在该模型下，信号系数组一起是活动的（或非活动的）。组是预定义的，但是活动的组的特定集合（即，在信号支持中）必须从测量中学习。我们表明，利用知识的群体，可以进一步减少所需的精确信号恢复测量的数量，并推导出所需的测量数量的普遍界限。这个界限是普遍的，因为它只取决于所考虑的群体的数量，而不取决于群体的具体情况（例如，组成、大小、范围、重叠等）。实验表明，我们的结果适用于各种重叠群配置。
2011-10-18 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Structured Inference with Large Language Gibbs
University of Edinburgh, School of Informatics（爱丁堡大学信息学院）
提出大语言吉布斯方法，利用大语言模型的条件分布作为转移算子进行结构化概率推理，通过迭代重采样变量避免顺序偏差，在合成分布、一致性推理和贝叶斯结构学习中验证有效性。
2026-09-04 cs.CL cs.LG
Benchmarking Approximate Inference Methods for Neural Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
利用神经网络评分函数进行精确的结构化推理在计算上是具有挑战性的，但是已经提出了几种用于近似推理的方法。一种方法是直接相对于输出结构执行梯度下降（Belanger和McCallum，2016）。最近提出的另一种方法是训练一个神经网络（“推理网络”）来执行推理（Tu和Gimpel，2018）。在本文中，我们比较了这两个家庭的推理方法在三个序列标记数据集。我们选择序列标记，因为它允许我们使用精确推理作为速度，准确性和搜索错误方面的基准。在数据集上，我们证明了推理网络比梯度下降实现了更好的速度/准确度/搜索误差权衡，同时在相似的准确度水平下比精确推理更快。我们发现通过结合推理网络和梯度下降，使用前者为后者提供一个温暖的开始，进一步的好处。
2019-07-06 cs.AI cs.CL cs.LG
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Train and Test Tightness of LP Relaxations in Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Cambridge（剑桥大学）；New York University（纽约大学）
结构化预测用于计算机视觉和自然语言处理等领域，以预测结构化输出，如分割或解析树。在这些设置中，预测是通过MAP推理或等效地通过求解整数线性规划来执行的。由于获得准确预测所需的复杂评分函数，学习和推理通常都需要使用近似求解器。我们提出了一个理论上的解释，惊人的观察，基于线性规划（LP）松弛的近似往往是紧密的现实世界的情况。特别是，我们表明，学习与LP松弛推理鼓励完整性的训练实例，并从训练的紧密性推广到测试数据。
2016-04-27 cs.AI cs.LG stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Structured Variational Inference in Continuous Cox Process Models
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；UNSW（新南威尔士大学）；Centre for Translational Data Science（转化数据科学中心）；The University of Sydney（悉尼大学）
我们提出了一个可扩展的框架，在一个非齐次泊松过程建模的连续sigmoidal Cox过程，假设相应的强度函数是由一个高斯过程（GP）事先转换成一个缩放的逻辑sigmoid函数的推断。我们提出了一个易于处理的表示的可能性，通过增强与叠加的泊松过程。此视图支持结构化变分近似，捕获模型中变量之间的依赖关系。我们的框架避免了域的离散化，不需要在输入空间上进行精确的数值积分，并且不限于具有平方指数核的GP。我们评估我们的方法在合成和真实世界的数据显示，它的好处是特别明显的多元输入设置，它克服了平均场方法和采样方案的局限性。我们提供了最先进的速度，准确性和不确定性量化权衡方面。
2019-06-07 cs.LG stat.AP stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
BLAST: Block-Level Adaptive Structured Matrices for Efficient Deep Neural Network Inference
University of Michigan（密歇根大学）
针对大模型推理的密集矩阵运算计算挑战，提出BLAST块级自适应结构化矩阵，可灵活表示多种权重结构，在中/大模型上均实现高效压缩且性能损失更低。
2024-10-30 cs.AI cs.LG stat.ML
Scaling Structured Inference with Randomization
University of Edinburgh（爱丁堡大学）；Columbia University（哥伦比亚大学）
深度离散结构化模型最近已经取得了相当大的进展，但是使用动态规划（DP）的传统推理通常只适用于少量状态（少于数百个），这严重限制了模型容量。与此同时，在整个机器学习中，最近有一种趋势是使用随机截断技术来加速涉及大额的计算。在这里，我们提出了一个家庭的随机动态规划（RDP）算法的规模结构化模型的潜在状态数以万计。我们的方法是广泛适用于经典的DP为基础的推理（分区，边际，重新参数化，熵）和不同的图形结构（链，树，更一般的超图）。它还与自动微分兼容：它可以与神经网络无缝集成，并通过基于梯度的优化器进行学习。我们的核心技术通过在一小部分节点上限制和重新加权DP来近似和积，从而减少了数量级的计算。我们进一步通过Rao-Blackwellization和重要性采样实现低偏差和方差。在不同图上的实验证明了我们的方法的准确性和效率。此外，当使用RDP训练一个结构化的变分自编码器与缩放推理网络，我们实现了更好的测试可能性比基线，并成功地防止后崩溃。代码：https://github.com/FranxYao/RDP
2022-07-24 cs.CL cs.DS cs.LG
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary（威廉与玛丽学院）；Northeastern University（东北大学）；University of Southern California（南加州大学）
在移动设备上实现实时的【形】深度神经网络（DNN）推理是有吸引力但具有挑战性的，因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理，即，DNN权重稀疏性，并且期望设计一种新的DNN权重稀疏性方案，其可以促进移动设备上的实时的【形】推理，同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM，该框架通用于卷积神经网络（CNN）和递归神经网络（RNN），并实现了实时的【形】执行和高精度，利用细粒度结构化稀疏模型推理和编译器优化。首先，我们提出了一个新的细粒度结构稀疏方案，通过基于块的列行（BCR）修剪。基于这种新的细粒度结构稀疏性，GRIM框架由两部分组成：（a）用于实时的【形】移动推理的编译器优化和代码生成;（b）用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN，TVM，TensorFlow-Lite，基于CSR，PatDNN和ESE（RNN的代表性FPGA推理加速框架）的稀疏实现进行了比较，并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
Structured Variational Inference in Unstable Gaussian Process State Space Models
ETH Zurich（苏黎世联邦理工学院）
提出了一种新的变分推理算法，用于高斯过程状态空间模型（GPSSMs）的学习。我们的算法可以学习不稳定和部分可观测的系统，以前的算法失败。我们的主要算法贡献是一个新的近似后验，可以有效地计算使用一个单一的向前和向后通过沿训练轨迹。前向-后向传递的灵感来自线性动态系统的卡尔曼平滑，但推广到GPSSM。我们的第二个贡献是修改的条件步骤，有效地降低了卡尔曼增益。这种修改对于在没有测量值的情况下获得良好的测试性能至关重要。最后，我们的实验表明，我们的学习算法表现良好，在稳定和不稳定的真实系统的隐藏状态。
2020-06-10 cs.LG cs.SY eess.SY
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania（宾夕法尼亚大学）
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题，本文提出结构化变分族，证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
TRACER: Training-Free Closed-Loop Structured Inference for Traffic Accident Reconstruction
State Key Laboratory of Internet of Things for Smart City（智能城市物联网国家重点实验室）
提出无训练框架TRACER，通过闭环结构化推理，在几何、运动学和交互约束下迭代优化事件锚定运动假设，实现与人类专家工作流一致的可解释交通事故重建。
2026-06-25 cs.LG
Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference
University of Central Florida（中央佛罗里达大学）
本文提出一种无需训练的贝叶斯结构解码框架，将灵活长度生成转化为动态结构推断问题，通过统一机制实现动态结构生成，提升生成质量和灵活性。
2026-11-03 cs.LG
Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference
Queen’s University（女王大学）
虽然最近对自然语言推理的研究已经从大型注释数据集中受益匪浅，但注释数据中提供的推理相关知识（包括常识）的数量仍然相当有限。有两种方法可以用来进一步解决这一限制：（1）无监督预训练可以利用更大的非结构化文本数据中的知识;（2）结构化（通常是人工策划的）知识已经开始被考虑用于NLI的基于神经网络的模型。一个迫在眉睫的问题是，这两种方法是否可以相互补充，或者如何开发能够将它们的优势结合起来的模型。在本文中，我们提出了在预训练模型的不同组件中利用结构化知识的模型。我们的研究结果表明，所提出的模型比以前的BERT为基础的国家的最先进的模型表现更好。虽然我们的模型是为NLI提出的，但它们可以很容易地扩展到其他句子或句子对分类问题。
2021-09-08 cs.AI cs.CL cs.LG
Fast nonparametric clustering of structured time-series
University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）
在本出版物中，我们结合了两个贝叶斯非参数模型：高斯过程（GP）和狄利克雷过程（DP）。我们在GP模型中的创新是引入GP先验的变化，使我们能够对结构化时间序列数据进行建模，即包含我们希望对组间和组内变异性进行建模的组的数据。我们在DP模型中的创新是一种新的快速折叠变分推理过程的实现，它使我们能够比标准VB方法更快地优化变分逼近。在生物时间序列应用中，我们展示了我们的模型如何更好地捕捉数据的显著特征，从而与现有的生物分类保持更好的一致性，而相关的推理算法提供了基于EM的变分推理的两倍加速。
2014-04-14 cs.CV cs.LG stat.ML
LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Unbabel
结构化预测需要操纵大量的组合结构，例如，依赖树或比对，作为潜在变量或输出变量。最近，SparseMAP方法已被提出作为最大后验概率（MAP）和边际推理的可微稀疏替代方案。SparseMAP返回少量结构的组合，这在某些下游应用程序中是一个理想的属性。然而，SparseMAP需要一个易于处理的MAP推理oracle。这排除了，例如，循环图模型或具有逻辑约束的因子图，这通常需要近似推理。在本文中，我们介绍了LP-SparseMAP，SparseMAP的扩展，解决了这个限制，通过局部多面体松弛。LP-SparseMAP使用因子图的灵活和强大的域特定语言来定义和反向传播任意隐藏结构，支持粗分解，硬逻辑约束和高阶相关性。我们推导出使用LP-SparseMAP作为隐藏层或输出层所需的前向和后向算法。在三个结构化预测任务的实验表明，与SparseMAP和结构化SVM相比，它具有优势。
2020-08-05 cs.CL cs.LG stat.ML
Efficient Decomposed Learning for Structured Prediction
结构化预测是若干机器学习应用的基石。不幸的是，在具有表达性变量间相互作用的结构化预测设置中，基于精确推理的学习算法（例如，结构SVM）通常是难以处理的。我们提出了一种新的方法，分解学习（DecL），它通过将推理步骤限制在结构化空间的有限部分来进行有效的学习。我们提供了基于结构，目标参数和黄金标签的特征，在此基础上，DecL等同于精确学习。然后，我们表明，在现实世界中，我们的理论假设可能不完全成立，基于DecL的算法是更有效的，准确的精确学习。
2012-06-18 cs.LG
Dynamic Programming in Rank Space: Scaling Structured Inference with Low-Rank HMMs and PCFGs
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
隐马尔可夫模型（Hidden Markov Models，HRM）和概率上下文无关文法（ProbabilityContext-Free Grammars，PCFG）是广泛使用的结构化模型，它们都可以表示为因子图文法（FactorGraph Grammars，FGG），这是一种能够描述广泛模型的强大形式主义。最近的研究发现，使用大的状态空间对HALF和PCFG是有益的。然而，具有大状态空间的推断在计算上要求很高，特别是对于PCFG。为了应对这一挑战，我们利用张量秩分解（tensor rank decomposition）。CPD）来降低包含HMF和PCFG的FGG子集的推理计算复杂性。我们应用CPD的FGG的因素，然后构造一个新的定义在秩空间中的FGG。当秩大小小于状态大小时，用新的FGG进行推断产生相同的结果，但是具有较低的时间复杂度。我们进行实验，HMM语言建模和无监督PCFG解析，表现出更好的性能比以前的工作。我们的代码可在\url{https://github.com/VPeterV/RankSpace-Models}上公开获取。
2022-05-01 cs.CL cs.LG
