Courtroom Analogy: New Perspective on Uncertainty-Aware Classification
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology（工业与系统工程系，韩国科学技术院）
提出法庭类比框架，通过结构化混合狄利克雷分布建模分类中的不确定性聚合，并设计单次前馈神经网络MoDEX实现高效、可解释的不确定性量化。
2026-05-25 cs.LG stat.ML
Structured Neural Chaos: An Adaptive Surrogate Modeling Framework for Functional Uncertainty Quantification and Global Sensitivity Analysis
University of Colorado Denver（科罗拉多大学丹佛分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该研究提出结构化神经混沌（sNC）代理建模框架，结合PCE的可解释性与神经网络的表达能力，用于解决高维随机输入和功能响应系统的不确定性量化与全局敏感性分析问题，可自适应识别主导模式并低成本提取相关量。
2026-08-03 cs.LG stat.ML
Marginal Structured SVM with Hidden Variables
University of California, Irvine（加州大学欧文分校）
在这项工作中，我们提出了边缘结构支持向量机（MSSVM）的隐变量结构预测。MSSVM适当地考虑了隐藏变量的不确定性，并且可以显着优于先前提出的潜在结构化SVM（LSSVM; Yu & Joachims（2009））和其他最先进的方法，特别是当不确定性很大时。我们的方法还产生了更平滑的目标函数，使得MSSVM的基于梯度的优化比LSSVM收敛得更快。我们还表明，我们的方法始终优于隐藏的条件随机场（HCRF; Quattoni et al.（2007））在模拟和真实世界的数据集。此外，我们提出了一个统一的框架，包括我们和其他几个现有的方法作为特例，并提供了在实践中不同模型的比较见解。
2014-09-05 cs.LG stat.ML
Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们介绍了结构化预测能量网络（SPENs），这是一个灵活的结构化预测框架。使用深度架构来定义候选标签的能量函数，然后通过使用反向传播迭代优化标签的能量来产生预测。这种深度架构捕获标签之间的依赖关系，这些依赖关系会导致难以处理的图形模型，并通过自动学习结构化输出的区分特征来执行结构学习。我们的技术的一个自然应用是多标签分类，传统上需要对标签之间的相互作用进行严格的先验假设，以确保易于处理的学习和预测。我们能够将SPEN应用于多标签问题，其标签集比以前的结构化预测应用程序大得多，同时使用最小的结构假设对高阶相互作用进行建模。总的来说，深度学习为学习预测问题的输入特征提供了出色的工具，这项工作将这些技术扩展到学习结构化输出的特征。我们的实验在各种基准多标签分类任务上提供了令人印象深刻的性能，证明了我们的技术可用于提供可解释的结构学习，并阐明了前馈和迭代结构化预测之间的基本权衡。
2016-06-23 cs.LG stat.ML
Stochastic Deep Learning: A Probabilistic Framework for Modeling Uncertainty in Structured Temporal Data
University of Essex（埃塞克斯大学）
本文提出随机潜在微分推断框架，通过整合随机微分方程与深度生成模型，提升结构时间数据中不确定性建模的精度与稳定性。
2026-01-08 cs.LG econ.EM math.ST
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
Structured Conformal Inference for Matrix Completion with Applications to Group Recommender Systems
本文提出一种结构化共形推断方法，通过广义加权共形化框架为矩阵补全中的同列缺失项构建群组级联合置信区域，并在 MovieLens 100K 上验证了其在群组推荐中的有效性。
2025-02-10 stat.ME stat.ML
Conditional Uncertainty Quantification for Tensorized Topological Neural Networks
New York University（纽约大学）；University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；Temple University（天普大学）；University of California, Riverside（加州大学河滨分校）
本文提出CF-T2NN方法，通过张量分解和拓扑知识学习对图结构数据进行严格的不确定性量化，并在10个真实数据集上验证了其在图分类任务中优于现有方法。
2024-10-20 cs.LG stat.ML
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
End-to-End Learning for Structured Prediction Energy Networks
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
结构化预测能量网络（SPEN）是一个简单但富有表现力的结构化预测模型家族（Belanger和McCallum，2016）。候选结构化输出的能量函数由深度网络给出，预测由基于梯度的优化形成。本文介绍了SPENs的端到端学习，其中能量函数通过基于梯度的预测通过反向传播进行有区别地训练。根据我们的经验，该方法比Belanger和McCallum（2016）的结构化SVM方法更准确，因为它允许我们使用更复杂的非凸能量。我们提供了一系列技术来提高端到端SPEN的速度，准确性和内存要求，并展示了我们的方法在7场景图像去噪和CoNLL-2005语义角色标记任务上的强大功能。在这两种情况下，非凸SPEN能量的不精确最小化优于使用可以精确最小化的简单能量函数的基线方法。
2017-07-15 cs.LG stat.ML
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Graph Structured Prediction Energy Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对于多个变量的联合推断，已经开发了各种结构化预测技术来对变量之间的相关性进行建模，从而改进预测。然而，许多经典的方法遭受的两个主要缺点之一：他们要么缺乏的能力，模型高阶变量之间的相关性，同时保持计算易处理的推理，或者他们不允许明确的模型已知的相关性。为了解决这一缺点，我们引入了“图结构预测能量网络”，我们开发了推理技术，允许对显式局部和隐式高阶相关性进行建模，同时保持推理的易处理性。我们将所提出的方法应用于自然语言处理和计算机视觉领域的任务，并展示了其通用性。
2020-01-05 cs.LG stat.ML
Efficient Structured Prediction with Latent Variables for General Graphical Models
ETH Zurich（苏黎世联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
在本文中，我们提出了一个统一的框架，结构化预测与潜在的变量，其中包括隐条件随机场和潜在的结构支持向量机作为特殊情况。我们描述了一个局部熵近似这个一般配方使用对偶，并推导出一个有效的消息传递算法，保证收敛。我们证明了它的有效性的任务，图像分割，以及3D室内场景理解从单一的图像，表明我们的方法是优于潜在的结构化支持向量机和隐藏的条件随机场。
2012-06-27 cs.LG stat.ML
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
A Consistent Regularization Approach for Structured Prediction
Laboratory for Computational and Statistical Learning - Istituto Italiano di Tecnologia（意大利理工学院计算与统计学习实验室）；Massachusetts Institute of Technology（麻省理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了结构化预测问题的正则化方法。我们刻画了一个大类的损失函数，允许自然地嵌入结构化输出的线性空间。我们利用这一事实设计学习算法使用代理损失的方法和正则化技术。我们证明了所提出的方法的普遍一致性和有限样本界特征的泛化性能。实验结果证明了所提出的方法的实用性。
2017-07-28 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
IllinoisSL: A JAVA Library for Structured Prediction
Microsoft Research New England（微软新英格兰研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；University of Utah（犹他大学）
IllinoisSL是一个用于学习结构化预测模型的Java库。它支持结构化支持向量机和结构化感知器。该库由一个核心学习模块和几个应用程序组成，可以从命令行执行。提供文档以指导用户。与其他结构化学习库相比，IllinoisSL具有高效、通用和易于使用的特点。
2015-09-23 cs.CL cs.LG stat.ML
On the inconsistency of separable losses for structured prediction
Universite Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
在本文中，我们证明了结构化预测的可分离负对数似然损失不一定是贝叶斯一致的，或者换句话说，最小化这些损失可能不会导致模型预测给定输入的数据分布中最可能的结构。这一事实引发了一个问题，即这些损失是否适合结构化预测，如果是的话，为什么。
2023-01-25 cs.CL cs.LG stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University（康奈尔大学）；MIT（麻省理工学院）；MGH（麻省总医院）
在分类应用中，我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术，最近已与贝叶斯推理联系起来，产生了一种有效的方法来量化神经网络模型中的不确定性。然而，如前所述，使用dropout的天真实现计算的置信度估计可能校准不良，特别是在使用卷积网络时。在本文中，通过集成学习的镜头，我们关联的校准误差与模型之间的相关性与辍学。受此启发，我们探索使用结构化的辍学，以促进模型的多样性和提高置信度校准。我们使用SVHN，CIFAR-10和CIFAR-100数据集，从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Resource Constrained Structured Prediction
Boston University（波士顿大学）；Microsoft Research（微软研究院）
研究了测试时间预算约束下的结构化预测问题。我们提出了一种新的方法，适用于计算机视觉和自然语言处理中的各种结构化预测问题。我们的方法旨在自适应地生成计算成本高的功能，在测试时，以减少预测的计算成本，同时保持预测性能。我们表明，训练的自适应功能生成系统可以减少到一系列的结构化学习问题，从而有效的训练，使用现有的结构化学习算法。这个框架提供了一些现有的启发式方法在文献中发现的理论依据。我们评估了我们提出的自适应系统的两个结构化预测任务，光学字符识别（OCR）和依赖解析，并显示出强大的性能，在降低功能成本，而不降低精度。
2016-06-08 cs.CL cs.CV cs.LG
Structured Prediction Theory Based on Factor Graph Complexity
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
本文对结构预测进行了一般性的理论分析，并得到了一系列新的结果。我们给出了新的数据依赖的保证金结构化预测的损失函数和一般家庭的假设，任意因子图分解。这是标准多类和一般结构化预测问题中已知的最严格的边界。我们的保证表示在一个依赖于数据的复杂性措施，因子图的复杂性，我们可以从数据和熟悉的数量方面的有界估计。我们通过利用投票风险最小化（VRM）的原则进一步扩展了我们的理论，并表明即使使用复杂的因子图也可以进行学习。我们提出了新的学习界限，这种先进的设置，我们用它来设计两个新的算法，投票条件随机场（VCRF）和投票结构提升（StructBoost）。这些算法可以利用复杂的特征和因子图，但受益于良好的学习保证。我们还报告了VCRF在几个数据集上的实验结果，以验证我们的理论。
2016-12-01 cs.LG stat.ML
Semi-supervised Learning with the EM Algorithm: A Comparative Study between Unstructured and Structured Prediction
University of Alabama（阿拉巴马大学）
半监督学习旨在从标记和未标记的样本中学习预测模型。在这一领域进行了广泛的研究。在现有的工作中，期望最大化（EM）生成混合模型是一个流行的方法，由于明确的统计性质。然而，现有的基于EM的半监督学习的文献主要集中在非结构化预测，假设样本是独立和同分布的。基于EM的半监督方法在结构化预测中的研究有限。本文旨在通过对基于EM的半监督学习中的非结构化和结构化方法的比较研究来填补这一空白。具体来说，我们比较了它们的理论性质，发现这两种方法都可以被认为是一种泛化的自训练与软类分配的未标记的样本，但结构化的方法还考虑结构约束的软类分配。我们进行了一个案例研究，对现实世界的洪水映射数据集，比较这两种方法。结果表明，结构化EM是更强大的类混淆所造成的噪声和障碍的特点，在洪水映射应用程序的上下文中。
2020-08-28 cs.LG stat.ML
Adversarial Structured Prediction for Multivariate Measures
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多预测的结构化对象（例如，序列、匹配、树）使用F分数、比对错误率（AER）或其它多变量性能测量来评估。由于使用训练数据归纳地优化这些测量通常在计算上是困难的，因此采用替代损失的经验风险最小化，例如，（结构化）支持向量机的铰链损失。这些近似值通常会在学习者的目标和期望的应用性能之间引入不匹配，从而导致不一致。我们采取了不同的方法：在优化精确的F分数或AER的同时，对训练数据进行逆向近似。在此公式下的结构化预测是通过解决寻求最佳性能的预测器和寻求最差性能的对手之间的零和游戏而产生的，同时需要（近似）匹配训练数据的某些结构化属性。我们探索这种方法的字对齐（AER评价）和命名实体识别（F-评分评价）与线性链约束。
2017-12-21 cs.LG stat.ML
Learning Maximum-A-Posteriori Perturbation Models for Structured Prediction in Polynomial Time
Purdue University（普渡大学）
MAP扰动模型已经成为结构化预测中推理的一个强大框架。这种模型提供了一种有效地从吉布斯分布中采样的方法，并有助于对随机噪声具有鲁棒性的预测。在本文中，我们提出了一个可证明的多项式时间随机算法学习参数的扰动MAP预测。我们的方法是基于最小化一个新的Rademacher为基础的泛化上的扰动MAP预测，这可以在多项式时间计算的预期损失的界限。我们获得的条件下，我们的随机学习算法可以保证推广到看不见的例子。
2018-05-21 cs.LG stat.ML
Evaluating and Calibrating Uncertainty Prediction in Regression Tasks
General Motors Israel（通用汽车以色列公司）；Technion（以色列理工学院）；Bar-Ilan University（巴伊兰大学）
不仅预测目标，而且准确测量不确定性对于许多机器学习应用，特别是安全关键应用都很重要。在这项工作中，我们研究了在现实世界中经常出现的回归任务的不确定性预测的校准。我们发现，回归不确定性校准的现有定义[Kuleshov et al. 2018]在区分信息性和非信息性不确定性预测方面存在严重局限性。我们提出了一个新的定义，逃避这个警告和评价方法，使用一个简单的直方图为基础的方法。我们的方法聚类的例子与类似的不确定性预测，并比较预测与经验的不确定性对这些例子。我们还提出了一个简单的，基于缩放的校准方法，以及更复杂的预制件。我们显示结果的合成，控制问题和目标检测边界框回归任务使用COCO和KITTI数据集。
2020-02-03 cs.LG stat.ML
Joint Structured Learning and Predictions under Logical Constraints in Conditional Random Fields
Xerox Research Centre Europe（施乐欧洲研究中心）
本文主要研究有监督机器学习环境下的结构化机器学习。它讨论了如何对不同性质的相互依赖对象进行联合结构化学习，以及如何在预测标签时实施逻辑约束。我们解释了这种需要是如何出现在一个文件理解任务。然后，我们讨论了条件随机场（CRF）的一般扩展，并在开源PyStruct库的基础上提供了贡献的开源实现。我们评估其性能上公开可用的数据集。
2017-08-25 cs.LG stat.ML
Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
我们提出了一种网络架构，能够可靠地估计基于回归的预测的不确定性，而不牺牲准确性。目前最先进的不确定性算法要么达不到与均方误差优化相媲美的预测精度，要么低估了网络预测的方差。我们提出了一个解耦的网络架构，能够同时实现这两个。我们通过将预测和预测区间（PI）估计的学习分解为两个阶段的训练过程来实现这一点。我们使用自定义的损失函数来学习优化均值估计周围的PI范围，其中PI范围内的目标标签的比例具有期望的覆盖率。我们将所提出的方法与当前最先进的不确定性量化算法在合成数据集和UCI基准上进行了比较，将预测误差降低了23%至34%，同时保持95%的预测区间覆盖概率（PICP）。我们还通过评估主动学习来检查我们的预测不确定性的质量，并在UCI基准测试中展示了17%至36%的误差减少。
2022-02-19 cs.LG stat.ML
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
Structured Prediction Cascades
University of Pennsylvania（宾夕法尼亚大学）
结构化预测任务在需要模型复杂性以增加预测能力与有限的计算资源之间进行基本权衡，用于在此类模型所需的指数大小的输出空间中进行推断。我们制定并开发了结构化预测级联架构：一系列日益复杂的模型，逐步过滤可能的输出空间。我们方法的关键原理是，级联中的每个模型都经过优化，以准确过滤和细化下一个模型的结构化输出状态空间，从而加快级联下一层的学习和推理。我们通过优化一个新的凸损失函数来学习级联，该函数控制级联的过滤效率和精度之间的权衡，并为精度和效率提供泛化界。我们还扩展了我们的方法，棘手的模型，使用树分解合奏，并提供算法和理论，这种设置。我们评估我们的方法在几个大规模的问题，实现国家的最先进的性能在手写识别和人体姿势识别。我们发现，结构化的预测级联允许巨大的加速和使用以前棘手的功能和模型在这两种设置。
2012-08-06 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Prediction of hierarchical time series using structured regularization and its application to artificial neural networks
University of Tsukuba（筑波大学）；Fujitsu Laboratories Ltd.（富士通实验室有限公司）
本文讨论了层次时间序列的预测，其中每个上层时间序列是通过求和适当的下层时间序列计算的。对这种层次时间序列的预测应该是一致的，这意味着对上层时间序列的预测等于对相应下层时间序列的预测之和。以前的方法，使连贯的预测包括两个阶段：第一计算基础（不连贯）的预测，然后调和这些预测的基础上，其固有的层次结构。为了改善时间序列预测，我们提出了一种结构化正则化方法，同时完成这两个阶段。该方法基于底层时间序列的预测模型，并使用结构化正则化项将上层预测纳入预测模型。我们还开发了一个反向传播算法专门应用我们的方法，人工神经网络的时间序列预测。使用合成和真实世界的数据集的实验结果表明，我们的方法在预测精度和计算效率方面的优越性。
2020-07-30 cs.LG stat.ML
Minimax bounds for structured prediction
结构化预测可以被认为是许多标准监督学习任务的推广，并且通常被认为是多个标签的同时预测。一种标准的方法是最大化标签空间上的得分函数，该得分函数分解为一元和成对势的总和，每个势分别取决于一个或两个特定的标签。对于这种方法，多年来已经提出了几种学习和推理算法，从精确到近似方法，同时平衡计算复杂性。然而，与二进制和多类分类相比，实现学习所需的样本数量的结果仍然有限，即使是对于特定的预测因子家族，如因子图。在这项工作中，我们提供了极大极小界的一类因素图推理模型的结构化预测。也就是说，我们描述了任何可能的算法实现因子图预测器学习所需的样本复杂度。
2019-06-02 cs.LG stat.ML
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction
Department of Computer Science, University of Reading, United Kingdom（计算机科学系，阅读大学，英国）
本文提出结构化径向基函数网络s-RBFN，通过质心Voronoi镶嵌、结构化数据集构建与参数化多样性控制实现多假设回归预测，在两类多变量预测任务上验证了其更优的泛化性与计算效率。
2024-09-20 cs.LG stat.ML
Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Differentiable Dynamic Programming for Structured Prediction and Attention
Inria Parietal Saclay（法国国家信息与自动化研究所（Inria） Parietal Saclay）；NTT Communication Science Laboratories（NTT通信科学实验室）
动态规划（DP）通过迭代地将各种结构化组合问题分解为更小的子问题来解决这些问题。尽管DP算法具有多功能性，但它们通常是不可微的，这妨碍了它们作为通过反向传播训练的神经网络中的层的使用。为了解决这个问题，我们建议使用强凸正则化器来平滑动态规划递归中的最大算子。这允许放松的最优值和解决方案的原始组合问题，并把广泛的一类DP算法到微分算子。从理论上讲，我们提供了一个新的概率角度反向传播通过这些DP运营商，并将它们与图形模型中的推理。我们得到两个特定的实例，我们的框架，一个平滑的Viterbi算法的序列预测和平滑的DTW算法的时间序列对齐。我们在两个结构化预测任务和神经机器翻译的结构化和稀疏注意力上展示了这些实例。
2018-02-20 cs.LG stat.ML
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS（法国国家信息与自动化研究所/巴黎高等师范学院）；HSE（高等经济学院）；MILA（米拉魁北克人工智能研究所）；DIRO（计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失，我们构建了一个凸代理，可以通过随机梯度下降优化，我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比，我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果，我们形式化的直觉，一些任务的损失，使学习比别人更难，经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient
University of British Columbia（英属哥伦比亚大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
大型深度学习模型中的不确定性估计在计算上是一项具有挑战性的任务，其中甚至难以形成对后验分布的高斯近似。在这种情况下，现有的方法通常采用协方差矩阵的对角近似，尽管这些矩阵已知会导致不确定性估计。为了解决这个问题，我们提出了一个新的随机，低秩，近似自然梯度（SLANG）方法变分推断在大，深模型。我们的方法仅基于网络对数似然的反向传播梯度来估计“对角加低秩”结构。这比计算整个变分目标的梯度的方法需要更少的梯度计算。对标准基准的实证评估证实，SLANG能够比平均场方法更快，更准确地估计不确定性，并执行最先进的方法。
2019-01-12 cs.AI cs.LG stat.ML
Data Uncertainty without Prediction Models
Samsung Display（三星显示）
用于机器学习的数据采集过程通常是昂贵的。为了用更少的数据构建高性能的预测模型，预测的难度通常被部署为添加新数据点时的获取功能。这种困难程度被称为预测模型中的不确定性。我们提出了一种不确定性估计方法，称为距离加权类杂质，而无需明确使用预测模型。我们估计的不确定性使用的距离和类杂质周围的位置，并比较它与几种方法的基础上预测模型的不确定性估计的主动学习任务。我们验证了距离加权类杂质有效工作，无论预测模型。
2022-04-25 cs.AI cs.LG stat.ML
DBCal: Density Based Calibration of classifier predictions for uncertainty quantification
Pacific Northwest National Laboratory（太平洋西北国家实验室）
测量来自机器学习方法的预测的不确定性在科学领域和应用中是重要的。我们目前，据我们所知，第一个这样的技术，量化的不确定性的预测从一个分类器和帐户的分类器的信念和性能。我们证明，我们的方法提供了一个准确的估计的概率，两个神经网络的输出是正确的，通过显示一个预期的校准误差小于0.2%的二进制分类器，和小于3%的语义分割网络与极端的类不平衡。我们的经验表明，我们的方法返回的不确定性是分类器的预测是正确的概率的准确测量，因此在不确定性传播具有广泛的实用性。
2022-04-01 cs.LG stat.ML
Uncertainty Intervals for Graph-based Spatio-Temporal Traffic Prediction
University of Amsterdam（阿姆斯特丹大学）
许多交通预测应用依赖于不确定性估计而不是平均预测。统计流量预测文献有一个完整的子领域专门用于不确定性建模，但最近的深度学习流量预测模型要么缺乏这一功能，要么做出限制其实用性的特定假设。我们提出了分位数图Wavenet，一个时空神经网络，它被训练来估计密度给定的测量以前的时间步，条件分位数。我们的密度估计方法完全由我们的神经网络参数化，内部不使用似然近似。分位数损失函数是不对称的，这使得可以对偏斜密度进行建模。这种方法产生不确定性估计，而不需要在推理过程中进行采样，例如在Monte Carlo Dropout中，这使得我们的方法也很有效。
2020-12-09 cs.LG stat.ML
Partial Inference in Structured Prediction
Purdue University（普渡大学）
针对结构化预测中的部分推断问题，提出基于生成模型的两阶段凸优化标签恢复方法，并从 KKT 条件及原始-对偶构造出发给出可证明的统计与拓扑保证。
2023-06-06 cs.LG stat.ML
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated Failure Time Models
Ludwig Maximilians University Munich（慕尼黑路德维希-马克西米利安大学）；Siemens AG（西门子股份公司）；University Hospital Erlangen（埃尔朗根大学医院）
基于递归神经网络的解决方案越来越多地用于纵向电子健康记录数据的分析。然而，大多数工作都集中在预测准确性上，而忽视了预测的不确定性。我们提出了用于时间到事件预测任务的深度内核加速故障时间模型，通过递归神经网络和稀疏高斯过程的管道实现预测的不确定性意识。此外，基于深度度量学习的预训练步骤适于增强所提出的模型。在两个真实数据集上的实验中，我们的模型显示出比基于递归神经网络的基线更好的点估计性能。更重要的是，我们模型的预测方差可用于量化事件发生时间预测的不确定性估计：当我们的模型对其预测更有信心时，它会提供更好的性能。与相关方法（如Monte Carlo Dropout）相比，我们的模型通过利用分析解决方案提供了更好的不确定性估计，并且计算效率更高。
2021-07-26 cs.LG stat.ML
Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Imperial College London（帝国理工学院）
我们研究了结构化预测的代理方法和多任务学习技术之间的相互作用，这些方法旨在利用代理输出之间的关系。我们提出了一个有效的算法的基础上跟踪范数正则化，不同于以往的方法，不需要明确的知识的代理框架的编码/解码功能。因此，我们的算法可以适用于代理空间是大的，甚至无限维的广泛的问题。我们研究了迹范数正则化结构预测的超额风险界，这意味着我们的估计的一致性和学习率。我们还确定了相关的制度，我们的方法可以享受更好的泛化性能比以前的方法。排序问题的数值实验表明，在代理输出之间强制执行低秩关系确实可以在实践中提供显着的优势。
2019-03-02 cs.LG stat.ML
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
A Smoother Way to Train Structured Prediction Models
University of Washington（华盛顿大学）
我们提出了一个框架，训练一个结构化的预测模型进行平滑推理算法，它建立在。平滑克服了最大间隔结构化预测目标固有的非平滑性，并为使用基于快速原始梯度的优化算法铺平了道路。我们通过开发一种新的结构支持向量机的原始增量优化算法来说明所提出的框架。该算法融合了外推计划的加速和自适应平滑计划，并建立在随机方差降低梯度算法。我们建立了最坏情况下的全局复杂度界限，并研究了几个实际的变体，包括对深度结构化预测的扩展。我们提出了两个现实世界的问题，即命名实体识别和视觉对象定位的实验结果。实验结果表明，该框架允许我们建立在高效的推理算法，开发大规模的优化算法的结构化预测，可以实现竞争力的性能上的两个现实世界的问题。
2019-02-08 cs.LG math.OC stat.ML
Exploring Uncertainty in Deep Learning for Construction of Prediction Intervals
Tianjin University（天津大学）
近年来，深度学习在许多任务上取得了令人印象深刻的表现。然而，人们发现，深度神经网络仅提供点估计仍然是不够的。对于高风险任务，我们需要评估模型预测的可靠性。这就要求我们对模型预测的不确定性进行量化，构造预测区间。在本文中，我们探讨了深度学习中的不确定性来构建预测区间。一般来说，我们综合考虑两类不确定性：偶然的不确定性和认识的不确定性。我们设计了一个特殊的损失函数，使我们能够学习不确定性没有不确定性标签。我们只需要监督回归任务的学习。我们从损失函数中隐含地学习偶然的不确定性。认识上的不确定性是以集合的形式来解释的。我们的方法与不确定性估计的预测区间的建设。一些公开的数据集上的令人印象深刻的结果表明，我们的方法的性能与其他国家的最先进的方法具有竞争力。
2021-04-27 cs.AI cs.LG stat.ML
Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction
Amazon Research（亚马逊研究院）；Heidelberg University（海德堡大学）
随机零阶（SZO）或无梯度优化允许仅依赖于参数扰动下的函数评估来优化任意函数，然而，SZO方法的迭代复杂度与扰动函数的维数成比例。我们表明，在结构化预测应用中具有自然稀疏模式的情况下，该因子可以减少到输入输出对上的活动特征的预期数量。我们给出了一个一般的证明，适用于稀疏SZO优化Lipschitz连续，非凸，随机目标，并提出了一个实验评估线性强盗结构预测任务与稀疏字为基础的特征表示，证实我们的理论结果。
2020-11-10 cs.CL cs.LG stat.ML
Train and Test Tightness of LP Relaxations in Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Cambridge（剑桥大学）；New York University（纽约大学）
结构化预测用于计算机视觉和自然语言处理等领域，以预测结构化输出，如分割或解析树。在这些设置中，预测是通过MAP推理或等效地通过求解整数线性规划来执行的。由于获得准确预测所需的复杂评分函数，学习和推理通常都需要使用近似求解器。我们提出了一个理论上的解释，惊人的观察，基于线性规划（LP）松弛的近似往往是紧密的现实世界的情况。特别是，我们表明，学习与LP松弛推理鼓励完整性的训练实例，并从训练的紧密性推广到测试数据。
2016-04-27 cs.AI cs.LG stat.ML
Training VAEs Under Structured Residuals
University of Bath（巴斯大学）；Anthropics Technology Ltd.（Anthropics技术有限公司）；University College London（伦敦大学学院）
本文提出在VAE中引入结构高斯似然预测网络，以建模残差相关性，同时提供有效训练方案和性能优化建议。
2018-07-31 cs.CV cs.LG stat.ML
