Unsupervised Search-based Structured Prediction
University of Utah（犹他大学）
我们描述了一个适应和应用的搜索为基础的结构化预测算法“Searn”的无监督学习问题。我们表明，这是可能的，以减少无监督学习的监督学习，并展示了一个高品质的无监督移位-减少解析模型。我们还展示了无监督Searn和期望最大化之间的密切联系。最后，我们证明了半监督扩展的有效性。实现这一点的关键思想是预测自我思想在无监督学习中的应用。
2009-06-28 cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Conformal Structured Prediction
University of Pennsylvania（宾夕法尼亚大学）
本文提出结构化预测场景下的共形预测通用框架，通过输出隐式表示标签集合的结构化预测集合，解决复杂输出中预测集过大且难以解释的问题，并在层级标签等领域验证了其覆盖保证。
2025-03-09 cs.LG
Risk Minimization in Structured Prediction using Orbit Loss
Bar-Ilan University（巴伊兰大学）
在结构化预报框架中引入了一种新的替代损失函数轨道损失，具有良好的理论和实用价值。虽然轨道损失不是凸的，但它有一个简单的分析梯度和一个简单的类似感知器的学习规则。我们从理论上分析了新的损失和状态的PAC贝叶斯推广界。我们还证明了新的损失在强意义上是一致的;即，由训练参数集实现的风险接近任何线性解码器在给定特征上可实现的下确界风险。针对风险最小化的方法，例如结构化斜坡损失、结构化概率单位损失和直接损失最小化，每个训练迭代需要至少两个推理操作。从这个意义上说，轨道损失更有效，因为它只需要一个推理操作，同时产生类似的性能。最后，我们提出的损失函数的结构铰链损失，结构斜坡损失，结构概率损失和直接损失最小化方法的几个基准数据集和任务的实证比较的文件。
2015-12-09 cs.LG
Exact Inference in High-order Structured Prediction
Purdue University（普渡大学）
本文研究高阶结构化预测中的推断问题，提出两阶段凸优化算法实现精确标签恢复，并利用超图Cheeger型不等式将算法性能与超边扩展性质相联系。
2023-02-07 cs.LG stat.ML
Neuro-Symbolic Constraint Programming for Structured Prediction
Criteo；University of Trento（特伦托大学）
我们提出了Nester，一种将神经网络注入约束结构预测器的方法。神经网络的工作是计算与输入数据兼容但不一定满足约束的初始原始预测。然后，结构化预测器使用约束求解器来构建结构，该约束求解器根据硬约束和软约束来组装和校正原始预测。在这样做时，Nester利用了它的两个组件的特性：神经网络从低级数据中学习复杂的表示，而约束编程组件则对预测任务的高级属性进行推理。整个架构可以以端到端的方式进行训练。手写体方程识别的实证评估表明，Nester实现了更好的性能比两个神经网络和约束结构化预测自己，特别是当训练样本是稀缺的，而扩展到更复杂的问题比其他神经编程方法。Nester被证明对于减少问题的语义级别的错误特别有用，这对于神经网络架构来说特别具有挑战性。
2021-03-31 cs.LG
Structure Regularization for Structured Prediction: Theories and Experiments
Peking University（北京大学）
关于权值正则化的研究很多，但关于结构正则化的研究却很少。许多现有的结构化预测系统专注于增加模型内的结构依赖性水平。然而，这种趋势可能被误导了，因为我们的研究表明，复杂的结构实际上对结构化预测中的泛化能力有害。为了控制基于结构的过拟合，我们通过\emph{structure decomposition}提出了一个结构正则化框架，该框架将训练样本分解为具有更简单结构的小样本，从而获得具有更好泛化能力的模型。我们从理论上和经验上证明了结构正则化可以有效地控制过拟合风险，并导致更好的准确性。作为一个副产品，所提出的方法也可以大大加快训练速度。该方法和理论结果可应用于具有任意结构的一般图模型。在知名任务上的实验表明，我们的方法可以在这些竞争激烈的任务上轻松击败基准系统，实现最先进的精度，同时具有更快的训练速度。
2015-01-30 cs.LG
Approximated Structured Prediction for Learning Large Scale Graphical Models
TTI Chicago（芝加哥丰田技术研究院）
本文给出了“近似大规模结构预测的原始-对偶消息传递算法”的证明。
2012-07-09 cs.AI cs.LG
Learning Fast-Mixing Models for Structured Prediction
Stanford University（斯坦福大学）
马尔可夫链蒙特卡罗（MCMC）算法通常用于学习内部的近似推理，但它们的缓慢混合可能难以诊断，并且近似会严重降低学习。为了缓解这些问题，我们使用强Doeblin马尔可夫链定义了一个新的模型族，其混合时间可以通过参数精确控制。我们还开发了一种算法来学习这样的模型，其中包括在这些链的诱导平稳分布下最大化数据可能性。我们在两个具有挑战性的推理任务上显示了经验改进。
2015-02-24 cs.LG
Structured Prediction with Abstention via the Lovász Hinge
Boston College（波士顿学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文研究 Lovász hinge 的一致性，证明其通常与原目标不一致，并通过嵌入框架识别出可弃权（不执行）任意预测子集的结构化目标，给出一致链接、紧密嵌入条件及多分类扩展。
2025-05-09 cs.LG
Blending Learning and Inference in Structured Prediction
University of Haifa（海法大学）；ETH Zurich（苏黎世联邦理工学院）；TTI Chicago（芝加哥丰田工业研究所）
在本文中，我们推导出一个有效的算法来学习一般图形模型中的结构预测参数。该算法融合了学习和推理任务，与传统的方法，如条件随机场和结构化支持向量机相比，速度有了显著的提高。为此，我们利用预测器的结构来描述一个低维结构化预测任务，该任务在学习模型参数的同时鼓励不同结构内的局部迭代。学习任务的凸性提供了在不同部分之间加强协调的手段。我们提出的推理学习混合算法保证收敛到低维原规划和对偶规划的最优解。与许多现有的方法不同，推理学习混合允许我们在任何大小的区域和非常大量的参数上有效地学习高阶图形模型。我们证明了我们的方法的有效性，同时提出国家的最先进的立体声估计，语义分割，形状重建，室内场景理解的结果。
2013-08-30 cs.LG
Confidence Estimation in Structured Prediction
Technion-Israel Institute of Technology（以色列理工学院）
结构化分类任务，如序列标记和依存句法分析，已经引起了自然语言处理和机器学习社区的极大兴趣。几种在线学习算法适用于结构化任务，例如感知器、被动攻击和最近引入的置信加权学习。这些在线算法易于实现，训练速度快，并产生最先进的性能。然而，与隐马尔可夫模型和条件随机场等概率模型不同，这些方法生成的模型仅输出预测，而没有关于输出正确性置信度的附加信息。在这项工作中，我们填补了空白，提出了一些替代方案来计算非概率算法的输出的置信度，我们展示了如何计算预测中的置信度估计，使得置信度反映了单词被正确标记的概率。然后，我们展示了如何使用我们的方法来检测错误标记的单词，贸易召回精度和主动学习。我们评估我们的方法对四个名词短语组块和命名实体识别序列标签的任务，并在依存句法分析的14种语言。
2011-11-06 cs.LG
A Structured Prediction Approach for Missing Value Imputation
Microsoft Research（微软研究院）；Microsoft（微软）
缺失值填补是一个重要的实际问题。有大量的工作，但不存在任何工作，制定了一个结构化的输出设置的问题。此外，大多数应用程序对插补数据有限制，例如与每个变量相关的分布。现有的估算方法都没有使用这些约束条件。在本文中，我们提出了一个结构化的输出方法缺失值填补，也结合域约束。我们专注于大利润模型，但很容易将这些想法扩展到概率模型。我们通过一种简单、高效、有效的分段训练技术来处理学习中难以处理的推理步骤。与现有的国家的最先进的和基线插补方法的比较表明，我们的方法给出了显着提高性能的汉明损失的措施。
2013-11-09 cs.LG
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland（马里兰大学）
算法设计者通常假设输入数据是正确的，然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而，这种正确数据的假设在实践中并不总是成立，特别是在在线学习系统的背景下，其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题，其中一个给定的输入实例以及所需的输出，任务是调整输入数据，使给定的输出确实是最优的。受学习结构化预测模型的启发，在本文中，我们考虑了具有裕度的逆优化，即，我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上，拟阵的交集，完美匹配，最小成本最大流，最短路径，并得出第一个已知的结果，这样的问题与非零利润。这些算法的有效性，结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们介绍了结构化预测能量网络（SPENs），这是一个灵活的结构化预测框架。使用深度架构来定义候选标签的能量函数，然后通过使用反向传播迭代优化标签的能量来产生预测。这种深度架构捕获标签之间的依赖关系，这些依赖关系会导致难以处理的图形模型，并通过自动学习结构化输出的区分特征来执行结构学习。我们的技术的一个自然应用是多标签分类，传统上需要对标签之间的相互作用进行严格的先验假设，以确保易于处理的学习和预测。我们能够将SPEN应用于多标签问题，其标签集比以前的结构化预测应用程序大得多，同时使用最小的结构假设对高阶相互作用进行建模。总的来说，深度学习为学习预测问题的输入特征提供了出色的工具，这项工作将这些技术扩展到学习结构化输出的特征。我们的实验在各种基准多标签分类任务上提供了令人印象深刻的性能，证明了我们的技术可用于提供可解释的结构学习，并阐明了前馈和迭代结构化预测之间的基本权衡。
2016-06-23 cs.LG stat.ML
Manifold regularization in structured output space for semi-supervised structured output prediction
Shanghai University（上海大学）；Tongji University（同济大学）；The 3rd Research Institute of Ministry of Public Security（公安部第三研究所）；Kansas State University（堪萨斯州立大学）
结构化输出预测旨在学习预测器以从输入数据向量预测结构化输出。结构化输出包括向量、树、序列等。我们通常假设我们有一个输入输出对的训练集来训练预测器。然而，在许多现实世界的应用中，很难获得输入的输出，因此对于许多训练输入数据点，结构化输出丢失。本文讨论了如何从一个由若干输入输出对和若干无输出的输入数据点组成的训练集中进行学习。这个问题被称为半监督结构化输出预测.针对这一问题，我们提出了一种新的方法，即从输入空间构造一个最近邻图来表示流形结构，并直接用它来正则化结构化的输出空间。我们为每个训练数据点定义了一个松弛的结构化输出，并提出通过学习结构化输出预测器来预测它。松弛结构输出和预测器的学习统一在一个单一的最小化问题。在这个问题中，我们建议最小化相邻数据点的松弛结构化输出之间的结构化损失，以及由结构化损失度量的预测误差。该问题是优化的迭代算法。在三个基准数据集上的实验结果表明了该方法的优越性。
2015-08-12 cs.CV cs.LG
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
Search-based Structured Prediction
University of Utah（犹他大学）；Yahoo! Research Labs（雅虎研究院）；Information Sciences Institute（信息科学研究所）
我们提出了Searn，一种集成搜索和学习的算法，用于解决复杂的结构化预测问题，例如自然语言、语音、计算生物学和视觉中的问题。Searn是一个元算法，它将这些复杂的问题转化为简单的分类问题，任何二元分类器都可以应用于这些问题。与当前的结构化学习算法需要在预测结构上分解损失函数和特征函数不同，Searn能够学习任何损失函数和任何类别特征的预测函数。此外，Searn还提供了一个强大的、自然的理论保证：在派生分类问题上的良好性能意味着在结构化预测问题上的良好性能。
2009-07-04 cs.CL cs.LG
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
End-to-End Learning for Structured Prediction Energy Networks
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
结构化预测能量网络（SPEN）是一个简单但富有表现力的结构化预测模型家族（Belanger和McCallum，2016）。候选结构化输出的能量函数由深度网络给出，预测由基于梯度的优化形成。本文介绍了SPENs的端到端学习，其中能量函数通过基于梯度的预测通过反向传播进行有区别地训练。根据我们的经验，该方法比Belanger和McCallum（2016）的结构化SVM方法更准确，因为它允许我们使用更复杂的非凸能量。我们提供了一系列技术来提高端到端SPEN的速度，准确性和内存要求，并展示了我们的方法在7场景图像去噪和CoNLL-2005语义角色标记任务上的强大功能。在这两种情况下，非凸SPEN能量的不精确最小化优于使用可以精确最小化的简单能量函数的基线方法。
2017-07-15 cs.LG stat.ML
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Graph Structured Prediction Energy Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对于多个变量的联合推断，已经开发了各种结构化预测技术来对变量之间的相关性进行建模，从而改进预测。然而，许多经典的方法遭受的两个主要缺点之一：他们要么缺乏的能力，模型高阶变量之间的相关性，同时保持计算易处理的推理，或者他们不允许明确的模型已知的相关性。为了解决这一缺点，我们引入了“图结构预测能量网络”，我们开发了推理技术，允许对显式局部和隐式高阶相关性进行建模，同时保持推理的易处理性。我们将所提出的方法应用于自然语言处理和计算机视觉领域的任务，并展示了其通用性。
2020-01-05 cs.LG stat.ML
Efficient Structured Prediction with Latent Variables for General Graphical Models
ETH Zurich（苏黎世联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
在本文中，我们提出了一个统一的框架，结构化预测与潜在的变量，其中包括隐条件随机场和潜在的结构支持向量机作为特殊情况。我们描述了一个局部熵近似这个一般配方使用对偶，并推导出一个有效的消息传递算法，保证收敛。我们证明了它的有效性的任务，图像分割，以及3D室内场景理解从单一的图像，表明我们的方法是优于潜在的结构化支持向量机和隐藏的条件随机场。
2012-06-27 cs.LG stat.ML
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
A Consistent Regularization Approach for Structured Prediction
Laboratory for Computational and Statistical Learning - Istituto Italiano di Tecnologia（意大利理工学院计算与统计学习实验室）；Massachusetts Institute of Technology（麻省理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了结构化预测问题的正则化方法。我们刻画了一个大类的损失函数，允许自然地嵌入结构化输出的线性空间。我们利用这一事实设计学习算法使用代理损失的方法和正则化技术。我们证明了所提出的方法的普遍一致性和有限样本界特征的泛化性能。实验结果证明了所提出的方法的实用性。
2017-07-28 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
IllinoisSL: A JAVA Library for Structured Prediction
Microsoft Research New England（微软新英格兰研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；University of Utah（犹他大学）
IllinoisSL是一个用于学习结构化预测模型的Java库。它支持结构化支持向量机和结构化感知器。该库由一个核心学习模块和几个应用程序组成，可以从命令行执行。提供文档以指导用户。与其他结构化学习库相比，IllinoisSL具有高效、通用和易于使用的特点。
2015-09-23 cs.CL cs.LG stat.ML
On the inconsistency of separable losses for structured prediction
Universite Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
在本文中，我们证明了结构化预测的可分离负对数似然损失不一定是贝叶斯一致的，或者换句话说，最小化这些损失可能不会导致模型预测给定输入的数据分布中最可能的结构。这一事实引发了一个问题，即这些损失是否适合结构化预测，如果是的话，为什么。
2023-01-25 cs.CL cs.LG stat.ML
Resource Constrained Structured Prediction
Boston University（波士顿大学）；Microsoft Research（微软研究院）
研究了测试时间预算约束下的结构化预测问题。我们提出了一种新的方法，适用于计算机视觉和自然语言处理中的各种结构化预测问题。我们的方法旨在自适应地生成计算成本高的功能，在测试时，以减少预测的计算成本，同时保持预测性能。我们表明，训练的自适应功能生成系统可以减少到一系列的结构化学习问题，从而有效的训练，使用现有的结构化学习算法。这个框架提供了一些现有的启发式方法在文献中发现的理论依据。我们评估了我们提出的自适应系统的两个结构化预测任务，光学字符识别（OCR）和依赖解析，并显示出强大的性能，在降低功能成本，而不降低精度。
2016-06-08 cs.CL cs.CV cs.LG
Structured Prediction Theory Based on Factor Graph Complexity
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
本文对结构预测进行了一般性的理论分析，并得到了一系列新的结果。我们给出了新的数据依赖的保证金结构化预测的损失函数和一般家庭的假设，任意因子图分解。这是标准多类和一般结构化预测问题中已知的最严格的边界。我们的保证表示在一个依赖于数据的复杂性措施，因子图的复杂性，我们可以从数据和熟悉的数量方面的有界估计。我们通过利用投票风险最小化（VRM）的原则进一步扩展了我们的理论，并表明即使使用复杂的因子图也可以进行学习。我们提出了新的学习界限，这种先进的设置，我们用它来设计两个新的算法，投票条件随机场（VCRF）和投票结构提升（StructBoost）。这些算法可以利用复杂的特征和因子图，但受益于良好的学习保证。我们还报告了VCRF在几个数据集上的实验结果，以验证我们的理论。
2016-12-01 cs.LG stat.ML
Semi-supervised Learning with the EM Algorithm: A Comparative Study between Unstructured and Structured Prediction
University of Alabama（阿拉巴马大学）
半监督学习旨在从标记和未标记的样本中学习预测模型。在这一领域进行了广泛的研究。在现有的工作中，期望最大化（EM）生成混合模型是一个流行的方法，由于明确的统计性质。然而，现有的基于EM的半监督学习的文献主要集中在非结构化预测，假设样本是独立和同分布的。基于EM的半监督方法在结构化预测中的研究有限。本文旨在通过对基于EM的半监督学习中的非结构化和结构化方法的比较研究来填补这一空白。具体来说，我们比较了它们的理论性质，发现这两种方法都可以被认为是一种泛化的自训练与软类分配的未标记的样本，但结构化的方法还考虑结构约束的软类分配。我们进行了一个案例研究，对现实世界的洪水映射数据集，比较这两种方法。结果表明，结构化EM是更强大的类混淆所造成的噪声和障碍的特点，在洪水映射应用程序的上下文中。
2020-08-28 cs.LG stat.ML
SPEECH: Structured Prediction with Energy-Based Event-Centric Hyperspheres
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
本文提出SPEECH方法，通过基于能量的建模刻画事件结构化组件间的复杂依赖，并用超球面表示事件类别，在两个统一标注事件数据集上显著提升了事件检测与事件关系抽取性能。
2023-09-18 cs.AI cs.CL cs.LG
Structured Prediction in NLP -- A survey
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
在过去的几年里，NLP中的结构化预测领域已经取得了巨大的进步，包括复杂的概率图模型、基于能量的网络及其与基于深度学习的方法的结合。本综述简要介绍了结构化预测的主要技术及其在NLP领域的应用，如解析、序列标记、文本生成和序列到序列任务。我们还深入研究了结构化预测中基于能量和基于注意力的技术，确定了当前最先进研究中的一些相关开放问题和差距，并为这些领域的未来研究提出了一些详细的想法。
2021-08-31 cs.AI cs.CL cs.LG
Adversarial Structured Prediction for Multivariate Measures
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多预测的结构化对象（例如，序列、匹配、树）使用F分数、比对错误率（AER）或其它多变量性能测量来评估。由于使用训练数据归纳地优化这些测量通常在计算上是困难的，因此采用替代损失的经验风险最小化，例如，（结构化）支持向量机的铰链损失。这些近似值通常会在学习者的目标和期望的应用性能之间引入不匹配，从而导致不一致。我们采取了不同的方法：在优化精确的F分数或AER的同时，对训练数据进行逆向近似。在此公式下的结构化预测是通过解决寻求最佳性能的预测器和寻求最差性能的对手之间的零和游戏而产生的，同时需要（近似）匹配训练数据的某些结构化属性。我们探索这种方法的字对齐（AER评价）和命名实体识别（F-评分评价）与线性链约束。
2017-12-21 cs.LG stat.ML
Learning Maximum-A-Posteriori Perturbation Models for Structured Prediction in Polynomial Time
Purdue University（普渡大学）
MAP扰动模型已经成为结构化预测中推理的一个强大框架。这种模型提供了一种有效地从吉布斯分布中采样的方法，并有助于对随机噪声具有鲁棒性的预测。在本文中，我们提出了一个可证明的多项式时间随机算法学习参数的扰动MAP预测。我们的方法是基于最小化一个新的Rademacher为基础的泛化上的扰动MAP预测，这可以在多项式时间计算的预期损失的界限。我们获得的条件下，我们的随机学习算法可以保证推广到看不见的例子。
2018-05-21 cs.LG stat.ML
Joint Structured Learning and Predictions under Logical Constraints in Conditional Random Fields
Xerox Research Centre Europe（施乐欧洲研究中心）
本文主要研究有监督机器学习环境下的结构化机器学习。它讨论了如何对不同性质的相互依赖对象进行联合结构化学习，以及如何在预测标签时实施逻辑约束。我们解释了这种需要是如何出现在一个文件理解任务。然后，我们讨论了条件随机场（CRF）的一般扩展，并在开源PyStruct库的基础上提供了贡献的开源实现。我们评估其性能上公开可用的数据集。
2017-08-25 cs.LG stat.ML
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
Structured Prediction Cascades
University of Pennsylvania（宾夕法尼亚大学）
结构化预测任务在需要模型复杂性以增加预测能力与有限的计算资源之间进行基本权衡，用于在此类模型所需的指数大小的输出空间中进行推断。我们制定并开发了结构化预测级联架构：一系列日益复杂的模型，逐步过滤可能的输出空间。我们方法的关键原理是，级联中的每个模型都经过优化，以准确过滤和细化下一个模型的结构化输出状态空间，从而加快级联下一层的学习和推理。我们通过优化一个新的凸损失函数来学习级联，该函数控制级联的过滤效率和精度之间的权衡，并为精度和效率提供泛化界。我们还扩展了我们的方法，棘手的模型，使用树分解合奏，并提供算法和理论，这种设置。我们评估我们的方法在几个大规模的问题，实现国家的最先进的性能在手写识别和人体姿势识别。我们发现，结构化的预测级联允许巨大的加速和使用以前棘手的功能和模型在这两种设置。
2012-08-06 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Prediction of hierarchical time series using structured regularization and its application to artificial neural networks
University of Tsukuba（筑波大学）；Fujitsu Laboratories Ltd.（富士通实验室有限公司）
本文讨论了层次时间序列的预测，其中每个上层时间序列是通过求和适当的下层时间序列计算的。对这种层次时间序列的预测应该是一致的，这意味着对上层时间序列的预测等于对相应下层时间序列的预测之和。以前的方法，使连贯的预测包括两个阶段：第一计算基础（不连贯）的预测，然后调和这些预测的基础上，其固有的层次结构。为了改善时间序列预测，我们提出了一种结构化正则化方法，同时完成这两个阶段。该方法基于底层时间序列的预测模型，并使用结构化正则化项将上层预测纳入预测模型。我们还开发了一个反向传播算法专门应用我们的方法，人工神经网络的时间序列预测。使用合成和真实世界的数据集的实验结果表明，我们的方法在预测精度和计算效率方面的优越性。
2020-07-30 cs.LG stat.ML
Minimax bounds for structured prediction
结构化预测可以被认为是许多标准监督学习任务的推广，并且通常被认为是多个标签的同时预测。一种标准的方法是最大化标签空间上的得分函数，该得分函数分解为一元和成对势的总和，每个势分别取决于一个或两个特定的标签。对于这种方法，多年来已经提出了几种学习和推理算法，从精确到近似方法，同时平衡计算复杂性。然而，与二进制和多类分类相比，实现学习所需的样本数量的结果仍然有限，即使是对于特定的预测因子家族，如因子图。在这项工作中，我们提供了极大极小界的一类因素图推理模型的结构化预测。也就是说，我们描述了任何可能的算法实现因子图预测器学习所需的样本复杂度。
2019-06-02 cs.LG stat.ML
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction
Department of Computer Science, University of Reading, United Kingdom（计算机科学系，阅读大学，英国）
本文提出结构化径向基函数网络s-RBFN，通过质心Voronoi镶嵌、结构化数据集构建与参数化多样性控制实现多假设回归预测，在两类多变量预测任务上验证了其更优的泛化性与计算效率。
2024-09-20 cs.LG stat.ML
Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Differentiable Dynamic Programming for Structured Prediction and Attention
Inria Parietal Saclay（法国国家信息与自动化研究所（Inria） Parietal Saclay）；NTT Communication Science Laboratories（NTT通信科学实验室）
动态规划（DP）通过迭代地将各种结构化组合问题分解为更小的子问题来解决这些问题。尽管DP算法具有多功能性，但它们通常是不可微的，这妨碍了它们作为通过反向传播训练的神经网络中的层的使用。为了解决这个问题，我们建议使用强凸正则化器来平滑动态规划递归中的最大算子。这允许放松的最优值和解决方案的原始组合问题，并把广泛的一类DP算法到微分算子。从理论上讲，我们提供了一个新的概率角度反向传播通过这些DP运营商，并将它们与图形模型中的推理。我们得到两个特定的实例，我们的框架，一个平滑的Viterbi算法的序列预测和平滑的DTW算法的时间序列对齐。我们在两个结构化预测任务和神经机器翻译的结构化和稀疏注意力上展示了这些实例。
2018-02-20 cs.LG stat.ML
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS（法国国家信息与自动化研究所/巴黎高等师范学院）；HSE（高等经济学院）；MILA（米拉魁北克人工智能研究所）；DIRO（计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失，我们构建了一个凸代理，可以通过随机梯度下降优化，我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比，我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果，我们形式化的直觉，一些任务的损失，使学习比别人更难，经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
GoGNN: Graph of Graphs Neural Network for Predicting Structured Entity Interactions
University of Technology Sydney（悉尼科技大学）；University of Science and Technology of China（中国科学技术大学）；University of New South Wales（新南威尔士大学）
实体相互作用预测在许多重要的应用中是必不可少的，例如化学、生物学、材料科学和医学科学。当每个实体由复杂的结构表示时，即结构化实体，问题变得相当具有挑战性，因为涉及两种类型的图：用于结构化实体的局部图和用于捕获结构化实体之间的交互的全局图。我们观察到，现有的结构化实体交互预测的工作不能正确地利用图模型的唯一图。在本文中，我们提出了一个图的图神经网络，即GoGNN，它提取的结构化实体图和实体交互图中的特征在一个层次的方式。我们还提出了双重注意力机制，使模型保持在两个层次的图的邻居的重要性。在真实世界数据集上的大量实验表明，GoGNN在两个代表性的结构化实体相互作用预测任务上的表现优于最先进的方法：化学-化学相互作用预测和药物-药物相互作用预测。我们的代码可以在Github上找到。
2020-05-12 cs.LG cs.SI
Partial Inference in Structured Prediction
Purdue University（普渡大学）
针对结构化预测中的部分推断问题，提出基于生成模型的两阶段凸优化标签恢复方法，并从 KKT 条件及原始-对偶构造出发给出可证明的统计与拓扑保证。
2023-06-06 cs.LG stat.ML
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
Learning Constraints for Structured Prediction Using Rectifier Networks
University of Utah（犹他大学）
各种自然语言处理任务都是结构化预测问题，其中输出由多个相互依赖的决策构成。过去的工作表明，领域知识，作为输出空间的约束，可以帮助提高预测的准确性。然而，设计良好的约束往往依赖于领域的专业知识。在本文中，我们研究的问题，学习这样的约束。我们的框架的问题，训练一个两层整流器网络，以确定有效的结构或子结构，并显示了一个构造，用于将训练后的网络转换成系统的线性约束的推理变量。我们对几个NLP任务的实验表明，学习的约束可以提高预测精度，特别是当训练样本的数量很小时。
2020-05-23 cs.CL cs.LG
Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Imperial College London（帝国理工学院）
我们研究了结构化预测的代理方法和多任务学习技术之间的相互作用，这些方法旨在利用代理输出之间的关系。我们提出了一个有效的算法的基础上跟踪范数正则化，不同于以往的方法，不需要明确的知识的代理框架的编码/解码功能。因此，我们的算法可以适用于代理空间是大的，甚至无限维的广泛的问题。我们研究了迹范数正则化结构预测的超额风险界，这意味着我们的估计的一致性和学习率。我们还确定了相关的制度，我们的方法可以享受更好的泛化性能比以前的方法。排序问题的数值实验表明，在代理输出之间强制执行低秩关系确实可以在实践中提供显着的优势。
2019-03-02 cs.LG stat.ML
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
