Multi-Output Gaussian Processes for Graph-Structured Data
Graduate School of Engineering, Nagoya Institute of Technology（名古屋技术大学工学研究科）
本文提出基于多输出高斯过程的图结构数据回归方法，同时建模顶点与数据相关性，具高表达力，并泛化现有方法，实验验证其扩展性能。
2025-05-22 cs.LG
Real-Time Trustworthiness Scoring for LLM Structured Outputs and Data Extraction
Cleanlab
本文提出CONSTRUCT，一种实时评估LLM结构化输出可信度的方法，通过评分帮助优先处理人类审核，支持复杂结构化输出，无需标注数据或定制模型部署。
2026-03-31 cs.CL cs.LG
A Deep Learning Model for Structured Outputs with High-order Interaction
National Research Council of Canada（加拿大国家研究委员会）；NEC Labs America（NEC美国实验室）
许多现实世界的应用程序都与结构化数据相关联，其中不仅输入而且输出都有相互作用。然而，典型的分类和回归模型往往缺乏同时探索输入和输出中高阶交互作用的能力。在本文中，我们提出了一个深度学习模型，旨在生成从结构化输入到结构化输出的强大的非线性函数映射。更具体地说，我们建议整合高阶隐藏单元，指导判别式预训练和高阶自动编码器。我们用三个数据集对模型进行了评估，并在竞争性方法中获得了最先进的性能。我们目前的工作重点是结构化输出回归，这是一个较少探索的领域，尽管该模型可以扩展到处理结构化标签分类。
2015-04-29 cs.LG cs.NE
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Reward Augmented Maximum Likelihood for Neural Structured Prediction
Google Brain（谷歌大脑）
结构化输出预测中的一个关键问题是直接优化任务奖励函数，这对测试评估至关重要。本文提出了一种简单的和计算效率高的方法，将任务奖励的最大似然框架。通过建立对数似然和预期奖励目标之间的联系，我们表明，当给定输入的输出的条件分布与其指数缩放奖励成比例时，实现了最佳正则化预期奖励。因此，我们提出了一个框架，使用相应的奖励平滑输出的预测概率。我们优化了增广输出的条件对数概率，这些输出的采样与其指数缩放奖励成比例。在用于语音识别和机器翻译的神经序列到序列模型上的实验表明，通过使用奖励增强最大似然（RAML），在最大似然基线上有显著的改进，其中奖励被定义为输出和地面真实标签之间的负编辑距离。
2017-01-04 cs.LG
The Paradox of Stochasticity: Limited Creativity and Computational Decoupling in Temperature-Varied LLM Outputs of Structured Fictional Data
University of Cambridge（剑桥大学）；University Information Services (UIS)（大学信息服务部（UIS））
本研究探究温度设置与模型架构对LLM生成结构化虚构数据的影响，发现架构显著影响计算效率、温度与处理时间无关且输出多样性有限，强调架构优化比温度调整更重要，需多样性约束缓解偏差。
2025-02-12 cs.LG
Semi-supervised learning of local structured output predictors
Beijing Jiaotong University（北京交通大学）
本文研究了半监督结构化输出预测问题，旨在学习结构化输出的预测器，如序列、树节点、向量等，从输入输出对和没有输出的单输入的一组数据点。传统的预测方法通常只对所有数据点学习一个预测器，而忽略了不同数据点的多样性。数据集的不同部分可能具有不同的局部分布，并且需要不同的最优局部预测器。为了克服现有方法的这一缺点，我们建议同时为不同数据点的邻域和缺失的结构化输出学习不同的局部预测器。在每个数据点的邻域中，我们提出通过最小化预测器的复杂度和结构化预测损失的上界来学习线性预测器。通过梯度下降算法进行最小化。在DDSM乳腺X线摄影医学图像、SUN自然图像数据集、Cora研究论文数据集和西班牙新闻网文章句子数据集上的实验表明了该方法的优越性。
2016-04-11 cs.CV cs.LG
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland（马里兰大学）
算法设计者通常假设输入数据是正确的，然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而，这种正确数据的假设在实践中并不总是成立，特别是在在线学习系统的背景下，其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题，其中一个给定的输入实例以及所需的输出，任务是调整输入数据，使给定的输出确实是最优的。受学习结构化预测模型的启发，在本文中，我们考虑了具有裕度的逆优化，即，我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上，拟阵的交集，完美匹配，最小成本最大流，最短路径，并得出第一个已知的结果，这样的问题与非零利润。这些算法的有效性，结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
Weak Disambiguation for Partial Structured Output Learning
City University of Hong Kong（香港城市大学）
现有的部分结构化输出学习的消歧策略不能很好地推广，以解决存在一些可能是假阳性或类似于地面真理标签的候选人的问题。在本文中，我们提出了一种新的弱消歧部分结构化输出学习（WD-PSL）。首先，分段大间隔公式推广到部分结构化输出学习，这有效地避免了处理大量的候选结构化输出的复杂结构。其次，在所提出的弱消歧策略中，为每个候选标签分配一个置信度值，该置信度值指示它是真实标签的可能性，其目的是减少学习过程中错误的地面实况标签分配的负面影响。然后，两个大的利润率制定结合两种类型的约束，这是候选人和非候选人之间的消歧，和候选人的弱消歧。在交替优化的框架下，提出了一种新的2n松弛变量割平面算法，以加速优化的每次迭代。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Efficient and Reliable Probabilistic Interactive Learning with Structured Outputs
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
在这篇立场论文中，我们研究了结构化输出空间的交互式学习，重点是主动学习，其中标签是未知的，必须获得，和怀疑学习，其中标签是嘈杂的，可能需要重新标记。这些场景需要表达性模型来保证可靠且高效地计算概率量以测量不确定性。我们确定了一类概率模型（我们将其表示为CRISPs）满足所有这些条件的条件，从而在保持表达能力的同时提供上述数量的易处理计算。基于先前关于易处理概率电路的工作，我们说明了CRISPs如何在大型结构化输出空间中实现鲁棒和高效的主动和怀疑学习。
2022-02-17 cs.LG stat.ML
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
Deep Neural Networks Regularization for Structured Output Prediction
Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息处理与系统实验室）
深度神经网络模型是学习表示的强大框架。通常，它用于通过利用输入$x$中的查询来学习关系$x \to y$。在结构化输出预测问题中，$y$是一个多维问题，各维之间往往存在结构关系。这项工作的动机是学习可能存在于输出数据中的输出依赖性，以提高预测精度。不幸的是，前馈网络无法利用输出之间的关系。为了克服这个问题，我们在本文中提出了一个正则化方案，用于训练神经网络，这些特定的任务，使用多任务框架。我们的计划的目的是在学习监督映射函数$x \to y$的同时，以无监督的方式将输出表示$y$的学习纳入训练过程。我们评估我们的框架上的面部地标检测问题，这是一个典型的结构化输出任务。我们在两个公开的具有挑战性的数据集（LFPW和HELEN）上证明，我们的正则化方案提高了深度神经网络的泛化能力，并加速了它们的训练。未标记的数据和标签的数据的使用也进行了探讨，显示了额外的改善的结果。我们提供了我们框架的开源实现（https：//github.com/sbelharbi/structured-output-ae）。
2017-10-30 cs.LG stat.ML
Quantifying the Impact of Structured Output Format on Large Language Models through Causal Inference
Global Decision Science, American Express（全球决策科学，美国运通）
本文通过因果推理分析结构化输出对大语言模型生成的影响，发现多数情况下无显著因果效应，但特定情况下受指令影响。
2025-12-19 cs.CL cs.LG
Confidence Estimation in Structured Prediction
Technion-Israel Institute of Technology（以色列理工学院）
结构化分类任务，如序列标记和依存句法分析，已经引起了自然语言处理和机器学习社区的极大兴趣。几种在线学习算法适用于结构化任务，例如感知器、被动攻击和最近引入的置信加权学习。这些在线算法易于实现，训练速度快，并产生最先进的性能。然而，与隐马尔可夫模型和条件随机场等概率模型不同，这些方法生成的模型仅输出预测，而没有关于输出正确性置信度的附加信息。在这项工作中，我们填补了空白，提出了一些替代方案来计算非概率算法的输出的置信度，我们展示了如何计算预测中的置信度估计，使得置信度反映了单词被正确标记的概率。然后，我们展示了如何使用我们的方法来检测错误标记的单词，贸易召回精度和主动学习。我们评估我们的方法对四个名词短语组块和命名实体识别序列标签的任务，并在依存句法分析的14种语言。
2011-11-06 cs.LG
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
Graph Harmony: Denoising and Nuclear-Norm Wasserstein Adaptation for Enhanced Domain Transfer in Graph-Structured Data
USC（南加州大学）
针对图结构数据标记稀缺及传统无监督域适配方法存在类别错配、标签质量差的问题，提出融合核范数Wasserstein差异与变分图自编码器去噪的DNAN网络，在图分类基准上性能优于现有最优方法。
2023-12-13 cs.LG
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University（浙江大学）
作为计算机视觉和图形学中的一个重要且具有挑战性的问题，基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而，大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式：跨帧的时间模型的一致性，帧内的空间模型的一致性，和歧视性的功能建设。为了解决这个问题，我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此，时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧，而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造，以确保类内紧致性和类间可分性。最后，上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
Transfer Learning for Structured Pruning under Limited Task Data
CMU（卡内基梅隆大学）；Apple（苹果公司）
针对结构化剪枝需大量任务数据的问题，提出结合迁移学习的框架，通过探究任务耦合、参数迁移及引入时机，实现剪枝模型泛化性能优于强基线。
2023-11-10 cs.CL cs.LG
Fine-grained Generalization Analysis of Structured Output Prediction
TU Kaiserslautern（凯泽斯劳滕工业大学）；University of Birmingham（伯明翰大学）
在机器学习中，我们经常遇到结构化输出预测问题（SOPP），即输出空间允许丰富内部结构的问题。SOPP自然出现的应用领域包括自然语言处理、语音识别和计算机视觉。典型的SOPP有一个非常大的标签集，它作为输出大小的函数呈指数级增长。现有的泛化分析意味着泛化边界至少与标签集的基数$d$的平方根相关，这在实践中可能是空洞的。在本文中，我们显着提高了最先进的开发新的高概率界的对数依赖于$d$。此外，我们利用透镜的算法稳定性，以开发推广界的预期没有任何依赖于$d$。因此，我们的研究结果建立了一个坚实的理论基础，在大规模SOPP的学习。此外，我们将我们的结果扩展到弱相关数据的学习。
2021-05-31 cs.LG stat.ML
Deep Value Networks Learn to Evaluate and Iteratively Refine Structured Outputs
ETH Zürich（苏黎世联邦理工学院）；Google Brain（谷歌大脑）
我们通过优化深度值网络（DVN）来实现结构化输出预测，以精确估计给定输入的不同输出配置上的任务损失。一旦模型被训练好，我们就通过梯度下降对输出变量的连续松弛进行推理，以从价值网络中找到具有有希望得分的输出。当应用于图像分割时，值网络将图像和分割掩码作为输入，并预测标量，估计输入和地面真值掩码之间的交集。对于多标签分类，DVN的目标是正确预测任何潜在标签配置的F1分数。DVN框架在多标签预测和图像分割基准测试中取得了最先进的结果。
2017-08-08 cs.AI cs.CV cs.LG
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Calibrating Structured Output Predictors for Natural Language Processing
我们解决的问题，校准预测置信度的输出实体感兴趣的自然语言处理（NLP）的应用。重要的是，诸如命名实体识别和问答之类的NLP应用程序为其预测生成校准的置信度分数，特别是如果系统要部署在安全关键领域（如医疗保健）中。然而，这样的结构化预测模型的输出空间通常太大而不能直接适应二进制或多类校准方法。在这项研究中，我们提出了一个通用的校准方案，在基于神经网络的结构化预测模型的输出实体的兴趣。我们提出的方法可以用于任何二进制类校准方案和神经网络模型。此外，我们还表明，我们的校准方法也可以用作不确定性感知的实体特定解码步骤，以提高底层模型的性能，而无需额外的训练成本或数据要求。我们表明，我们的方法优于目前的校准技术命名实体识别，部分的语音和问答。我们还通过多个任务和基准数据集的解码步骤来提高模型的性能。我们的方法也提高了域外测试场景的校准和模型性能。
2020-05-05 cs.CL cs.LG
Multi-View Learning over Structured and Non-Identical Outputs
University of Pennsylvania（宾夕法尼亚大学）；INESC-ID；Microsoft Research Asia（微软亚洲研究院）
在许多机器学习问题中，标记的训练数据是有限的，而未标记的数据是充足的。其中一些问题的实例可以分解为多个视图，每个视图几乎都足以确定正确的标签。在本文中，我们提出了一个新的算法，概率多视图学习，使用的想法，随机协议之间的意见作为正则化。我们的算法适用于结构化和非结构化的问题，很容易推广到部分协议的情况。对于完全一致的情况下，我们的算法最大限度地减少每个视图的模型之间的巴塔查里亚距离，并表现得更好的几个平面和结构化的分类问题比CoBoosting和两视图感知器。
2012-06-13 cs.LG stat.ML
Common Geodesics Do Not Guarantee Fisher Consistency of the Structured SVM: Minimal Counterexamples and a Tree-Metric Classification
Tsinghua University（清华大学）
本文针对结构化SVM，通过构造最小反例，证明公共测地线条件无法保证其费希尔一致性，并对树度量分类得出argmax一致性仅当树为路径的结论。
2026-08-28 cs.LG
Structured Content Preservation for Unsupervised Text Style Transfer
University of California, Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
语篇风格转换的目的是在保持句子内容不变的情况下改变句子的风格。最近的风格转换系统往往不能忠实地保留改变后的风格的内容。本文提出了一种结构化的内容保持模型，利用语言信息的结构化细粒度监督，以更好地保持风格无关的内容在风格转移。特别是，我们通过设计基于句子的词汇信息和基于内容的语言模型的丰富模型目标来实现目标。因此，所得到的模型被鼓励保留目标句子的语义意义。我们进行了大量的实验，比较我们的模型与其他现有的方法在情感和政治倾向转移的任务。我们的模型在自动和人工评估的内容保存和风格转移方面都取得了显着的改进。
2018-10-31 cs.CL cs.LG stat.ML
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka（大阪大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心（AIP））
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题，提出结构化噪声参数化方法，结合最优时不变噪声学习与动态参数自适应，提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
Conformal Structured Prediction
University of Pennsylvania（宾夕法尼亚大学）
本文提出结构化预测场景下的共形预测通用框架，通过输出隐式表示标签集合的结构化预测集合，解决复杂输出中预测集过大且难以解释的问题，并在层级标签等领域验证了其覆盖保证。
2025-03-09 cs.LG
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Multi-utility Learning: Structured-output Learning with Multiple Annotation-specific Loss Functions
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Microsoft Research Cambridge（微软研究院剑桥实验室）
结构化输出学习是一个具有挑战性的问题;特别是因为很难获得完整标记实例的大型数据集进行训练。在本文中，我们试图克服这个困难，提出了一个多效用学习框架结构化预测，可以从训练实例与不同形式的监督。我们提出了一个统一的技术推断的损失函数最适合量化的解决方案与给定的弱注释的一致性。我们证明了我们的框架上具有挑战性的语义图像分割问题，各种各样的注释可以使用的有效性。例如，用于语义分割的流行训练数据集由具有难以生成的全像素标签的图像以及具有容易获得的弱注释的图像组成，例如对象周围的边界框或指定图像中存在哪些对象类别的图像级标签。实验评估表明，与仅使用一种类型的弱注释的基线系统相比，使用特定于注释的损失函数显著提高了分割精度。
2014-06-23 cs.CV cs.LG
Efficient Sub-structured Knowledge Distillation
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
结构化预测模型旨在解决一类问题，其中输出是复杂的结构，而不是单个变量。对这些模型执行知识蒸馏并不简单，因为它们的输出空间呈指数级大。在这项工作中，我们提出了一种方法，这是更简单的制定和更有效的培训比现有的方法。具体来说，我们通过在所有子结构上局部匹配他们的预测，而不是整个输出空间，将知识从教师模型转移到学生模型。通过这种方式，我们避免了采用一些耗时的技术，如动态规划（DP）解码输出结构，这允许并行计算，并使训练过程在实践中甚至更快。此外，它鼓励学生模型更好地模仿教师模型的内部行为。两个结构化预测任务的实验表明，我们的方法优于以前的方法和一半的时间成本为一个训练时期。
2022-03-09 cs.CL cs.LG
Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
本文提出用固定无参数的Walsh-Hadamard变换替代多头注意力的密集输出投影，减少参数并提升效率，通过实验验证结构化变换在不同复杂度下优于密集投影。
2026-03-30 cs.CL cs.LG
Constrained Structured Regression with Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）最近已经成为计算机视觉中的主导模型。如果提供足够的训练数据，它们几乎可以预测任何视觉量。在离散设置中，例如分类，CNN不仅能够预测标签，而且通常以输出空间上的概率分布的形式预测置信度。在连续回归任务中，通常缺乏这样的概率估计。我们提出了一个回归框架，它模拟神经网络的输出分布。这种输出分布允许我们根据一组物理或建模约束来推断最可能的标签。这些约束捕捉了不同输入和输出变量之间复杂的相互作用，并补充了CNN的输出。然而，它们可能并不适用于所有地方。我们的设置还允许学习约束保持的信心，以约束满意度分布的形式。我们评估我们的方法上的问题的内在图像分解，并表明，约束结构化回归显着增加了国家的最先进的。
2015-11-23 cs.CV cs.LG
Neural Learning of One-of-Many Solutions for Combinatorial Problems in Structured Output Spaces
Indian Institute of Technology Delhi（印度理工学院德里分校）
最近的研究提出了解决结构化输出空间中的组合问题的神经架构。在许多这样的问题中，对于给定的输入可能存在多个解决方案，例如，部分填充的数独难题可能有许多满足所有约束的完成。此外，我们通常对找到任何一种可能的解决方案感兴趣，而不对它们进行任何偏好。现有的方法完全忽略了这种解决方案的多样性。在本文中，我们认为，被遗忘的存在多个解决方案可能会严重阻碍他们的训练能力。我们的贡献是双重的。首先，我们正式定义了学习的任务之一的多个解决方案的组合问题的结构化输出空间，这是适用于解决几个问题的兴趣，如N皇后，数独。其次，我们提出了一个通用的学习框架，适应现有的预测网络的组合问题，以处理解决方案的多样性。我们的框架使用了一个选择模块，其目标是为每个输入动态确定在任何给定的学习迭代中训练网络参数最有效的解决方案。我们提出了一种基于强化学习的方法来联合训练选择模块和预测网络。在三个不同的域上进行的实验，使用两个不同的预测网络，表明我们的框架显着提高了我们设置的准确性，在基线上获得了高达21 pt的增益。
2021-04-04 cs.LG stat.ML
Direct Estimation of Spinal Cobb Angles by Structured Multi-Output Regression
The University of Western Ontario（西安大略大学）；Shandong University（山东大学）；London Health Sciences Center（伦敦健康科学中心）
Cobb角作为脊柱曲度的定量评价指标，在脊柱侧凸的诊断和治疗中具有重要意义。这些角度的常规测量由于密集的人工干预而遭受巨大的可变性和低可靠性。然而，由于存在高度的模糊性和可变性的椎骨周围的边界，这是具有挑战性的自动获得Cobb角。在本文中，我们制定了从脊柱X射线作为一个多输出回归任务的Cobb角的估计。我们提出了结构化支持向量回归（S^2VR），在一个单一的框架中联合估计Cobb角和X射线脊柱的标志。所提出的S^2VR可以忠实地处理输入图像和定量输出之间的非线性关系，同时明确地捕捉输出的内在相关性。我们引入流形正则化来利用输出空间的几何形状。我们提出在S2VR中通过核目标对齐来学习核，以增强其区分能力。在439例脊柱侧凸患者的脊柱X射线数据集上对该方法进行了评估，该方法与人类专家手动获得的地面真实值的相关系数达到92.76%，优于两种基线方法。我们的方法实现了高精度的Cobb角的直接估计，这表明它在临床应用中具有很大的潜力。
2020-12-23 cs.CV cs.LG
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Transferable Natural Language Interface to Structured Queries aided by Adversarial Generation
Stanford University（斯坦福大学）
结构化查询的自然语言接口（NLI）具有广泛的工业应用和较高的经济价值，是结构化查询研究的热点。在这项工作中，我们解决的问题，领域自适应的NLI有限的数据上的目标域。研究了两种重要的方法：（a）对源域语义解析进行有效的一般知识学习;（b）对目标域进行数据增强。我们提出了一个结构化查询推理网络（SQIN），以提高学习领域自适应，从NL分离模式信息和解码SQL在一个更结构化的方式，我们还提出了一个基于GAN的增强技术（AugmentGAN），以减轻缺乏目标域数据的问题。我们在GeoQuery、Overnight和WikiSQL上报告了可靠的结果，以展示域内和域传输任务的最新性能。
2018-12-07 cs.AI cs.CL cs.LG
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
Probability estimation and structured output prediction for learning preferences in last mile delivery
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Universidad de O’Higgins（奥希金斯大学）；KU Leuven（鲁汶大学）
我们研究的问题，学习司机和规划者的偏好的背景下，最后一英里交付。给定一个包含历史决策和交付位置的数据集，目标是捕获决策者的隐式偏好。我们考虑两种使用历史数据的方法：一种是通过概率估计方法，学习停止（或区域）之间的转移概率。这是一种快速准确的方法，最近在VRP设置中进行了研究。此外，我们探索使用机器学习来推断如何最好地平衡多个目标，如距离，概率和惩罚。具体来说，我们将学习问题转换为结构化的输出预测问题，其中通过重复调用TSP求解器来完成训练。我们考虑的另一个重要方面是，对于最后一英里交付，每个地址都是潜在的客户端，因此数据非常稀疏。因此，我们提出了一个两阶段的方法，首先学习偏好在区域一级，以计算区域路由，之后，基于惩罚的TSP计算停止路由。结果表明，区域转移概率估计性能良好，结构化输出预测学习可以进一步改善结果。因此，我们展示了概率估计和机器学习的成功组合，同时使用标准TSP求解器，无论是在学习过程中还是在计算最终解时;这意味着该方法适用于其他现实生活中的TSP变体或专有求解器。
2022-01-25 cs.AI cs.LG
Structured Prediction Cascades
University of Pennsylvania（宾夕法尼亚大学）
结构化预测任务在需要模型复杂性以增加预测能力与有限的计算资源之间进行基本权衡，用于在此类模型所需的指数大小的输出空间中进行推断。我们制定并开发了结构化预测级联架构：一系列日益复杂的模型，逐步过滤可能的输出空间。我们方法的关键原理是，级联中的每个模型都经过优化，以准确过滤和细化下一个模型的结构化输出状态空间，从而加快级联下一层的学习和推理。我们通过优化一个新的凸损失函数来学习级联，该函数控制级联的过滤效率和精度之间的权衡，并为精度和效率提供泛化界。我们还扩展了我们的方法，棘手的模型，使用树分解合奏，并提供算法和理论，这种设置。我们评估我们的方法在几个大规模的问题，实现国家的最先进的性能在手写识别和人体姿势识别。我们发现，结构化的预测级联允许巨大的加速和使用以前棘手的功能和模型在这两种设置。
2012-08-06 cs.LG stat.ML
SLOT: Structuring the Output of Large Language Models
Amazon Web Services（亚马逊网络服务）
SLOT提出一种与模型无关的后处理框架，通过微调轻量级语言模型将LLM非结构化输出转换为精确结构化格式，在模式准确性和内容保真度上显著超越更大规模的专有模型。
2025-05-06 cs.AI cs.CL cs.LG
Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation
本文提出STROT框架，通过结构化提示、模式内省和反馈驱动的迭代修正，将LLM嵌入受控分析循环，以提升结构化数据分析的可靠性、可解释性与语义对齐性。
2025-05-03 cs.AI cs.CL cs.LG
Learning as Search Optimization: Approximate Large Margin Methods for Structured Prediction
Information Sciences Institute（信息科学研究所）
映射到结构化输出空间（字符串、树、分区等）通常使用分类算法到简单图形结构的扩展来学习（例如，线性链），其中可以精确地执行搜索和参数估计。不幸的是，在许多复杂的问题，这是罕见的，精确的搜索或参数估计是易于处理的。而不是学习精确的模型和搜索通过启发式手段，我们拥抱这个困难，并在近似搜索方面的结构化输出问题。我们提出了一个框架，学习搜索优化，两个参数更新收敛定理和界限。经验证据表明，我们的学习和解码集成方法可以以更小的计算成本优于精确模型。
2009-07-04 cs.CL cs.LG
