Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Efficient and Reliable Probabilistic Interactive Learning with Structured Outputs
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
在这篇立场论文中，我们研究了结构化输出空间的交互式学习，重点是主动学习，其中标签是未知的，必须获得，和怀疑学习，其中标签是嘈杂的，可能需要重新标记。这些场景需要表达性模型来保证可靠且高效地计算概率量以测量不确定性。我们确定了一类概率模型（我们将其表示为CRISPs）满足所有这些条件的条件，从而在保持表达能力的同时提供上述数量的易处理计算。基于先前关于易处理概率电路的工作，我们说明了CRISPs如何在大型结构化输出空间中实现鲁棒和高效的主动和怀疑学习。
2022-02-17 cs.LG stat.ML
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Differentiable Dynamic Programming for Structured Prediction and Attention
Inria Parietal Saclay（法国国家信息与自动化研究所（Inria） Parietal Saclay）；NTT Communication Science Laboratories（NTT通信科学实验室）
动态规划（DP）通过迭代地将各种结构化组合问题分解为更小的子问题来解决这些问题。尽管DP算法具有多功能性，但它们通常是不可微的，这妨碍了它们作为通过反向传播训练的神经网络中的层的使用。为了解决这个问题，我们建议使用强凸正则化器来平滑动态规划递归中的最大算子。这允许放松的最优值和解决方案的原始组合问题，并把广泛的一类DP算法到微分算子。从理论上讲，我们提供了一个新的概率角度反向传播通过这些DP运营商，并将它们与图形模型中的推理。我们得到两个特定的实例，我们的框架，一个平滑的Viterbi算法的序列预测和平滑的DTW算法的时间序列对齐。我们在两个结构化预测任务和神经机器翻译的结构化和稀疏注意力上展示了这些实例。
2018-02-20 cs.LG stat.ML
Deep Neural Networks Regularization for Structured Output Prediction
Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息处理与系统实验室）
深度神经网络模型是学习表示的强大框架。通常，它用于通过利用输入$x$中的查询来学习关系$x \to y$。在结构化输出预测问题中，$y$是一个多维问题，各维之间往往存在结构关系。这项工作的动机是学习可能存在于输出数据中的输出依赖性，以提高预测精度。不幸的是，前馈网络无法利用输出之间的关系。为了克服这个问题，我们在本文中提出了一个正则化方案，用于训练神经网络，这些特定的任务，使用多任务框架。我们的计划的目的是在学习监督映射函数$x \to y$的同时，以无监督的方式将输出表示$y$的学习纳入训练过程。我们评估我们的框架上的面部地标检测问题，这是一个典型的结构化输出任务。我们在两个公开的具有挑战性的数据集（LFPW和HELEN）上证明，我们的正则化方案提高了深度神经网络的泛化能力，并加速了它们的训练。未标记的数据和标签的数据的使用也进行了探讨，显示了额外的改善的结果。我们提供了我们框架的开源实现（https：//github.com/sbelharbi/structured-output-ae）。
2017-10-30 cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently
Preferred Networks Inc.（Preferred Networks公司）
针对树状Parzen估计器（TPE）在黑盒组合优化中应用不足的问题，提出通过泛化分类核与数值核引入距离结构并优化核计算复杂度的高效算法，实验证明其能以更少评估次数找到更优解。
2025-07-15 cs.AI cs.LG
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Fine-grained Generalization Analysis of Structured Output Prediction
TU Kaiserslautern（凯泽斯劳滕工业大学）；University of Birmingham（伯明翰大学）
在机器学习中，我们经常遇到结构化输出预测问题（SOPP），即输出空间允许丰富内部结构的问题。SOPP自然出现的应用领域包括自然语言处理、语音识别和计算机视觉。典型的SOPP有一个非常大的标签集，它作为输出大小的函数呈指数级增长。现有的泛化分析意味着泛化边界至少与标签集的基数$d$的平方根相关，这在实践中可能是空洞的。在本文中，我们显着提高了最先进的开发新的高概率界的对数依赖于$d$。此外，我们利用透镜的算法稳定性，以开发推广界的预期没有任何依赖于$d$。因此，我们的研究结果建立了一个坚实的理论基础，在大规模SOPP的学习。此外，我们将我们的结果扩展到弱相关数据的学习。
2021-05-31 cs.LG stat.ML
Manifold regularization in structured output space for semi-supervised structured output prediction
Shanghai University（上海大学）；Tongji University（同济大学）；The 3rd Research Institute of Ministry of Public Security（公安部第三研究所）；Kansas State University（堪萨斯州立大学）
结构化输出预测旨在学习预测器以从输入数据向量预测结构化输出。结构化输出包括向量、树、序列等。我们通常假设我们有一个输入输出对的训练集来训练预测器。然而，在许多现实世界的应用中，很难获得输入的输出，因此对于许多训练输入数据点，结构化输出丢失。本文讨论了如何从一个由若干输入输出对和若干无输出的输入数据点组成的训练集中进行学习。这个问题被称为半监督结构化输出预测.针对这一问题，我们提出了一种新的方法，即从输入空间构造一个最近邻图来表示流形结构，并直接用它来正则化结构化的输出空间。我们为每个训练数据点定义了一个松弛的结构化输出，并提出通过学习结构化输出预测器来预测它。松弛结构输出和预测器的学习统一在一个单一的最小化问题。在这个问题中，我们建议最小化相邻数据点的松弛结构化输出之间的结构化损失，以及由结构化损失度量的预测误差。该问题是优化的迭代算法。在三个基准数据集上的实验结果表明了该方法的优越性。
2015-08-12 cs.CV cs.LG
Structured Q-learning For Antibody Design
Technische Universität Darmstadt（达姆施塔特工业大学）；Huawei R&D（华为研发）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
优化组合结构是许多现实问题的核心，例如生命科学中遇到的问题。例如，抗体设计的关键步骤之一是找到蛋白质序列中氨基酸的排列方式，以提高其与病原体的结合。抗体的组合优化由于极大的搜索空间和非线性目标而困难。即使对于一般的抗体设计问题（蛋白质的序列长度为11），我们也要搜索超过2.05 × 10^14个结构。将Q学习等传统强化学习算法应用于组合优化会导致性能不佳。我们提出了结构化Q学习（SQL），Q学习的扩展，结合结构先验的组合优化。使用分子对接模拟器，我们证明了SQL发现高结合能序列，并在八个具有挑战性的抗体设计任务（包括设计SARS-COV抗体）上对基线表现良好。
2022-09-13 cs.LG
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Multi-View Learning over Structured and Non-Identical Outputs
University of Pennsylvania（宾夕法尼亚大学）；INESC-ID；Microsoft Research Asia（微软亚洲研究院）
在许多机器学习问题中，标记的训练数据是有限的，而未标记的数据是充足的。其中一些问题的实例可以分解为多个视图，每个视图几乎都足以确定正确的标签。在本文中，我们提出了一个新的算法，概率多视图学习，使用的想法，随机协议之间的意见作为正则化。我们的算法适用于结构化和非结构化的问题，很容易推广到部分协议的情况。对于完全一致的情况下，我们的算法最大限度地减少每个视图的模型之间的巴塔查里亚距离，并表现得更好的几个平面和结构化的分类问题比CoBoosting和两视图感知器。
2012-06-13 cs.LG stat.ML
OSSCAR: One-Shot Structured Pruning in Vision and Language Models with Combinatorial Optimization
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文提出OSSCAR，一种基于组合优化的高效一次性结构化剪枝框架，通过逐层重建与低秩更新实现高效局部搜索，在视觉与语言模型上显著降低困惑度并提升推理速度，支持数百亿参数规模。
2024-03-02 cs.CV cs.LG
Combinatorial Bandit Bayesian Optimization for Tensor Outputs
Department of Industrial Engineering, Tsinghua University, Beijing 100084, China（清华大学工业工程系）；College of Economics and Management, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China（南京航空航天大学经济管理学院）
本文提出了一种针对张量输出的组合带状贝叶斯优化方法，通过引入张量输出高斯过程和UCB获取函数，有效处理部分观测的张量输出问题，并建立了理论遗憾界。
2026-03-02 cs.LG
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
Graph Structured Combinatorial Semi-Bandit with Nonlinear Reward Associations through Separable Signals
IEEE
针对图结构组合半赌博机问题，提出基于图因果奖励建模、再生核方法和泰勒近似的自适应策略，实现时间次线性与数据量线性性能保证，并验证于合成与真实交通数据。
2026-06-15 cs.LG
GraphThought: Graph Combinatorial Optimization with Thought Generation
East China Normal University（东华大学）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；Key Laboratory of Mathematics and Engineering Applications, MoE, East China Normal University（数学与工程应用重点实验室，教育部，东华大学）
针对大语言模型在复杂图组合优化任务中易产生推理幻觉的问题，研究者提出最优思维设计问题与GraphThought框架，微调得到8B参数的Llama-GT，在GraphArena基准上超越更大规模模型，无需扩参即可提升性能。
2025-06-12 cs.LG
Convex Relaxation for Combinatorial Penalties
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
在本文中，我们提出了一个统一的观点，最近提出的结构稀疏诱导规范。我们考虑了一个模型同时（a）被定义在未知参数向量的支持上的集函数惩罚的情况，该支持表示支持上的先验知识，以及（b）在Lp-范数下正则化的情况。我们表明，自然的组合优化问题，可以放松到凸优化问题，并引入一个概念，下组合包络的一组功能，我们的放松的紧密性的特点。此外，我们建立联系的基础上潜在的表示，包括潜在组拉索和块编码的规范，并从次模函数得到的规范。
2012-05-06 cs.LG stat.ML
Learning to Predict Combinatorial Structures
设计用于预测结构化数据的判别式学习算法的主要挑战是解决由输出空间的指数大小引起的计算问题。现有的算法作出不同的假设，以确保有效的，多项式时间估计模型参数。对于一些组合结构，包括循环、偏序集、置换和其他图类，这些假设不成立。在这篇论文中，我们通过引入两个新的假设来解决预测组合结构的学习算法的设计问题：（i）第一个假设是一个特定的计数问题可以有效地解决。其结果是一个概括的经典岭回归结构化预测。(ii)第二个假设是，一个特定的采样问题可以有效地解决。结果是一种设计和分析概率结构预测模型的新技术。这些结果可以应用于解决几个复杂的学习问题，包括但不限于多标签分类，多类别层次分类，标签排名。
2010-06-26 cs.AI cs.LG
SOInter: A Novel Deep Energy Based Interpretation Method for Explaining Structured Output Models
本文提出一种基于深度能量的解释方法SOInter，通过训练解释器函数并考虑输出变量间相关性，有效解释结构化输出模型在局部输入空间中的决策行为。
2025-08-10 cs.LG
Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces
Washington State University（华盛顿州立大学）
我们考虑优化组合空间的问题（例如，序列、树和图）使用昂贵的黑盒函数求值。例如，使用物理实验室实验优化药物设计的分子。贝叶斯优化（BO）是一个有效的框架，解决这类问题的智能选择高效用的输入引导学习代理模型。组合空间的最近BO方法是通过使用深度生成模型（DGMs）学习结构的潜在表示来在连续空间上减少BO。从连续空间中选择的输入被解码成离散结构，用于执行函数求值。然而，潜在空间上的代理模型仅使用由DGM学习的信息，其可能不具有期望的归纳偏差来近似目标黑盒函数。为了克服这个缺点，本文提出了一种称为LADDER的原则性方法。其关键思想是定义一个新的结构耦合内核，明确集成的结构信息解码结构与学习的潜在空间表示更好的代理建模。我们在真实世界的基准测试中的实验表明，LADDER显着改善了潜在空间上的BO方法，并且表现得更好或类似于最先进的方法。
2021-11-01 cs.AI cs.LG
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Domain Transfer Structured Output Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出了域迁移结构化输出学习问题及其第一种解决方案，该问题定义在两个共享相同输入输出空间的不同数据域上，即源域和目标域。输出是结构化的，并且对于源域的数据样本，对应的输出是可用的，而对于目标域的大多数数据样本，对应的输出是缺失的。这两个领域的输入分布是显着不同的。问题是学习目标域的预测器，以预测来自输入的结构化输出。由于目标域样本的输出有限，很难直接从目标域学习预测器，因此需要利用源域的输出信息。我们建议通过使用源域数据训练的辅助预测器适应目标域来学习目标域预测器。自适应是通过在辅助预测器的基础上增加增量函数来实现的。开发了一种算法来学习delta函数的参数，以使与预测输出相关联的损失函数相对于具有目标域的可用输出的数据样本的真实输出最小化。
2014-09-03 cs.LG
Real-Time Trustworthiness Scoring for LLM Structured Outputs and Data Extraction
Cleanlab
本文提出CONSTRUCT，一种实时评估LLM结构化输出可信度的方法，通过评分帮助优先处理人类审核，支持复杂结构化输出，无需标注数据或定制模型部署。
2026-03-31 cs.CL cs.LG
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
A Deep Learning Model for Structured Outputs with High-order Interaction
National Research Council of Canada（加拿大国家研究委员会）；NEC Labs America（NEC美国实验室）
许多现实世界的应用程序都与结构化数据相关联，其中不仅输入而且输出都有相互作用。然而，典型的分类和回归模型往往缺乏同时探索输入和输出中高阶交互作用的能力。在本文中，我们提出了一个深度学习模型，旨在生成从结构化输入到结构化输出的强大的非线性函数映射。更具体地说，我们建议整合高阶隐藏单元，指导判别式预训练和高阶自动编码器。我们用三个数据集对模型进行了评估，并在竞争性方法中获得了最先进的性能。我们目前的工作重点是结构化输出回归，这是一个较少探索的领域，尽管该模型可以扩展到处理结构化标签分类。
2015-04-29 cs.LG cs.NE
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
Detecting Post-generation Edits to Watermarked LLM Outputs via Combinatorial Watermarking
Department of Industrial and Systems Engineering, University of Minnesota（工业与系统工程系，明尼苏达大学）；Google（谷歌）；Department of Electrical and Computer Engineering, Princeton University（电气工程与计算机科学系，普林斯顿大学）；Stony Brook University（石溪大学）
本研究针对带水印大语言模型输出的生成后编辑检测定位需求，提出基于组合模式的水印框架及配套全局、局部统计量，在多编辑场景下验证了其优异的编辑定位性能。
2025-10-02 cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Structured Prediction Cascades
University of Pennsylvania（宾夕法尼亚大学）
结构化预测任务在需要模型复杂性以增加预测能力与有限的计算资源之间进行基本权衡，用于在此类模型所需的指数大小的输出空间中进行推断。我们制定并开发了结构化预测级联架构：一系列日益复杂的模型，逐步过滤可能的输出空间。我们方法的关键原理是，级联中的每个模型都经过优化，以准确过滤和细化下一个模型的结构化输出状态空间，从而加快级联下一层的学习和推理。我们通过优化一个新的凸损失函数来学习级联，该函数控制级联的过滤效率和精度之间的权衡，并为精度和效率提供泛化界。我们还扩展了我们的方法，棘手的模型，使用树分解合奏，并提供算法和理论，这种设置。我们评估我们的方法在几个大规模的问题，实现国家的最先进的性能在手写识别和人体姿势识别。我们发现，结构化的预测级联允许巨大的加速和使用以前棘手的功能和模型在这两种设置。
2012-08-06 cs.LG stat.ML
Duality in RKHSs with Infinite Dimensional Outputs: Application to Robust Losses
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎电信学院，LTCI实验室）
当输出空间是希尔伯特空间时，算子值核（OVK）和相关的向量值再生核希尔伯特空间提供了一种扩展标量核方法的优雅方式。虽然主要用于有限维的多任务回归等问题，但该框架处理无限维输出空间的能力解锁了更多的应用，如函数回归，结构化输出预测和结构化数据表示。然而，这些复杂的计划至关重要地依赖于输出空间中的内核技巧，所以以前的大多数工作都集中在平方范数损失函数，完全忽略了鲁棒性问题，可能会出现在这样的代理问题。为了克服这一限制，本文开发了一种对偶方法，允许解决OVK机的损失函数范围很广。无限维拉格朗日乘子处理通过一个双重表示定理，和$ε$不敏感的损失和Huber损失的算法进行了彻底的详细说明。通过理论稳定性分析以及对结构化数据应用程序的经验改进来强调健壮性的好处。
2020-08-21 cs.LG stat.ML
Large Margin Semi-supervised Structured Output Learning
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）
在结构化输出学习中，为现实世界的应用程序获取标记的数据通常是昂贵的，而未标记的示例则大量存在。半监督结构化分类已被开发用于处理大量未标记的结构化数据。在这项工作中，我们考虑半监督结构支持向量机域约束。优化问题，这在一般情况下是不凸的，包含与标记和未标记的例子以及域约束相关的损失项。我们提出了一个简单的优化方法，交替解决一个监督学习问题和约束匹配问题。针对结构化预测难以解决的约束匹配问题，提出了一种高效的爬山算法，在确定性退火框架下进行交替优化，有效地进行约束匹配，避免了局部极小值的产生.该算法实现简单，在基准数据集上取得了相当的泛化性能。
2013-11-09 cs.LG
Semi-supervised learning of local structured output predictors
Beijing Jiaotong University（北京交通大学）
本文研究了半监督结构化输出预测问题，旨在学习结构化输出的预测器，如序列、树节点、向量等，从输入输出对和没有输出的单输入的一组数据点。传统的预测方法通常只对所有数据点学习一个预测器，而忽略了不同数据点的多样性。数据集的不同部分可能具有不同的局部分布，并且需要不同的最优局部预测器。为了克服现有方法的这一缺点，我们建议同时为不同数据点的邻域和缺失的结构化输出学习不同的局部预测器。在每个数据点的邻域中，我们提出通过最小化预测器的复杂度和结构化预测损失的上界来学习线性预测器。通过梯度下降算法进行最小化。在DDSM乳腺X线摄影医学图像、SUN自然图像数据集、Cora研究论文数据集和西班牙新闻网文章句子数据集上的实验表明了该方法的优越性。
2016-04-11 cs.CV cs.LG
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Airtificial Intelligence Research Institute（人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理与技术学院）；HSE University（高等经济学院）；Skoltech（斯科尔科沃科学技术学院）；AIRI（人工智能研究所）；Sber AI Lab；MIPT（莫斯科物理与技术学院）
结构化潜变量允许将有意义的先验知识合并到深度学习模型中。然而，学习这些变量仍然具有挑战性，因为它们的离散性。如今，标准的学习方法是将潜在变量定义为扰动算法输出，并使用可微代理进行训练。一般来说，代理对模型施加了额外的约束，不可避免地导致有偏梯度。为了减轻这些缺点，我们扩展了Gumbel-Max技巧来定义结构域上的分布。我们通过利用得分函数估计器进行优化来避免可微代理。特别是，我们强调一个家庭的递归算法的一个共同的特点，我们称之为随机不变。该功能使我们能够构建可靠的梯度估计和控制变量，而无需对模型进行额外的约束。在我们的实验中，我们考虑了各种结构化的潜变量模型，并取得了与基于松弛的同行竞争的结果。
2021-10-28 cs.LG
Contextual Combinatorial Multi-output GP Bandits with Group Constraints
EPFL（洛桑联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Bilkent University（比尔肯特大学）
本文针对联邦多臂赌博机中带群组奖励约束的组合决策问题，提出双输出高斯过程建模和TCGP-UCB算法，在最大化超级臂奖励与满足群组约束间取得平衡，并证明其遗憾界优于现有非GP组合赌博机方法。
2023-07-10 cs.LG stat.AP stat.ML
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Structured Learning from Partial Annotations
University of Heidelberg（海德堡大学）
结构化学习适用于预测结构化输出，如树、图或序列。大多数先前的工作要求训练集由完整的树、图或序列组成。这样详细的地面实况可能是乏味的或不可行的大输出。我们的主要贡献是一个大的利润制定，使结构化学习，只有部分注释的数据可能。所得到的优化问题是非凸的，但可以有效地解决凹凸过程（CCCP）与新的加速策略。我们将我们的方法应用到一个具有挑战性的跟踪分配问题的可变数量的可分对象。在这个基准测试中，仅使用完整注释的25%，我们就实现了与使用完整注释学习的模型相当的性能。最后，我们提供了一个统一的视角，以前的工作使用铰链，斜坡，或最大损失的结构化学习，其次是他们的实际表现的实证比较。
2012-06-27 cs.LG stat.ML
Neural Combinatorial Logic Circuit Synthesis from Input-Output Examples
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的，充分解释的神经方法来综合的组合逻辑电路从输入输出的例子。我们的方法的携带优势是，它很容易扩展到归纳的情况下，一组例子是不完整的，但仍然指示所需的行为。我们的方法可以用于原子的几乎任意选择-从逻辑门到FPGA块-只要它们可以以可微的方式配制，并始终产生良好的结果，用于合成越来越大的实际电路。特别是，我们成功地学习了一些算术，逐位和信号路由操作，甚至概括了归纳场景中的正确行为。我们的方法，攻击一个离散的逻辑合成问题，一个可解释的神经方法，暗示了一个更广泛的承诺，合成和推理相关的任务。
2022-10-29 cs.AI cs.LG cs.SC
Center Smoothing: Certified Robustness for Networks with Structured Outputs
University of Maryland（马里兰大学）
可证明对抗鲁棒性的研究主要限于分类任务和具有一维实值输出的模型。我们将可证明的鲁棒性的范围扩展到具有更一般和结构化输出的问题，如集合，图像，语言等。我们将输出空间建模为距离/相似性函数下的度量空间，如交集，感知相似性，总变化距离等。此类模型用于许多机器学习问题，如图像分割，目标检测，生成模型，图像/音频到文本系统等。基于称为随机平滑的鲁棒性技术，我们的$\textit{center smoothing}$过程可以产生保证输出中的变化的模型，如通过距离度量测量的，对于输入的任何范数有界的对抗性扰动保持较小。我们应用我们的方法来创建具有不同输出空间的可证明的鲁棒模型-从集合到图像-并表明它产生有意义的证书，而不会显着降低基础模型的性能。我们的实验代码可在https://github.com/aounon/center-smoothing上获得。
2022-01-12 cs.LG
Weak Disambiguation for Partial Structured Output Learning
City University of Hong Kong（香港城市大学）
现有的部分结构化输出学习的消歧策略不能很好地推广，以解决存在一些可能是假阳性或类似于地面真理标签的候选人的问题。在本文中，我们提出了一种新的弱消歧部分结构化输出学习（WD-PSL）。首先，分段大间隔公式推广到部分结构化输出学习，这有效地避免了处理大量的候选结构化输出的复杂结构。其次，在所提出的弱消歧策略中，为每个候选标签分配一个置信度值，该置信度值指示它是真实标签的可能性，其目的是减少学习过程中错误的地面实况标签分配的负面影响。然后，两个大的利润率制定结合两种类型的约束，这是候选人和非候选人之间的消歧，和候选人的弱消歧。在交替优化的框架下，提出了一种新的2n松弛变量割平面算法，以加速优化的每次迭代。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
StructBoost: Boosting Methods for Predicting Structured Output Variables
The University of Adelaide（阿德莱德大学）
Boosting是一种通过线性组合一组不太准确的弱学习器来学习单个准确预测器的方法。近年来，结构化学习在计算机视觉中得到了广泛的应用。受结构化支持向量机（SSVM）的启发，本文提出了一种用于结构化输出预测的新的boosting算法，称为StructBoost。StructBoost通过组合一组弱结构化学习器来支持非线性结构化学习。由于SSVM推广了SVM，我们的StructBoost将标准的提升方法（如AdaBoost或LPBoost）推广到结构化学习。StructBoost的优化问题比SSVM更具挑战性，因为它可能涉及指数级的许多变量和约束。相比之下，对于SSVM，通常具有指数数量的约束，并且使用切割平面方法。为了有效地解决StructBoost，我们制定了一个等效的$ 1 $ -松弛公式，并使用切割平面和列生成的组合来解决它。我们展示了StructBoost在一系列问题上的多功能性和实用性，例如优化分层多类分类的树损失，优化Pascal重叠标准以实现强大的视觉跟踪和学习条件随机场参数以进行图像分割。
2020-03-09 cs.LG
Multi-Output Gaussian Processes for Graph-Structured Data
Graduate School of Engineering, Nagoya Institute of Technology（名古屋技术大学工学研究科）
本文提出基于多输出高斯过程的图结构数据回归方法，同时建模顶点与数据相关性，具高表达力，并泛化现有方法，实验验证其扩展性能。
2025-05-22 cs.LG
Structured Output Regularization: a framework for few-shot transfer learning
York University（约克大学）
提出结构化输出正则化（SOR）框架，通过冻结网络结构并组合组套索与L1惩罚，以最少参数适应少样本医学影像分类，在三个任务上取得有竞争力结果。
2025-10-09 cs.CV cs.LG stat.ML
Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions
University of California, Berkeley（加州大学伯克利分校）
提出LSFlow方法，通过球形流匹配在紧凑连续潜在空间中学习随机策略，并利用组合优化求解器保证动作可行性，引入平滑贝尔曼算子解决不连续值函数问题，在多个组合RL任务上平均超越基线20.6%。
2026-06-06 cs.LG
