A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
Safe Online Learning via Smooth Safety-Structured Policy Composition
Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出AutoSafe架构，通过将结构化安全监控与干预直接集成到动作生成中，实现性能与安全行为之间的平滑风险依赖转换，在连续控制基准和实物倒立摆系统上验证了强安全性与学习平滑性。
2026-07-01 cs.LG cs.RO
Online Structured Meta-learning
Pennsylvania State University（宾夕法尼亚州立大学）；Salesforce Research（Salesforce研究院）
快速学习对于在线平台中部署的机器智能非常重要。元学习具有从学习任务中转移知识的能力，通过使用学习的先验知识不断更新模型，在在线场景中显示出其有效性。然而，目前的在线元学习算法仅限于学习全局共享的元学习者，这可能导致次优结果时，任务包含异构的信息是不同的性质和难以共享。我们克服了这个限制，提出了一个在线结构化元学习（OSML）框架。受人类知识组织和层次特征表示的启发，OSML将元学习者明确地分解为具有不同知识块的元层次图。当遇到新任务时，它通过利用最相关的知识块或探索新的知识块来构建元知识路径。通过元知识路径，模型能够快速适应新任务。此外，新的知识被进一步纳入选定的块。三个数据集上的实验表明，我们提出的框架的有效性和可解释性的上下文中的同质和异构的任务。
2020-10-22 cs.LG
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland（马里兰大学）
算法设计者通常假设输入数据是正确的，然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而，这种正确数据的假设在实践中并不总是成立，特别是在在线学习系统的背景下，其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题，其中一个给定的输入实例以及所需的输出，任务是调整输入数据，使给定的输出确实是最优的。受学习结构化预测模型的启发，在本文中，我们考虑了具有裕度的逆优化，即，我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上，拟阵的交集，完美匹配，最小成本最大流，最短路径，并得出第一个已知的结果，这样的问题与非零利润。这些算法的有效性，结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程，提出统计高效的框架，分离正则化原始-对偶动力学与演员近似及统计误差，实现无模型最后迭代收敛，并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Online Learning with Multiple Fairness Regularizers via Graph-Structured Feedback
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；Dyson School of Design Engineering, Imperial College London（伦敦帝国理工学院设计工程戴森学院）；Imperial College London（伦敦帝国理工学院）
本文针对在线决策中多重公平约束的权重自适应问题，提出了一种基于图结构反馈的赌博机算法，能够在不预先知道权重的情况下在线学习并平衡多个公平性目标。
2026-05-22 cs.AI cs.LG
StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon AWS AI（亚马逊AWS人工智能）
针对长时程VLA任务中终端奖励稀疏的问题，提出StructRL在线强化学习框架，通过可验证子任务分解构建结构化中间奖励，在RoboCasa365和LIBERO-Long上超越基线。
2026-09-30 cs.CV cs.LG cs.RO
A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning
Carnegie Mellon University（卡内基梅隆大学）
序列预测问题，如模仿学习，未来的观察取决于以前的预测（行动），违反了共同的独立同分布。统计学习中的假设。这在理论上和实践中往往导致性能不佳。最近的一些方法在这种情况下提供了更强的保证，但仍然有些不令人满意，因为它们训练非平稳或随机的政策，并需要大量的迭代。在本文中，我们提出了一个新的迭代算法，它训练一个固定的确定性政策，可以被看作是一个没有遗憾的算法在在线学习设置。我们表明，任何这样的无遗憾算法，结合额外的减少假设，必须找到一个政策下，它诱导在这样的顺序设置的观测分布具有良好的性能。我们证明了这种新的方法优于以前的方法在两个具有挑战性的模仿学习问题和基准序列标记问题。
2011-03-16 cs.AI cs.LG stat.ML
A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings
Imperial College London（帝国理工学院）；University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；Massachusetts Institute of Technology（麻省理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research（巴黎文理研究大学）
我们提出并分析了一种新的结构化预测的理论和算法框架。虽然到目前为止，这个术语指的是离散的输出空间，但这里我们考虑更一般的设置，例如流形或概率测度的空间。我们将结构化预测定义为输出空间缺乏向量结构的问题。我们确定并研究了一大类损失函数，隐含地定义了一个合适的几何问题。后者是开发一个算法框架的关键，该框架适合于尖锐的统计分析并产生有效的计算。当处理输出空间的无限基数，一个合适的隐式公式的估计是至关重要的。
2020-02-13 cs.LG math.ST stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Improved Online Conformal Prediction via Strongly Adaptive Online Learning
Salesforce AI Research（Salesforce人工智能研究院）
我们研究的问题，通过预测集的不确定性量化，在一个在线设置的数据分布可能会随时间的推移而任意变化。最近的工作开发了在线共形预测技术，利用在线学习文献中的遗憾最小化算法来学习具有近似有效覆盖和小遗憾的预测集。然而，标准的遗憾最小化可能不足以应对不断变化的环境，其中不仅在整个时间范围内而且在所有（子）时间间隔内都需要性能保证。我们开发了新的在线共形预测方法，最大限度地减少了强自适应遗憾，这措施的最坏情况下的遗憾，在所有的间隔一个固定的长度。我们证明了我们的方法实现了近最优的强自适应遗憾的所有区间长度同时，和近似有效的覆盖。实验表明，我们的方法始终获得更好的覆盖率和更小的预测集比现有的方法在现实世界的任务，如时间序列预测和图像分类下分布偏移。
2023-02-15 cs.AI cs.LG math.ST
Online Structured Prediction via Coactive Learning
Cornell University（康奈尔大学）
我们提出协同学习作为一个学习系统和人类用户之间的交互模型，两者都有一个共同的目标，即为用户提供最大效用的结果。在每个步骤，系统（例如，搜索引擎）接收上下文（例如，查询）并预测对象（例如，排名）。如果有必要，用户通过纠正系统来做出响应，提供稍微改进的-但不一定是最佳的-对象作为反馈。我们认为，这样的反馈往往可以推断出可观察到的用户行为，例如，从点击在网络搜索。通过对用户的基数效用评估预测，我们提出了具有${\cal O}(\frac{1}{\sqrt{T}})$平均遗憾的高效学习算法，即使学习算法从未像传统的在线学习那样观察基数效用值。我们证明了我们的模型和学习算法的电影推荐任务的适用性，以及网络搜索的排名。
2012-06-27 cs.AI cs.IR cs.LG
ElfCore: A 28nm Neural Processor Enabling Dynamic Structured Sparse Training and Online Self-Supervised Learning with Activity-Dependent Weight Update
Institute of Neuroinformatics University of Zurich（神经信息学研究所 瑞士苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
ElfCore是一种28纳米神经处理器，通过动态结构稀疏训练和活动依赖权重更新，实现低功耗高效的学习与信号处理。
2025-12-24 cs.AR cs.LG
Online Non-Additive Path Learning under Full and Partial Information
Google Research（谷歌研究院）；Courant Institute（柯朗研究所）；Microsoft Corporation（微软公司）；Google Inc.（谷歌公司）；UC Santa Cruz（加州大学圣克鲁兹分校）
我们研究了非加性增益的在线路径学习问题，这是一个中心问题出现在几个应用中，包括集成结构预测。我们提出了新的在线算法的路径学习与非加性计数为基础的收益为三个设置的全信息，半土匪和充分土匪非常有利的遗憾保证。我们的算法的一个关键组成部分是一个中间上下文相关的自动机，使我们能够使用现有的算法设计的附加收益的定义和计算。我们进一步将我们的方法应用于集合结构预测的重要应用。最后，除了基于计数的增益，我们给出了一个有效的实现的EXP3算法的充分的强盗设置与任意（非加性）的增益。
2019-03-19 cs.LG stat.ML
Learning in Structured Stackelberg Games
Carnegie Mellon University（卡内基梅隆大学）；University of California（加州大学）
本文研究了结构化Stackelberg游戏，提出Stackelberg-Littlestone维度以优化在线学习算法，并在分布设定中提供样本复杂度的上下界。
2026-09-22 cs.GT cs.LG
Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们介绍了结构化预测能量网络（SPENs），这是一个灵活的结构化预测框架。使用深度架构来定义候选标签的能量函数，然后通过使用反向传播迭代优化标签的能量来产生预测。这种深度架构捕获标签之间的依赖关系，这些依赖关系会导致难以处理的图形模型，并通过自动学习结构化输出的区分特征来执行结构学习。我们的技术的一个自然应用是多标签分类，传统上需要对标签之间的相互作用进行严格的先验假设，以确保易于处理的学习和预测。我们能够将SPEN应用于多标签问题，其标签集比以前的结构化预测应用程序大得多，同时使用最小的结构假设对高阶相互作用进行建模。总的来说，深度学习为学习预测问题的输入特征提供了出色的工具，这项工作将这些技术扩展到学习结构化输出的特征。我们的实验在各种基准多标签分类任务上提供了令人印象深刻的性能，证明了我们的技术可用于提供可解释的结构学习，并阐明了前馈和迭代结构化预测之间的基本权衡。
2016-06-23 cs.LG stat.ML
Multi-model Online Conformal Prediction with Graph-Structured Feedback
Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系 加州大学伊尔市分校）
提出基于二部图反馈的多模型在线保形预测算法，动态筛选有效模型子集以降低计算复杂度并减小预测集，同时利用预测集大小和模型损失作为反馈，在保证覆盖率和次线性遗憾的前提下显著提升效率。
2025-10-10 cs.LG
Online Classification with Predictions
本文研究带预测的在线分类，设计一种学习器，其遗憾随预测质量提升而改善且不劣于最坏情况，并证明在预测容易时可达直推式在线学习的性能。
2024-05-22 cs.DS cs.LG stat.ML
Online Conformal Prediction: Enforcing monotonicity via Online Optimization
University of Michigan（密歇根大学）
本文提出两种新的在线置信预测方法，生成不同置信水平下的嵌套预测集，实现整个风险范围的不确定性量化。方法通过在线优化控制后悔，提高统计效率。
2026-05-12 cs.LG stat.ML
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
Disentangling Online Chats with DAG-Structured LSTMs
Bloomberg（彭博社）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
许多现代消息传递系统允许许多用户之间的快速和同步的文本通信。由此产生的消息序列隐藏了一个更复杂的结构，其中独立的子会话相互交织。这对任何旨在了解聊天记录内容或从中收集信息的任务都构成了挑战。理清这些对话的能力就等同于许多下游任务的成功，如总结和问答。伴随文本的结构化信息，如用户转向，用户提及，时间戳，被需要跟随对话的参与者自己用作线索，并且已被证明对解开纠缠很重要。DAG-LSTM是Tree-LSTM的一种推广，可以处理有向非循环依赖关系，是合并此类信息及其非顺序性质的自然方式。在本文中，我们将DAG-LSTM应用于会话解纠缠任务。我们在Ubuntu IRC数据集上进行了实验。我们表明，我们提出的新模型实现了最先进的状态恢复回复关系的任务，它是其他解纠缠指标的竞争力。
2021-06-16 cs.CL cs.LG
POLA: Online Time Series Prediction by Adaptive Learning Rates
Institute for Infocomm Research（资讯通信研究院）
流时间序列数据的在线预测对于许多实际应用具有实际用途，其中下游决策取决于对未来的准确预测。动态环境中的部署要求模型快速适应不断变化的数据分布，而不会过度拟合。我们提出了POLA（通过学习率适应在线预测）来自动调节递归神经网络模型的学习率，以适应随时间变化的时间序列模式。POLA通过吸收用于在线预测的先决或先测试后训练评估方案来元学习随机梯度下降（SGD）算法的学习率。我们在三个常用的递归神经网络模型的两个真实数据集上评估POLA。POLA表现出与其他在线预测方法相比具有可比或更好的预测性能。
2021-02-17 cs.LG stat.ML
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
IllinoisSL: A JAVA Library for Structured Prediction
Microsoft Research New England（微软新英格兰研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；University of Utah（犹他大学）
IllinoisSL是一个用于学习结构化预测模型的Java库。它支持结构化支持向量机和结构化感知器。该库由一个核心学习模块和几个应用程序组成，可以从命令行执行。提供文档以指导用户。与其他结构化学习库相比，IllinoisSL具有高效、通用和易于使用的特点。
2015-09-23 cs.CL cs.LG stat.ML
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
Efficient Online Proportional Sampling with Applications to Smoothed Online Learning
研究高维域在线比例采样问题，设计支持高效更新和采样的数据结构，在不同对手下证明数据结构深度界，应用于在线学习获高效无悔算法及次线性遗憾保证。
2026-07-14 cs.AI cs.CG cs.GT
On the inconsistency of separable losses for structured prediction
Universite Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
在本文中，我们证明了结构化预测的可分离负对数似然损失不一定是贝叶斯一致的，或者换句话说，最小化这些损失可能不会导致模型预测给定输入的数据分布中最可能的结构。这一事实引发了一个问题，即这些损失是否适合结构化预测，如果是的话，为什么。
2023-01-25 cs.CL cs.LG stat.ML
End-to-End Learning for Structured Prediction Energy Networks
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
结构化预测能量网络（SPEN）是一个简单但富有表现力的结构化预测模型家族（Belanger和McCallum，2016）。候选结构化输出的能量函数由深度网络给出，预测由基于梯度的优化形成。本文介绍了SPENs的端到端学习，其中能量函数通过基于梯度的预测通过反向传播进行有区别地训练。根据我们的经验，该方法比Belanger和McCallum（2016）的结构化SVM方法更准确，因为它允许我们使用更复杂的非凸能量。我们提供了一系列技术来提高端到端SPEN的速度，准确性和内存要求，并展示了我们的方法在7场景图像去噪和CoNLL-2005语义角色标记任务上的强大功能。在这两种情况下，非凸SPEN能量的不精确最小化优于使用可以精确最小化的简单能量函数的基线方法。
2017-07-15 cs.LG stat.ML
Resource Constrained Structured Prediction
Boston University（波士顿大学）；Microsoft Research（微软研究院）
研究了测试时间预算约束下的结构化预测问题。我们提出了一种新的方法，适用于计算机视觉和自然语言处理中的各种结构化预测问题。我们的方法旨在自适应地生成计算成本高的功能，在测试时，以减少预测的计算成本，同时保持预测性能。我们表明，训练的自适应功能生成系统可以减少到一系列的结构化学习问题，从而有效的训练，使用现有的结构化学习算法。这个框架提供了一些现有的启发式方法在文献中发现的理论依据。我们评估了我们提出的自适应系统的两个结构化预测任务，光学字符识别（OCR）和依赖解析，并显示出强大的性能，在降低功能成本，而不降低精度。
2016-06-08 cs.CL cs.CV cs.LG
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Graph Structured Prediction Energy Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对于多个变量的联合推断，已经开发了各种结构化预测技术来对变量之间的相关性进行建模，从而改进预测。然而，许多经典的方法遭受的两个主要缺点之一：他们要么缺乏的能力，模型高阶变量之间的相关性，同时保持计算易处理的推理，或者他们不允许明确的模型已知的相关性。为了解决这一缺点，我们引入了“图结构预测能量网络”，我们开发了推理技术，允许对显式局部和隐式高阶相关性进行建模，同时保持推理的易处理性。我们将所提出的方法应用于自然语言处理和计算机视觉领域的任务，并展示了其通用性。
2020-01-05 cs.LG stat.ML
Efficient Structured Prediction with Latent Variables for General Graphical Models
ETH Zurich（苏黎世联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
在本文中，我们提出了一个统一的框架，结构化预测与潜在的变量，其中包括隐条件随机场和潜在的结构支持向量机作为特殊情况。我们描述了一个局部熵近似这个一般配方使用对偶，并推导出一个有效的消息传递算法，保证收敛。我们证明了它的有效性的任务，图像分割，以及3D室内场景理解从单一的图像，表明我们的方法是优于潜在的结构化支持向量机和隐藏的条件随机场。
2012-06-27 cs.LG stat.ML
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
Approximated Structured Prediction for Learning Large Scale Graphical Models
TTI Chicago（芝加哥丰田技术研究院）
本文给出了“近似大规模结构预测的原始-对偶消息传递算法”的证明。
2012-07-09 cs.AI cs.LG
Deep Metric Learning via Lifted Structured Feature Embedding
Stanford University（斯坦福大学）；MIT（麻省理工学院）
学习样本之间的距离度量对于学习和视觉识别具有重要意义。随着最先进的卷积神经网络的显着成功，最近的工作已经显示出有前途的结果，有区别地训练网络学习语义特征嵌入，其中相似的例子被映射到彼此接近，不相似的例子被映射到更远的地方。在本文中，我们描述了一种算法，充分利用训练批次的神经网络的训练，通过提升的成对距离的向量在批次内的成对距离矩阵。该步骤使算法能够通过优化提升问题上的新结构化预测目标来学习最先进的特征嵌入。此外，我们收集了在线产品数据集：23 k类在线产品的120 k图像用于度量学习。我们在CUB-200-2011、CARS 196和在线产品数据集上的实验表明，在GoogLeNet网络的所有实验嵌入大小上，现有的深度特征嵌入方法都有显著的改进。
2015-11-19 cs.CV cs.LG
A Consistent Regularization Approach for Structured Prediction
Laboratory for Computational and Statistical Learning - Istituto Italiano di Tecnologia（意大利理工学院计算与统计学习实验室）；Massachusetts Institute of Technology（麻省理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了结构化预测问题的正则化方法。我们刻画了一个大类的损失函数，允许自然地嵌入结构化输出的线性空间。我们利用这一事实设计学习算法使用代理损失的方法和正则化技术。我们证明了所提出的方法的普遍一致性和有限样本界特征的泛化性能。实验结果证明了所提出的方法的实用性。
2017-07-28 cs.LG stat.ML
Online Algorithms with Multiple Predictions
Duke University（杜克大学）；IIT Delhi（德里印度理工学院）
本文研究了在线算法与多个机器学习预测增强。虽然近年来已经广泛地研究了用单个预测增强的在线算法，但是用于多个预测设置的文献是稀疏的。在本文中，我们给出了一个通用的算法框架，在线覆盖问题的多个预测，获得一个在线的解决方案，是对最佳预测的性能竞争。我们的算法结合了使用的预测在经典的潜在的在线算法的分析。我们应用我们的算法框架来解决经典的问题，如在线集覆盖，（加权）缓存，在线设施的位置在多个预测设置。我们的算法也可以是鲁棒的，即，可以同时使该算法与最佳预测和最佳在线算法（没有预测）的性能竞争。
2022-07-13 cs.DS cs.LG
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Peer-inspired Student Performance Prediction in Interactive Online Question Pools with Graph Neural Network
HKUST（香港科技大学）
学生表现预测对在线教育至关重要。它可以使在线学习平台上的许多下游任务受益，例如估计辍学率，促进战略干预，以及实现自适应在线学习。交互式在线问题池为学生提供有趣的交互式问题，以实践他们在在线教育中的知识。然而，很少有研究已经做了互动在线问题池中的学生成绩预测。现有的学生成绩预测工作针对的是具有预定义课程和准确知识标签的在线学习平台，如MOOC平台，但它们不能完全模拟学生在交互式在线问题池中的知识演变。在本文中，我们提出了一种新的方法，使用图神经网络（GNNs），以实现更好的学生表现预测的互动在线问题池。具体而言，我们使用学生交互来建模学生和问题之间的关系，以构建学生交互问题网络，并进一步提出了一种新的GNN模型，称为R^2GCN，它本质上适用于异构网络，以实现可推广的学生在线交互问题池中的表现预测。我们评估了我们的方法在真实世界的数据集上的有效性，该数据集由104，113个鼠标轨迹组成，这些轨迹是在4000多名学生对1631个问题的解决过程中产生的。实验结果表明，该方法比传统的机器学习方法和GNN模型具有更高的学生成绩预测精度。
2020-08-15 cs.HC cs.LG stat.ML
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH（POSTECH大学）；GSAI（GSAI研究院）
本文提出一种基于对抗性带的在线 conformal 预测方法，在部分反馈下保证长期覆盖性，通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Online Learning Using Only Peer Prediction
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文考虑了一个变种的经典在线学习问题的专家预测。我们的模型的差异和挑战是由于缺乏对每个专家在每个时间步$t$产生的损失的任何直接反馈。我们提出了一种方法，使用同行预测，并确定它成功的条件。我们的技术围绕着一个精心设计的同行评分功能$s()$，评分专家的预测的基础上同行的共识。我们展示了一个充分条件，我们称之为\emph{peer calibration}，在此条件下，标准的在线学习算法使用精心制作的$s()$计算的损失反馈有界遗憾相对于未透露的地面真值。然后，我们演示了如何合适的$s()$功能，可以推导出不同的假设和模型。
2020-01-04 cs.LG stat.ML
Structured Prediction Theory Based on Factor Graph Complexity
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
本文对结构预测进行了一般性的理论分析，并得到了一系列新的结果。我们给出了新的数据依赖的保证金结构化预测的损失函数和一般家庭的假设，任意因子图分解。这是标准多类和一般结构化预测问题中已知的最严格的边界。我们的保证表示在一个依赖于数据的复杂性措施，因子图的复杂性，我们可以从数据和熟悉的数量方面的有界估计。我们通过利用投票风险最小化（VRM）的原则进一步扩展了我们的理论，并表明即使使用复杂的因子图也可以进行学习。我们提出了新的学习界限，这种先进的设置，我们用它来设计两个新的算法，投票条件随机场（VCRF）和投票结构提升（StructBoost）。这些算法可以利用复杂的特征和因子图，但受益于良好的学习保证。我们还报告了VCRF在几个数据集上的实验结果，以验证我们的理论。
2016-12-01 cs.LG stat.ML
Semi-supervised Learning with the EM Algorithm: A Comparative Study between Unstructured and Structured Prediction
University of Alabama（阿拉巴马大学）
半监督学习旨在从标记和未标记的样本中学习预测模型。在这一领域进行了广泛的研究。在现有的工作中，期望最大化（EM）生成混合模型是一个流行的方法，由于明确的统计性质。然而，现有的基于EM的半监督学习的文献主要集中在非结构化预测，假设样本是独立和同分布的。基于EM的半监督方法在结构化预测中的研究有限。本文旨在通过对基于EM的半监督学习中的非结构化和结构化方法的比较研究来填补这一空白。具体来说，我们比较了它们的理论性质，发现这两种方法都可以被认为是一种泛化的自训练与软类分配的未标记的样本，但结构化的方法还考虑结构约束的软类分配。我们进行了一个案例研究，对现实世界的洪水映射数据集，比较这两种方法。结果表明，结构化EM是更强大的类混淆所造成的噪声和障碍的特点，在洪水映射应用程序的上下文中。
2020-08-28 cs.LG stat.ML
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
Adversarial Structured Prediction for Multivariate Measures
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多预测的结构化对象（例如，序列、匹配、树）使用F分数、比对错误率（AER）或其它多变量性能测量来评估。由于使用训练数据归纳地优化这些测量通常在计算上是困难的，因此采用替代损失的经验风险最小化，例如，（结构化）支持向量机的铰链损失。这些近似值通常会在学习者的目标和期望的应用性能之间引入不匹配，从而导致不一致。我们采取了不同的方法：在优化精确的F分数或AER的同时，对训练数据进行逆向近似。在此公式下的结构化预测是通过解决寻求最佳性能的预测器和寻求最差性能的对手之间的零和游戏而产生的，同时需要（近似）匹配训练数据的某些结构化属性。我们探索这种方法的字对齐（AER评价）和命名实体识别（F-评分评价）与线性链约束。
2017-12-21 cs.LG stat.ML
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
Predict and Constrain: Modeling Cardinality in Deep Structured Prediction
许多机器学习问题需要多维标签的预测。这种结构化预测模型可以受益于对标签之间的依赖性进行建模。最近，已经提出了几种用于结构化预测的深度学习方法。在这里，我们专注于捕捉这种模型中的基数约束。也就是说，限制模型输出的非零标签的数量。这种约束在以前的结构化预测方法中已经证明是非常有用的，但是将它们引入到深度学习框架中是一个挑战。在这里，我们将展示如何通过一个新颖的深层架构来实现这一点。我们的方法优于强大的基线，在多标签分类基准上实现了最先进的结果。
2018-02-13 cs.LG
Learning Maximum-A-Posteriori Perturbation Models for Structured Prediction in Polynomial Time
Purdue University（普渡大学）
MAP扰动模型已经成为结构化预测中推理的一个强大框架。这种模型提供了一种有效地从吉布斯分布中采样的方法，并有助于对随机噪声具有鲁棒性的预测。在本文中，我们提出了一个可证明的多项式时间随机算法学习参数的扰动MAP预测。我们的方法是基于最小化一个新的Rademacher为基础的泛化上的扰动MAP预测，这可以在多项式时间计算的预期损失的界限。我们获得的条件下，我们的随机学习算法可以保证推广到看不见的例子。
2018-05-21 cs.LG stat.ML
Joint Structured Learning and Predictions under Logical Constraints in Conditional Random Fields
Xerox Research Centre Europe（施乐欧洲研究中心）
本文主要研究有监督机器学习环境下的结构化机器学习。它讨论了如何对不同性质的相互依赖对象进行联合结构化学习，以及如何在预测标签时实施逻辑约束。我们解释了这种需要是如何出现在一个文件理解任务。然后，我们讨论了条件随机场（CRF）的一般扩展，并在开源PyStruct库的基础上提供了贡献的开源实现。我们评估其性能上公开可用的数据集。
2017-08-25 cs.LG stat.ML
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
A Smoother Way to Train Structured Prediction Models
University of Washington（华盛顿大学）
我们提出了一个框架，训练一个结构化的预测模型进行平滑推理算法，它建立在。平滑克服了最大间隔结构化预测目标固有的非平滑性，并为使用基于快速原始梯度的优化算法铺平了道路。我们通过开发一种新的结构支持向量机的原始增量优化算法来说明所提出的框架。该算法融合了外推计划的加速和自适应平滑计划，并建立在随机方差降低梯度算法。我们建立了最坏情况下的全局复杂度界限，并研究了几个实际的变体，包括对深度结构化预测的扩展。我们提出了两个现实世界的问题，即命名实体识别和视觉对象定位的实验结果。实验结果表明，该框架允许我们建立在高效的推理算法，开发大规模的优化算法的结构化预测，可以实现竞争力的性能上的两个现实世界的问题。
2019-02-08 cs.LG math.OC stat.ML
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
Structured Prediction Cascades
University of Pennsylvania（宾夕法尼亚大学）
结构化预测任务在需要模型复杂性以增加预测能力与有限的计算资源之间进行基本权衡，用于在此类模型所需的指数大小的输出空间中进行推断。我们制定并开发了结构化预测级联架构：一系列日益复杂的模型，逐步过滤可能的输出空间。我们方法的关键原理是，级联中的每个模型都经过优化，以准确过滤和细化下一个模型的结构化输出状态空间，从而加快级联下一层的学习和推理。我们通过优化一个新的凸损失函数来学习级联，该函数控制级联的过滤效率和精度之间的权衡，并为精度和效率提供泛化界。我们还扩展了我们的方法，棘手的模型，使用树分解合奏，并提供算法和理论，这种设置。我们评估我们的方法在几个大规模的问题，实现国家的最先进的性能在手写识别和人体姿势识别。我们发现，结构化的预测级联允许巨大的加速和使用以前棘手的功能和模型在这两种设置。
2012-08-06 cs.LG stat.ML
