Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Efficient and Reliable Probabilistic Interactive Learning with Structured Outputs
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
在这篇立场论文中，我们研究了结构化输出空间的交互式学习，重点是主动学习，其中标签是未知的，必须获得，和怀疑学习，其中标签是嘈杂的，可能需要重新标记。这些场景需要表达性模型来保证可靠且高效地计算概率量以测量不确定性。我们确定了一类概率模型（我们将其表示为CRISPs）满足所有这些条件的条件，从而在保持表达能力的同时提供上述数量的易处理计算。基于先前关于易处理概率电路的工作，我们说明了CRISPs如何在大型结构化输出空间中实现鲁棒和高效的主动和怀疑学习。
2022-02-17 cs.LG stat.ML
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Structured Embedding Models for Grouped Data
词嵌入是分析语言的强大方法，指数族嵌入（EFE）将其扩展到其他类型的数据。在这里，我们开发了结构化指数族嵌入（S-EFE），这是一种用于发现在相关数据组中变化的嵌入的方法。我们研究了美国国会演讲的词汇使用如何在各州和党派之间变化，ArXiv各部分的词汇使用如何不同，以及杂货的共同购买模式如何在季节之间变化。我们的方法成功的关键是这些组共享统计信息。我们开发了两种共享策略：分层建模和摊销。我们证明了这种方法的好处，在实证研究的演讲，摘要和购物篮。我们展示了S-EFE如何使特定于组的解释词的使用，并优于EFE在预测举行了数据。
2017-09-28 cs.CL cs.LG stat.ML
Deep Neural Networks Regularization for Structured Output Prediction
Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息处理与系统实验室）
深度神经网络模型是学习表示的强大框架。通常，它用于通过利用输入$x$中的查询来学习关系$x \to y$。在结构化输出预测问题中，$y$是一个多维问题，各维之间往往存在结构关系。这项工作的动机是学习可能存在于输出数据中的输出依赖性，以提高预测精度。不幸的是，前馈网络无法利用输出之间的关系。为了克服这个问题，我们在本文中提出了一个正则化方案，用于训练神经网络，这些特定的任务，使用多任务框架。我们的计划的目的是在学习监督映射函数$x \to y$的同时，以无监督的方式将输出表示$y$的学习纳入训练过程。我们评估我们的框架上的面部地标检测问题，这是一个典型的结构化输出任务。我们在两个公开的具有挑战性的数据集（LFPW和HELEN）上证明，我们的正则化方案提高了深度神经网络的泛化能力，并加速了它们的训练。未标记的数据和标签的数据的使用也进行了探讨，显示了额外的改善的结果。我们提供了我们框架的开源实现（https：//github.com/sbelharbi/structured-output-ae）。
2017-10-30 cs.LG stat.ML
Variational Integrator Networks for Physically Structured Embeddings
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；University College London（伦敦大学学院）
在许多应用领域中，学习动力系统的可行表示正成为一个越来越重要的问题。通过利用最近将深度神经网络连接到微分方程系统的工作，我们提出了\emph{variational integrator networks}，这是一类旨在保留物理系统几何结构的神经网络架构。这类网络架构有助于实现准确的长期预测、可解释性和数据高效学习，同时仍然保持高度灵活性，并能够对复杂行为进行建模。我们证明，他们可以准确地学习动态系统从相空间中的噪声观测和图像像素内的未知动态嵌入。
2020-03-02 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
word2vec, node2vec, graph2vec, X2vec: Towards a Theory of Vector Embeddings of Structured Data
RWTH Aachen University（亚琛工业大学）
图形和关系结构的向量表示，无论是手工制作的特征向量还是学习的表示，都使我们能够将标准数据分析和机器学习技术应用于结构。在机器学习和知识表示文献中已经研究了用于生成这样的嵌入的各种方法。然而，从理论的角度来看，向量嵌入受到的关注相对较少。从一个嵌入技术，已在实践中使用的调查，在本文中，我们提出了两个理论方法，我们认为是理解向量嵌入的基础的核心。我们绘制各种方法之间的联系，并为未来的研究方向提出建议。
2020-03-27 cs.DB cs.DM cs.LG
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Multi-View Learning over Structured and Non-Identical Outputs
University of Pennsylvania（宾夕法尼亚大学）；INESC-ID；Microsoft Research Asia（微软亚洲研究院）
在许多机器学习问题中，标记的训练数据是有限的，而未标记的数据是充足的。其中一些问题的实例可以分解为多个视图，每个视图几乎都足以确定正确的标签。在本文中，我们提出了一个新的算法，概率多视图学习，使用的想法，随机协议之间的意见作为正则化。我们的算法适用于结构化和非结构化的问题，很容易推广到部分协议的情况。对于完全一致的情况下，我们的算法最大限度地减少每个视图的模型之间的巴塔查里亚距离，并表现得更好的几个平面和结构化的分类问题比CoBoosting和两视图感知器。
2012-06-13 cs.LG stat.ML
Embedding Geographic Locations for Modelling the Natural Environment using Flickr Tags and Structured Data
Cardiff University（卡迪夫大学）
Flickr等照片分享网站的元数据可用于获取丰富的地理位置词汇描述，事实证明，这些数据除其他外对生态特征建模和预测很有价值。从以前的工作中获得的一个重要见解是，从Flickr获得的描述往往是对传统科学资源中可用的结构化信息的补充。为了更好地整合这两种不同的信息源，在本文中，我们考虑了一种学习地理位置的向量空间嵌入的方法。我们的实验表明，这种方法改进了现有的方法，特别是在结构化信息可用的情况下。
2018-10-12 cs.CL cs.CV cs.IR
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
The Unreasonable Effectiveness of Structured Random Orthogonal Embeddings
我们研究了一类基于正交行结构化随机矩阵的嵌入，它可以应用于许多机器学习应用，包括降维和核逼近。对于这两个约翰逊-林登施特劳斯变换和角内核，我们表明，我们可以选择矩阵，保证提高性能的准确性和/或速度相比，早期的方法。我们引入矩阵与复杂的条目，使显着的进一步提高精度。我们提供了几何和基于马尔可夫链的观点，以帮助理解的好处，和实证结果表明，该方法是有帮助的，在更广泛的应用。
2018-09-03 stat.CO stat.ML
On the Generalization of the C-Bound to Structured Output Ensemble Methods
本文概括了一个重要的结果，从PAC贝叶斯文献的二进制分类的情况下，集成方法的结构化输出。我们证明了一个通用版本的\Cbound，一个上限的风险模型表示为加权多数表决，是基于第一和第二统计时刻的投票的保证金。该界限可以有利地应用于更复杂的输出，例如多类标签和多标签，并且$(i)$允许考虑边缘松弛。这些结果开辟了新的集成方法与PAC贝叶斯保证结构化输出预测。
2015-06-15 stat.ML
Supervized Segmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est（巴黎东大学）；IGN-ENSG（法国国家地理信息学院-巴黎地理学院）；LaSTIG（土地、城市、地理信息与遥感实验室）
我们提出了一个完全监督的学习方法来分割由邻接图结构化的数据。我们介绍了图形结构的对比损失，一个损失函数结构的地面真相分割。它促进学习顶点嵌入，这些顶点嵌入在所需的段内是均匀的，并且在它们的接口处具有高对比度。因此，计算这种嵌入的分段常数近似产生接近目标分割的图分区。这种损失是完全反向传播的，这允许我们使用深度学习算法来学习顶点嵌入。我们评估我们的方法上的3D点云过分割任务，定义了一个新的国家的最先进的大幅度。这些结果基于Landrieu和Boussaha 2019年发表的工作。
2019-06-24 cs.CV cs.LG stat.ML
Neural Learning of One-of-Many Solutions for Combinatorial Problems in Structured Output Spaces
Indian Institute of Technology Delhi（印度理工学院德里分校）
最近的研究提出了解决结构化输出空间中的组合问题的神经架构。在许多这样的问题中，对于给定的输入可能存在多个解决方案，例如，部分填充的数独难题可能有许多满足所有约束的完成。此外，我们通常对找到任何一种可能的解决方案感兴趣，而不对它们进行任何偏好。现有的方法完全忽略了这种解决方案的多样性。在本文中，我们认为，被遗忘的存在多个解决方案可能会严重阻碍他们的训练能力。我们的贡献是双重的。首先，我们正式定义了学习的任务之一的多个解决方案的组合问题的结构化输出空间，这是适用于解决几个问题的兴趣，如N皇后，数独。其次，我们提出了一个通用的学习框架，适应现有的预测网络的组合问题，以处理解决方案的多样性。我们的框架使用了一个选择模块，其目标是为每个输入动态确定在任何给定的学习迭代中训练网络参数最有效的解决方案。我们提出了一种基于强化学习的方法来联合训练选择模块和预测网络。在三个不同的域上进行的实验，使用两个不同的预测网络，表明我们的框架显着提高了我们设置的准确性，在基线上获得了高达21 pt的增益。
2021-04-04 cs.LG stat.ML
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings
Imperial College London（帝国理工学院）；University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；Massachusetts Institute of Technology（麻省理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research（巴黎文理研究大学）
我们提出并分析了一种新的结构化预测的理论和算法框架。虽然到目前为止，这个术语指的是离散的输出空间，但这里我们考虑更一般的设置，例如流形或概率测度的空间。我们将结构化预测定义为输出空间缺乏向量结构的问题。我们确定并研究了一大类损失函数，隐含地定义了一个合适的几何问题。后者是开发一个算法框架的关键，该框架适合于尖锐的统计分析并产生有效的计算。当处理输出空间的无限基数，一个合适的隐式公式的估计是至关重要的。
2020-02-13 cs.LG math.ST stat.ML
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Structured Output Regularization: a framework for few-shot transfer learning
York University（约克大学）
提出结构化输出正则化（SOR）框架，通过冻结网络结构并组合组套索与L1惩罚，以最少参数适应少样本医学影像分类，在三个任务上取得有竞争力结果。
2025-10-09 cs.CV cs.LG stat.ML
Adversarial Constraint Learning for Structured Prediction
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
基于约束的学习通过让用户指定结构化输出的一般属性（例如物理定律施加的约束）来减少收集标签的负担。我们提出了一个新的框架，同时学习这些约束条件，并使用它们进行监督，绕过使用领域的专业知识手动指定约束的困难。学习需要结构化输出的黑盒模拟器，它会生成有效的标签，但不需要对其相应的输入或输入-标签关系进行建模。在训练时，我们限制模型产生无法通过对抗训练与模拟标签区分的输出。为我们的框架提供少量的标记输入，产生了一个新的半监督结构化预测模型;我们在多个任务上评估了这个模型-跟踪，姿态估计和时间序列预测-并发现它只需要少量的标记输入就可以实现高精度。在某些情况下，根本不需要标签。
2018-05-31 cs.CV cs.LG stat.ML
Structured Input-Output Lasso, with Application to eQTL Mapping, and a Thresholding Algorithm for Fast Estimation
我们考虑的问题，学习高维多任务回归模型，稀疏性约束下引起的存在下的分组结构的输入协变量和输出预测。这个问题主要是由表达数量性状基因座（eQTL）定位引起的，其目标是发现基因组（输入）中的遗传变异，这些遗传变异影响多个共表达基因（输出）的表达水平，无论是上位性的，还是多效性的，或者两者兼而有之。一个结构化的输入输出套索（SIOL）模型的基础上，一个复杂的l1/l2范数惩罚的回归系数矩阵，使发现复杂的稀疏输入/输出关系，和一个高效的新的优化算法，称为分层组阈值（HiGT）的开发，以解决由此产生的不可微，不可分离的，和超高维的优化问题。我们在模拟和酵母eQTL数据集上表明，我们的模型可以更好地恢复输入和输出之间的结构化稀疏关系，并且我们的算法在同一模型下显着优于其他优化技术。此外，我们提出了一种新的方法，有效地和有效地检测输入的相互作用，利用现有的知识，从生物实验。
2012-05-09 q-bio.GN q-bio.QM stat.AP
Fast binary embeddings, and quantized compressed sensing with structured matrices
本文研究了压缩感知中的距离保持二值嵌入和量化两个相关问题。首先，我们提出了快速的方法来取代点的子集$\mathcal{X} \subset \mathbb{R}^n$，与欧几里德度量，与点的立方体$\{\pm 1\}^m$，我们将立方体与一个伪度量，近似欧几里德之间的距离在$\mathcal{X}$。我们的方法依赖于量化快速约翰逊-林登施特劳斯嵌入的基础上有界正交系统和部分循环系综，这两个承认快速变换。我们的量化方法利用噪声整形，包括Σ-Δ方案和分布式噪声整形方案。在$m$中，所产生的近似误差以多项式和指数形式快速衰减，具体取决于嵌入方法。这大大优于当前与二进制嵌入和汉明距离相关的衰减率。此外，这是第一个这样的二进制嵌入的结果，适用于快速约翰逊-林登施特劳斯映射，同时保持$\ell_2$规范。其次，我们再次考虑噪声整形方案，尽管这一次是为了消除由有界正交系综和部分循环矩阵产生的压缩感知测量。我们表明，这些方法产生的重建误差，再次衰减的测量（和位）的数量，当使用凸优化重建。具体来说，对于Sigma-Delta方案，误差随测量次数呈多项式衰减，而对于基于Beta编码的分布式噪声整形方案，误差呈指数衰减。这些结果是近最优的，第一次处理有界正交系统。
2018-07-18 cs.IT eess.SP math.IT
