Experimenting with Additive Margins for Contrastive Self-Supervised Speaker Verification
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本文通过对称对比损失和加性边距改进自监督说话人验证，在VoxCeleb1上取得7.50% EER和0.5804 minDCF，优于现有方法。
2023-06-06 cs.LG eess.AS
Learning as Search Optimization: Approximate Large Margin Methods for Structured Prediction
Information Sciences Institute（信息科学研究所）
映射到结构化输出空间（字符串、树、分区等）通常使用分类算法到简单图形结构的扩展来学习（例如，线性链），其中可以精确地执行搜索和参数估计。不幸的是，在许多复杂的问题，这是罕见的，精确的搜索或参数估计是易于处理的。而不是学习精确的模型和搜索通过启发式手段，我们拥抱这个困难，并在近似搜索方面的结构化输出问题。我们提出了一个框架，学习搜索优化，两个参数更新收敛定理和界限。经验证据表明，我们的学习和解码集成方法可以以更小的计算成本优于精确模型。
2009-07-04 cs.CL cs.LG
Max-Margin Deep Generative Models for (Semi-)Supervised Learning
Tsinghua University（清华大学）
深度生成模型（DGMs）在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而，这是相对不够的，以赋予区分能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型（mmDGMs）和类条件变体（mmDCGMs），它们探索了最大间隔学习的强判别原理，以提高DGMs在监督和半监督学习中的预测性能，同时保留生成能力。在半监督学习中，我们使用最大间隔分类器的预测作为缺失标签，而不是执行完整的后验推理以提高效率;为了提高效率，我们还引入了额外的未标记数据的最大间隔和标签平衡正则化项。针对分段线性目标问题，提出了一种有效的双随机次梯度算法。在不同数据集上的实验结果表明：（1）最大间隔学习可以显著提高DGM的预测性能，同时保持DGM的生成能力;（2）在监督学习中，当采用卷积神经网络作为生成和识别模型时，mmDGM可以与最好的全判别网络相竞争;（3）在半监督学习中，mmDCGM可以进行有效的推理，并在多个基准上获得最先进的分类结果。
2016-11-22 cs.CV cs.LG stat.ML
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院）
本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Semi-supervised Learning with the EM Algorithm: A Comparative Study between Unstructured and Structured Prediction
University of Alabama（阿拉巴马大学）
半监督学习旨在从标记和未标记的样本中学习预测模型。在这一领域进行了广泛的研究。在现有的工作中，期望最大化（EM）生成混合模型是一个流行的方法，由于明确的统计性质。然而，现有的基于EM的半监督学习的文献主要集中在非结构化预测，假设样本是独立和同分布的。基于EM的半监督方法在结构化预测中的研究有限。本文旨在通过对基于EM的半监督学习中的非结构化和结构化方法的比较研究来填补这一空白。具体来说，我们比较了它们的理论性质，发现这两种方法都可以被认为是一种泛化的自训练与软类分配的未标记的样本，但结构化的方法还考虑结构约束的软类分配。我们进行了一个案例研究，对现实世界的洪水映射数据集，比较这两种方法。结果表明，结构化EM是更强大的类混淆所造成的噪声和障碍的特点，在洪水映射应用程序的上下文中。
2020-08-28 cs.LG stat.ML
Structured Latent Modeling for Supervised Multimodal Information Decomposition
University of Iowa（爱荷华大学）
提出一种结构化潜在建模框架，通过中间层对比/掩蔽目标、逐源归一化流和低秩潜在变量模型，分解多模态信息为共享、模态特定和无关部分，提升预测性能。
2026-09-29 cs.LG
Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data
Zhejiang University（浙江大学）；Zhejiang University - University of Illinois at Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）
类不平衡对大多数监督学习算法的预测性能有不利影响，因为不平衡的分布可能导致偏好多数类的偏差。为了解决这个问题，我们提出了一个监督对比学习（SCL）方法与树结构的Parzen估计（TPE）技术的不平衡表数据集。对比学习（CL）可以提取隐藏在数据中的信息，即使没有标签，并已显示出一些潜在的不平衡学习任务。SCL进一步考虑了基于CL的标签信息，这也解决了表格数据的不足数据增强技术。因此，在这项工作中，我们建议使用SCL来学习不平衡表格数据的判别表示。此外，SCL的超参数温度对性能具有决定性影响，并且难以调节。我们引入TPE，一个著名的贝叶斯优化技术，自动选择最佳温度。在二值和多类不平衡表格数据集上进行了实验。结果表明，TPE优于其他三种超参数优化（HPO）方法，如网格搜索，随机搜索和遗传算法。更重要的是，所提出的SCL-TPE方法实现了大大改善的性能相比，国家的最先进的方法。
2022-10-26 cs.LG
Unsupervised Search-based Structured Prediction
University of Utah（犹他大学）
我们描述了一个适应和应用的搜索为基础的结构化预测算法“Searn”的无监督学习问题。我们表明，这是可能的，以减少无监督学习的监督学习，并展示了一个高品质的无监督移位-减少解析模型。我们还展示了无监督Searn和期望最大化之间的密切联系。最后，我们证明了半监督扩展的有效性。实现这一点的关键思想是预测自我思想在无监督学习中的应用。
2009-06-28 cs.LG
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland（马里兰大学）
算法设计者通常假设输入数据是正确的，然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而，这种正确数据的假设在实践中并不总是成立，特别是在在线学习系统的背景下，其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题，其中一个给定的输入实例以及所需的输出，任务是调整输入数据，使给定的输出确实是最优的。受学习结构化预测模型的启发，在本文中，我们考虑了具有裕度的逆优化，即，我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上，拟阵的交集，完美匹配，最小成本最大流，最短路径，并得出第一个已知的结果，这样的问题与非零利润。这些算法的有效性，结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Self-Supervised Learning for Graph-Structured Data in Healthcare Applications: A Comprehensive Review
Prince Sultan University（苏丹王子大学）；University of Manouba（马努巴大学）
本文是首篇针对医疗领域图结构数据的自监督学习（SSL）的全面综述，梳理相关方法、挑战与机遇，评估其在疾病预测等多类医疗任务中的性能，指明未来研究方向，为相关研究者与从业者提供参考。
2024-11-28 cs.LG
Manifold regularization in structured output space for semi-supervised structured output prediction
Shanghai University（上海大学）；Tongji University（同济大学）；The 3rd Research Institute of Ministry of Public Security（公安部第三研究所）；Kansas State University（堪萨斯州立大学）
结构化输出预测旨在学习预测器以从输入数据向量预测结构化输出。结构化输出包括向量、树、序列等。我们通常假设我们有一个输入输出对的训练集来训练预测器。然而，在许多现实世界的应用中，很难获得输入的输出，因此对于许多训练输入数据点，结构化输出丢失。本文讨论了如何从一个由若干输入输出对和若干无输出的输入数据点组成的训练集中进行学习。这个问题被称为半监督结构化输出预测.针对这一问题，我们提出了一种新的方法，即从输入空间构造一个最近邻图来表示流形结构，并直接用它来正则化结构化的输出空间。我们为每个训练数据点定义了一个松弛的结构化输出，并提出通过学习结构化输出预测器来预测它。松弛结构输出和预测器的学习统一在一个单一的最小化问题。在这个问题中，我们建议最小化相邻数据点的松弛结构化输出之间的结构化损失，以及由结构化损失度量的预测误差。该问题是优化的迭代算法。在三个基准数据集上的实验结果表明了该方法的优越性。
2015-08-12 cs.CV cs.LG
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足，提出CASL-VAE模型，它能从不配对数据学习结构化潜在因子，经变分推理实现相关优化，在半合成神经影像数据验证中表现良好，可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
Semi-supervised learning of local structured output predictors
Beijing Jiaotong University（北京交通大学）
本文研究了半监督结构化输出预测问题，旨在学习结构化输出的预测器，如序列、树节点、向量等，从输入输出对和没有输出的单输入的一组数据点。传统的预测方法通常只对所有数据点学习一个预测器，而忽略了不同数据点的多样性。数据集的不同部分可能具有不同的局部分布，并且需要不同的最优局部预测器。为了克服现有方法的这一缺点，我们建议同时为不同数据点的邻域和缺失的结构化输出学习不同的局部预测器。在每个数据点的邻域中，我们提出通过最小化预测器的复杂度和结构化预测损失的上界来学习线性预测器。通过梯度下降算法进行最小化。在DDSM乳腺X线摄影医学图像、SUN自然图像数据集、Cora研究论文数据集和西班牙新闻网文章句子数据集上的实验表明了该方法的优越性。
2016-04-11 cs.CV cs.LG
Learning Discriminative Multilevel Structured Dictionaries for Supervised Image Classification
Institut National de Recherche en Informatique et Automatique (INRIA)（法国国家信息与自动化研究所）；METU（中东技术大学）
使用过完备字典的稀疏表示已被证明是许多信号处理应用中的强大工具，例如去噪，超分辨率，修复，压缩或分类。表示的稀疏性在很大程度上取决于字典对手头数据的适应程度。在本文中，我们提出了一种方法，学习结构化的多级字典与歧视性的限制，使他们非常适合监督像素分类的图像。一个多级树结构的判别字典学习每个类，与学习目标有关的重建误差的图像补丁周围的像素在每个类代表字典。在初始分配的类标签的图像像素的稀疏表示的基础上学习的字典，最终的分类是通过平滑的标签图像与图切割方法和腐蚀方法实现的。应用到一组常见的纹理图像，我们的监督分类方法显示出与最先进的竞争力的结果。
2018-02-28 cs.LG stat.ML
Why do Angular Margin Losses work well for Semi-Supervised Anomalous Sound Detection?
Fraunhofer FKIE（弗劳恩霍夫FKIE研究所）
该研究从理论与实验层面揭示角间隔损失在半监督异常声音检测中表现优异的原因，证明其可最小化紧致性损失、避免平凡解，并验证相关分类辅助任务能提升含噪场景下的检测性能。
2023-11-24 cs.LG cs.SD eess.AS
Semi-Supervised Semantic Segmentation via Marginal Contextual Information
Technion（以色列理工学院）；NVIDIA AI（英伟达人工智能部门）
本文提出S4MC方法，通过利用分割图中相邻像素标签的空间上下文信息来精炼伪标签，在保持伪标签质量的同时增加无标签数据的使用量，从而以可忽略的计算开销提升半监督语义分割性能。
2024-07-03 cs.CV cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Large Margin Boltzmann Machines and Large Margin Sigmoid Belief Networks
University of Washington（华盛顿大学）
当前用于结构化预测的统计模型简化了关于底层输出图结构的假设，例如假设低阶马尔可夫链，因为随着底层图的树宽度增加，精确推断变得难以处理。近似推理算法，另一方面，迫使一个权衡代表性的权力与计算效率。在本文中，我们提出了两种新类型的概率图形模型，大利润玻尔兹曼机（LMBMs）和大利润sigmoid信念网络（LMSBN），结构化预测。LMSBN特别允许以高概率在多项式时间内运行的用于任意图结构的非常快速的推理算法。这种概率依赖于数据分布，并在学习中最大化。新的方法克服了以往模型中的代表效率权衡，并允许快速结构化预测与复杂的图形结构。我们提出了一个完全连接的模型应用于多标签场景分类的结果，并证明了所提出的方法可以产生显着的性能增益比目前最先进的方法。
2010-03-25 cs.AI cs.CV cs.LG
Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
用于句法分析的人工注释是昂贵的，并且大量资源仅可用于一小部分语言。我们提出的一个问题是，除了使用文本来获得更一般化的词汇特征（即超越词嵌入）之外，是否可以利用大量未标记的文本来改进句法分析器。为此，我们提出了一种新的潜在变量生成模型的半监督句法依存句法分析。由于精确推理是棘手的，我们引入了一个可微松弛获得近似样本和计算梯度相对于解析器参数。我们的方法（微分扰动和解析）依赖于可微的动态规划随机扰动的边缘分数。我们证明了我们的方法与英语，法语和瑞典语的实验的有效性。
2019-02-20 cs.CL cs.LG
Relatively Smart: A New Approach for Instance-Optimal Learning
University of Southern California（南加州大学）；Northwestern University（西北大学）；University of Chicago（芝加哥大学）；University of Waterloo（滑铁卢大学）
针对Smart PAC学习中监督学习无法与半监督学习竞争的问题，提出相对智能学习框架，要求监督学习仅与可认证的半监督保证竞争，并证明One-Inclusion图学习器在平方样本复杂度内实现相对智能。
2026-06-24 cs.LG stat.ML
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning
Xidian University（西安电子科技大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；Qiyuan Tech（启元科技）
该研究提出选择性秩保留 SFT（SRP-SFT）方法，在不冻结分布的情况下保留局部非目标间隔关系，经实验在 Qwen3-4B-Base 等模型上提升了 MATH-500 和代码生成任务的分数。
2026-10-15 cs.CL cs.LG
Gibbs Max-margin Topic Models with Data Augmentation
Tsinghua University（清华大学）
最大边际学习是构建分类器和结构化输出预测器的强大方法。最近的工作最大利润监督主题模型已成功地将其与贝叶斯主题模型发现歧视性的潜在语义结构，并作出准确的预测看不见的测试数据。然而，由此产生的学习问题通常很难解决，因为非平滑的利润损失。现有的方法来建立最大利润监督主题模型依赖于一个迭代的过程来解决多个潜在的SVM子问题与额外的平均场假设所需的后验分布。本文提出了一种替代方法，通过定义一个新的最大利润损失。也就是说，我们提出了吉布斯最大利润监督主题模型，潜在变量吉布斯分类器发现隐藏的主题表示的各种任务，包括分类，回归和多任务学习。吉布斯最大边际监督主题模型最小化预期边际损失，这是从预期预测规则导出的现有边际损失的上界。通过引入增广变量和共轭积分的Dirichlet变量，我们开发了简单的吉布斯抽样算法，没有限制的假设，不需要解决SVM子问题。此外，“增广-塌陷”吉布斯抽样算法的每一步都有一个解析的条件分布，从中可以很容易地提取样本。实验结果表明，时间效率显着改善。在二进制、多类和多标签分类任务上，分类性能也明显优于竞争对手。
2013-10-10 cs.LG stat.CO stat.ME
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出基于监督角度间隔的对比学习框架，通过关注同类情感分数差异和单模态重要性，增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Slack and Margin Rescaling as Convex Extensions of Supermodular Functions
KU Leuven（鲁汶大学）
松弛和边缘重新缩放是结构化输出SVM的变体，其经常应用于计算机视觉中的问题，例如图像分割、对象定位和基于对象模型的学习部分。他们定义凸代理任务特定的损失函数，其中，当专门为非添加剂的损失函数的多标签问题，产生扩展到增加集函数。我们证明，在本文中，我们可以使用这些概念来定义多项式时间凸扩张的任意超模功能，提供了一个分析框架，这些代理人的紧密性。这个分析框架表明，虽然利润率和松弛重新缩放都不占主导地位，但超模函数的已知界限可以用来导出占主导地位的扩展，这两个，表明定义新的结构化输出预测代理的可能方向。除了结构化的预测损失函数的分析，这些结果意味着一种方法，以supermodular最小化，其中的利润率重新调整与非多项式时间凸扩展相结合，计算一系列的LP松弛想起一个切割平面的方法。这种方法适用于从一组图像中选择代表性样本的问题，验证了我们的理论贡献。
2017-08-10 cs.DM cs.LG
Semi-Supervised Nonlinear Distance Metric Learning via Forests of Max-Margin Cluster Hierarchies
SUNY at Buffalo（纽约州立大学布法罗分校）
度量学习是许多数据挖掘和机器学习应用的关键问题，长期以来一直由马氏方法主导。非线性度量学习的最新进展已经证明了非马氏距离函数的潜在能力，特别是基于树的函数。我们提出了一种新的非线性度量学习方法，它使用半监督最大边缘聚类的迭代，分层变体来构建聚类层次的森林，其中每个层次都可以被解释为数据上的弱度量。通过在层次训练过程中引入随机性，并结合许多半随机弱层次度量的输出，我们可以得到一个强大而鲁棒的非线性度量模型。这种方法有两个主要贡献：第一，它是半监督的，结合了来自约束和无约束点的信息。其次，我们采取了一种宽松的方法来满足约束，允许该方法满足不同层次的约束的不同子集，而不是试图同时满足所有这些。这导致了更强大的学习算法。我们比较我们的方法，一些国家的最先进的基准$k$ -最近邻分类，大规模图像检索和半监督聚类问题，并发现我们的算法产生的结果相当或优于国家的最先进的，是显着更强大的噪声。
2014-02-23 cs.IR cs.LG stat.ML
Semi-Supervised Mixture Models under the Concept of Missing at Radom with Margin Confidence and Aranda Ordaz Function
School of Mathematics and Statistics（数学与统计学学院）；University of New South Wales（新南威尔士大学）
本文提出一种基于边缘置信度和Aranda Ordaz函数的半监督混合模型，用于在缺失随机机制下提高分类性能和鲁棒性。
2026-01-21 cs.LG stat.CO stat.ME
ElfCore: A 28nm Neural Processor Enabling Dynamic Structured Sparse Training and Online Self-Supervised Learning with Activity-Dependent Weight Update
Institute of Neuroinformatics University of Zurich（神经信息学研究所 瑞士苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
ElfCore是一种28纳米神经处理器，通过动态结构稀疏训练和活动依赖权重更新，实现低功耗高效的学习与信号处理。
2025-12-24 cs.AR cs.LG
On the complexity of the optimal transport problem with graph-structured cost
Georgia Tech（佐治亚理工学院）；KTH（瑞典皇家理工学院）
多边际最优运输（MOT）是对多边际最优运输的推广。最优传输已经发展成为许多机器学习应用中的重要工具，其多边缘扩展为解决机器学习领域的新挑战开辟了道路。然而，MOT的使用在很大程度上受到其计算复杂性的阻碍，该计算复杂性在边缘的数量上呈指数级。幸运的是，在许多应用中，如重心或插值问题，成本函数坚持的结构，这最近被利用开发有效的计算方法。在这项工作中，我们推导出这些方法的计算界限。与$m$边缘分布支持$n$点，我们提供了一个$ \mathcal{\tilde O}(d(G)m n^2ε^{-2})$界的$ε$的准确性时，问题与直径$d(G)$的树。对于Wasserstein重心问题的特殊情况，它对应于一个星形树，我们的界限与现有的复杂性界限一致。
2021-12-05 cs.CC cs.LG stat.AP
Semi-supervised Learning in Network-Structured Data via Total Variation Minimization
提出并分析了一种基于部分标记网络结构数据的半监督学习方法。我们的方法是基于聚类假设下的图形信号恢复解释，即属于同一个连接良好的子集（集群）的数据点的标签是类似的价值。这自然有助于学习标签的总变差（TV）最小化，我们解决了应用最近提出的原始-对偶方法的非光滑凸优化。由此产生的算法允许高度可扩展的实现，使用底层经验图上的消息传递，这使得算法适合于大数据应用。通过应用压缩感知的工具，我们推导出一个充分条件的基础网络结构，使电视最小化恢复集群的经验图的数据。特别是，我们表明，所提出的原始-对偶方法相当于最大化网络流量的经验图的数据集。此外，所提出的算法的学习精度与具有已知标签的数据点之间的网络流的集合相关联。数值实验验证了该方法的有效性和可扩展性。
2019-11-02 cs.LG stat.ML
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd（广州虎牙科技有限公司）；University of Oxford（牛津大学）
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能，他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发，我们提出了两个一般原则：1）单调递减和2）边际概率惩罚，用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同，我们提供了一个新的视角，将开集人脸识别视为一个信息传输问题。同时，该算法在保证更多干净信息的前提下，具有较好的泛化能力。提出了一种称为线性自动TS编码器（LASSE）的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明，LASSE有助于人脸嵌入获得更强的泛化能力，并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Semi-supervised learning for structured regression on partially observed attributed graphs
Temple University（天普大学）；University of Belgrade, Faculty of Organizational Sciences（贝尔格莱德大学组织科学学院）
条件概率图模型为具有复杂相关模式的时空数据集的结构化回归提供了一个强大的框架。然而，在现实生活中的应用中，很大一部分的观察往往是失踪，这可能会严重限制这些模型的代表性的权力。本文提出了一种边缘化高斯条件随机场（m-GCRF）结构回归模型，用于处理部分观测时间属性图中的缺失标签。该方法旨在使用标记和未标记的部分进行学习，并有效地预测图中的未来值。该方法甚至能够从历史上从未观察到响应变量的节点学习，这给许多可以处理缺失数据的最先进模型带来了问题。所提出的模型的特点是各种缺失机制的500合成图。新方法的好处也证明了一个具有挑战性的应用程序，预测降水的基础上，在一个时间图，跨越整个美国大陆的气候变量的部分观测。我们还表明，该方法可以通过积极减少气象站的数量来优化气候应用中的数据汇集的成本。在这些真实世界和合成数据集上的实验中，我们表明，所提出的模型始终比替代的半监督结构化模型更准确，以及使用插补来处理缺失值或完全忽略它们的模型。
2018-03-28 cs.LG stat.ML
SL-S4Wave: Self-Supervised Learning of Physiological Waveforms with Structured State Space Models
Massachusetts Institute of Technology（麻省理工学院）；OpenEvidence, USA（OpenEvidence（美国））；New York University（纽约大学）；Xi’an Jiaotong University（西安交通大学）；University of Toronto（多伦多大学）；Emory University（埃默里大学）
提出SL-S4Wave框架，结合对比学习与基于结构化状态空间模型的编码器，通过多尺度子核全局卷积捕获多通道生理波形的局部和长程依赖，在心律失常检测等任务中优于现有方法。
2026-08-18 cs.AI cs.LG
Data augmentation and refinement for recommender system: A semi-supervised approach using maximum margin matrix factorization
National Institute of Technology, Warangal（瓦朗加尔国家理工学院）；University of Delhi（德里大学）；Mahindra University（马恒达大学）
针对协同过滤推荐系统受数据稀疏性限制的问题，提出基于自训练的半监督方法，利用最大间隔矩阵分解迭代进行高置信度评分增强与低置信度条目精炼，提升了基线算法性能。
2023-09-30 cs.IR cs.LG
Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations
EPITA Research Laboratory (LRE), France（EPITA研究实验室（LRE），法国）
本文通过提出NT-Xent-AM损失并在SimCLR和MoCo中引入加性间隔，增强说话人嵌入的判别性，在VoxCeleb1-O上取得7.85% EER，优于同类方法。
2024-04-23 cs.LG cs.SD eess.AS
Asymptotically Stable Quaternion-valued Hopfield-structured Neural Network with Periodic Projection-based Supervised Learning Rules
University of Edinburgh（爱丁堡大学）；University of Hull（赫尔大学）；Heriot-Watt University（赫瑞-沃德大学）
本文提出了一种基于四元数的Hopfield结构神经网络，通过周期投影策略实现监督学习，具有高精度、快速收敛和强可靠性，适用于机器人控制等需要四元数参数化的场景。
2026-02-27 cs.AI cs.LG
Learning latent variable structured prediction models with Gaussian perturbations
Purdue University（普渡大学）
标准的基于边际的结构化预测通常使用所有可能的结构化输出的最大损失。包括潜在变量的大余量公式不仅导致非凸公式，而且通过潜在空间的大小的因子增加了搜索空间。最近的工作已经提出了使用最大损失的随机结构化的输出采样独立于一些建议的分布，理论上的保证。我们扩展这项工作，包括潜变量。我们研究了一类新的高斯扰动下的损失函数，并分析了潜在空间对推广界的影响。我们表明，非凸性的学习与潜在的变量起源自然，因为它涉及到一个严格的上限的吉布斯解码器失真相对于潜在的空间。最后，我们提供了一个配方，使用随机样本，产生一个更严格的上限的吉布斯解码器失真的统计精度，这使得更快地评估的目标函数。我们说明了合成实验和计算机视觉应用的方法。
2018-05-23 cs.LG stat.ML
Weak Disambiguation for Partial Structured Output Learning
City University of Hong Kong（香港城市大学）
现有的部分结构化输出学习的消歧策略不能很好地推广，以解决存在一些可能是假阳性或类似于地面真理标签的候选人的问题。在本文中，我们提出了一种新的弱消歧部分结构化输出学习（WD-PSL）。首先，分段大间隔公式推广到部分结构化输出学习，这有效地避免了处理大量的候选结构化输出的复杂结构。其次，在所提出的弱消歧策略中，为每个候选标签分配一个置信度值，该置信度值指示它是真实标签的可能性，其目的是减少学习过程中错误的地面实况标签分配的负面影响。然后，两个大的利润率制定结合两种类型的约束，这是候选人和非候选人之间的消歧，和候选人的弱消歧。在交替优化的框架下，提出了一种新的2n松弛变量割平面算法，以加速优化的每次迭代。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
SparseMAP: Differentiable Sparse Structured Inference
Cornell University（康奈尔大学）；Unbabel；Instituto de Telecomunicações（电信研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
结构化预测需要在组合数量的结构上进行搜索。为了解决这个问题，我们引入了SparseMAP：一种新的稀疏结构化推理方法，以及它的自然损失函数。SparseMAP只自动选择几个全局结构：它位于MAP推理和边缘推理之间，MAP推理选择单个结构，边缘推理为所有结构分配概率质量，包括不可信的结构。重要的是，SparseMAP可以仅使用对MAP oracle的调用来计算，使其适用于具有棘手的边缘推理的问题，例如，线性分配稀疏性使梯度反向传播效率高，无论结构如何，使我们能够用通用和稀疏结构的隐藏层来增强深度神经网络。依赖解析和自然语言推理的实验表明，竞争力的准确性，提高可解释性，并捕捉自然语言的歧义，这是有吸引力的管道系统的能力。
2018-06-20 cs.CL cs.LG stat.ML
Structured Graph Learning for Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China（电子科技大学）；Qingdao University（青岛大学）；University of Kentucky（肯塔基大学）；National University of Defense Technology（国防科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
在过去的十年中，图形在各种各样的问题中的建模结构和交互中变得越来越流行。基于图的聚类和半监督分类技术已经显示出令人印象深刻的性能。本文提出了一个图学习框架，以保持数据的局部和全局结构。具体来说，我们的方法使用样本的自我表达能力来捕获全局结构和自适应邻居方法来尊重局部结构。此外，现有的大多数基于图的方法进行聚类和半监督分类的图从原始数据矩阵，它没有明确的聚类结构，因此他们可能不会达到最佳性能。通过考虑秩约束，如果存在$c$簇或类，则所得到的图将具有精确的$c$连通分量。作为副产品，图学习和标签推理以原则性的方式联合迭代地实现。理论上，我们证明了该模型在一定条件下等价于核k-means和k-means方法的组合。大量的聚类和半监督分类实验表明，该方法优于其他国家的最先进的方法。
2020-08-31 cs.AI cs.CV cs.LG
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Skin-SOAP: A Weakly Supervised Framework for Generating Structured SOAP Notes
Department of Computer Science, University of Maryland, Baltimore County（计算机科学系，马里兰大学巴尔的摩县分校）；Department of Dermatology, Johns Hopkins University School of Medicine（皮肤科系，约翰霍普金斯大学医学院）
本文提出Skin-SOAP弱监督多模态框架，从病变图像和稀疏文本生成结构化SOAP笔记，性能媲美GPT-4o等模型，并引入两个新评估指标，减轻临床负担。
2025-08-07 cs.AI cs.CV cs.LG
Minimum-Margin Active Learning
Google Research（谷歌研究院）
我们提出了一种新的主动采样方法，我们称之为min-margin，它在bootstrap样本上训练多个学习器，然后根据候选者的最小margin在bootstrap模型中选择要标记的示例。这扩展了标准保证金采样的方式，增加其多样性的监督方式，因为它来自模型的不确定性。我们专注于一次性批量主动学习设置，并在理论上和广泛的问题，最小利润率优于其他方法，特别是随着批量大小的增长，通过广泛的实验。
2019-05-31 cs.AI cs.LG stat.ML
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Faster Rates for training Max-Margin Markov Networks
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
结构化输出预测是一个重要的机器学习问题，最大间隔马尔可夫网络（\mcn）是一种有效的预测方法。用于优化\mcn \目标的所有最新算法至少需要$O(1/ε)$次迭代才能找到$ε$精确解。结构优化的最新结果表明，更快的速度是可能的，通过利用目标函数的结构。为此，\citet{Nesterov05}提出了一种基于欧几里德投影的过度间隙减少技术，该技术在强凸函数上的$O(1/\sqrtε)$迭代中收敛。不幸的是，当应用到\mcn s，这种方法不承认图形模型因式分解，在许多现有的算法，是至关重要的保持每次迭代的成本易处理。本文提出了一种新的基于Bregman投影的过度间隙缩减技术，该技术自然地允许图模型分解，并在$O(1/\sqrtε)$迭代中收敛。与已有算法相比，该算法的收敛速度对$ε$和问题的其他参数有更好的依赖性，并且易于核化.
2010-03-06 cs.CC cs.LG
Supervised Learning of Random Neural Architectures Structured by Latent Random Fields on Compact Boundaryless Multiply-Connected Manifolds
Université Gustave Eiffel, MSME UMR 8208（法国埃菲尔大学MSME UMR 8208）
该研究提出了一种在紧致无边界多连通流形上由潜在随机场结构化的随机神经架构的监督学习框架，通过几何感知和场驱动的生成过程实现神经拓扑和突触权重的联合生成。
2025-12-11 cs.LG stat.ML
Learning Max-Margin Tree Predictors
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
结构化预测是处理交互输出的联合预测的一个强大框架。使用这个框架的一个主要困难是，通常正确的标签依赖结构是未知的。与此同时，我们希望避免过于复杂的结构，这将导致难以预测。在这项工作中，我们解决了学习树结构预测模型的挑战，这些模型实现了高精度，同时促进了有效的（线性时间）推理。我们首先证明这个任务一般是NP难的，然后提出一个近似的替代方案。简而言之，我们的CRANK方法依赖于一种新的Circuit-RANK正则化器，该正则化器惩罚非树结构，并且可以使用CCCP过程进行优化。我们证明了我们的方法在几个领域的有效性，并表明，尽管结构相对简单，预测精度是有竞争力的完全连接的模型，在预测时间的计算成本。
2013-09-26 cs.LG stat.ML
Structured Prediction with Projection Oracles
NTT Communication Science Laboratories（NTT通信科学实验室）
在本文中，我们提出了一个一般的框架，推导出结构化预测的损失函数。在我们的框架中，用户选择一个包含输出空间的凸集，并提供一个用于投影到该集合上的预言。给定该预言，我们的框架自动生成相应的凸和光滑损失函数。正如我们所展示的，添加投影作为输出层可以证明会使损失更小。我们确定的边缘多面体，输出空间的凸包，作为最佳的凸集上的项目。然而，由于到边缘多面体上的投影有时可能是昂贵的计算，我们允许使用任何凸超集代替，具有潜在的更便宜的计算投影。由于有效的投影算法可用于许多凸集，这使我们能够为各种任务构建损失函数。在理论方面，当与校准解码相结合时，我们证明了我们的损失函数可以用作感兴趣的（潜在非凸的）目标损失函数的一致代理。我们证明了我们在标签排名，有序回归和多标签分类上的损失，证实了预测能够提高准确性。
2020-02-26 cs.LG stat.ML
Margin Maximization as Lossless Maximal Compression
Department of Physics & Astronomy, UCL（伦敦大学学院（UCL）物理与天文系）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）；School of Computer Science, University of Manchester（曼彻斯特大学计算机学院）
监督学习算法的最终目标是生成基于训练数据构建的模型，该模型可以很好地推广到新的示例。在分类中，功能边际最大化--以最大置信度正确地分类尽可能多的训练样本--已经被认为可以构建具有良好泛化保证的模型。这项工作给出了一个信息理论解释的利润最大化模型的无噪声训练数据集，实现无损最大压缩的数据集-即提取的功能，所有有用的信息，用于预测标签，没有更多的。这种联系为监督机器学习中的泛化提供了新的见解，将边缘最大化作为更一般原则的特殊情况（分类），并解释了流行的学习算法（如梯度提升）的成功和潜在局限性。我们支持我们的观察与理论论据和经验证据，并确定未来工作的有趣方向。
2020-01-28 cs.IT cs.LG math.IT
Rademacher Complexity Bounds for a Penalized Multiclass Semi-Supervised Algorithm
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；University of Washington（华盛顿大学）
我们提出了拉德马赫复杂度界限的两步半监督模型训练的多类分类器。在第一步中，该算法划分部分标记的数据，然后使用标记的训练样本来识别包含$κ$主导类的密集聚类，使得它们的非主导类的比例低于固定阈值。在第二步骤中，通过最小化标记的训练集上的边际经验损失和惩罚项来训练分类器，该惩罚项测量学习者预测所识别的聚类的$κ$主导类的能力。由此产生的数据依赖的泛化误差界涉及的边缘分布的分类，在第一步中使用的聚类技术的稳定性和拉德马赫复杂度项对应于部分标记的训练数据。我们的理论结果表现出的收敛速度，在文献中提出的二进制的情况下，和不同的多类分类问题的实验结果表明，支持理论的经验证据。
2018-01-25 cs.LG stat.ML
Structured Prediction in Online Learning
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（PSL大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·库蒂埃实验室）
本研究提出在线学习场景下结构化预测的理论与算法框架，证明算法是监督学习最优算法的推广且非i.i.d.数据下仍达相同超额风险上界，还给出适配非平稳数据的算法及基于分布变化的随机遗憾界。
2024-06-18 cs.LG math.ST stat.ML
Identifying Protein-Protein Interaction using Tree LSTM and Structured Attention
University of Western Ontario（西安大略大学）
识别蛋白质之间的相互作用对于理解潜在的生物过程非常重要。从原始文本中提取蛋白质相互作用（PPI）通常非常困难。以前的监督学习方法在人类注释的数据集上使用手工制作的特征。在本文中，我们提出了一种新的树递归神经网络结构的注意力架构进行PPI。我们的架构在AIMed和BioInfer基准数据集上实现了最先进的结果（精度，召回率和F1分数）。此外，我们的模型实现了显着的改进，以前的最佳模型没有任何显式的特征提取。我们的实验结果表明，传统的递归网络的监督PPI问题相比，树递归网络的性能较差。
2018-07-27 cs.CL cs.IR cs.LG
