Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们考虑的问题，多标签分类的标签位于一个层次结构。然而，与大多数现有的作品在分层多标签分类，我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功，这让我们受到鼓舞，我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势：i）分类器更好地泛化，因为它利用了标签上存在层次结构的先验知识，以及ii）除了标签同现信息之外，标签嵌入还可以受益于输入数据点的流形结构，从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明，联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外，建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习，并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Regression for the Mean: Auto-Evaluation and Inference with Few Labels through Post-hoc Regression
Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文针对少标签场景下PPI++推断性能退化问题，通过回归视角分析原因，并提出两种基于稳健回归的新PPI技术以降低估计方差。
2025-07-08 cs.LG stat.ML
Joint Use of Node Attributes and Proximity for Semi-Supervised Classification on Graphs
University of Helsinki（赫尔辛基大学）
节点分类的任务是推断未知节点标签，给定一些节点的标签以及网络结构和其他节点属性。通常，用于该任务的方法假设同质性，由此相邻节点具有相似的属性，并且节点的标签可以从其邻居或其他邻近节点的标签来预测（即，附近）的节点。然而，这样的假设可能并不总是成立-事实上，在某些情况下，标签可以更好地从每个节点的单个属性而不是其邻近节点的标签进行预测。理想情况下，节点分类方法应该灵活地适应一系列的设置，其中未知的标签是从邻近节点的标签，或单个节点属性，或部分两者预测。在本文中，我们提出了一个原则性的方法，JANE，基于生成概率模型，通过嵌入在预测标签中联合权衡属性和节点邻近度的作用。我们在各种网络数据集上的实验表明，与标准基线相比，JANE表现出所需的多功能性和竞争性能的组合。
2021-09-14 cs.LG cs.SI
JGAN: A Joint Formulation of GAN for Synthesizing Images and Labels
Intel Corporation（英特尔公司）
使用显式条件或标签的图像生成通常比无条件方法更好。在现代的GAN框架中，生成器和卷积器都被公式化来对给定标签的图像的条件分布进行建模。在本文中，我们提供了一个替代配方的GAN模型的图像和标签的联合分布。与条件方法相比，这种联合公式有两个优点。第一个优点是，联合制定是更强大的标签噪声，如果它的正确建模。这减轻了制作无噪声标签的负担，并允许在图像生成中使用弱监督标签。第二，我们可以使用与原始图像数据相关的任何类型的弱标签或图像特征来增强无条件图像生成。我们将展示我们的联合制定CIFAR10，CIFAR100和STL数据集与最先进的GAN架构的有效性。
2020-10-21 cs.CV cs.LG
Joint control variate for faster black-box variational inference
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
针对黑盒变分推断中梯度估计器方差高、受数据子采样和蒙特卡洛采样两类噪声影响的问题，提出联合控制变量方法，同时降低两类噪声的方差，实现多应用场景下的优化加速。
2024-03-08 cs.LG stat.ML
Variational Inference of Joint Models using Multivariate Gaussian Convolution Processes
University of Michigan（密歇根大学）
提出基于多元高斯卷积过程和Cox模型的非参数预后框架，通过变分推断同时估计参数，降低计算复杂度并防止过拟合，在合成与真实数据上优于两阶段推断方法。
2019-03-09 cs.LG stat.ML
Regularizing Model Complexity and Label Structure for Multi-Label Text Classification
Northeastern University（东北大学）
多标签文本分类是一种流行的机器学习任务，其中每个文档被分配有多个相关标签。由于高维特征和相关标签，这项任务具有挑战性。多标签文本分类器需要仔细正则化以防止在高维空间中的严重过拟合，并且还需要考虑标签依赖性以在不确定性下做出准确的预测。我们通过在训练阶段仔细正则化模型复杂度，并在预测阶段正则化标签搜索空间，展示了显着和实际的改进。具体来说，我们使用Elastic-net（L1+L2）惩罚来正则化分类器训练，以降低模型的复杂性/大小，并采用早期停止来防止过拟合。在预测时，我们应用支持推理将搜索空间限制在训练集中遇到的标签集，并应用F优化器GFM对F1度量进行最佳预测。我们表明，虽然支持推理只提供密度估计现有的标签组合，当与GFM预测相结合，该算法可以输出看不见的标签组合。总的来说，我们的实验在许多基准数据集上显示了最先进的结果。除了性能和实际贡献之外，我们还提出了一些有趣的观察。相反，先验的信念，认为支持推理纯粹是一个近似推理过程，我们表明，支持推理作为一个强大的正则化标签预测结构。它允许分类器在预测期间考虑标签依赖性，即使分类器在训练期间没有对任何标签依赖性进行建模。
2017-05-01 cs.LG stat.ML
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Optimizing the Wisdom of the Crowd: Inference, Learning, and Teaching
Arizona State University（亚利桑那州立大学）
对大量数据的前所未有的需求催化了人类洞察与机器学习技术相结合的趋势，这促进了使用众包来有效且高效地获取标签信息。众包领域的经典研究主要集中在分类环境下的标签推理问题。然而，推断真实标签需要复杂的聚合模型，这些模型通常只能在某些假设下表现良好。同时，无论聚合模型多么复杂，生成人群标签的真实模型仍然是未知的。因此，标签推理问题永远不能完美地推断出地面真理。基于众包标签是丰富的并且利用聚合将丢失这种丰富的注释信息（例如，哪个工人提供哪个标签），我们认为，关键是要考虑众包工人的不同标签能力以及它们的相关性。为了应对上述挑战，我们建议解决三个研究问题，即推理，学习和教学。
2018-06-23 cs.HC cs.LG stat.ML
On Regularization and Inference with Label Constraints
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）；Massachusetts Institute of Technology（麻省理工学院）；Systems and Technology Research（系统与技术研究公司）
本文比较了标签约束下正则化与约束推理两种策略对模型性能的影响，并提出二者结合以补偿偏差、改善模型复杂度与最优风险的条件。
2023-07-08 cs.LG stat.ML
An Approach for GCI Fusion With Labeled Multitarget Densities
研究了标号随机有限集的广义协方差交（GCI）融合方法。我们提出了一个联合标签空间的融合标记的随机有限集的支持来表示不同的代理之间的标签关联，避免标签的GCI融合算法的标签一致性条件。具体来说，我们设计的联合标签空间的直接产品的所有标签空间为每个代理。然后应用GCI融合方法得到联合标记的多目标密度。联合标记的RFS然后被边缘化成一般标记的RFS，只要每个目标由具有唯一标签的单个伯努利分量表示。证明了用于融合来自不同药剂的LMB RFS的联合标记GCI（JL-GCI）。考虑到场景中目标分离良好的假设，我们还提出了简化的JL-GCI方法。仿真结果表明，标签不一致性的有效性和良好的性能，在具有挑战性的跟踪场景。
2020-10-28 cs.LG eess.SP
Query-Adaptive Predictive Inference with Partial Labels
Stanford University（斯坦福大学）
在统计机器学习中，完全监督标签的成本和稀缺性鼓励使用部分标记的数据进行模型验证，作为一种更便宜，更容易获得的替代方案。因此，有效地收集和利用弱监督数据进行大空间结构化预测任务成为端到端学习系统的重要组成部分。我们提出了一种新的计算友好的方法来构建预测集只使用部分标记的数据上的黑盒预测模型。为此，我们引入“探测”函数作为描述弱监督实例的一种方式，并定义了错误发现比例型损失，这两者都无缝地适应部分监督和结构化预测-排名，匹配，分割，多标签或多类分类。我们的实验突出了我们的预测集建设的有效性，以及一个更灵活的用户相关的损失框架的吸引力。
2022-06-15 cs.LG stat.ML
Program Synthesis for Simulation-Based Inference: Joint Model Selection and Parameter Estimation
Anthropic
研究提出结合大语言模型与神经仿真推理的框架，用于联合模型选择与参数估计。给定自然语言描述，大语言模型提出候选程序，经反馈驱动变异和神经密度估计评估，能在一组模型上推理，在多基准测试中可从提示识别合理模型族。
2026-07-21 cs.LG stat.ML
Joint Perception and Control as Inference with an Object-based Implementation
University College London（伦敦大学学院）
现有的基于模型的强化学习方法往往将感知建模和决策分开进行研究。我们介绍了联合感知和控制推理（PCI），一个通用的框架，结合感知和控制部分可观察的环境，通过贝叶斯推理。基于这一事实，即对象级的归纳偏见是人类感知学习和推理的关键，我们提出了基于对象的感知控制（OPC），PCI的实例管理，以方便控制使用自动发现的基于对象的表示。我们开发了一个无监督的端到端解决方案，并分析了感知模型更新的收敛性。在高维像素环境中的实验证明了我们的基于对象的感知控制方法的学习效果。具体来说，我们表明，OPC实现了良好的感知分组质量，并优于几个强大的基线在累积奖励。
2020-10-13 cs.LG stat.ML
Efficient inference in stochastic block models with vertex labels
Eindhoven University of Technology（埃因霍温理工大学）；Microsoft Research - INRIA joint centre（微软研究院-法国国家信息与自动化研究所联合中心）
我们研究了两个社区的随机块模型，其中顶点包含边信息的形式的顶点标签。这些顶点标签可以具有任意的标签分布，这取决于社区成员。我们分析了流行的信念传播算法的线性化版本。我们表明，该算法实现了最高的精度可能的网络参数的某个函数有一个唯一的固定点。每当该函数具有多个固定点时，置信传播算法可能不会最佳地执行。我们发现，增加顶点标签中的信息可能会减少不动点的数量，从而导致最优的信念传播。
2018-08-17 cs.LG math.PR stat.ML
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Intapp Inc.（Intapp公司）
我们提出了一个架构，共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比，我们的方法不需要将标签嵌入作为输入的一部分，因此可以很好地适用于各种模型架构。此外，我们的架构计算单词和标签之间的上下文距离，以避免添加上下文窗口，从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法，并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Joint Negative and Positive Learning for Noisy Labels
KAIST（韩国科学技术院）
用带有噪声标签的数据训练卷积神经网络（CNN）是一个挑战。基于直接为数据提供标签（正学习; PL）有允许CNN记住噪声数据情况下的污染标签的风险，使用互补标签的间接学习方法（噪声标签的负学习; NLNL）已被证明在防止过度拟合噪声数据方面非常有效，因为它降低了提供错误目标的风险。NLNL进一步采用三级流水线来提高收敛性。因此，通过NLNL管道过滤噪声数据很麻烦，增加了训练成本。在这项研究中，我们提出了一种新的改进NLNL，命名为联合消极和积极的学习（JNPL），将过滤管道统一到一个单一的阶段。JNPL通过两个损失NL+和PL+训练CNN，这两个损失分别在NL和PL损失函数上进行了改进。我们分析了NL损失函数的基本问题，并开发了新的NL+损失函数，产生梯度，提高噪声数据的收敛。此外，PL+损失函数的设计，使更快的收敛到预期要干净的数据。我们表明，NL+和PL+训练CNN的同时，显着简化管道，允许更大的易用性相比，NLNL的实际使用。通过一个简单的半监督训练技术，我们的方法实现了最先进的精度为噪声数据分类的基础上优越的过滤能力。
2021-04-14 cs.LG stat.ML
Joint & Progressive Learning from High-Dimensional Data for Multi-Label Classification
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
尽管非线性子空间学习技术（例如流形学习）已成功应用于数据表示，但在可解释性（显式映射）、泛化（样本外）和成本效益（线性化）方面仍有改进的空间。为此，一种新的线性化子空间学习技术的联合和渐进的方式，称为\textbf{j} oint和\textbf{p}渐进的\textbf{l} earning str \textbf{a} teg \textbf{y}（J-Play），其应用到多标签分类。J-Play通过以下方式从高维数据中学习高级和语义上有意义的特征表示：1）联合执行多个子空间学习和分类以找到期望样本被更好分类的潜在子空间; 2）渐进学习多耦合投影以线性地接近桥接原始空间与最具区分力的子空间的最佳映射; 3）在每个可学习的潜在子空间中局部嵌入流形结构。大量的实验证明了该方法的优越性和有效性与以前的国家的最先进的方法相比。
2018-08-15 cs.LG stat.ML
Combating noisy labels by agreement: A joint training method with co-regularization
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
带有噪声标签的深度学习是弱监督学习中一个实际上具有挑战性的问题。最先进的方法“解耦”和“合作教学+”声称，“分歧”的策略是至关重要的，以减轻与嘈杂的标签学习的问题。在本文中，我们从不同的角度出发，提出了一种称为JoCoR的鲁棒学习范式，旨在减少训练过程中两个网络的多样性。具体来说，我们首先使用两个网络对相同的小批量数据进行预测，并为每个训练样本计算联合损失。然后，我们选择小损失的例子，同时更新两个网络的参数。在联合损失的训练下，由于协正则化的作用，这两个网络会越来越相似。在MNIST、CIFAR-10、CIFAR-100和Clothing 1 M等基准数据集的损坏数据上进行的大量实验结果表明，JoCoR优于许多最先进的噪声标签学习方法。
2020-04-22 cs.CV cs.LG stat.ML
Clinical Tagging with Joint Probabilistic Models
New York University（纽约大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）
我们描述了一种用于从电子病历联合预测临床状况的二分概率图模型中的参数估计的方法。该方法不依赖于黄金标准标签的可用性，而是使用称为锚的噪声标签进行学习。我们提供了一个基于似然的目标和一个基于矩的初始化，有效地学习模型参数。在基于对记录的回顾性分析将保持的临床状况分配给患者的任务中评估学习的模型，并且学习的模型优于不考虑标签中的噪声或不联合地对状况建模的基线。
2016-09-22 cs.LG stat.ML
Joint Ranking SVM and Binary Relevance with Robust Low-Rank Learning for Multi-Label Classification
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Beijing Union University（北京联合大学）
多标签分类研究每个样本同时属于多个标签的任务。作为一种代表性的方法，排序支持向量机（Rank-SVM）的目标是最小化排序损失，也可以减轻类不平衡问题的负面影响。然而，由于其堆叠式的阈值方式，它可能会遭受错误积累，从而降低最终的分类性能。二进制相关（BR）是另一种典型的方法，其目的是最大限度地减少汉明损失，只需要一步学习。然而，它可能存在类别不平衡问题，并且没有考虑标签相关性。针对上述问题，本文提出了一种新的多标签分类模型，该模型将Ranking支持向量机和二进制相关性与鲁棒低秩学习（RBRL）相结合。RBRL继承了Rank-SVM的排序损失最小化的优点，从而克服了BR遭受类不平衡问题和忽略标签相关性的缺点。同时，它利用汉明损失最小化和一步学习的优势BR，从而解决了Rank-SVM的缺点，包括另一个阈值学习步骤。此外，在低维标签空间的假设下，利用低秩约束进一步利用高阶标签相关性。此外，为了实现非线性多标签分类器，我们推导出核化RBRL。两种加速近似梯度法（APG）被用来解决优化问题的有效。与几个国家的最先进的方法进行了广泛的比较实验，说明了我们的方法RBRL具有很强的竞争力或优越的性能。
2019-11-05 cs.LG stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
JADAI: Jointly Amortizing Adaptive Design and Bayesian Inference
Rensselaer Polytechnic Institute（伦斯勒理工学院）；TU Dortmund University（多特蒙德技术大学）；University of Oxford（牛津大学）
针对设计变量可优化以最大化信息增益的参数估计问题，引入JADAI框架，通过端到端训练策略、历史网络和推理网络联合摊销贝叶斯自适应设计与推理，在标准基准测试中性能优越。
2026-07-07 cs.AI cs.LG stat.ML
The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
Ekimetrics
针对表格基础模型，提出两种仅依赖标准化标签预测的证书，证明其存在联合标签处理行为，且该行为随训练出现并由注意力机制主导。
2026-10-07 cs.AI cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
Divergence Triangle for Joint Training of Generator Model, Energy-based Model, and Inference Model
Department of Statistics, UCLA（统计学系，加州大学洛杉矶分校（UCLA））
提出了发散三角形作为生成器模型、基于能量的模型和推理模型联合训练的框架。发散三角形是一个紧凑且对称（反对称）的目标函数，它将变分学习，对抗学习，唤醒-睡眠算法和对比发散无缝集成在统一的概率公式中。这种统一使得采样、推断、能量评估的过程容易获得，而不需要昂贵的马尔可夫链蒙特卡罗方法。我们的实验表明，发散三角形能够学习（1）具有格式良好的能量景观的基于能量的模型，（2）以生成器网络的形式直接采样，以及（3）忠实地重建观察到的前馈推理以及合成数据。发散三角形是一种强大的训练方法，可以从不完整的数据中学习。
2019-01-31 cs.CV cs.LG stat.ML
Can multi-label classification networks know what they don't know?
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
估计分布外（OOD）不确定性是在开放世界环境中安全部署机器学习模型的核心挑战。已经出现了用于多类分类中的OOD检测的改进方法，而用于多标签分类的OOD检测方法仍然未被探索并且使用基本技术。我们提出了JointEnergy，一种简单有效的方法，它通过聚合来自多个标签的能量分数来估计OOD指标分数。我们表明，联合能源可以从联合可能性的角度进行数学解释。我们的研究结果表明，与以前的基于最大值分数的方法相比，我们的方法得到了一致的改进，这些方法无法从多个标签中捕获联合信息。我们证明了我们的方法在三个常见的多标签分类基准上的有效性，包括MS-COCO，PASCAL-VOC和NUS-WIDE。我们发现，与之前的最佳基线相比，JointEnergy可以将FPR95降低高达10.05%，从而建立最先进的性能。
2021-10-22 cs.LG
Does Label Differential Privacy Prevent Label Inference Attacks?
Cornell University（康奈尔大学）；Meta AI
本文解释label-DP下标签仍可被推理的原因，证明其限制的是攻击相对Bayes分类器的优势，并给出ε选择指导及实验验证。
2023-06-03 cs.LG
Improving Joint Training of Inference Networks and Structured Prediction Energy Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；New York University（纽约大学）
基于深度能量的模型很强大，但对学习和推理构成了挑战（Belanger和McCallum，2016）。Tu和Gimpel（2018）通过训练“推理网络”来近似结构化推理，而不是使用梯度下降，为基于能量的模型开发了一个有效的框架。然而，他们的交替优化方法在训练过程中存在不稳定性，需要额外的损失项和仔细的超参数调整。在本文中，我们提供了几种策略来稳定和改进这种用于结构化预测的能量函数和推理网络的联合训练。我们设计了一个复合目标，共同训练成本增加和测试时间推理网络以及能量函数。我们提出了联合参数化的推理网络，鼓励他们在学习过程中捕捉互补的功能。我们经验验证我们的策略在两个序列标签任务，显示更容易的路径比以前的工作，以及进一步改善与全球能源方面的强劲表现。
2020-10-10 cs.CL cs.LG
Joint-Task Regularization for Partially Labeled Multi-Task Learning
Harvard University（哈佛大学）
本文提出联合任务正则化（JTR），通过在单一联合任务潜在空间中利用跨任务关系同时正则化所有任务，解决部分标注多任务学习问题，实现随任务数量线性扩展的复杂度，并在NYU-v2、Cityscapes和Taskonomy上验证了有效性。
2024-04-02 cs.AI cs.CV cs.LG
Joint Network Topology Inference via a Shared Graphon Model
Rice University（莱斯大学）
我们考虑从节点观测估计多个网络的拓扑结构的问题，其中这些网络被假定为从相同的（未知的）随机图模型绘制。我们采用一个graphon作为我们的随机图模型，这是一个非参数模型，从该模型中可以绘制出可能不同大小的图。图子的多功能性使我们能够解决联合推理问题，即使在要恢复的图包含不同数量的节点并且缺乏跨图的精确对齐的情况下。我们的解决方案是基于结合的极大似然惩罚与graphon估计方案，并可用于增强现有的网络推理方法。提出的联合网络和graphon估计进一步增强了引入噪声图采样信息的鲁棒性方法。我们验证我们提出的方法，通过比较其性能与竞争的方法在合成和真实世界的数据集。
2022-09-17 cs.LG eess.SP stat.ML
Skeptical binary inferences in multi-label problems with sets of probabilities
Sorbonne universités（索邦大学联盟）；Université de technologie de Compiègne（贡比涅技术大学）
在本文中，我们考虑的问题，使分布鲁棒性，怀疑推理的多标签问题，或更一般的布尔向量。所谓分布鲁棒性，我们的意思是考虑一组可能的概率分布，而所谓怀疑论，我们理解为，我们认为只有那些对这组分布中的每一个分布都为真的推论才是有效的。只要所考虑的集合足够大，这样的推论就能提供部分预测。我们特别研究了汉明损失的情况下，一个常见的损失函数在多标签的问题，显示如何怀疑的推论，可以在这种情况下。我们的实验结果分为三个部分：（1）第一个表明通过使用合成数据集从我们的理论结果获得的计算增益，（2）第二个表明我们的方法在那些难以预测的情况下产生相关的谨慎性，其中精确的对应物失败，以及（3）最后一个实验演示了我们的方法如何比部分弃权[31]和拒绝规则更好地处理不完美信息（由下采样过程生成）。
2022-05-02 cs.AI cs.LG math.CO
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Pengcheng Laboratory（鹏城实验室）
本文揭示了分割学习交换的中间结果会泄漏私有标签，基于梯度与特征相似性设计三种标签推断攻击，在训练和推理阶段实现接近100%攻击准确率，并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Compact Relaxations for MAP Inference in Pairwise MRFs with Piecewise Linear Priors
Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
大状态空间下的标签分配问题是计算机视觉中的一个重要课题。通常，在相邻节点（或像素）处分配的标签之间的成对交互（或平滑先验）可以被描述为标签差异的函数。在这种标记任务中的精确推理仍然是困难的，因此在实践中通常使用基于线性规划（LP）松弛的近似推理方法。在这项工作中，我们研究如何紧凑的线性规划可以构造一般的分段线性光滑先验。根据状态空间大小$L$和线性段的数目K，每个成对团的未知数的数目是O（LK）。如果忽略分段线性结构，则标准LP松弛的复杂度为O（L^2）。我们的紧凑结构和标准的LP松弛是等价的，并导致相同的（近似的）标签分配。
2017-04-11 cs.CV cs.LG stat.ML
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
使用图神经网络（GNN）的节点分类已经广泛应用于各种现实场景中。然而，近年来，令人信服的证据表明，基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化，例如随机连接或对抗攻击。已经提出了各种解决方案，例如拓扑去噪方法和机制设计方法，以开发鲁棒的基于GNN的节点分类器，但是这些工作都不能完全解决与拓扑扰动相关的问题。最近，贝叶斯标签转换模型被提出来解决这个问题，但其收敛速度慢，可能会导致性能较差。在这项工作中，我们提出了一个新的标签推理模型，即LInDT，它集成了贝叶斯标签转换和基于拓扑的标签传播，以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法，因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测，从而更好地收敛标签推理。此外，LIndT采用非对称狄利克雷分布作为先验，这也有助于它改进标签推理。在五个图数据集上的大量实验表明，在三种拓扑扰动情况下，LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
Joint Embedding of Words and Labels for Text Classification
Duke University（杜克大学）
词嵌入是在学习文本序列表示时捕捉词间语义重叠的有效中间表示。我们建议将文本分类视为标签-词联合嵌入问题：每个标签与词向量嵌入在同一空间中。我们引入了一个注意力框架，衡量文本序列和标签之间的嵌入的兼容性。注意力是在标记样本的训练集上学习的，以确保在给定文本序列的情况下，相关单词的权重高于不相关单词。我们的方法保持了词嵌入的可解释性，并且除了输入文本序列之外，还具有利用替代信息源的内置能力。在几个大型文本数据集上的广泛结果表明，所提出的框架在准确性和速度方面都大大优于最先进的方法。
2018-05-10 cs.CL cs.LG
Modeling Label Correlations for Second-Order Semantic Dependency Parsing with Mean-Field Inference
ShanghaiTech University（上海科技大学）
二阶语义解析与端到端的平均场推理已经表现出良好的性能。在这项工作中，我们的目标是改进这种方法，通过建模相邻弧之间的标签相关性。然而，直接建模会导致内存爆炸，因为二阶分数张量的大小为$O(n^3L^2)$（$n$是句子长度，$L$是标签的数量），这是负担不起的。为了解决这一计算挑战，我们利用张量分解技术，有趣的是，我们表明，大的二阶得分张量没有必要在平均场推理过程中被物化，从而降低了计算复杂性从三次到二次。我们在SemEval 2015 Task 18英语数据集上进行了实验，显示了对标签相关性建模的有效性。我们的代码可在https://github.com/sustcsonglin/mean-field-dep-parsing上公开获取。
2022-04-07 cs.CL cs.LG
Cross-Prediction-Powered Inference
Stanford University（斯坦福大学）
针对机器学习预测标签存在偏差、影响下游统计推断的问题，提出交叉预测方法，利用少量标注与大量未标注数据进行插补和去偏，实现更有效、稳定且高功效的推断。
2024-02-28 cs.LG stat.ME stat.ML
Joint trajectory and network inference via reference fitting
School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）；Department of Genetics, Stanford University（斯坦福大学遗传学系）
针对稳态系统网络推断缺乏时间与因果信息的难题，提出一种结合动力学与扰动单细胞数据的方法，联合学习细胞轨迹并实现有向带符号网络推断，受随机动力学最小熵估计启发。
2024-09-10 cs.LG q-bio.QM stat.ML
Label Inference Attacks from Log-loss Scores
Amazon（亚马逊）
对数损失（也称为交叉熵损失）度量在机器学习应用中普遍使用，以评估分类算法的性能。在本文中，我们研究了从单个（或多个）日志丢失分数推断数据集标签的问题，而无需对数据集进行任何其他访问。令人惊讶的是，我们表明，对于任何有限数量的标签类，它是可以准确地推断出标签的数据集从报告的日志损失得分的一个单一的精心构建的预测向量，如果我们允许任意精度算术。此外，我们提出了标签推理算法（攻击），即使在添加噪声的日志损失分数和有限的精度算术成功。我们所有的算法都依赖于数论和组合学的思想，不需要模型训练。我们在一些真实的数据集上进行了实验模拟，以证明在实践中运行这些攻击的容易性。
2021-06-11 cs.LG
Defending Label Inference Attacks in Split Learning under Regression Setting
Zhejiang University（浙江大学）
针对回归设置下 Split Learning 中基于梯度反演的标签推理攻击，提出 RLE 与自适应 MLE 标签扩展防御，在保持原任务性能的同时显著降低攻击效果。
2023-08-18 cs.CR cs.LG
BLIA: Detect model memorization in binary classification model through passive Label Inference attack
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；Meta
本文提出两种仅利用预训练模型输出的被动标签推理攻击BLIA，通过canary标签翻转实验检测二分类模型的标签记忆，并证明即使采用Label-DP，攻击成功率仍超过50%。
2025-03-17 cs.CR cs.LG
Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Tsinghua University（清华大学）；Webank（微众银行）；Shandong University（山东大学）；Hong Kong University of Science and Technology（香港科技大学）
在垂直联邦学习（VFL）场景中，特征和模型被分成不同的部分，样本特定更新的通信对于正确的梯度计算是必需的，但可以用于推断重要的样本级标签信息。一个直接的防御策略是保护与同态加密（HE）通信的样本级消息，并且以这种方式，只有批量平均的局部梯度被暴露给每一方（称为黑盒VFL）。在本文中，我们首先探讨了在具有HE保护通信的垂直联邦学习设置中恢复标签的可能性，并通过训练梯度反转模型来高精度地重建私有标签。此外，我们表明，标签替换后门攻击可以在黑盒VFL直接更换加密的通信消息（称为梯度替换攻击）。由于批量平均信息共享是安全的，批量标签推理和替换攻击是VFL面临的严峻挑战。为了抵御批量标签推理攻击，我们进一步评估了几种防御策略，包括混淆自动编码器（CoAE），我们提出了一种基于自动编码器和熵正则化的技术。我们证明，标签推理和替换攻击可以成功地阻止这种技术，而不会损害尽可能多的主要任务的准确性相比，现有的方法。
2022-02-11 cs.LG
Robust Spectral Inference for Joint Stochastic Matrix Factorization
Cornell University（康奈尔大学）
谱推理为潜在主题分析提供了快速算法和可证明的最优性。但对于真实数据，这些算法需要额外的ad-hoc算法，即使这样也经常产生不可用的结果。我们解释了这种糟糕的性能铸造的问题，主题推理的框架联合随机矩阵分解（JSMF），并表明以前的方法违反了理论条件，一个好的解决方案存在。然后，我们提出了一种新的校正方法，即使在小的噪声数据上也能学习高质量的主题及其相互作用。该方法在几个领域中实现了与概率技术相当的结果，同时保持了可扩展性和可证明的最优性。
2016-11-01 cs.AI cs.LG
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
结构化预测能量网络（SPENs; Belanger & McCallum 2016）使用神经网络架构来定义能量函数，这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理，将结构化输出放松为一组连续变量，然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理，来代替梯度下降。这个“推理网络”输出连续值，我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面，我们报告与Belanger et al，2017相比，速度提高了10- 60倍，同时也提高了准确性。对于具有简单结构化能量的序列标记，我们的方法执行精确推理，同时在测试时更快。然后，我们证明了提高的准确性，通过增加能量与“标签语言模型“，整个输出标签序列的分数，表明它可以提高处理的长距离依赖性的词性标记。最后，我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场，建议他们的一般用途，在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
Seen to Unseen: When Fuzzy Inference System Predicts IoT Device Positioning Labels That Had Not Appeared in Training Phase
Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Durham University（杜伦大学）；Teesside University（提赛德大学）
作为人工智能（AI）的核心，机器学习（ML），更具体地说，深度学习（DL）在过去二十年中取得了巨大的成功。然而，由于在训练ML或DL模型中丢失的类是不可见的，因此看不见的类标签预测很少被探索。在这项工作中，我们提出了一个模糊推理系统，以应付这样的挑战，采用TSK+模糊推理引擎结合曲率为基础的特征选择（CFS）的方法。我们的系统的实际可行性已通过预测物联网（IoT）领域内的网络设备的定位标签进行了评估。竞争性预测性能证实了我们系统的效率和功效，特别是当在模型训练阶段看不到大量连续类标签时。
2022-09-21 cs.LG
Learning Structured Inference Neural Networks with Label Relations
Simon Fraser University（西蒙菲莎大学）；Zhejiang University（浙江大学）
场景图像具有多种对象和丰富的属性，可以进行不同层次的视觉分类。一个自然的图像可以被赋予描述主要组件的细粒度标签，描述高级抽象的粗粒度标签或揭示属性的一组标签。在不同概念层的这种分类可以用编码标签信息的标签图来建模。在本文中，我们使用最先进的深度学习框架来利用这些丰富的信息，并提出了一种通用的结构化模型，该模型利用不同的标签关系来提高图像分类性能。我们的方法采用了一种新的堆叠标签预测神经网络，捕获层间和层内标签语义。我们在基准图像数据集上评估了我们的方法，实证结果说明了我们模型的有效性。
2016-10-24 cs.CV cs.LG
Evaluation of Joint Multi-Instance Multi-Label Learning For Breast Cancer Diagnosis
Bilkent University（比尔肯特大学）
多示例多标记（MIML）学习在许多方面都是一个具有挑战性的问题。这种学习方法可能对许多医学诊断应用有用，包括乳腺癌检测和分类。在这项研究中，digiPATH数据集（全载玻片数字乳腺癌组织病理学图像）的子集用于训练和评估六种最先进的MIML方法。最后，通过有效的评价指标对这些方法进行了性能比较。结果表明，MIML-kNN取得了最好的性能，平均精度为%65.3，大多数其他方法也取得了可接受的结果。
2015-10-10 cs.CV cs.LG
Label-Efficient Grasp Joint Prediction with Point-JEPA
relAI -- Konrad Zuse School of Excellence in Reliable AI（relAI——康拉德·祖斯可靠性人工智能卓越学校）
本研究验证了Point-JEPA的3D自监督预训练能提升低标签下的抓取关节预测精度，在25%数据时RMSE降低26%，并在全监督下达到同等性能，为数据高效抓取学习提供了有效方案。
2025-09-25 cs.AI cs.LG cs.RO
Spatially Robust Inference with Predicted and Missing at Random Labels
本文提出了一种双稳健估计器，用于处理具有预测和缺失在随机标签的空间依赖性问题，通过交叉拟合和jackknife方法校正空间异方差性和自相关，提高置信区间的有效性。
2026-03-11 cs.LG econ.EM stat.AP
Joint Text and Label Generation for Spoken Language Understanding
Amazon（亚马逊）
泛化是机器学习中的一个核心问题，特别是在数据有限的情况下。使用先验信息来加强约束是鼓励泛化的原则性方法。在这项工作中，我们建议利用嵌入在预训练的语言模型（LM）的先验信息，以提高泛化的意图分类和插槽标记任务与有限的训练数据。具体来说，我们以合成数据的形式从预训练的LM中提取先验知识，该数据对先验知识进行隐式编码。我们对LM进行微调以生成增强语言，该语言不仅包含文本，还对意图标签和槽标签进行编码。所生成的合成数据可用于稍后训练分类器。由于生成的数据可能包含噪声，因此我们将从生成的数据中学习重新定义为带噪声标签的学习。然后，我们利用混合正则化的分类器，并证明其有效性，以抵抗标签噪声在生成的数据。从经验上讲，我们的方法表现出优越的性能，并优于基线的大幅度。
2021-05-11 cs.CL cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester（曼彻斯特大学）
人体动作识别是指从视频片段中自动识别人体动作。在现实中，视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释，而不是将每个标签分配给对应于单个动作的特定视频片段，这导致了多标签学习问题。此外，现实中存在许多有意义的人类动作，但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的，这导致零样本学习场景。据我们所知，还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中，我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题，并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题，并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此，我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此，多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架，包括一个专门为评估多标签零样本学习而设计的新型数据分割方案，在两个数据集上：早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
