Accurate Use of Label Dependency in Multi-Label Text Classification Through the Lens of Causality
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）
针对多标签文本分类中标签依赖被误用导致预测偏差的问题，提出反事实文本分类器（CFTC），利用因果推断消除相关性捷径，在三个数据集上显著优于基线。
2023-10-11 cs.AI cs.CL cs.LG
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Neural Latent Dependency Model for Sequence Labeling
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程研究中心）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
序列标注是机器学习、自然语言处理等领域的一个基本问题。一个经典的序列标记方法是线性链条件随机场（CRF）。当与神经网络编码器相结合时，它们在许多序列标记任务中实现了非常好的性能。线性链CRF的一个局限性是它们无法对标签之间的长范围依赖性进行建模。高阶CRF通过建模不长于其阶的依赖性来扩展线性链CRF，但是计算复杂性在阶中呈指数增长。在本文中，我们提出了神经潜在依赖模型（NLDM），模型之间的依赖关系的任意长度的标签与潜在的树结构。我们开发了我们的模型的端到端训练算法和多项式时间推理算法。我们在合成和真实数据集上评估了我们的模型，并表明我们的模型优于强基线。
2020-11-10 cs.LG
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis
Princeton University（普林斯顿大学）
我们研究了少样本学习（FSL）问题，其中模型学习识别每个类别具有极少数标记训练数据的新对象。以往的FSL方法大多采用元学习范式，模型通过学习大量训练任务来积累归纳偏差，从而解决一个新的不可见的Few-Shot任务。相比之下，我们提出了一个简单的方法来利用伴随着Few-Shot任务的未标记数据，以提高Few-Shot的性能。首先，我们提出了一种基于互协方差算子的Hilbert-Schmidt范数的依赖性最大化方法，该方法最大化了未标记数据的嵌入特征与其标签预测之间的统计依赖性，以及支持集上的监督损失。然后，我们使用所获得的模型来推断这些未标记数据的伪标签。此外，我们提出了一个实例判别分析来评估每个伪标记的例子的可信度，并选择最忠实的到一个增广支持集重新训练模型的第一步。我们重复上述过程，直到未标记数据的伪标签变得稳定。在标准的转换和半监督FSL设置之后，我们的实验表明，所提出的方法在四个广泛使用的基准测试中表现优于以前的最先进的方法，包括mini-ImageNet，tiered-ImageNet，CUB和CIFARFS。
2021-09-07 cs.AI cs.CV cs.LG
Inaccurate Label Distribution Learning with Dependency Noise
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出DN-ILDL框架，通过建模依赖噪声、线性映射与图正则化，利用ADMM优化，有效解决不精确标签分布学习问题，并优于现有方法。
2024-05-26 cs.LG
Modeling Label Correlations for Second-Order Semantic Dependency Parsing with Mean-Field Inference
ShanghaiTech University（上海科技大学）
二阶语义解析与端到端的平均场推理已经表现出良好的性能。在这项工作中，我们的目标是改进这种方法，通过建模相邻弧之间的标签相关性。然而，直接建模会导致内存爆炸，因为二阶分数张量的大小为$O(n^3L^2)$（$n$是句子长度，$L$是标签的数量），这是负担不起的。为了解决这一计算挑战，我们利用张量分解技术，有趣的是，我们表明，大的二阶得分张量没有必要在平均场推理过程中被物化，从而降低了计算复杂性从三次到二次。我们在SemEval 2015 Task 18英语数据集上进行了实验，显示了对标签相关性建模的有效性。我们的代码可在https://github.com/sustcsonglin/mean-field-dep-parsing上公开获取。
2022-04-07 cs.CL cs.LG
Dependency Structure Misspecification in Multi-Source Weak Supervision Models
Technical University of Darmstadt（达姆施塔特工业大学）；Carnegie Mellon University（卡内基梅隆大学）
数据编程（DP）已被证明是一种有吸引力的替代昂贵的手工标记的数据。在DP中，用户将领域知识编码为\emph{labeling functions}（LF），即对数据子集进行噪声标记并可能具有复杂依赖关系的分类。然后将标签模型拟合到LF以产生未知类别标签的估计。深入研究了标签模型误设定对下游分类器测试集性能的影响。这给从业人员带来了严重的认识差距，特别是因为在DP的实地应用中经常忽略了LF之间的依赖结构。我们分析了建模误差，由于结构过规格。我们推导出新的理论界的建模误差和经验表明，这种错误可以是巨大的，即使在建模一个看似合理的结构。
2021-06-18 cs.AI cs.LG stat.ML
LabelGit: A Dataset for Software Repositories Classification using Attributed Dependency Graphs
Bernoulli Institute University of Groningen Groningen, Netherlands
软件存储库托管服务包含大量开源软件，GitHub托管了超过1亿个存储库，从新的到已建立的。考虑到如此大量的项目，迫切需要基于软件的内容和功能进行搜索。然而，尽管GitHub提供了各种解决方案来帮助软件发现，但大多数存储库没有任何标签，从而降低了搜索和基于主题的分析的实用性。此外，软件模块的分类也变得越来越重要，因为基于代理的软件开发越来越多。然而，以前的工作集中在使用基于关键字的方法或项目代理的软件分类上（例如，README），并不总是可用的。在这项工作中，我们创建了一个名为LabelGit的GitHub Java项目的新注释数据集。我们的数据集使用来自源代码的直接信息，例如依赖图和来自标识符的源代码神经表示。使用这个数据集，我们希望帮助开发不依赖代理的解决方案，而是使用整个源代码来执行分类。
2021-03-16 cs.LG cs.SE
A Dependency-Based Neural Network for Relation Classification
Peking University（北京大学）；Microsoft Research（微软研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
以往的关系分类研究已经验证了使用依赖最短路径或子树的有效性。在本文中，我们进一步探讨如何充分利用这些依赖信息的组合。我们首先提出了一种新的结构，称为增强依赖路径（ADP），它由两个实体之间的最短依赖路径和连接到最短路径的子树组成。为了利用ADP结构背后的语义表示，我们开发了基于依赖的神经网络（DepNN）：递归神经网络被设计成对子树进行建模，在SemEval-2010数据集上的实验表明，本文提出的方法可以获得最佳的结果。
2015-07-16 cs.CL cs.LG cs.NE
Feature Selection for multi-labeled variables via Dependency Maximization
University of Michigan（密歇根大学）
特征选择和数据降维是数据分析中必不可少的步骤。在这项工作中，我们提出了一个新的标准，制定为特征之间的条件信息的标记变量的特征选择。而不是使用基于库尔贝克-莱布勒散度的标准互信息度量，我们使用我们提出的标准来过滤掉冗余的功能，用于多类分类。这种方法的结果在一个有效的和快速的非参数实现的功能选择，因为它可以直接估计使用的几何措施的依赖性，全球弗里德曼-拉夫斯基（FR）的多元运行检验统计量构造的全球最小生成树（MST）。我们通过仿真证明了我们提出的特征选择方法的优点。此外，所提出的特征选择方法适用于MNIST数据集。
2019-05-16 cs.IT cs.LG math.IT
Beyond the Labels: Unveiling Text-Dependency in Paralinguistic Speech Recognition Datasets
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文通过分析CLSE和IEMOCAP数据集的词汇重叠并测试模型性能，揭示机器学习模型在副语言特征识别中存在文本依赖性，尤其是HuBERT等大型预训练模型可能关注词汇而非副语言特征，呼吁重新评估数据集可靠性。
2024-10-18 cs.LG eess.AS eess.SP
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
最近的方面级情感分类工作已经证明了将句法结构（如依赖树）与图神经网络（GNN）相结合的有效性，但这些方法通常容易出现解析错误。为了更好地利用语法信息，面对不可避免的错误，我们提出了一个简单而有效的图集成技术，GraphMerge，利用不同的解析器的预测。我们没有为每个依赖树分配一组模型参数，而是首先将来自不同解析的依赖关系组合在一起，然后将GNN应用于结果图。这使得GNN模型能够在没有额外计算成本的情况下强大地解析错误，并通过将更多的连接引入到系综图中来帮助避免GNN层堆叠的过度参数化和过度拟合。我们在SemEval 2014 Task 4和ACL 14 Twitter数据集上的实验表明，我们的GraphMerge模型不仅优于单依赖树模型，而且在不添加模型参数的情况下击败了其他集成模型。
2021-03-12 cs.CL cs.LG
Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；Karolinska Institute（卡罗林斯卡学院）；Karolinska University Hospital（卡罗林斯卡大学医院）
最近，我们通过采用深度神经网络在医学成像分类领域取得了巨大进展。然而，最近的高级模型仍然需要访问足够大的和有代表性的数据集进行训练，这在临床现实环境中通常是不可行的。当在有限的数据集上训练时，深度神经网络缺乏泛化能力，因为在特定分布内的数据（例如，由特定设备供应商或患者群体捕获的数据）上训练的深度神经网络可能无法泛化到具有另一分布的数据。在本文中，我们介绍了一种简单但有效的方法来提高医学成像分类领域中深度神经网络的泛化能力。由于医学图像的域可变性在一定程度上是紧凑的，我们建议通过变分编码与一个新的线性依赖正则化项来学习一个代表性的特征空间，以捕获从不同领域收集的医学数据之间的共享信息。因此，训练后的神经网络有望对“看不见的”医学数据具有更好的泛化能力。两个具有挑战性的医学成像分类任务的实验结果表明，我们的方法可以实现更好的跨领域泛化能力相比，国家的最先进的基线。
2020-10-29 cs.CV cs.LG eess.IV
Learning Dependency Structures for Weak Supervision Models
Stanford University（斯坦福大学）
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源，估计其准确性，而无需访问地面真相标签;然而，估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构，建立改进的理论恢复率，并优于现有的方法在各种现实世界的任务。在一定条件下，我们表明，所需的未标记的数据量可以缩放次线性，甚至与源$m$的数量，改善了以前的努力，忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中，比假设条件独立源的弱监督方法高出4.64个F1点，比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
Multi-Scale Label Relation Learning for Multi-Label Classification Using 1-Dimensional Convolutional Neural Networks
Handong Global University（韩东全球大学）
我们提出了多尺度标签依赖关系网络（MSDN），这是一种使用一维卷积核来学习多尺度标签依赖关系的多标签分类（MLC）新方法。现代多标签分类器一直采用递归神经网络（RNN）作为记忆结构来捕获和利用标签依赖关系。然而，基于RNN的MLC模型往往会引入大量的参数，这些参数可能会导致欠拟合/过拟合问题。所提出的方法使用1维卷积神经网络（1D-CNN），以更有效的方式服务于相同的目的。通过训练具有多个内核大小的模型，该方法能够学习多个尺度下标签之间的依赖关系，同时使用的参数数量要少得多。通过公共基准数据集，我们证明了与基于RNN的MLC模型相比，我们的模型可以用更少的模型参数实现更好的精度。
2021-07-13 cs.LG
Reducing Label Dependency in Human Activity Recognition with Wearables: From Supervised Learning to Novel Weakly Self-Supervised Approaches
The University of Texas at Arlington（德克萨斯理工大学）
本文提出了一种新型弱自监督学习框架，通过减少标注依赖性提升可穿戴设备人体活动识别的性能和效率。
2025-12-15 cs.HC cs.LG
Deep Contextualized Self-training for Low Resource Dependency Parsing
Technion, IIT（以色列理工学院）
神经依存句法分析已经被证明是非常有效的，在许多领域和语言上都取得了最先进的结果。不幸的是，它需要大量的标记数据，这是昂贵和费力的创建。在本文中，我们提出了一个自我训练算法，通过训练解析器自己的输出来消除这个注释瓶颈。我们的深度上下文自训练（DCST）算法利用在序列标记任务上训练的表示模型，这些任务在应用于未标记数据时从解析器的输出中导出，并通过门控机制将这些模型与基础解析器集成。我们在多种语言中进行了实验，无论是在低资源域中还是在跨域设置中，并证明DCST大大优于传统的自我训练以及最近的半监督训练方法。
2019-11-11 cs.CL cs.LG
kNN Classification of Malware Data Dependency Graph Features
The College of Wooster（伍斯特学院）；University of Cincinnati（辛辛那提大学）
本文提出基于数据依赖图特征与kNN非参数学习进行恶意软件分类，在Kaggle 2015数据集上实现高准确率，并证明该特征表示能同时捕获语义与结构信息以增强可解释性。
2024-07-06 cs.AI cs.CR cs.LG
How Much Data Analytics is Enough? The ROI of Machine Learning Classification and its Application to Requirements Dependency Classification
University of Calgary（卡尔加里大学）；Dept. Computer Science（计算机科学系）；Dept. Electrical and Software Engineering（电气与软件工程系）；Haskayne School of Business（哈斯凯恩商学院）
机器学习（ML）可以大大提高组织的效率和有效性，并广泛用于软件工程的不同目的。然而，ML技术的选择和实现几乎完全依赖于准确性标准。因此，对于希望实现ML投资收益的组织来说，这种狭隘的方法忽略了ML活动在整个ML生命周期中的预期成本的关键考虑因素，同时未能考虑到可能从拟议活动中获得的收益。我们提出了一种方法，通过提高投资回报率（ROI）考虑的准确性标准来解决这一差距。具体来说，我们分析了两种最先进的ML技术的性能：随机森林和双向编码器表示Transformers（BERT），基于两个公开数据集的准确性和ROI。具体来说，我们比较了需求依赖关系提取的决策（i）完全基于准确性，以及（ii）扩展到包括投资回报率分析。因此，我们提出了根据所使用的训练数据的程度来选择ML分类技术的建议。我们的研究结果表明，与基于准确性作为唯一标准的决策相比，将ROI作为附加标准可以极大地影响ML选择
2021-09-28 cs.IR cs.LG cs.SE
Search to Capture Long-range Dependency with Stacking GNNs for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Lenovo（联想）；Paradigm. Inc（第四范式公司）；Tsinghua University（清华大学）
近年来，图神经网络（GNNs）在图分类任务中得到了广泛的应用。目前，浅GNN更常见，这是由于较深GNN面临的众所周知的过度平滑问题。然而，它们在不利用来自远程节点的信息的情况下是次优的，即，长期依赖性。图分类任务中的主流方法可以通过设计池化操作或合并高阶近邻来提取长距离依赖关系，但它们存在明显的缺点，即需要修改原始图结构，从而可能导致图结构学习中的信息丢失。在本文中，通过证明图分类任务中过平滑问题的影响较小，我们唤起了基于堆栈的GNN的重要性，然后使用它们来捕获长程依赖关系，而无需修改原始图结构。为了实现这一点，对于基于堆栈的GNN给出了两个设计需求，即，足够的模型深度和自适应跳跃连接方案。通过将这两种设计需求转化为设计特定于数据的层间连接，我们提出了一种新的方法，并借助神经架构搜索（NAS），这被称为LRGNN（长程图神经网络）。在5个数据集上的实验表明，LRGNN具有最佳的性能，并获得了不同深度和跳连接方案的数据特定GNN，能够更好地捕捉长程依赖关系。
2023-02-17 cs.LG
Dependency-based Convolutional Neural Networks for Sentence Embedding
City University of New York（纽约城市大学）；IBM（国际商业机器公司）
在句子建模和分类中，卷积神经网络方法最近取得了最先进的结果，但所有这些努力都是顺序处理单词向量，忽略了长距离依赖关系。为了利用深度学习和语言结构，我们提出了一个基于树的卷积神经网络模型，它利用了单词之间的各种长距离关系。我们的模型改进了所有三个情感和问题分类任务的顺序基线，并在TREC上实现了最高的发布准确率。
2015-08-03 cs.AI cs.CL cs.LG
Multi-label Classification using Labels as Hidden Nodes
École Polytechnique（巴黎综合理工学院）；Aalto University（阿尔托大学）
用于多标签分类的竞争方法通常投资于一起学习标签。为了以一种有益的方式做到这一点，标签依赖性的分析通常被视为一个基本步骤，独立于构建分类器之前。一些方法在构建依赖模型方面投入的计算工作量高达训练最终分类器本身的数百倍。我们扩展了最近的一些文献中的讨论，并提供了更深入的分析，即，发展的观点，标签依赖往往是由一个不充分的基础分类器，而不是固有的数据或基本概念，显示如何即使是详尽的分析标签依赖可能不会导致最佳的分类结构。将标签视为额外的特征（输入的转换），我们创建了神经网络启发的新方法，这些方法消除了先前依赖结构的重点。我们的方法对于多标签数据有一个重要的优势：它们利用标签在中间层创建有效的单元，而不是使用基于梯度的方法以无监督的方式从头开始学习这些单元。结果令人鼓舞。我们提出的方法执行竞争力，也有非常重要的质量的可扩展性。
2017-07-18 cs.LG stat.ML
Bayesian Network Based Label Correlation Analysis For Multi-label Classifier Chain
Shenzhen University（深圳大学）；University of Exeter（埃克塞特大学）；City University of Hong Kong（香港城市大学）
分类器链（CC）是一种多标签学习方法，它根据标签顺序构造一系列二进制分类器。序列中的每个分类器负责预测一个标签的相关性。当训练分类器时，将继续进行的标签作为扩展特征。如果扩展特征与标签高度相关，则性能将得到改善，否则，性能不会受到影响甚至下降。如何发现标签相关性和确定标签顺序是CC方法的关键。本文采用贝叶斯网络（BN）对标签相关性进行建模，提出了一种新的基于贝叶斯网络的CC方法（BNCC）。首先，使用条件熵来描述标签之间的依赖关系。然后，以节点为标签，边的权值为依赖关系，建立BN。提出了一种新的评分函数来评价BN结构，并引入了一种启发式算法来优化BN。最后，通过对优化后的BN的节点进行拓扑排序，得到了构造CC模型的标号顺序。实验比较证明了该方法的可行性和有效性。
2019-08-06 cs.LG stat.ML
Instance-Based Neural Dependency Parsing
NAIST（日本国立情报学研究所）；RIKEN（理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）；Langsmith, Inc.（Langsmith公司）
在实际应用中，模型预测的可解释的原理是至关重要的。我们开发的神经模型，拥有一个可解释的推理过程的依存句法分析。我们的模型采用基于实例的推理，其中依赖性边缘被提取并通过将它们与训练集中的边缘进行比较来标记。训练边缘被明确地用于预测;因此，很容易掌握每个边缘对预测的贡献。我们的实验表明，我们的基于实例的模型实现了竞争力的准确性与标准的神经模型，并具有合理的基于实例的解释。
2021-09-28 cs.CL cs.LG
Dependency Decomposition and a Reject Option for Explainable Models
Computer Science Institute（计算机科学研究所）；Ruhr West University of Applied Sciences（鲁尔西部应用科学大学）
在安全相关领域（例如自动驾驶、医疗诊断）部署机器学习模型需要可解释的方法，这些方法对对抗攻击具有鲁棒性，并且能够意识到模型的不确定性。最近的深度学习模型在各种推理任务中表现非常好，但这些方法的黑盒性质导致了上述三个要求的弱点。最近的进展提供了可视化特征、描述输入属性（例如热图）、提供文本解释或降低维度的方法。然而，分类任务的解释是相互依赖的还是相互独立的？例如，物体的形状取决于颜色吗？使用预测类生成解释有什么影响，反之亦然？在可解释的深度学习模型的背景下，我们提出了关于期望的图像分类输出和解释变量（例如属性，文本，热图）的概率分布的依赖关系的第一个分析。因此，我们执行解释依赖性分解（EDD）。我们分析了不同的依赖关系的含义，并提出了两种方式产生的解释。最后，我们用解释来验证（接受或拒绝）预测
2020-12-11 cs.AI cs.CV cs.LG
Data-dependent Generalization Bounds for Multi-class Classification
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Microsoft Research, Cambridge（微软研究院剑桥）；Department of Computer Science, University of Kaiserslautern（凯撒斯劳滕大学计算机科学系）
在本文中，我们研究了数据依赖的泛化误差界表现出轻微的依赖于类的数量，使它们适合于多类学习与大量的标签类。对于使用任意范数作为正则化子的经验多类风险最小化算法，该界通常成立。我们的分析的关键是多类高斯复杂性和经验$\ell_\infty$ -范数覆盖数，利用Lipschitz连续性的损失函数的$\ell_2$ -和$\ell_\infty$ -范数，分别新的结构结果。我们建立数据相关的误差界的复杂性的线性函数类定义在有限集诱导的训练样本，我们显示严格的下限和上限。我们将结果应用于几个突出的多类学习机器，表现出比最先进的更紧密的依赖于类的数量。例如，对于Crammer和Singer（2002）的多类SVM，我们获得了一个对数依赖的数据依赖的界限，这显着改善了以前的平方根依赖。实验结果的报告，以验证我们的理论研究结果的有效性。
2017-12-29 cs.LG
Weak Supervision with Incremental Source Accuracy Estimation
Stanford University（斯坦福大学）
出于生成实时数据标签的愿望，我们开发了一种方法来估计依赖结构和精度的弱监督源增量。我们的方法首先估计与监督源相关的依赖结构，然后使用它来迭代更新估计的源精度，因为收到了新的数据。使用现成的分类模型训练使用公开可用的数据集和启发式函数作为监督源，我们表明，我们的方法生成的概率标签的准确性匹配现有的离线方法。
2022-05-11 cs.LG stat.AP
Towards Label Imbalance in Multi-label Classification with Many Labels
Peking University（北京大学）
在多标签分类中，实例可以同时与一组标签相关联。最近，多标签分类的研究已经在很大程度上将其重点转移到另一端的频谱，其中标签的数量被假定为非常大。现有的工作集中在如何设计可扩展的算法，提供快速的训练过程，并有一个小的内存占用。然而，他们忽略了，甚至加剧了另一个挑战-标签不平衡的问题。为了解决这个问题，我们提出了一种新的基于表示的多标签采样学习（RMLS）方法。据我们所知，我们是第一个解决多标签多标签分类中的不平衡问题。我们的实验与现实世界的数据集证明了所提出的方法的有效性。
2016-04-05 cs.LG
LNEMLC: Label Network Embeddings for Multi-Label Classification
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Notre Dame（圣母大学）
多标签分类的目的是对具有离散非排他性标签的实例进行分类。大多数多标签分类方法都专注于现有二进制和多类学习方法的有效适应或转换，但无法对标签的联合概率进行建模，或者不保留不可见标签组合的泛化能力。为了解决这些问题，我们提出了一个新的多标签分类方案，LNEMLC -标签网络嵌入的多标签分类，嵌入标签网络，并使用它来扩展输入空间的学习和推理的任何基础多标签分类。该方法允许捕获标签的联合概率在低计算复杂性提供的结果相比，在文献中报道的最佳方法。我们演示了该方法如何揭示简单的kNN基线分类器在统计上的显着改进。我们还提供了选择跨数据域令人满意的健壮配置的提示。
2019-01-01 cs.CV cs.LG cs.NE
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University（麦吉尔大学）
本文针对多标签文本分类中标注稀缺问题，提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法，在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
SimFair: A Unified Framework for Fairness-Aware Multi-Label Classification
Purdue University（普渡大学）
近年来，人们越来越关注机器学习算法做出的不公平决策。为了提高模型决策的公平性，人们提出了各种公平性概念，并开发了许多公平性感知方法。然而，大多数现有的定义和方法只关注单标签分类。多标签分类的公平性，其中每个实例与多个标签相关联，仍然有待建立。为了填补这一空白，本文研究了公平感知的多标签分类。我们首先扩展人口均等（DP）和机会均等（EOP），两个流行的公平概念，多标签分类的情况下。通过系统的研究，我们表明，在多标签数据，由于不均匀分布的标签，EOp通常无法构建一个可靠的估计标签的实例很少。然后，我们提出了一个新的框架命名为相似性$s$ -诱导公平（$s_γ$ -SimFair）.这个新的框架在估计特定标签组的公平性时利用具有相似标签的数据以获得更好的稳定性，并且可以统一DP和EOp。理论分析和在真实数据集上的实验结果表明，与现有的多标签分类方法$s_γ$ -SimFair相比，该方法具有更好的分类性能.
2023-02-22 cs.LG
MLC Toolbox: A MATLAB/OCTAVE Library for Multi-Label Classification
Hokkaido University（北海道大学）
多标签分类工具箱是一个MATLAB/OCTAVE多标签分类（MLC）库。有一些Java库用于MLC，但没有涵盖各种方法的MATLAB/OCTAVE库。该工具箱提供了一个评估、比较和可视化MLC结果的环境。该工具箱的一个吸引人之处在于它使我们能够尝试特征空间降维、样本聚类、标签空间降维和集成等多种组合。
2017-04-09 cs.LG
Fine-grained Generalization Analysis of Structured Output Prediction
TU Kaiserslautern（凯泽斯劳滕工业大学）；University of Birmingham（伯明翰大学）
在机器学习中，我们经常遇到结构化输出预测问题（SOPP），即输出空间允许丰富内部结构的问题。SOPP自然出现的应用领域包括自然语言处理、语音识别和计算机视觉。典型的SOPP有一个非常大的标签集，它作为输出大小的函数呈指数级增长。现有的泛化分析意味着泛化边界至少与标签集的基数$d$的平方根相关，这在实践中可能是空洞的。在本文中，我们显着提高了最先进的开发新的高概率界的对数依赖于$d$。此外，我们利用透镜的算法稳定性，以开发推广界的预期没有任何依赖于$d$。因此，我们的研究结果建立了一个坚实的理论基础，在大规模SOPP的学习。此外，我们将我们的结果扩展到弱相关数据的学习。
2021-05-31 cs.LG stat.ML
Exploring Correlation between Labels to improve Multi-Label Classification
Stanford University（斯坦福大学）
本文尝试通过扩展每个输出标签的独立二进制分类模型的思想来进行多标签分类，并探索如何使用输出标签之间的固有相关性来改进预测。Logistic回归，朴素贝叶斯，随机森林，和SVM模型的构建，与SVM给出最好的结果：一个提高了12.9%，比二进制模型的保持交叉验证，通过增加成对相关概率的标签。
2015-11-25 cs.LG cs.SI
Cluster-Guided Label Generation in Extreme Multi-Label Classification
Amazon Alexa AI（亚马逊Alexa人工智能）；University of Minnesota（明尼苏达大学）
对于极端多标签分类（XMC），现有的基于分类的模型对尾部标签的分类效果不佳，并且常常忽略标签之间的语义关系，例如将“Wikipedia”和“Wiki”视为独立的标签。在本文中，我们将XMC转换为生成任务（XLGen），在这里我们受益于预训练的文本到文本模型。然而，在没有任何约束或指导的情况下，从极大的标签空间生成标签是具有挑战性的。因此，我们建议使用标签聚类信息来指导标签生成，以分层方式生成较低级别的标签。我们还发现，基于频率的标签排序和使用解码集成方法是XLGen改进的关键因素。具有集群指导的XLGen在尾部标签上的性能显著优于分类和生成基线，并且在四个流行的XMC基准测试中也普遍提高了整体性能。在人体评价中，我们还发现XLGen生成看不见但似乎合理的标签。我们的代码现在可以在https://github.com/alexa/xlgen-eacl-2023上找到。
2023-02-17 cs.CL cs.LG
Probabilistic Decoupling of Labels in Classification
DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院）
在本文中，我们开发了一种原则性的，概率性的，统一的方法来处理非标准分类任务，例如半监督，正未标记，多正未标记和噪声标签学习。我们训练一个分类器在给定的标签来预测标签分布。然后，我们推断潜在的类分布变分优化模型的标签类过渡。
2020-06-16 cs.LG stat.ML
Coherent Hierarchical Multi-Label Classification Networks
University of Oxford（牛津大学）
层次多标签分类（HMC）是一个具有挑战性的分类任务，通过对类施加层次约束来扩展标准多标签分类问题。在本文中，我们提出了C-HMCNN（h），这是一种解决HMC问题的新方法，它在给定底层多标签分类问题的网络h的情况下，利用层次信息来产生与约束一致的预测并提高性能。我们进行了广泛的实验分析，显示了与最先进的模型相比，C-HMCNN（h）的优越性能。
2020-10-20 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Class-Incremental Lifelong Learning in Multi-Label Classification
Suzhou University of Science and Technology（苏州科技大学）；Suzhou Institute of Trade & Commerce（苏州经贸职业技术学院）；Tianjin University（天津大学）
现有的班级增量式终身学习研究数据都是单标签的，这限制了其对多标签数据的适应性。本文研究了终身多标签（LML）分类方法，该方法在序列多标签分类数据流中建立一个在线类增量分类器。在LML分类中，对带有部分标签的数据进行训练可能会导致旧类中更严重的灾难性遗忘。为了解决这个问题，该研究提出了一个增强的图卷积网络（AGCN）的增强相关矩阵（ACM）的顺序部分标签任务。两个基准测试的结果表明，该方法是有效的LML分类和减少遗忘。
2022-07-16 cs.AI cs.LG
An Online Universal Classifier for Binary, Multi-class and Multi-label Classification
Nanyang Technological University（南洋理工大学）；Dalian Maritime University（大连海事大学）
分类涉及将输入样本与相应的目标标签相关联的映射函数的学习。分类问题有两大类：单标签分类和多标签分类。传统的二元和多类分类是单标签分类的子类别。几个分类器被开发用于二进制，多类和多标签分类问题，但在文献中没有分类器能够执行所有三种类型的分类。在本文中，提出了一种新的在线通用分类器能够执行所有三种类型的分类。作为一种高速在线分类器，该技术可以应用于流数据应用。所开发的分类器的性能进行评估，使用数据集从二进制，多类和多标签的问题。所获得的结果进行比较，与国家的最先进的技术，从每个分类类型。
2016-09-03 cs.AI cs.LG cs.NE
Knowledge-Based Construction of Confusion Matrices for Multi-Label Classification Algorithms using Semantic Similarity Measures
University of Sfax（斯法克斯大学）
到目前为止，多标签分类算法已经使用统计方法进行了评估，这些方法不考虑所考虑的类别的语义，并且完全依赖于抽象计算，如贝叶斯推理。目前，有几种尝试开发基于本体的方法，以更好地评估监督分类算法。在这篇研究论文中，我们定义了一种新的方法，使用本体驱动的基于特征的语义相似性度量，在多标签分类中将预期标签与预测标签对齐，并使用它来开发一种方法，用于创建精确的混淆矩阵，以更有效地评估多标签分类算法。
2021-08-16 cs.CL cs.LG
Automated Multi-Label Classification based on ML-Plan
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
自动化机器学习（AutoML）在最近受到越来越多的关注。虽然AutoML的主要工具，如Auto-WEKA，TPOT和Auto-sklearn，主要处理单标签分类和回归，但很少有其他类型的机器学习任务。特别是，几乎没有关于自动化多标签分类的机器学习应用的工程的工作。本文有两个贡献。首先，它讨论了多标签分类的AutoML方法的有用性和可行性。其次，我们展示了如何的范围ML计划，AutoML多类分类工具，可以扩展到多标签分类使用MEKA，这是一个多标签的扩展，著名的Java库WEKA。由此产生的方法递归地细化MEKA的多标签分类器，有时嵌套另一个多标签分类器，由WEKA提供的单标签基础学习者的选择。在我们的评估中，我们发现，所提出的方法产生了极好的结果，并执行显着优于一组基线。
2018-11-09 cs.LG stat.ML
Detecting Label Errors in Token Classification Data
Cleanlab；MIT（麻省理工学院）
错误标记的示例是真实世界数据中的常见问题，特别是对于像令牌分类这样的任务，其中必须在细粒度的基础上选择许多标签。在这里，我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法，这些方法基于（任何）令牌分类模型（通过任何程序训练）输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上，在现实世界中的标签错误的实体识别数据从CoNLL-2003，我们确定了一个简单而有效的方法，一贯检测这些句子时，应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Training Complex Models with Multi-Task Weak Supervision
Stanford University（斯坦福大学）
随着机器学习模型的复杂性不断增加，收集大量人工标记的训练集已成为实践中最大的障碍之一。相反，经常使用较弱的监管形式，提供更嘈杂但更便宜的标签。然而，这些弱监督源具有不同的和未知的准确性，可以输出相关的标签，并且可以标记不同的任务或以不同的粒度级别应用。我们提出了一个框架，将这些弱监督源视为一个问题的不同相关子任务的标签，我们称之为多任务弱监督设置的整合和建模。我们表明，通过解决矩阵完成式问题，我们可以恢复这些多任务源的准确性，因为它们的依赖结构，但没有任何标记的数据，从而导致更高质量的监督训练最终模型。从理论上讲，我们证明了用这种方法训练的模型的泛化误差随着未标记数据点的数量而提高，并表征了任务和依赖结构的缩放。在三个细粒度分类问题上，我们表明，我们的方法比传统的监督方法平均提高了20.2分的准确性，比多数投票基线提高了6.8分，比以前提出的单独建模任务的弱监督方法提高了4.1分。
2018-12-07 cs.LG stat.ML
Online Multi-Label Classification: A Label Compression Method
Johannes Gutenberg-Universität（约翰内斯·古腾堡大学）
许多现代应用程序处理多标签数据，如基因的功能分类，图像标记和文本分类。对这些具有大量标签和潜在依赖关系的数据进行分类是一项具有挑战性的任务，当数据以在线和块的形式接收时，它变得更具挑战性。目前的许多多标签分类方法需要大量的时间和内存，这使得它们不适合实际的现实世界的应用。在本文中，我们提出了一种快速的线性标签空间降维方法，将标签转换到一个减少的编码空间，并在获得的伪标签上训练模型。此外，它提供了一种分析方法来更新解码矩阵，该解码矩阵将标签映射到原始空间并在测试阶段使用。实验结果表明，这种方法的有效性，在运行时间和预测性能在不同的措施。
2018-04-04 cs.LG stat.ML
Multi-Label Classification Method Based on Extreme Learning Machines
Nanyang Technological Institute（南洋理工学院）
在本文中，极端学习机（ELM）为基础的技术多标签分类问题的建议和讨论。在多标签分类中，每个输入数据样本属于一个或多个类别标签。传统的二分类和多分类问题是多标签问题的子集，每个样本对应的标签数限制为1。建议ELM的多标签分类技术进行了评估与六个不同的基准多标签数据集，从不同的领域，如多媒体，文本和生物。通过比较所提出的方法与来自九种最先进技术的五种不同评价指标的结果，对结果进行了详细的比较。这九种方法是从不同类别的多标记方法中选择的。比较结果表明，所提出的基于极端学习机的多标签分类技术是一个更好的选择比现有的最先进的多标签问题的方法。
2016-08-30 cs.AI cs.LG cs.NE
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Non-intrusive Load Monitoring via Multi-label Sparse Representation based Classification
这项工作遵循的方法，多标签分类的非侵入式负载监测（NILM）。我们修改了流行的稀疏表示为基础的分类（SRC）的方法（单标签分类）来解决多标签分类问题。在基准REDD和Pecan Street数据集上的结果显示，在少量训练数据的情况下，与最先进的技术相比，有了显着的改进。
2019-12-11 cs.LG cs.SY eess.SP
Information-theoretic Classification Accuracy: A Criterion that Guides Data-driven Combination of Ambiguous Outcome Labels in Multi-class Classification
Academy of Mathematics and Systems Science（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）；School of Mathematical Sciences（数学科学学院）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
结果标签的模糊性和主观性在现实世界的数据集中是普遍存在的。虽然从业者通常以特别的方式组合所有数据点（实例）的模糊结果标签以提高多类分类的准确性，但缺乏通过任何最优性标准来指导所有数据点的标签组合的原则性方法。为了解决这个问题，我们提出了信息理论分类精度（ITCA），这是一个平衡预测精度（预测标签与实际标签的一致性如何）和分类分辨率（有多少标签是可预测的）之间的权衡的标准，以指导从业者如何组合模糊的结果标签。为了找到ITCA表示的最佳标签组合，我们提出了两种搜索策略：贪婪搜索和广度优先搜索。值得注意的是，ITCA和两种搜索策略适用于所有机器学习分类算法。结合分类算法和搜索策略，ITCA有两个用途：提高预测精度和识别模糊标签。我们首先验证了ITCA在合成和真实数据上找到正确的标签组合时，两种搜索策略都具有很高的准确性。然后，我们证明了ITCA在不同应用中的有效性，包括医疗预后，癌症生存预测，用户人口统计预测和细胞类型分类。我们还提供了理论上的见解ITCA通过研究的预言和线性判别分析分类算法。Python包itca（可在https：//github.com/JSB-UCLA/ITCA获得）实现了ITCA和搜索策略。
2022-07-02 cs.LG stat.ME stat.ML
