IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics（上海财经大学）
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前，忽略了标签文本中包含的暗示性信息。事实上，人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构，通过连体的BERT和名为IDEA（Interactive DoublE Attentions）的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息，这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法，具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop
Acquia
大多数关于文本分类的文献将其视为监督学习问题：给定标记文档的语料库，训练分类器，使其能够准确预测未见过文档的类别。然而，在工业中，对于一个企业来说，拥有整个文档语料库的情况并不少见，其中很少或根本没有分类，或者现有的分类变得毫无意义。例如，对于Web内容，糟糕的分类管理可能会导致标签被不加区别地应用，从而使通过这些标签进行过滤毫无帮助。我们的工作旨在使用人在回路方法对整个未标记文档语料库进行分类，其中内容所有者手动对每个类别中的一个或两个文档进行分类，其余的可以自动分类。这种“Few-Shot”学习方法需要丰富的文档表示，这样那些已经手动标记的文档就可以被视为原型，而其余文档的自动分类只是测量到原型的距离的简单情况。这种方法使用预先训练的词嵌入，其中使用组成词嵌入的简单加权平均来表示文档。我们已经在现有的标记数据集上测试了该方法的准确性，并在这里提供了结果。我们还提供了代码来重现我们在20个新闻组数据集上获得的结果。
2018-04-05 cs.CL
Description-Enhanced Label Embedding Contrastive Learning for Text Classification
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）；University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Ant Group CO., Ltd（蚂蚁集团股份有限公司）
针对文本分类中标签信息利用不足的问题，提出R2-Net及融合WordNet外部知识的DELE网络，结合自监督R2任务与三元组损失强化标签语义学习，提升分类效果。
2023-06-15 cs.CL cs.IR
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
Georgia State University（佐治亚州立大学）
针对极端多标签文本分类中稀疏标签嵌入的局限，提出MatchXML框架，通过label2vec生成稠密标签嵌入、构建分层标签树，结合多类特征训练线性排序器，在准确率和速度上均优于现有方法。
2024-03-11 cs.CL cs.LG
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Exploiting Class Labels to Boost Performance on Embedding-based Text Classification
Queen Mary University of London（伦敦玛丽女王大学）
文本分类是处理文本数据最常见的任务之一，有助于从大规模数据集进行研究。不同种类的嵌入最近已经成为文本分类的事实标准。这些嵌入有能力捕获从大型外部集合中出现的单词推断出的含义。虽然它们是由外部集合构建的，但它们不知道手头的分类数据集中单词的分布特征，最重要的是包括训练数据中单词在类中的分布。为了充分利用这些嵌入作为特征并提高使用它们的分类器的性能，我们引入了一个加权方案，词频类别比（TF-CR），它可以在计算词嵌入时对高频，类别独占词进行更高的加权。我们在8个数据集上的实验表明了TF-CR的有效性，在大多数情况下，与著名的加权方案TF-IDF和KLD以及没有加权方案相比，TF-CR的性能得分得到了提高。
2020-09-01 cs.CL cs.IR
Label-Aware Hyperbolic Embeddings for Fine-grained Emotion Classification
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
提出HypEmo框架，通过在双曲空间中学习标签嵌入并计算样本与标签距离以加权交叉熵损失，有效捕捉标签层次结构，在细粒度情感分类任务上以更少参数和训练时间实现显著性能提升。
2023-06-26 cs.AI cs.CL
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前，大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索，如标签信息。在本研究中，我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的，但简单的，我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码，以将通用文本嵌入（由上下文信息学习器编码）映射到不同的标签空间，从而产生标签式嵌入。在我们提出的框架中，标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此，得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验，以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
Sentiment Classification using Images and Label Embeddings
在这个项目中，我们分析了图像承载了多少语义信息，以及图像数据可以为与图像相关联的文本的情感分析增加多少价值。为了更好地理解来自图像的贡献，我们比较了仅使用图像数据的模型、仅使用文本数据的模型以及结合两种数据类型的模型。我们还分析了这种方法是否可以帮助情感分类器推广到未知的情感。
2017-12-03 cs.AI cs.CL cs.CV
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Multi-task Learning of Pairwise Sequence Classification Tasks Over Disparate Label Spaces
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Insight Research Centre, National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校Insight研究中心）；Aylien Ltd., Dublin（Aylien有限公司）
我们结合多任务学习和半监督学习，在不同的标签空间之间引入联合嵌入空间，并学习标签嵌入之间的传递函数，使我们能够联合利用未标记的数据和辅助的注释数据集。我们评估我们的方法对不同的标签空间的各种序列分类任务。我们超越了强大的单任务和多任务基线，并实现了基于主题的情感分析的新技术水平。
2018-04-09 cs.CL cs.NE stat.ML
Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition
Tohoku University（东北大学）；RIKEN（理化学研究所）
通常，序列标记中使用的标签由不同类型的元素组成。例如，IOB格式的实体标签，如B-Person和I-Person，可以分解为跨度（B和I）和类型信息（Person）。然而，虽然大多数序列标记模型不考虑这样的标签组件，但标签之间的共享组件（例如Person）可能有利于标签预测。在这项工作中，我们建议将标签组件信息作为嵌入模型。通过对英语和日语细粒度命名实体识别的实验，我们证明了该方法提高了性能，尤其是对于低频标签的实例。
2020-06-04 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
MIDAS at SemEval-2020 Task 10: Emphasis Selection using Label Distribution Learning and Contextual Embeddings
NSIT-Delhi（德里奈塔吉苏巴斯理工学院）；IIIT Delhi（德里 Indraprastha 信息技术学院）；IIT Dhanbad（丹巴德印度理工学院）；Bloomberg LP（彭博有限合伙企业）
本文介绍了我们提交给SemEval 2020 -任务10的书面文本中的重点选择。我们把这个重点选择问题看作是一个序列标签任务，我们用各种上下文嵌入模型来表示底层文本。我们还采用标签分布学习来解释注释者的分歧。我们对模型架构的选择、层的可训练性和不同的上下文嵌入进行了实验。我们表现最好的架构是不同模型的组合，整体匹配得分为0.783，在31个参赛团队中排名第15。最后，我们分析的结果，在词性标记，句子长度和单词排序。
2020-09-06 cs.CL
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们考虑的问题，多标签分类的标签位于一个层次结构。然而，与大多数现有的作品在分层多标签分类，我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功，这让我们受到鼓舞，我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势：i）分类器更好地泛化，因为它利用了标签上存在层次结构的先验知识，以及ii）除了标签同现信息之外，标签嵌入还可以受益于输入数据点的流形结构，从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明，联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外，建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习，并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Introduction of a novel word embedding approach based on technology labels extracted from patent data
EQMania UG
本文提出一种基于人工标注专利技术标签统计分析的词嵌入方法，生成语言无关的准确技术词向量，并展示初步定性结果。
2021-01-31 cs.CL
Low-Rank Hidden State Embeddings for Viterbi Sequence Labeling
CICS, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
在文本信息抽取和其他序列标记任务中，现在通常使用递归神经网络（如LSTM）来形成长期输入共现模式的丰富嵌入式表示。输出同现模式的表示通常限于手工设计的图形模型，例如表示连续标签之间的短期马尔可夫依赖关系的线性链CRF。本文提出了一种学习序列数据中潜在输出结构的嵌入表示的方法。我们的模型采用有限状态机的形式，每个标签具有大量的潜在状态（潜在变量CRF），其中状态转换矩阵被分解-有效地形成了能够执行长期标签依赖性的状态转换的嵌入式表示，同时支持输出标签的精确Viterbi推理。我们证明了准确性的提高和可解释的潜在结构，在一个合成的，但复杂的任务的基础上CoNLL命名实体识别。
2017-08-02 cs.CL
Label Embedding Network: Learning Label Representation for Soft Training of Deep Networks
Peking University（北京大学）
我们提出了一种称为标签嵌入网络的方法，它可以在深度网络的训练过程中学习标签表示（标签嵌入）。该方法通过反向传播自适应地自动学习标签嵌入。原始的one-hot表示的损失函数被转换成具有软分布的新的损失函数，使得原始不相关的标签在训练过程中彼此具有连续的交互。因此，训练后的模型可以实现更高的精度和更快的收敛速度。基于竞争性任务的实验结果验证了该方法的有效性，学习到的标签嵌入合理且可解释。所提出的方法实现了可比的，甚至比最先进的系统更好的结果。源代码可从\url{https://github.com/lancopku/LabelEmb}获得。
2017-10-28 cs.CL cs.CV cs.LG
Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding
Shanghai Jiao Tong University（上海交通大学）
自然语言理解（NLU）中的传统槽填充为每个单词预测一个独热向量。这种形式的标签表示缺乏语义相关性建模，这导致严重的数据稀疏问题，特别是在将NLU模型适应新领域时。为了解决这个问题，本文提出了一种新的标签嵌入的插槽填充框架。这里，使用先验知识为每个时隙构造分布式标签嵌入。三种编码方法进行了研究，将不同种类的先验知识插槽：原子概念，插槽描述，插槽范例。所提出的标签嵌入倾向于共享文本模式，并重用具有不同槽标签的数据。这使得它对于具有有限数据的自适应NLU非常有用。此外，由于标签嵌入独立于NLU模型，因此它与几乎所有基于深度学习的槽填充模型兼容。在三个数据集上对所提出的方法进行了评估。单域和领域自适应任务的实验表明，标签嵌入实现了显着的性能改善，传统的一个热标签表示，以及先进的zero-shot方法。
2020-03-22 cs.CL cs.LG
Evaluating Word Embeddings in Multi-label Classification Using Fine-grained Name Typing
New York University（纽约大学）；LMU Munich（慕尼黑大学）
嵌入模型通常将每个单词与单个实值向量相关联，表示其不同的属性。因此，评估方法需要分析嵌入中这些属性的准确性和完整性。这需要对嵌入子空间进行细粒度分析。多标签分类是一种适当的方法。在给定词嵌入的情况下，提出了一种基于多标签分类的词嵌入评价方法。我们使用的任务是细粒度的名称类型：给定一个大型语料库，根据名称嵌入找到名称可以引用的所有类型。考虑到知识库中实体的规模，我们可以为这项任务构建与当前嵌入评估数据集互补的数据集：它们非常大，包含细粒度的类，并且允许直接评估嵌入，而不需要句子上下文等混淆因素
2018-07-18 cs.AI cs.CL
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Intapp Inc.（Intapp公司）
我们提出了一个架构，共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比，我们的方法不需要将标签嵌入作为输入的一部分，因此可以很好地适用于各种模型架构。此外，我们的架构计算单词和标签之间的上下文距离，以避免添加上下文窗口，从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法，并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Applying Text Embedding Models for Efficient Analysis in Labeled Property Graphs
NASK National Research Institute（波兰国家研究 institute）
本文提出在标注属性图中应用预训练文本嵌入模型，以提升节点分类和关系预测的语义分析能力。
2026-02-05 cs.CL cs.IR
Integrated Node Encoder for Labelled Textual Networks
大量的工作已经实施，利用内容增强的网络嵌入模型，很少关注节点的标记信息。虽然TriDNR通过将节点标签视为节点属性来利用节点标签，但它未能使用标记信息来丰富未标记的节点向量，这导致与现有的无监督文本网络嵌入模型相比，测试集上的分类结果较弱。在这项研究中，我们设计了一个集成的节点编码器（INE）的文本网络，这是联合训练的基于结构和基于标签的目标。因此，节点编码器不仅保留了网络文本和结构的完整知识，而且还保留了标记信息。此外，INE允许通过输入节点内容为未标记的节点创建标签增强向量。我们的节点嵌入在两个公共引文网络，即Cora和DBLP上的分类任务中实现了最先进的性能，分别将基准提高了10.0%和12.1%，训练率为70%。此外，提出了一个可行的解决方案，将我们的模型从文本网络推广到更广泛的网络。
2022-05-10 cs.CL
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Word Embedding based Edit Distance
Tsinghua University（清华大学）；ByteDance AI Lab（字节跳动人工智能实验室）
文本相似度计算是自然语言处理及相关领域的一个基本问题。近年来，已经开发了深度神经网络来执行该任务，并且已经实现了高性能。在监督学习中，神经网络通常使用标记数据进行训练，并且标记数据的创建通常是非常昂贵的。在这篇简短的论文中，我们解决了文本相似度计算的无监督学习。本文提出了一种基于词嵌入的编辑距离（WED）方法，将词嵌入与编辑距离相结合。在三个基准数据集上的实验表明，WED的性能优于最先进的无监督方法，包括编辑距离，TF-IDF基于余弦，词嵌入基于余弦，Jaccard索引等。
2018-10-25 cs.CL
Label Noise Reduction in Entity Typing by Heterogeneous Partial-Label Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（美国陆军研究实验室）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
当前的细粒度实体分类系统结合现有的知识库使用远程监督来为实体提及分配类别（类型标签）。然而，这样从知识库获得的类型标签通常是有噪声的（即，对于实体提及的本地上下文不正确）。我们定义了一个新的任务，标签噪声减少实体分型（LNR），是正确的类型标签（类型路径）的训练样本的自动识别，给定的候选类型标签集通过远程监督与给定的类型层次结构。单个实体提及的未知类型标签和实体类型之间的语义相似性为解决LNR任务提出了独特的挑战。我们提出了一个通用的框架，称为PLE，共同嵌入实体提到，文本功能和实体类型到同一个低维空间，在该空间中，对象的类型是语义接近有类似的表示。然后，我们使用学习的嵌入以自顶向下的方式估计每个训练样本的类型路径。我们制定了一个全球性的目标，学习嵌入文本语料库和知识库，它采用了一种新的边缘为基础的损失，是强大的噪声标签和忠实的模型类型相关性来自知识库。我们在三个公共类型数据集上的实验证明了PLE的有效性和鲁棒性，与次优方法相比，准确率平均提高了25%。
2016-02-17 cs.CL cs.LG
Lexical Coupling in GUI Element Grounding: Sentence Embeddings Track Labels across Mobile and Web
University of Helsinki（赫尔辛基大学）
该研究针对GUI定位评估中嵌入相似度与语义定位的混淆问题，对比编码器与词汇基线，提出需报告词汇基线等诊断指标以区分标签恢复与语义定位。
2026-08-25 cs.AI cs.CL cs.HC
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley（加州大学伯克利分校）
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT（Alsentzer等人，2019年）。嵌入和文本增强以及标签平衡，以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测（Keyang Xu，et.（见上文）在F1得分为0.76的情况下，我们实现了0.75的最终F1得分，但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
远程监督关系抽取（RE）是一种有效的方法，规模RE大型语料库，但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音，但主要是设法识别最频繁的关系，忽略了长尾中的关系。我们提出了REDSandT（关系抽取与远程监督和Transformers），一种新的远程监督的transformer为基础的RE方法，管理，以捕捉更广泛的关系，通过高度翔实的实例和标签嵌入RE，利用BERT的预训练模型，标签和实体之间的关系，分别。我们通过对结构化输入（包括连接实体对和实体类型的子树）进行BERT微调，引导REDSandT只关注关系令牌。使用提取的信息向量，我们形状的标签嵌入，我们也使用的注意力机制的实例，以进一步减少噪音。最后，我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明，REDSandT以更高的置信度捕获了更广泛的关系集，实现了最先进的AUC（0.424）。
2021-02-01 cs.CL cs.IR cs.LG
Improving Arabic Multi-Label Emotion Classification using Stacked Embeddings and Hybrid Loss Function
Xi’an Eurasia University（西安欧亚学院）；University of Engineering & Technology, Lahore（拉合尔工程技术大学）；COMSATS University Islamabad (Lahore Campus)（COMSATS大学伊斯兰堡分校（拉合尔校区））
针对阿拉伯语多标签情感分类中的类别不平衡和标签相关性问题，提出结合堆叠嵌入、元学习与混合损失函数的新方法，显著提升了少数类预测性能并实现了更平衡的分类。
2024-11-14 cs.CL cs.CV
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Accurate and Well-Calibrated ICD Code Assignment Through Attention Over Diverse Label Embeddings
Instituto Superior Técnico（高等技术学院）；INESC-ID；University of Lisbon（里斯本大学）
本研究提出一种结合Transformer编码器与多样标签嵌入注意力的ICD自动编码方法，在MIMIC-III上超越现有模型，并实现校准良好的分类结果。
2024-02-05 cs.AI cs.CL
Semi-supervised emotion lexicon expansion with label propagation and specialized word embeddings
Universität Tübingen（图宾根大学）
情感倾向的自动提取主要有两种方法：基于词典和基于语料库。在这项工作中，我们认为，这两种方法是兼容的，并表明，结合它们可以提高情感分类器的准确性。特别是，我们引入了一种新的变体的标签传播算法，是专门为分布式单词表示，我们采用批量梯度下降，以加速标签传播的优化，并使优化可行的大型图形，我们提出了一个可重复的方法，情感词库扩展。我们的结论是标签传播可以扩大一个有意义的方式和扩展的情感词典可以利用，以提高情感分类器的准确性的情感词典。
2017-08-13 cs.AI cs.CL cs.NE
Towards Efficiently Diversifying Dialogue Generation via Embedding Augmentation
Tencent AI Lab（腾讯AI实验室）
对话生成模型面临着生成通用和重复响应的挑战。与以前的增强方法主要集中在令牌操作，忽略了使用硬标签的单个样本中的基本多样性不同，本文提出通过软嵌入增强和软标签来促进神经对话模型的生成多样性。特别地，我们选择了一些关键的输入令牌，并将它们的嵌入与它们的语义邻居令牌的嵌入融合在一起。新的嵌入作为模型的输入，以取代原来的嵌入。此外，在损失计算中使用软标签，导致对给定输入的多目标监督。我们在两个数据集上的实验结果表明，我们提出的方法能够生成比原始模型更多样化的响应，同时保持类似的n-gram精度，确保生成的响应的质量。
2021-03-02 cs.AI cs.CL
Towards Label-Agnostic Emotion Embeddings
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
情感分析的研究分散在不同的标签格式（例如，极性类型、基本情感类别和情感维度）、语言水平（单词对句子对话语），当然，还有（资源充足的很少但资源不足的多得多）自然语言和文本类型（例如，产品评论、推文、新闻）。由此产生的异构性使得在这些相互冲突的约束下开发的数据和软件难以比较，并且难以集成。为了解决这种令人不满意的状态，我们在这里提出了一个训练方案，学习一个共享的潜在的情感表示独立于不同的标签格式，自然语言，甚至不同的模型架构。在广泛的数据集上的实验表明，这种方法在不影响预测质量的情况下产生了所需的互操作性。代码和数据在DOI 10.5281/zenodo.5466068下存档。
2021-11-06 cs.AI cs.CL cs.LG
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
Investigating the Effectiveness of Representations Based on Word-Embeddings in Active Learning for Labelling Text Datasets
Teagasc Agriculture and Food Development Authority（Teagasc农业与食品发展局）
手动标记大量文本数据集是一项耗时、昂贵且费力的任务，但对于支持基于文本数据集的机器学习来说是必要的。主动学习已被证明是一种有效的方法，可以减轻在利用大量未标记数据进行机器学习任务时所需的一些工作，而无需完全标记它们。然而，在执行主动学习时，用于表示文本文档的表示机制对该过程的有效性具有重要影响。虽然简单的向量表示（如单词袋）已被证明是在主动学习期间表示文档的有效方法，但基于神经网络研究中流行的词嵌入的表示机制（例如word 2 vec和基于transformer的模型，如BERT）的出现提供了一种有前途的，但尚未完全探索的替代方案。本文描述了一个大规模的评估不同的文本表示机制的有效性，主动学习跨越8个数据集，从不同的领域。这项评估表明，使用基于现代词嵌入的表示-特别是BERT-，这还没有广泛用于主动学习，比更常用的基于矢量的方法，如词袋，取得了显着的改善。
2019-10-10 cs.CL cs.LG stat.ML
L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft（微软）
我们提出了一种新的神经标签嵌入（NLE）方案，用于深度神经网络（DNN）声学模型的域自适应，该模型具有来自源域和目标域的未配对数据样本。使用NLE方法，我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中，每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示，并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler（KL）或对称KL距离。在自适应过程中，l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束，NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型，以适应9种口音英语（80至830小时）和儿童语音（80小时）中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Optimal Embedding Calibration for Symbolic Music Similarity
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
在自然语言处理（NLP）中，语义相似性任务需要大规模、高质量的人工标注标签进行微调或评估。相比之下，在音乐相似性的情况下，这样的标签是昂贵的收集和很大程度上取决于注释者的艺术偏好。最近的研究表明，嵌入校准技术可以大大提高预训练的语言模型的语义相似度性能，而无需微调。然而，目前还不知道哪种校准方法是最好的，以及可以实现多大的性能改进。为了解决这些问题，我们建议使用作曲家的信息来构建标签自动评估音乐相似性。在这种模式下，我们发现嵌入校准的最佳组合，实现优于基线方法的指标。
2021-09-09 cs.CL cs.SD eess.AS
Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
在本文中，我们提出了一个域自适应框架，以解决设备不匹配的问题，在声学场景分类利用神经标签嵌入（NLE）和关系师生学习（RTSL）。考虑到声学场景类之间的结构关系，我们提出的框架捕捉这种关系，这是本质上独立于设备。在训练阶段，可迁移知识从源领域浓缩到非线性语言中。接下来在适应阶段，采用一种新的RTSL策略来学习适应的目标模型，而不使用传统教师学生学习中经常需要的配对源目标数据。在DCASE 2018 Task 1b数据集上评估了拟议的框架。基于AlexNet-L深度分类模型的实验结果证实了我们所提出的方法在不匹配情况下的有效性。单独的NLE适应与传统的设备适应和基于教师学生的适应技术相比是有利的。NLE与RTSL进一步提高了分类精度。
2020-07-31 cs.CL cs.SD eess.AS
PEARL: Prototype-Enhanced Alignment for Label-Efficient Representation Learning with Deployment-Driven Insights from Digital Governance Communication Systems
Department of Politics and Public Administration（政治与公共行政系）；The University of Hong Kong（香港大学）；Department of Applied Social Sciences（应用社会科学系）；The Hong Kong Polytechnic University（香港理工大学）；School of Physical Science and Technology（物理科学与技术学院）
PEARL通过有限监督对齐嵌入向类原型，提升标签稀缺环境下嵌入几何质量，显著改善最近邻检索性能。
2026-01-24 cs.AI cs.CL cs.IR
Language-driven Semantic Segmentation
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；University of Copenhagen（哥本哈根大学）；Apple（苹果公司）；Intel Labs（英特尔实验室）
我们提出了LSeg，一种新的语言驱动的语义图像分割模型。LSeg使用文本编码器来计算描述性输入标签的嵌入（例如，“草”或“建筑物”）以及基于变换器的图像编码器，该图像编码器计算输入图像的密集的每像素嵌入。图像编码器使用对比目标进行训练，以将像素嵌入与相应语义类的文本嵌入对齐。文本嵌入提供了灵活的标签表示，其中语义相似的标签映射到嵌入空间中的相似区域（例如，“猫”和“毛茸茸的”）。这使得LSeg可以在测试时泛化到以前看不见的类别，而无需重新训练，甚至不需要额外的训练样本。我们证明，我们的方法实现了极具竞争力的zero-shot性能相比，现有的零和Few-Shot语义分割方法，甚至匹配传统的分割算法的准确性时，提供一个固定的标签集。代码和演示可在https://github.com/isl-org/lang-seg上获得。
2022-04-03 cs.CL cs.CV cs.LG
Improved Stock Price Movement Classification Using News Articles Based on Embeddings and Label Smoothing
股票价格运动预测是金融学中一个具有挑战性的基本问题。虽然在现代行为金融学中，相关股票的股价往往会在新闻发布后通过投资者的反应和过度反应而发生变化，但如何通过定量模型来捕捉价格变动与新闻报道之间的关系是一个活跃的研究领域，现有模型已经取得了不同程度的成功。在本文中，我们建议通过结合深度学习的正则化和优化技术，使用新闻文章来改进股票价格走势分类。更具体地说，我们通过嵌入和双向递归神经网络来捕获新闻文章和股票之间的依赖关系，就像最近的模型一样。我们进一步结合了权重衰减，批量归一化，dropout和标签平滑，以提高训练模型的泛化能力。为了处理批量归一化验证精度的高波动，我们提出了双阶段训练来可靠地实现改进。我们在常用数据集上的实验结果显示出显着的改进，在测试集上实现了80.7%的平均准确率，比现有模型的绝对改进超过10.0%。我们的消融研究表明，批量归一化和标签平滑是最有效的，平均分别导致6.0%和3.4%的绝对改善。
2023-01-25 cs.AI cs.CL cs.LG
Learning Multilingual Word Embeddings Using Image-Text Data
Stanford University（斯坦福大学）；Google AI（谷歌人工智能）
最近，人们对学习多语言词嵌入产生了浓厚的兴趣，在多语言中语义相似的词具有相似的嵌入。最先进的方法依赖于昂贵的标记数据，这对于低资源语言是不可用的，或者涉及单语嵌入的事后统一。在本文中，我们研究了从弱监督图像-文本数据中学习的多语言嵌入的有效性。特别是，我们提出了使用图像-文本数据学习多语言嵌入的方法，通过执行图像和文本的表示之间的相似性。我们的实验表明，即使不使用任何昂贵的标记数据，在图像-文本数据上训练的基于词袋的嵌入模型在跨语言语义相似性任务上的性能也可以与最先进的技术相媲美。
2019-05-29 cs.AI cs.CL cs.CV
