Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
A Hybrid Approach to Word Sense Disambiguation Combining Supervised and Unsupervised Learning
College of Engineering and Management（工程与管理学院）；Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；Innovation Research Lab（创新研究实验室）
在本文中，我们将根据不同的情况找到单词的含义。词义消歧用于使用有监督和无监督方法基于实时上下文找到单词的含义。无监督方法使用在线词典进行学习，而有监督方法使用手动学习集。手工标记的数据被填充，这可能对学习程序无效且不足。这种信息的局限性是监督方法的主要缺陷。我们所提出的方法的重点是克服使用学习集，这是丰富的动态方式维护新的数据的限制。采用简单的滤波方法获得合适的训练数据。我们介绍了一种混合的方法，有修改的Lesk方法和袋的话丰富袋使用学习方法。我们的方法建立在实验的基础上比个人修改Lesk和袋的话的方法的优越性。
2015-11-19 cs.CL
Word Embedding Dimension Reduction via Weakly-Supervised Feature Selection
University of Southern California（南加州大学）
针对词嵌入随词汇量增长维度升高、模型规模大且资源消耗高的问题，提出弱监督特征选择方法WordFS，在多任务上以更低计算成本实现优于现有降维方法的性能，并开源代码。
2024-11-04 cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
Modeling Acoustic-Prosodic Cues for Word Importance Prediction in Spoken Dialogues
Rochester Institute of Technology（罗切斯特理工学院）
会话中的韵律提示有助于听者辨别信息。我们调查是否可以使用口语对话中的声学线索，以确定个别单词的重要性的意义的谈话转向。聋人和听力困难的人通常依赖于现场会议中的实时字幕。单词出错率是一个传统的用于评估自动语音识别的度量标准，它未能捕捉到某些单词对于系统正确转录比其他单词更重要。我们提出并评估使用声学特征进行3类单词重要性预测的神经架构。我们的模型与最先进的基于文本的单词重要性预测模型相比具有竞争力，并且在不完美的ASR输出上运行时表现出特别的优势。
2019-07-16 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources
本文利用WordNet和WordNet Domains为现代监督式词义消歧模型引入语义特征并扩充训练数据，提出多层架构，在统一评估框架中取得与最先进水平相当的结果。
2024-02-20 cs.CL
Mapping Supervised Bilingual Word Embeddings from English to low-resource languages
Saarland University（萨尔兰大学）
由于数据的可用性不足，使用低资源语言是非常具有挑战性的。过去，使用字典将独立训练的词嵌入映射到共享向量空间中已被证明在学习双语嵌入时非常有用。在这里，我们尝试映射英语单词的各个嵌入，以及它们在爱沙尼亚语、斯洛文尼亚语、爱沙尼亚语和匈牙利语等低资源语言中对应的翻译单词。我们使用了一种监督学习方法。我们报告的准确性分数，通过各种检索策略，这表明它是可能的方法具有挑战性的任务，在自然语言处理，如机器翻译等语言，只要我们至少有一定数量的适当的双语数据。我们还得出结论，我们可以遵循单语文本数据的无监督学习路径，因为这更适合于低资源语言。
2019-10-14 cs.CL
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Semi-Supervised Instance Population of an Ontology using Word Vector Embeddings
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
在诸如信息抽取和知识管理代理的许多现代系统中，本体在维护所选领域的概念层次结构方面起着至关重要的作用。然而，本体人口已成为一个有问题的过程，由于其严重耦合与人工干预的性质。随着词嵌入技术在自然语言处理领域的应用，它因其能够处理语义敏感性而成为一个热门话题。因此，在本研究中，我们提出了一种新的方法，半监督本体人口通过词嵌入为基础。我们建立了几个模型，包括传统的基准模型和新类型的模型，这是基于词嵌入。最后，我们将它们集成在一起，提出一个具有更好准确性的协同模型。我们证明了我们的集成模型可以优于单个模型。
2017-09-09 cs.CL
Assessing Word Importance Using Models Trained for Semantic Tasks
Charles University（查理大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出利用自然语言推理和释义识别等语义任务模型，通过归因方法为输入词推导重要性分数，并通过跨任务评估和句法分析验证其稳健性与合理性，从而无需显式标注即可识别句子中的重要词。
2023-05-31 cs.CL
A Corpus for Modeling Word Importance in Spoken Dialogue Transcripts
Rochester Institute of Technology（罗切斯特理工学院）
受一个项目的激励，为聋人或听力困难的人创建一个系统，该系统将使用自动语音识别（ASR）在与听力正常的人的面对面会议期间产生英语口语的实时文本字幕，我们已经用单词重要性注释的覆盖来增强Switchboard会话对话语料库的成绩单，每个单词都有一个数字分数，以表明它对每一轮对话意义的重要性。此外，我们通过训练自动单词重要性标记模型来证明该语料库的实用性;我们的最佳性能模型在有序6类单词重要性分类任务中的F分数为0.60，与人类注释者的一致性（一致性相关系数）为0.839（注释者之间的一致性分数为0.89）。最后，我们讨论了我们打算未来的应用程序，这个资源，特别是评估ASR性能的任务，即创建指标，预测ASR输出字幕文本的可用性DHH用户优于Word出错率（WER）。
2019-07-16 cs.CL
Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network
Korea University（高丽大学）
为了使情感分析结果的适用性最大化，不仅需要对给定文档的整体情感（积极/消极）进行分类，而且还需要识别有助于分类的主要词。然而，大多数用于情感分析的数据集只有每个文档或句子的情感标签。换句话说，没有关于哪些词在情感分类中起重要作用的信息。在本文中，我们提出了一种识别关键词区分积极和消极的句子，通过使用弱监督学习方法的基础上的卷积神经网络（CNN）。在我们的模型中，每个单词被表示为一个连续值向量，每个句子被表示为一个矩阵，其行对应于句子中使用的单词向量。然后，使用这些句子矩阵作为输入并使用情感标签作为输出来训练CNN模型。一旦CNN模型被训练，我们就实现了单词注意力机制，该机制使用学习的CNN模型结束时的全连接层的权重，通过类激活图识别对分类结果有高贡献的单词。为了验证所提出的方法，我们使用两个电影评论数据集的极性词的分类精度和包含率进行了评估。实验结果表明，该模型不仅能正确地对句子极性进行分类，而且能成功地识别出极性得分高的对应词。
2017-09-29 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Block-Segmentation Vectors for Arousal Prediction using Semi-supervised Learning
The University of Electro-Communications（电气通信大学）
为了处理计算机应用中的情感表达，Russell的circumplex模型对于根据效价和唤醒来表示情感是有用的。在SentiWordNet中，使用半监督学习将效价级别自动分配给大量同义词集（WordNet中的同义词组）。然而，在分配唤醒水平时，为SentiWordNet提出的现有方法降低了情感预测的准确性。在本文中，我们提出了一个块分割向量预测唤醒水平的许多同义词从少量的标记的话，使用半监督学习。我们通过对比唤醒词和非唤醒词在句子语料库中的分布和配价词的分布来分析唤醒词和非唤醒词在句子语料库中的分布。我们解决的问题，唤醒水平预测失败时，唤醒和非唤醒词混合在一起的一些句子。为了捕捉这些唤醒和非唤醒词的特征，我们根据块ID的倒排索引生成词向量，其中语料库在句子流中被划分为块。在评估实验中，我们表明，唤醒预测与块分割向量的结果优于以前的方法在SentiWordNet的结果。
2022-04-11 cs.CL
CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
IIT Kharagpur（印度克哈格普大学）；IIT Dharwad（印度达尔瓦德大学）；Independent Researcher（独立研究者）
本文针对词序相对自由且形态丰富的低资源语言，提出对比自监督学习方法CSSL，通过数据增强和移除位置编码等修改增强图式依存句法分析模型对词序变化的鲁棒性，在7种语言上UAS/LAS平均提升3.03/2.95点。
2025-07-19 cs.CL
Towards preserving word order importance through Forced Invalidation
Imperial College London（伦敦帝国理工学院）；City, University of London（伦敦大学城市学院）
针对预训练语言模型对词序不敏感的问题，本文提出强制失效（FI）方法，通过让模型将乱序序列识别为无效样本来保留词序重要性，并在多个NLU和QA任务上验证其有效性。
2023-04-11 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications（Nuance通讯公司）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院）
本文表明，词义消歧（WSD）可以改善神经机器翻译（NMT），通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD，基于k-means，中国餐馆的过程，和随机游走，然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后，我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明，这些向量的串联，并使用一个意义上的选择机制的基础上加权平均的意义向量，优于几个基线，包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点，在所有模糊名词和动词上的准确率为+4%，或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
Variational Sequential Labelers for Semi-Supervised Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们介绍了一个家庭的半监督序列标记的多任务变分方法。我们的模型家族包括一个潜变量生成模型和一个判别标签。生成模型使用潜变量来定义给定上下文的单词的条件概率，从学习词嵌入中常用的单词预测目标中汲取灵感。标签器有助于将区分信息注入潜在空间。我们探讨了几个潜在的变量配置，包括具有层次结构，这使得该模型能够考虑特定于标签和特定于单词的信息。我们的模型在8个序列标记数据集上的表现始终优于标准序列基线，并在未标记数据上进一步改进。
2019-06-23 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University（复旦大学）
词义消歧（WSD）的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明，将光泽（意义定义）到神经网络的词义消歧的有效性。然而，与传统的词专家监督方法相比，它们并没有取得太大的改进。在本文中，我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对，并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调，在多个英文全词WSD基准数据集上的实验结果表明，该方法的性能优于现有的系统。
2020-01-05 cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Mask-Align: Self-Supervised Neural Word Alignment
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
词对齐是指在源语句和目标语句之间对齐语义上等价的词，在自然语言处理中起着重要的作用。当前的无监督神经比对方法集中于从神经机器翻译模型诱导比对，其不利用靶序列中的完整上下文。在本文中，我们提出了Mask-Align，这是一种自监督的单词对齐模型，它利用了目标端的完整上下文。我们的模型屏蔽了每个目标令牌，并以源令牌和剩余目标令牌为条件进行预测。这个两步过程基于这样的假设，即对恢复被屏蔽的目标令牌贡献最大的源令牌应该被对齐。我们还引入了一个称为泄漏注意力的注意力变体，它解决了特殊令牌（如周期）上意外高交叉注意力权重的问题。在四种语言对上的实验表明，我们的模型优于以前的无监督神经对齐器，并获得了新的最先进的结果。
2021-05-17 cs.CL
On the Robustness of Unsupervised and Semi-supervised Cross-lingual Word Embedding Learning
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入是不同语言中的词的向量表示，其中具有相似含义的词由相似向量表示，而不管语言如何。最近的事态发展，这些嵌入对齐单语空间表明，可以获得准确的对齐很少或没有监督。然而，重点一直在一个特定的控制方案进行评估，并没有强有力的证据表明，目前的国家的最先进的系统将如何与嘈杂的文本或语言对有重大的语言差异。在本文中，我们提出了一个广泛的评估多种跨语言嵌入模型，分析其优势和局限性方面的不同变量，如目标语言，训练语料库和监督量。我们的结论质疑了高质量的跨语言嵌入总是可以在没有太多监督的情况下学习的观点。
2020-03-03 cs.CL
Generating Word and Document Embeddings for Sentiment Analysis
Boğaziçi University（海峡大学）
不同语料库的词汇情感是不同的。一般来说，归纳语言的一般情感词汇并使用它们不能为不同的领域产生有意义的结果。在本文中，我们将上下文和监督信息与字典中出现的单词的一般语义表示相结合。词的上下文帮助我们捕捉特定领域的信息，词的监督分数指示这些词的极性。当我们将单词的监督特征与从其字典定义中提取的特征相结合时，我们观察到成功率的增加。我们尝试了上下文，监督和基于字典的方法的组合，并生成原始向量。我们还将word2vec方法与手工制作的功能相结合。我们诱导特定领域的情感向量的两个语料库，这是电影领域和Twitter的土耳其语数据集。当我们此后生成文档向量，并采用支持向量机方法利用这些向量，我们的方法比土耳其的基线研究有显着的利润率。我们在两个英语语料库上对我们的模型进行了评估，这些模型也优于word2vec方法。这表明我们的方法是跨领域的，可移植到其他语言。
2020-12-07 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
WSPAlign: Word Alignment Pre-training via Large-Scale Weakly Supervised Span Prediction
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
为摆脱词对齐对人工数据的依赖，本文提出基于大规模弱监督跨度预测的预训练方法 WSPAlign，在标准基准上刷新了SOTA，并在少样本、零样本及跨语言测试中展现出对低资源语言更强的实用性。
2023-10-19 cs.CL
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
无数据文本分类，即，弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词（称为种子词）进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验，然而，这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题，在本文中，我们提出了一种新的制定类别先验。首先，对于每个文件，我们认为它的标签隶属度，不仅计算种子词的出现，但也使用一种新的原型计划，它捕获伪最近邻类别。其次，对于每个标签，我们考虑其语料库的频率先验知识，这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中，我们提出了一种新的生成式无数据方法，即弱监督原型主题模型（WSPTM）。在真实数据集上的实验结果表明，WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification
Hong Kong University of Science and Technology（香港科技大学）；University of Southern California（南加州大学）
在本文中，我们提出了一个变分方法弱监督的文档级多方面的情感分类。我们不使用用户生成的评级或领域专家提供的注释，而是使用目标意见词对作为“监督”。“这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标是预测一个目标词的意见词，而我们的最终目标是学习一个情感极性分类器来预测给定文档的每个方面的情感极性。通过引入潜在变量，即，情感极性，对于目标函数，我们可以通过变分下界将情感极性分类器注入目标。我们可以通过优化下界来学习情感极性分类器。我们表明，我们的方法可以在TripAdvisor和BeerAdvocate数据集上优于弱监督基线，并且可以与每个方面具有数百个标签的最先进的监督方法相媲美。
2019-04-10 cs.CL
ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification
The University of Sydney（悉尼大学）
与顺序学习模型相比，基于图的神经网络具有良好的全局信息捕获能力，并已被用于半监督学习任务。大多数图卷积网络都是基于一维边特征设计的，未能充分利用图的丰富边信息。本文介绍了用于半监督文本分类的多维边增强图卷积网络（ME-GCN）。该方法首先构造一个完整语料库的文本图来描述词与词、文档与文档、词与文档之间的无向多维关系。该图初始化与语料库训练的多维单词和文档节点表示，和关系表示根据这些单词/文档节点的距离。然后，用ME-GCN训练生成的图，ME-GCN将边缘特征视为多流信号，每个流执行单独的图卷积操作。我们的ME-GCN可以集成整个文本语料库的丰富的图形边缘信息源。结果表明，我们提出的模型在八个基准数据集上的表现明显优于最先进的方法。
2022-04-10 cs.CL
Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation
University of Tübingen（蒂宾根大学）；University of Jena（耶拿大学）
该研究提出基于自监督语音表示的PCMI和WACS指标，用于无需人工标注时间戳的可扩展强制对齐评估，可区分对齐质量并与基准高度相关，已开源。
2026-08-31 cs.CL
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University（平顶山学院）
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类，在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性，这忽略了单词本身的情感极性。为了解决这个问题，我们提出了学习特定的情感词嵌入，同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法，该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明，我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia（IBM澳大利亚研究院）
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现，需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响，从而影响消歧性能。在这项工作中，我们已经评估了几种类型的功能来自上下文的歧义词，我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明，词嵌入提高了更多传统特征的性能，并允许使用基于长短期记忆（LSTM）节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
On the Importance of Word Order Information in Cross-lingual Sequence Labeling
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
语序差异普遍存在于不同的语言中。在本文中，我们假设，适合源语言词序的跨语言模型可能无法处理目标语言。为了验证这一假设，我们调查是否使模型不敏感的源语言的词序可以提高适应性能在目标语言。为了做到这一点，我们减少了源语言的词序信息适合序列编码器，并观察性能的变化。此外，基于这一假设，我们提出了一种新的方法微调多语言BERT在下游跨语言序列标记任务。在对话自然语言理解、词性标注和命名实体识别任务上的实验结果表明，减少模型拟合的词序信息可以获得更好的zero-shot跨语言性能。此外，我们提出的方法也可以应用于强跨语言基线，并提高其性能。
2020-12-08 cs.CL
Persian Wordnet Construction using Supervised Learning
University of Tehran（德黑兰大学）
本文提出了一种自动监督的波斯语词网构建方法。使用波斯语语料库和双语词典，波斯语单词和普林斯顿WordNet同义词之间的初始链接已经生成。这些链接将被区分为正确的或不正确的，采用七个功能在一个训练有素的分类系统。整个方法只是一个分类系统，它已经在包含FarsNet作为一组正确实例的训练集上训练过。最先进的自动派生的波斯语词网的结果是实现。该词网包含16，000多个词和22，000多个同义词，准确率为91.18%。
2017-04-11 cs.CL cs.LG stat.ML
Weakly Supervised Text Classification using Supervision Signals from a Language Model
South China University of Technology（华南理工大学）；HKUST（香港科技大学）；University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
以弱监督的方式解决文本分类对于人类注释稀缺的现实世界应用非常重要。在本文中，我们提出查询一个掩蔽的语言模型与完形填空风格的提示，以获得监督信号。我们设计了一个提示符，它结合了文档本身和“本文正在谈论[MASK]”。“掩码语言模型可以为[MASK]标记生成单词。所生成的概括文档内容的词可以用作监督信号。我们提出了一个潜变量模型来学习一个词分布学习器，该学习器将生成的词与预定义的类别和文档分类器同时关联，而不使用任何注释数据。对AGNews、20Newsgroups和UCinews三个数据集的评估表明，我们的方法可以超过基线2%、4%和3%。
2022-05-13 cs.CL
KDSL: a Knowledge-Driven Supervised Learning Framework for Word Sense Disambiguation
University of Science and Technology of China（中国科学技术大学）；University of Western Sydney（西悉尼大学）；Massey University（梅西大学）
我们提出了KDSL，一个新的词义消歧（WSD）框架，利用知识自动生成的监督学习的意义标记的数据。首先，从WordNet中，我们自动构建了一个名为DisDict的语义知识库，它提供了细化的特征词，突出了词义之间的差异，即，同义词集其次，我们自动生成新的意义标记的数据DisDict从未标记的语料库。第三，这些生成的数据，连同手动标记的数据和未标记的数据，被馈送到一个神经框架进行监督和无监督学习联合建模的同义词，特征词和它们的上下文之间的语义关系。实验结果表明，KDSL优于几个代表性的国家的最先进的方法在各种主要的基准。有趣的是，即使在手动标记的数据不可用时，它也表现得相对较好，从而为缺乏手动注释的类似任务提供了潜在的解决方案。
2018-09-24 cs.AI cs.CL
Automated Detection of Non-Relevant Posts on the Russian Imageboard "2ch": Importance of the Choice of Word Representations
Chatme AI LLC（Chatme AI 有限责任公司）；Novosibirsk State University（新西伯利亚国立大学）
本研究考虑了Web论坛上的非相关帖子的自动检测问题，并讨论了解决这个问题的方法，通过近似它与给定的帖子和论坛讨论线程的开放帖子之间的语义相关性检测的任务。近似任务可以通过学习具有两个帖子的组合词嵌入的监督分类器来解决。考虑到这项任务的成功可能是相当敏感的词表示的选择，我们提出了不同的词嵌入模型的性能比较。我们训练了7个模型（Word 2 Vec，Glove，Word 2 Vec-f，Wang 2 Vec，AdaGram，FastText，Swivel），在人类判断数据集上评估了它们产生的嵌入，并比较了它们在非相关职位检测任务上的表现。为了进行比较，我们提出了一个数据集的语义相关的帖子从最流行的俄罗斯网络论坛，imageboard的“2ch”，这具有挑战性的词汇和语法功能。
2017-07-16 cs.CL
An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams
Microsoft Corporation（微软公司）；Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格因德拉普拉斯塔大学）
一个人的写作风格可以被确认为一个独特的身份标志;使用的词语和句子的结构是可以识别特定作品作者的明确措施。文体学及其子集--作者归属，从19世纪开始就有着悠久的历史，直到现代我们仍然可以找到它们的应用。互联网的出现使归因研究的应用转向了非标准文本，这些文本相对较短，并且与大多数研究所做的长文本不同。本文的目的是重点研究从WhatsApp消息应用程序检索的简短在线文本，并使用监督学习方法研究马卡罗语（印度式英语）的独特特征，然后比较模型。各种特征，如单词n-gram和字符n-gram，通过方法进行比较，朴素贝叶斯分类器，支持向量机，条件树，和随机森林，以找到最好的分类，这样的语料库。我们的结果表明，SVM的测试准确率高达95.079%，而同样，Naive Bayes的数据集准确率高达94.455%。条件树和随机森林的性能不如预期。我们还发现，单词单字和字符3-grams功能更有可能区分作者准确比其他功能。
2018-12-26 cs.CL
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇，即使有，其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法，该方法利用单词之间的形态、语法和语义关系，从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的，我们表明，我们可以扩展一个1000字的种子词典，其大小的100倍以上，高质量的11种语言。此外，自动创建的词典提供了提高两个下游任务性能的功能：形态标记和依存句法分析。
2016-01-24 cs.CL
KAS-term: Extracting Slovene Terms from Doctoral Theses via Supervised Machine Learning
Jožef Stefan Institute（约热夫·斯特凡研究所）；Faculty of Arts, University of Ljubljana（卢布尔雅那大学艺术学院）
本文提出了一个数据集和监督学习实验斯洛文尼亚学术文本中的术语提取。通过形态句法模式提取数据集中的候选术语，并由四个注释器对其术语进行注释。数据集上的实验表明，大多数共现统计，应用后的形态句法模式和频率阈值，执行接近随机的，结果可以显着改善相结合，与监督机器学习，所有七个统计措施，包括在数据集中。在多词项上，使用所有统计量的模型获得的AUC为0.736，而最好的单个统计量仅产生AUC 0.590。在众多的候选特征中，仅添加多词形态句法模式信息和候选词的长度就能进一步改善结果。
2019-06-05 cs.CL
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Unsupervised Multilingual Word Embeddings
多语言词嵌入（MWE）在单个分布向量空间中表示来自多种语言的词。无监督MWE（UMWE）方法在没有跨语言监督的情况下获得多语言嵌入，这比传统的监督方法具有显着优势，并为低资源语言开辟了许多新的可能性。然而，用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入（UBWE）来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点，我们提出了一个完全无监督的框架，用于学习MWE，直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外，我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome（罗马大学）
我们向社区发布了六个大规模的多语言词义标注数据集，为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译，总共有数百万个带有意义标签的句子。实验证明，这些语料库可以有效地用作监督式WSD系统的训练集，超越了低资源语言的最新技术水平，并为英语提供了有竞争力的结果，其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Guilt by Association: Emotion Intensities in Lexical Representations
Rutgers University（罗格斯大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
词向量表征揭示了与词相关的情感的什么？在这项研究中，我们考虑的任务是估计特定情绪的词级情感强度分数，探索无监督，监督，最后是一个自我监督的方法，从词向量表示提取情感关联。总的来说，我们发现，词向量进行诱导细粒度的情感强度分数的巨大潜力，表现出更高的相关性与人类的地面真相评级比达到最先进的情感词汇。
2021-04-18 cs.CL
Semi-supervised Thai Sentence Segmentation Using Local and Distant Word Representations
Chulalongkorn University（朱拉隆功大学）；Kasikorn Business Technology Group (KBTG)（开泰商业科技集团（KBTG））
句子通常被视为用于从较长的文本中提取有价值的信息的最小句法单元。然而，在书面泰语中，没有明确的句子标记。我们提出了一个用于句子分割任务的深度学习模型，其中包括三个主要贡献。首先，我们将n-gram嵌入作为一种局部表示来捕获句子边界附近的单词组。第二，为了集中在依赖子句的关键字上，我们将该模型与从自我注意模块获得的距离表示相结合。最后，由于标记数据的稀缺性，注释是困难和耗时的，我们还研究和适应交叉视图训练（CVT）作为一种半监督学习技术，使我们能够利用未标记的数据来改善模型表示。在泰语句子分割实验中，与Orchid和UGWC数据集上的基线模型相比，我们的模型分别将相对误差降低了7.4%和10.5%。我们还将我们的模型应用于IWITONS英语数据集的发音恢复任务。我们的模型优于先前的序列标记模型，实现了2.5%的相对误差减少。消融研究表明，利用n-gram介绍是泰国的主要贡献因素，而半监督培训帮助最多的英语。
2019-08-25 cs.CL
Arabic Named Entity Recognition using Word Representations
最近的工作表明，有效的单词表征功能显着提高英语的监督NER。在这项研究中，我们调查是否字表示也可以提高监督NER在阿拉伯语。我们使用单词表示作为条件随机场（CRF）模型中的附加功能，我们系统地比较了三种流行的神经词嵌入算法（SKIP-gram，CBOW和GloVe）和六种不同的方法将单词表示集成到NER系统中。实验结果表明，布朗聚类取得了最好的性能在六种方法。对于词嵌入特征，聚类嵌入特征优于其他嵌入特征，而分布式原型产生次优的结果。此外，布朗聚类和词嵌入特征的组合在基线上提供了近10%的F1分数的额外改进。
2018-04-16 cs.CL
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh（爱丁堡大学）
考虑到自监督模型在各种任务上的强大结果，很少有研究探索声学词嵌入（AWE）的自监督表示，表示可变长度口语词段的固定维向量。在这项工作中，我们研究了几种预训练模型和池化方法，用于构建具有自监督表示的AWE。由于自监督表示的上下文性质，我们假设简单的池化方法，如平均，可能已经用于构建AWE。当评估一个标准的单词歧视任务，我们发现，休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是，尽管只在英语上训练，但在Xitsonga，普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53（以及在英语上训练的Wav 2 Vec 2.0）。
2023-03-14 cs.CL cs.SD eess.AS
Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
South China University of Technology（华南理工大学）
本文提出基于扰动的自监督注意力方法，通过向句子中词语添加不改变语义和预测的噪声来识别不重要的词，从而优化注意力分布，无需标注数据即可显著提升文本分类中注意力模型的性能。
2023-05-25 cs.CL
Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning
Xiamen University（厦门大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Rochester（罗切斯特大学）；Tianjin University（天津大学）
在基于方面的情感分析（ABSA）中，许多神经模型都配备了注意力机制，以量化每个上下文单词对情感预测的贡献。然而，这样的机制有一个缺点：只有少数频繁的话，情感极性往往被考虑到最终的情感决定，而丰富的不频繁的情感词被模型忽略。为了解决这个问题，我们提出了一个渐进的自监督注意力学习方法的注意力ABSA模型。在这种方法中，我们迭代地对所有训练实例进行情感预测，同时不断学习有用的注意力监督信息。在训练期间，在每次迭代中，基于其注意力权重或梯度识别的对情感预测具有最高影响的上下文单词被提取为对每个实例的正确/不正确预测具有积极/误导影响的单词。以这种方式提取的单词被屏蔽以用于后续迭代。为了利用这些提取的单词来改进ABSA模型，我们用正则化项来增强传统的训练目标，该正则化项鼓励ABSA模型不仅充分利用提取的活跃上下文单词，而且还降低了那些误导性单词的权重。我们将所提出的方法集成到三个国家的最先进的神经ABSA模型。实验结果和深入的分析表明，我们的方法产生了更好的注意力的结果，显着提高了所有三个模型的性能。我们在https://github.com/DeepLearnXMU/PSSAttention上发布源代码和训练模型。
2021-03-05 cs.CL
A Comparison between Supervised Learning Algorithms for Word Sense Disambiguation
本文描述了一组比较实验，包括跨语料库的评价，五种替代算法的监督词义消歧（WSD），即朴素贝叶斯，基于样本的学习，SNoW，决策列表，和助推。可以得出两个主要结论：1）LazyBoosting算法在准确性和调整到新领域的能力方面优于其他四种最先进的算法; 2）词义消歧系统的领域依赖性似乎非常强，这表明跨语料库应用需要某种适应或调整。
2000-09-22 cs.AI cs.CL
Towards Understanding Neural Machine Translation with Word Importance
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
虽然神经机器翻译（NMT）已经在各种语言对上取得了进步，但NMT的可解释性仍然不令人满意。在这项工作中，我们建议通过专注于理解NMT模型的输入-输出行为来解决这一差距。具体来说，我们通过基于梯度的方法将NMT输出归因于每个输入词来测量词的重要性。我们验证了一对夫妇的扰动操作，语言对，和模型架构的方法，证明了其优越性，识别输入的话，对翻译性能的影响更大。令人鼓舞的是，计算出的重要性可以作为NMT模型翻译不足的输入单词的指标。此外，我们的分析表明，某些句法类别的单词具有更高的重要性，而不同的语言对的类别，这可以启发更好的NMT架构的设计原则，多语言翻译。
2019-09-17 cs.CL cs.LG
AX-MABSA: A Framework for Extremely Weakly Supervised Multi-label Aspect Based Sentiment Analysis
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
基于方面的情感分析是一个主要的研究领域，在社交媒体分析，商业，金融和健康方面具有潜在的应用。这方面的先前工作主要基于监督方法，少数技术使用弱监督，仅限于预测每个评论句子的单个方面类别。在本文中，我们提出了一个极弱监督的多标签方面类别情感分析框架，不使用任何标记的数据。我们只依赖于每个类的一个单词作为初始指示信息。我们进一步提出了一个自动选词技术来选择这些种子类别和情感词。我们探索了无监督的语言模型后训练，以提高整体性能，并提出了一个多标签生成器模型，以生成多个方面的类别，每个审查句子的情感对。在四个基准数据集上进行的实验显示，我们的方法明显优于其他弱监督基线。
2022-11-07 cs.CL
