TFW, DamnGina, Juvie, and Hotsie-Totsie: On the Linguistic and Social Aspects of Internet Slang
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
俚语在互联网上无处不在。微博、问答论坛、社交网络等新的社交语境的出现，使得网络上出现了大量俚语和不规范的表达方式。尽管如此，俚语在传统上一直被视为一种非标准语言，这种语言形式不是语言学分析的重点，在很大程度上被忽视了。在这项工作中，我们使用UrbanDictionary进行了第一次大规模的俚语及其社会方面的语言分析在互联网上产生的见解，这种语言越来越多地使用在世界各地的在线。我们首先通过计算分析俚语的语音，形态和句法特性。然后，我们研究了四个特定类别的俚语，即重叠，混合，剪切和重叠的语言模式。我们的分析表明，俚语显示出显着区别于标准形式的语音和形态形成的语法外规则，从而揭示其生成模式。其次，我们从俚语使用中的主体限制和刻板印象两个方面来分析俚语的社会性。对成千上万的俚语进行分析后发现，互联网上的大多数俚语都属于两大类：性和毒品。我们还注意到，俚语的使用不仅不能避免普遍的社会偏见和成见，而且比标准的俚语更强烈地反映了这种偏见和成见。
2017-12-22 cs.CL
SlangDIT: Benchmarking LLMs in Interpretative Slang Translation
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
该研究提出阐释型俚语翻译任务SlangDIT及含2.5万余对英汉句对的对应数据集，构建深度思考模型SlangOWL通过分步思考完成俚语翻译，实验证明其性能显著优于基础及无思考的监督微调大模型。
2025-05-20 cs.CL
Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models
Georgia Institute of Technology（佐治亚理工学院）
提出无监督方法，通过测量词在微调前后的语义偏移幅度，从在线社区文本中自动识别俚语、独特实体和民俗用语。
2026-04-19 cs.CL cs.LG cs.SI
HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech Detection in Bangla
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）；Fordham University（福特汉姆大学）
在本文中，我们介绍了HS-BAN，这是一个孟加拉语的二元类仇恨言论（HS）数据集，包含超过50，000条标记评论，其中包括40.17%的仇恨言论，其余是非仇恨言论。在准备数据集时，遵循严格而详细的注释指南以减少人类注释偏倚。HS数据集还进行了语言预处理，以提取目前人们使用符号，首字母缩略词或替代拼写书写的不同类型的俚语。这些俚语词被进一步归类为传统和非传统俚语列表，并包括在本文的结果。我们探索了传统的语言特征和基于神经网络的方法，以开发一个用于孟加拉语仇恨言论检测的基准系统。我们的实验结果表明，现有的词嵌入模型训练的非正式文本比那些训练的正式文本。我们的基准测试表明，基于FastText非正式词嵌入的Bi-LSTM模型获得了86.78%的F1分数。我们将把数据集提供给公众使用。
2021-12-03 cs.CL
Self-organizing Pattern in Multilayer Network for Words and Syllables
National Tsing Hua University（国立清华大学）
语言学家的最终目标之一是找到人类语言的共性。虽然单词通常被认为是代表语言形式和意义之间的任意映射，我们提出了一个新的普遍规律，突出了音节，这是补充齐普夫的同样重要的作用。通过绘制英汉语料库的词和音节的等级-等级频率分布图，可以看到明显的线条，并可以拟合成一条主曲线。我们发现基于这种分析的词和音节的多层网络表现出自组织的特征，这在很大程度上依赖于音节及其连接的包含。本文推导了网络俚语流行度的解析表达式，并将其应用于网络俚语流行度的量化分析，为进化语言学提供了一种新的工具。
2020-05-05 cs.CL nlin.AO
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University（科奇大学）
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上，使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入，包括最近的表示，在命名实体识别（NER），组块，和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明，该方法与其他词嵌入方法相比，取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Seed Word Selection for Weakly-Supervised Text Classification with Unsupervised Error Estimation
Chulalongkorn University（朱拉隆功大学）；Knorex
弱监督文本分类的目标是从用户提供的少量种子词中归纳出文本分类器。绝大多数以前的工作假设高质量的种子词。然而，专家注释的种子词有时是不平凡的。此外，在弱监督学习环境中，我们没有任何标记文档来衡量种子词的功效，使得种子词选择过程“在黑暗中行走”。在这项工作中，我们删除了专家策划的种子词的需要，首先挖掘（噪声）与类别名称相关的候选种子词。然后，我们用单个候选种子词训练临时模型。最后，我们以无监督的方式估计中间模型的出错率。将产生最低估计出错率的种子字添加到最终种子字集合。在四个流行的数据集上对六个二进制分类任务进行的综合评估表明，所提出的方法优于仅使用类别名称种子词的基线，并且与使用专家注释的种子词的方法具有可比性。
2021-04-20 cs.CL
Semi-Supervised Joint Estimation of Word and Document Readability
University of Colorado Boulder（科罗拉多大学博尔德分校）；Octanove Labs（Octanove 实验室）
在文献中，对单词和文档的可读性或难度估计进行了独立的研究，通常假设存在广泛的注释资源。出于我们的分析表明，有一个递归的单词和文档的难度之间的关系，我们建议联合估计单词和文档的难度，通过一个图卷积网络（GCN）在半监督的方式。我们的实验结果表明，基于GCN的方法可以实现比强基线更高的准确性，并且即使使用少量的标记数据也保持鲁棒性。
2021-04-27 cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google（谷歌）
确定文本中单词的预期意义--词义消歧（WSD）--是自然语言处理中的一个长期存在的问题。最近，研究人员已经显示出有前途的结果，使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而，文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中，我们使用序列学习神经网络LSTM来研究WSD，以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题，我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果，特别是在动词上。
2016-11-05 cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
A Hybrid Approach to Word Sense Disambiguation Combining Supervised and Unsupervised Learning
College of Engineering and Management（工程与管理学院）；Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；Innovation Research Lab（创新研究实验室）
在本文中，我们将根据不同的情况找到单词的含义。词义消歧用于使用有监督和无监督方法基于实时上下文找到单词的含义。无监督方法使用在线词典进行学习，而有监督方法使用手动学习集。手工标记的数据被填充，这可能对学习程序无效且不足。这种信息的局限性是监督方法的主要缺陷。我们所提出的方法的重点是克服使用学习集，这是丰富的动态方式维护新的数据的限制。采用简单的滤波方法获得合适的训练数据。我们介绍了一种混合的方法，有修改的Lesk方法和袋的话丰富袋使用学习方法。我们的方法建立在实验的基础上比个人修改Lesk和袋的话的方法的优越性。
2015-11-19 cs.CL
Word Embedding Dimension Reduction via Weakly-Supervised Feature Selection
University of Southern California（南加州大学）
针对词嵌入随词汇量增长维度升高、模型规模大且资源消耗高的问题，提出弱监督特征选择方法WordFS，在多任务上以更低计算成本实现优于现有降维方法的性能，并开源代码。
2024-11-04 cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
How to evaluate word embeddings? On importance of data efficiency and simple supervised tasks
Jagiellonian University（雅盖隆大学）
也许表示学习最重要的一个目标是使后续的学习更快。令人惊讶的是，这一事实并没有很好地反映在嵌入的评估方式中。此外，最近在词嵌入方面的实践表明了学习专门表征的重要性。我们认为，词表征评估的重点应该反映这些趋势，并转向评估哪些有用的信息是容易获得的。具体来说，我们建议评估应该集中在数据效率和简单的监督任务上，其中可用数据的数量是不同的，并且为每个子集报告监督模型的分数（如迁移学习中通常所做的那样）。为了说明这种分析的意义，提出了一个综合评价选定的词嵌入。所提出的方法产生了一个更完整的图片，并带来了新的见解的性能特征，例如信息的字相似性或类比往往是非线性编码的嵌入空间，质疑余弦为基础的，无监督的，评估方法。所有结果和分析脚本均可在线获取。
2017-02-07 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources
本文利用WordNet和WordNet Domains为现代监督式词义消歧模型引入语义特征并扩充训练数据，提出多层架构，在统一评估框架中取得与最先进水平相当的结果。
2024-02-20 cs.CL
Mapping Supervised Bilingual Word Embeddings from English to low-resource languages
Saarland University（萨尔兰大学）
由于数据的可用性不足，使用低资源语言是非常具有挑战性的。过去，使用字典将独立训练的词嵌入映射到共享向量空间中已被证明在学习双语嵌入时非常有用。在这里，我们尝试映射英语单词的各个嵌入，以及它们在爱沙尼亚语、斯洛文尼亚语、爱沙尼亚语和匈牙利语等低资源语言中对应的翻译单词。我们使用了一种监督学习方法。我们报告的准确性分数，通过各种检索策略，这表明它是可能的方法具有挑战性的任务，在自然语言处理，如机器翻译等语言，只要我们至少有一定数量的适当的双语数据。我们还得出结论，我们可以遵循单语文本数据的无监督学习路径，因为这更适合于低资源语言。
2019-10-14 cs.CL
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University（科奇大学计算机工程系）
虽然土耳其语被列为低资源语言，但关于土耳其语自动语音识别（ASR）的文献相对较旧。在这份报告中，我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6，500小时的语音数据对模型进行预训练。结果表明，这些模型还没有准备好用于商业用途，因为它们对通常发生在现实世界中的干扰（如口音，俚语，背景噪声和干扰的变化）不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Semi-Supervised Instance Population of an Ontology using Word Vector Embeddings
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
在诸如信息抽取和知识管理代理的许多现代系统中，本体在维护所选领域的概念层次结构方面起着至关重要的作用。然而，本体人口已成为一个有问题的过程，由于其严重耦合与人工干预的性质。随着词嵌入技术在自然语言处理领域的应用，它因其能够处理语义敏感性而成为一个热门话题。因此，在本研究中，我们提出了一种新的方法，半监督本体人口通过词嵌入为基础。我们建立了几个模型，包括传统的基准模型和新类型的模型，这是基于词嵌入。最后，我们将它们集成在一起，提出一个具有更好准确性的协同模型。我们证明了我们的集成模型可以优于单个模型。
2017-09-09 cs.CL
Self-Supervised Borrowing Detection on Multilingual Wordlists
University of Tübingen（图宾根大学）
本文提出了一种自监督方法用于多语言词表中的借词检测，结合PMI相似性和对比组件，无需标注数据即可实现高精度检测。
2025-12-01 cs.CL
Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network
Korea University（高丽大学）
为了使情感分析结果的适用性最大化，不仅需要对给定文档的整体情感（积极/消极）进行分类，而且还需要识别有助于分类的主要词。然而，大多数用于情感分析的数据集只有每个文档或句子的情感标签。换句话说，没有关于哪些词在情感分类中起重要作用的信息。在本文中，我们提出了一种识别关键词区分积极和消极的句子，通过使用弱监督学习方法的基础上的卷积神经网络（CNN）。在我们的模型中，每个单词被表示为一个连续值向量，每个句子被表示为一个矩阵，其行对应于句子中使用的单词向量。然后，使用这些句子矩阵作为输入并使用情感标签作为输出来训练CNN模型。一旦CNN模型被训练，我们就实现了单词注意力机制，该机制使用学习的CNN模型结束时的全连接层的权重，通过类激活图识别对分类结果有高贡献的单词。为了验证所提出的方法，我们使用两个电影评论数据集的极性词的分类精度和包含率进行了评估。实验结果表明，该模型不仅能正确地对句子极性进行分类，而且能成功地识别出极性得分高的对应词。
2017-09-29 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Block-Segmentation Vectors for Arousal Prediction using Semi-supervised Learning
The University of Electro-Communications（电气通信大学）
为了处理计算机应用中的情感表达，Russell的circumplex模型对于根据效价和唤醒来表示情感是有用的。在SentiWordNet中，使用半监督学习将效价级别自动分配给大量同义词集（WordNet中的同义词组）。然而，在分配唤醒水平时，为SentiWordNet提出的现有方法降低了情感预测的准确性。在本文中，我们提出了一个块分割向量预测唤醒水平的许多同义词从少量的标记的话，使用半监督学习。我们通过对比唤醒词和非唤醒词在句子语料库中的分布和配价词的分布来分析唤醒词和非唤醒词在句子语料库中的分布。我们解决的问题，唤醒水平预测失败时，唤醒和非唤醒词混合在一起的一些句子。为了捕捉这些唤醒和非唤醒词的特征，我们根据块ID的倒排索引生成词向量，其中语料库在句子流中被划分为块。在评估实验中，我们表明，唤醒预测与块分割向量的结果优于以前的方法在SentiWordNet的结果。
2022-04-11 cs.CL
CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
IIT Kharagpur（印度克哈格普大学）；IIT Dharwad（印度达尔瓦德大学）；Independent Researcher（独立研究者）
本文针对词序相对自由且形态丰富的低资源语言，提出对比自监督学习方法CSSL，通过数据增强和移除位置编码等修改增强图式依存句法分析模型对词序变化的鲁棒性，在7种语言上UAS/LAS平均提升3.03/2.95点。
2025-07-19 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications（Nuance通讯公司）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院）
本文表明，词义消歧（WSD）可以改善神经机器翻译（NMT），通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD，基于k-means，中国餐馆的过程，和随机游走，然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后，我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明，这些向量的串联，并使用一个意义上的选择机制的基础上加权平均的意义向量，优于几个基线，包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点，在所有模糊名词和动词上的准确率为+4%，或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
Variational Sequential Labelers for Semi-Supervised Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们介绍了一个家庭的半监督序列标记的多任务变分方法。我们的模型家族包括一个潜变量生成模型和一个判别标签。生成模型使用潜变量来定义给定上下文的单词的条件概率，从学习词嵌入中常用的单词预测目标中汲取灵感。标签器有助于将区分信息注入潜在空间。我们探讨了几个潜在的变量配置，包括具有层次结构，这使得该模型能够考虑特定于标签和特定于单词的信息。我们的模型在8个序列标记数据集上的表现始终优于标准序列基线，并在未标记数据上进一步改进。
2019-06-23 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University（复旦大学）
词义消歧（WSD）的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明，将光泽（意义定义）到神经网络的词义消歧的有效性。然而，与传统的词专家监督方法相比，它们并没有取得太大的改进。在本文中，我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对，并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调，在多个英文全词WSD基准数据集上的实验结果表明，该方法的性能优于现有的系统。
2020-01-05 cs.CL
Mask-Align: Self-Supervised Neural Word Alignment
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
词对齐是指在源语句和目标语句之间对齐语义上等价的词，在自然语言处理中起着重要的作用。当前的无监督神经比对方法集中于从神经机器翻译模型诱导比对，其不利用靶序列中的完整上下文。在本文中，我们提出了Mask-Align，这是一种自监督的单词对齐模型，它利用了目标端的完整上下文。我们的模型屏蔽了每个目标令牌，并以源令牌和剩余目标令牌为条件进行预测。这个两步过程基于这样的假设，即对恢复被屏蔽的目标令牌贡献最大的源令牌应该被对齐。我们还引入了一个称为泄漏注意力的注意力变体，它解决了特殊令牌（如周期）上意外高交叉注意力权重的问题。在四种语言对上的实验表明，我们的模型优于以前的无监督神经对齐器，并获得了新的最先进的结果。
2021-05-17 cs.CL
On the Robustness of Unsupervised and Semi-supervised Cross-lingual Word Embedding Learning
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入是不同语言中的词的向量表示，其中具有相似含义的词由相似向量表示，而不管语言如何。最近的事态发展，这些嵌入对齐单语空间表明，可以获得准确的对齐很少或没有监督。然而，重点一直在一个特定的控制方案进行评估，并没有强有力的证据表明，目前的国家的最先进的系统将如何与嘈杂的文本或语言对有重大的语言差异。在本文中，我们提出了一个广泛的评估多种跨语言嵌入模型，分析其优势和局限性方面的不同变量，如目标语言，训练语料库和监督量。我们的结论质疑了高质量的跨语言嵌入总是可以在没有太多监督的情况下学习的观点。
2020-03-03 cs.CL
Generating Word and Document Embeddings for Sentiment Analysis
Boğaziçi University（海峡大学）
不同语料库的词汇情感是不同的。一般来说，归纳语言的一般情感词汇并使用它们不能为不同的领域产生有意义的结果。在本文中，我们将上下文和监督信息与字典中出现的单词的一般语义表示相结合。词的上下文帮助我们捕捉特定领域的信息，词的监督分数指示这些词的极性。当我们将单词的监督特征与从其字典定义中提取的特征相结合时，我们观察到成功率的增加。我们尝试了上下文，监督和基于字典的方法的组合，并生成原始向量。我们还将word2vec方法与手工制作的功能相结合。我们诱导特定领域的情感向量的两个语料库，这是电影领域和Twitter的土耳其语数据集。当我们此后生成文档向量，并采用支持向量机方法利用这些向量，我们的方法比土耳其的基线研究有显着的利润率。我们在两个英语语料库上对我们的模型进行了评估，这些模型也优于word2vec方法。这表明我们的方法是跨领域的，可移植到其他语言。
2020-12-07 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
WSPAlign: Word Alignment Pre-training via Large-Scale Weakly Supervised Span Prediction
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
为摆脱词对齐对人工数据的依赖，本文提出基于大规模弱监督跨度预测的预训练方法 WSPAlign，在标准基准上刷新了SOTA，并在少样本、零样本及跨语言测试中展现出对低资源语言更强的实用性。
2023-10-19 cs.CL
A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification
Hong Kong University of Science and Technology（香港科技大学）；University of Southern California（南加州大学）
在本文中，我们提出了一个变分方法弱监督的文档级多方面的情感分类。我们不使用用户生成的评级或领域专家提供的注释，而是使用目标意见词对作为“监督”。“这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标是预测一个目标词的意见词，而我们的最终目标是学习一个情感极性分类器来预测给定文档的每个方面的情感极性。通过引入潜在变量，即，情感极性，对于目标函数，我们可以通过变分下界将情感极性分类器注入目标。我们可以通过优化下界来学习情感极性分类器。我们表明，我们的方法可以在TripAdvisor和BeerAdvocate数据集上优于弱监督基线，并且可以与每个方面具有数百个标签的最先进的监督方法相媲美。
2019-04-10 cs.CL
ME-GCN: Multi-dimensional Edge-Embedded Graph Convolutional Networks for Semi-supervised Text Classification
The University of Sydney（悉尼大学）
与顺序学习模型相比，基于图的神经网络具有良好的全局信息捕获能力，并已被用于半监督学习任务。大多数图卷积网络都是基于一维边特征设计的，未能充分利用图的丰富边信息。本文介绍了用于半监督文本分类的多维边增强图卷积网络（ME-GCN）。该方法首先构造一个完整语料库的文本图来描述词与词、文档与文档、词与文档之间的无向多维关系。该图初始化与语料库训练的多维单词和文档节点表示，和关系表示根据这些单词/文档节点的距离。然后，用ME-GCN训练生成的图，ME-GCN将边缘特征视为多流信号，每个流执行单独的图卷积操作。我们的ME-GCN可以集成整个文本语料库的丰富的图形边缘信息源。结果表明，我们提出的模型在八个基准数据集上的表现明显优于最先进的方法。
2022-04-10 cs.CL
Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation
University of Tübingen（蒂宾根大学）；University of Jena（耶拿大学）
该研究提出基于自监督语音表示的PCMI和WACS指标，用于无需人工标注时间戳的可扩展强制对齐评估，可区分对齐质量并与基准高度相关，已开源。
2026-08-31 cs.CL
Weakly Supervised Text Classification using Supervision Signals from a Language Model
South China University of Technology（华南理工大学）；HKUST（香港科技大学）；University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
以弱监督的方式解决文本分类对于人类注释稀缺的现实世界应用非常重要。在本文中，我们提出查询一个掩蔽的语言模型与完形填空风格的提示，以获得监督信号。我们设计了一个提示符，它结合了文档本身和“本文正在谈论[MASK]”。“掩码语言模型可以为[MASK]标记生成单词。所生成的概括文档内容的词可以用作监督信号。我们提出了一个潜变量模型来学习一个词分布学习器，该学习器将生成的词与预定义的类别和文档分类器同时关联，而不使用任何注释数据。对AGNews、20Newsgroups和UCinews三个数据集的评估表明，我们的方法可以超过基线2%、4%和3%。
2022-05-13 cs.CL
An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams
Microsoft Corporation（微软公司）；Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格因德拉普拉斯塔大学）
一个人的写作风格可以被确认为一个独特的身份标志;使用的词语和句子的结构是可以识别特定作品作者的明确措施。文体学及其子集--作者归属，从19世纪开始就有着悠久的历史，直到现代我们仍然可以找到它们的应用。互联网的出现使归因研究的应用转向了非标准文本，这些文本相对较短，并且与大多数研究所做的长文本不同。本文的目的是重点研究从WhatsApp消息应用程序检索的简短在线文本，并使用监督学习方法研究马卡罗语（印度式英语）的独特特征，然后比较模型。各种特征，如单词n-gram和字符n-gram，通过方法进行比较，朴素贝叶斯分类器，支持向量机，条件树，和随机森林，以找到最好的分类，这样的语料库。我们的结果表明，SVM的测试准确率高达95.079%，而同样，Naive Bayes的数据集准确率高达94.455%。条件树和随机森林的性能不如预期。我们还发现，单词单字和字符3-grams功能更有可能区分作者准确比其他功能。
2018-12-26 cs.CL
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇，即使有，其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法，该方法利用单词之间的形态、语法和语义关系，从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的，我们表明，我们可以扩展一个1000字的种子词典，其大小的100倍以上，高质量的11种语言。此外，自动创建的词典提供了提高两个下游任务性能的功能：形态标记和依存句法分析。
2016-01-24 cs.CL
KAS-term: Extracting Slovene Terms from Doctoral Theses via Supervised Machine Learning
Jožef Stefan Institute（约热夫·斯特凡研究所）；Faculty of Arts, University of Ljubljana（卢布尔雅那大学艺术学院）
本文提出了一个数据集和监督学习实验斯洛文尼亚学术文本中的术语提取。通过形态句法模式提取数据集中的候选术语，并由四个注释器对其术语进行注释。数据集上的实验表明，大多数共现统计，应用后的形态句法模式和频率阈值，执行接近随机的，结果可以显着改善相结合，与监督机器学习，所有七个统计措施，包括在数据集中。在多词项上，使用所有统计量的模型获得的AUC为0.736，而最好的单个统计量仅产生AUC 0.590。在众多的候选特征中，仅添加多词形态句法模式信息和候选词的长度就能进一步改善结果。
2019-06-05 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome（罗马大学）
我们向社区发布了六个大规模的多语言词义标注数据集，为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译，总共有数百万个带有意义标签的句子。实验证明，这些语料库可以有效地用作监督式WSD系统的训练集，超越了低资源语言的最新技术水平，并为英语提供了有竞争力的结果，其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Guilt by Association: Emotion Intensities in Lexical Representations
Rutgers University（罗格斯大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
词向量表征揭示了与词相关的情感的什么？在这项研究中，我们考虑的任务是估计特定情绪的词级情感强度分数，探索无监督，监督，最后是一个自我监督的方法，从词向量表示提取情感关联。总的来说，我们发现，词向量进行诱导细粒度的情感强度分数的巨大潜力，表现出更高的相关性与人类的地面真相评级比达到最先进的情感词汇。
2021-04-18 cs.CL
Semi-supervised Thai Sentence Segmentation Using Local and Distant Word Representations
Chulalongkorn University（朱拉隆功大学）；Kasikorn Business Technology Group (KBTG)（开泰商业科技集团（KBTG））
句子通常被视为用于从较长的文本中提取有价值的信息的最小句法单元。然而，在书面泰语中，没有明确的句子标记。我们提出了一个用于句子分割任务的深度学习模型，其中包括三个主要贡献。首先，我们将n-gram嵌入作为一种局部表示来捕获句子边界附近的单词组。第二，为了集中在依赖子句的关键字上，我们将该模型与从自我注意模块获得的距离表示相结合。最后，由于标记数据的稀缺性，注释是困难和耗时的，我们还研究和适应交叉视图训练（CVT）作为一种半监督学习技术，使我们能够利用未标记的数据来改善模型表示。在泰语句子分割实验中，与Orchid和UGWC数据集上的基线模型相比，我们的模型分别将相对误差降低了7.4%和10.5%。我们还将我们的模型应用于IWITONS英语数据集的发音恢复任务。我们的模型优于先前的序列标记模型，实现了2.5%的相对误差减少。消融研究表明，利用n-gram介绍是泰国的主要贡献因素，而半监督培训帮助最多的英语。
2019-08-25 cs.CL
Arabic Named Entity Recognition using Word Representations
最近的工作表明，有效的单词表征功能显着提高英语的监督NER。在这项研究中，我们调查是否字表示也可以提高监督NER在阿拉伯语。我们使用单词表示作为条件随机场（CRF）模型中的附加功能，我们系统地比较了三种流行的神经词嵌入算法（SKIP-gram，CBOW和GloVe）和六种不同的方法将单词表示集成到NER系统中。实验结果表明，布朗聚类取得了最好的性能在六种方法。对于词嵌入特征，聚类嵌入特征优于其他嵌入特征，而分布式原型产生次优的结果。此外，布朗聚类和词嵌入特征的组合在基线上提供了近10%的F1分数的额外改进。
2018-04-16 cs.CL
Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
South China University of Technology（华南理工大学）
本文提出基于扰动的自监督注意力方法，通过向句子中词语添加不改变语义和预测的噪声来识别不重要的词，从而优化注意力分布，无需标注数据即可显著提升文本分类中注意力模型的性能。
2023-05-25 cs.CL
Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning
Xiamen University（厦门大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Rochester（罗切斯特大学）；Tianjin University（天津大学）
在基于方面的情感分析（ABSA）中，许多神经模型都配备了注意力机制，以量化每个上下文单词对情感预测的贡献。然而，这样的机制有一个缺点：只有少数频繁的话，情感极性往往被考虑到最终的情感决定，而丰富的不频繁的情感词被模型忽略。为了解决这个问题，我们提出了一个渐进的自监督注意力学习方法的注意力ABSA模型。在这种方法中，我们迭代地对所有训练实例进行情感预测，同时不断学习有用的注意力监督信息。在训练期间，在每次迭代中，基于其注意力权重或梯度识别的对情感预测具有最高影响的上下文单词被提取为对每个实例的正确/不正确预测具有积极/误导影响的单词。以这种方式提取的单词被屏蔽以用于后续迭代。为了利用这些提取的单词来改进ABSA模型，我们用正则化项来增强传统的训练目标，该正则化项鼓励ABSA模型不仅充分利用提取的活跃上下文单词，而且还降低了那些误导性单词的权重。我们将所提出的方法集成到三个国家的最先进的神经ABSA模型。实验结果和深入的分析表明，我们的方法产生了更好的注意力的结果，显着提高了所有三个模型的性能。我们在https://github.com/DeepLearnXMU/PSSAttention上发布源代码和训练模型。
2021-03-05 cs.CL
AX-MABSA: A Framework for Extremely Weakly Supervised Multi-label Aspect Based Sentiment Analysis
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
基于方面的情感分析是一个主要的研究领域，在社交媒体分析，商业，金融和健康方面具有潜在的应用。这方面的先前工作主要基于监督方法，少数技术使用弱监督，仅限于预测每个评论句子的单个方面类别。在本文中，我们提出了一个极弱监督的多标签方面类别情感分析框架，不使用任何标记的数据。我们只依赖于每个类的一个单词作为初始指示信息。我们进一步提出了一个自动选词技术来选择这些种子类别和情感词。我们探索了无监督的语言模型后训练，以提高整体性能，并提出了一个多标签生成器模型，以生成多个方面的类别，每个审查句子的情感对。在四个基准数据集上进行的实验显示，我们的方法明显优于其他弱监督基线。
2022-11-07 cs.CL
SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文提出自监督子词分割方法SelfSeg，仅需单语词典并通过动态规划优化词生成概率，在低资源等场景下显著提升了机器翻译的BLEU分数。
2023-07-31 cs.CL
A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution
University of Central Florida（中佛罗里达大学）
文档中句子的句法结构实质上反映了作者的写作风格。近年来，句子表示学习得到了广泛的研究，研究表明，它可以提高许多领域中不同下游任务的泛化能力。尽管在几项研究中使用探测方法表明，这些学习的上下文表示隐含地编码了一些语法，但显式语法信息进一步提高了深层神经模型在作者归属领域的性能。这些观察促使我们研究句子句法结构的外显表示学习。在本文中，我们提出了一个自我监督的框架学习句子的结构表示。自监督网络包含两个组成部分：词汇子网络和句法子网络，分别将单词序列及其相应的结构标签作为输入。由于单词到其结构标签的n到1映射，每个单词将被嵌入到主要携带结构信息的向量表示中。我们使用不同的探测任务来评估学习到的句子结构表征，并随后在作者归属任务中利用它们。我们的实验结果表明，结构嵌入显着提高分类任务时，与现有的预训练词嵌入连接。
2022-02-24 cs.CL
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bar-Ilan University（巴伊兰大学）
监督分布方法在词汇蕴涵中得到了成功的应用，但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说，Levy等人（2015）声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能，将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置，并建议一个合适的评估设置的任务，消除偏见存在于以前的。
2018-04-24 cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
