Semi-supervised Word Sense Disambiguation with Neural Models
Google（谷歌）
确定文本中单词的预期意义--词义消歧（WSD）--是自然语言处理中的一个长期存在的问题。最近，研究人员已经显示出有前途的结果，使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而，文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中，我们使用序列学习神经网络LSTM来研究WSD，以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题，我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果，特别是在动词上。
2016-11-05 cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
A Hybrid Approach to Word Sense Disambiguation Combining Supervised and Unsupervised Learning
College of Engineering and Management（工程与管理学院）；Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；Innovation Research Lab（创新研究实验室）
在本文中，我们将根据不同的情况找到单词的含义。词义消歧用于使用有监督和无监督方法基于实时上下文找到单词的含义。无监督方法使用在线词典进行学习，而有监督方法使用手动学习集。手工标记的数据被填充，这可能对学习程序无效且不足。这种信息的局限性是监督方法的主要缺陷。我们所提出的方法的重点是克服使用学习集，这是丰富的动态方式维护新的数据的限制。采用简单的滤波方法获得合适的训练数据。我们介绍了一种混合的方法，有修改的Lesk方法和袋的话丰富袋使用学习方法。我们的方法建立在实验的基础上比个人修改Lesk和袋的话的方法的优越性。
2015-11-19 cs.CL
Recognizing Explicit and Implicit Hate Speech Using a Weakly Supervised Two-path Bootstrapping Approach
Texas A&M University（得克萨斯农工大学）；Stanford University（斯坦福大学）
在两极分化的选举之后，社交媒体充斥着仇恨的内容。为了解决监督仇恨语音分类方法的各种局限性，包括语料库偏见和巨大的注释成本，我们提出了一种弱监督的双路径自举方法，利用大规模未标记数据的在线仇恨语音检测模型。该系统明显优于使用手动注释数据以监督方式训练的仇恨言论检测系统。将该模型应用于选举前、选举后和选举日收集的大量推文，揭示了煽动性语言的动机和模式。
2018-05-22 cs.CL
Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network
Korea University（高丽大学）
为了使情感分析结果的适用性最大化，不仅需要对给定文档的整体情感（积极/消极）进行分类，而且还需要识别有助于分类的主要词。然而，大多数用于情感分析的数据集只有每个文档或句子的情感标签。换句话说，没有关于哪些词在情感分类中起重要作用的信息。在本文中，我们提出了一种识别关键词区分积极和消极的句子，通过使用弱监督学习方法的基础上的卷积神经网络（CNN）。在我们的模型中，每个单词被表示为一个连续值向量，每个句子被表示为一个矩阵，其行对应于句子中使用的单词向量。然后，使用这些句子矩阵作为输入并使用情感标签作为输出来训练CNN模型。一旦CNN模型被训练，我们就实现了单词注意力机制，该机制使用学习的CNN模型结束时的全连接层的权重，通过类激活图识别对分类结果有高贡献的单词。为了验证所提出的方法，我们使用两个电影评论数据集的极性词的分类精度和包含率进行了评估。实验结果表明，该模型不仅能正确地对句子极性进行分类，而且能成功地识别出极性得分高的对应词。
2017-09-29 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Improving Event Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；HKUST（香港科技大学）；Paradigm. Inc.（第四范式公司）
文本中描述的事件的表示对于各种任务都很重要。在这项工作中，我们提出了SWCC：同时弱监督对比学习和聚类框架的事件表示学习。SWCC通过更好地利用事件的共现信息来学习事件表示。具体来说，我们引入了一个弱监督的对比学习方法，使我们能够考虑多个积极和多个消极的，和一个基于原型的聚类方法，避免语义相关的事件被拉开。对于模型训练，SWCC通过同时执行弱监督对比学习和基于原型的聚类来学习表示。实验结果表明，SWCC在硬相似性和传递性句子相似性任务上优于其他基线。此外，对基于原型的聚类方法的深入分析表明，学习的原型向量能够隐式地捕获事件之间的各种关系。
2022-03-15 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
A Weakly Supervised Approach to Train Temporal Relation Classifiers and Acquire Regular Event Pairs Simultaneously
Texas A&M University（德克萨斯A&M大学）
检测两个事件之间的时间关系的能力可以使许多应用受益。大多数现有的时间关系分类器是在监督的方式进行训练。相反，我们探索的观察，规则事件对显示一致的时间关系，尽管他们的各种上下文，这些丰富的上下文可以用来训练上下文时间关系分类器，它可以进一步识别新的时间关系上下文，并确定新的规则事件对。我们专注于检测前后的时间关系，并设计了一个弱监督学习方法，提取数以千计的定期事件对，同时学习上下文的时间关系分类器。评价结果表明，获取的规则事件对质量较高，包含丰富的常识知识和领域知识。此外，弱监督训练的时间关系分类器实现了与最先进的监督系统相当的性能。
2017-07-28 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications（Nuance通讯公司）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院）
本文表明，词义消歧（WSD）可以改善神经机器翻译（NMT），通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD，基于k-means，中国餐馆的过程，和随机游走，然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后，我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明，这些向量的串联，并使用一个意义上的选择机制的基础上加权平均的意义向量，优于几个基线，包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点，在所有模糊名词和动词上的准确率为+4%，或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
A Weakly Supervised Classifier and Dataset of White Supremacist Language
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
针对在线白人至上主义极端言论检测问题，提出弱监督分类器与数据集，利用白人至上主义文本与中立、反种族主义文本配对训练，提升跨领域泛化能力并缓解模型偏见。
2023-06-27 cs.CL
How to evaluate word embeddings? On importance of data efficiency and simple supervised tasks
Jagiellonian University（雅盖隆大学）
也许表示学习最重要的一个目标是使后续的学习更快。令人惊讶的是，这一事实并没有很好地反映在嵌入的评估方式中。此外，最近在词嵌入方面的实践表明了学习专门表征的重要性。我们认为，词表征评估的重点应该反映这些趋势，并转向评估哪些有用的信息是容易获得的。具体来说，我们建议评估应该集中在数据效率和简单的监督任务上，其中可用数据的数量是不同的，并且为每个子集报告监督模型的分数（如迁移学习中通常所做的那样）。为了说明这种分析的意义，提出了一个综合评价选定的词嵌入。所提出的方法产生了一个更完整的图片，并带来了新的见解的性能特征，例如信息的字相似性或类比往往是非线性编码的嵌入空间，质疑余弦为基础的，无监督的，评估方法。所有结果和分析脚本均可在线获取。
2017-02-07 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University（纽约大学）；Siteimprove；University of Copenhagen（哥本哈根大学）
用于低资源语言的词性（POS）标记器，其完全基于各种形式的弱监督-例如，跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而，弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估，并且标记器使用信息源，如高覆盖率和几乎无错误的字典，这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上，给定现实的资源量，即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources
本文利用WordNet和WordNet Domains为现代监督式词义消歧模型引入语义特征并扩充训练数据，提出多层架构，在统一评估框架中取得与最先进水平相当的结果。
2024-02-20 cs.CL
Mapping Supervised Bilingual Word Embeddings from English to low-resource languages
Saarland University（萨尔兰大学）
由于数据的可用性不足，使用低资源语言是非常具有挑战性的。过去，使用字典将独立训练的词嵌入映射到共享向量空间中已被证明在学习双语嵌入时非常有用。在这里，我们尝试映射英语单词的各个嵌入，以及它们在爱沙尼亚语、斯洛文尼亚语、爱沙尼亚语和匈牙利语等低资源语言中对应的翻译单词。我们使用了一种监督学习方法。我们报告的准确性分数，通过各种检索策略，这表明它是可能的方法具有挑战性的任务，在自然语言处理，如机器翻译等语言，只要我们至少有一定数量的适当的双语数据。我们还得出结论，我们可以遵循单语文本数据的无监督学习路径，因为这更适合于低资源语言。
2019-10-14 cs.CL
Weakly-supervised Neural Semantic Parsing with a Generative Ranker
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
弱监督语义解析器在话语-指称对上进行训练，将逻辑形式视为潜在的。由于搜索空间大和逻辑形式的虚假性，该任务具有挑战性。在本文中，我们介绍了一个神经分析器排名系统的弱监督语义解析。该分析器使用指称的线索从话语生成候选树结构逻辑形式。这些候选人，然后排名的基础上两个标准：他们的可能性执行正确的表示，和他们的协议与话语语义。我们提出了一个预定的培训程序，以平衡这两个目标的贡献。此外，我们建议使用一个神经编码的词典注入先验领域知识的模型。三个Freebase数据集上的实验证明了我们的语义解析器的有效性，达到了最先进的范围内的结果。
2018-08-23 cs.CL
AX-MABSA: A Framework for Extremely Weakly Supervised Multi-label Aspect Based Sentiment Analysis
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
基于方面的情感分析是一个主要的研究领域，在社交媒体分析，商业，金融和健康方面具有潜在的应用。这方面的先前工作主要基于监督方法，少数技术使用弱监督，仅限于预测每个评论句子的单个方面类别。在本文中，我们提出了一个极弱监督的多标签方面类别情感分析框架，不使用任何标记的数据。我们只依赖于每个类的一个单词作为初始指示信息。我们进一步提出了一个自动选词技术来选择这些种子类别和情感词。我们探索了无监督的语言模型后训练，以提高整体性能，并提出了一个多标签生成器模型，以生成多个方面的类别，每个审查句子的情感对。在四个基准数据集上进行的实验显示，我们的方法明显优于其他弱监督基线。
2022-11-07 cs.CL
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中，只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架，其中测试样本首先被分配伪标签，然后用于训练神经文本分类器。在大多数以前的工作中，伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME，弱监督文本分类的框架，完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现，将弱监督分类和文本蕴涵相结合可以减轻两者的缺点，从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型，LIME在弱监督文本分类中的表现优于最近的基线，并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
无数据文本分类，即，弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词（称为种子词）进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验，然而，这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题，在本文中，我们提出了一种新的制定类别先验。首先，对于每个文件，我们认为它的标签隶属度，不仅计算种子词的出现，但也使用一种新的原型计划，它捕获伪最近邻类别。其次，对于每个标签，我们考虑其语料库的频率先验知识，这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中，我们提出了一种新的生成式无数据方法，即弱监督原型主题模型（WSPTM）。在真实数据集上的实验结果表明，WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia（IBM澳大利亚研究院）
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现，需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响，从而影响消歧性能。在这项工作中，我们已经评估了几种类型的功能来自上下文的歧义词，我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明，词嵌入提高了更多传统特征的性能，并允许使用基于长短期记忆（LSTM）节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Persian Wordnet Construction using Supervised Learning
University of Tehran（德黑兰大学）
本文提出了一种自动监督的波斯语词网构建方法。使用波斯语语料库和双语词典，波斯语单词和普林斯顿WordNet同义词之间的初始链接已经生成。这些链接将被区分为正确的或不正确的，采用七个功能在一个训练有素的分类系统。整个方法只是一个分类系统，它已经在包含FarsNet作为一组正确实例的训练集上训练过。最先进的自动派生的波斯语词网的结果是实现。该词网包含16，000多个词和22，000多个同义词，准确率为91.18%。
2017-04-11 cs.CL cs.LG stat.ML
KDSL: a Knowledge-Driven Supervised Learning Framework for Word Sense Disambiguation
University of Science and Technology of China（中国科学技术大学）；University of Western Sydney（西悉尼大学）；Massey University（梅西大学）
我们提出了KDSL，一个新的词义消歧（WSD）框架，利用知识自动生成的监督学习的意义标记的数据。首先，从WordNet中，我们自动构建了一个名为DisDict的语义知识库，它提供了细化的特征词，突出了词义之间的差异，即，同义词集其次，我们自动生成新的意义标记的数据DisDict从未标记的语料库。第三，这些生成的数据，连同手动标记的数据和未标记的数据，被馈送到一个神经框架进行监督和无监督学习联合建模的同义词，特征词和它们的上下文之间的语义关系。实验结果表明，KDSL优于几个代表性的国家的最先进的方法在各种主要的基准。有趣的是，即使在手动标记的数据不可用时，它也表现得相对较好，从而为缺乏手动注释的类似任务提供了潜在的解决方案。
2018-09-24 cs.AI cs.CL
Variational Weakly Supervised Sentiment Analysis with Posterior Regularization
HKUST（香港科技大学）
情感分析是自然语言处理中的一项重要任务。大多数现有的最先进的方法是在监督学习范式下。然而，人类注释可能是稀缺的。因此，我们应该利用更弱的监管进行情感分析。在本文中，我们提出了一个后验正则化框架的变分方法的弱监督情感分析，以更好地控制后验分布的标签分配。后验正则化背后的直觉是，如果从两个文档中提取的意见词在语义上相似，则两个文档的后验分布应该相似。我们的实验结果表明，后验正则化可以改善原来的变分方法的弱监督情感分析和性能更稳定，更小的预测方差。
2021-04-18 cs.AI cs.CL
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh（爱丁堡大学）
考虑到自监督模型在各种任务上的强大结果，很少有研究探索声学词嵌入（AWE）的自监督表示，表示可变长度口语词段的固定维向量。在这项工作中，我们研究了几种预训练模型和池化方法，用于构建具有自监督表示的AWE。由于自监督表示的上下文性质，我们假设简单的池化方法，如平均，可能已经用于构建AWE。当评估一个标准的单词歧视任务，我们发现，休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是，尽管只在英语上训练，但在Xitsonga，普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53（以及在英语上训练的Wav 2 Vec 2.0）。
2023-03-14 cs.CL cs.SD eess.AS
A Comparison between Supervised Learning Algorithms for Word Sense Disambiguation
本文描述了一组比较实验，包括跨语料库的评价，五种替代算法的监督词义消歧（WSD），即朴素贝叶斯，基于样本的学习，SNoW，决策列表，和助推。可以得出两个主要结论：1）LazyBoosting算法在准确性和调整到新领域的能力方面优于其他四种最先进的算法; 2）词义消歧系统的领域依赖性似乎非常强，这表明跨语料库应用需要某种适应或调整。
2000-09-22 cs.AI cs.CL
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI（谷歌人工智能）
我们描述了一种语法错误纠正（GEC）方法，该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌，并采用迭代解码策略，是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成，在CoNLL'14基准测试中得到58.3的F0.5，在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA（美国西门子医疗解决方案公司）
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示，在紧凑的欧几里得空间中保持它们的相似性。然而，这些空间的尺寸并没有提供任何明确的解释。在这项研究中，我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明，该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此，它们的行为类似于字典特征，同时具有连续值输出的优点。此外，这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外，相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中，我们已经证明，使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性，通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
NTT Corporation（日本NTT公司）；Kyoto University（京都大学）；Graduate School of Informatics（信息学研究生院）
针对弱监督ASR中的噪声标签和领域不匹配问题，提出基于字符错误率过滤和声学相似性选择的训练方法，在9万小时日语数据上实现6.4%和4.0%的CER降低。
2026-06-27 cs.CL eess.AS
Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning
CNTXT AI Abu Dhabi（CNTXT AI阿布扎比）
针对阿拉伯语低资源多方言ASR挑战，提出结合弱监督预训练与持续监督微调的可扩展流程，在多方言阿拉伯语ASR挑战赛中取得第一名。
2025-08-12 cs.AI cs.CL
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart（Flipkart公司）；IIT Bombay（印度理工学院孟买分校）；Quadeye（Quadeye公司）；IBM India Research Lab（IBM印度研究实验室）
针对数学应用题求解需全量方程标注成本高的问题，提出仅用最终答案监督的弱监督模型WARM，先学生成方程再训练求解器，性能优于现有弱监督方法，还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs（亚马逊云科技人工智能实验室）
由于联合优化文本检测和识别组件的好处，文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离，这两个任务需要精确的注释。我们介绍TextTranSpotter（TTS），一种基于transformer的文本识别方法和第一个文本识别框架，它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示，并使用基于匈牙利损失的新型损失函数，我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练，我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时，TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University（斯泰伦博斯大学）
最近的无监督语音分割工作使用了自监督模型，其中包含联合训练的电话和分词模块。相反，本文重新审视了一个旧的方法，分词：自下而上的电话样单位的发现是第一次，符号分词，然后在发现的单位（不影响较低的水平）。为此，我提出了一个新的单元发现模型，一个新的符号分词模型，然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本，并具有鼓励更长单位的额外持续时间惩罚。具体地，对于声学单元发现，使用持续时间惩罚动态规划（DPDP）与对比预测编码模型作为评分网络。对于分词，DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果，以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上，它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明，链式DPDP系统分割较短的填充字，但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
Semi-supervised Learning for Word Sense Disambiguation
National University of Córdoba（科尔多瓦国立大学）
本文研究了多方面因素对经典无监督词义消歧算法的影响。我们确定决策规则算法中的相关因素，包括实例的初始标记、规则置信度的形式化以及接受决策规则的标准。其中一些因素在原始文献中仅被隐含考虑。然后，我们提出了一个轻监督版本的算法，并采用基于伪字的策略来评估这些因素的影响。所获得的性能与高度优化的配方的词义消歧方法。
2019-08-26 cs.AI cs.CL cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University（上海交通大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加州大学伯克利分校）
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难，我们开发了一个多模态对齐框架（MAF），以利用更广泛可用的标题图像数据集，然后可以用作弱监督的形式。我们首先提出的算法，利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标，我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明，与现有的弱监督方法相比，该方法有显着的改进。在视觉感知语言表示的帮助下，我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究，以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS（巴黎高等师范学院）；EHESS（社会科学高等研究院）；CNRS（法国国家科学研究中心）
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络，发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词，第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Large scale weakly and semi-supervised learning for low-resource video ASR
Facebook AI（Facebook人工智能实验室）
为了克服建立高质量语音识别系统的标记成本，已经研究了许多半监督和弱监督方法。在低资源条件下转录社交媒体视频的挑战性任务中，我们一方面对两种自标记方法进行了大规模的系统比较，另一方面使用上下文元数据进行了弱监督预训练。我们调查蒸馏方法在帧级和序列级的混合，编码器仅CTC为基础的，编码器-解码器语音识别系统的荷兰语和罗马尼亚语，分别使用27,000和58,000小时的未标记的音频。尽管所有方法都将各自的基线WER提高了8%以上，但与最强的数据增强监督基线相比，编码器-解码器模型的序列级蒸馏提供了20%的最大相对WER降低。
2020-08-07 cs.CL cs.SD eess.AS
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training
Columbia University（哥伦比亚大学）
用户生成的评论可以被分解成细粒度的片段（例如，句子，子句），每个评估主体实体的不同方面（例如，价格、质量、外观）。自动检测这些方面对于用户和下游意见挖掘应用程序都是有用的。目前用于学习方面分类器的监督方法需要许多细粒度的方面标签，这是劳动密集型的获得。不幸的是，无监督的主题模型往往无法捕捉到感兴趣的方面。在这项工作中，我们考虑了用于训练方面分类器的弱监督方法，这些方法只需要用户提供一小组种子词（即，弱阳性指标）。首先，我们表明，目前的弱监督方法不能有效地利用种子词的预测能力进行方面检测。接下来，我们提出了一种学生-教师方法，该方法有效地利用了词袋分类器（教师）中的种子词;反过来，我们使用教师来训练第二个模型（学生），该模型可能更强大（例如，使用预训练的词嵌入的神经网络）。最后，我们证明了迭代协同训练可以用来处理有噪声的种子词，从而改进教师和学生模型。我们提出的方法在六个不同的产品评论领域和六个多语言餐厅评论数据集中始终优于以前的弱监督方法（平均14.1个绝对F1点）。
2019-09-01 cs.CL cs.LG stat.ML
Weakly-Supervised Deep Learning for Domain Invariant Sentiment Classification
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）；Indian Institute of Technology Kharagpur（克勒格布尔印度理工学院）
学习一个能够很好地适应任何目标域（不同于源域）的情感分类模型的任务是一个具有挑战性的问题。大多数现有的方法都集中在通过在训练期间利用源数据和目标数据来学习公共表示。在本文中，我们介绍了一个两阶段的训练过程，该过程利用弱监督数据集来开发简单的基于提升和移位的预测模型，而无需在训练阶段暴露于目标域。实验结果表明，从源域到各种目标域的弱监督转移提供的性能非常接近于通过目标域本身的监督训练获得的性能。
2019-11-23 cs.CL cs.IR cs.LG
Contrastive Learning for Weakly Supervised Phrase Grounding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；Bar Ilan University（巴伊兰大学）
短语基础，将图像区域与字幕词相关联的问题，是视觉语言任务的重要组成部分。我们表明，短语接地可以通过优化字区域的注意，以最大限度地提高图像和字幕词之间的互信息的下限。给定成对的图像和字幕，我们最大限度地提高了注意力加权区域和相应字幕中的单词的兼容性，相比于非对应的图像和字幕对。其核心思想是通过语言模型指导的词替换来构造有效的负面字幕。与来自训练数据的随机采样负数相比，使用我们的负数进行训练会在准确性方面产生$\sim10\%$绝对增益。我们在COCO-Captions上训练的弱监督短语接地模型显示了$5.7\%$的健康增益，以在Flickr 30 K Entities基准上实现$76.7\%$准确性。
2020-08-05 cs.CL cs.CV cs.LG
