Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)（科利智能系统中心）；International Institute of Information Technology Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
我们提出了一种独立于语言的，无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题，并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外，对于英语，我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
The SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们描述了SIGMORPHON 2020共享任务在无监督形态范式完成（SIGMORPHON 2020任务2），在屈折形态学领域的一个新的任务的结果。参与者被要求提交系统，该系统将原始文本和词元列表作为输入，并输出所有的屈折形式，即，每个词元的整个形态学范式。为了模拟真实的用例，我们首先发布了5种开发语言的数据。然而，系统在9种令人惊讶的语言上进行了正式评估，这些语言在提交截止日期前几天才公布。我们提供了一个模块化的基线系统，它是一个由4个组件组成的管道。3个团队总共提交了7个系统，但令人惊讶的是，没有一个提交的系统能够在所有9种测试语言的平均基线上有所改进。只有3种语言的提交系统获得了最佳结果。这表明，无监督的形态学范式完成在很大程度上仍然没有解决。我们在这里提出了一个分析，以便这个共同的任务将进一步研究的主题。
2020-05-28 cs.CL
Unsupervised discovery of morphologically related words based on orthographic and semantic similarity
我们提出了一个算法，以一个未注释的语料库作为输入，并返回一个排名列表的可能形态相关的对作为其输出。该算法试图发现形态相关的对，通过寻找对都是正字法和语义相似，其中正字法的相似性是衡量的最小编辑距离，和语义相似性是衡量的互信息。该过程不依赖于词素连接模型，也不依赖于单词子串的分布特性（如词缀频率）。德语和英语输入的实验给出了令人鼓舞的结果，无论是在精度方面（在不同的截止点的排名列表中发现的好对的比例），并在定性分析的算法发现的形态模式的类型。
2002-05-08 cs.CL
More than Just Statistical Recurrence: Human and Machine Unsupervised Learning of Māori Word Segmentation across Morphological Processes
University of California Santa Barbara（加州大学圣巴巴拉分校）；University of Canterbury（坎特伯雷大学）
本研究比较非毛利语新西兰人与Morfessor模型在毛利语词语切分上的表现，发现人类能利用模板等超越统计递归的线索切分复杂形态词汇，揭示了人类无监督学习机制超越纯统计递归的敏感性。
2024-03-21 cs.CL
Building Morphological Chains for Agglutinative Languages
Middle East Technical University（中东技术大学）；Hacettepe University（哈杰泰佩大学）
在本文中，我们建立了形态链粘着语言使用对数线性模型的形态分割任务。该模型基于名为MorphoChains的无监督形态分割系统。我们通过递归扩展候选空间来扩展MorphoChains对数线性模型，以覆盖土耳其语等黏着语言的更多分裂点，而在原始模型中，仅考虑每个单词的二进制分割来生成候选人。结果表明，我们提高了12%的最先进的土耳其语成绩有一个F-措施的72%，我们提高了3%的英语成绩有一个F-措施的74%。最终，该系统优于MorphoChains和其他知名的无监督形态分割系统。结果表明，候选生成起着重要的作用，在这样一个无监督的对数线性模型，学习使用对比估计与负样本。
2017-05-05 cs.CL
Holographic Neural PCFG for Unsupervised Parsing
Ritsumeikan University（立命馆大学）；The Institute of Statistical Mathematics（统计数学研究所）；Kyoto University（京都大学）
研究无监督成分句法分析，提出全息神经PCFG，将规则评分转为代数关系建模，采用全息嵌入赋予规则概率封闭形式。该方法在六种语言中达最优性能，大幅减少参数且训练稳定，还能直接从字符解析日语。
2026-07-10 cs.CL cs.LG
Unsupervised Discovery of Phonological Categories through Supervised Learning of Morphological Rules
我们描述了一个案例研究中的应用{ \em符号机器学习}技术的语言规则和类别的发现。一个有监督的规则归纳算法是用来学习预测正确的小后缀荷兰名词的语音表示。该系统产生的规则是由语言学家提出的规则相媲美。此外，在学习这一形态学任务的过程中，所使用的音素被分成语音相关的类别。我们讨论了我们的语言学和语言技术的方法的相关性。
1996-07-11 cmp-lg cs.CL
The IMS-CUBoulder System for the SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
在本文中，我们介绍了斯图加特大学IMS和科罗拉多大学博尔德分校（IMS-CUBoulder）的系统，用于SIGMORPHON 2020任务2的无监督形态范式完成（Kann等人，2020年）。该任务包括生成一组词元的形态范式，只给出词元本身和未标记的文本。我们提出的系统是一个修改版本的基线一起引入的任务。特别是，我们尝试用LSTM序列到序列模型和LSTM指针生成器网络替换拐点生成组件。我们的指针生成器系统在所有语言的所有七个提交的系统中获得了平均最好的分数，并且在保加利亚语和卡纳达语上的表现优于官方基线。
2020-05-25 cs.CL cs.LG
Combining Hand-crafted Rules and Unsupervised Learning in Constraint-based Morphological Disambiguation
本文提出了一种基于约束的形态消歧方法，适用于具有复杂形态的语言-特别是具有生产性屈折和派生形态现象的黏着语言。在某些方面，我们的方法受到了Brill最近工作的启发，但观察到他的转换方法并不直接适用于土耳其语等语言。我们的系统结合了语料库独立手工制作的约束规则，约束规则，通过无监督学习从训练语料库，和额外的统计信息，从语料库的形态消歧。手工制定的规则是基于语言的，并经过调整以提高准确率而不牺牲召回率。无监督学习过程产生两组规则：（i）选择规则，其选择满足约束的词汇项的形态分析，有效地丢弃其他分析，以及（ii）删除规则，其删除满足约束的分析。我们的方法还使用了一种新的方法来处理未知的单词，通过采用二级形态处理器，该处理器可以从词根未知的词汇项中恢复任何相关的屈折和派生信息。通过这种方法，在我们实验过的文本中，远低于1%的标记仍然是未知的。我们的研究结果表明，通过结合这些手工制作的，统计和学习的信息源，我们可以达到96%至97%的召回率，相应的精确度为93%至94%，每个标记的模糊度为1.02至1.03。
1996-04-12 cmp-lg cs.CL
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
Canonical and Surface Morphological Segmentation for Nguni Languages
University of Cape Town（开普敦大学）
形态分割涉及将单词分解为语素，语素是语言中最小的意义承载单位。这是一个重要的NLP任务，对于形态丰富的黏着语言，如南部非洲Nguni语言群。在本文中，我们调查监督和无监督模型的形态分割的两个变种：规范和表面分割。我们训练用于规范分割的序列到序列模型，其中底层词素可能不等于单词的表面形式，以及用于表面分割的条件随机场（CRF）。Transformers在关注规范分割方面优于LSTM，在4种语言中获得了72.5%的平均F1分数。在表面分割上，基于神经网络的CRF优于双向LSTM-CRF，获得平均97.1%的F1。在无监督设置中，使用字符级LSTM语言模型的基于熵的方法未能优于Morfessor基线，而在某些语言上，这两种方法的性能都没有比随机基线好得多。我们希望监督分割模型的高性能将有助于为Nguni语言开发更好的NLP工具。
2021-04-01 cs.CL
Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models
Amazon（亚马逊）
提出一种无监督两步漂移检测方法，利用MMD距离比较生产与训练数据分布并定位漂移根因，用高漂移样本重训模型以提升在线体验指标。
2023-09-07 cs.AI cs.CL cs.LG
Dataset Featurization: Uncovering Natural Language Features through Unsupervised Data Reconstruction
University College London（伦敦大学学院）；ERA Fellowship（ERA 奖学金）；Delft University of Technology（代尔夫特理工大学）；UK AI Security Institute（英国人工智能安全研究所）
提出一种与领域无关的无监督数据特征化方法，通过评估LLM重构原始数据的能力优化二元特征选择，实现对特征数量的精确控制，并在越狱策略和人类偏好对齐任务中表现出与人工标注相当的准确性与扩展性。
2025-05-29 cs.AI cs.CL
Unsupervised Morphological Tree Tokenizer
New York University（纽约大学）；Ant Group（蚂蚁集团）；ShanghaiTech University（上海科技大学）
针对传统分词器破坏词素边界的问题，提出无监督形态学树分词器，通过深度模型与自监督学习归纳字符级结构，有效保留完整词素，在形态学分割与语言建模任务上优于 BPE 和 WordPiece。
2025-07-10 cs.CL cs.LG
Unsupervised Learning of Word-Category Guessing Rules
词典中的未知词是词性标注的一个重要问题。在本文中，我们提出了一种技术，完全无监督的统计收购的规则，猜测可能的词性未知的话。从词典和原始语料中归纳出三套互补的猜词规则：前缀形态规则、后缀形态规则和词尾猜词规则。学习布朗语料库的数据和规则集，具有很强的竞争力的性能进行了生产，并与国家的最先进的。
1996-04-30 cmp-lg cs.CL
Unsupervised Learning of Morphology without Morphemes
介绍了基于全词形态学理论的第一个形态学学习器，并给出了初步的评价结果。该程序Whole Word Morphologizer将POS标记的词典作为输入，在不尝试发现或识别词素的情况下诱导形态关系，然后能够生成学习样本之外的新词。使用纯全词理论，生成的新词的准确率（精确度）高达80%，并且在例程中添加事后调整后为92%。
2002-05-29 cs.CL cs.LG
Weakly-supervised Deep Cognate Detection Framework for Low-Resourced Languages Using Morphological Knowledge of Closely-Related Languages
Adobe Research Bangalore, India（Adobe研究院班加罗尔）；Data Science Institute, University of Galway, Ireland（爱尔兰戈尔韦大学数据科学研究所）；Università Cattolica del Sacro Cuore, Milan, Italy（意大利米兰圣心天主教大学）
针对低资源语言同源词检测标注不足、现有方法性能差的问题，提出利用亲缘语言形态学知识的弱监督深度框架，无需同源词标注即可实现检测，在多语系数据集上性能超越现有最优的有监督与无监督方法。
2023-11-09 cs.AI cs.CL
Neural Unsupervised Reconstruction of Protolanguage Word Forms
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种最先进的神经方法来无监督地重建古老的单词形式。在这一领域的先前工作使用期望最大化来预测古代词形式和它们在现代语言中的同源词之间的简单语音变化。我们扩展这项工作的神经模型，可以捕捉更复杂的语音和形态的变化。同时，我们通过在模型中建立单调对齐约束并在最大化步骤中故意欠拟合来保留经典方法的归纳偏差。我们评估了我们的表现重建拉丁语从数据集的同源词在五个浪漫的语言，实现了显着减少编辑距离与以前的方法相比，从目标词的形式。
2022-11-16 cs.CL
Unsupervised Disambiguation of Syncretism in Inflected Lexicons
Johns Hopkins University（约翰斯·霍普金斯大学）
词汇歧义使得计算语料库的各种有用的统计数据变得困难。一个给定的词形可能代表几个形态特征束中的任何一个。然而，人们可以使用无监督学习（如EM）来拟合一个模型，该模型可以概率性地消除单词形式的歧义。我们提出了这样一种方法，它采用了一个神经网络，以顺利地模拟先验分布的功能束（即使是罕见的）。虽然这个基本模型没有考虑令牌的上下文，但是这个属性允许它对一个简单的unigram类型计数列表进行操作，将每个计数划分为该unigram的不同分析。我们讨论了这个新任务的评估指标，并报告了5种语言的结果。
2020-02-25 cs.CL
Derivational Morphological Relations in Word Embeddings
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
派生是一种通过增加、改变或删除词缀而从已有的词中创造新词的构词过程。在本文中，我们探讨了潜在的词嵌入，以确定在形态丰富的捷克语的词派生的属性。我们从DeriNet（一个捷克词汇网络）中提取词对之间的派生关系，DeriNet将近一百万个捷克词元组织成派生树。对于每个这样的对，我们计算两个词的嵌入的差异，并对所得向量进行无监督聚类。我们的研究结果表明，这些集群在很大程度上匹配手动注释的语义类别的派生关系（例如，关系'烤-面包师'属于类别'演员'，和一个正确的聚类把它放在同一个集群的'统治-总督'）。
2019-06-06 cs.CL
Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
随着最近词嵌入的成功，有人认为没有词的理想表示，因为不同的模型往往会捕获不同的，往往是相互不兼容的方面，如语义/语法和相似性/相关性。在本文中，我们表明，每个嵌入模型捕获更多的信息比直接明显。一个线性变换，调整模型的相似性顺序，没有任何外部资源，可以定制它，以实现更好的结果，在这些方面，提供了一个新的视角如何嵌入编码不同的语言信息。此外，我们还探讨了内在和外在评价之间的关系，因为我们在下游任务中的转换效果对于无监督系统比监督系统更高。
2018-09-06 cs.AI cs.CL cs.LG
Mostly-Unsupervised Statistical Segmentation of Japanese Kanji Sequences
由于书面日语中缺少单词分隔符，因此分词通常被认为是处理日语文本的关键第一步。典型的日本分割算法依赖于词典和句法分析或预分割数据，但这些都是劳动密集型的，并且词典-句法技术容易受到未知词问题的影响。相比之下，我们介绍了一种新的，更强大的统计方法，利用未分割的训练数据。尽管它的简单性，该算法产生的长汉字序列的性能相当，有时超过国家的最先进的形态分析仪在各种错误度量。该算法也优于另一个大部分无监督的统计算法以前提出的中国。此外，我们提出了一个两级的注释计划，日本将多个分割粒度，并引入两个新的评价指标，都基于一个兼容的括号的概念，可以同时考虑多个粒度。
2002-05-10 cs.CL
Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了CAiRE提交的无监督机器翻译轨道的WMT'19新闻共享任务，从德国到捷克。我们利用基于短语的统计机器翻译（PBSMT）模型和预训练的语言模型来组合词级神经机器翻译（NMT）和子词级NMT模型，而不使用任何并行数据。我们提出通过分别针对德语和捷克语训练字节对编码（BPE）嵌入来解决语言的形态丰富性问题，并且使用MUSE（Conneau et al.，2018年）。为了保证译文的流畅性和一致性，提出了一种重评分机制，该机制重用预先训练好的语言模型来选择通过束搜索生成的候选译文。此外，一系列的前处理和后处理方法，以提高最终的翻译质量。
2019-11-18 cs.CL
A Masked Segmental Language Model for Unsupervised Natural Language Segmentation
University of Washington（华盛顿大学）
分割仍然是一个重要的预处理步骤，无论是在语言中，“词”或其他重要的句法/语义单位（如词素）没有明确划定的空白，以及当处理连续的语音数据，其中往往没有有意义的停顿之间的话。近完美的监督方法已被开发用于资源丰富的语言，如中文，但世界上许多语言都是形态复杂的，并且没有大的“黄金”分割成有意义的单位的数据集。为了解决这个问题，我们提出了一种新型的分段语言模型（Sun和Deng，2018; Kawakami等人，2019年; Wang等人，2021）用于无监督和轻度监督分割任务。我们介绍了一个掩蔽分段语言模型（MSLM）建立在一个跨掩蔽Transformer架构，利用双向掩蔽建模上下文和注意力的力量。在一系列的实验中，我们的模型始终优于递归SLM中文（北大语料库）的分割质量，并表现出类似的递归模型对英语（PTB）。最后，我们讨论了不同的挑战分割音素类型的书写系统。
2021-09-03 cs.CL
Unsupervised Stemming based Language Model for Telugu Broadcast News Transcription
Osmania University（奥斯曼尼亚大学）
在印度语言中，母语者能够理解通过组合或修改具有时态和/或性别的词根而形成的新词。由于数据不足，自动语音识别系统（ASR）可能无法容纳语言模型中的所有单词，无论文本语料库的大小如何。如果数据量由于词根的形态变化而呈指数级增加，则计算也变得具有挑战性。本文在印地语无监督方法的基础上，提出了一种新的无监督方法来生成语言模型中的词汇外（OOV）词。通过使用平滑和插值的预处理数据与监督和无监督的词干，不同的问题在语言模型印度语：泰卢固语的技术已经解决。我们观察到，平滑技术Witten-Bell和Kneser-Ney相比，其他技术的预处理数据从监督学习。有监督和无监督词干提取分别提高了ASRs的准确率0.76%和0.94%。
2019-08-10 cs.CL eess.AS
Refinement of Unsupervised Cross-Lingual Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
跨语言词嵌入旨在通过允许学习多语言词表示，即使不使用任何直接的双语信号，来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法，将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换，它假设语言向量空间是同构的。然而，这个标准并不一定成立，特别是对于形态丰富的语言。在本文中，我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此，并强制执行长度和中心不变性，从而允许更好地对齐跨语言嵌入。实验结果表明，我们的方法的有效性，因为在大多数情况下，它优于国家的最先进的方法在双语词汇归纳任务。
2020-02-21 cs.CL cs.LG
Quantifying Synthesis and Fusion and their Impact on Machine Translation
University of Edinburgh（爱丁堡大学）；New York University（纽约大学）；Aalborg University（奥尔堡大学）
形态类型学的理论工作提供了在连续尺度上测量形态多样性的可能性。然而，自然语言处理（NLP）的文献通常用严格的形态类型（例如融合或粘着）来标记整个语言。在这项工作中，我们建议减少刚性的索赔，通过量化形态类型学在词和段的水平。我们考虑Payne（2017）使用两个指标对形态进行分类的方法：合成（例如，分析到多合成）和融合（凝集到融合）。对于计算合成，我们测试无监督和监督形态分割方法的英语，德语和土耳其语，而融合，我们提出了一个半自动的方法，使用西班牙语作为案例研究。然后，我们分析了机器翻译质量与词（英语-土耳其语中的名词和动词，英语-西班牙语中的动词）和段水平（先前的语言对加上英语-德语两个方向）的合成和融合程度之间的关系。我们用人工评估来补充词级分析，总体而言，我们观察到这两个指标对机器翻译质量的影响是一致的。
2022-05-06 cs.AI cs.CL
Effects of sub-word segmentation on performance of transformer language models
University of Helsinki（赫尔辛基大学）
本文比较BPE与Morfessor、StateMorph等形态切分算法对GPT和BERT语言模型的影响，发现形态切分能降低困惑度、加快训练收敛、提升下游任务表现，并可使较小模型达到与较大BPE模型相当的性能，从而降低训练和推理成本。
2023-10-26 cs.AI cs.CL cs.LG
