An embedded segmental K-means model for unsupervised segmentation and clustering of speech
Stellenbosch University（斯泰伦博斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Edinburgh（爱丁堡大学）
无标记语音的无监督分割和聚类是零资源语音处理的核心问题。大多数方法都处于方法论的极端：一些使用具有收敛保证的概率贝叶斯模型，而另一些则选择更有效的启发式技术。尽管在以前的工作中具有竞争力的性能，完整的贝叶斯方法是难以扩展到大型语音语料库。我们介绍了一个近似最近的贝叶斯模型，仍然有一个明确的目标函数，但提高了效率，使用硬聚类和分割，而不是完整的贝叶斯推理。与贝叶斯模型类似，嵌入式分段K均值模型（ES-KMeans）将任意长度的词段表示为固定维的声学词嵌入。我们首先在普通英语和Xitsonga数据集（5小时和2.5小时的语音）上将ES-KMeans与以前的方法进行比较：ES-KMeans在分词方面优于领先的探试法，给出了与贝叶斯模型相似的分数，同时以更少的超参数快5倍。然而，它的集群是不纯的比其他模型。然后，我们通过将ES-KMeans应用于2017年零资源语音挑战赛的5种语言（长达45小时），将其扩展到更大的语料库，与挑战基线相比，它具有竞争力。
2017-09-05 cs.CL cs.LG
A Masked Segmental Language Model for Unsupervised Natural Language Segmentation
University of Washington（华盛顿大学）
分割仍然是一个重要的预处理步骤，无论是在语言中，“词”或其他重要的句法/语义单位（如词素）没有明确划定的空白，以及当处理连续的语音数据，其中往往没有有意义的停顿之间的话。近完美的监督方法已被开发用于资源丰富的语言，如中文，但世界上许多语言都是形态复杂的，并且没有大的“黄金”分割成有意义的单位的数据集。为了解决这个问题，我们提出了一种新型的分段语言模型（Sun和Deng，2018; Kawakami等人，2019年; Wang等人，2021）用于无监督和轻度监督分割任务。我们介绍了一个掩蔽分段语言模型（MSLM）建立在一个跨掩蔽Transformer架构，利用双向掩蔽建模上下文和注意力的力量。在一系列的实验中，我们的模型始终优于递归SLM中文（北大语料库）的分割质量，并表现出类似的递归模型对英语（PTB）。最后，我们讨论了不同的挑战分割音素类型的书写系统。
2021-09-03 cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词（在文本中）表示为携带语义信息的向量，但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练，除非需要单词边界。在本文中，我们扩展了音频Word2Vec从词级到话语级，提出了一个新的分段音频Word2Vec，其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强，所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器（SSAE）实现的，其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明，在无监督的口语分词和口语词检测应用中表现出非常好的性能（明显优于基于帧的DTW）。
2018-08-07 cs.CL
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation
Johns Hopkins University（约翰霍普金斯大学）
音素或类词单元的自动检测是零资源语音处理的核心目标之一。最近的尝试采用自监督训练方法，例如对比预测编码（CPC），其中下一帧在给定过去上下文的情况下预测。然而，CPC仅查看音频信号的帧级结构。我们克服了这一限制与分段对比预测编码（SCPC）的框架，可以在更高的水平，例如在音素水平的信号结构建模。在这个框架中，卷积神经网络通过噪声对比估计（NCE）从原始波形中学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。通常，音素和词分割被视为单独的任务。我们统一它们，并通过实验表明，我们的单一模型优于现有的音素和词分割方法TIMIT和七叶树数据集。我们分析了边界阈值的影响，以及何时是正确的时间，包括在学习过程中的分段损失。
2021-06-03 cs.CL cs.LG cs.SD
Dual Learning for Large Vocabulary On-Device ASR
New York University（纽约大学）；Google Inc.（谷歌公司）
双学习是半监督机器学习的一种范式，它试图通过同时解决两个相反的任务来利用无监督数据。在该方案中，每个模型用于为未标记的示例生成伪标签，这些未标记的示例用于训练另一个模型。通过将ASR和TTS配对为双重任务，双重学习在语音处理中有一些用途。然而，这些结果大多只解决了使用非配对示例来补偿非常小的监督数据集的情况，并且大多数是在大型非流模型上。双学习尚未被证明可以有效地使用无监督数据来改进已经在大型监督语料库上训练的真实设备上的流模型。我们通过对在整个Librispeech上训练的设备大小的流一致性的分析来提供这个缺失的部分，显示出在没有LM的情况下相对WER提高了10.7%/5.2%，在LM的情况下相对WER提高了11.7%/16.4%。
2023-01-11 cs.AI cs.CL
Sequence Prediction with Neural Segmental Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
在序列预测问题中，跨越输入的连续部分的片段，例如语音中的音素，句子中的命名实体，视频中的动作，经常出现。分段模型，一类明确假设片段的模型，允许探索丰富的片段特征用于序列预测。然而，分段模型遭受缓慢的解码，阻碍了计算昂贵的功能的使用。在这篇论文中，我们引入了判别分段级联，这是一个多遍推理框架，它允许我们通过添加高阶特征和神经分段特征来提高准确性，同时保持效率。我们还表明，而不是包括更多的功能，以获得更好的准确性，分段级联可以用来加快训练和解码。分段模型，类似于传统的语音识别器，通常在多个阶段进行训练。在第一阶段中，使用手动对齐来训练帧分类器，然后在第二阶段中，使用手动对齐和帧分类器的输出来训练分段模型。然而，获得手动对准是耗时且昂贵的。我们探索了具有各种损失函数的分段模型的端到端训练，并展示了具有边际日志损失的端到端训练如何消除对详细手动对齐的需要。我们绘制了边际对数损失和一种流行的端到端训练方法（称为连接主义时间分类）之间的联系。我们提出了一个统一的框架，各种端到端的基于图搜索的模型，如隐马尔可夫模型，连接主义的时间分类，分段模型。最后，我们讨论了可能的扩展段模型大词汇量序列预测任务。
2018-06-13 cs.CL cs.LG cs.SD
Differentiable Pooling for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）
我们提出了一个深度神经网络（DNN）的声学模型，包括参数化和可微池运营商。无监督声学模型自适应被转换为更新由每个池化算子实现的决策边界的问题。特别是，我们实验了两种类型的池参数化：学习$L_p$ -范数池和加权高斯池，其中两个运营商的权重被视为扬声器相关。我们使用三种不同的大词汇量语音识别语料库进行调查：AMI会议，TED演讲和总机会话电话语音。我们证明了可微分池算子提供了一种鲁棒且相对低维的方式来适应声学模型，相对于未适应的系统，相对字出错率降低了5- 20%，其本身优于基线完全连接的基于DNN的声学模型。我们还研究了所提出的技术如何在各种适应条件下工作，包括适应数据的质量和与其他特征和模型空间适应方法的互补性，以及提供对每个方法的特性的分析。
2016-07-13 cs.CL cs.LG
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.（赛富时公司）
自动语音识别（ASR）系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距，但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型，并且在解码过程期间用主语言模型内插其得分。在这里，我们提出了一种替代方法，不需要显式的上下文语言模型。相反，我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于：1）它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例，因此它不仅会使所提供的上下文发生偏差，而且对不相关的上下文（例如，用户错误指定或难以量化严格范围的情况）也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数，从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时，我们在识别准确性方面表现出显着的改进。此外，我们还证明了所提出的方法具有较高的容忍度，在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
Unsupervised Stemming based Language Model for Telugu Broadcast News Transcription
Osmania University（奥斯曼尼亚大学）
在印度语言中，母语者能够理解通过组合或修改具有时态和/或性别的词根而形成的新词。由于数据不足，自动语音识别系统（ASR）可能无法容纳语言模型中的所有单词，无论文本语料库的大小如何。如果数据量由于词根的形态变化而呈指数级增加，则计算也变得具有挑战性。本文在印地语无监督方法的基础上，提出了一种新的无监督方法来生成语言模型中的词汇外（OOV）词。通过使用平滑和插值的预处理数据与监督和无监督的词干，不同的问题在语言模型印度语：泰卢固语的技术已经解决。我们观察到，平滑技术Witten-Bell和Kneser-Ney相比，其他技术的预处理数据从监督学习。有监督和无监督词干提取分别提高了ASRs的准确率0.76%和0.94%。
2019-08-10 cs.CL eess.AS
Unsupervised neural and Bayesian models for zero-resource speech processing
University of Edinburgh（爱丁堡大学）
在只有无标签语音数据的环境中，需要开发零资源语音技术，而不需要翻译、发音词典或语言模型文本。在零资源语音处理中有两个核心问题：（i）找到帧级特征表示，使其更容易区分语言单位（音素或单词），以及（ii）分割和聚类无标记的语音到有意义的单位。在这篇论文中，我们认为，自上而下和自下而上的建模相结合是有利的，在解决这两个问题。为了解决帧级表示学习的问题，我们提出了对应自动编码器（cAE），一个神经网络训练弱自上而下的监督从无监督的长期发现系统。通过将这种自上而下的监督与无监督的自下而上的初始化相结合，cAE产生比以前的方法更具鉴别力的特征。然后，我们提出了我们的无监督分段贝叶斯模型，分段和集群的无标签的语音到假设的话。通过实施一致的自上而下的分割，同时也使用自下而上的知识，从检测到的音节边界，我们的系统优于其他几个多扬声器会话英语和Xitsonga语音数据。最后，我们表明，集群发现的分段贝叶斯模型可以少说话者和性别的特定使用功能的cAE，而不是传统的声学功能。总之，本论文中提出的不同模型和系统表明，自顶向下和自底向上建模都可以改善无标记语音数据的表示学习、分割和聚类。
2017-01-03 cs.CL cs.LG
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University（台湾大学）
声学模式的无监督发现技术正变得越来越有吸引力，因为大量的语音数据变得可用，但手动注释仍然很难获得。在本文中，我们提出了一种方法，无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式（类子词和类词）、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式，模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤，其次是三个级联阶段的声学，语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中，模型训练和解码产生更新的标签，词典和障碍可以进一步更新。通过这种方式，在每次迭代中分别优化模型参数和解码标签，并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验，对所提出的方法进行了测试，其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明，该系统不仅产生合理的性能本身，但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
Unsupervised Training for Large Vocabulary Translation Using Sparse Lexicon and Word Classes
RWTH Aachen University（亚琛工业大学）
我们第一次解决了具有数十万词汇的翻译任务的无监督训练。我们扩大了期望最大化（EM）算法，以学习一个大型的翻译表，没有任何并行文本或种子词典。首先，我们解决了内存瓶颈，并执行稀疏与一个简单的阈值计划的词典。其次，我们用词类初始化词汇训练，这有效地提高了性能。我们的方法在两个大规模的无监督翻译任务上产生了有希望的结果。
2019-01-06 cs.CL
Unsupervised Representation Learning of Speech for Dialect Identification
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探索使用一个因式分解层次变分自动编码器（FHVAE）模型来学习一个无监督的方言识别（DID）的潜在表示。FHVAE可以学习潜在空间，该潜在空间通过将话语内的更多静态属性编码到两个不同的潜在变量集合中来将它们与更多动态属性分离。方言识别的有用因素，如语音或语言内容，编码的一个分段的潜变量，而不相关的因素，是相对恒定的序列，如通道或扬声器的信息，编码的一个顺序的潜变量。解纠缠特性使得分段潜变量对通道和扬声器变化不太敏感，并且因此减少了来自通道域失配的劣化。我们证明，在完全监督的DID任务中，与在传统声学特征和基于i向量的系统上训练的相同模型相比，在从FHVAE模型中提取的特征上训练的端到端模型实现了最佳性能。此外，我们还表明，所提出的方法可以利用大量的未标记的数据进行FHVAE训练，以学习DID的域不变特征，并在低资源条件下显着提高性能，其中域内数据的标签不可用。
2018-09-12 cs.CL cs.LG eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology（东京工业大学）
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是，SPLADE，它编码的文本稀疏向量，是一个有效的模型，用于实际使用，因为它显示了鲁棒性域外数据集。然而，SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外，词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的，所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法，通过填充词汇和词频的差距。首先，我们扩展词汇表，并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后，我们乘以SPLADE编码的稀疏向量的逆文档频率权重，以考虑的重要性，与低频字的文件。我们使用我们的方法在数据集上进行了实验，这些数据集与源域有很大的词汇差距。我们表明，我们的方法优于目前最先进的领域自适应方法。此外，我们的方法实现了最先进的结果，结合BM 25。
2022-11-08 cs.CL cs.IR
Topic Identification for Speech without ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
用于语音的现代主题识别（主题ID）系统使用自动语音识别（ASR）来产生语音转录，并且对这样的ASR输出执行监督分类。然而，在资源有限的条件下，开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中，我们研究了替代的无监督解决方案，以获得语音标记的词汇自动发现的单词或音素类单位，而不依赖于ASR系统的监督训练。此外，使用自动音素标记，我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比，一个标准的词袋表示，证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Advanced Research Institute（上海高等研究院）；Shanghai Carbon Data Research Center（上海碳数据研究中心）；Centre for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）
最近关于无分割词嵌入（sembei）的工作为未分割的语言开发了一种新的词嵌入管道，同时避免了作为预处理步骤的分割。然而，在嵌入词汇表中存在太多的噪声n-gram，这些噪声n-gram在字符之间不具有强的关联强度，这将限制学习的词嵌入的质量。针对这一问题，提出了一种新的无分割词嵌入模型，该模型通过一种新的无监督关联测度--带时间信息的逐点关联（PATI）来收集n-gram词汇。与常用的n-gram过滤方法（如sembei中使用的频率和逐点互信息（PMI））相比，该方法利用了语料库中更多的潜在信息，从而能够在未分割的语言数据（如中文文本）中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明，该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Learning New Words from Unlabeled Test Data in Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种在测试时从未标记数据学习新词上下文表示与拼写的ASR方法，利用CTC声学模型、语言模型及适应模块，通过KLD优化，在LibriSpeech和构音障碍数据上分别降低OOV字符错误率14.97%和6.67%。
2026-09-25 cs.CL eess.AS
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Avaya Conversational Intelligence: A Real-Time System for Spoken Language Understanding in Human-Human Call Center Conversations
Avaya（Avaya公司）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Poznan University of Technology（波兹南理工大学）；AGH University of Science and Technology（AGH科技大学）
Avaya Conversational Intelligence（ACI）是一款端到端、基于云的解决方案，用于呼叫中心的实时口语理解。它结合了大词汇量、实时语音识别、转录细化以及实体和意图识别，以便将实时音频转换为丰富的可操作的结构化事件流。这些事件可以进一步与业务规则引擎一起使用，从而作为实时监督和辅助应用程序的基础。在摄取之后，呼叫通过无监督的关键字提取、抽象摘要和业务定义的属性来丰富，从而实现离线用例，例如商业智能、主题挖掘、全文搜索、质量保证和代理培训。ACI提供了一个包含数百个意图的预训练、可配置库和一个强大的意图训练环境，允许高效、经济高效地创建和定制客户特定的意图。
2019-09-02 cs.CL cs.LG cs.SD
Unsupervised POS Induction with Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
无监督词嵌入已被证明是有价值的监督学习问题的功能，但是，他们在无监督的问题中的作用还没有彻底探讨。在本文中，我们表明，嵌入同样可以增加价值的问题，无监督POS归纳。在两个有代表性的模型的POS归纳，我们取代多项分布的词汇与多元高斯分布的词嵌入，并观察到一致的改进，在八种语言。我们还分析了诱导词嵌入时的各种选择对“下游”词性诱导结果的影响。
2015-03-23 cs.CL
English Out-of-Vocabulary Lexical Evaluation Task
Texas A&M University（得克萨斯农工大学）；Southern Methodist University（南卫理公会大学）；Wuhan University of Technology（武汉理工大学）
与以前的未知名词标注任务不同，这是第一次尝试专注于不需要任何先验知识的词汇外（OOV）词汇评估任务。OOV单词是只出现在测试样本中的单词。任务的目标是为OOV词汇分类和预测提供解决方案。这些任务要求注释者根据相关上下文推断出OOV词的属性。然后，我们利用无监督的词嵌入方法，如Word2Vec和Word2GM进行分类任务和OOV词属性预测任务的基线实验。
2019-05-03 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh（爱丁堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在只有未标记语音数据可用的环境中，语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下，需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型，分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中，一个潜在的词段（任意长度）嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现，然后在该空间中构建全词声学模型，同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务，通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率，优于以前的HMM为基础的系统约10%的绝对。此外，与基线相比，我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Unsupervised Clinical Language Translation
Massachusetts Institute of Technology（麻省理工学院）
随着患者获取医生的临床笔记变得普遍，将专业的临床术语翻译成外行人可以理解的语言对于改善患者与临床医生的沟通至关重要。这种翻译通过增强患者对自身健康状况的了解，从而提高患者对自身护理的参与度，从而产生更好的临床结果。现有的研究已经使用基于词典的单词替换或定义插入来满足需求。然而，这些方法受到专家策展的限制，专家策展难以扩展，并且难以推广到不共享重叠词汇的不可见数据集。相比之下，我们以完全无监督的方式处理临床单词和句子翻译问题。我们发现，一个框架，使用表示学习，双语词典归纳和统计机器翻译产生的最佳精度在10的0.827专业到消费者的单词翻译，和平均意见得分为4.10和4.28的5临床正确性和外行可读性，分别对句子翻译。我们的完全无监督策略克服了策展问题，并且临床上有意义的评估减少了不适当评估者的偏见，这在临床机器学习中至关重要。
2019-05-26 cs.CL cs.LG
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg（汉堡大学）
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题，利用SVC-de数据集，通过层级特定微调和Experience Replay持续学习，在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena（锡耶纳大学）；University of Firenze（佛罗伦萨大学）
在过去的几年中，神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征，也被称为“嵌入”，从无监督的大型语料库中学习，它们可以被转移到不同的任务中，在性能方面具有积极的影响，特别是当只有少数监督可用时。在这项工作中，我们进一步扩展了这一概念，并提出了一种无监督的神经架构，它可以联合学习单词和上下文嵌入，将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误，并避免需要固定大小的单词输入词汇表。我们表明，我们可以学习紧凑的编码器，尽管参数数量相对较少，但在下游任务中达到高水平的性能，将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
Unsupervised Morphological Tree Tokenizer
New York University（纽约大学）；Ant Group（蚂蚁集团）；ShanghaiTech University（上海科技大学）
针对传统分词器破坏词素边界的问题，提出无监督形态学树分词器，通过深度模型与自监督学习归纳字符级结构，有效保留完整词素，在形态学分割与语言建模任务上优于 BPE 和 WordPiece。
2025-07-10 cs.CL cs.LG
Predicting Contextual Informativeness for Vocabulary Learning using Deep Learning
本文通过深度学习方法，利用人类监督指导，生成高质量的上下文用于高中词汇教学，显著提升教学效果。
2026-02-20 cs.CL
Linguistically Motivated Vocabulary Reduction for Neural Machine Translation from Turkish to English
label1；label2
在最先进的神经机器翻译（NMT）系统中，使用固定大小的词汇表以控制模型复杂度的必要性是性能的重要瓶颈，特别是对于形态丰富的语言。旨在通过使用子词或字符级表示来克服这个问题的传统方法仅仅依赖于统计数据，而忽略了词的语言特性，这导致词结构的中断并导致语义和句法损失。在本文中，我们提出了一种新的词汇减少方法NMT，它可以减少在任何速度的给定输入语料库的词汇，同时还考虑到语言的形态属性。我们的方法基于无监督形态学学习，原则上可以用于预处理任何语言对。我们还提出了一种替代的分词方法的基础上监督形态分析，这有助于我们衡量我们的模型的准确性。我们评估我们的方法在土耳其语到英语的NMT任务，输入语言是形态丰富和粘着。我们分析了不同的表示方法的翻译准确性，以及所生成的输出的语义和句法属性。我们的方法比传统的词汇缩减技术获得了2.3 BLEU点的显着改进，表明它可以在形态丰富的语言的开放词汇翻译中提供更好的准确性。
2017-07-31 cs.CL
Skip-Thought Vectors
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Massachusetts Institute of Technology（麻省理工学院）
我们描述了一种通用的分布式句子编码器的无监督学习方法。利用书籍文本的连续性，我们训练了一个编码器-解码器模型，该模型试图重建编码段落的周围句子。因此，共享语义和句法属性的句子被映射到相似的向量表示。接下来，我们将介绍一种简单的词汇扩展方法，用于对未被视为训练一部分的单词进行编码，从而使我们的词汇量扩展到一百万个单词。在训练我们的模型之后，我们使用线性模型对8个任务提取和评估我们的向量：语义相关性，释义检测，图像-句子排名，问题类型分类和4个基准情感和主观性数据集。最终的结果是一个现成的编码器，可以产生高度通用的句子表示，是强大的，并在实践中表现良好。我们将公开我们的编码器。
2015-06-22 cs.CL cs.LG
SimpleBooks: Long-term dependency book dataset with simplified English vocabulary for word-level language modeling
NVIDIA（英伟达）
随着语言建模成为自然语言处理中无监督表示学习的流行基础任务，重要的是要提出新的架构和技术，以更快，更好地训练语言模型。然而，由于语言的特殊性-数据集越大，单词在该数据集中出现的平均次数越高-不同大小的数据集具有非常不同的属性。在小数据集上表现良好的架构在大数据集上可能表现不佳。例如，LSTM模型在WikiText-2上表现良好，但在WikiText-103上表现不佳，而Transformer模型在WikiText-103上表现良好，但在WikiText-2上表现不佳。对于像架构搜索这样的设置来说，这是一个挑战，因为在完整的数据集上运行搜索的成本非常高，但在较小的数据集上进行实验并不意味着。在本文中，我们介绍了SimpleBooks，一个小数据集，其平均词频与大得多的数据集一样高。SimpleBooks由1，573本古腾堡书籍创建，其单词级书籍长度与词汇量的比例最高，SimpleBooks包含92 M单词级令牌，与WikiText-103（103 M令牌）相当，但词汇量为98 K，是WikiText-103的三分之一。SimpleBooks可以从https://dldata-public.s3.us-east-2.amazonaws.com/simplebooks.zip下载。
2019-11-27 cs.CL
Finding Better Subword Segmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
对于不同的语言对，具有固定大小词汇表的词级神经机器翻译（NMT）模型遇到了表示词汇表外（OOV）词的相同问题。通常的做法是用一个词符来代替这些生僻词或陌生词<UNK>，这在一定程度上限制了翻译的效果。最近的大多数工作通过将单词拆分为字符或其他专门提取的子单词单元来处理这样的问题，以实现开放词汇翻译。字节对编码（BPE）是一种成功的尝试，通过为NMT系统提供有效的子词切分而显示出极具竞争力。在本文中，我们将BPE风格分割扩展到一个通用的无监督框架，具有三个统计指标：频率（FRQ），访问者多样性（AV）和描述长度增益（DLG）。我们在两个翻译任务上测试我们的方法：德语到英语和汉语到英语。实验结果表明，AV和DLG增强系统在不同的显着水平上的频率加权方案优于FRQ基线。
2018-07-25 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Seed-Guided Topic Discovery with Out-of-Vocabulary Seeds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
针对种子引导主题发现难以处理词表外种子词且未利用 PLM 的问题，提出 SeeTopic 框架，融合 PLM 通用知识与语料局部语义，并在三个数据集上验证其有效性。
2025-02-18 cs.CL cs.IR
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法，实现完全未见语言零样本翻译，并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Unsupervised Domain Adaptation for Hate Speech Detection Using a Data Augmentation Approach
近年来，以仇恨言论形式出现的在线骚扰呈上升趋势。解决这个问题需要结合内容审核的人，由自动检测方法的帮助。由于内容审核本身对人们有害，我们希望通过改进仇恨言论的自动检测来减轻负担。仇恨言论提出了一个挑战，因为它是针对不同的目标群体使用完全不同的词汇。此外，仇恨言论的作者被鼓励掩饰他们的行为，以避免被从平台上删除。这使得很难开发一个全面的数据集来训练和评估仇恨言论检测模型，因为代表一个仇恨言论领域的例子通常不代表其他领域，即使在同一语言或文化中。我们提出了一种无监督的领域自适应方法来增强仇恨言论检测的标记数据。我们在三个不同的集合上使用三种不同的模型（字符CNN，BiLSTM和BERT）来评估该方法。我们的方法将精确率/召回率曲线下的面积提高了42%，召回率提高了278%，而精确率没有损失（在某些情况下有显着的提高）。
2021-07-31 cs.CL
Incorporating Subword Information into Matrix Factorization Word Embeddings
Institute of Informatics（信息研究所）；Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
在词嵌入中添加子词信息的积极效果已经在预测模型中得到了证明。在本文中，我们调查是否也可以从将子字计数模型得到类似的好处。我们评估了不同类型的子词（n-grams和无监督语素）的影响，结果证实了子词信息在学习罕见和词汇表外的单词表示中的重要性。
2018-05-09 cs.CL
Concept Identification of Directly and Indirectly Related Mentions Referring to Groups of Persons
University of Wuppertal（伍珀塔尔大学）；University of Konstanz（康斯坦茨大学）；Heidelberg Academy of Sciences and Humanities（海德堡科学与人文学院）；University of Zurich（苏黎世大学）
通过聚类的无监督概念识别，即，语义上相关的单词和短语的识别是识别在各种使用情况中采用的上下文原语的常用方法，例如，文本维度缩减，即，用概念替换单词，以减少词汇量、摘要和命名实体解析。我们展示了第一批结果的一个无监督的方法，用于识别的人群作为演员提取一组相关的文章。具体而言，这种方法将提到的在文本中充当无名实体行为者的人群分组，例如，“移民家庭”=“寻求庇护者”。“与我们的基线相比，这种方法将地缘政治实体的提及分开，例如，“伊朗领导人”！“欧洲领导人”，以及与不同措辞直接相关的群组，例如，“美国官员”=“特朗普政府”。"
2021-07-02 cs.CL
Connecting Speech to Words through Images
Ministry of Research, Innovation and Digitization, CNCS-UEFISCDI（研究、创新和数字化部，CNCS-UEFISCDI）
提出一种基于视觉的方法，利用图像和语音描述构建口语词汇表，无需文本监督，在口语词检索和关键词检测中优于神经基线。
2026-06-16 cs.CL
Optimizing Segmentation Granularity for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在神经机器翻译（NMT）中，使用子词单元进行翻译以允许开放的词汇表并提高对不频繁单词的准确性已经成为标准。字节对编码（BPE）及其变体是生成这些子字的主要方法，因为它们是无监督的、无资源的并且经验上有效。然而，这些子字单元的粒度是一个超参数，需要使用网格搜索等方法针对每种语言和任务进行调整。由于资源限制，调优可能会被无穷尽地完成或完全跳过，从而导致次优性能。在本文中，我们提出了一种方法来自动调整这个参数，只使用一个训练通过。我们根据保留的验证损失在网上逐步引入新的词汇，从较小的一般子词开始，在训练过程中添加较大的更具体的单元。我们的方法匹配网格搜索的结果，优化分割粒度，无需任何额外的训练时间。我们还展示了训练效率和稀有词性能提高的好处，这是由于通过组合来自较小单元的嵌入来增量构建较大单元的嵌入的方式。
2018-10-19 cs.CL
Representation Learning for Words and Entities
The Johns Hopkins University（约翰斯·霍普金斯大学）
本论文提出了新的无监督学习的分布式表示的文字和实体的文本和知识库的方法。本文提出的第一个算法是一个多视图算法，用于学习单词的表示，称为多视图潜在语义分析（MVLSA）。通过将多达46种不同类型的共现统计相同的词汇的英语单词，我表明MVLSA优于其他国家的最先进的词嵌入模型。接下来，我重点研究了用于搜索和推荐的实体表示，并提出了本文的第二种方法，神经变分集合扩展（NVSE）。NVSE也是一种无监督学习方法，但它基于变分自编码器框架。与人类注释者的评估表明，NVSE可以促进更好的搜索和推荐从嘈杂的非结构化自然语言语料库的自动注释中收集的信息。最后，我将从非结构化数据转向结构化知识图谱。我提出了新的方法来学习嵌入的顶点和边的知识图谱，服从逻辑约束。
2019-06-12 cs.AI cs.CL cs.LG
Unsupervised Robust Cross-Lingual Entity Alignment via Neighbor Triple Matching with Entity and Relation Texts
Yonsei University（延世大学）；Korea University（高丽大学）
针对跨语言实体对齐中获取标签困难及现有无监督方法的局限，本文提出ERAlign，通过邻居三元组匹配联合实体和关系文本语义，实现无监督鲁棒对齐，提升精度并增强对噪声的抵抗能力。
2025-02-12 cs.AI cs.CL
Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali
Kathmandu University（加德满都大学）；IOE Thapathali Campus（IOE塔帕塔利校区）
本研究提出形态学引导的预分词器Papaya，在BPE前拆分尼泊尔语单词为词干和词缀，以保留语素完整性，在分词和语言建模上略有提升，但下游任务影响有限。
2026-09-29 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Relevance-based Word Embedding
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
学习词汇术语的高维密集表示，也称为词嵌入，最近在自然语言处理和信息检索任务中引起了很多关注。嵌入向量通常基于大型语料库中的术语接近度来学习。这意味着在公知的词嵌入算法中的目标，word2vec是准确预测给定单词或上下文的相邻单词。然而，这个目标并不一定等同于许多信息检索（IR）任务的目标。各种IR任务的主要目标是捕获相关性，而不是术语接近度，句法，甚至语义相似性。这就是开发基于查询文档相关性信息学习单词表示的无监督的基于相关性的词嵌入模型的动机。在本文中，我们提出了两个学习模型，具有不同的目标函数，一个学习的词汇集为每个查询的相关性分布，和其他分类每个术语属于相关或不相关的类为每个查询。为了训练我们的模型，我们使用了超过600万个独特的查询和响应每个查询检索的排名最高的文档，这些文档被认为与查询相关。我们extraperitively评估我们的学习词表示模型使用两个IR任务：查询扩展和查询分类。在四个TREC集合上的查询扩展实验和在KDD Cup 2005数据集上的查询分类实验表明，基于相关性的词嵌入模型的性能显著优于最先进的基于邻近度的嵌入模型，如word2vec和GloVe。
2017-07-16 cs.CL cs.IR cs.LG
Extracting Text Representations for Terms and Phrases in Technical Domains
IBM Research（IBM研究院）
本文提出一种完全无监督的文本编码方法，通过训练小型字符级模型重建大型预训练嵌入矩阵，在技术领域中达到与句子编码器相当的质量，同时模型体积缩小5倍、速度提升最高10倍。
2023-05-25 cs.AI cs.CL cs.LG
Learning Contextualized Semantics from Co-occurring Terms via a Siamese Architecture
University of Manchester（曼彻斯特大学）
在多媒体信息检索和理解中，最大的挑战之一是通过在上下文中正确地建模概念语义来弥合语义鸿沟。词汇表外（OOV）概念的存在加剧了这一困难。为了解决语义差距的问题，我们制定了一个问题，从描述性术语学习语境化语义，并提出了一种新的连体架构，从描述性术语建模的语境化语义。通过模式聚合和概率主题模型，我们的Siamese架构通过无监督学习从共现的描述性术语中捕获上下文化的语义，从而导致术语在上下文中的概念嵌入空间。此外，共现的OOV概念可以很容易地表示在学习的概念嵌入空间。通过可视化展示了概念嵌入空间的主要性质。使用语义启动的各种设置，我们已经进行了一个全面的评估，通过比较我们的方法与一些国家的最先进的方法在六个不同领域的注释语料库，即，音乐领域的MagTag5K、CAL500和Million Song Dataset，以及图像领域的Corel5K、LabelMe和SUNDatabase。语义启动实验结果表明，我们的方法在各个方面都大大优于那些最先进的方法。
2015-06-17 cs.CL cs.IR cs.LG
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术大学）；National Institute of Informatics（日本国立信息学研究所）；Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project（日本科学技术振兴机构 ERATO 河原林大型图项目）
分布式词嵌入在许多自然语言处理（NLP）任务中表现出优越的性能。然而，它们的表现在不同的任务中有很大差异，这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此，我们认为，重要的是要结合现有的词嵌入，以产生更准确和完整的\emph{meta-embeddings}的话。为此，我们提出了一种无监督的局部线性元嵌入学习方法，该方法将预训练的词嵌入作为输入，并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同，该方法学习词汇表中所有单词的全局投影，我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外，我们表明，矢量拼接，以前提出的高度竞争力的基线方法集成词嵌入，可以作为一个特殊的情况下，所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在几个基准数据集上的性能明显优于现有方法，为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Samsung Research America（三星美国研究院）
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达（概念/实体）的向量。然而，这些方法限于文本知识库（例如，Wikipedia）.在本文中，我们提出了一种新的和简单的技术，整合知识的概念，从两个大规模的知识库的不同结构（维基百科和Probase），以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型：（1）类比推理，在语义类比上我们实现了91%的最先进性能，（2）概念分类，在两个基准数据集上实现了最先进的性能，其中一个数据集的分类准确率为100%，另一个为98%。此外，我们提出了一个案例研究，以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力，更好地推广到词汇表中的实体提到相比，繁琐和容易出错的方法，依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR
Part-of-Speech Tagging for Historical English
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
随着越来越多的历史文本被数字化，人们有兴趣将自然语言处理工具应用于这些档案。然而，由于语言的变化和体裁的差异，这些工具的性能往往不能令人满意。拼写规范化语法是处理历史文本的主要解决方案，但这种方法无法解释用法和词汇的变化。在这篇实证论文中，我们评估了领域自适应技术处理历史文本的能力，重点是经典的基准任务词性标注。我们评估了几种领域自适应方法对宾夕法尼亚大学历史英语语料库中早期现代英语和现代英国英语文本的标注任务。我们证明了无监督领域自适应的特征嵌入方法优于词嵌入和布朗聚类，显示了嵌入整个特征空间的重要性，而不仅仅是单个词。特征嵌入也比拼写规范化提供了更好的性能，但这两种方法的结合更好，在早期现代英语文本上的标记准确性提高了5%。
2016-04-04 cs.CL cs.DL
