A procedure for unsupervised lexicon learning
Anand Venkataraman
我们描述了一个增量无监督的过程来学习单词从转录的连续语音。该算法是基于一个保守的和传统的统计模型，和实证测试的结果表明，它是有竞争力的其他算法，最近已经提出了这项任务。
We describe an incremental unsupervised procedure to learn words from transcribed continuous speech. The algorithm is based on a conservative and traditional statistical model, and results of empirical tests show that it is competitive with other algorithms that have been proposed recently for this task.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Unsupervised Training for Large Vocabulary Translation Using Sparse Lexicon and Word Classes
我们第一次解决了具有数十万词汇的翻译任务的无监督训练。我们扩大了期望最大化（EM）算法，以学习一个大型的翻译表，没有任何并行文本或种子词典。首先，我们解决了内存瓶颈，并执行稀疏与一个简单的阈值计划的词典。其次，我们用词类初始化词汇训练，这有效地提高了性能。我们的方法在两个大规模的无监督翻译任务上产生了有希望的结果。
Unsupervised Bilingual Lexicon Induction Across Writing Systems
最近在无监督双语词典归纳中基于嵌入的方法已经显示出良好的效果，但通常没有利用拼写（拼写）信息，这对相关语言对是有帮助的。这项工作增强了具有正字法特征的最先进的方法，并通过提出即使在具有不同脚本的语言之间也可以学习和利用正字法对应关系的方法来扩展该领域的先前工作。我们证明了这一点，通过实验三种语言对不同的脚本和不同程度的词汇相似性。
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
Q-WordNet PPV: Simple, Robust and (almost) Unsupervised Generation of Polarity Lexicons for Multiple Languages
本文提出了一种简单、鲁棒、（几乎）无监督的基于词典的极性词典自动生成方法qwn-ppv（Q-WordNet as Personalized PageRanking Vector）。我们表明，qwn-ppv优于其他自动生成的词典，这里提出的四个外在评价。它还显示了非常有竞争力的和强大的结果相对于手动注释的。结果表明，没有一个单一的词汇是最好的每一个任务和数据集，极性词汇的内在评价是不是一个很好的性能指标的情感分析任务。当给定语言没有基于领域的注释语料库时，qwn-ppv方法可以轻松地创建高质量的极性词典。
Duality Regularization for Unsupervised Bilingual Lexicon Induction
无监督的双语词典归纳自然具有二重性，这是由回译的对称性造成的。例如，EN-IT和IT-EN归纳可以是相互的原始和对偶问题。然而，当前最先进的方法独立地考虑这两个任务。在本文中，我们建议联合训练原始和对偶模型，使用正则化器来鼓励反向翻译周期的一致性。在6种语言对上的实验表明，该方法的性能明显优于竞争基线，在标准基准测试中获得了最佳结果。
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
Unsupervised Bilingual Lexicon Induction for Low Resource Languages
本文研究了同时使用多种基于结构的无监督双语词典归纳（UBLI）改进技术是否能带来同等收益，通过VecMap框架在多个低资源语言对上实验确定了最佳扩展组合，并发布了相应双语词典。
Unsupervised Disambiguation of Syncretism in Inflected Lexicons
词汇歧义使得计算语料库的各种有用的统计数据变得困难。一个给定的词形可能代表几个形态特征束中的任何一个。然而，人们可以使用无监督学习（如EM）来拟合一个模型，该模型可以概率性地消除单词形式的歧义。我们提出了这样一种方法，它采用了一个神经网络，以顺利地模拟先验分布的功能束（即使是罕见的）。虽然这个基本模型没有考虑令牌的上下文，但是这个属性允许它对一个简单的unigram类型计数列表进行操作，将每个计数划分为该unigram的不同分析。我们讨论了这个新任务的评估指标，并报告了5种语言的结果。
When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages
针对相关高低资源语言间数据不平衡导致无监督双语词典归纳性能极差的问题，提出仅需在高资源语言掩码模型上推理的新方法，在多种印度低资源语言上验证了有效性并发布词典。
Modelling the Lexicon in Unsupervised Part of Speech Induction
自动归纳文本中词的句法词性是计算语言学的一项基本任务。虽然无监督标记模型的性能一直在缓慢提高，但当前最先进的系统做出了明显错误的假设，即给定单词类型的所有标记必须共享单个词性标记。这种每种类型一个标签的启发式方法可以对抗基于隐马尔可夫模型的标签器为给定的单词类型过度生成标签的趋势。然而，它显然与基本句法理论不相容。在本文中，我们扩展了一个国家的最先进的Pitman-Yor隐马尔可夫模型标记与明确的模型的词汇。在这样做的时候，我们能够引入一个软偏置，以诱导每种类型的几个标签。我们开发了一个粒子滤波器，用于从我们的模型的后验中抽取样本，并给出了经验结果，表明我们的模型具有竞争力，并且比最先进的模型更快，而没有任何不切实际的限制。
The Unsupervised Acquisition of a Lexicon from Continuous Speech
我们提出了一种无监督学习算法，从原始语音中获取自然语言词典。该算法基于MDL框架中符号序列的最佳编码，并使用语言的分层表示，克服了许多阻碍以前的语法归纳过程的问题。从符号序列到语音流的前向映射使用基于发音手势的特征来建模。我们目前的结果，从原始语音，文本和语音成绩单的词汇和语言模型的收购，并证明我们的算法相比，非常有利的分割性能和统计效率方面的其他报告的结果。
P-trac Procedure: The Dispersion and Neutralization of Contrasts in Lexicon
认知声学线索在塑造语言的语音结构中起着重要的作用，是实现最佳交际的一种手段。本文引入P-trac过程来跟踪词汇中不同语境中对比度的离散情况。P-trac程序对对比在前辅音语境和CVCC序列的辅音位置中的扩散情况的研究结果支持了线索许可假说和对比扩散理论所主张的扩散的语音基础。P-trac程序被证明是非常有效的揭示对比在词汇中的分散性，特别是在比较对比在不同语境中的分散性。
Mixtures of Unsupervised Lexicon Classification
本文提出一种结合狄利克雷过程的混合矩方法，用于无监督词典分类。
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
在只有未标记语音数据可用的环境中，语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下，需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型，分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中，一个潜在的词段（任意长度）嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现，然后在该空间中构建全词声学模型，同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务，通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率，优于以前的HMM为基础的系统约10%的绝对。此外，与基线相比，我们的模型不需要预先指定的词汇量。
Semi-Supervised Bilingual Lexicon Induction with Two-way Interaction
半监督法是一种很有前途的双语词汇归纳方法。然而，以前的半监督方法没有充分利用隐藏在注释和非注释数据中的知识，这阻碍了其性能的进一步提高。在本文中，我们提出了一个新的半监督BLI框架，鼓励监督信号和无监督对齐之间的相互作用。我们设计了两种消息传递机制，分别命名为先验最优传输和双向词典更新，在注释和非注释数据之间传递知识。然后，我们执行半监督学习的基础上，循环或并行参数喂养例程更新我们的模型。我们的框架是一个通用框架，可以结合任何基于最优传输的监督和无监督BLI方法。在MUSE和VecMap数据集上的实验结果表明，我们的模型有显着的改善。消融研究也证明了监督信号和非监督对准之间的双向相互作用占整体性能的增益。远距离语言对的结果进一步说明了我们所提出的方法的优点和鲁棒性。
Unsupervised Learning for Lexicon-Based Classification
在基于词典的分类中，通过比较出现在两个相反词典中的单词的数量（例如积极和消极情绪）来为文档分配标签。创建这样的单词列表通常比标记实例更容易，并且如果分类性能不令人满意，它们可以由非专家进行调试。然而，很少有这种分类启发式的分析或理由。本文描述了一组假设，可以用来推导基于词汇的分类的概率理由，以及其预期的准确性分析。基于词典的分类背后的一个关键假设是，每个词典中的所有单词都具有同等的预测性。这在实践中很少是真的，这就是为什么基于词汇的方法通常被监督分类器优于，监督分类器从标记的实例中学习每个单词的不同权重。本文表明，它是可以学习这样的权重没有标记的数据，通过利用跨词典的共现统计。这提供了两全其美的效果：词典形式的轻度监督，以及比传统字数统计启发式更高准确性的数据驱动分类。
Revisiting Lexicon Evaluation in Unsupervised Word Discovery
针对无监督词汇发现中常用评估指标（归一化编辑距离）偏向大簇质量且忽略真实类别分布的问题，提出两种新指标：修正的簇内一致性指标和逆分布指标，通过实验证明其与真实分布更相关且更鲁棒。
Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings
双语词嵌入是自然语言处理模型中跨语言迁移的基石之一。它们可以只使用单语语料库构建，而无需监督，从而导致许多工作集中在无监督的BWE上。然而，目前大多数构建无监督BWE的方法都没有将其结果与基于易于访问的跨语言信号的方法进行比较。在本文中，我们认为，这种信号时，应始终考虑开发无监督斗轮挖掘机的方法。我们发现最有效的两种方法是：1）使用相同的单词作为种子词典（无监督方法错误地假设不适用于正字法不同的语言对）和2）将这些词典与通过将单词的罗马化版本与编辑距离阈值匹配而提取的对相结合。我们在13种非拉丁语言（和英语）上进行了实验，结果表明，这种廉价的信号效果很好，并且在遥远的语言对（如中文、日语、卡纳达语、泰米尔语和泰语）上使用更复杂的无监督方法时表现更好。此外，它们甚至可以与监督方法中使用的高质量词典竞争。我们的研究结果表明，这些训练信号不应该被忽视时，建立BWE，即使是遥远的语言。
Lex2Sent: A bagging approach to unsupervised sentiment analysis
本文提出Lex2Sent，一种无需GPU的无监督情感分析方法，通过训练嵌入模型计算文档与词典嵌入的距离并结合重采样实现bagging效果，性能优于传统词典方法并为少样本微调奠定基础。
Building Chinese Lexicons from Scratch by Unsupervised Short Document Self-Segmentation
中文文本分割是一个众所周知的难题。一方面，汉语中没有一个简单的“词”的概念，这使得基于规则的系统很难实现书面文本的分割，因此通常使用词汇和统计信息来实现这样的任务。另一方面，任何一段中文文本通常包括既不存在于词典中也不存在于训练数据中的段。更糟糕的是，这种看不见的序列可以被分割成许多完全不相关的单词，使得后续处理阶段变得困难。例如，使用基于词典的系统，序列？（欧盟委员会现任候任主席巴罗佐）可以分割成？(ba，希望，希望）和？？（loozuo，一个未定义的词）完全改变了句子的意义。本文介绍了一种新的、非常简单的、特别适合于处理短中文文档的算法。这种新的算法执行文本“自我分割”产生的结果相比，母语人士所取得的，而不使用任何词典或任何统计信息以外的输入文本。此外，它在寻找新的“单词”，特别是专有名词方面非常强大，并且非常适合从头开始构建词典。除了它的就业的例子提供了一些初步的结果。
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
双语词汇归纳（BLI）旨在将一种语言中的单词映射到另一种语言中的翻译，通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类，但还没有将两者结合起来的研究。在本文中，我们提出了一个简单而有效的机制，结合静态词嵌入和上下文表示，利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明，我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能，在监督设置中平均提高3.2点，在无监督设置中平均提高3.1点。
Unsupervised Boundary-Aware Language Model Pretraining for Chinese Sequence Labeling
边界信息对于各种中文语言处理任务，例如分词、词性标注和命名实体识别是至关重要的。以往的研究通常采用高质量的外部词汇，其中词汇项可以提供明确的边界信息。然而，要保证词典的质量，人类的努力是必不可少的，这一点被普遍忽视。在这项工作中，我们建议使用无监督的统计边界信息，并提出了一种架构，将信息直接编码到预先训练的语言模型中，从而产生边界感知BERT（BABERT）。我们将BABERT应用于中文序列标记任务的特征归纳。在10个中文序列标记基准数据集上的实验结果表明，BABERT算法能够在所有数据集上提供一致的改进。此外，我们的方法可以补充以前的监督词典探索，进一步的改进，可以实现与外部词典信息集成时。
Unsupervised Alignment of Distributional Word Embeddings
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
Using a Probabilistic Class-Based Lexicon for Lexical Ambiguity Resolution
本文提出了使用概率类为基础的词典消歧的目标词选择。我们的方法采用最小但精确的上下文信息消歧。也就是说，只使用由目标动词提供的信息，通过基于概率类别的词典的浓缩信息来丰富。类的诱导和微调的口头论点是在一个无监督的方式由EM为基础的聚类技术。该方法在现实世界的翻译评价中显示出良好的效果。
Bilingual Lexicon Induction through Unsupervised Machine Translation
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
声学模式的无监督发现技术正变得越来越有吸引力，因为大量的语音数据变得可用，但手动注释仍然很难获得。在本文中，我们提出了一种方法，无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式（类子词和类词）、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式，模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤，其次是三个级联阶段的声学，语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中，模型训练和解码产生更新的标签，词典和障碍可以进一步更新。通过这种方式，在每次迭代中分别优化模型参数和解码标签，并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验，对所提出的方法进行了测试，其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明，该系统不仅产生合理的性能本身，但也是现有的大词汇量ASR系统的补充。
Unsupervised Bilingual Lexicon Induction from Mono-lingual Multimodal Data
双语词汇归纳是将源语言中的词汇翻译成目标语言的过程，是一项长期存在的自然语言处理任务。近年来的研究表明，在不依赖平行语料库的情况下，以图像为中心进行词汇归纳是一种很有前途的方法。然而，这些基于视觉的方法简单地将单词与整个图像相关联，这被限制为翻译具体的单词并且需要以对象为中心的图像。我们人类可以更好地理解单词时，他们在一个句子的上下文。因此，在本文中，我们建议利用图像及其相关的字幕，以解决以前的方法的局限性。我们提出了一个多语言字幕模型，用不同的单语言多模态数据训练，将不同语言的单词映射到联合空间。从多语言字幕模型中归纳出两种类型的词语表示：语言特征和本地化视觉特征。从具有视觉语义约束的句子上下文中学习语言特征，这有利于学习视觉相关性较低的单词的翻译。局部视觉特征关注图像中与词相关的区域，从而消除了图像对显著视觉表征的限制。这两类特征在词汇翻译中是互补的。多语言对的实验结果表明，我们所提出的方法的有效性，大大优于以前的基于视觉的方法，而不使用任何平行的句子或种子词对的监督。
Low-resource bilingual lexicon extraction using graph based word embeddings
在这项工作中，我们专注于自动提取双语词典的语言对西班牙语-纳瓦特尔语的任务。这是一个低资源设置，只有少量的并行语料库可用。大多数下游方法在低资源条件下不能很好地工作。这对于使用矢量表示的方法（如Word 2 Vec）尤其如此。我们的建议是从图中构造双语词向量。该图是使用从无监督单词对齐方法获得的翻译对生成的。我们表明，在低资源的设置，这些类型的向量是成功的，在双语语义空间中表示的话。此外，当应用线性变换将单词从一种语言翻译成另一种语言时，我们基于图形的表示大大优于使用Word 2 Vec的流行设置。
Unsupervised Learning of Word-Category Guessing Rules
词典中的未知词是词性标注的一个重要问题。在本文中，我们提出了一种技术，完全无监督的统计收购的规则，猜测可能的词性未知的话。从词典和原始语料中归纳出三套互补的猜词规则：前缀形态规则、后缀形态规则和词尾猜词规则。学习布朗语料库的数据和规则集，具有很强的竞争力的性能进行了生产，并与国家的最先进的。
Unsupervised lexicon learning from speech is limited by representations rather than clustering
该研究通过对比不同表示和聚类方法，发现词段表示的差异是限制语音词典学习性能的主要因素。
Unsupervised Cross-lingual Transfer of Word Embedding Spaces
词嵌入的跨语言迁移旨在通过学习相应词嵌入空间上的转换函数来建立不同语言中词之间的语义映射。成功地解决这个问题将有利于许多下游任务，例如将文本分类模型从资源丰富的语言（例如英语）翻译为低资源语言。这个问题的监督方法依赖于跨语言监督的可用性，使用平行语料库或双语词典作为训练的标记数据，这可能不适用于许多低资源语言。本文提出了一种不需要任何跨语言标记数据的无监督学习方法。给定两个单语词嵌入空间的任何语言对，我们的算法优化的转换功能，同时在两个方向上的分布匹配的基础上，以及最大限度地减少回译损失。我们使用一个神经网络实现来计算Sinkhorn距离，一个定义良好的分布相似性度量，并通过反向传播优化我们的目标。我们对双语词典归纳和跨语言单词相似性预测的基准数据集的评估显示，与许多语言对的其他最先进的监督和无监督基线方法相比，所提出的方法具有更强或竞争力的性能。
Domain Adaptation of Neural Machine Translation by Lexicon Induction
先前已经注意到，神经机器翻译（NMT）对域移位非常敏感。在本文中，我们认为，这是一个双重影响的高度词汇化的性质，NMT，导致失败的句子与大量的未知词，缺乏监督的领域特定的词。为了解决这个问题，我们提出了一种无监督自适应方法，该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说，我们进行词汇归纳提取领域内的词汇，并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中，我们的方法实现了一致的改进，而不使用任何域内并行语句，在未适应的模型上提高了14个BLEU，在强反向翻译基线上提高了2个BLEU。
Automatic Construction of Context-Aware Sentiment Lexicon in the Financial Domain Using Direction-Dependent Words
金融文件的情感分析越来越受到人们的关注。这类文件最常见的例子包括分析师报告和经济新闻，对这些文件的分析经常被用来捕捉市场情绪的趋势。另一方面，情感分析在金融领域中的重要作用促使人们努力构建金融领域特定的情感词典。情感词典有助于解决各种文本挖掘任务，例如文本数据的无监督分类，同时减轻手动标记所需的繁重人力。构建有效的情感词典的挑战之一是，词的语义取向可能会根据其出现的上下文而改变。例如，“利润”这个词通常传达积极的情绪;然而，当这个词与另一个词“减少”并列时，与短语“利润减少”相关的情绪现在变成了消极的。因此，当人们开始考虑单词周围的上下文时，给定单词的情感可能会发生变化。在本文中，我们解决这个问题时，将上下文从一个给定的语料库建立情感词典。具体来说，我们构建了一个名为Senti-DD的方向依赖词组成的情感词典，它表示每个术语的一对方向词和方向依赖词。实验结果表明，Senti-DD具有较高的分类性能，证明了该方法在金融领域自动构建上下文感知情感词典的有效性。
Recovering the Zipfian Distribution in Unsupervised Term Discovery
针对无监督术语发现中中心聚类导致分布不均匀的问题，提出图聚类方法，在三种语言上显著优于K-means等，恢复更接近齐夫分布的词汇分布。
Semi-Supervised Learning for Bilingual Lexicon Induction
本文提出一种半监督双语词典归纳方法，通过整合已知语言知识并引入排序问题形式化，在无平行数据的情况下实现了优于现有技术的跨语言对齐效果。
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
Learning Part-of-Speech Guessing Rules from Lexicon: Extension to Non-Concatenative Operations
实词文本词性标注中的一个问题是词典中的未知词标注。在Mikheev（ACL-96 cmp-lg/9604022）中，提出了一种用于完全无监督统计获取规则的技术，该规则猜测未知词的可能词性。这种学习技术的一个过度简化假设是获得形态规则，这些规则只服从主词与词缀的简单连接。在本文中，我们将这种技术扩展到非连接后缀的情况下，并评估性能的增益。
Unsupervised Classification of English Words Based on Phonological Information: Discovery of Germanic and Latinate Clusters
本研究通过无监督聚类发现英语词源结构，表明语音学信息可帮助学习词源区分。
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展，也不可互换，这使得它们不适合规范化用户生成内容（UGC）。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中，我们提出了一种技术的基础上分布式表示的话（或词嵌入）。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式，以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点，我们提出了一个完全无监督的，可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论，优于目前可用的工具，巴西葡萄牙语。
Towards Unsupervised Speech Recognition Without Pronunciation Models
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
Consensus Sequence Segmentation
在本文中，我们介绍了一种方法来检测单词或短语在一个给定的字母序列，而不知道的词典。我们的线性时间无监督算法完全依赖于输入序列中字母之间的统计关系来检测单词边界的位置。我们将我们的算法与以前的方法进行比较，从无监督序列分割文献，并提供优越的分割基准的数量。
Discovering Bilingual Lexicons in Polyglot Word Embeddings
双语词典和短语表是现代机器翻译系统的重要资源。虽然最近的研究结果表明，没有任何种子词典或平行数据，高度准确的双语词典可以使用无监督的方法来学习，这种方法依赖于大型，干净的单语语料库的存在。在这项工作中，我们利用一个单一的跳过语法模型训练的多语种语料库产生多语种词嵌入，并提出了一个新的发现，一个令人惊讶的简单的约束最近邻采样技术在这个嵌入空间可以检索双语词典，即使在苛刻的社会媒体数据集主要是写在英语和罗马印地语，并经常表现出代码切换。我们的方法不需要单语语料库，种子词典，或任何其他此类资源。此外，在三个欧洲语言对，我们观察到，多语词嵌入确实学习了丰富的语义表示的单词和大量的双语词典可以检索使用我们的约束最近邻抽样。我们调查潜在的原因和下游应用程序的设置跨越干净的文本和嘈杂的社交媒体数据集，并在资源丰富和资源不足的语言对。
Enrichment of OntoSenseNet: Adding a Sense-annotated Telugu lexicon
本文介绍了丰富的OntoSenseNet -一个动词为中心的词汇资源，印度语言。这个资源包含一个新开发的泰卢固语-泰卢固语字典。这很重要，因为母语人士可以更好地注释的意义时，这个词和它的意思是在泰卢固语。因此，正在努力编制泰卢固语词典的软拷贝。我们的资源也有手动标注的黄金标准语料库，包括8483个动词，253个副词和1673个形容词。注释由母语使用者根据定义的注释指南完成。在本文中，我们提供了一个概述的注释过程，并提出了验证我们的资源，通过注释者之间的协议。讨论了意义类和意义类型的概念。此外，我们还讨论了词义标注语料库在改进词义消歧（WSD）任务中的潜力。泰卢固语WordNet是众包的同义词集中的单个单词的注释，并与开发的意义注释词典（OntoSenseNet）进行比较，以检查改进。此外，我们提出了一个特殊的分类（时空分类）的形容词。
Unsupervised Word Discovery: Boundary Detection with Clustering vs. Dynamic Programming
针对无监督语音词发现任务，提出基于相邻自监督特征差异预测边界再聚类构建词表的简单方法，在ZeroSpeech多语言基准上取得与优化后ES-KMeans+相近的最优效果且速度快近五倍。
Mostly-Unsupervised Statistical Segmentation of Japanese Kanji Sequences
由于书面日语中缺少单词分隔符，因此分词通常被认为是处理日语文本的关键第一步。典型的日本分割算法依赖于词典和句法分析或预分割数据，但这些都是劳动密集型的，并且词典-句法技术容易受到未知词问题的影响。相比之下，我们介绍了一种新的，更强大的统计方法，利用未分割的训练数据。尽管它的简单性，该算法产生的长汉字序列的性能相当，有时超过国家的最先进的形态分析仪在各种错误度量。该算法也优于另一个大部分无监督的统计算法以前提出的中国。此外，我们提出了一个两级的注释计划，日本将多个分割粒度，并引入两个新的评价指标，都基于一个兼容的括号的概念，可以同时考虑多个粒度。
Letter to Sound Rules for Accented Lexicon Compression
本文提出了一种可训练的方法，从一个给定的词典中产生字母的声音规则，用于发音的词汇外的单词，并作为一种方法，词典压缩。由于一串字母和一串音素之间的关系，代表其发音的许多语言是不平凡的，我们讨论了两个对齐程序，一个全自动和一个手播种产生合理的路线的字母电话。自顶向下归纳树模型在对齐的条目上训练。我们展示了如何结合音素/重音预测优于单独的预测过程，更好的是，当包括在模型中的最后一个音素转录和部分语音信息。对于我们测试的词汇，我们的模型对OALD的单词准确率（包括重音）为78%，CMU为62%，BRULEX为94%。训练集上的极高分数允许大幅减少大小（超过1/20）。网址：http://tcts.fpms.ac.be/synthesis/mbrdico
A Relaxed Matching Procedure for Unsupervised BLI
近年来，无平行语料库的无监督双语词汇归纳（BLI）引起了人们的广泛关注。BLI任务方法中的关键部分之一是匹配过程。以往的研究对翻译配对的约束太强，导致了许多违反直觉的翻译配对。因此，我们提出了一个宽松的匹配过程，以找到两种语言之间的更精确的匹配。我们还发现，双向对齐源语言和目标语言嵌入空间将带来显着的改善。我们遵循前面的迭代框架进行实验。标准基准测试结果表明，我们提出的方法的有效性，大大优于以前的无监督方法。
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
在本文中，我们提出了LaPraDoR，这是一种预训练的双塔密集检索器，不需要任何监督数据进行训练。具体来说，我们首先提出迭代对比学习（ICoL），迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量，而且还将缓存示例的表示保持在相同的隐藏空间中。然后，我们提出了词汇增强的稠密检索（LEDR）作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准，包括18个数据集的9个zero-shot文本检索任务。实验结果表明，与有监督的稠密检索模型相比，LaPraDoR具有最先进的性能，进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比，我们的词汇增强方法可以在毫秒内运行（快22.5倍），同时实现卓越的性能。
Unsupervised Learning of Morphology without Morphemes
介绍了基于全词形态学理论的第一个形态学学习器，并给出了初步的评价结果。该程序Whole Word Morphologizer将POS标记的词典作为输入，在不尝试发现或识别词素的情况下诱导形态关系，然后能够生成学习样本之外的新词。使用纯全词理论，生成的新词的准确率（精确度）高达80%，并且在例程中添加事后调整后为92%。
Leveraging ChatGPT As Text Annotation Tool For Sentiment Analysis
本研究提出利用ChatGPT作为情感分析的数据标注工具，实验表明其在推文和亚马逊评论数据集上的准确率分别比最佳词典算法提升20%和25%，显著优于现有无监督方法。
Should Top-Down Clustering Affect Boundaries in Unsupervised Word Discovery?
本文比较无监督词汇发现中的自下而上与自上而下边界选择，发现简单自下而上方法在 ZeroSpeech 上性能相当且快近五倍，瓶颈主要在聚类。
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
Good parts first - a new algorithm for approximate search in lexica and string databases
提出了一种新的有效的电子词典近似搜索方法。给定一个输入字符串（模式）和一个相似性阈值，该算法检索词典中与该模式足够相似的所有条目。搜索是以子搜索的形式组织的，这些子搜索总是从精确的部分匹配开始，其中输入模式的子串与词典单词的子串对齐。之后，这种部分匹配逐步扩展到更大的子串。为了将模式的其它部分与词典条目的对应部分对齐，在每个后续步骤中容许更多的错误。为了支持这种可以在模式的任何部分开始的对齐顺序，词典被表示为能够立即访问词典单词的任何子串并允许在两个方向上扩展这样的子串的结构。近似搜索过程的实验评估显示显着的效率提高相比，现有的技术。由于该技术可以用于大的误差范围，它提供了有趣的可能性，近似搜索的特殊集合的“长”字符串，如短语，句子，或书籍，
On Eliciting Syntax from Language Models via Hashing
该研究探索利用二值表示的信息保留能力从语言模型提取句法，通过升级比特级CKY、采用无监督对比哈希训练及新型损失函数，实现低成本获取高质量句法分析树。
A Simple Approach to Learning Unsupervised Multilingual Embeddings
双语环境下跨语言嵌入的无监督学习的最新进展推动了在没有任何监督的情况下学习几种语言的共享嵌入空间。解决后一个问题的流行框架是联合解决以下两个子问题：1）学习几对语言之间的无监督单词对齐，以及2）学习如何将每种语言的单语嵌入映射到共享的多语言空间。相比之下，我们提出了一个简单的，两个阶段的框架，我们解耦上述两个子问题，并分别使用现有的技术解决它们。该方法在双语词典归纳、跨语言词相似度、多语言文档分类和多语言依存句法分析等任务中获得了令人惊讶的良好性能。当涉及远距离语言时，所提出的解决方案说明了鲁棒性，并且优于现有的无监督多语言词嵌入方法。总的来说，我们的实验结果鼓励开发多阶段模型，这样的挑战性问题。
End-to-End Neural Word Alignment Outperforms GIZA++
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
Refinement of Unsupervised Cross-Lingual Word Embeddings
跨语言词嵌入旨在通过允许学习多语言词表示，即使不使用任何直接的双语信号，来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法，将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换，它假设语言向量空间是同构的。然而，这个标准并不一定成立，特别是对于形态丰富的语言。在本文中，我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此，并强制执行长度和中心不变性，从而允许更好地对齐跨语言嵌入。实验结果表明，我们的方法的有效性，因为在大多数情况下，它优于国家的最先进的方法在双语词汇归纳任务。
Quantized Wasserstein Procrustes Alignment of Word Embedding Spaces
最优传输（OT）提供了一个有用的几何框架，以估计无监督跨语言词嵌入（CLWE）模型下的排列矩阵，将对齐任务作为Wasserstein-Procrustes问题。然而，通过Sinkhorn的线性规划算法和近似OT求解器用于计算置换矩阵，这带来了显著的计算负担，因为它们在输入大小上分别按三次和二次缩放。这使得对于较大的输入大小精确地计算OT距离变得缓慢且不可行，从而导致置换矩阵的近似质量差，并且随后导致学习的传递函数或映射器的鲁棒性较低。本文提出了一种基于无监督投影的CLWE模型，称为量化Wasserstein Procrustes（qWP）。qWP依赖于源和目标单语嵌入空间的量化步长来估计给定廉价采样过程的置换矩阵。这种方法大大提高了近似质量的经验OT求解器给定的固定计算成本。我们证明，qWP达到最先进的结果双语词典归纳（BLI）任务。
Unsupervised Alignment of Embeddings with Wasserstein Procrustes
我们考虑在高维空间中对齐两组点的问题，这在自然语言处理和计算机视觉中有许多应用。作为一个例子，它最近表明，它是可能的，推断双语词典，没有监督数据，通过对齐词嵌入训练单语数据。这些最新的进展是基于对抗训练来学习两个嵌入之间的映射。在本文中，我们建议使用另一种配方，基于联合估计的正交矩阵和置换矩阵。虽然这个问题是不凸的，我们建议初始化我们的优化算法，使用凸松弛，传统上认为图同构问题。我们提出了一个随机算法，以最小化我们的成本函数在大规模的问题。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。在这项任务中，我们的方法获得了最先进的结果，同时需要比竞争方法更少的计算资源。
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。