Subword Segmental Machine Translation: Unifying Segmentation and Target Sentence Generation
University of Cape Town(开普敦大学)
SSMT统一子词分段与翻译生成,通过动态解码提升黏着语言翻译质量,尤其在低资源场景下效果显著。
2023-05-11 cs.CL
A segmental framework for fully-unsupervised large-vocabulary speech recognition
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Google, Inc.(谷歌公司)
零资源语音技术是一个不断发展的研究领域,其目的是在没有transmittance,词典或语言模型文本的情况下开发语音处理方法。早期的术语发现系统专注于识别语料库中孤立的重复模式,而最近的全覆盖系统试图将音频完全分割和聚类成类似单词的单元--有效地执行无监督的语音识别。本文介绍了第一次尝试,我们知道这样一个系统应用于大词汇量的多说话人数据。我们的系统使用贝叶斯建模框架与分段词表示:每个词段表示为一个固定的维度的声学嵌入,通过映射的特征帧序列到一个单一的嵌入向量。我们将我们的系统在英语和Xitsonga数据集上与最先进的基线进行比较,使用各种测量方法,包括单词出错率(通过将无监督输出映射到地面真实transmittance获得)。非常高的字出错率的报告--在70- 80%的顺序为发言者依赖和80- 95%的发言者无关的系统--突出了这项任务的难度。然而,在集群质量和分词指标方面,我们表明,通过实施一致的自上而下的分割,同时也使用自下而上的知识,从检测到的音节边界,单扬声器和多扬声器版本的系统优于一个纯粹的自下而上的单扬声器音节为基础的方法。我们还表明,所发现的集群可以通过使用无监督的自动编码器样的特征提取器来学习更好的帧级特征(在嵌入之前),从而减少说话者和性别的特定性。我们的系统发现的集群仍然不如那些无监督的长期发现系统纯,但提供更大的覆盖面。
2017-09-16 cs.CL cs.LG
An embedded segmental K-means model for unsupervised segmentation and clustering of speech
Stellenbosch University(斯泰伦博斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Edinburgh(爱丁堡大学)
无标记语音的无监督分割和聚类是零资源语音处理的核心问题。大多数方法都处于方法论的极端:一些使用具有收敛保证的概率贝叶斯模型,而另一些则选择更有效的启发式技术。尽管在以前的工作中具有竞争力的性能,完整的贝叶斯方法是难以扩展到大型语音语料库。我们介绍了一个近似最近的贝叶斯模型,仍然有一个明确的目标函数,但提高了效率,使用硬聚类和分割,而不是完整的贝叶斯推理。与贝叶斯模型类似,嵌入式分段K均值模型(ES-KMeans)将任意长度的词段表示为固定维的声学词嵌入。我们首先在普通英语和Xitsonga数据集(5小时和2.5小时的语音)上将ES-KMeans与以前的方法进行比较:ES-KMeans在分词方面优于领先的探试法,给出了与贝叶斯模型相似的分数,同时以更少的超参数快5倍。然而,它的集群是不纯的比其他模型。然后,我们通过将ES-KMeans应用于2017年零资源语音挑战赛的5种语言(长达45小时),将其扩展到更大的语料库,与挑战基线相比,它具有竞争力。
2017-09-05 cs.CL cs.LG
Segmental Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
我们引入分段循环神经网络(SRNN),它定义,给定一个输入序列,一个联合概率分布的分段的输入和标签的段。输入段的表示(即,输入的相邻标记)通过使用双向递归神经网络对其组成标记进行编码来计算,并且这些“段嵌入”用于定义与输出标签的兼容性得分。这些本地的兼容性分数集成使用一个全球性的半马尔可夫条件随机场。无论是完全监督训练(其中观察到段边界和标签)还是部分监督训练(其中段边界是潜在的)都是直接的。手写体识别和联合中文分词/词性标注的实验表明,与没有显式表示段的模型,如BIO标记方案和连接主义时间分类(CTC)相比,SRNN获得了更高的准确率。
2016-03-01 cs.CL cs.LG
Universal Word Segmentation: Implementation and Interpretation
Uppsala University(乌普萨拉大学)
分词是一个低级的NLP任务,对于相当多的语言来说是不平凡的。在本文中,我们提出了一个序列标记框架,并将其应用到分词的广泛的语言与不同的写作系统和类型学特征。此外,我们还研究了各种类型因素与分词准确率之间的相关性。实验结果表明,分词准确率与词边界标记呈正相关,与非分词词的数量呈负相关。基于分析,我们设计了一小部分特定语言的设置,并在通用数据集上广泛评估了分割系统。我们的模型在所有UD语言上都获得了最先进的精度。与以前的工作相比,它在非平凡的语言上表现得更好,例如中文,日语,阿拉伯语和希伯来语。
2018-07-09 cs.CL
Assessing the Ability of Neural TTS Systems to Model Consonant-Induced F0 Perturbation
University at Buffalo(布法罗大学);Australian National University(澳大利亚国立大学)
本文提出一种段级声学探针框架,评估神经TTS模型对辅音诱导F0扰动的再现能力,发现高频率词汇表现准确,但低频率词汇泛化差,表明系统更依赖词汇级记忆而非抽象段级声学编码。
2026-03-22 cs.AI cs.CL cs.SD
Subword-Level Language Identification for Intra-Word Code-Switching
University of Stuttgart(斯图加特大学);New York University(纽约大学)
语码转换(CS)是会话中两种或两种以上语言交替出现的现象,传统上是在每一个标记都是一种语言的假设下进行的。然而,如果至少有一种语言在形态上是丰富的,那么大量的词可以由来自不止一种语言的语素组成(词内CS)。在本文中,我们扩展的语言识别任务的子字级别,这样它包括分裂混合的话,同时标记每个部分的语言ID。我们进一步提出了一个模型,这是基于分段递归神经网络的任务。在一个新的西班牙-Wixarika数据集和一个适应的德国-土耳其数据集的实验中,我们提出的模型表现略好于或大致相当于我们的最佳基线,分别。然而,仅考虑混合词,它的表现远远优于所有基线。
2019-04-03 cs.CL cs.LG
A Statistical Model for Word Discovery in Transcribed Speech
提出了一种连续语音分词和词发现的统计模型。描述了一种基于该模型的增量式无监督学习词边界推断算法。实证测试的结果表明,该算法是具有竞争力的其他模型已被用于类似的任务。
2001-11-30 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh(爱丁堡大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在只有未标记语音数据可用的环境中,语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下,需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型,分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中,一个潜在的词段(任意长度)嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现,然后在该空间中构建全词声学模型,同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务,通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率,优于以前的HMM为基础的系统约10%的绝对。此外,与基线相比,我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Linear Segmentation and Segment Significance
我们提出了一种新的方法来发现一个分段的话语结构的文件,同时分类段功能。我们演示了如何检索名词短语和代词形式,以及零和加权方案,确定主题化分割。此外,我们使用术语分布来帮助识别细分在文档中所扮演的角色。最后,我们提出的评价结果,在精度和召回,超过以前的方法。
1998-09-15 cs.CL
Unwritten Languages Demand Attention Too! Word Discovery with Encoder-Decoder Models
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);Institute of Informatics, UFRGS(南里奥格兰德联邦大学信息学研究所)
单词发现是从未分割的文本中提取单词的任务。在本文中,我们研究在何种程度上神经网络可以应用到这个任务中的一个现实的非书面语言的情况下,只有小语料库和有限的注释。我们调查了两种情况:一种是没有监督,另一种是有限制的监督,可以访问最频繁的单词。获得的结果表明,通过仅用5,157个句子训练编码器-解码器神经机器翻译系统,可以检索至少27%的金标准词汇。这一结果与特定任务贝叶斯非参数模型的结果接近。此外,我们的方法具有生成翻译对齐的优点,可以用来创建双语词典。从未来的角度来看,这种方法也非常适合直接从语音中工作。
2017-09-19 cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute of Informatics, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所)
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来,大多数序列到序列模型都使用了注意力机制[2,3,4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐,但我们缺乏量化其质量的指标,不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型(CNN,RNN和基于Transformer-based)的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对,并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言(都与法语对齐)的低资源场景中的实验表明,RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵(ANE)的内在评价对齐质量。最后,我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型,该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
The Learning Dynamics of Subword Segmentation for Morphologically Diverse Languages
Department of Computer Science University of Cape Town(计算机科学系 哥伦比亚大学)
本文扩展支持预训练微调的SSLM框架,针对三类形态差异语言研究动态子词切分的学习演化规律,验证该方法可提升低资源形态复杂语言的生成与跨语言迁移效果。
2025-11-19 cs.CL
How Does Language Influence Documentation Workflow? Unsupervised Word Discovery Using Translations in Multiple Languages
Laboratoire d’Informatique de Grenoble (LIG)(格勒诺布尔计算机实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Sheffield(谢菲尔德大学);UFRGS(南里奥格兰德联邦大学)
对于语言文档举措,转录是一种昂贵的资源:一分钟的音频估计需要语言学家平均一个半小时的工作(Austin和Sallabank,2013年)。最近,在资源丰富的语言中收集对齐的翻译成为确保记录的事后可解释性的流行解决方案(Adda et al. 2016)。在本文中,我们调查语言相关的影响,在自动方法计算语言文档。我们将双语Mboshi-French平行语料库(Godard et al. 2017)翻译成其他四种语言,并执行双语根无监督单词发现。我们的研究结果暗示了资源丰富的语言对输出质量的影响。然而,通过结合不同双语模型学习到的信息,我们只能略微提高分割的质量。
2019-10-11 cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University(穆罕默德·阿里·真纳大学);FAST NUCES(巴基斯坦国家计算机与新兴科学大学)
两种语言之间的词汇相似性揭示了许多有趣的语言学见解,如遗传关系,相互理解,以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面,本文提出了一种方法的语音编辑距离(PED),使用软比较的字母,使用与它们相关的发音功能。该系统将单词转换为相应的国际音标(IPA),然后将IPA转换为其发音特征集。之后,使用所提出的方法比较发音特征集的列表。例如,PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地,希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93,而对于并置比较,它们基于IPA的编辑距离分别为4和2。实验用六种语言(阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语)进行。在这方面,我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此,与所提出的方法,我们发现的遗传亲和力,相似性,和借用/外来词,尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
A statistical model for word discovery in child directed speech
提出了一种用于儿童引导语音中的分词和词发现的统计模型。一个增量的无监督学习算法来推断词边界的基础上,这个模型和实证测试的结果表明,该算法是有竞争力的其他模型已被用于类似的任务也被提出。
1999-10-13 cs.CL cs.LG
MAP Lexicon is useful for segmentation and word discovery in child-directed speech
由于论文中提出的基本模型发生了相当根本的变化,它已从档案中撤回。
1999-10-14 cs.CL cs.LG
Signer-independent Fingerspelling Recognition with Deep Neural Network Adaptation
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们研究了在一个与签名者无关的环境中识别美国手语中的手指拼写字母序列的问题。指法拼写序列识别起来既具有挑战性又很重要,因为它们用于许多实义词,如专有名词和技术术语。以前的工作表明,它是可能的,以达到近90%的准确率在手指拼写识别的签名依赖的设置。然而,由于签名者之间的显著差异,加上缺乏可用的训练数据,更现实的签名者无关设置带来了挑战。我们调查这个问题的方法启发自动语音识别。我们从先前工作中表现最好的方法开始,基于串联模型和分段条件随机场(SCRF),具有基于字母和语音特征的深度神经网络(DNN)分类器的特征。使用DNN自适应,我们发现可以弥合签名者相关和签名者无关性能之间的很大一部分差距。仅使用约115个转录的字从目标签名者的适应,我们得到的字母准确率高达82.7%的帧级自适应标签和69.7%,只有字标签。
2016-02-13 cs.CL cs.CV cs.NE
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文描述了我们参与SemEval-2018任务9的上位词发现系统,该系统旨在发现输入概念或实体的最佳(一组)候选上位词,给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务,并实证研究各种神经网络模型,以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法,包括词嵌入和意义嵌入,以获得更好的性能。
2018-05-26 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business(雅典经济与商业大学)
由于词嵌入是许多NLP任务中最受欢迎的输入,因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题,构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库,考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面,以及。此外,我们还创建了一个希腊语版本的WordSim353语料库,用于单词相似性的基本评估。我们测试了七个词向量模型,我们的评估表明,我们能够创建有意义的表示。最后,我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
Dynamic Word Embeddings for Evolving Semantic Discovery
Rutgers University(罗格斯大学);Technicolor Research(特艺集团研究院);Amazon(亚马逊)
词汇进化是指随着时间的推移,词汇的含义和联想发生变化,这是人类语言进化的副产品。通过研究词汇的演变,我们可以推断出人类历史不同时期的社会趋势和语言结构。然而,传统的技术,如词表示学习不足以捕捉不断变化的语言结构和词汇。在本文中,我们开发了一个动态统计模型来学习时间感知的词向量表示。我们提出了一个模型,同时学习时间感知嵌入,并解决由此产生的“对齐问题”。该模型在抓取的NYTimes数据集上进行训练。此外,我们开发了多种直观的评价策略的时间词嵌入。我们的定性和定量测试表明,我们的方法不仅可靠地捕捉到这种随时间的演变,而且在语义准确性和对齐质量方面始终优于最先进的时间嵌入方法。
2018-02-13 cs.CL stat.ML
Automatic Discovery of Non-Compositional Compounds in Parallel Data
将文本自动分割成最小的内容承载单元是一个尚未解决的问题,即使对于英语这样的语言也是如此。单词之间的空格提供了一个简单的第一近似,但这种近似对于机器翻译(MT)来说还不够好,因为许多单词序列不是逐字翻译的。本文提出了一种有效的自动方法来发现作为一个单位翻译的单词序列。该方法通过比较从两种语言的平行文本中导出的统计翻译模型对来进行。它可以在每次迭代中发现数百个非合成化合物,并从较短的化合物中构造出较长的化合物。对一个简单机械翻译任务的客观评价表明,该方法对提高机器翻译输出质量具有潜力。该方法对数据的假设很少,因此可以应用于并行文本以外的并行数据,如单词拼写和发音。
1997-06-24 cmp-lg cs.CL
WordBias: An Interactive Visual Tool for Discovering Intersectional Biases Encoded in Word Embeddings
Stony Brook University(石溪大学)
交叉偏见是由多种社会因素如性别,性,种族,残疾,宗教等的重叠造成的偏见。最近的一项研究表明,词嵌入模型可能充满对交叉群体的偏见,如非洲裔美国女性等。解决这种交叉偏见的第一步是识别它们。然而,发现对不同交叉群体的偏见仍然是一项具有挑战性的任务。在这项工作中,我们提出了WordBias,一个交互式的视觉工具,旨在探讨偏见对静态词嵌入编码的交叉组。给定一个预训练的静态词嵌入,WordBias根据种族、年龄等计算每个词与不同群体的关联,然后使用一个新颖的交互式界面将它们可视化。使用一个案例研究,我们展示了如何字偏见可以帮助发现偏见对交叉群体,如黑人穆斯林男性,贫困女性等编码在词嵌入。此外,我们还使用来自专家访谈的定性反馈来评估我们的工具。该工具的源代码可以在github.com/bhavyaghai/WordBias上公开访问,以供复制。
2021-09-06 cs.AI cs.CL cs.HC
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University(斯泰伦博斯大学)
最近的无监督语音分割工作使用了自监督模型,其中包含联合训练的电话和分词模块。相反,本文重新审视了一个旧的方法,分词:自下而上的电话样单位的发现是第一次,符号分词,然后在发现的单位(不影响较低的水平)。为此,我提出了一个新的单元发现模型,一个新的符号分词模型,然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本,并具有鼓励更长单位的额外持续时间惩罚。具体地,对于声学单元发现,使用持续时间惩罚动态规划(DPDP)与对比预测编码模型作为评分网络。对于分词,DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果,以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上,它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明,链式DPDP系统分割较短的填充字,但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
The Zero Resource Speech Challenge 2020: Discovering discrete subword and word units
CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Brno Univ. of Technology(布尔诺理工大学);Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Facebook A.I. Research(脸书人工智能研究院)
我们提出了零资源语音挑战2020,其目的是从没有任何标签的原始音频信号中学习语音表示。它结合了之前两个基准测试(2017年和2019年)的数据集和指标,并具有两个任务,可以利用两个级别的语音表示。第一个任务是发现优化语音合成质量的低比特率子字表示;第二个任务是从未分割的原始语音中发现类字单元。我们提出了20个提交的模型的结果,并讨论了无监督语音学习的主要研究结果的影响。
2020-10-12 cs.AI cs.CL
Revisiting Lexicon Evaluation in Unsupervised Word Discovery
Google Africa PhD Fellowship(谷歌非洲博士 fellowship);South African National Research Foundation(南非国家研究基金会)
针对无监督词汇发现中常用评估指标(归一化编辑距离)偏向大簇质量且忽略真实类别分布的问题,提出两种新指标:修正的簇内一致性指标和逆分布指标,通过实验证明其与真实分布更相关且更鲁棒。
2026-09-22 cs.CL eess.AS
Word Discovery in Visually Grounded, Self-Supervised Speech Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种视觉接地方法,在HuBERT或wav2vec2.0模型上训练后,其自注意力头涌现出词分割与聚类能力,视觉接地是关键,在Buckeye和ZeroSpeech任务上表现优于或持平现有方法。
2023-06-20 cs.AI cs.CL cs.SD
An Efficient, Probabilistically Sound Algorithm for Segmentation and Word Discovery
本文提出了一种基于模型的,无监督的算法恢复自然语言文本中的字边界,他们已被删除。该算法源自生成文本的源的概率模型。该模型的基本结构被抽象地指定,以便可以以模块化的方式替换语音,词序和词频的详细组件模型。该模型产生一个独立的语言,先验概率分布的所有可能的序列的所有可能的单词在一个给定的字母表,基于假设的输入是通过连接单词从一个固定的,但未知的词典。该模型是不寻常的,因为它把一个完整的语料库的生成,无论长度,作为一个单一的事件在概率空间。因此,该算法不会估计单词的概率分布;相反,它试图计算可能构成观察文本基础的各种单词序列的先验概率。实验表明,该算法比其他算法更有效,至少当话语边界给出和文本包括大量的短话语的音素成绩单的父母对幼儿的自发讲话。保留字:贝叶斯语法归纳,概率模型,最小描述长度(MDL),无监督学习,认知建模,语言习得,切分
1999-05-12 cs.CL cs.LG
Bangla Word Clustering Based on Tri-gram, 4-gram and 5-gram Language Model
Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
在本文中,我们描述了一种研究方法,产生孟加拉语词集群的基础上,有关的意义在语言和上下文相似性。词聚类的重要性在于词性标注、词义消歧、文本分类、推荐系统、拼写检查、语法检查、知识发现以及许多其他自然语言处理(NLP)应用。在词聚类的历史上,英语和其他一些语言已经实现了一些有效的词聚类方法。但是由于资源的缺乏,孟加拉语的词聚类仍然没有得到有效的实现。目前,其执行工作正处于起步阶段。在一些基于一个关键词的前后五个词的英语词聚类研究中,他们发现了一个有效的结果。现在,我们正在尝试为孟加拉语实现词聚类的三元组,4元组和5元组模型,以观察其中哪一个是最好的。我们已经开始了我们的研究与相当大的语料库约1万孟加拉语单词。我们在这项研究中使用了机器学习技术。我们将生成词聚类,并通过测试一些不同的阈值来分析聚类。
2017-01-27 cs.CL
How to Generate a Good Word Embedding?
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
我们分析了词嵌入训练的三个关键组成部分:模型、语料库和训练参数。我们系统化现有的基于神经网络的词嵌入算法,并使用相同的语料库进行比较。我们以三种方式评估每个词嵌入:分析其语义属性,将其用作监督任务的特征,并将其用于初始化神经网络。我们还提供了几个简单的训练词嵌入的准则。首先,我们发现语料库领域比语料库规模更重要。我们建议选择一个合适的领域的语料库为所需的任务,之后,使用更大的语料库会产生更好的结果。其次,我们发现,在大多数情况下,更快的模型提供了足够的性能,如果训练语料库足够大,可以使用更复杂的模型。第三,迭代的早期停止度量应该依赖于所需任务的开发集,而不是训练嵌入的验证损失。
2015-07-20 cs.CL
Multilingual Substitution-based Word Sense Induction
Lomonosov Moscow State University(莫斯科罗蒙诺索夫大学);SaluteDevices(萨卢特设备公司);University of Oslo(奥斯陆大学)
针对现有词义归纳方法难适配新语言的问题,提出基于替换的多语言WSI方法,依托覆盖百种语言的多语言模型,少适配即可用,在英语数据集上性能比肩单语方法,更适配低资源语言需求。
2024-05-17 cs.CL
A small Griko-Italian speech translation corpus
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);Univ. of Notre Dame(圣母大学);Univ. of Ioannina(约阿尼纳大学);UFRGS(南里奥格兰德联邦大学);University of Essex(埃塞克斯大学)
本文提出了一种扩展的资源非常低的并行语料库收集的濒危语言,Griko,使其有用的计算研究。该语料库由330话语(约20分钟的讲话),已被转录和翻译成意大利语,与注释字级语音转录和语音翻译对齐。语料库还包括形态句法标签和词级注释。应用自动单元发现方法,还生成了伪音素。我们详细介绍了语料库是如何收集,清理和处理的,我们说明了它在零资源任务的使用,提出了一些基线结果的语音翻译对齐和无监督单词发现的任务。该数据集可在线获得,旨在鼓励计算语言文档实验的可复制性和多样性。
2018-07-27 cs.CL
Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨神经网络模型,学习相关联的语音字幕段与语义相关的自然图像,他们所指的部分。我们证明,这些视听关联定位出现从网络内部表示学习作为一个副产品的训练,以执行图像-音频检索任务。我们的模型直接对图像像素和语音波形进行操作,并且在训练期间不依赖于任何传统的标签,分割或模态之间对齐形式的监督。我们使用Places 205和ADE 20 k数据集进行分析,证明我们的模型隐式地学习语义耦合的对象和单词检测器。
2018-04-04 cs.CL cs.CV cs.SD
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec(根特大学-imec IDLab实验室)
当前,在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而,人们对这些模型学习的字符级模式知之甚少。此外,模型往往只是定量比较,而缺乏定性分析。在本文中,我们研究了神经网络学习哪些字符级模式,以及这些模式是否与手动定义的分词和注释一致。为此,我们将上下文分解技术(Murdoch et al. 2018)扩展到卷积神经网络,这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务,形态标记三种不同的语言,并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
Discovering Lexical Gaps Using Embeddings from Multilingual LLMs
Department of Cognitive Science, University of California San Diego(加州大学圣地亚哥分校认知科学系)
提出一种数据驱动框架,通过多语言大语言模型的上下文嵌入计算语义相似度,以识别跨语言词汇空缺,在韩英和英韩方向上分别达到0.81和0.76的AUC。
2026-05-23 cs.CL cs.LG
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University(哈佛大学)
本文提出结合跨语言迁移学习与无监督聚类的方法,用于发现低资源班图语言的形态特征,在Giriama语言中发现2,455个词的名词类分配及两个新形态模式,通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
Discovering and Interpreting Biased Concepts in Online Communities
语言带有隐含的人类偏见,既反映了人们所携带的刻板印象,又使之永久化。最近,基于ML的NLP方法,如词嵌入,已被证明可以以惊人的准确性学习这种语言偏见。这种词嵌入的能力已经被成功地利用作为量化和研究人类偏见的工具。然而,以前的研究只考虑了一组预定义的偏见概念来证明(例如,性别是否或多或少与特定的工作有关),或者只是发现有偏见的词语,而不帮助理解它们在概念层面的含义。因此,这些方法可能无法找到事先没有定义的偏见概念,或者他们发现的偏见难以解释和研究。这可能使现有的方法不适合发现和解释在线社区中的偏见,因为这些社区可能携带与主流文化不同的偏见。本文改进,扩展,并评估我们以前的数据驱动的方法,自动发现和帮助解释有偏见的概念编码在词嵌入。我们应用这种方法来研究在线社区中使用的语言中存在的偏见概念,并通过实验证明了我们的方法的有效性和稳定性
2022-01-24 cs.AI cs.CL cs.CY
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)(数据科学与计算思维学院(南非大学))
声学词嵌入(AWE)是可变长度语音段的固定维表示。对于没有标记数据的零资源语言,一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输:在几种资源丰富的语言上训练有监督的AWE模型,然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先,我们证明了来自无监督术语发现系统的术语可以用于对比自我监督,从而改进了以前的无监督单语AWE模型。其次,我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现,自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型,在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
Discovery of Linguistic Relations Using Lexical Attraction
这项工作的动机是两个长期目标:了解人类如何学习语言和构建能够理解语言的程序。使用一种能使相关特征显式化的表征是成功学习和理解的先决条件。因此,我选择在我的模型中显式地表示单个单词之间的关系。词汇吸引被定义为这种关系的可能性。我介绍了一类新的概率语言模型命名为词汇吸引力模型,它可以表示长距离的话之间的关系,我正式使用信息论这类新的模型。在词汇吸引的框架内,我开发了一个无监督的语言习得程序,学习识别给定句子中的语言关系。程序中唯一明确表示的语言知识是词汇吸引。没有初始的语法或词汇内置,唯一的输入是原始文本。学习和处理是相互交错的。处理器使用由学习器检测到的结构来对输入施加结构。这种结构使学习者能够检测更高级别的干扰。使用这种自举程序,该程序在1亿字的美联社材料上进行了训练,并且能够在寻找内容词之间的关系时达到60%的准确率和50%的召回率。利用词汇吸引力的知识,该程序可以识别句法上模棱两可的句子中的正确关系,例如“我看到自由女神像飞过纽约”。''
1998-05-27 cmp-lg cs.CL
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion(Dailymotion公司)
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数,以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库,使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此,我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析(PLSA)假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明,所提出的神经主题模型是非常有效的捕获相关的主题。此外,考虑到困惑度量,进行评估基准测试表明,我们的主题模型优于潜在的Dirichlet分配(LDA)模型,这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
Learning Word-Like Units from Joint Audio-Visual Analysis
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
给定一个图像和语音字幕的集合,我们提出了一种方法,用于发现连续语音信号中的单词状声学单元,并将它们接地到语义相关的图像区域。例如,我们的模型能够检测话语中单词“灯塔”的口语实例,并将它们与包含灯塔的图像区域相关联。我们不使用任何形式的传统自动语音识别,也不使用任何文本翻译或传统的语言注释。我们的模型有效地实现了一种形式的口语习得,其中计算机不仅学习通过声音识别单词类别,而且还通过将它们置于图像中来丰富它学习的单词的语义。
2017-05-24 cs.CL cs.CV
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Discovering and Categorising Language Biases in Reddit
King’s College London(伦敦国王学院)
我们提出了一种数据驱动的方法,使用词嵌入发现和分类的语言偏见的讨论平台Reddit。作为孤立的用户社区的空间,Reddit等平台越来越多地与种族主义,性别歧视和其他形式的歧视问题联系在一起。因此,有必要监测这些群体的语言。在大型文本数据集中跟踪语言偏见的最有前途的人工智能方法之一涉及词嵌入,它将文本转换为高维密集向量并捕获词之间的语义关系。然而,以前的研究需要预先定义的潜在偏倚集来研究,例如,性别是否或多或少与特定类型的工作有关。这使得这些方法不适合处理较小的以社区为中心的数据集,例如Reddit上的数据集,其中包含较小的词汇和俚语,以及可能特定于该社区的偏见。本文提出了一种数据驱动的方法来自动发现Reddit上在线话语社区词汇中编码的语言偏见。在我们的方法中,受保护的属性连接到数据中发现的评估词,然后通过语义分析系统进行分类。我们通过比较我们在Google News数据集中发现的偏差与以前文献中发现的偏差来验证我们方法的有效性。然后,我们成功地发现了不同Reddit社区中的性别偏见,宗教偏见和种族偏见。最后,我们讨论了这种数据驱动的偏差发现方法的潜在应用场景和局限性。
2020-08-13 cs.AI cs.CL cs.CY
Unsupervised Word Segmentation from Speech with Attention
LIMSI(法国计算机科学与自动化研究所);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);INRIA(法国国家信息与自动化研究所);BUT(布尔诺理工大学);University of Essex(埃塞克斯大学);CRISTAL(里尔大学CRISTAL实验室);Université de Lille(里尔大学)
我们提出了第一次尝试执行注意分词直接从语音信号,最终的目标是自动识别词汇单位在低资源,不成文的语言(UL)。我们的方法假设UL中的录音与资源丰富的语言中的翻译配对。它使用声学单元发现(AUD)将语音转换为伪音素序列,该序列使用神经机器翻译模型产生的神经软对齐进行分段。评估使用实际班图UL,Mboshi;比较单语和双语基线说明注意分词的语言文档的潜力。
2018-06-18 cs.AI cs.CL
Cue-word Driven Neural Response Generation with a Shrinking Vocabulary
Institute of Artificial Intelligence, Suchow University(苏州大学人工智能研究所);School of Computer Science and Technology, Heilongjiang University(黑龙江大学计算机科学与技术学院)
开放域反应生成是对源句产生可感知的、信息丰富的反应的任务。然而,神经模型往往会产生安全和无意义的反应。提示词引入法虽然鼓励具有具体语义的反应,并显示出巨大的潜力,但它们仍然未能在解码过程中探索多样化的反应。在本文中,我们提出了一种新颖但自然的方法,可以在解码过程中产生多个提示词,然后使用产生的提示词来驱动解码,并缩小解码词汇。因此,神经生成模型可以探索反应的整个空间,并有效地发现信息。实验结果表明,我们的方法显着优于几个强基线模型,解码复杂度低得多。特别是,我们的方法可以收敛到具体的语义解码过程中更有效。
2020-10-10 cs.AI cs.CL
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University(台湾大学)
词嵌入是一种现代的分布式词表示方法,广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法,并且随后执行自然语言处理的下游任务,例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集,通过代数计算来执行类比推理。本文从2,388个中文法典语料库中提取5种法律关系,建立1,134个法律类比推理问题集(LARQS),并将其用于评估中文词嵌入模型的准确性。此外,我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Word Interdependence Exposes How LSTMs Compose Representations
University of Edinburgh(爱丁堡大学)
NLP最近的工作表明,LSTM语言模型可以捕获语言数据中的组合结构。为了更仔细地了解这些表示是如何分层组成的,我们提出了一种新的LSTM中词义之间相互依赖的度量方法,基于它们在内部门的相互作用。为了探索组合表征是如何在训练过程中出现的,我们对合成数据进行了简单的实验,通过显示高度的相互依赖性会如何损害泛化来说明我们的测量。这些合成实验还说明了一个关于在训练过程中如何发现层次结构的特定假设:父母成分依赖于他们孩子的有效表征,而不是独立学习远程关系。我们进一步支持这一措施与英语语言数据的实验,其中的相互依存性更高的句法连接的单词对。
2020-04-27 cs.CL cs.LG stat.ML
Beyond word frequency: Bursts, lulls, and scaling in the temporal distributions of words
Northwestern University(西北大学)
背景资料:齐普夫发现词频分布服从幂律,建立了生物和物理过程与语言之间的相似性,为人类交流的复杂系统观点奠定了基础。最近的研究也发现了事件连续发生的动力学中的缩放比例,这表明语言也可能有类似的发现。方法/主要发现:通过考虑频繁的话在USENET讨论组和在不同的数据库中的语言有不同程度的正式,在这里,我们表明,连续出现的同一个字显示突发偏离泊松过程之间的距离的分布,以及其特征在于拉伸指数(威布尔)缩放。这种偏离的程度在很大程度上取决于语义类型--衡量每个词的逻辑性--而不太依赖于频率。我们开发了这种行为的生成模型,完全决定了单词使用的动态。结论/意义:单词的重现模式可以通过重现时间的拉伸指数分布来很好地描述,这是一种无法从齐普夫定律中预测的经验缩放。由于文字的使用为人类的思想和活动提供了一个独特而精确的镜头,我们的发现也对人类集体动力的其他公开表现产生了影响。
2009-11-11 cond-mat.dis-nn cs.CL physics.data-an