STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning
在本文中,我们提出了一种新的多模态深度神经网络架构,该架构使用语音和文本纠缠来学习语音声音口语表示。STEPs-RL以监督的方式进行训练,以使用其上下文口语单词的语音和文本来预测目标口语单词的语音序列,使得模型对其有意义的潜在表示进行编码。与现有的工作不同,我们已经使用文本和语音进行听觉表示学习,以捕获语义和句法信息以及声学和时间信息。我们的模型产生的潜在表示不仅能够以89.47%的准确率预测目标语音序列,而且在四个广泛使用的单词相似性基准数据集上进行评估时,还能够实现与文本单词表示模型Word 2 Vec和FastText(在文本转录上训练)竞争的结果。此外,生成的向量空间的调查也证明了该模型捕捉语音结构的口语单词的能力。据我们所知,现有的作品都没有使用语音和文本纠缠来学习口语词表示,这使得这项工作成为同类作品中的第一项。
2020-11-23 cs.CL
Parallel Needleman-Wunsch on CUDA to measure word similarity based on phonetic transcriptions
Dominic Plein(独立研究者)
本研究提出基于音标、用Needleman-Wunsch算法计算词语相似度的方法,通过Rust实现并在CPU/GPU(借助CUDA)并行化,经聚类验证有效,可扩展至多语言语音结构分析。
2025-09-01 cs.CL
A phonetic model of non-native spoken word processing
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);E&E Engineering(电气与电子工程学院);Stellenbosch University(斯泰伦博斯大学);University of Maryland(马里兰大学)
非母语者在口语字处理方面表现出困难。许多研究将这些困难归因于词汇记忆中单词的不精确语音编码。我们测试了一个替代假设:这些困难中的一些可能来自非母语人士的语音感知。我们训练一个语音学习的计算模型,这个模型不涉及语音学,只涉及一种或两种语言。我们首先表明,该模型表现出可预测的行为,在语音水平和单词水平的歧视任务。然后,我们测试的模型上的口语字处理任务,表明语音可能是没有必要解释的一些字处理效果在非母语人士。我们对模型的词汇表示空间进行了额外的分析,结果表明两种训练语言在该空间中并没有完全分离,这与双语人类说话者的语言类似。
2021-03-11 cs.CL
Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings
Georgia Institute of Technology(佐治亚理工学院)
本研究结合大型语言模型与语言约束,提出三种双关语翻译方法,其多智能体系统在CLEF JOKER 2025竞赛中获专家评估第一,可改善文字游戏翻译效果。
2026-08-06 cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University(穆罕默德·阿里·真纳大学);FAST NUCES(巴基斯坦国家计算机与新兴科学大学)
两种语言之间的词汇相似性揭示了许多有趣的语言学见解,如遗传关系,相互理解,以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面,本文提出了一种方法的语音编辑距离(PED),使用软比较的字母,使用与它们相关的发音功能。该系统将单词转换为相应的国际音标(IPA),然后将IPA转换为其发音特征集。之后,使用所提出的方法比较发音特征集的列表。例如,PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地,希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93,而对于并置比较,它们基于IPA的编辑距离分别为4和2。实验用六种语言(阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语)进行。在这方面,我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此,与所提出的方法,我们发现的遗传亲和力,相似性,和借用/外来词,尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval
National Taiwan University(台湾大学)
词嵌入或Word2Vec已经成功地为从词的上下文学习的文本词提供语义。音频Word2Vec被证明可以为从口语单词中的信号中学习到的口语单词(单词的信号片段)提供语音结构。本文提出了一个两阶段的框架来执行语音和语义嵌入的口语单词考虑的上下文。阶段1执行语音嵌入,并解开说话者特征。阶段2然后另外执行语义嵌入。我们进一步建议通过与文本嵌入并行化来评估在阶段2中获得的音频嵌入的语音和语义性质。语音结构和语义之间的相互干扰是不可避免的。例如,“兄弟”和“姐妹”在语义上很接近,但在语音结构上却有很大的不同,而“兄弟”和“麻烦”则相反。但是语音和语义嵌入是有吸引力的,正如在口语文档检索的初步实验中所示。不仅可以基于语音结构来检索包括口头查询的口头文档,而且还可以基于语义来检索语义上与查询相关但不包括查询的口头文档。
2019-01-19 cs.CL cs.SD eess.AS
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex;Facebook AI;Johns Hopkins University(约翰斯·霍普金斯大学)
跨语言命名实体词典是多语言NLP任务(如机器翻译和跨语言维基化)的重要资源。虽然知识库包含大量高资源语言(如英语和法语)的实体,但低资源语言的相应实体往往缺失。为了解决这个问题,我们提出了词汇-语义-语音对齐(LSP-Align),一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线,并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布,作为NLP社区的资源。
2021-09-10 cs.CL
Robust Neural Machine Translation with Joint Textual and Phonetic Embedding
Baidu Research(百度研究院);Baidu, Inc.(百度公司);Oregon State University(俄勒冈州立大学)
神经机器翻译(NMT)对噪声非常敏感,但实际应用中噪声几乎是不可避免的。一种特殊的噪声是同音字噪声,其中单词被具有相似发音的其他单词替换。我们建议通过1)联合嵌入源句子的文本和语音信息,以及2)用同音字噪声来增强训练数据集,来提高NMT对同音字噪声的鲁棒性。有趣的是,为了实现更好的翻译质量和更强的鲁棒性,我们发现大多数(尽管不是全部)权重应该放在语音信息上,而不是文本信息上。实验结果表明,该方法不仅显著提高了NMT对同音字噪声的鲁棒性,而且在一些干净的测试集上的翻译质量也有了惊人的提高。
2019-06-03 cs.CL
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Language Identification of Bengali-English Code-Mixed data using Character & Phonetic based LSTM Models
SRM University(SRM大学);Jadavpur University(贾达普大学)
社交媒体文本的语言识别仍然是一项具有挑战性的任务,由于代码混合和不一致的语音音译等属性。在本文中,我们提出了一种监督学习方法,用于从社交媒体中获取的低资源孟加拉语-英语代码混合数据的单词级语言识别。我们采用两种单词编码方法,即基于字符和基于根音素来训练我们的深度LSTM模型。利用这两个模型,我们建立了两个集成模型,使用堆叠和阈值技术,给出了91.78%和92.35%的准确率分别对我们的测试数据。
2018-06-27 cs.CL
Learning Geometric Word Meta-Embeddings
Microsoft India(微软印度)
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间,例如,简单的平均不同的嵌入(一个给定的词)是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Normalizing Text using Language Modelling based on Phonetics and String Similarity
Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院)
社交媒体网络和聊天平台通常使用自然文本的非正式版本。对抗性拼写攻击也倾向于通过修改文本中的字符来改变输入文本。对这些文本进行规范化是语言翻译和文本到语音合成等各种应用程序的重要步骤,其中模型在干净的常规英语语言上进行训练。我们提出了一个新的鲁棒模型来执行文本规范化。我们的系统使用BERT语言模型来预测与未规范化的单词相对应的掩码单词。我们提出了两种独特的掩蔽策略,试图用基于语音和字符串相似性度量的独特得分来替换文本中的非规范化单词。我们使用以人为中心的评估,要求志愿者对规范化文本进行排名。我们的策略产生的准确率为86.7%和83.2%,这表明我们的系统在处理文本规范化的有效性。
2020-06-25 cs.CL
LLM-based Generative Error Correction for Rare Words with Synthetic Data and Phonetic Context
Hitachi, Litd.Japan(日本日立公司)
提出一种结合合成数据与语音上下文的LLM生成式纠错方法,针对稀有词提升ASR性能,并降低英语和日语数据集的WER和CER。
2025-05-23 cs.CL cs.SD eess.AS
Deciphering Undersegmented Ancient Scripts Using Phonetic Prior
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);University of Konstanz(康斯坦茨大学);Bayer(拜耳公司);Google Brain(谷歌大脑)
大多数未破译的失落语言都表现出两个特点,这给破译带来了巨大的挑战:(1)文字没有完全分割成单词;(2)最接近的已知语言没有确定。我们提出了一个解密模型,处理这两个挑战,通过建立在丰富的语言约束,反映一致的模式,在历史上的声音变化。我们捕捉自然的语音几何学学习字符嵌入的基础上,国际音标(IPA)。由此产生的生成框架联合模型分词和同源对齐,通知语音约束。我们评估的模型上破译的语言(哥特式,Ugaritic)和未破译的(伊比利亚)。实验表明,语音几何学的结合导致清晰和一致的收益。此外,我们提出了一个衡量语言的接近度,正确识别相关的语言哥特式和乌加里特。对于伊比利亚语,该方法并没有显示出强有力的证据支持巴斯克语作为一种相关语言,这与目前学术界所青睐的立场一致。
2020-10-21 cs.CL
Learning Joint Acoustic-Phonetic Word Embeddings
Voicea(Voicea公司)
大多数语音识别任务都涉及到跨两种模态映射单词:声学模态和拼写模态。在这项工作中,我们建议学习编码器,将表示单词的可变长度,声学或语音序列映射到共享潜在空间中的固定维向量中;这样两个单词向量之间的距离就表示两个单词听起来有多接近。我们没有直接学习词向量之间的距离,而是采用弱监督并对二元分类任务进行建模,以预测两个输入(每个模态之一)是否代表给定距离阈值的同一个词。我们探索了各种深度学习模型,双峰对比损失,以及挖掘困难的负面例子的技术,如自我标记的半监督技术。我们最好的模型实现了二进制分类任务的$F_1$得分为0.95。
2019-08-01 cs.CL cs.LG cs.SD
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University(国立台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到,人类婴儿开始学习语言的声音,少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中,只有200个注释的口语单词和一个小时的语音数据没有注释,给出了27.5%的单词准确率,这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University(台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到人类婴儿开始通过少量范例词的声音(或语音结构)学习语言,并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词(信号段)中学习语音结构,而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习,也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中,仅2.1小时的语音数据(其中2500个口语单词被注释,其余未标记)给出了44.6%的单词出错率,并且如果给出4.1小时的语音数据(其中20000个口语单词被注释),则该数字可以降低到34.2%。这些结果并不令人满意,但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Phonetic Ambiguity : Approaches, Touchstones, Pitfalls and New Approaches
语音歧义和混淆是任何形式的自下而上或数据驱动的语言处理方法的困扰。当一个输入是“足够接近”一个目标词的问题遍布语音识别,合成,语言习得,语音压缩和语言表示的整个问题空间,但各种各样的表示已被应用显然是不够的,至少在某些方面的问题。本文通过考察语音歧义的几个试金石模型,并将它们与它们旨在解决的问题联系起来,回顾了这一不足。一个好的解决方案应该是高效、准确、精确,并且普遍适用于单词的表示,理想情况下可以用作直接测量单词或话语对之间的“距离”的“语音距离”度量。所提出的模型都不能提供一个完整的解决方案的问题,在一般情况下,没有语音距离的算法理论。我们还不清楚这是表征技术的弱点,还是问题陈述的更根本的困难。
1996-08-29 cmp-lg cs.CL
Learning acoustic word embeddings with phonetically associated triplet network
Korea Advanced Institute of Science and Technology(韩国科学技术院)
以往的研究中使用的声学词嵌入查询的例子口语词检测时,使用三元组网络表现出显着的性能改善。然而,三元组网络仅使用关于词之间的声学相似性的有限信息来训练。在本文中,我们提出了一种新的架构,语音相关的三元组网络(PATN),其目的是提高辨别能力的声学词嵌入,利用语音信息以及字的身份。所提出的模型学习,以最小化的组合损失函数,这是通过引入交叉熵损失的LSTM为基础的三元组网络的下层。我们观察到,所提出的方法在WSJ数据集的单词识别任务上的表现明显优于基线三联体网络,从而在每小时1.0次误报的情况下,召回率相对提高了20%以上。最后,我们通过在RM数据集上进行域外测试来检验泛化能力。
2018-11-28 cs.AI cs.CL cs.SD
Implementation of an Index Optimize Technology for Highly Specialized Terms based on the Phonetic Algorithm Metaphone
Borys Grinchenko Kyiv University(鲍里斯·格林琴科基辅大学)
在汇编数据库时,例如为了满足保健机构的需要,在介绍和进一步处理医生和病人的姓名和姓氏方面存在相当普遍的问题,因为这些姓名和姓氏在发音和书写方面都是高度专业化的。这是因为人们的名字和姓氏不可能是唯一的,他们的符号不受任何语音规则的约束,而他们在不同语言中的长度可能不匹配。随着互联网的出现,这种情况变得普遍严重,并可能导致多份电子邮件被发送到一个地址。通过使用语音算法来比较单词Daitch-Mokotoff、Soundex、NYSIIS、Polyphone和Metaphone,以及Levenshtein和Jaro算法,基于Q-gram的算法,可以解决指定的问题,这些算法可以找到单词之间的距离。其中最广泛的是Soundex和Metaphone算法,它们旨在根据单词的声音对其进行索引,同时考虑到发音规则。通过应用Metaphone算法,已经尝试优化语音搜索过程以用于模糊重合的任务,例如,在各种数据库和登记处中的数据去重,以减少姓氏的不正确输入的错误数量。对最常见姓氏的分析显示,其中一些姓氏起源于乌克兰或俄罗斯。与此同时,名字的发音和书写所遵循的规则,例如在乌克兰语中,与英语的基本算法有很大不同,与俄语也有很大不同。这就是为什么语音算法应该首先考虑乌克兰姓氏形成的特殊性,这在现在特别重要。
2019-10-31 cs.CL
Phonetic Segmentation of the UCLA Phonetics Lab Archive
University of Zurich(苏黎世大学);University of Ljubljana(卢布尔雅那大学);University of Neuchâtel(纳沙泰尔大学);University of Miami(迈阿密大学)
本文提出VoxAngeles语料库,基于UCLA语音学实验室档案的95种语言数据,提供经审核的音标转写、音素级对齐及语音测量,以促进定量语音类型学和低资源语音技术研究。
2024-03-28 cs.CL cs.SD eess.AS
Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
School of the Gifted Young University of Science;School of Humanities;Social Sciences University of Science
本研究探讨wav2vec 2.0模型内部的语音归一化过程,发现微调通过选择性抑制任务无关信息有效实现归一化,且多任务微调能保留信息而不损害性能,为语音模型与人类语音感知提供新见解。
2025-03-04 cs.AI cs.CL
An Approach to Mispronunciation Detection and Diagnosis with Acoustic, Phonetic and Linguistic (APL) Embeddings
Microsoft(微软)
许多发音错误检测和诊断(MD&D)的研究方法试图利用声学和语言特征作为输入。然而,性能的提高是有限的,部分原因是缺乏大量的注释训练数据在音素水平。从用大量单词级注释训练的ASR模型中提取的语音嵌入可以以噪声鲁棒性和说话者无关的方式作为输入语音内容的良好表示。这些嵌入作为隐含的语音补充信息,可以缓解显式音素标注的数据不足。我们建议利用声学,语音和语言(APL)的嵌入功能,共同建立一个更强大的MD&D系统。在L2-ARCTIC数据库上的实验结果表明,该方法在检测准确率、诊断出错率和F测度上分别比基线算法提高了9.93%、10.13%和6.17%.
2022-03-31 cs.CL cs.SD eess.AS
PERCORE: A Deep Learning-Based Framework for Persian Spelling Correction with Phonetic Analysis
提出PERCORE框架,融合深度学习与语音分析,在波斯语拼写纠错中实现真词检测F1=0.890、纠正F1=0.905及非词纠正F1=0.891,显著优于现有方法。
2024-07-20 cs.AI cs.CL
MFE-NER: Multi-feature Fusion Embedding for Chinese Named Entity Recognition
The University of Melbourne(墨尔本大学);Shanghai Jiao Tong University(上海交通大学)
本文提出轻量级方法MFE-NER,融合字形与语音特征,解决中文命名实体识别中的字符替换问题,实验显示检测替换效果突出并小幅提升整体性能。
2024-04-17 cs.CL
LLMs Know More Than Words: A Genre Study with Syntax, Metaphor & Phonetics
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文通过引入多语言体裁分类数据集,研究LLMs在语法、隐喻和语音特征上的学习能力及其对分类任务的影响。
2025-12-04 cs.AI cs.CL
Assessing Dutch Syllabification Algorithms and Improving Accuracy by Combining Phonetic and Orthographic Information through Deep Learning
Radboud University(拉博德大学)
本研究评估了四种荷兰语音节划分算法的性能,并提出一种结合语音和正字法信息的深度学习模型,实现了99.65%的词准确率,较文献最佳提升0.14%。
2026-04-10 cs.AI cs.CL
Self-Supervised Speech Representations are More Phonetic than Semantic
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
该研究通过近音词与同义词表征相似度分析,证明自监督语音模型更偏向编码语音而非语义信息,并指出常用意图分类数据集难以可靠评估语义能力。
2024-06-12 cs.CL cs.LG eess.AS
Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings
Stellenbosch University(斯泰伦博斯大学)
本文提出利用预训练多语言声学词嵌入模型对未转写目标语言进行聚类和软伪标签训练,实现无监督语义声学词嵌入,并在词相似度和语义按例查询搜索任务中取得优于以往方法的效果。
2023-07-05 cs.CL eess.AS
Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism
Yonsei University(延世大学);Seoul National University(首尔国立大学);Korea University(韩国大学)
研究语言模型在多模态输入中对声音象征性的处理,通过分析不同语义维度下的音节注意力分数,揭示模型对声音与意义关联的理解机制。
2026-03-19 cs.CL
Minimal Effective Theory for Phonotactic Memory: Capturing Local Correlations due to Errors in Speech
本研究提出一个局部连接的张量网络模型,利用口语词汇的局部语音相关性降低信息含量,从而促进词汇学习,并能在拉丁语和土耳其语上生成合理新词及预测言语错误。
2023-09-04 cs.CL cs.SD eess.AS
Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
Université Paris-Saclay(巴黎-萨克雷大学);IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
研究通过CMP-RT探测器揭示LLMs因分词机制导致的安全漏洞,发现语音扰动使安全关键token分裂为无害子词,导致安全机制失效,且该漏洞能绕过标准防御并扩展至多种模型。
2026-04-07 cs.AI cs.CL
Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings for CLEF JOKER 2025 Task 2
Georgia Institute of Technology(佐治亚理工学院);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学);Joint Institute for Nuclear Research(联合核子研究中心);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(斯德哥尔摩大学)
本研究针对跨语言双关语翻译难题,提出结合对比学习、音义嵌入与多智能体生成器-判别器框架的三阶段方法,在CLEF JOKER 2025任务2竞赛中获第一、第二名,推动了双关语翻译研究。
2026-08-06 cs.AI cs.CL cs.LG
PhonSenticNet: A Cognitive Approach to Microtext Normalization for Concept-Level Sentiment Analysis
Nanyang Technological University(南洋理工大学);Vellore Institute of Technology(韦洛尔理工学院)
随着当前社交媒体平台使用的激增,使用短文本(微文本)代替标准单词的趋势显著上升。微文本的使用在概念级情感分析中提出了相当大的性能问题,因为模型是在标准单词上训练的。本文讨论了将子符号(语音学)与符号(机器学习)人工智能耦合以将词汇外概念转换为标准词汇表形式的影响。使用Sorensen相似性算法计算语音距离。这样获得的语音上相似的调用概念然后被用来计算正确的极性值,这是以前被错误计算,因为存在的缩微文本。与早期模型相比,我们提出的框架将极性检测的准确性提高了6%。这也验证了微文本规范化是情感分析任务的必要先决条件的事实。
2019-04-24 cs.CL
Isolated-Word Confusion Metrics and the PGPfone Alphabet
尽管自1955年以来,人们一直在研究和分析单个音素和特征的混淆(Miller和Nicely,1955),但很少有人将其扩展到词级混淆的预测理论。PGPfone字母表是开发这种单词级混淆度量的一个很好的试金石问题。本文提出了一些困难,以及他们提出的解决方案,在扩展的语音混乱的结果,一个理论上的全词语音距离度量。所提出的解决方案已被使用,结合一组选择过滤器,在遗传算法中自动生成适当的单词列表的无线电字母表。这项工作说明了一些原则和陷阱,应该在任何孤立的词感知的数字理论解决。
1996-08-29 cmp-lg cs.CL
IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining
Nagoya University(名古屋大学);Kyoto University(京都大学);University of Human Environments(人类环境大学);Chukyo University(中京大学);RIKEN(理化学研究所)
近年来,大规模的视觉和语言(V\&L)预训练已经成为许多多媒体系统的标准骨干。虽然它即使在看不见的情况下也表现出卓越的性能,但它通常以人类不直观的方式执行。特别是,它们通常不考虑输入的发音,人类将利用这些发音来理解语言,特别是当涉及到未知单词时。为此,本文在语音预训练模型之一的对比图像预训练(CLIP)中加入语音先验,使其考虑语音输入之间的语音相似性。为了实现这一点,我们首先提出了一个音素嵌入,利用国际音标(IPA)表提供的音素关系作为语音先验。其次,通过提取冻结的CLIP文本编码器,我们训练一个发音编码器采用基于IPA的嵌入。该模型命名为IPA-CLIP包括这个发音编码器和原始CLIP编码器(图像和文本)。定量评估表明,音素分布的嵌入空间表示语音关系更准确地使用建议的音素嵌入。此外,在一些多模态检索任务中,我们确认,建议的发音编码器提高了文本编码器的性能,发音编码器处理无意义的单词在一个更语音的方式比文本编码器。最后,定性评估验证了发音编码器和人类感知之间的相关性,关于发音相似性。
2023-03-06 cs.CL cs.MM cs.SD
Spoken Word2Vec: Learning Skipgram Embeddings from Speech
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对口语词语义嵌入易编码语音而非语义的问题,分析浅层 skipgram 失效原因,并提出深度端到端变体以改善嵌入空间的语义相关性。
2024-07-01 cs.AI cs.CL
A Swiss German Dictionary: Variation in Speech and Writing
University of Zurich(苏黎世大学);University of Fribourg(弗里堡大学);Swisscom AG(瑞士电信公司)
我们介绍了一个字典,其中包含各种瑞士德语方言的常见单词的形式规范化为高地德语。由于瑞士德语目前是一种主要的口头语言,即使在同一方言的使用者之间,书面形式也有很大的差异。为了减轻与这种多样性相关的不确定性,我们补充了瑞士德语-高地德语单词与瑞士德语音标(SAMPA)。这本词典因此成为第一个将大规模自发翻译与语音翻译相结合的资源。此外,我们控制区域分布,并确保主要瑞士方言的平等代表性。瑞士德语的语音和书面形式的结合是强大的。我们表明,他们是足够的训练一个变压器为基础的音素字形模型,产生可信的小说瑞士德语作品。此外,我们表明,逆映射-从字素到音素-可以建模与Transformer训练与新的字典。这种生成以前未知单词的发音是训练可扩展自动语音识别(ASR)系统的关键,ASR系统是本词典的主要受益者。
2020-03-31 cs.CL
BanglaIPA: Towards Robust Text-to-IPA Transcription with Contextual Rewriting in Bengali
Shahjalal University of Science and Technology(沙赫贾尔大学科学与技术学院);University of Maryland, Baltimore County, USA(马里兰大学巴尔的摩县分校)
BanglaIPA通过整合字符词汇与词级对齐,实现了对孟加拉语标准语言和方言文本的稳健IPA转录,提升了推理效率并降低了词错误率。
2026-02-04 cs.CL
"The Boating Store Had Its Best Sail Ever": Pronunciation-attentive Contextualized Pun Recognition
University of California, Los Angeles(加州大学洛杉矶分校)
幽默在人类语言中扮演着重要的角色,在构建智能系统时对幽默进行建模是必不可少的。在各种幽默形式中,双关语利用双关语和语音相似度高的词语进行文字游戏,以达到幽默效果。然而,识别和建模双关语是具有挑战性的,因为双关语通常涉及隐含的语义或语音技巧。在本文中,我们提出了发音注意的语境化双关语识别(PCPR)来感知人类的幽默,检测句子中是否包含双关语,并将它们定位在句子中。PCPR通过捕获周围上下文与其对应的音标之间的关联来导出句子中每个单词的上下文化表示。在两个基准数据集上进行了大量的实验。实验结果表明,该方法在双关语检测和定位任务中的性能明显优于现有的方法。深入的分析验证了PCPR的有效性和鲁棒性。
2020-04-29 cs.CL
Multilingual Jointly Trained Acoustic and Written Word Embeddings
University of Chicago(芝加哥大学);TTI-Chicago(芝加哥丰田技术研究院)
声学词嵌入(AWE)是口语词段的矢量表示。AWE可以与字符序列的嵌入联合学习,以生成书面单词的语音有意义的嵌入,或声学接地词嵌入(AGWE)。这样的嵌入已被用于改善语音检索、识别和口语术语发现。在这项工作中,我们将这个想法扩展到多种低资源语言。我们联合训练一个AWE模型和一个AGWE模型,使用来自多种语言的语音转录数据。然后,预训练的模型可以用于看不见的零资源语言,或者对来自低资源语言的数据进行微调。我们还研究了独特的功能,作为电话标签的替代品,以更好地共享跨语言信息。我们测试了我们的模型在12种语言的单词识别任务。当在11种语言上进行训练并在剩余的看不见的语言上进行测试时,我们的模型优于传统的无监督方法,如动态时间扭曲。在对来自新语言的一个小时甚至十分钟的数据进行预训练后,性能通常比只训练目标语言数据要好得多。我们还发现,语音监督提高性能的字符序列,和独特的功能监督是在处理看不见的电话在目标语言有帮助的。
2020-06-24 cs.CL cs.SD eess.AS
MUST&P-SRL: Multi-lingual and Unified Syllabification in Text and Phonetic Domains for Speech Representation Learning
Flowchase(Flowchase公司);ISIA Lab, Numediart Institute, University of Mons(蒙斯大学Numediart研究所ISIA实验室)
提出兼容MFA的多语言自动音节划分方法,生成适用于语音表示学习的CMU ARCTIC数据集标注,促进语音因子解耦。
2023-10-17 cs.AI cs.CL cs.LG
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西));Silo AI
针对印度语间低资源机器翻译性能不佳的问题,提出利用基于拉丁字母的通用编码(WX notation)结合BPE,将相似语言投影至相同的正字-语音字符空间以利用其语言相似性,实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Symphonym: Universal Phonetic Embeddings for Cross-Script Toponym Matching
School of Advanced Study, University of London(伦敦大学高等研究院);Institute for Spatial History Innovation, University of Pittsburgh(匹兹堡大学空间历史创新研究所)
本文提出Symphonym,通过神经嵌入系统将20种书写系统地名映射到统一的128维语音空间,实现跨脚本相似性比较,无需语言识别或语音资源,在MEHDIE基准测试中取得高召回率和平均倒数排名。
2026-10-06 cs.AI cs.CL
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology(中国移动科学技术);Beijing Institute of Technology(北京理工大学)
提出UniSAE统一框架,通过离散音素后验图(DPPG)表示语音内容,支持从子音素到词级的说话人、情感和内容编辑,并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元,而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络(CNN):一对绑定的网络,将两个语音片段作为输入并产生它们的嵌入,训练时使用铰链损失,将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似,但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Neural text normalization leveraging similarities of strings and sounds
Tokyo Institute of Technology(东京工业大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所)
我们提出了神经模型,可以通过考虑单词串和声音的相似性来规范化文本。我们通过实验比较了一个模型,认为单词串和声音的相似性,一个模型,只考虑单词串或声音的相似性,和一个模型没有相似性作为基线。结果表明,利用词串相似度可以成功地处理拼写错误和缩略语,而考虑语音相似度可以成功地处理语音替换和强调字符。因此,所提出的模型实现了比基线更高的F $_1$评分。
2020-11-04 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);University of Liverpool, UK(英国利物浦大学)
从神经语言模型(NLM)(如BERT)生成的上下文化词嵌入表示具有向量的单词,该向量考虑目标单词的语义及其上下文。另一方面,静态词嵌入(如GloVe)通过相对低维、内存和计算效率高的向量表示词,但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义(CDES),一种方法,提取意义相关的信息,从上下文的嵌入,并将其注入到静态嵌入,以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明,CDES可以准确地学习特定于词义的静态嵌入,其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
我们提出了\textit{AutoExtend},一个系统来学习嵌入的同义词和词素。它是灵活的,因为它可以采取任何词嵌入作为输入,不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源,但AutoExtend可以很容易地应用于其他资源,如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL