Generation and Pruning of Pronunciation Variants to Improve ASR Accuracy
Interactive Intelligence Inc.（互动智能公司）
语音识别，特别是姓名识别，广泛用于电话服务，如公司目录拨号器、股票报价提供商或位置查找器。由于发音的变化，它通常具有挑战性。本文提出了一种有效的和强大的数据驱动的技术，自动学习可接受的单词发音和更新的发音字典，以建立一个更好的词典，而不影响识别的其他单词类似的目标词。它可以很好地概括各种大小的数据集，并将具有13000多个人名的数据库的出错率降低了42%，相比之下，常规词典已经覆盖了97%以上的名字中的单词的规范发音，加上训练有素的拼写到发音（STP）引擎。
2016-06-28 cs.CL
Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects
AI Foundation（AI基金会）
字形到音素（G2P）模型将单词转换为语音发音。经典的G2P方法包括基于规则的系统和发音词典，而现代的G2P系统则包含了学习，例如LSTM和基于transformer的注意力模型。通常，基于词典的方法需要大量的手动工作来构建，并且对未见过的单词具有有限的适应性。基于transformer的模型需要大量的训练数据，并且不能很好地推广，特别是对于数据有限的方言。我们提出了一种新的使用transformer为基础的注意力模型，可以适应看不见的方言的英语语言，同时使用一个小字典。我们表明，我们的方法具有潜在的应用口音转移的文本到语音，并建立强大的G2P模型，有限的发音字典大小的方言。我们用两种英语方言做实验：印度语和英国语。使用来自英国英语词典的1000个单词从头开始训练的模型，具有14211个单词，在使用完整词典生成的测试集上，导致音素出错率（PER）为26.877%。相同的模型在CMUDict美国英语词典上进行预训练，并在相同的数据集上进行微调，导致测试集的PER为2.469%。
2021-04-08 cs.CL cs.LG cs.SD
QVoice: Arabic Speech Pronunciation Learning Application
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
QVoice是一款基于端到端错误检测与反馈生成模块的阿拉伯语发音学习应用，通过多种学习提示提供字符级反馈和单词级评估，帮助非母语者及受方言影响的母语者提升现代标准阿拉伯语发音。
2023-05-09 cs.CL cs.SD eess.AS
Exploring the Usage of Chinese Pinyin in Pretraining
Huawei（华为）
本研究针对中文NLP任务中拼音利用不足的问题，提出并行使用汉字与拼音的预训练方法PmBERT，通过融合二者表征增强SSP错误容错能力，实验证明其鲁棒性优于SOTA模型。
2023-10-08 cs.CL
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University（國立臺灣師範大學）
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题，本文提出将语言识别信息引入ASR编码器中间层，生成隐含语言区分性的声学特征以降低语言切换混淆，提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
Simple or Complex? Learning to Predict Readability of Bengali Texts
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
确定文本的可读性是文本简化的第一步。在本文中，我们提出了一个可读性分析工具，能够分析用孟加拉语编写的文本，以提供有关其可读性和复杂性的深入信息。尽管孟加拉语是世界上使用人数第七多的语言，有2.3亿人以孟加拉语为母语，但孟加拉语缺乏用于自然语言处理的基本资源。到目前为止，孟加拉语的可读性相关研究可以被认为是狭隘的，有时由于缺乏资源而出错。因此，我们正确地采用了传统上用于美国教育系统的文档级可读性公式，并进行了适当的年龄比较。由于无法获得大规模的人类注释语料库，我们进一步将文档级任务划分为文本级和神经架构实验，这将作为孟加拉语可读性预测未来工作的基线。在这个过程中，我们提出了几个人类注释的语料库和字典，例如包含618个具有12个不同等级的文档的文档级数据集，包含超过96 K个具有简单和复杂标签的句子的大规模句子级数据集，辅音合取词计数算法和341个单词的语料库以验证算法的有效性，3，396个简单单词的列表，以及更新的发音词典，包含超过67 K个单词。这些资源对于这种低资源语言的其他几个任务可能很有用。我们在https：//github.com/tafseer-nayeem/BengaliReadability}上公开了我们的代码和数据集，以确保可重复性。
2020-12-09 cs.AI cs.CL
A Swiss German Dictionary: Variation in Speech and Writing
University of Zurich（苏黎世大学）；University of Fribourg（弗里堡大学）；Swisscom AG（瑞士电信公司）
我们介绍了一个字典，其中包含各种瑞士德语方言的常见单词的形式规范化为高地德语。由于瑞士德语目前是一种主要的口头语言，即使在同一方言的使用者之间，书面形式也有很大的差异。为了减轻与这种多样性相关的不确定性，我们补充了瑞士德语-高地德语单词与瑞士德语音标（SAMPA）。这本词典因此成为第一个将大规模自发翻译与语音翻译相结合的资源。此外，我们控制区域分布，并确保主要瑞士方言的平等代表性。瑞士德语的语音和书面形式的结合是强大的。我们表明，他们是足够的训练一个变压器为基础的音素字形模型，产生可信的小说瑞士德语作品。此外，我们表明，逆映射-从字素到音素-可以建模与Transformer训练与新的字典。这种生成以前未知单词的发音是训练可扩展自动语音识别（ASR）系统的关键，ASR系统是本词典的主要受益者。
2020-03-31 cs.CL
How I Built ASR for Endangered Languages with a Spoken Dictionary
针对濒危语言缺乏符合标准格式的监督数据难以构建ASR的问题，提出利用简短口语发音资源的方案，仅需40分钟数据即可为马恩岛语、康沃尔语打造可用ASR，大幅降低了构建门槛。
2025-10-06 cs.CL
A Stochastic Finite-State Word-Segmentation Algorithm for Chinese
我们提出了一个随机有限状态模型分割成字典条目和富有成效的派生词的中文文本，并提供这些词的发音，该方法采用了基于类的模型在其治疗的个人姓名。我们还评估了系统的性能，考虑到人们往往不同意一个单一的分割。
1994-05-05 cmp-lg cs.CL
Presence or Absence: Are Unknown Word Usages in Dictionaries?
University of Heidelberg（海德堡大学）；University of Stuttgart（斯图加特大学）；University of Aberdeen（阿伯丁大学）
本文针对检测到的词义是否被词典收录的问题，提出一种基于图聚类的无监督系统，在AXOLOTL-24共享任务中为芬兰语、俄语和德语预测未知词用法与词典条目的映射，并利用GPT-4和LLaMA-3生成词典式定义，在多个语言上取得领先排名。
2024-07-04 cs.CL
Benchmarking sentiment analysis methods for large-scale texts: A case for using continuum-scored words and word shift graphs
University of Vermont（佛蒙特大学）；The MITRE Corporation（MITRE公司）；University of California, Berkeley（加州大学伯克利分校）
社交媒体的出现和全球采用使得对人口规模情绪的实时估计成为可能，对我们理解人类行为产生了深远的影响。鉴于情绪测量工具的种类越来越多，显然需要对它们进行比较。在这里，我们进行了详细的测试6字典为基础的方法应用于4个不同的语料库，并简要地检查了进一步的20种方法。我们表明，一个基于字典的方法将只执行可靠和有意义的，如果（1）字典涵盖了足够大的足够大的一部分给定的文本的词典时，加权词的使用频率;和（2）的话，连续的规模评分。
2016-09-07 cs.CL
Dictionary-Assisted Supervised Contrastive Learning
New York University（纽约大学）
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念，例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识，并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习（DASCL）目标，允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化：一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中，有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近，同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似，这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比，组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph
Tokyo Institute of Technology（东京工业大学）；AIST（日本产业技术综合研究所）；Asurion Japan Holdings G.K.（Asurion日本控股合同会社）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所智能信息学中心）；AIRC, AIST（日本产业技术综合研究所人工智能研究中心）
在跨语言文本分类中，要求高资源源语言中的特定于任务的训练数据是可用的，其中任务与低资源目标语言的任务相同。然而，由于标记成本、任务特性和隐私问题，收集这样的训练数据可能是不可行的。本文提出了一种替代解决方案，只使用高资源语言和双语词典的任务无关的词嵌入。首先，我们从双语词典中构造了一个基于词典的异构图（DHG）。这开启了使用图神经网络进行跨语言迁移的可能性。剩下的挑战是DHG的异质性，因为考虑了多种语言。为了解决这一问题，本文提出了一种基于字典的异构图神经网络（DHGNet），它通过两步聚合（词级和语言级聚合）有效地处理了DHG的异构性.实验结果表明，该方法优于预训练模型，即使它不访问大型语料库。此外，即使字典包含许多不正确的翻译，它也能很好地执行。它的鲁棒性允许使用更广泛的字典，例如自动构建的字典和众包字典，这对于现实世界的应用来说很方便。
2021-09-10 cs.AI cs.CL cs.LG
Digital Einstein Experience: Fast Text-to-Speech for Conversational AI
Aflorithmic Labs Ltd.（Aflorithmic 实验室有限公司）
我们描述了我们为对话式AI用例创建和提供自定义语音的方法。更具体地说，我们为Digital Einstein角色提供语音，以实现数字对话体验中的人机交互。为了创建符合上下文的语音，我们首先设计一个语音字符，然后生成与所需语音属性相对应的录音。然后我们模拟声音。我们的解决方案利用Fastspeech 2从音素和并行WaveGAN生成波形进行对数缩放梅尔频谱图预测。该系统支持字符输入，并在输出端给出语音波形。我们使用自定义词典来选择单词，以确保其正确的发音。我们提出的云架构可以实现快速语音传输，从而可以实时与数字版本的阿尔伯特·爱因斯坦交谈。
2021-07-21 cs.AI cs.CL cs.LG
Low-Cost Generation and Evaluation of Dictionary Example Sentences
Amazon Web Services（亚马逊网络服务）；Ministry of Education, Singapore（新加坡教育部）
本文提出零样本低成本词典例句生成与评估框架，设计 OxfordEval 指标，并用 MLM 筛选例句，FM-MLM 对牛津基线胜率达 85.1%。
2024-04-09 cs.AI cs.CL cs.LG
SLoW: Select Low-frequency Words! Automatic Dictionary Selection for Translation on Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；FaceMind Corporation（FaceMind公司）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
本文提出了一种名为自动词典选择（ADS）的新任务，通过SLoW方法选择低频词典以提升翻译性能，无需访问训练数据，且在100种语言上显著节省token消耗并提升翻译效果。
2026-05-19 cs.CL
Improving Yorùbá Diacritic Restoration
Niger-Volta LTI（尼日尔-沃尔塔语言技术研究所）；Saarland University（萨尔兰大学）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；Data Science Nigeria（尼日利亚数据科学协会）；Yorùbá Name（约鲁巴名称协会）
约阿希姆巴语是一种广泛使用的西非语言，其书写系统具有丰富的正字法和音调变音符号。它们提供形态学信息，对于词汇消歧、发音至关重要，并且对于任何计算语音或自然语言处理任务至关重要。然而，由于有限的设备和应用程序支持以及正确使用的一般教育，变音符号通常被排除在电子文本之外。我们报告了最近在数据集培养方面的努力。通过聚合和改进来自网络和各种个人图书馆的不同文本，我们能够将我们的干净Yorkebá数据集从具有三个来源的大部分Bioblog文本语料库显著增长到来自十几个来源的数百万个令牌。我们评估更新的变音符号恢复模型上的一个新的，通用的，公共领域的Yorkebá现代新闻文本的评估数据集，选择是多用途的，反映当代的用法。所有预先训练的模型、数据集和源代码都已作为开源项目发布，以推动Yorkebá语言技术的发展。
2020-03-23 cs.CL
OpenGloss: A Synthetic Encyclopedic Dictionary and Semantic Knowledge Graph
OpenGloss通过结构化生成方法高效创建了包含丰富语义信息的百科词典和知识图谱，为词汇学习和NLP任务提供全面支持。
2025-11-23 cs.AI cs.CL
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California（南加利福尼亚大学）
儿童语音识别是具有挑战性的，主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段，这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络（DNN）框架下，利用从成人模型到儿童模型的迁移学习，解决儿童自动语音识别（ASR）任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估（i）早期GMM-HMM和较新的DNN模型的比较，（ii）标准自适应技术与迁移学习的有效性，（iii）各种自适应配置在解决儿童语音中存在的变化方面，（a）声学频谱变化，（b）发音变化和语言约束。我们的分析涵盖了（i）DNN模型参数的数量（用于适应），（ii）适应数据的数量，（iii）儿童的年龄，（iv）年龄依赖-独立适应。最后，我们提供了建议（i）在各种上述分析参数的有利策略，和（ii）潜在的未来研究方向和相关的挑战/问题，坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
AlloST: Low-resource Speech Translation without Source Transcription
Institute of Information Science, Academia Sinica, Taiwan（中国科学院信息科学研究所，台湾分院（注：此处“Academia Sinica”通常译为“中国科学院”，“Taiwan”为地区名，整体机构为中国科学院信息科学研究所台湾分院））
端到端架构在语音翻译领域取得了可喜的进展。然而，ST任务在低资源条件下仍然具有挑战性。大多数ST模型都表现出不令人满意的结果，特别是在缺乏来自源语音话语的单词信息的情况下。在这项研究中，我们调查的方法，以提高ST性能，而不使用源转录，并提出了一个学习框架，利用一个独立于语言的通用电话识别器。该框架基于基于注意力的序列到序列模型，其中编码器生成语音嵌入和语音感知声学表示，并且解码器控制两个嵌入流的融合以产生目标令牌序列。除了研究不同的融合策略，我们探讨了具体使用的字节对编码（BPE），压缩成一个音节的分段序列的电话序列。由于符号的转换，分段序列不仅表示发音，而且还表示音素中缺乏的依赖于语言的信息。在Fisher西班牙语-英语和台语-国语戏剧语料库上进行的实验表明，该方法的性能优于基于一致性的基线，并且性能接近于使用源转录的现有最佳方法。
2021-07-02 cs.AI cs.CL cs.LG
