PRiSM: Benchmarking Phone Realization in Speech Models
CMU（卡内基梅隆大学）；Gwangju Institute of Science and Technology（光州科学技术院）；UT Austin（得克萨斯大学奥斯汀分校）；LMU Munich（慕尼黑路德维希-马克西米利安大学）；UC Berkeley（伯克利加州大学）；NVIDIA（英伟达）；UBC（不列颠哥伦比亚大学）
该研究针对语音模型中电话实现进行基准测试，引入PRiSM开源基准用内在和外在评估揭示语音感知盲点，标准化评估并通过探针评估下游效用，发现训练语言接触对PR性能关键，编码器-CTC模型稳定，专门PR模型优于大型音频语言模型，还发布相关资源推动多语言语音模型发展。
2026-07-14 cs.CL cs.SD
Input Scheme for Hindi Using Phonetic Mapping
Apaji Institute, Banasthali University（阿帕吉学院，巴纳斯塔利大学）
计算机上的书面交流需要使用计算机为所需语言编写文本的知识。大多数人除了英语之外不使用任何其他语言。这就形成了一个屏障。为了解决这个问题，我们已经开发了一个计划，输入文本在印地语使用语音映射方案。使用这个方案，我们生成中间代码串，并将它们与输入文本的发音相匹配。我们的系统显示出显着的成功，比其他输入系统。
2012-08-19 cs.CL
PunGraph: Retrieval-Enhanced Phonetic-Semantic Graph Reasoning for Pun Understanding
University of Auckland（奥克兰大学）；Shanxi University（山西大学）；Queen Mary University of London（伦敦玛丽女王大学）
PunGraph通过构建音义知识图谱并检索候选词来约束LLM推理，提升双关语理解性能，并在新数据集WebPun上验证了其有效性。
2026-09-16 cs.CL
Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet
University of Amsterdam（阿姆斯特丹大学）；Stanford University（斯坦福大学）
提出使用国际音标（IPA）作为多语言分词的语言无关输入表示，通过更平衡的字节-字符分布和跨语言字符重叠，显著提升分词质量，尤其对非拉丁文字和未见语言更有效。
2026-06-23 cs.CL
I Have No Mouth, and I Must Rhyme: Uncovering Internal Phonetic Representations in LLaMA 3.2
Brown University（布朗大学）
本研究探究LLaMA 3.2内部如何表示音素，发现其潜在空间存在高层组织，并识别出促进押韵任务的“音素移动头”，其元音模型与人类IPA元音图相似。
2025-10-15 cs.CL cs.LG
Pre-training for Spoken Language Understanding with Joint Textual and Phonetic Representation Learning
Alibaba Group（阿里巴巴集团）
在用于口语语言理解（SLU）的传统级联架构中，已经观察到自动语音识别错误可能对自然语言理解的性能有害。已经提出了端到端（E2E）SLU模型，以利用单个模型将语音输入直接映射到期望的语义框架，从而减轻ASR错误传播。最近，已经探索了这些E2E模型的预训练技术。在本文中，我们提出了一种新的联合文本语音预训练方法学习口语表示，旨在探索语音信息的全部潜力，以提高SLU的鲁棒性ASR错误。我们探索音素标签作为高级语音特征，并设计和比较基于条件掩蔽语言模型目标和句间关系目标的预训练任务。我们还研究了在微调过程中结合文本和语音信息的功效。在口语语言理解基准测试Fluent Speech Commands和SNIPS上的实验结果表明，该方法的性能明显优于强基线模型，提高了口语语言理解对ASR错误的鲁棒性。
2021-09-01 cs.CL
Deciphering Undersegmented Ancient Scripts Using Phonetic Prior
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；University of Konstanz（康斯坦茨大学）；Bayer（拜耳公司）；Google Brain（谷歌大脑）
大多数未破译的失落语言都表现出两个特点，这给破译带来了巨大的挑战：（1）文字没有完全分割成单词;（2）最接近的已知语言没有确定。我们提出了一个解密模型，处理这两个挑战，通过建立在丰富的语言约束，反映一致的模式，在历史上的声音变化。我们捕捉自然的语音几何学学习字符嵌入的基础上，国际音标（IPA）。由此产生的生成框架联合模型分词和同源对齐，通知语音约束。我们评估的模型上破译的语言（哥特式，Ugaritic）和未破译的（伊比利亚）。实验表明，语音几何学的结合导致清晰和一致的收益。此外，我们提出了一个衡量语言的接近度，正确识别相关的语言哥特式和乌加里特。对于伊比利亚语，该方法并没有显示出强有力的证据支持巴斯克语作为一种相关语言，这与目前学术界所青睐的立场一致。
2020-10-21 cs.CL
DISC: Plug-and-Play Decoding Intervention with Similarity of Characters for Chinese Spelling Check
School of Computer Science and Technology, Soochow University, China（苏州大学计算机科学与技术学院）；DAMO Academy, Alibaba Group, China（阿里集团达摩院）
针对中文拼写检查中混淆集构建困难且缺少概率区分的问题，提出仅在推理时引入字音与字形相似度的即插即用 DISC 模块，可免训练增强多种现有模型并取得接近或超越 SOTA 的效果。
2025-06-07 cs.AI cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University（穆罕默德·阿里·真纳大学）；FAST NUCES（巴基斯坦国家计算机与新兴科学大学）
两种语言之间的词汇相似性揭示了许多有趣的语言学见解，如遗传关系，相互理解，以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面，本文提出了一种方法的语音编辑距离（PED），使用软比较的字母，使用与它们相关的发音功能。该系统将单词转换为相应的国际音标（IPA），然后将IPA转换为其发音特征集。之后，使用所提出的方法比较发音特征集的列表。例如，PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地，希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93，而对于并置比较，它们基于IPA的编辑距离分别为4和2。实验用六种语言（阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语）进行。在这方面，我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此，与所提出的方法，我们发现的遗传亲和力，相似性，和借用/外来词，尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Universal Automatic Phonetic Transcription into the International Phonetic Alphabet
University of Notre Dame（圣母大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google（谷歌）
本文提出一种基于wav2vec 2.0的通用语音转IPA模型，利用CommonVoice 11.0七种语言的高质量半自动转写数据进行微调，以更小数据集取得与Wav2Vec2Phoneme相当或更优的性能，并接近人类标注水平。
2023-08-07 cs.CL cs.SD eess.AS
Language-universal phonetic encoder for low-resource speech recognition
ByteDance（字节跳动）
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能，并提出适应方法，在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
Phonikud: Overcoming Phonetic Underspecification for Hebrew Text-To-Speech
Independent Researcher（独立研究者）；Reichman University（雷赫曼大学）；Tel Aviv University（特拉维夫大学）；Carnegie Mellon University（卡内基梅隆大学）
提出Phonikud框架，通过开源G2P系统、语料库、基准和评估模型，解决希伯来语TTS中重音等语音特征欠指定问题，实现更准确的音素预测。
2026-07-03 cs.CL cs.SD eess.AS
ISPA: Inter-Species Phonetic Alphabet for Transcribing Animal Sounds
Earth Species Project（地球物种项目）
本文提出ISPA系统，将动物声音转写为文本，视作“外语”，并证明语言模型等人类语言技术可有效提升动物声音分类性能。
2024-02-05 cs.CL cs.LG cs.SD
PEDBench: Can Speech Models Detect Phonetic Errors?
Harvard University（哈佛大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
本文提出首个语音错误检测基准PEDBench，评估13种先进语音模型发现其检测语音错误能力不足，经合成数据微调的模型优于基线，将公开资源推动PED系统发展。
2026-10-16 cs.CL cs.SD
Unify and Conquer: How Phonetic Feature Representation Affects Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon（亚马逊Alexa人工智能部门）
多语言神经文本转语音（NTTS）系统的一个重要设计决策是如何在模型中表示输入语言特征。纵观文献中各种各样的方法，出现了两种主要的范式，统一和单独的表示。前者使用跨语言的共享语音标记集，而后者使用每种语言的唯一语音标记。在本文中，我们进行了一项全面的研究，比较了两种表示训练的多语言NTTS系统模型。我们的研究结果表明，统一的方法始终实现更好的跨语言合成的自然度和口音。单独的表示往往比统一的表示具有多一个数量级的标记，这可能会影响模型容量。出于这个原因，我们进行了消融研究，以了解表征类型与令牌嵌入大小的相互作用。我们发现，这两种范式之间的差异只出现在一定的阈值嵌入大小。这项研究提供了强有力的证据表明，统一的表示应该是首选的范式时，建立多语言NTTS系统。
2022-07-04 cs.CL eess.AS
Looking for Affect in Spontaneous Finnish Speech through Linguistic Interpretability
Signal Processing Research Centre, Tampere University（坦佩雷大学信号处理研究中心）；Research Centre Plural, Tampere University（坦佩雷大学多元研究中心）
研究探索基于文本和音频的特征在芬兰语自发情感语音中对效价和唤醒感知建模的组合作用，发现两者结合在效价回归上优于单模态，为芬兰语自发语音提供新数据和知识。
2026-07-28 cs.CL
PERL: Pinyin Enhanced Rephrasing Language Model for Chinese ASR N-best Error Correction
Mohamed bin Zayed University of Artificial Intelligence（莫扎德大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对中文语音识别纠错难题，提出PERL受限改写管道，通过预测目标长度、掩码预算及融合语义与拼音表示来纠错，在Aishell-1和DoAD实验中持续降低字符错误率且保持低延迟，还分析了相关交互。
2026-07-17 cs.CL
RECOApy: Data recording, pre-processing and phonetic transcription for end-to-end speech-based applications
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度学习能够开发高效的端到端语音处理应用程序，同时绕过对专家语言和信号处理功能的需求。然而，最近的研究表明，高质量的语音资源和训练数据的音标可以增强这些应用程序的结果。本文介绍了RECOApy工具。RECOApy简化了端到端基于语音的应用程序中所需的数据记录和预处理步骤。该工具实现了一个易于使用的界面，用于提示语音记录，声谱图和波形分析，话语级标准化和静音微调，以及八种语言的提示符的字形到音素转换：捷克语，英语，法语，德语，意大利语，波兰语，罗马尼亚语和西班牙语。字形到音素（G2P）转换器是基于深度神经网络（DNN）的架构，在从Wiktionary在线协作资源中提取的词典上进行训练。由于不同的正字法透明度以及不同语言中语音条目的数量不同，DNN的超参数使用进化策略进行优化。的音素和字的错误率所产生的G2P转换器的介绍和讨论。该工具、经过处理的语音词典和经过训练的G2P模型免费提供。
2020-09-15 cs.CL cs.SD eess.AS
Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks
University of Washington（华盛顿大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
在语音数据中对深度神经网络进行充分理解的依赖性训练，可以为它们如何学习内部表示提供新的见解。本文认为，收购的语音可以建模为随机空间和生成的语音数据之间的依赖关系的生成对抗网络架构，并提出了一种方法来揭示网络的内部表示，对应于语音和音韵属性。生成对抗架构非常适合语音和语音学习建模，因为网络是在未注释的原始声学数据上训练的，并且学习是无监督的，没有任何语言特定的假设或预先假设的抽象级别。一个生成对抗网络在英语中的一个allophonic分布上进行训练。该网络成功地学习了语音交替：网络生成的语音信号包含吸气持续时间的条件分布。该论文提出了一种建立网络内部表示的技术，该技术识别与[s]及其频谱属性的存在相对应的潜在变量。通过操纵这些变量，我们主动控制[s]的存在及其在生成的输出中的摩擦幅度。这表明网络学会使用潜在变量作为语音和音位表征的近似值。至关重要的是，我们观察到在训练中学习到的依赖关系超出了训练间隔，这允许对学习表示进行额外的探索。本文还讨论了网络的架构和创新输出如何与语言习得，言语障碍和言语错误中的语言行为相似和不同，以及如何充分理解语音数据中的依赖关系可以帮助我们解释神经网络如何学习它们的表示。
2020-06-06 cs.CL cs.LG q-bio.NC
Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism
Yonsei University（延世大学）；Seoul National University（首尔国立大学）；Korea University（韩国大学）
研究语言模型在多模态输入中对声音象征性的处理，通过分析不同语义维度下的音节注意力分数，揭示模型对声音与意义关联的理解机制。
2026-03-19 cs.CL
IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining
Nagoya University（名古屋大学）；Kyoto University（京都大学）；University of Human Environments（人类环境大学）；Chukyo University（中京大学）；RIKEN（理化学研究所）
近年来，大规模的视觉和语言（V\&L）预训练已经成为许多多媒体系统的标准骨干。虽然它即使在看不见的情况下也表现出卓越的性能，但它通常以人类不直观的方式执行。特别是，它们通常不考虑输入的发音，人类将利用这些发音来理解语言，特别是当涉及到未知单词时。为此，本文在语音预训练模型之一的对比图像预训练（CLIP）中加入语音先验，使其考虑语音输入之间的语音相似性。为了实现这一点，我们首先提出了一个音素嵌入，利用国际音标（IPA）表提供的音素关系作为语音先验。其次，通过提取冻结的CLIP文本编码器，我们训练一个发音编码器采用基于IPA的嵌入。该模型命名为IPA-CLIP包括这个发音编码器和原始CLIP编码器（图像和文本）。定量评估表明，音素分布的嵌入空间表示语音关系更准确地使用建议的音素嵌入。此外，在一些多模态检索任务中，我们确认，建议的发音编码器提高了文本编码器的性能，发音编码器处理无意义的单词在一个更语音的方式比文本编码器。最后，定性评估验证了发音编码器和人类感知之间的相关性，关于发音相似性。
2023-03-06 cs.CL cs.MM cs.SD
Evolutionary optimization of contexts for phonetic correction in speech recognition systems
SoldAI Research（索尔德艾研究所）
自动语音识别（ASR）是学术界和商业界日益关注的一个领域，这是由于对使用它来提供自然通信方法的应用的高需求。通用ASR系统在使用特定领域语言的应用程序中失败是很常见的。已经使用了各种策略来减少错误，例如提供修改语言模型的上下文和后处理校正方法。本文探讨了如何使用演化过程为特定的应用程序领域生成优化的上下文，以及基于语音距离度量的不同校正技术。结果表明，遗传算法作为上下文优化的工具，其中，添加到基于语音表示的后处理校正，可以减少识别语音的错误的可行性。
2021-02-23 cs.CL cs.SD eess.AS
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Delft University of Technology（代尔夫特理工大学）
世界上只有少数几种语言拥有丰富的资源，使语音处理技术的实际应用成为可能。克服这个问题的方法之一是使用其他语言中存在的资源来训练多语言自动语音识别（ASR）模型，该模型直观地应该学习一些通用的语音表示。在这项工作中，我们专注于更深入地了解这些表示可能有多普遍，以及各个手机在多语言环境中如何得到改进。为此，我们选择了一组语音多样的语言，并进行了一系列的单语，多语种和跨语言（zero-shot）的实验。ASR被训练为识别国际音标（IPA）标记序列。我们观察到在多语言环境中所有语言都有显着的改进，而在跨语言环境中则出现了明显的退化，其中模型除了其他错误外，还将爪哇语视为声调语言。值得注意的是，只有10个小时的目标语言训练数据大大降低了ASR错误率。我们的分析发现，即使是一种语言所特有的手机也可以从添加其他语言的训练数据中受益匪浅-这对资源匮乏的语音社区来说是一个令人鼓舞的结果。
2020-05-16 cs.CL cs.SD eess.AS
AlloVera: A Multilingual Allophone Database
Carnegie Mellon University（卡内基梅隆大学）；National Research Council of Canada（加拿大国家研究委员会）；CNRS-LACITO（法国国家科学研究中心-语言与文明研究所）
我们介绍了一个新的资源，AlloVera，它提供了映射从218 allophones音素为14种语言。音位是对比的语音单位，音位变体是音位的各种具体表现形式，可以从语音语境中预测。虽然音素表征是语言特定的，但语音表征（以（allo）音素表示）更接近于通用的（独立于语言的）转录。AlloVera允许训练语音识别模型，这些模型以国际音标（IPA）输出音标，而不管输入语言如何。我们表明，一个“通用”的异体字模型，异特龙，与AlloVera建成，优于“通用”的音素模型和语言特定的模型上的语音转录任务。我们探讨这种技术（和相关技术）的濒危和少数民族语言的文件的影响。我们进一步探索其他应用程序，其中AlloVera将适合它的成长，包括语音类型学。
2020-04-17 cs.CL
Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；China Unicom (Guangdong) Industrial Internet Co., Ltd（中国联通（广东）工业互联网有限公司）；Tsinghua University（清华大学）
本文提出Whistle，一种通过弱音素监督预训练实现数据高效的多语言和跨语言语音识别方法，实验表明其在已见语言识别、未见语言跨语言性能、抗遗忘和训练效率上优于其他方法。
2025-03-27 cs.CL cs.SD eess.AS
Phone-aware Neural Language Identification
Tsinghua University（清华大学）
纯声学神经模型，特别是LSTM-RNN模型，在语言识别（LID）中显示出巨大的潜力。然而，语音信息已经在很大程度上被大多数现有的神经LID模型所忽视，尽管这些信息已经被用于传统的语音LID系统中并取得了巨大的成功。我们提出了一个电话感知神经LID架构，它是一个深度LSTM-RNN LID系统，但接受基于RNN的ASR系统的输出。通过利用语音知识，LID性能可以显着提高。有趣的是，即使测试语言不参与ASR训练，语音知识仍然有很大的贡献。我们在Babel语料库中的四种语言上进行的实验表明，语音感知方法是非常有效的。
2017-05-22 cs.CL cs.LG cs.NE
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
用于自动语音识别（ASR）的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统（包含用于声学建模、发音词典和语言建模的单独训练的组件）相比，端到端范例在概念上更简单，并且具有在最终任务上训练整个系统的潜在好处。然而，这样的神经网络模型更加不透明：不清楚如何解释网络不同部分的作用，以及它在训练过程中学习到什么信息。在本文中，我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务，比较音素和字素，以及不同的发音功能。我们研究了两种语言（英语和阿拉伯语）和三个数据集，发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
尽管近年来发展迅速，但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标，正式的感知质量的差异，通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜，频谱通量，微光等-是不可微的，我们开发了一个神经网络估计，可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重，因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中，以优化语音输出，从而在这些特征中匹配干净语音的值。实验上，我们表明，它提高了语音增强工作流程在时域和时频域，标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析，证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
UniGlyph: A Seven-Segment Script for Universal Language Representation
St. Xavier's Catholic College of Engineering（圣泽维尔天主教工程学院）；Loyola College（洛约拉学院）；University of Madras（马德拉斯大学）；Bell Matriculation Higher Secondary School（贝尔预科高中）；St. Xavier’s College（圣泽维尔学院）；Manonmaniyam Sundaranar University（马农马尼亚姆·孙达拉纳尔大学）
本文提出了人造语言UniGlyph，通过基于七段码字符的文字系统实现通用音译，以解决国际音标和传统字符集的缺陷，准确表示跨语言语音并促进AI等多领域的跨语言交流。
2024-10-11 cs.CL cs.HC cs.SC
Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings for CLEF JOKER 2025 Task 2
Georgia Institute of Technology（佐治亚理工学院）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学）；Joint Institute for Nuclear Research（联合核子研究中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（斯德哥尔摩大学）
本研究针对跨语言双关语翻译难题，提出结合对比学习、音义嵌入与多智能体生成器-判别器框架的三阶段方法，在CLEF JOKER 2025任务2竞赛中获第一、第二名，推动了双关语翻译研究。
2026-08-06 cs.AI cs.CL cs.LG
What Can an Accent Identifier Learn? Probing Phonetic and Prosodic Information in a Wav2vec2-based Accent Identification Model
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northern Arizona University（北亚利桑那大学）
本研究通过模型探测方法分析口音识别微调对Wav2vec2类自监督学习模型音素、韵律表征的影响，发现微调引导顶层2层学习更丰富的相关表征，第9层存在口音特异性音素表征，为理解SSL特征与微调任务的相互作用提供参考。
2023-06-10 cs.CL cs.SD eess.AS
Use Pronunciation by Analogy for text to speech system in Persian language
Islamic Azad university Science and research branch-khuzestan（伊斯兰阿扎德大学科学与研究分支（胡齐斯坦））；Amirkabir University of Technology（阿米尔卡比尔理工大学）
文本到语音合成在世界范围内引起了越来越大的兴趣，许多流行的语言如英语、西班牙语和法语都已经开发出了文本到语音的合成技术，许多研究和开发都应用于这些语言。另一方面，与其他重要的语言相比，波斯语一直没有得到足够的重视，对波斯语的研究还处于起步阶段，波斯语有许多困难和例外，这增加了文本到语音系统的复杂性。例如：短元音在书面语中不存在或存在同形异义词。本文提出了一种新波斯语文本的语音化方法，该方法是基于词中的类比发音、语义关系和语法规则来寻找合适的语音。关键词：PbA，文本到语音，波斯语，FPbA
2011-07-24 cs.CL
Quantifying Phonosemantic Iconicity Distributionally in 6 Languages
Cognitive Science, UC Berkeley（加州大学伯克利分校认知科学系）；Data Science, UW Madison（威斯康星大学麦迪逊分校数据科学系）
本研究采用分布化方法对6种语言的音义象似性做大规模量化，既发现了未被报道的音义对齐与跨语言模式，也验证了既有假设的音义对齐，部分得到支持、部分结果混杂。
2025-10-28 cs.CL
IPA Transcription of Bengali Texts
University of Dhaka（达卡大学）；Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）；BRAC University（孟加拉国BRAC大学）；Sylhet Engineering College（锡尔赫特工程学院）
本文针对孟加拉语IPA转写标准不统一的问题，提出一个新的IPA转写框架，并构建了包含深度学习基准的新数据集，以推动孟加拉语语言分析和NLP资源建设。
2024-03-29 cs.CL
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
The Curious Case of Visual Grounding: Different Effects for Speech- and Text-based Language Encoders
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文研究视觉接地对语音和文本语言编码器内部表示的影响，发现其能提升口语与书面语表示对齐但主要增强词身份编码，且未能改善语音表示的语义可辨别性，为丰富语音模型的视觉语义方法提供启示。
2025-09-19 cs.CL
Linear models and linear mixed effects models in R with linguistic applications
University of California, Merced（加州大学默塞德分校）
本文是一个概念性的介绍混合效果建模与语言应用，使用R编程环境。读者被引入到线性建模和假设，以及混合效应/多水平建模，包括随机截距，随机斜率和似然比检验的讨论。在整个文本中使用的例子集中在语音音高数据的语音分析。
2013-08-26 cs.CL
A computational system to handle the orthographic layer of tajwid in contemporary Quranic Orthography
本研究针对当代《古兰经》正字法中的塔吉维德正字层，开发了可添加或移除该层的Python模块，验证了开罗版《古兰经》塔吉维德规则的系统性，为《古兰经》抄本对齐与阿拉伯文字研究提供了支撑框架。
2025-05-16 cs.CL
BanglaIPA: Towards Robust Text-to-IPA Transcription with Contextual Rewriting in Bengali
Shahjalal University of Science and Technology（沙赫贾尔大学科学与技术学院）；University of Maryland, Baltimore County, USA（马里兰大学巴尔的摩县分校）
BanglaIPA通过整合字符词汇与词级对齐，实现了对孟加拉语标准语言和方言文本的稳健IPA转录，提升了推理效率并降低了词错误率。
2026-02-04 cs.CL
Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text
Universitat Oberta de Catalunya (UOC)（加泰罗尼亚开放大学）；University of Granada（格拉纳达大学）；Research Centre for Information and Communication Technologies (CITIC-UGR)（信息与通信技术研究中心（CITIC-UGR））
该研究在Brain-to-Text '25基准上对比GRU与混合Mamba解码器、音素级与字符级目标的脑机文本系统，发现循环基线性能最优，混合Mamba具竞争力但未超越基线。
2026-07-30 cs.AI cs.CL eess.SP
Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations
National Institute of Technology, Trichy（印度Trichy国家理工学院）；Indian Institute of Technology, Madras（印度Madras理工学院）
分析基于BigVGAN的单元声码器在多语言多说话人语音生成中的表现，发现聚类大小控制可懂度，显式说话人条件防止身份崩溃，语言监督在低聚类大小时有益。
2026-06-04 cs.AI cs.CL cs.SD
Computational Induction of Prosodic Structure
Bielefeld University（比勒费尔德大学）
本研究有两个目标与韵律的语法，理解为语音的节奏和旋律。首先，概述了可计算的语法和语音的韵律分析方法，使用假设演绎的方法，是基于学习解释学的直觉语言。其次，提出了一个建议，在物理信号中的感应接地，其中韵律结构推断使用语言无关的方法从低频谱的语音信号。概述包括标准生成和生成后模型的计算方面的讨论，并建议重新制定这些形成归纳的方法。还包括讨论的语言语音学方法来分析注释（对语音单元标签与时间戳）记录的口语。该提案介绍了节奏形式化理论（RFT）的归纳方法和相关的节奏形式化分析（RFA）方法，其目的是通过建立一个独立于语言的语音信号分析归纳程序来完成语言假设演绎循环中的空白。该方法的有效性进行了论证，并适用于朗读普通话的节奏模式，发现与英语的差异，这是有关的语言之间的词汇和语法的差异，以及个人的变化。总的结论是：（1）考虑到由于体裁和风格差异以及话语动态而产生的各种语言内部因素，规范的语言与语言之间的节奏的语音或语音比较（例如汉语和英语）过于简单化;（2）需要语言独立的物理信号中的节奏经验基础。
2019-12-15 cs.CL cs.SD eess.AS
Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis
JD AI（京东人工智能）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
构建对自动语音识别（ASR）错误鲁棒的口语语言理解（SLU）是各种启用语音的虚拟助理的基本问题。考虑到大多数ASR错误是由发音相似的表达之间的语音混淆引起的，直观地，利用语音的音素序列可以补充ASR假设，并增强SLU的鲁棒性。提出了一种新的带交叉注意的SLU模型（CASLU）.交叉注意块的设计是为了捕捉音素和词嵌入之间的细粒度的相互作用，以使联合表示捕捉输入的语音和语义特征的同时，克服在下游的自然语言理解（NLU）任务的ASR错误。在三个数据集上进行了大量的实验，显示了我们的方法的有效性和竞争力。此外，我们还验证了CASLU的通用性，并证明了它与其他鲁棒SLU技术相结合时的互补性。
2022-03-22 cs.CL cs.SD eess.AS
Using Shapley interactions to understand how models use structure
ELLIS & MPI-IS Tübingen（ELLIS与MPI-IS图宾根研究所）；UC San Diego（圣地亚哥大学）；Kempner Institute, Harvard University（哈佛法学院凯普纳研究所）
该研究引入Shapley Taylor交互指数（STII）分析语言与语音模型的内部输入结构关联，验证了模型编码句法、非组合语义、语音协同发音三类语言结构的交互模式，为NLP可解释性提供新方法视角。
2025-06-11 cs.AI cs.CL cs.CV
Spirit LM: Interleaved Spoken and Written Language Model
Meta AI；Inria（法国国家信息与自动化研究所）；EHESS（法国社会科学高等研究院）；ENS-PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）
Spirit LM是一个基于7B文本模型扩展的多模态语言模型，通过词级交错训练融合文本与语音，支持跨模态少样本学习ASR、TTS和语音分类等任务。
2024-10-18 cs.CL cs.SD eess.AS
Phonotactic Complexity and its Trade-offs
University of Cambridge（剑桥大学）；Google（谷歌）
我们提出的方法来计算一个衡量的音位复杂性-每音素位-，允许一个简单的跨语言比较。当给定一个单词，表示为一系列音素片段，如国际音标中的符号，以及一个在语言中的单词类型样本上训练的统计模型时，我们可以使用模型下该单词的负对数概率来近似测量每个音素的位数。这个简单的测量方法使我们能够比较不同语言之间的熵，从而了解一种语言的音位结构有多复杂。使用106种语言中的1016个基本概念词的集合，我们证明了每个音素的位与词的平均长度之间的非常强的负相关性为-0.74。
2020-05-07 cs.CL
Seeing isn't Hearing: Benchmarking Vision Language Models at Interpreting Spectrograms
Department of Computer Science, University of Sheffield, UK（谢菲尔德大学计算机科学系）；Department of Computer Science, University of Manchester, UK（曼彻斯特大学计算机科学系）
本研究通过构建含4000+孤立英语单词及对应频谱图、波形图的数据集，以多项选择题测试VLMs解释语音表示的能力，发现零样本和微调模型表现均难超随机水平，表明其需特定参数化知识才能有效解释此类图形。
2025-11-17 cs.CL
Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens
United International University（联合国际大学）；University of British Columbia（不列颠哥伦比亚大学）
提出区域引导令牌（DGT）技术，通过向序列中添加区域令牌来指导模型生成对应方言的国际音标转录，在包含孟加拉国六个地区的数据集上微调Transformer模型，ByT5表现最佳。
2026-06-23 cs.AI cs.CL cs.LG
The FruitShell French synthesis system at the Blizzard 2023 Challenge
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Anhui University（安徽大学）；Shanghai Polytechnic University（上海第二工业大学）
本文提出用于Blizzard 2023挑战赛的法语TTS系统，采用VITS模型与hifigan声码器，通过数据清洗、G2P音素转换及多说话人建模，在Hub和Spoke任务中取得平均水平的MOS成绩。
2024-09-25 cs.CL cs.SD eess.AS
Revisiting IPA-based Cross-lingual Text-to-speech
Netease Games AI Lab（网易游戏AI实验室）
国际音标（IPA）已被广泛应用于跨语言的文语转换（TTS），以实现跨语言的语音克隆（CL VC）。然而，国际音标本身在跨语言TTS中的研究却不足。在本文中，我们报告了一些实证研究结果，建立一个跨语言的TTS模型使用IPA作为输入。实验表明，IPA和超切分序列的处理方式对CL VC性能的影响可以忽略不计。此外，我们发现，使用一个数据集，包括一个扬声器每种语言，以建立一个基于IPA的TTS系统将失败CL VC，因为语言唯一的IPA和音调/重音符号可以泄漏的扬声器信息。此外，我们在训练数据集中使用不同的说话人组合进行实验，以进一步研究说话人数量对CL VC性能的影响。
2021-10-18 cs.CL cs.SD eess.AS
PRODIS -- a speech database and a phoneme-based language model for the study of predictability effects in Polish
KTH Royal Institute of Technology（皇家理工学院）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
该研究构建了波兰语语音数据库PRODIS及音素级语言模型，用于分析韵律、话语因素与可预测性效应交互对声学参数的影响，并提供了高质量、可扩展的公开语料库。
2024-04-15 cs.CL cs.SD eess.AS
