LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出利用梵语段落生成印度语言技术词典的方法，通过子词级相似性和形态对齐提升翻译准确性，实验显示在技术术语翻译中取得显著提升。
2025-06-24 cs.CL
Rasa: Building Expressive Speech Synthesis Systems for Indian Languages in Low-resource Settings
AI4Bharat；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文发布首个面向印度语言的多语言富有表现力TTS数据集Rasa，覆盖阿萨姆语、孟加拉语和泰米尔语，并通过消融实验证明少量中性加表现力数据即可构建可用系统，为低资源语言语音合成提供了实用方案。
2024-08-30 cs.CL cs.LG cs.SD
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad（印度信息技术学院海得拉巴分校）
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题，本文构建带重音标注的印度英语数据集，提出基于FastPitch的可迁移重音的TTS架构，实现印度英语到印地语的重音迁移SSMT系统，提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
Low-Resource End-to-end Sanskrit TTS using Tacotron2, WaveGlow and Transfer Learning
Indian Institute of Science（印度科学学院）；SDM College of Engineering and Technology（SDM工程技术学院）
端到端的文本到语音（TTS）系统已经为英语和西班牙语等欧洲语言开发，具有最先进的语音质量，韵律和自然度。然而，印度语言端到端TTS的开发在质量方面落后。在这样的任务中涉及的挑战是：1）缺乏高质量的训练数据; 2）在训练和推理期间的低效率; 3）在大词汇量的情况下的缓慢收敛。在本文报告的工作中，我们研究了使用有限的梵语数据微调英语预训练的Tacotron 2模型，以在低资源设置中合成梵语的自然发音语音。我们的实验显示令人鼓舞的结果，实现了3.38的总体MOS从37个评价良好的梵语口语知识。考虑到我们使用的语音数据仅持续2.5小时的事实，这确实是一个非常好的结果。
2022-12-07 cs.CL cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Open vocabulary keyword spotting through transfer learning from speech synthesis
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
提出利用预训练语音合成系统迁移知识到文本表示，解决开放词汇关键词识别中音频-文本模态不匹配问题，在LibriPhrase Hard数据集上AUC提升8.22%，EER提升12.56%。
2024-04-18 cs.HC cs.SD eess.AS
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的，他们的谈话是一种代码混合的方式。双语文本到语音（TTS）系统的可理解性，这样的非英语母语的人依赖于一个词汇，捕捉非母语的人使用的音素序列。然而，由于缺乏非母语英语词汇，现有的双语TTS系统采用母语英语词汇，广泛使用，除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致，在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是：说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上，字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究，通过比较双语（印度英语和印地语）TTS系统训练和不建议的规则。主观评价表明，与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management（环境资源管理公司）
本文提出一个开源Python包voice cloning and speech synthesis，通过包含说话人验证、合成器、声码器和降噪模块的系统架构，为语音障碍人士和专业人士生成个性化的合成语音，并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
IMaSC -- ICFOSS Malayalam Speech Corpus
Government Engineering College（政府工程学院）；A P J Abdul Kalam Technological University（阿卜杜勒·卡拉姆技术大学）；IIIT（印度信息技术学院）；State Project Facilitation Unit（邦项目促进单位）
现代文本到语音（TTS）系统使用深度学习来合成越来越接近人类质量的语音，但它们需要高质量音频文本句子对的数据库进行训练。马拉雅拉姆语是印度喀拉拉邦的官方语言，有3500多万人使用，就TTS系统的可用语料库而言，马拉雅拉姆语是一种低资源语言。在本文中，我们提出了IMASC，马拉雅拉姆语文本和语音语料库，包含约50小时的录音讲话。IMASC拥有8个扬声器和34，473个文本音频对，比其他任何公开可用的替代方案都要大。我们评估了数据库，使用它来基于现代深度学习架构为每个说话者训练TTS模型。通过主观评价，我们表明，与以前的研究和公开的模型相比，我们的模型在自然度方面表现得更好，平均意见得分为4.50，表明合成语音接近人类质量。
2022-11-23 cs.CL cs.SD eess.AS
Rethinking MUSHRA: Addressing Modern Challenges in Text-to-Speech Evaluation
cse.iitm.ac.in（印度理工学院Madras计算机科学工程系）；AI4Bharat
针对 MUSHRA 在 TTS 评估中的参考匹配偏差与判断模糊性问题，提出两种改进变体，并发布含 24.6 万评分的印地语和泰米尔语数据集 MANGO，实现更可靠细粒度的评估。
2025-05-27 cs.CL cs.LG cs.SD
Optimizing Multilingual Text-To-Speech with Accents & Emotions
本文提出一种集成口音保留、音译保持与多尺度情感建模的TTS架构，针对印地语和印度英语优化，显著提升口音准确率与情感识别，支持实时混合代码生成。
2025-06-19 cs.HC cs.LG cs.SD
Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages
Indian Institute of Technology, Madras, India（印度理工学院马德拉斯分校）；AI4Bharat, India（AI4Bharat）；Josh Talks, India（Josh Talks）
本文通过大规模成对评估和分析，探讨印度语言TTS系统在多语言环境下的偏好，结合语言控制与感知注解，评估7种先进系统，揭示人类偏好与模型性能的多维关系。
2026-06-24 cs.CL
Kinship in Speech: Leveraging Linguistic Relatedness for Zero-Shot TTS in Indian Languages
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
本文提出通过增强共享音素表示并修改文本解析规则以匹配目标语言音系规则，实现印度低资源语言的零样本语音合成，并在梵语、孔卡尼语等五种语言上验证了方法的有效性。
2025-06-04 cs.CL cs.CV
MunTTS: A Text-to-Speech System for Mundari
Microsoft Corporation（微软公司）；Karya Inc.（Karya公司）；Project VANI（VANI项目）；University of Maryland（马里兰大学）
针对低资源语言蒙达里语缺乏语音技术支持的问题，本研究收集对应文本语音数据集，构建了端到端TTS系统MunTTS，经评测验证其可用于该语言的数字保护与推广。
2024-01-28 cs.CL cs.SD eess.AS
Context-based out-of-vocabulary word recovery for ASR systems in Indian languages
Zapr Media Labs（扎普尔媒体实验室）
词汇表外词汇的检测和恢复一直是自动语音识别系统的难点。许多现有的方法侧重于通过修改声学和语言模型以及巧妙地将上下文词集成到模型中来对OOV词进行建模。为了训练这种复杂的模型，我们需要大量的数据和上下文词，额外的训练时间，并增加模型的大小。然而，在获得ASR转录恢复基于上下文的OOV词，后处理方法还没有探索太多。在这项工作中，我们提出了一个后处理技术，以提高基于上下文的OOV恢复的性能。我们创建了一个声学增强的语言模型，其中在电话级别使用OOV单词列表制作了一个子图。我们提出了两种方法来确定一个合适的代价函数，以检索基于上下文的OOV词。代价函数是基于语音学和声学知识定义的，用于在解码中匹配和恢复正确的上下文单词。建议的代价函数的有效性进行评估，在两个字的水平和水平。测试结果表明，该方法可以在多个类别中平均恢复50%的基于上下文的OOV词。
2022-06-09 cs.CL cs.SD eess.AS
Efficient Continual Pre-training of LLMs for Low-resource Languages
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Bombay（印度理工学院孟买分校）
针对低资源语言LLM性能差、持续预训练成本高的问题，提出文本子集选择与词元选择算法，用Llama-3在9种印度语言上验证了低数据量下的效果并给出跨语系洞见。
2024-12-13 cs.CL cs.LG
BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis
Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（SeNSE中心））；RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校FITT的RSL量子公司）
研究针对古典印度语言分词低效问题，提出BHARATI，它基于多语言语料库训练出三个版本的分词器，经子词丰富度分析和实验验证，v3表现出色，能减少序列长度，增加下游语言模型有效上下文长度，相关模型、脚本和基准已开源。
2026-07-28 cs.CL cs.CY cs.ET
Unlimited Vocabulary Grapheme to Phoneme Conversion for Korean TTS
本文描述了一种基于音素连通性和CCV转换规则的字素-音素转换方法。该方法主要由四个模块组成：词素规范化、断词检测、词素到音素转换和音素连通性检查。词素规范化是将非韩语符号替换为标准韩语字素。短语中断检测器使用词性（POS）信息分配短语中断。在词素到音素转换模块中，通过查找词素语音模式词典将短语中的每个词素转换为语音模式，该词素语音模式词典包含词素边界的候选语音变化。词素中的字形被分组为CCV模式，并通过CCV转换规则转换为音素。音素连接表支持相邻两个语音语素的语法性检查。在4,973个句子的语料库中，我们实现了99.9%的字素到音素转换性能和97.5%的句子转换性能。目前正在使用这种转换方法实现完整的韩语TTS系统。
1998-06-10 cmp-lg cs.CL
Accent Estimation of Japanese Words from Their Surfaces and Romanizations for Building Large Vocabulary Accent Dictionaries
PKSHA Technology Inc.（PKSHA科技公司）
在日语文语转换（TTS）中，需要在输入的句子中添加重音信息。然而，存在有限数量的公开可用的口音词典，并且那些词典（例如UniDic）不包含许多复合词、专有名词等，这是实际TTS系统所需要的。为了建立一个包含这些单词的大规模口音词典，作者开发了一种口音估计技术，该技术从单词的有限信息（即表面（例如汉字）和yomi（简化的语音信息））中预测单词的口音。实验结果表明，该技术可以估计口音与高精度，特别是对某些类别的话。作者将该技术应用于现有的大词汇日语词典NEologd，并获得了大词汇日语口音词典。许多情况下，已经观察到，使用本词典产生更适当的语音信息比UniDic。
2020-09-21 cs.CL eess.AS
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
本研究针对17种印度语言，系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响，发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
NE-BERT: A Multilingual Language Model for Nine Northeast Indian Languages
MWire Labs（MWire实验室）
研究针对印度东北部9种低资源语言的代表性不足问题，提出NE-BERT多语言语言模型，通过加权采样等技术提升性能，解决词汇碎片化，发布资源推动当地NLP研究与数字包容。
2026-08-20 cs.AI cs.CL
Cross-lingual and Multilingual Spoken Term Detection for Low-Resource Indian Languages
Microsoft Research India（微软印度研究院）；Microsoft Corporation（微软公司）
口语术语检测（STD）是在音频中搜索单词或短语的任务，给定文本或口语输入作为查询。在这项工作中，我们使用国家的最先进的印地语，泰米尔语和泰卢固语ASR系统跨语言的词汇口语检测在十个低资源的印度语言。由于在这些语言中没有公开可用的数据集用于口语术语检测，因此我们使用公开可用的TTS数据集创建一个新的数据集。我们报告了一个标准的指标STD，平均术语加权值（MTWV），并表明，ASR系统内置的的语言是语音相似的目标语言有更高的准确性，但是，它也有可能得到高MTWV分数不同的语言，通过使用一个宽松的电话匹配算法。我们提出了一种技术，引导的字形音素（g2p）之间的映射所有的语言正在考虑使用公开可用的资源。当我们结合多个ASR系统的输出时，当我们使用特定于语言的语言模型时，我们会获得收益。我们表明，它是可能的，以执行STD跨语言的zero-shot的方式，而不需要任何特定语言的语音数据。我们计划将STD数据集提供给其他对跨语言STD感兴趣的研究人员。
2020-11-12 cs.CL
Study of Indian English Pronunciation Variabilities relative to Received Pronunciation
Indian Institute of Science（印度科学学院）
印度英语（IE）发音变异的分析是有用的，在印度的背景下，自动语音识别（ASR）和文本到语音（TTS）合成系统的建设。通常情况下，这些发音变异性已被探索通过比较IE发音与接收发音（RP）。然而，要探索这些变化，需要在语音水平上标记发音数据，这对于IE来说是稀缺的。此外，融合教育的多功能性源于使用者母语的多样性和人口区域差异的影响。以前的语言学作品的特点是定性的IE变异报告的语音规则，代表这种变化相对于RP。定性的描述往往缺乏定量的描述符和数据驱动的分析，不同的IE语音数据来解释语音水平上的IE。为了解决这些问题，在这项工作中，我们考虑一个语料库，印度TIMIT，包含一个大的集合，从80个扬声器从印度的各个地区的IE品种。我们提出了一个分析，以获得一组新的语音规则，表示IE发音变异相对于RP在数据驱动的方式。我们使用15，974个音标来完成这一任务，其中13，632个是手动获得的，除了语料库的那些部分。此外，我们验证了从现有的语音规则的分析，以确定所获得的语音规则的相关性和测试的功效的字形到音素（G2P）转换开发的基础上，考虑音素出错率（PER）作为性能的度量标准所获得的规则。
2022-12-09 cs.CL
Unsupervised Stemming based Language Model for Telugu Broadcast News Transcription
Osmania University（奥斯曼尼亚大学）
在印度语言中，母语者能够理解通过组合或修改具有时态和/或性别的词根而形成的新词。由于数据不足，自动语音识别系统（ASR）可能无法容纳语言模型中的所有单词，无论文本语料库的大小如何。如果数据量由于词根的形态变化而呈指数级增加，则计算也变得具有挑战性。本文在印地语无监督方法的基础上，提出了一种新的无监督方法来生成语言模型中的词汇外（OOV）词。通过使用平滑和插值的预处理数据与监督和无监督的词干，不同的问题在语言模型印度语：泰卢固语的技术已经解决。我们观察到，平滑技术Witten-Bell和Kneser-Ney相比，其他技术的预处理数据从监督学习。有监督和无监督词干提取分别提高了ASRs的准确率0.76%和0.94%。
2019-08-10 cs.CL eess.AS
Neural Machine Translation for Low-Resourced Indian Languages
Delhi Technological University (Formerly Delhi college of Engineering)（德里理工大学（原德里工程学院））
网上有大量重要的英文资料，这些资料经常被翻译成当地语言，以方便不太熟悉英文的当地人分享信息。然而，手动翻译是一个非常繁琐、昂贵和耗时的过程。为此，机器翻译是一种有效的方法，可以将文本转换为不同的语言，而无需任何人工参与。神经机器翻译（NMT）是现有机器翻译系统中最成熟的翻译技术之一。在本文中，我们已经应用NMT两个最形态丰富的印度语言，即英语泰米尔语和英语马拉雅拉姆语。我们提出了一种新的NMT模型，使用多头自注意力以及预训练的字节对编码（BPE）和MultiBPE嵌入来开发一个有效的翻译系统，该系统克服了低资源形态丰富的印度语言的OOV（词汇量不足）问题，这些语言在网上没有太多的翻译。我们还从不同的来源收集语料，解决这些公开可用的数据的问题，并完善它们以供进一步使用。我们使用BLEU分数来评估我们的系统性能。实验结果和调查证实，我们提出的翻译（24.34和9.78 BLEU分数）优于谷歌翻译（9.40和5.94 BLEU分数）分别。
2020-04-19 cs.CL
Dual Learning for Large Vocabulary On-Device ASR
New York University（纽约大学）；Google Inc.（谷歌公司）
双学习是半监督机器学习的一种范式，它试图通过同时解决两个相反的任务来利用无监督数据。在该方案中，每个模型用于为未标记的示例生成伪标签，这些未标记的示例用于训练另一个模型。通过将ASR和TTS配对为双重任务，双重学习在语音处理中有一些用途。然而，这些结果大多只解决了使用非配对示例来补偿非常小的监督数据集的情况，并且大多数是在大型非流模型上。双学习尚未被证明可以有效地使用无监督数据来改进已经在大型监督语料库上训练的真实设备上的流模型。我们通过对在整个Librispeech上训练的设备大小的流一致性的分析来提供这个缺失的部分，显示出在没有LM的情况下相对WER提高了10.7%/5.2%，在LM的情况下相对WER提高了11.7%/16.4%。
2023-01-11 cs.AI cs.CL
MuRIL: Multilingual Representations for Indian Languages
Google（谷歌）；Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Delhi Technological University（德里理工大学）
印度是一个多语言的社会，全国有1369种合理化的语言和方言（印度，2011年）。其中，22种列入附表的语言的使用者总数达到惊人的11.7亿人，121种语言的使用者超过1万人（印度，2011年）。印度也拥有第二大（并且不断增长）的数字足迹（Statista，2020）。尽管如此，当今最先进的多语言系统在印度（IN）语言上的表现并不理想。这可以通过以下事实来解释：多语言语言模型（LM）通常在100多种语言上一起训练，导致IN语言在其词汇表和训练数据中的表示很小。在资源贫乏的情况下，多语言LM的有效性大大降低（Wu和Dredze，2020年; Lauscher等人，2020年），因为有限的数据无助于捕捉语言的各种细微差别。人们还通常观察到IN语言文本被音译为拉丁语或与英语混合的代码，特别是在非正式环境中（例如，在社交媒体平台上）（Rijhwani等人，2017年）。目前最先进的多语言LM不能充分处理这种现象。为了解决上述差距，我们提出了MuRIL，一个专门为IN语言构建的多语言LM。MuRIL仅在大量IN文本语料库上进行训练。我们显式地使用翻译和音译的文档对来增强单语文本语料库，这些文档对在训练中作为监督的跨语言信号。在具有挑战性的跨语言XTREME基准测试中，MuRIL在所有任务上的表现都明显优于多语言BERT（mBERT）（Hu等人，2020年）。我们还介绍了所选数据集的音译（本地拉…
2021-04-02 cs.CL
Comparative analysis of subword tokenization approaches for Indian languages
Indian Institute of Technology (IIT), Varanasi（印度理工学院（IIT），瓦拉纳西）
本文比较了SentencePiece、BPE和WordPiece三种子词分词技术在统计、神经及多语言神经机器翻译模型中对印度语言的效果，发现SentencePiece在多数语言对中BLEU分数最优，而BPE在多语言模型中表现最佳，且印度语到英语的翻译优于反向。
2025-05-22 cs.CL
Supporting SENCOTEN Language Documentation Efforts with Automatic Speech Recognition
National Research Council Canada（加拿大国家研究理事会）；WSÁNEĆ School Board（WSÁNEĆ学校委员会）
本文提出一种结合 TTS 数据增强、跨语言语音基础模型迁移和 n-gram 语言模型的 ASR 驱动记录流程，在 SENCOTEN 数据集上取得 WER 14.32%、CER 3.45% 的结果，有效支持该濒危语言记录工作。
2025-07-20 cs.CL cs.SD eess.AS
