Can string kernels pass the test of time in Native Language Identification?
University of Bucharest(布加勒斯特大学)
我们描述了一种用于2017年母语识别(NLI)共享任务的机器学习方法。所提出的方法结合了多个内核使用多核学习。虽然我们的大多数内核都基于从论文或语音记录中提取的字符p-gram(也称为n-gram),但我们也使用基于i-vector的内核,i-vector是共享任务组织者提供的音频记录的低维表示。对于学习阶段,我们选择核判别分析(KDA)而不是核岭回归(KRR),因为前者的分类器在开发集上获得了比后者更好的结果。在我们以前的工作中,我们使用了类似的机器学习方法来实现最先进的NLI结果。本文的目标是证明我们基于字符串内核的肤浅而简单的方法(略有改进)可以通过时间的考验,并在2017年NLI共享任务中达到最先进的性能,尽管自然语言处理最近取得了进展。我们参加了所有三个轨道,其中允许竞争对手只使用论文(论文轨道),只使用演讲稿(演讲轨道),或两者兼而有之(融合轨道)。仅使用组织者提供的数据来训练我们的模型,我们在封闭的论文轨道中达到了86.95%的宏观F1分数,在封闭的演讲轨道中达到了87.55%的宏观F1分数,在封闭的融合轨道中达到了93.19%的宏观F1分数。凭借这些分数,我们的团队(UnibucKernel)在所有三个曲目中均名列第一组,同时在演讲和融合曲目中获得了最好的分数。
2017-08-04 cs.CL
Native Language Identification using i-vector
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
仅基于说话者的第二语言的讲话来确定他的母语的任务被称为母语识别或NLI。由于其在语音信号处理的各个领域中的应用越来越多,近年来已成为一个重要的研究领域。在本文中,我们提出了一个基于i向量的方法来开发一个自动NLI系统,使用MFCC和GFCC功能。为了评估我们的方法,我们在2016年ComparE母语子挑战数据集上测试了我们的框架,该数据集有来自11种不同母语背景的英语语言使用者。我们提出的方法优于基线系统的准确性提高了21.95%的MFCC特征为基础的i-向量框架和22.81%的GFCC特征为基础的i-向量框架。
2018-11-09 cs.CL cs.LG cs.SD
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University(庞培法布拉大学);Pontifical Catholic University of Peru(秘鲁天主教大学)
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术,以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集,我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言,预计到2022年底,秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频,使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量,我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
Aalto University(阿尔托大学)
提出母语参考坐标几何方法,利用自监督语音模型将L2发音偏差转化为可解释指标,无需平行录音或发音标签,实验显示与口语熟练度负相关最高达-0.5。
2026-10-30 cs.CL
Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition
LORIA-CNRS & INRIA(LORIA-CNRS与INRIA)
在本文中,我们提出了几种适应方法的非母语语音识别。我们已经测试了发音建模,MLLR和MAP非母语发音适应和HMM模型再培训的HIWIRE外国口音的英语语音数据库。我们开发的"语音混淆“方案包括将每个语音音素与几个混淆音素序列相关联。在我们的实验中,我们使用了不同的组合的声学模型代表的规范和外国的发音:口语和本地模型,模型适应非本地口音与MAP和MLLR。发音建模和声学适应的联合使用导致识别准确性的进一步提高。上述技术的最佳组合导致相对字错误减少46%至71%。
2007-11-06 cs.CL
ELITR Non-Native Speech Translation at IWSLT 2020
Charles University(查理大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Edinburgh(爱丁堡大学)
本文是在IWITR 2020上为非母语语音翻译任务提交的ELITR系统。我们描述了系统的离线ASR,实时ASR,和我们的级联方法,以离线和实时同步。我们从现有的系统池中选择我们的主要候选人,开发一个新的端到端的通用ASR系统,以及一个基于非母语语音训练的混合ASR。所提供的小验证集使我们无法执行复杂的验证,但我们提交了所有的候选测试集进行对比评估。
2020-06-05 cs.CL
The Relevance of Text and Speech Features in Automatic Non-native English Accent Identification
Iowa State University(爱荷华州立大学)
本文介绍了我们的实验与自动识别母语口音的语音样本的非英语母语者使用低级别的音频功能,和n-gram功能,从手动transmittance。使用一个公开的非母语语音语料库和简单的音频特征表示,不执行字/音素识别,我们表明,这是可能实现接近90%的分类精度为这项任务。虽然字符n-gram执行类似的语音功能,我们表明,语音功能不受提示的变化,而ngram。由于遵循的方法可以很容易地适应任何语言,只要我们有足够的训练数据,我们相信这些结果将提供有用的见解口音识别系统的发展和口音的语言学习的背景下的研究。
2018-04-16 cs.CL
Non-native children speech recognition through transfer learning
Center for Information and Communication Technology(信息与通信技术中心);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
这项工作涉及非母语儿童的语音,并调查多任务和迁移学习方法,以适应多语言深度神经网络(DNN)的扬声器,特别是儿童,学习外语。应用场景的特点是年轻学生学习英语和德语,并阅读这些第二语言以及母语的句子。本文分析和讨论了从儿童母语开始训练有效的基于DNN的声学模型并使用有限的非母语音频材料进行适配的技术。采用多语言模型作为基线,其中根据国际音标(IPA)的单位定义的公共语音词典在三种语言(意大利语,德语和英语)之间共享;基于迁移学习的DNN自适应方法在重要的非母语评估集上进行评估。结果表明,由此产生的非母语模型允许一个显着的改善,相对于单语言系统适应的目标语言的扬声器。
2018-09-25 cs.CL
TLT-school: a Corpus of Non Native Children Speech
Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
本文介绍了“TLT学校”的语料库收集在意大利北部的学校,评估学生学习英语和德语的表现。该语料库记录了2017年和2018年9至16岁的小学、初中和高中学生的情况。所有的话语都由人类专家根据一些预定义的熟练度指标进行评分。此外,2017年记录的大部分话语都经过仔细的人工转录。将详细描述用于人工翻译话语的准则和程序,以及通过我们开发的自动语音识别系统所取得的结果。部分语料库将免费分发给对非母语语音识别和第二语言水平自动评估特别感兴趣的科学界。
2020-01-22 cs.CL
Building a Non-native Speech Corpus Featuring Chinese-English Bilingual Children: Compilation and Rationale
FAU
本文介绍了一个包含50名5至6岁中英双语儿童、总计6.5小时的非母语语音语料库,采用自研远程方法采集音视频以缓解低可懂度转写挑战,并附带人工评分与错误标注,为二语教学及提升ASR性能提供宝贵资源。
2024-01-07 cs.CL
Language-agnostic, automated assessment of listeners' speech recall using large language models
Rotman Research Institute, Baycrest Academy for Research and Education(罗特曼研究所,贝克雷斯特研究与教育学院);University of Toronto(多伦多大学)
本研究利用大型语言模型自动化生成多语言口语故事并评分言语回忆,克服了传统言语测试的局限,为自然主义言语理解评估提供了临床适用的自动化方案。
2025-03-02 cs.CL
A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings
Language Technologies Research Center, IIIT Hyderabad(语言技术研究中心,印度海得拉巴国际信息技术学院)
本研究探索TTS韵律嵌入在非母语语音重音检测中的效用,基于FastSpeech2提取时长、能量、音高嵌入,在两个语料库上实验验证其准确率显著优于启发式特征和Wav2Vec-2.0表示。
2024-12-11 cs.CL eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);University of Paris(巴黎大学);University of Toronto(多伦多大学)
我们的母语影响我们感知语音的方式,影响我们辨别非母语声音的能力。我们比较了两个想法的影响,母语的语音感知:感知同化模型,呼吁到本地音素类别的声音的心理分类,与丰富的,细粒度的语音表示调谐到统计的母语的想法,是足够的。我们操作这个想法使用两个国家的最先进的语音模型,狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的,开放的数据集,讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现,音素同化是一个更好的预测比细粒度的语音建模,无论是作为一个整体的歧视行为,并预测与母语背景的差异相关的可辨别性的差异。我们还表明,wav2vec 2.0,而不是善于捕捉母语对语音感知的影响,是补充信息的母语音素同化,并提供了一个很好的模型,低层次的语音表示,支持的想法,即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Disentangling segmental and prosodic factors to non-native speech comprehensibility
Texas A&M University(德克萨斯农工大学)
本研究提出一种口音转换系统,分离音段与韵律特征,发现音段特征对非母语语音可理解性影响更大,可用于研究社会态度。
2024-08-20 cs.CL eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation(小米公司);SpeechOcean Ltd.(海天瑞声科技股份有限公司)
本文介绍了一个名为“speechocean 762”的新开源语音语料库,旨在用于发音评估,由来自250名非母语人士的5000句英语话语组成,其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的,以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载,相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
AccentDB: A Database of Non-Native English Accents to Assist Neural Speech Recognition
Google(谷歌)
现代的自动语音识别(ASR)技术已经发展到可以很好地识别母语者所讲的语音。然而,识别非母语人士所说的语音仍然是一个重大挑战,在这项工作中,我们首先阐明了创建一个精心策划的数据库的语音样本在非母语口音的训练和测试强大的ASR系统的关键要求。然后,我们介绍AccentDB,一个这样的数据库,其中包含我们收集的4个印度英语口音的样本,并从4个本地英语的样本汇编,和一个大都市的印度英语口音。我们还提出了一个分析的可分离性收集口音数据。此外,我们提出了几种口音分类模型,并对人类标记的口音类进行了彻底的评估。我们在各种可见和不可见数据的设置中测试分类器模型的泛化。最后,我们介绍了使用具有特定任务架构的自动编码器模型将非本地口音的口音中和为本地口音的任务。因此,我们的工作旨在帮助ASR系统在每个阶段的发展与数据库的培训,分类模型的功能增强,和中和系统的声学转换的非母语口音的英语。
2020-05-16 cs.CL cs.SD eess.AS
Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
针对自监督语音表征中口音与语言混淆问题,提出基于几何投影的L1偏差去除方法,仅用母语语音估计偏差方向,在五个MMS-LID模型上显著提升L2口音语音识别,且无需L2数据或模型适配。
2026-10-08 cs.CL cs.SD eess.AS
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)(Zapr媒体实验室(红砖巷营销解决方案私人有限公司))
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的,他们的谈话是一种代码混合的方式。双语文本到语音(TTS)系统的可理解性,这样的非英语母语的人依赖于一个词汇,捕捉非母语的人使用的音素序列。然而,由于缺乏非母语英语词汇,现有的双语TTS系统采用母语英语词汇,广泛使用,除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致,在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是:说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上,字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究,通过比较双语(印度英语和印地语)TTS系统训练和不建议的规则。主观评价表明,与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Data augmentation using prosody and false starts to recognize non-native children's speech
Aalto University(阿尔托大学)
本文介绍了AaltoASR的语音识别系统,用于INTERSPEECH 2020共享任务,即针对非母语儿童语音的自动语音识别(ASR)。该任务是从不同年龄组的儿童中识别出有限数量的非母语语音。此外,语音是自发的,有错误的开始转录为部分单词,这在测试转录导致看不见的部分单词。为了应对这两个挑战,我们研究了一种基于数据增强的方法。首先,我们应用基于韵律的数据增强来补充音频数据。其次,我们通过在语言建模语料库中引入部分词噪声来模拟错误启动。在基于韵律的增强数据上训练的声学模型优于使用基线配方或基于SpecAugment的增强的模型。部分词噪声也有助于改进基线语言模型。我们的ASR系统,这些方案的组合,是在评估期内排名第三,并实现了18.71%的字错误率。评估后,我们观察到,增加基于韵律的增强数据的量会导致更好的性能。此外,从假设中去除低置信度分数的单词可以带来进一步的收益。这两项改进将ASR错误率降低到17.99%。
2020-08-29 cs.CL eess.AS
Bhasha-Abhijnaanam: Native-script and romanized Language Identification for 22 Indic languages
AI4Bharat;IIT Madras(印度理工学院马德拉斯分校);Microsoft(微软)
本文构建了覆盖22种印度语言的本土文字与罗马化文本语言识别数据集Bhasha-Abhijnaanam,并训练了首个罗马化印度语言识别模型IndicLID,解决了训练数据缺乏和相似语言识别难的问题。
2023-10-26 cs.CL
Speech Technology for Everyone: Automatic Speech Recognition for Non-Native English with Transfer Learning
The University of British Columbia(不列颠哥伦比亚大学)
为了解决英语ASR模型在L2英语使用者上的性能差距,我们评估了预训练的wav2vec 2.0模型的微调(Baevski等人,2020年; Xu等人,2021)在L2-ARCTIC上,非母语英语语音语料库(Zhao等人,2018年,在不同的培训环境下。我们比较了使用不同口音组合训练的\textbf{(a)}模型与仅使用特定口音训练的模型,以及来自不同单口音模型的\textbf{(b)}结果。我们的实验证明了为非英语母语者开发ASR模型的前景,即使只有少量的L2训练数据,甚至没有语言模型。我们的模型在zero-shot设置中也表现出色,我们在多个L2数据集上进行训练,并在盲L2测试集上进行测试。
2021-10-15 cs.CL cs.LG eess.AS
X2-NativeCursor: Native-Token Text Progress Tracking for Incremental-Text Streaming Codec TTS
X Square Robot
提出X2-NativeCursor,一种轻量级观察器,利用原生语音词元在波形解码前跟踪增量TTS的文本进度,不改变生成器,显著降低对齐误差和实时因子。
2026-09-10 cs.CL
Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);NovoLearning
本研究评估了Wav2Vec2.0和Whisper AI两种ASR系统在母语与非母语荷兰语儿童语音上的表现,发现预训练transformer模型能有效识别并提取音素发音质量的详细反馈,支持儿童外语学习。
2023-06-29 cs.CL cs.SD eess.AS
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University(康奈尔大学);NAVER Cloud Corporation(NAVER云公司)
本文提出两种数据驱动方法,利用语音语料库和注意力映射自动检测非母语者发音错误模式,在母语和非母语英语语音识别上分别提升5.7%和12.8%,增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech
Xinjiang University(新疆大学);Bytedance AI LAB(字节跳动人工智能实验室)
口音转换(AC)将非母语者的口音转换为母语者的口音,同时保持说话者的声音音色。在本文中,我们提出的方法来提高口音转换的适用性,以及质量。首先,我们假设在转换阶段没有参考语音可用,因此我们采用了一个端到端的文本到语音系统,该系统在母语上进行训练以生成母语参考语音。为了提高转换语音的质量和口音,我们引入了参考编码器,使我们能够利用多源信息。这是由从本地参考和语言信息中提取的声学特征激发的,这些声学特征与传统的语音后验图(PPG)互补,因此它们可以被连接为特征以改进仅基于PPG的基线系统。此外,我们使用基于GMM的注意力而不是窗口注意力来优化模型结构,以提高综合性能。实验结果表明,当所提出的技术被应用时,集成系统显着提高了声学质量(30 $\%$平均意见分数相对增加)和本地口音(68 $\%$相对偏好)的分数,同时保留了非母语说话人的语音身份。
2020-05-19 cs.CL cs.SD eess.AS
Leveraging Open-Source Large Language Models for Native Language Identification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);CLTL(语言与技术计算实验室)
本研究探索开源大型语言模型在母语识别任务中的潜力,发现开箱即用时性能不及闭源模型,但微调后可达到与商业模型相当的水平。
2025-01-19 cs.CL
Robust Native Language Identification through Agentic Decomposition
University of Zurich(苏黎世大学)
本文针对LLM原生语言识别易依赖表面线索的问题,提出受法医语言学启发的智能体分解流程,通过专用智能体积累分类证据、协调智能体综合预测,在基准数据集上提升了NLI的鲁棒性与性能一致性。
2026-08-07 cs.CL
Native Language Identification with Large Language Models
VTEX(VTEX公司)
本研究首次将大语言模型应用于母语识别任务,发现GPT-4在零样本下于TOEFL11基准集达91.7%准确率,且不受已知类别限制,还能给出分类依据,为该任务实际应用提供新方向。
2023-12-13 cs.CL
Attention-based sequence-to-sequence model for speech recognition: development of state-of-the-art system on LibriSpeech and its application to non-native English
LAIX Inc.(LAIX公司)
最近的研究表明,基于注意力的序列到序列模型,如听,注意和拼写(LAS),在各种任务上产生与最先进的ASR系统相当的结果。在本文中,我们描述了这样一个系统的发展,并证明其性能的两个任务:第一,我们实现了一个新的国家的最先进的字出错率为3.43%的测试干净的子集LibriSpeech英语数据;第二,非母语英语语音,包括阅读语音和自发语音,我们获得了非常有竞争力的结果相比,传统的系统建立了最新的卡尔迪配方。
2018-11-05 cs.CL cs.LG cs.SD
Improving the Inclusivity of Dutch Speech Recognition by Fine-tuning Whisper on the JASMIN-CGN Corpus
University of Amsterdam(阿姆斯特丹大学);Utrecht University(乌得勒支大学)
本研究通过在JASMIN-CGN语料库上微调Whisper模型,显著降低了儿童、老年人和非母语荷兰语使用者的词错误率,强调了在代表性不足群体上训练语音识别模型的重要性。
2025-02-24 cs.CL cs.SD eess.AS
Improving Automatic Speech Recognition for Non-Native English with Transfer Learning and Language Model Decoding
The University of British Columbia(英属哥伦比亚大学)
为母语英语(L1)设计的ASR系统通常在非母语英语(L2)上表现不佳。为了解决这个性能差距,\textbf{(i)}我们扩展了我们以前的工作,以研究在丰富的L1和L2训练条件下对预训练的wav2vec 2.0模型\cite{baevski2020wav2vec,xu2021self}进行微调。我们进一步\textbf{(ii)}结合语言模型解码的ASR系统,随着微调方法。分别量化从这两种方法中获得的收益和误差分析使我们能够识别模型中不同的改进来源。我们发现,虽然大的自我训练的wav2vec 2.0可能会内化足够的解码知识,干净的L1语音\cite{xu2021self},这并不适用于L2语音和帐户的效用,采用语言模型解码L2数据。
2022-02-10 cs.CL cs.SD eess.AS
Rhythm Zone Theory: Speech Rhythms are Physical after all
Jinan University(暨南大学)
语音节奏主要有三种方式:从语言学和应用语言学中对节奏作为音节和音步计时的相关性的内省分析,通过对与辅音和元音特性、音节、音步和单词相关的话语段的持续时间的分析,到语音产生和感知中的节奏模型作为物理振荡。本研究避免了内省和人类过滤注释方法,并通过添加额外的分析步骤的边缘检测,并假设在可识别的边缘标记的节奏区(节奏区理论,RZT)的多个语音节奏共存的幅度包络谱分析的信号处理范例。RZT的效用进行了探索性的调查,表明本族语和非本族语阅读相同的文本是不同的子类型的阅读讲话:一个阅读由美国母语和非本族语阅读相对低性能的广东成人英语学习者。该研究的结论是,使用所使用的方法,RZT可以区分母语阅读与非母语学习者阅读的定义明确的子类型的语音节奏,但需要进一步完善,以适用于矛盾的更复杂的语音低性能语言学习者,他们的言语节奏除了受语法、词汇和语篇制约等语言因素的影响外,还受非流利性和非流利性因素的共同影响。
2019-03-12 cs.CL cs.SD q-bio.NC
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
本文提出INTapt方法,通过对抗提示微调在不更新预训练模型权重的情况下,将非母语英语语音特征向母语英语对齐,从而提升非母语语音识别性能。
2023-05-25 cs.CL cs.SD eess.AS
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI;FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
近年来,人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语,尽管有大量可用的训练数据,系统对于非母语者的表现更差。在这项工作中,我们改进了口音转换模型(ACM),将美国本土英语语音口音发音。我们在ACM训练中包括语音知识,以提供关于在合成波形中恢复某些发音模式的准确反馈。此外,我们研究的可行性学习口音表示,而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法,发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音,也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
LearnerVoice: A Dataset of Non-Native English Learners' Spontaneous Speech
Ringle(林格(Ringle));KAIST(韩国科学技术院);School of Computing, KAIST(韩国科学技术院计算学院);University of Minnesota(明尼苏达大学)
该研究发布了含50.04小时非英语母语学习者自发语音的LearnerVoice数据集,证实其含更多二语自发语音特征,微调whisper-small.en可大幅降低词错率,为面向二语学习者的ASR优化提供数据支撑。
2024-10-04 cs.CL cs.SD eess.AS
Topic Identification for Speech without ASR
The Johns Hopkins University(约翰斯·霍普金斯大学)
用于语音的现代主题识别(主题ID)系统使用自动语音识别(ASR)来产生语音转录,并且对这样的ASR输出执行监督分类。然而,在资源有限的条件下,开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中,我们研究了替代的无监督解决方案,以获得语音标记的词汇自动发现的单词或音素类单位,而不依赖于ASR系统的监督训练。此外,使用自动音素标记,我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比,一个标准的词袋表示,证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
A Pilot Study of GSLM-based Simulation of Foreign Accentuation Only Using Native Speech Corpora
Graduate School of Engineering, The University of Tokyo(东京大学工学研究院)
本研究提出仅用母语语料库,通过GSLM模型模拟外语口音形成,实验证明合成口音自然且程度可控。
2024-07-16 cs.CL cs.SD eess.AS
SpeechCT-CLIP: Distilling Text-Image Knowledge to Speech for Voice-Native Multimodal CT Analysis
Computer Aided Medical Procedures, Technical University of Munich(慕尼黑技术大学计算机辅助医学程序)
针对医疗AI依赖书面文本的问题,该研究合成Speech-RATE语音放射报告数据集,提出SpeechCT-CLIP模型,通过文本-图像CLIP知识蒸馏对齐语音与3D CT,大幅提升零样本分类性能,为语音驱动临床诊断工具奠定基础。
2025-09-24 cs.CL eess.AS
Automatic Speech Recognition for Non-Native English: Accuracy and Disfluency Handling
Doshisha University(同志社大学)
本研究评估五个ASR系统对非母语英语语音的识别,发现Whisper和AssemblyAI在朗读语音上接近人类水平,RevAI在自发言语上最佳,并分析了不流畅性处理差异。
2025-03-30 cs.CL cs.SD eess.AS
Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation
Hong Kong University of Science and Technology, Hong Kong SAR(香港理工大学);Tencent, China(腾讯);University of Surrey, United Kingdom(Surrey大学);Chinese University of Hong Kong, Hong Kong SAR(香港中文大学);Hong Kong Baptist University, Hong Kong SAR(香港 Baptist大学);Hong Kong Polytechnic University, Hong Kong SAR(香港理工大学);Independent Researcher(独立研究者)
研究语音与文本模态差异中的时间粒度不匹配问题,提出因子化FSQ和轻量非自回归音频LM头以降低帧率,发现4.17Hz帧率结合中间层表示对齐在语音问答中表现最佳。
2026-06-11 cs.CL cs.SD eess.AS
Applying Phonological Features in Multilingual Text-To-Speech
Centre for Language Studies, Radboud University(拉德堡德大学语言研究中心);Faculty of Linguistics, Philology and Phonetics, University of Oxford(牛津大学语言学、语文学与语音学学院);Shengrurenxin Ltd.(盛如人心有限公司)
本研究探讨语音特徴是否可以应用在文语转换系统中,以产生英文和中文的本族语和非本族语语音。我们提出了一个映射的ARPABET/SAMPA-SC,然后到语音特征。我们测试了这种映射是否可以导致成功地生成两种语言中的母语,非母语和代码转换语音。我们运行了两个实验,一个是小数据集,另一个是大数据集。结果表明,语音特征可以作为一个可行的输入系统,但需要进一步的研究,以提高模型的性能。TTS模型生成的重音输出也有助于理解人类第二语言习得过程。
2021-10-10 cs.CL cs.LG cs.SD
An Investigation of Indian Native Language Phonemic Influences on L2 English Pronunciations
Indian Institute of Science(印度科学学院)
语音系统对口音变化很敏感。这在印度尤其具有挑战性,印度有丰富的语言,但缺乏对发音变化的语言学研究。在印度,越来越多的L2英语使用者加强了学习口音和L1-L2互动的必要性。我们调查了印度英语(IE)的口音,并详细报告了我们的观察结果,包括所有地区的具体和共同点。特别是,我们观察到的音素变化和音位发生在扬声器的母语,并将其应用到他们的英语发音。我们证明了18个印度语言对IE的影响,通过比较母语发音与IE发音共同获得现有的文献研究和语音注释的80发言人。因此,我们能够验证印度语言的影响,在IE发音的直觉,通过证明发音规则从印度语言音系学的角度。我们得到了全面的描述,在通用和区域特定的特点,IE,这有利于口音转换和适应现有的ASR和TTS系统,以不同的印度口音。
2022-12-19 cs.CL
ILID: Native Script Language Identification for Indian Languages
Sardar Vallabhbhai National Institute of Technology(萨达尔·瓦拉布尔·尼希蒂国家理工学院)
本文提出了一种针对印度语言的原生脚本语言识别方法,通过开发包含23种语言的250,000个句子数据集和基于预训练转换器模型的基线模型,实现了在嘈杂和混合语言环境中的语言识别性能提升。
2026-01-07 cs.CL
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)(印度科学学院);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
在这项研究中,不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应,从每个听众,而他们认识到一个发言:1。句子难度评分,2。演讲者难度等级,和3。话语的转录。从这些译文中计算出单词错误率(WER),并将其作为衡量识别句子与原始句子之间相似性的一个指标,根据单词在句子中出现的频率将所选句子分为三组:易、中、难。我们观察到,句子,扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别(ASR)在以下三种声学模型(AM)和语言模型(LM)组合下的性能:ASR 1)使用来自印度裔说话者的录音训练AM,并在TIMIT文本上构建LM,ASR 2)使用来自美国本土说话者的录音训练AM,并在来自LIBRI语音语料库的文本上构建LM,和ASR 3)AM使用来自美国本土说话者的录音,LM建立在LIBRI语音和TIMIT文本上。我们观察到,HSR的性能类似于ASR1,而ASR3实现了最佳性能。发言者出生明智的分析表明,发言者的一些出生是更难以识别的印度听众相比,其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar(卡塔尔计算研究所,多哈,卡塔尔)
提出仅使用母语语音资源训练的轻量级发音评估框架,通过离散化语音标记和语言模型计算意外度,结合文本引导对齐特征,在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo(东京大学工学系研究科)
本文通过序列到序列语音转换技术构建虚拟跟读系统,模拟母语者对二语语音的跟读行为,以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题,实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
Using Data Augmentations and VTLN to Reduce Bias in Dutch End-to-End Speech Recognition Systems
Delft University of Technology(代尔夫特理工大学)
本文针对荷兰语端到端语音识别中不同年龄群体和非母语者的偏差问题,结合速度扰动、频谱增强与VTLN,使平均WER和偏差分别降低6.9%和3.9%,并验证了VTLN跨语言泛化能力。
2023-07-05 cs.CL
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出一种基于离散单元的多口音转换模型,以母语语音自监督聚类得到的离散单元为中间目标,结合多说话人TTS还原母语口音,还提出高效数据增强法降低非母语数据需求,可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University(国立台湾师范大学)
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性,这一ASR共享任务变得更具挑战性。在封闭式评估的环境下,所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题,我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统,同时利用各种数据增强策略的协同作用,包括话语和单词级别的速度扰动和语谱图增强,以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分,该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好,排在第二位,字错误率(WER)为17.59%,而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力,发现模型在区分借词与本土词汇方面表现不佳,对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud(NAVER云)
本文提出通过发音特征引入韩语 L2 音素,并以端到端 LF-MMI 训练声学模型建模发音变体,从而仅用 L1 数据提升非母语 ASR,L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Deploying Technology to Save Endangered Languages
Dartmouth College(达特茅斯学院)
致力于自然语言处理的计算机科学家、濒危语言的母语使用者和现场语言学家将讨论如何利用自动语音识别,特别是神经网络,对濒危语言进行自动注释、语音标记和文本解析。
2019-09-01 cs.CL
LLM-C3MOD: A Human-LLM Collaborative System for Cross-Cultural Hate Speech Moderation
KAIST(韩国科学技术院);ETRI(韩国电子通信研究院)
本文提出LLM-C3MOD人机协作系统,通过RAG文化标注、LLM初筛和定向人工审核三步流程,在韩语仇恨言论审核中实现78%准确率并减少83.6%人工工作量,证明非本地审核员在LLM支持下可有效完成跨文化审核任务。
2025-03-10 cs.AI cs.CL