KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs
KRAFTON;Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Department of Mathematical Sciences, Seoul National University(首尔国立大学数学科学系)
针对语音语言模型评估中英语中心化的问题,提出两种智能体驱动的基准构建框架,构建并发布了三个韩语语音基准(KVoiceBench、KOpenAudioBench、KMMAU),通过评估八个最新模型揭示了英语-韩语性能差距和不同任务间的互补性弱点。
2026-09-01 cs.AI cs.CL
Evaluating Automatic Speech Recognition in an Incremental Setting
Boise State University(博伊西州立大学)
自动语音识别的可靠性不断提高,使其日常使用范围不断扩大。然而,出于研究目的,通常不清楚应该为任务选择哪种模型,特别是如果需要速度和准确性。在本文中,我们系统地评估六个语音识别器使用的指标,包括字的出错率,延迟,和更新的数量已经认识到的话,英语测试数据,以及提出和比较两种方法的流式音频到识别器的增量识别。我们进一步提出了每秒撤销作为一个新的指标,用于评估增量识别,并证明它提供了对整体模型性能的见解。我们发现,一般来说,本地识别器比基于云的识别器更快,需要的更新更少。最后,我们发现Meta的Wav2Vec模型是最快的,Mozilla的DeepSpeech模型在预测中是最稳定的。
2023-02-23 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
A New Benchmark for Evaluating Automatic Speech Recognition in the Arabic Call Domain
Maqsam(马克萨姆)
本文提出一个专门针对阿拉伯语电话对话的全面语音识别基准,涵盖多种方言并模拟真实呼叫环境,同时利用最先进技术建立基线性能评估。
2024-05-30 cs.AI cs.CL
Evaluating and reducing the distance between synthetic and real speech distributions
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本文通过话语级统计量和Wasserstein距离量化TTS合成语音与真实语音分布差异,并在生成时引入真实值以缩小分布距离,最佳系统实现10%的改进。
2023-05-25 cs.CL cs.LG cs.SD
Evaluating Automatic Speech Recognition Systems in Comparison With Human Perception Results Using Distinctive Feature Measures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
本文介绍了评估自动语音识别(ASR)系统与人类的感知结果相比,使用来自语言的区别性特征的措施的方法。错误模式的方式,地点和发声,以及通过一个独特的特征距离度量检查混淆矩阵。这些评估方法与传统的性能标准,重点放在电话或单词的水平,并打算提供一个更详细的配置文件的ASR系统的性能,以及一种手段,直接比较与人类的感知结果在子音素水平。
2016-12-13 cs.CL
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences(科里学院计算机科学学院)
本文利用SFUSED语音错误数据库的多维标注,评估WhisperX在5300个自发语音错误上的转写准确率,证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
Language Family Matters: Evaluating LLM-Based ASR Across Linguistic Boundaries
Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
本文提出基于语言家族的连接器共享策略,通过减少参数数量并提升跨领域泛化能力,实现更高效的多语言ASR部署。
2026-08-19 cs.AI cs.CL cs.SD
Evaluating the Performance of a Speech Recognition based System
TCS Innovation Labs - Mumbai, Tata Consultancy Services(塔塔咨询服务公司TCS创新实验室-孟买)
随着服务业的发展,基于语音的解决方案已经占据了中心舞台,服务业需要满足来自社会各阶层的大量人群的需求。虽然自然语言语音接口是研究界的热门话题,但在实践中,基于菜单的语音解决方案蓬勃发展。通常,在基于菜单的语音解决方案中,当系统提示时,用户需要通过从封闭的单词集合说话来响应。对IVR提示的一系列人类语音响应导致交易完成。如果语音解决方案能够在系统提示时正确识别用户的所有口头话语,则认为交易成功。评估语音解决方案性能的通常机制是对系统进行广泛的测试,将其投入实际使用,然后通过分析成功事务的日志来评估性能。这种评估可能会导致测试用户不满意,特别是如果系统的性能导致较差的事务完成率。为了否定这一点,在语音系统的评估过程中采用了绿野仙踪方法。总的来说,这类评估在时间和成本方面都是一个昂贵的提议。在本文中,我们提出了一种方法来评估性能的语音解决方案,而实际上并没有把它的人使用。我们首先描述的方法,然后通过实验表明,这可以用来识别性能瓶颈的语音解决方案,甚至在系统实际使用,从而节省评估时间和费用。
2016-01-11 cs.AI cs.CL cs.HC
Evaluating context-invariance in unsupervised speech representations
University of Toronto(多伦多大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性,并证明上下文无关性可预测词级表示稳定性,建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、国家科学研究中心、法国国家信息与自动化研究所、LORIA)
本文通过发声学音素识别作为代理来评估语音发声合成的质量,提出利用发声学特征进行音素识别以更准确捕捉发音细节,从而改进生成模型的评估方法。
2026-05-20 cs.CL cs.SD
RW-Voice-EQ Bench: A Real World Benchmark for Evaluating Voice AI Systems
Hume AI Research(休谟人工智能研究)
研究提出真实世界语音EQ基准,用于跨TTS、STS、SU和ASR评估语音人工智能,指出当前基准多评估孤立能力,新基准能考量声学等信息,评估表明性能依赖维度,语音人工智能应综合多方面能力评估而非单一总分。
2026-07-17 cs.AI cs.SD
WERd: Using Social Text Spelling Variants for Evaluating Dialectal Speech Recognition
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
我们研究的问题,评估自动语音识别(ASR)系统的目标方言语音输入。在这种情况下,一个主要的挑战是,方言的正字法通常是不标准的。从ASR评估的角度来看,这意味着对于预期输出没有明确的黄金标准,并且根据不同的人类注释者,几种可能的输出可以被认为是正确的,这使得标准词出错率(WER)不足以作为评估度量。这种情况是典型的机器翻译(MT),因此,我们借用的思想从MT评估指标,即TERp,翻译出错率的扩展是密切相关的WER。特别是,在将假设与参考进行比较的过程中,我们使用单词和短语的拼写变体,这些变体是我们以无监督的方式从Twitter中挖掘出来的。我们对埃及阿拉伯语的ASR输出进行评估的实验以及进一步的手动分析表明,得到的WERd(即,方言的WER度量是TERP的一种变体,它比WER更适合于评估方言的ASR。
2017-09-21 cs.CL
Evaluating Automatic Speech Recognition Systems for Korean Meteorological Experts
KAIST AI(韩国国立信息科学院人工智能研究所)
本文探讨了将ASR集成到自然语言查询系统中以提升韩国气象学家预报效率,构建了领域专用口语查询数据集,评估了多语言ASR模型,并提出基于TTS的数据增强方法,有效提升了专业术语识别且保持通用性能。
2025-09-14 cs.CL cs.SD eess.AS
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
Princeton University(普林斯顿大学);Maseno University(马塞诺大学)
研究在大型多语言自动语音识别中,通过系统实验设计,探讨语言相关性能否可靠预测跨语言迁移增益,发现仅语言相关性难以有效促进跨语言迁移。
2026-07-28 cs.AI cs.CL
Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition
Adobe Research(奥多比研究院)
现有的文献分类模型的公平性评价研究主要是使用合成的单语数据,没有地面真理的作者人口统计属性。在这项工作中,我们组装并发布了一个多语言的Twitter语料库的仇恨言论检测的任务推断四个作者的人口统计因素:年龄,国家,性别和种族/民族。语料库涵盖五种语言:英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台评估推断的人口统计标签,图8。为了检验可能导致偏见的因素,我们对英语语料库进行了人口预测性的实证分析。我们测量四个流行的文档分类器的性能,并评估的公平性和偏见的基线分类器上的作者级的人口统计属性。
2020-03-03 cs.CL
Evaluating User Perception of Speech Recognition System Quality with Semantic Distance Metric
Meta AI
测量自动语音识别(ASR)系统质量对于创建用户满意的语音驱动应用程序至关重要。单词出错率(WER)传统上用于评估ASR系统质量;然而,它有时与用户对转录质量的感知/判断相关性很差。这是因为WER对每个单词的权重都是相等的,并且不考虑对用户感知影响更大的语义正确性。在这项工作中,我们提出了评估ASR输出假设质量SemDist,可以通过使用从预训练的语言模型中提取的参考和假设的语义向量之间的距离来衡量语义正确性。我们对71 K和36 K用户标注的ASR输出质量的实验结果表明,SemDist与用户感知的相关性高于WER。我们还表明,SemDist与下游自然语言理解(NLU)任务的相关性高于WER。
2022-07-05 cs.CL
ASR Under the Stethoscope: Evaluating Biases in Clinical Speech Recognition across Indian Languages
本研究评估了印度多种语言中临床语音识别的偏见,发现不同模型在不同语言和人口群体中的表现差异显著,凸显了开发包容性ASR系统的重要性。
2025-11-30 cs.CL cs.SD eess.AS
SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models
SpeechR是一个统一基准,从事实检索、程序性推理和规范性判断三个维度评估大型音频语言模型的语音推理能力,发现高转录准确率不等于强推理能力。
2025-08-04 cs.AI cs.CL
StyleBench: Evaluating Speech Language Models on Conversational Speaking Style Control
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China(计算机科学与工程学院自然语言处理实验室,东北大学,沈阳,中国);NiuTrans Research, Shenyang, China(尼乌透研究,沈阳,中国)
StyleBench是一个多轮对话基准测试,用于评估语音语言模型在情感、速度、音量和音调四个维度上的风格强度控制能力,并揭示了SLMs与通用语言模型之间的性能差距。
2026-03-08 cs.CL
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能,发现其在多数实验设置中优于束搜索,显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本文构建并公开了面向电信客服场景的合成孟加拉语语音数据集,经评估其文本与音频一致性强,同时探讨了合成语音及STT评估的局限性。
2026-08-24 cs.CL cs.SD eess.AS
Beyond Oversmoothing: Evaluating DDPM and MSE for Scalable Speech Synthesis in ASR
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心)
本研究探讨了 TTS 模型的过平滑行为是否导致 ASR 在合成数据上训练后真实语音表现不佳,系统比较了 DDPM 和 MSE 模型在 ASR 训练中的可扩展性,发现 DDPM 能更好利用数据和多样化说话人,并取得最佳真实与合成语音 WER 比率。
2024-10-16 cs.AI cs.CL eess.AS
Mi-Go: Test Framework which uses YouTube as Data Source for Evaluating Speech Recognition Models like OpenAI's Whisper
Jagiellonian University(雅盖隆大学)
Mi-Go框架利用YouTube作为数据源,通过124个视频测试Whisper模型各版本,评估其鲁棒性与适应性,并对比机器转录与人工字幕以发现字幕滥用。
2023-09-01 cs.LG cs.SD cs.SE
The Perceptimatic English Benchmark for Speech Perception Models
Université de Paris(巴黎大学);CNRS(法国国家科学研究中心);PSL Research University(PSL研究大学);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所)
我们提出了感知英语基准,一个开放的实验基准评估英语语音感知的定量模型。该基准由ABX刺激以及91名美国英语听众的反应组成。刺激测试大量的英语和法语音位对比的歧视。它们直接从阅读语音的语料库中提取,使它们适合于评估在典型语音数据集上训练的统计声学模型(例如在自动语音识别中使用的模型)。我们发现,电话歧视与几种类型的模型,并为研究人员寻求容易计算的实验刺激的声学距离规范的建议。我们发现,DeepSpeech是一种标准的英语语音识别器,它比英语听众更专注于英语音素识别,并且与他们的行为相关性很差,尽管它在给人类的决策任务中产生的错误很低。
2020-05-07 cs.CL cs.SD eess.AS
Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models
University of Utah(犹他大学)
研究评估WhisperIPA和ZIPA两个开源IPA转录ASR系统在不同口音和语言上的性能,通过标准音素错误率和软音素错误率分析,发现模型在性别、口音、种族和年龄等群体间存在持续性能差异。
2026-09-18 cs.CL
Evaluating Self-Supervised Speech Models via Text-Based LLMS
LY Corporation(LY公司);Carnegie Mellon University(卡内基梅隆大学)
该研究提出用文本大语言模型评估自监督语音模型的新指标,通过输入离散令牌与领域提示得到平均对数似然评分,无需额外训练调优,且评分与语音识别任务相关,LLM还能提供说话人验证可用的推理嵌入。
2025-10-06 cs.SD eess.AS
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi(计算机科学与工程系,拉贾沙希大学);Anan National College of Technology(安安国立技术学院)
研究发现,SAM-Audio预处理虽提升信号质量,但导致零样本ASR识别性能下降,揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
Besimple AI
本研究推出VoiceCodeBench基准,评估英文ASR的精确结构化标记恢复,发现WER与相关指标相关性为-0.73,最高TSR仅68.7%,需实体敏感指标评估ASR输出的精确值保留情况。
2026-09-15 cs.CL
From Speech to Subtitles: Evaluating ASR Models in Subtitling Italian Television Programs
Politecnico di Milano(米兰理工大学)
本文评估了四种最先进的ASR模型在意大利电视节目字幕任务中的表现,发现其在真实生产环境中的性能仍有待提升,但可作为提升人类生产力的有力工具。
2026-09-01 cs.CL
Evaluating Voice Conversion-based Privacy Protection against Informed Attackers
INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
语音数据传递敏感的说话者属性,如身份或口音。通过少量发现的数据,可以推断出这些属性并用于恶意目的:语音克隆,欺骗等。Anasterization旨在使数据不可识别,即,确保没有话语可以链接到其原始说话者。本文研究了基于语音转换的匿名化方法。在以前的工作相比,我们认为,各种链接攻击可以设计依赖于攻击者的知识的匿名方案。我们在三种攻击场景下比较了两种基于频率弯曲的转换方法和一种基于深度学习的方法。转换语音的效用是通过自动语音识别实现的单词错误率来测量的,而隐私保护是通过最先进的基于i向量或x向量的说话人验证实现的相等出错率的增加来评估的。我们的研究结果表明,语音转换方案是无法有效地防止攻击者,具有广泛的知识的类型的转换,以及它是如何被应用,但可能会提供一些保护知识较少的攻击者。
2020-02-13 cs.CL cs.SD eess.AS
Evaluating Voice Command Pipelines for Drone Control: From STT and LLM to Direct Classification and Siamese Networks
Instituto de Informática (INF)(信息学研究所(INF));Universidade Federal de Goiás(戈亚斯联邦大学)
本文针对无人机语音控制需求,开发并对比了STT+LLM、直接语音到功能映射、Siamese网络三种语音命令流水线,从多维度评估其性能,为不同场景下的无人机语音控制方案选择提供参考。
2024-07-10 cs.AI cs.SD
MTR-DuplexBench: Towards a Comprehensive Evaluation of Multi-Round Conversations for Full-Duplex Speech Language Models
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Huawei Technologies(华为技术)
本文提出MTR-DuplexBench,用于评估全双工语音语言模型在多轮对话中的表现,涵盖对话质量、指令遵循和安全性等关键方面,揭示现有模型在多轮对话中的一致性问题。
2026-04-17 cs.AI cs.CL eess.AS
Svarah: Evaluating English ASR Systems on Indian Accents
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);AI4Bharat;Microsoft(微软)
本文提出Svarah基准,包含117位印度说话者、65个地区的9.6小时转写英语音频,用于评估ASR系统在印度口音上的表现,并通过对6个开源模型和2个商业系统的评估揭示了印度口音识别仍有明显改进空间。
2023-05-25 cs.CL cs.SD eess.AS
EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Shenzhen Loop Area Institute(深圳河套学院)
EchoMind是一种多级基准,用于评估SLMs在共情对话中的能力,揭示了现有模型在处理高表现性语音线索方面的不足。
2026-03-05 cs.CL
Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Nanyang Technological University(南洋理工大学)
针对现有ASR对抗攻击存在人工修改痕迹、风格可控性低的问题,提出基于用户自定义风格迁移的攻击方法,含STA与迭代式SCA,攻击成功率82%且保持音频自然度,为评估ASR鲁棒性提供新途径。
2024-05-15 cs.CR cs.LG cs.SD
From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);North-West University(北开普大学)
研究利用ASR管道为低资源非洲语言Fongbe(声调语言)和豪萨语(非声调语言)扩展文本语料,通过微调MMS-300M和Whisper-Small模型,在Fongbe上实现9.48%的词错误率(相对降低78%),并评估转录质量,发现豪萨语接近可用而Fongbe需后处理。
2026-06-23 cs.AI cs.CL cs.LG
Robust Cross-Etiology and Speaker-Independent Dysarthric Speech Recognition
University of Auckland(奥克兰大学);University of Illinois(伊利诺伊大学)
本文提出一种鲁棒的说话人无关构音障碍语音识别系统,利用Whisper模型在SAP-1005数据集上取得优异效果,并验证了其跨病因泛化能力。
2025-01-25 cs.AI cs.LG cs.SD
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen(杜伊斯堡-埃森大学)
在评估自动语音识别模型的性能时,通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心,以便报告真实的性能数字。我们认为,许多性能数据报告可能低估了预期的出错率。我们进行实验,控制选择偏差,性别以及重叠(训练和测试数据之间)的内容,声音和录音条件。我们发现,内容重叠的影响最大,但其他因素,如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
What Do Humans Hear When Interacting? Experiments on Selective Listening for Evaluating ASR of Spoken Dialogue Systems
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);Japan National Institute of Informatics(日本信息处理学会);Tokyo Institute of Technology(东京技术大学)
本研究通过实验确认人类在生成对话响应时存在选择性听力,并探讨利用该特性评估ASR系统与人类转录能力差距的新方法。
2025-10-07 cs.CL
A Textless Metric for Speech-to-Speech Comparison
Naver Labs Europe(欧洲Naver实验室);LNE(法国国家计量测试实验室)
该研究提出一种基于HuBERT等语音转单元编码器的无文本语音比较指标,可用于无可靠ASR系统的语言的语音翻译评估,同时证实强ASR下的ASR-BLEU也无法很好替代真实文本BLEU。
2023-07-20 cs.CL cs.SD eess.AS
Toward Corpus Size Requirements for Training and Evaluating Depression Risk Models Using Spoken Language
Ellipsis Health
本文通过65K标注数据系统研究了训练集和测试集规模对语音及语言抑郁症风险模型的影响,发现测试集需至少1K样本、训练集需至少2K样本才能获得稳定结果。
2024-12-31 cs.CL cs.SD eess.AS
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习(FL),我们引入了一种在私人设备上连续适应神经网络语言模型(NNLM)的有效方法,并应用于自动语音识别(ASR)。为了解决设备上训练语料库中潜在的语音转录错误,我们进行了实证研究,比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明,与无模型自适应相比,该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率(WER)降低。我们还提供了分析,在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
End-to-End Speech Recognition and Disfluency Removal
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
不流利检测通常是自动语音识别(ASR)系统和下游任务之间的中间步骤。相比之下,本文旨在研究端到端语音识别和不流利消除的任务。我们专门探讨是否有可能训练ASR模型直接映射到流利的成绩单,不依赖于一个单独的不流利检测模型。我们表明,端到端模型确实可以直接生成流畅的成绩单;然而,它们的性能略差于由ASR系统和不流畅检测模型组成的基线管道方法。我们还提出了两个新的指标,可用于评估综合ASR和不流利模型。本文的研究结果可以作为未来进一步研究端到端语音识别和不流利消除任务的基准。
2020-09-28 cs.CL cs.LG cs.SD
MeshRIR: A Dataset of Room Impulse Responses on Meshed Grid Points For Evaluating Sound Field Analysis and Synthesis Methods
The University of Tokyo(东京大学)
介绍了一种称为“MeshRIR”的新的脉冲响应(IR)数据集。当前可用的数据集通常包括在各种室内条件下来自若干源位置的麦克风阵列处的IR,其基本上被设计用于评估语音增强和远距离语音识别方法。另一方面,近年来,空间声场的估计或控制方法得到了广泛的研究;然而,由于测量点的低空间分辨率,当前的IR数据集不适用于验证和比较这些方法。MeshRIR由在通过精细离散空间区域获得的位置处测量的IR组成。目前有两个子数据集:一个由来自单个源的三维立方体区域中的IR组成,另一个由来自32个源的阵列的二维正方形区域中的IR组成。因此,MeshRIR适用于评估声场分析和合成方法。这个数据集可以在https://sh01k.github.io/MeshRIR/上免费获得,并附带一些示例应用程序的代码。
2021-07-23 cs.SD eess.AS
r-G2P: Evaluating and Enhancing Robustness of Grapheme to Phoneme Conversion by Controlled noise introducing and Contextual information incorporation
Ping An Technology(平安科技)
形音转换是将单词的书面形式转换为它们的发音的过程。它在文语转换(TTS)合成和自动语音识别(ASR)系统中有着重要的作用。在本文中,我们的目标是评估和提高G2 P模型的鲁棒性。我们表明,神经G2 P模型是非常敏感的拼写错误等字形的拼写变化。为了解决这个问题,我们提出了三种受控噪声引入方法来合成噪声训练数据。此外,我们将背景信息与基线相结合,并提出了一个强大的训练策略,以稳定的训练过程。实验结果表明,我们提出的鲁棒G2 P模型(r-G2 P)的性能明显优于基线(-2.73\%WER对基于字典的基准和-9.09\%WER对真实世界的来源)。
2022-02-21 cs.LG cs.SD eess.AS
Evaluating Machine Unlearning in ASR
INESC-ID;Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);LTI, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文首次系统评估机器遗忘在自动语音识别中的适用性,发现梯度上升算法效果最佳,而复杂方法易过度遗忘,且顺序/同时遗忘性能劣于单主体遗忘,需改进评估方法。
2026-09-29 cs.CL
Who Spoke What When? Evaluating Spoken Language Models for Conversational ASR with Semantic and Overlap-Aware Metrics
NTT, Inc.(日本NTT公司);CMU(卡内基梅隆大学);BUT(捷克但尼奇技术大学)
本文通过语义和重叠感知指标评估对话ASR模型,发现基于LLM的系统在双人对话中表现良好,但随着说话人数和重叠增加而下降,而模块化流水线方法更稳健。
2026-03-24 cs.CL eess.AS
Robust Estimation of Hypernasality in Dysarthria with Acoustic Model Likelihood Features
Visvesvaraya National Institute of Technology(维斯瓦瓦拉亚国立技术学院);Arizona State University(亚利桑那州立大学)
鼻音过重是许多运动语言障碍的共同特征症状。对于有声声音,鼻音过重在较低频率中引入了额外的共振,对于无声声音,由于空气通过鼻腔逸出而降低了发音精度。然而,这些症状的声学表现是高度可变的,使得鼻音估计对于人类专家和自动化系统都非常具有挑战性。这一领域以前的工作依赖于基于统计信号处理的工程特征或基于临床评级训练的机器学习模型。工程特征通常无法捕获与鼻音过强相关的复杂声学模式,而基于机器学习的度量容易过拟合到它们所训练的小型疾病特定语音数据集。在这里,我们提出了一套新的声学特征,捕捉这些互补的尺寸。这些功能是基于两个声学模型训练的健康语音的大型语料库。第一声学模型旨在测量来自有声声音的鼻共振,而第二声学模型旨在测量来自无声声音的发音不精确。为了证明这些声学模型的特点是特定的鼻音语音,我们评估他们在不同的构音障碍语料库。我们的研究结果表明,即使在训练来自一种疾病的鼻音过强的语音并评估来自另一种疾病的鼻音过强的语音时(例如,训练帕金森氏病,评估亨廷顿氏病),以及在训练神经疾病的语音但评估腭裂语音时,这些特征也会泛化。
2020-08-06 cs.SD eess.AS eess.SP
SCB: SpeechConversationBench for Evaluating Multi-Turn Reasoning in Speech-to-Speech Models
SCBX R&D(SCBX研发中心);SCB DataX, SCBX Group(SCBX集团SCB DataX)
提出SpeechConversationBench(SCB)基准,用103个分片GSM8K问题评估语音到语音模型的多轮口语数学推理,比较完整、拼接和分片三种条件,发现分片导致商业系统准确率下降5.0-25.3个百分点,而LEGO在三种条件下均达77.5%准确率。
2026-10-01 cs.AI cs.CL cs.SD
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时,例如由完整段落或对话组成的数据,孤立地评估句子并不总是合适的,因为缺少合成句子的上下文。在本文中,我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子,评价整个段落的讲话,并提出了一个选择的语音或文本作为上下文,并评估随后的讲话。我们发现,即使这三个评估是基于相同的材料,结果不同的设置,而且这些结果不一定相互关联。我们表明,我们的研究结果是一致的,一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是,要评估长格式语音的质量,传统的评价孤立的句子的方式是不够的,需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems
Centre for Speech Technology Research University of Edinburgh(语音技术研究中心爱丁堡大学)
TTSDS2是一种改进的TTS评估基准,通过高相关性指标和持续更新的资源,提升对合成语音真实性的评估能力。
2026-03-02 cs.CL cs.SD eess.AS
Evaluating Gender Bias in Speech Translation
Alexandria University(亚历山大大学)
科学界越来越意识到必须接受多元化,并始终代表主要和次要的社会群体。目前,对于不同类型的偏差没有标准的评估技术。因此,迫切需要提供评估集和协议来测量我们的自动系统中的现有偏差。评估偏见应该是在系统中减轻偏见的重要一步。本文介绍了WinoST,这是一款用于评估语音翻译中性别偏见的新的免费挑战赛。WinoST是WinoMT的语音版本,WinoMT是MT挑战集,两者都遵循评估协议来测量性别准确性。使用最先进的端到端语音翻译系统,我们报告了四种语言对的性别偏见评估,我们表明语音翻译的性别准确率比MT低23%以上。
2022-05-14 cs.CL
Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
从没有生产性语法性别的语言(如英语)翻译成性别标记的语言是机器的一个众所周知的困难。这种困难也是由于这样一个事实,即建立模型的训练数据通常反映了自然语言的不对称性,包括性别偏见。机器翻译只提供文本数据,因此在本质上受到输入句子并不总是包含有关所指人类实体性别身份的线索的事实的限制。但是,如果输入是音频信号,语音翻译会发生什么?音频能否提供更多信息以减少性别偏见?我们提出了第一次彻底调查的性别偏见在语音翻译,有助于:i)发布一个基准有用的未来的研究,和ii)不同的技术(级联和端到端)的比较两种语言方向(英语-意大利语/法语)。
2020-06-10 cs.AI cs.CL cs.SD