arXiv 2604.219282026-05-29cs.CL

使用生成式大语言模型评估自动语音识别

Evaluation of Automatic Speech Recognition Using Generative Large Language Models

Idiap Research Institute（Idiap研究 institute）；EPFL（瑞士联邦理工学院）；Brno University of Technology（布拉格技术大学）；Avignon University（阿维尼翁大学）；Le Mans University（勒曼大学）；Nantes University（南特大学）

Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出利用生成式大语言模型通过假设选择、语义距离计算和错误分类三种方法评估ASR，在HATS数据集上达到92-94%的人类一致性，优于WER和语义指标。

摘要：

自动语音识别（ASR）传统上使用词错误率（WER）进行评估，该指标对语义不敏感。基于嵌入的语义指标与人类感知的相关性更好，但基于解码器的大语言模型（LLM）在此任务中仍未得到充分探索。本文通过三种方法评估其相关性：（1）在两个候选假设中选择最佳假设，（2）使用生成式嵌入计算语义距离，以及（3）对错误进行定性分类。在HATS数据集上，最佳LLM在假设选择中与人类标注者的一致性达到92-94%，而WER仅为63%，并且也优于语义指标。来自基于解码器的LLM的嵌入显示出与编码器模型相当的性能。最后，LLM为可解释且语义化的ASR评估提供了有前景的方向。

英文摘要：

Automatic Speech Recognition (ASR) is traditionally evaluated using Word Error Rate (WER), a metric that is insensitive to meaning. Embedding-based semantic metrics are better correlated with human perception, but decoder-based Large Language Models (LLMs) remain underexplored for this task. This paper evaluates their relevance through three approaches: (1) selecting the best hypothesis between two candidates, (2) computing semantic distance using generative embeddings, and (3) qualitative classification of errors. On the HATS dataset, the best LLMs achieve 92--94\% agreement with human annotators for hypothesis selection, compared to 63\% for WER, also outperforming semantic metrics. Embeddings from decoder-based LLMs show performance comparable to encoder models. Finally, LLMs offer a promising direction for interpretable and semantic ASR evaluation.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。