无需自动语音识别的语音检索增强生成
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
AI总结：
本文提出SpeechRAG框架，通过微调语音编码器对齐文本与语音嵌入空间，实现无需ASR的直接语音检索，并利用语音语言模型以音频片段为条件进行生成，在ASR错误较高时优于传统级联文本方法。
摘要：
针对语音数据进行问答的一种常见方法是先使用自动语音识别（ASR）将语音转写为文本，然后在转写文本上采用基于文本的检索增强生成（RAG）。尽管这种级联流程在许多实际场景中已被证明有效，但ASR错误可能会传播到检索和生成步骤。为克服这一局限，我们提出SpeechRAG，一个专为口语数据开放问答而设计的新框架。我们提出的方法将预训练语音编码器微调为语音适配器，并输入到基于冻结大语言模型（LLM）的检索模型中。通过对齐文本和语音的嵌入空间，我们的语音检索器能够根据文本查询直接检索音频片段，从而利用冻结文本检索器的检索能力。我们在口语问答数据集上的检索实验表明，直接语音检索相比基于文本的基线没有性能下降，并且优于使用ASR的级联系统。在生成方面，我们使用语音语言模型（SLM）作为生成器，以音频片段而非转写文本为条件。在不对SLM进行微调的情况下，当转写文本中存在较高词错误率（WER）时，该方法优于级联的基于文本的模型。
英文摘要：
One common approach for question answering over speech data is to first transcribe speech using automatic speech recognition (ASR) and then employ text-based retrieval-augmented generation (RAG) on the transcriptions. While this cascaded pipeline has proven effective in many practical settings, ASR errors can propagate to the retrieval and generation steps. To overcome this limitation, we introduce SpeechRAG, a novel framework designed for open-question answering over spoken data. Our proposed approach fine-tunes a pre-trained speech encoder into a speech adapter fed into a frozen large language model (LLM)--based retrieval model. By aligning the embedding spaces of text and speech, our speech retriever directly retrieves audio passages from text-based queries, leveraging the retrieval capacity of the frozen text retriever. Our retrieval experiments on spoken question answering datasets show that direct speech retrieval does not degrade over the text-based baseline, and outperforms the cascaded systems using ASR. For generation, we use a speech language model (SLM) as a generator, conditioned on audio passages rather than transcripts. Without fine-tuning of the SLM, this approach outperforms cascaded text-based models when there is high WER in the transcripts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
