发表机构
Continuum AI（Continuum AI）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
该研究探究多跳RAG的实体图链接、迭代重述两种扩展方式对上游ASR错误的影响，发现二者会放大错误，其组合使F1差距增大36%-67%，实体损坏是主要失效模式，轻量缓解措施效果有限。
AI 中文摘要
基于语音的应用会在任何检索模块之前，通过自动语音识别（ASR）处理语音查询，因此ASR错误会作为固定的上游约束进入整个流程。我们通过实证测试了标准检索增强生成（RAG）的两种扩展方式——实体图链接与迭代重述，是会吸收还是放大这些错误。我们使用神经文本转语音（TTS）合成的四种英语口音，在三个多跳问答基准（HotpotQA、2WikiMultiHopQA和MuSiQue）上，针对纯文本 oracle 评估了四种RAG配置。尽管结构更丰富的配置在ASR输入下通常保持更高的绝对F1值，但两种扩展方式都会放大错误：在所有三个基准上，它们的组合下，从纯文本到最高词错误率（WER）口音的F1差距，比在朴素密集检索下大36%-67%。主要失效模式是一个或多个查询实体被损坏，在所有四种方法中，2WikiMultiHopQA上87%-96%的退化案例都由该原因导致。两种轻量的表面形式缓解措施几乎未缩小差距，表明下游检索结构会放大残留的实体错误。我们在该httpsURL发布代码与数据。
英文摘要
Speech-based applications pass spoken queries through automatic speech recognition (ASR) before any retrieval module, so ASR errors enter the pipeline as a fixed upstream constraint. We empirically test whether two extensions to standard retrieval-augmented generation (RAG), entity-graph linking and iterative reformulation, absorb or amplify these errors. Using four English accents synthesized through neural TTS, we evaluate four RAG configurations on three multi-hop QA benchmarks (HotpotQA, 2WikiMultiHopQA and MuSiQue) against a clean-text oracle. Although the structurally richer configurations generally retain higher absolute F1 under ASR input, both extensions amplify the error: the F1 gap from clean text to the highest-WER accent is 36-67% larger under their combination than under naive dense retrieval, on all three benchmarks. The dominant failure mode is corruption of one or more query entities, accounting for 87-96% of degradation cases on 2WikiMultiHopQA across all four methods. Two lightweight surface-form mitigations leave most of the gap intact, indicating that downstream retrieval structure amplifies remaining entity errors. We release code and data at https://github.com/Continuum-AI-Corp/spoken-multihop-rag .
CommentsAccepted to EMNLP 2026 (Main Conference)
