Languages in Whisper-Style Speech Encoders Align Both Phonetically and Semantically
语言在Whisper风格的语音编码器中同时对齐语音和语义
机构 * LMU Munich(慕尼黑大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; Free University of Bozen-Bolzano(博尔扎诺自由大学) ; Technical University of Munich(慕尼黑工业大学)
专题命中 其他LLM :language model(abstract);分类 cs.CL
AI总结 研究通过控制发音验证跨语言对齐源于语义而非语音相似性,发现语音翻译检索在无语音提示时仍表现优异,且在低资源语言上提升了自动语音识别性能。
Comments Submitted to Interspeech 2026