Salesforce

Whisper-AuT: Domain-Adapted Audio Encoder for Efficient Audio-LLM Training

Whisper-AuT：用于高效音频-大语言模型训练的领域适应音频编码器

Jielin Qiu, Ming Zhu, Wenting Zhao, Zhiwei Liu, Liangwei Yang, Zixiang Chen, Roshan Ram, Akshara Prabhakar, Juntao Tan, Rithesh Murthy, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

机构 * Salesforce AI Research（Salesforce AI 研究院） 纠错

AI总结 本文提出Whisper-AuT，通过微调Whisper-large-v3在语音、环境声音和音乐数据上，提升非语音领域的音频表示能力，从而降低下游训练成本。