多模态大模型

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

通过交错语义、音频和文本标记扩展开放离散音频基础模型

Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

机构 * Stanford University（斯坦福大学） ； University of Southern California（南加州大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 本文提出SODA模型，通过交错语义、音频和文本标记扩展开放离散音频基础模型，实现通用音频生成和跨模态能力。

MAEB: Massive Audio Embedding Benchmark

MAEB：大规模音频嵌入基准

Adnan El Assadi, Isaac Chung, Chenghao Xiao, Roman Solomatin, Animesh Jha, Rahul Chand, Silky Singh, Kaitlyn Wang, Ali Sartaz Khan, Marc Moussa Nasser, Sufen Fong, Pengfei He, Alan Xiao, Ayush Sunil Munot, Aditya Shrivastava, Artem Gazizov, Niklas Muennighoff, Kenneth Enevoldsen

机构 * Carleton University（卡尔顿大学） ； Durham University（杜伦大学） ； Stanford University（斯坦福大学） ； Aarhus University（奥胡斯大学） ； Indian Institute of Technology, Kharagpur（印度理工学院，卡里格普） ； Harvard University（哈佛大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 MAEB是一个涵盖多语言音频任务的基准，揭示了不同模型在音频与语言任务上的性能差异，展示了音频编码器在跨模态任务中的表现关联性。

Spatial Audio Question Answering and Reasoning on Dynamic Source Movements

空间音频问答与动态声源运动推理

Arvind Krishna Sridhar, Yinyi Guo, Erik Visser

机构 * Qualcomm Technologies Inc.（高通技术公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种空间音频问答方法，通过运动推理和多模态微调提升动态声源识别与理解能力。

Investigation for Relative Voice Impression Estimation

相对语音印象估计研究

Kenichi Fujita, Yusuke Ijima

机构 * NTT, Inc., Japan（日本NTT公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究探讨了相对语音印象估计方法，发现自监督语音模型在捕捉复杂感知差异方面表现更优，而多模态大语言模型在此任务中效果不佳。

Comments 5 pages,3 figures, Accepted to Speech Prosody 2026