多模态大模型

Said Aloud, Read Different: Cross-Modal Instability in Multimodal Models

语音与文本的不同解读：多模态模型中的跨模态不稳定性

Basel Mousi, Fahim Dalvi, Shammur Chowdhury, Firoj Alam, Nadir Durrani

机构 * Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学）） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title)；multimodal foundation model(abstract)；分类 cs.CL

AI总结 该研究针对多模态模型在语音与文本、英语与阿拉伯语间的判断一致性问题，构建含10150张图像的基准，发现模态与语言转换会引入未被整体准确率捕捉的不一致性，语音还会放大部分失败，且公开了该基准。

Comments Interpeech 2026

Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition

用于鲁棒视听语音识别中对比解码的注意力引导可靠性缩放

YoungChae Kim, Da-Hee Yang, Joon-Hyuk Chang

机构 * Hanyang University（汉阳大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 本研究针对鲁棒视听语音识别问题，提出注意力引导的对比解码可靠性缩放方法，在LRS3数据集上实现了干净与低信噪比条件下的性能提升。

Comments Accepted to Interspeech 2026

From Sound to Symptom: Real-Time Respiratory Signal Understanding for Conversational Healthcare Agents

从声音到症状：面向对话式医疗智能体的实时呼吸信号理解

Tanmay Laud, Herprit Mahal, Subhabrata Mukherjee

机构 * Hippocratic AI（希波克拉底人工智能公司） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出面向对话式医疗智能体的HealthCUES系统，可实时检测分析咳嗽等呼吸信号，经内部与外部数据集评估及医疗人员验证，性能优异且具临床实用性。

Comments Accepted for publication at SIGDIAL 2026

EXAM$^2$: $\underline{Ex}tending$ $\underline{A}udio$ $Understanding$ $in$ $\underline{M}ultilingual$ $and$ $\underline{M}ultimodal$ $Analysis$

EXAM²：扩展多语言与多模态分析中的音频理解能力

Jiawen Wang, Xiaoxue Gao, Zi Haur Pang, Nancy F. Chen

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出多语言多模态音频理解基准EXAM²，评估现有模型发现其存在多语言跨模态理解差距，微调的Gemma3n-EXAM²性能显著提升，推动相关研究发展。

Comments 8 pages, 2 figures

When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue

当文本误导时：面向音频接地对话的不一致感知推理

Yen-Ju Lu, Yuzhe Wang, Yaohan Guan, Xiluo He, Jiarui Hai, Mingrui Liang, Kaavya Chaparala, Thomas Thebaud, Laureano Moro-Velazquez, Najim Dehak, Jesus Villalba

机构 * Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本研究针对口语对话理解中基于转录本的捷径问题，构建了含501个问题的受控基准ContraTalk，提出Audio Twin智能体式推理框架，可提升冲突问答案例的准确率并减少文本偏向陷阱选择。

Comments 24 pages, 4 figures

Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding

仅使用视觉 grounding 将不同语言的书面词映射到口语词

Gabriel Pirlogeanu, Dan Oneata, Horia Cucu, Herman Kamper

机构 * Politehnica Bucharest（布加勒斯特理工大学） ； Stellenbosch University（斯坦陵布什大学） ； Trinity College Dublin（都柏林圣三一学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 本研究针对低资源场景下的语音数据构建问题，提出一种基于自监督语音表示的对齐方法，可从视觉 grounding 数据中直接学习跨语言词到语音的映射，效果优于以往的注意力模型。

Comments 9 pages, 5 figures, 5 tables, preprint, submitted to IEEE Transactions on Audio, Speech and Language Processing

SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning

SpeechGym：一种用于通过强化学习训练语音智能体的原生音频 Gym

Jiajun Fan, Jingyuan Li, Prashanth Gurunath Shivakumar, Jia-Hong Huang, Qi Luo, M. Maruf, Ivan Bulyko, Ge Liu, Roger Ren

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon AGI Foundations（亚马逊AGI基础研究部） 纠错

专题命中 音频语音多模态 ：omni-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对语音智能体训练中梯度无法流动、难以强化学习的问题，提出原生音频环境 SpeechGym，用每轮过程奖励解决稀疏性问题，使开放权重模型在语音基准上任务成功率翻倍且排名提升。

A Reranker for Orchestrating Heterogeneous Speech and Text Retrievers

用于协调异构语音和文本检索器的重排序器

Inho Kim, Sumyeong Ahn

机构 * Korea Institute of Energy Technology（韩国能源技术研究院） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态RAG数据库场景，提出STeReO重排序器，构建专用数据集训练后，可有效聚合异构检索结果，显著提升下游问答性能。

Comments Accepted to Interspeech 2026

Towards Interpretable Depression Detection: Linking Acoustic Features to DSM-5 Indicators

面向可解释的抑郁检测：将声学特征与DSM-5指标关联

Jonas Länzlinger, Katharina O.E. Müller, Burkhard Stiller, Bruno Rodrigues

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 该研究提出透明关联框架，将语音声学特征映射到DSM-5抑郁指标，在DAIC-WOZ上初步验证了声学特征与相关指标的关联，实现可解释且隐私保护的抑郁检测。

AudioSpan: Spanning the Duration and Depth of Audio Comprehension

AudioSpan：覆盖音频理解的时长与深度

Wen Huang, Yunfei Chu, Meng Gao, Haolin He, Jin Xu

机构 * Qwen Team, Alibaba Group（通义千问团队，阿里巴巴集团） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 音频语音多模态 ：omni-modal(abstract)；分类 eess.AS

AI总结 本研究提出覆盖10分钟至2小时音频的基准AudioSpan，含3240个分三认知层级的问题，评估12个大型音频-语言模型，发现从长音频提取相关事实是核心难点，该基准可公开获取。

EEG-to-Report: An Annotation and Feature-Text Framework for Training Language Models on Clinical EEG

EEG-to-Report：用于在临床脑电图上训练语言模型的标注与特征-文本框架

Xuan-The Tran, Le Trung Kien Nguyen

机构 * Vietnam Maritime University（越南海事大学） ； HAISmartlink Lab（HAISmartlink实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对临床EEG报告依赖人工、现有工具无法满足AI训练需求的问题，提出EEG-to-Report框架，整合多格式EEG处理与标注，生成对齐特征-文本对，还含自动报告模块，为自动化EEG报告系统提供基础。