多模态大模型

Zero-Shot Recognition of Dysarthric Speech Using Commercial Automatic Speech Recognition and Multimodal Large Language Models

基于商业自动语音识别和多模态大语言模型的口吃语音零样本识别

Ali Alsayegh, Tariq Masood

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 eess.AS

AI总结 本研究评估了商业ASR和MLLM在口吃语音识别中的性能，发现GPT-4o在重度口吃情况下显著降低WER，而Gemini变体表现下降，为辅助语音接口技术选择提供实证依据。

Journal ref International Journal of Intelligent Systems, 2026; 2026:6065038

H2H Music Improv: A Communication Model and Audio-Visual Dataset for Music Improvisation

H2H音乐即兴：一种音乐即兴的通信模型及视听数据集

Aleksandra Teng Ma, Anthony Cammarota, Jiayi Wang, Alexandria Smith, Cheng-Zhi Anna Huang, Jeffrey Albert, Alexander Lerch

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 该研究针对现有AI即兴系统缺乏通信意识的问题，通过与专业即兴者协作推导通信模型，并构建首个自由即兴的H2H视听数据集，为AI音乐伙伴设计提供新资源。

Comments Published in the Proceedings of the Society for Music Information Retrieval Conference (ISMIR) 2026

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

Leading-Silence Augmentation and Multi-Stage Synthetic Supervision for the Second MLC-SLM Challenge

面向第二届MLC-SLM挑战赛的前置静音增强与多阶段合成监督

Kexin Shi, Renhe Sun, Yuge Huang, Ximeng Wang, Jiayi Zhou, Jian Liu, Malu Zhang

机构 * Ant Group（蚂蚁集团） ； UESTC（电子科技大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对第二届MLC-SLM挑战赛的两项任务，分别采用前置静音增强等策略微调VibeVoice-ASR-7B、用合成问答对微调Qwen3-Omni-30B-A3B-Instruct，提升了任务1和任务2的评估性能。

VisG AV-HuBERT: Viseme-Guided AV-HuBERT

VisG AV-HuBERT：基于视觉发音的AV-HuBERT

Aristeidis Papadopoulos, Rishabh Jain, Naomi Harte

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 eess.AS

AI总结 本文提出VisG AV-HuBERT，通过引入辅助的发音分类任务，强化模型对视觉发音特征的依赖，提升在噪声环境下的语音识别性能。

Comments Includes Supplementary Material. Accepted for Publication at International Conference on Pattern Recognition 2026 - ICPR 2026. Code is available at https://github.com/aristosp/visg_avhubert

Journal ref A. Papadopoulos, R. Jain, N. Harte, VisG AV-HuBERT: Viseme-Guided AV-HuBERT, in Pattern Recognition. ICPR 2026, Lecture Notes in Computer Science, vol. 16812, pp. 667-682, Springer, 2026

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos

SALSA-V：基于视频的捷径增强式长同步音频生成模型

Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。