多模态大模型

SeaVIS: Sound-Enhanced Association for Online Audio-Visual Instance Segmentation

SeaVIS: 声音增强的在线音频视觉实例分割

Yingjian Zhu, Ying Wang, Yuyang Hong, Ruohao Guo, Kun Ding, Xin Gu, Bin Fan, Shiming Xiang

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 SeaVIS通过引入因果交叉注意力融合模块和音频引导对比学习策略，实现了高效的在线音频视觉实例分割，提升了声音跟随能力并保持了实时处理性能。

Comments Accepted by Machine Intelligence Research

BOOM: Beyond Only One Modality KIT's Multimodal Multilingual Lecture Companion

BOOM: 超越单一模态的KIT多模态多语言讲座伴侣

Sai Koneru, Fabian Retkowski, Christian Huber, Lukas Hilgert, Seymanur Akti, Enes Yavuz Ugan, Alexander Waibel, Jan Niehues

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 BOOM通过多模态翻译技术，为多语言学习者提供同步的文本、幻灯片和语音输出，实现讲座内容的本地化与完整性保留。

Comments Under review

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard

针对多模态大语言模型的语音音频组合攻击及其通过SALMONN-Guard的缓解

Yudong Yang, Xuezhen Zhang, Zhifeng Han, Siyin Wang, Jimin Zhuang, Zengrui Jin, Jing Shao, Guangzhi Sun, Chao Zhang

机构 * Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态LLMs的安全性，提出SACRED-Bench评估语音音频组合攻击，并通过SALMONN-Guard将攻击成功率降低至20%。

SLM-S2ST: A multimodal language model for direct speech-to-speech translation

SLM-S2ST: 一种用于直接语音到语音翻译的多模态语言模型

Yuxuan Hu, Haibin Wu, Ruchao Fan, Xiaofei Wang, Heng Lu, Yao Qian, Jinyu Li

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 SLM-S2ST是一种多模态语言模型，通过音频转换器头和流式 vocoder 实现高效的语音到语音翻译，实验表明其性能优于现有模型。

Comments Accepted by ASRU 2025

Uncertainty-Aware Multimodal Emotion Recognition through Dirichlet Parameterization

通过狄利克雷参数化实现的不确定性感知多模态情绪识别

Rémi Grzeczkowicz, Eric Soriano, Ali Janati, Miyu Zhang, Gerard Comas-Quiles, Victor Carballo Araruna, Aneesh Jonelagadda

机构 * Kaliber Labs（Kaliber实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种轻量级且隐私保护的多模态情绪识别框架，通过狄利克雷参数化方法协调不同模态的不确定性，实现高效且鲁棒的情绪识别。

Comments 8 pages, 3 figures

D-ORCA: Dialogue-Centric Optimization for Robust Audio-Visual Captioning

D-ORCA：面向鲁棒音频视觉描述的对话中心优化

Changli Tang, Tianyi Wang, Fengyun Rao, Jing Lyu, Chao Zhang

机构 * Tsinghua University（清华大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 D-ORCA通过对话中心优化，提升音频视觉描述的鲁棒性和准确性，填补开源生态关键空白。

Bridging Speech, Emotion, and Motion: a VLM-based Multimodal Edge-deployable Framework for Humanoid Robots

弥合语音、情感与运动：一种基于视觉语言模型的多模态边缘可部署框架用于人形机器人

Songhua Yang, Xuetao Li, Xuanye Fei, Mengde Li, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出SeM$^2$框架，通过多模态感知、思维链推理和语义序列对齐机制，实现情感一致的多模态交互，提升人形机器人在现实环境中的社交表达能力。

Kahaani: A Multimodal Co-Creative Storytelling System

Kahaani：一种多模态协同创作叙事系统

Samee Arif, Muhammad Saad Haroon, Aamina Jamal Khan, Taimoor Arif, Agha Ali Raza, Awais Athar

机构 * Lahore University of Management Sciences（拉瓦尔大学管理科学学院） ； University of Michigan（密歇根大学） ； Strategize Labs（战略实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 Kahaani通过多模态技术帮助儿童提升英语能力、学习生活教训并理解故事结构，采用协同创作方式提供沉浸式教育体验。

CoVA: Text-Guided Composed Video Retrieval for Audio-Visual Content

CoVA: 基于文本引导的复合视频检索用于音频视觉内容

Gyuwon Han, Young Kyun Jang, Chanho Eom

专题命中 音频语音多模态 ：audio-visual(title)；cross-modal(abstract)；分类 cs.CV

AI总结 CoVA通过整合视频、音频和文本特征，解决音频视觉内容检索中的跨模态变化问题，提出AVT复合融合方法并构建AV-Comp基准。

Comments Please visit our project page at https://perceptualai-lab.github.io/CoVA/

A Benchmark for Audio Reasoning Capabilities of Multimodal Large Language Models

多模态大语言模型音频推理能力的基准测试

Iwona Christop, Mateusz Czyżnikiewicz, Paweł Skórzewski, Łukasz Bondaruk, Jakub Kubiak, Marcin Lewandowski, Marek Kubis

机构 * Adam Mickiewicz University（亚当·密克维茨大学） ； Samsung R&D Institute Poland（三星波兰研发中心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出Audio Reasoning Tasks基准测试，用于评估多模态模型在结合不同音频任务进行推理方面的能力。

Comments 31 pages, 2 figures, accepted to EACL 2026

Beyond Lips: Integrating Gesture and Lip Cues for Robust Audio-visual Speaker Extraction

超越嘴唇：整合手势和嘴唇线索以实现鲁棒的音频视觉说话人提取

Zexu Pan, Xinyuan Qian, Shengkui Zhao, Kun Zhou, Bin Ma

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 eess.AS

AI总结 本文提出SeLG模型，通过融合嘴唇和手势信息，利用交叉注意力和对比学习提升音频视觉说话人提取的鲁棒性。

Comments ICASSP 2026

Empowering Multimodal Respiratory Sound Classification with Counterfactual Adversarial Debiasing for Out-of-Distribution Robustness

通过反事实对抗去偏来增强多模态呼吸声分类以实现分布外鲁棒性

Heejoon Koo, Miika Toikkanen, Yoon Tae Kim, Soo Yong Kim, June-Woo Kim

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文提出反事实对抗去偏框架，通过抑制元数据依赖和增强元数据不变表示，提升多模态呼吸声分类在分布外鲁棒性上的性能。

Comments Accepted by ICASSP 2026 (2026 IEEE International Conference on Acoustics, Speech, and Signal Processing)

Quran-MD: A Fine-Grained Multilingual Multimodal Dataset of the Quran

Quran-MD: 一部涵盖多语言多模态的《古兰经》细粒度数据集

Muhammad Umar Salman, Mohammad Areeb Qazi, Mohammed Talha Alam

机构 * MBZUAI（穆扎伊人工智能研究所） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Quran-MD 是一个包含多语言多模态的《古兰经》数据集，涵盖文本、语言和音频层面，用于提升语音识别、语义检索和个性化教学系统等应用。

Comments 6 pages, 2 tables and 2 figures

Bone-conduction Guided Multimodal Speech Enhancement with Conditional Diffusion Models

骨传导引导的多模态语音增强与条件扩散模型

Sina Khanagha, Bunlong Lay, Timo Gerkmann

机构 * Signal Processing Group, University of Hamburg, Germany（汉堡大学信号处理组） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文提出一种基于条件扩散模型的多模态语音增强框架，通过整合骨传导传感器与空气传导麦克风，有效提升极端噪声环境下的语音增强性能。

Comments Accepted to IEEE ICASSP 2026

EPD-Serve: A Flexible Multimodal EPD Disaggregation Inference Serving System On Ascend

EPD-Serve: 一种灵活的多模态EPD解耦推理服务系统在Ascend上

Fan Bai, Pai Peng, Zhengzhi Tang, Zhe Wang, Gong Chen, Xiang Lu, Yinuo Li, Huan Lin, Weizhe Lin, Yaoyuan Wang, Xiaosong Li

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 EPD-Serve通过阶段级解耦和异构硬件协同，提升多模态模型推理系统的吞吐量和效率。

Afri-MCQA: Multimodal Cultural Question Answering for African Languages

Afri-MCQA：面向非洲语言的多模态文化问答

Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio

机构 * MBZUAI ； AI4Bharat ； Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） ； Saarland University（萨尔兰大学） ； Aston University（阿斯顿大学） ； Addis Ababa University（亚的斯亚贝巴大学） ； Lesan AI ； Friedrich-Alexander University（弗里德里希-亚历山大大学） ； University of Pretoria（比勒陀利亚大学） ； University of Minneosta -Twin Cities（明尼苏达大学-双城分校） ； Lelapa AI ； Tshwane University of Technology（茨瓦内技术大学） ； Digital Umuganda ； University of Botswana（博茨瓦纳大学） ； Mila, McGill University & Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 Afri-MCQA是首个针对非洲语言的多模态文化问答基准，揭示了本地语言在语音和文本任务中与英语的显著性能差距，强调了文化扎根预训练和跨语言文化转移的重要性。

SpeakerLM: End-to-End Versatile Speaker Diarization and Recognition with Multimodal Large Language Models

SpeakerLM：基于多模态大语言模型的端到端多功能说话人辨识与识别

Han Yin, Yafeng Chen, Chong Deng, Luyao Cheng, Hui Wang, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SpeakerLM通过多模态大语言模型实现端到端的说话人辨识与识别，结合灵活的说话人注册机制，提升多说话人场景下的识别性能。

Comments Accepted by AAAI 2026

Investigating the Viability of Employing Multi-modal Large Language Models in the Context of Audio Deepfake Detection

探讨在音频深度伪造检测中使用多模态大语言模型的可行性

Akanksha Chuchra, Shukesh Reddy, Sudeepta Mishra, Abhijit Das, Abhinav Dhall

机构 * Indian Institute of Technology, Ropar, India（印度理工学院罗帕尔分校） ； Machine Intelligence Group, Birla Institute of Technology and Science, Pilani, Hyderabad Campus, India（比拉理工科学院帕利尼 Hyderabad 分校机器智能小组） ； Monash University, Melbourne, Australia（墨尔本大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文探讨了多模态大语言模型在音频深度伪造检测中的可行性，通过结合音频输入与多提示方法，展示了模型在域内数据上的良好表现及潜在应用价值。

Comments Accepted at IJCB 2025

Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning

推动音频视觉感知前沿：大规模多模态对应学习

Apoorv Vyas, Heng-Jui Chang, Cheng-Fu Yang, Po-Yao Huang, Luya Gao, Julius Richter, Sanyuan Chen, Matt Le, Piotr Dollár, Christoph Feichtenhofer, Ann Lee, Wei-Ning Hsu

机构 * Meta Superintelligence Labs（Meta超级智能实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 PE-AV通过大规模多模态对应学习提升音频视频理解，支持跨模态嵌入并实现语音检索等新任务，同时开发PE-A-Frame实现细粒度音频-文本对齐。

Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review

多模态方法用于分析学习与训练环境：系统文献综述

Clayton Cohn, Eduardo Davalos, Caleb Vatral, Joyce Horn Fonteles, Hanchen David Wang, Austin Coursey, Surya Rayala, Ashwin T S, Meiyi Ma, Gautam Biswas

机构 * Vanderbilt University（范德比大学） ； Tennessee State University（田纳西州立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文综述了多模态方法在学习与训练环境中的应用，提出分类法和框架，揭示了多模态整合对行为分析的价值及现存挑战。

Comments Submitted to ACM Computing Surveys. Currently under review

Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation

Soul：为高保真长期多模态动画注入生命

Jiangning Zhang, Junwei Zhu, Zhenye Gan, Donghao Luo, Chuming Lin, Feifan Xu, Xu Peng, Jianlong Hu, Yuansen Liu, Yijia Hong, Weijian Cao, Han Feng, Xu Chen, Chencan Fu, Keke He, Xiaobin Hu, Chengjie Wang

机构 * Tencent（腾讯） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Soul通过多模态驱动框架实现高保真长期数字人类动画，结合自动化标注和优化推理效率，显著提升视频质量和唇同步精度。

Comments Project page: https://zhangzjn.github.io/projects/Soul/

AURORA:Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation

AURORA：通过结构化推理和强化学习增强参考音频视频分割

Ziyang Luo, Nian Liu, Fahad Shahbaz Khan, Junwei Han

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 AURORA通过结构化推理和强化学习提升参考音频视频分割的准确性和鲁棒性

Comments AAAI2026,code:https://github.com/Sssssuperior/AURORA

SimClinician: A Multimodal Simulation Testbed for Reliable Psychologist AI Collaboration in Mental Health Diagnosis

SimClinician: 一种多模态模拟测试平台，用于心理健康诊断中可靠的心理学家AI协作

Filippo Cenacchi, Longbing Cao, Deborah Richards

机构 * Macquarie University（麦考瑞大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SimClinician是一种多模态模拟平台，通过整合音频、文本和目光-表情模式，帮助心理学家在心理健康诊断中与AI协作，提升诊断的准确性和交互的流畅性。

SpeechQualityLLM: LLM-Based Multimodal Assessment of Speech Quality

SpeechQualityLLM: 基于大语言模型的多模态语音质量评估

Mahathir Monjur, Shahriar Nirjon

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SpeechQualityLLM是一种基于大语言模型的多模态语音质量评估系统，通过生成文本答案来提供灵活的自然语言接口，减少对大规模测试的依赖。

Comments 9 pages, 5 figures, 8 tables

SENSE models: an open source solution for multilingual and multimodal semantic-based tasks

SENSE模型：一种开源解决方案，用于多语言和多模态基于语义的任务

Salima Mdhaffar, Haroun Elleuch, Chaimae Chellaf, Ha Nguyen, Yannick Estève

机构 * LIA, Avignon Université（阿维尼昂大学LIA） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 SENSE模型通过教师-学生框架实现多语言和多模态语义任务的高效语义对齐，提供开源解决方案并取得竞争力表现。

Comments Accepted to IEEE ASRU 2025

Sanvaad: A Multimodal Accessibility Framework for ISL Recognition and Voice-Based Interaction

Sanvaad: 一种多模态可访问性框架，用于手语识别和基于语音的交互

Kush Revankar, Shreyas Deshpande, Araham Sayeed, Ansh Tandale, Sarika Bobde

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Sanvaad是一种多模态可访问性框架，通过结合轻量级计算机视觉和语音处理工具，为聋人和视障用户提供实时双向沟通解决方案。

Who Will Top the Charts? Multimodal Music Popularity Prediction via Adaptive Fusion of Modality Experts and Temporal Engagement Modeling

谁会登顶排行榜？通过适应性融合模态专家和时间参与建模的多模态音乐流行度预测

Yash Choudhary, Preeti Rao, Pushpak Bhattacharyya

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 GAMENet通过融合多模态数据和时间参与建模，提升了音乐流行度预测的准确性。

Comments 8 pages

Explainable Multi-Modal Deep Learning for Automatic Detection of Lung Diseases from Respiratory Audio Signals

可解释的多模态深度学习用于从呼吸音频信号自动检测肺部疾病

S M Asiful Islam Saky, Md Rashidul Islam, Md Saiful Arefin, Shahaba Alam

机构 * Albukhary International University（阿尔布胡亚国际大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 本研究提出一种可解释的多模态深度学习框架，通过结合频谱-时间编码器和手工制作的声学特征编码器，利用呼吸音频信号自动检测肺部疾病，实现了高准确率和良好的泛化能力。

Lessons Learned from Developing a Privacy-Preserving Multimodal Wearable for Local Voice-and-Vision Inference

从开发一个隐私保护的多模态可穿戴设备以实现本地语音和视觉推断中获得的启示

Yonatan Tussa, Andy Heredia, Nirupam Roy

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文介绍了开发隐私保护多模态可穿戴设备的经验，展示了如何在本地进行语音和视觉推断，并探讨了在日常环境中平衡隐私、响应性和可用性的设计挑战。

AIRHILT: A Human-in-the-Loop Testbed for Multimodal Conflict Detection in Aviation

AIRHILT：航空多模态冲突检测的人机交互测试平台

Omar Garib, Jayaprakash D. Kambhampaty, Olivia J. Pinon Fischer, Dimitri N. Mavris

机构 * Daniel Guggenheim School of Aerospace Engineering, Georgia Institute of Technology（丹尼尔·古根海姆航空航天工程学院，佐治亚理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 AIRHILT是一款用于航空多模态冲突检测的人机交互测试平台，通过集成ASR、视觉检测和决策模型，实现冲突检测的高效评估与研究。

Comments 9 pages, 4 figures, 1 table, 1 algorithm