多模态大模型

An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

基于vLLM的高效统一音频理解与生成推理管线

Haoran Wang, Jinchuan Tian, Siddhant Arora, Shinji Watanabe

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出基于vLLM的推理管线，通过扩展自回归解码支持多流采样和延迟模式解交织，并利用协同调度实现CFG下80%的非CFG吞吐量。

Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection

弦外之音：ASR嵌入与LLM增强语言学联合学习用于痴呆检测

Olivier Jiyoun Jung, Jonghyeon Park, Myungwoo Oh

机构 * Division of Communication and Media, Ewha Womans University, South Korea（韩国梨花女子大学传播与媒体学院） ； NAVER Cloud, South Korea（韩国NAVER Cloud） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出多模态框架，结合Whisper的声学表示与LLM提取的语言特征，通过门控融合网络实现痴呆检测，在ADReSS和ADReSSo上F1分别达89.47%和90.14%。

Comments Accepted at INTERSPEECH 2026

From Black-Box to Clinical Insight: A Multi-Stage Explainable Framework for Speech-Based Cognitive Impairment Detection

从黑盒到临床洞察：用于语音认知障碍检测的多阶段可解释框架

Yasaman Haghbin, Sina Rashidi, Ali Zolnour, Fatemeh Taherinezhad, Ali Fartoot, Hossein Azadmaleki, James M Noble, Maryam Dadkhah, Maryam Zolnoori

机构 * Independent Researcher（独立研究者） ； Columbia University（哥伦比亚大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出多阶段可解释框架，结合SHAP、语言学特征和LLM推理，将黑盒Transformer预测转化为临床叙事，在NIA PREPARE基准上F1=72.11%，医生评估显示与患者认知特征高度一致，SUS评分82/100。

Comments Accepted to Interspeech 2026

Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction

错误感知的TF-IDF检索增强生成用于ASR错误纠正

Mohammad Aref Jafari-Raddani

机构 * Department of Computer Engineering, Qom University of Technology（库姆科技大学计算机工程系） ； Asa Electronic Akhtaran（阿萨电子阿赫塔兰公司） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种纯词法的错误感知检索增强生成框架，通过对称文本归一化和基于历史错误的稀疏对角惩罚矩阵，将FLEURS波斯语子集的错误感知命中率从53.7%提升至90.9%，最终词错误率从23.06%降至18.83%。

Comments 4 pages, 1 figure, 2 tables

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

海报：探索基于音频的土耳其电话诈骗检测的极限

Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对土耳其语电话诈骗，构建首个多模态数据集（100对音频-文本），评估7个LLM在三种输入条件下的检测性能，发现基于文本的输入优于直接音频处理。

Comments Poster paper accepted at 47th IEEE Security & Privacy 2026

Fair Cognitive Impairment Detection Through Unlearning

通过去学习实现公平的认知障碍检测

William Nguyen, Jiali Cheng, Hadi Amiri

机构 * University of Massachusetts Lowell, USA（马萨诸塞大学洛厄尔分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出一种多模态框架，结合跨模态融合和梯度反转去学习，减少人口统计信息对轻度认知障碍检测的偏见，在跨语言数据集上缩小性能差距。

Comments Interspeech 2026

When the Same Musical Knowledge Forgets Differently: A Clean Probe of Pathway-Dependent Forgetting

当相同的音乐知识以不同方式遗忘：路径依赖遗忘的干净探测

Yu Liu, Zhiwei Yang, Wenxiao Zhang, Cong Cao, Fangfang Yuan, Kun Peng, Haimei Qin, Lei Jiang, Jin B. Hong, Hao Peng, Yanbing Liu

机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学院大学网络空间安全学院） ； The University of Western Australia（西澳大利亚大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出配对路径控制协议（PPCP），发现多模态模型中通过文本路径获取的知识比音频路径更易遗忘，且该效应不受架构深度影响，主要源于输入表示差异。

NVMOS: Non-Verbal Vocalization Quality Assessment in Speech

NVMOS：语音中非语言发声质量评估

Jialong Mai, Jinxin Ji, Xiaofen Xing, Wencui Liu, Xiangmin Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对非语言发声（如笑声、叹息）的感知质量评估空白，构建NV-MOS数据集，提出首个专用模型NVMOS，通过局部聚焦模块达到专家级评估一致性。

Comments 6 pages. Code and model: https://github.com/yongaifadian1/NVMOS

AuRA: Internalizing Audio Understanding into LLMs as LoRA

AuRA: 将音频理解内化到LLM中作为LoRA

Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Jilin University（吉林大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。

Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs

文本就是一切？文本作为语音大语言模型的通用信息瓶颈

Ming-Hao Hsu, Yuxuan Hu, Shujie Liu, Jinyu Li, Yan Lu, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Microsoft Corporation（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出Convex Gate（C-Gate）桥接语音与LLM，通过凸包约束将语音表示限制在LLM输入嵌入流形内，在ASR和情感识别上取得联合最优性能，并揭示几何结构而非离散性是关键设计因素。

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

HybridCodec: 快速双流、语义增强的神经音频编解码器

Arjun Gangwar, S Umesh

机构 * Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。

Comments 5 pages, 5 tables, 1 figure, Accepted at Interspeech 2026

Does Listening Matter? Backchanneling and Nodding in AI Clone

倾听重要吗？AI克隆中的反馈式回应与点头动作

Koji Inoue, Kazushi Kato, Tatsuya Kawahara, Shunichi Kasahara

专题命中 音频语音多模态 ：multimodal(abstract,comments)；分类 cs.CL

AI总结 本研究将口头反馈式回应与头部点头整合到配备语音克隆及LLM响应的AI克隆中，经35人被试内研究证实，添加互动倾听行为可提升AI克隆的感知专注度、真实感与共同在场感，其保真度需涵盖倾听行为。

Comments This paper has been accepted to the Late-Breaking Results (LBR) track of the 28th International Conference on Multimodal Interaction (ICMI 2026)

Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges

心理健康领域的大语言模型：应用、创新与伦理挑战的系统综述

Yisong Chen, Yifan Gao, Sijing Yu, Chuqing Zhao, Yang Lu

专题命中 音频语音多模态 ：multimodal(abstract,comments)；分类 cs.AI

AI总结 该系统综述梳理了大语言模型在心理健康领域的多类应用、技术创新，同时探讨了其面临的伦理与监管挑战，并倡导建立保障其安全公平部署的框架。

Comments Systematic review. Published in Journal of Industrial Integration and Management (2025). Applications of large language models in mental health, including social media analysis, clinical conversational agents, therapy support tools, multimodal learning, and ethical considerations

Journal ref Journal of Industrial Integration and Management (JIIM), 2025

UniVerse: Benchmarking and Enhancing LALMs on Culturally Inclusive Low-Resource Music Understanding

UniVerse：针对文化包容性低资源音乐理解的基准测试与增强

Ziya Zhou, Shangda Wu, Shenyang Xu, Yutong Zheng, Dafang Liang, Suin Chung, Danbinaerin Han, Junyan Jiang, Yongyi Zang, Ruibin Yuan, Rongxiu Zhong, Shilei Zhang, Junlan Feng, Jinglei Liu, Haotian Zhou, Zijin Li, Dasaem Jeong, Wei Xue, Yike Guo

机构 * Sogang University（西江大学） ； KAIST（韩国科学技术院） ； NYU Shanghai（上海纽约大学） ； JIUTIAN Research, China Mobile（中国移动九天研究院） ； The State Key Laboratory of Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； China Mobile (Hong Kong) Innovation Research Institute（中国移动（香港）创新研究院） ； Central Conservatory of Music（中央音乐学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 该研究针对低资源音乐理解问题，推出UniVerse基准与数据集，训练LALMs并研究多模态不平衡学习策略，实现性能提升但仍存在深层音乐理解的差距。

Comments 21 pages, 7 figures, 8 tables

On computational approaches to Pop music culture

流行音乐文化的计算研究方法

Arthur Flexer

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.MM

AI总结 该文提出流行音乐文化的计算研究需采用多模态方法，综述相关量化研究并指出其存在的多模态方法匮乏等问题，勾勒出绘制歌词主题图谱等三个未来研究方向。

Comments 18 pages, 1 figure

Leading-Silence Augmentation and Multi-Stage Synthetic Supervision for the Second MLC-SLM Challenge

面向第二届MLC-SLM挑战赛的前置静音增强与多阶段合成监督

Kexin Shi, Renhe Sun, Yuge Huang, Ximeng Wang, Jiayi Zhou, Jian Liu, Malu Zhang

机构 * Ant Group（蚂蚁集团） ； UESTC（电子科技大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对第二届MLC-SLM挑战赛的两项任务，分别采用前置静音增强等策略微调VibeVoice-ASR-7B、用合成问答对微调Qwen3-Omni-30B-A3B-Instruct，提升了任务1和任务2的评估性能。

The SLT 2026 SmartGlasses Challenge: Benchmarking Egocentric Multi-Talker Speech Recognition and Understanding with Audio-Language Models

2026 IEEE SLT智能眼镜挑战赛：基于音频-语言模型的自我中心多说话人语音识别与理解基准测试

Dehui Gao, Zhixian Zhao, Zhennan Lin, Yujie Liao, Yuhang Dai, Yike Zhu, Longshuai Xiao, Hui Bu, Xin Xu, Xie Chen, Shuai Wang, Liumeng Xue, Zhonghua Fu, Jun Du, Eng-Siong Chng, Jun Zhou, Lei Xie

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文介绍IEEE SLT 2026智能眼镜挑战赛，构建含714个真实场景会话的106小时四通道自我中心语音数据集，评估TSA-ASR与SLU，发现说话人重叠影响TSA-ASR性能、音频-语言模型难理解副语言声学。

Comments 7 pages, 7 figures

MiDashengLM-Gen: Unified Audio Scene Generation via LLM-Driven Autoregressive Flow Matching

MiDashengLM-Gen：基于大语言模型驱动的自回归流匹配的统一音频场景生成

Xingwei Sun, Heinrich Dinkel, Gang Li, Jiahao Mei, Yadong Niu, Zerui Han, Yuepeng Jiang, Jiahao Zhou, Lichun Fan, Jian Luan

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 MiDashengLM-Gen是首个端到端训练的通用文本到音频生成模型，通过结合LLM与每token条件流匹配，在Seed-TTS等基准上大幅提升语音可懂度，且支持多语言场景。

MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection

MADBench：面向模态感知音频深度伪造检测的基准

Yanqiu Li, Yang Xiao, Jisheng Bai, Bin Chen, Hong Jia, Ting Dang

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 MADBench是首个区分语音与环境音频的音频深度伪造检测基准，测试发现环境音频操纵更易检测，现有预训练检测器在两类声学成分上均失效，为相关研究提供严谨基础。

Comments 11 pages, 1 figure

AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques

AI引导式学习：基于深度学习音视频处理技术的知识与技能获取支持方法研究

Kazuki Kawamura

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 本研究提出含三个系统的AI引导式学习框架，通过深度学习音视频处理技术，解决学习中长内容耗时、技能模仿反馈不足的问题，相关系统在播放效率、视频时长缩减、发音提升上均有良好效果。

Comments 118 pages, 26 figures, 4 tables. Doctoral dissertation, Doctor of Interdisciplinary Informatics, The University of Tokyo; degree awarded September 19, 2025

MMAG: A Multi-Control Mixed Audio Generation Benchmark

MMAG：多控制混合音频生成基准

Zihao Zheng, Xuenan Xu, Jiahao Mei, Yixuan Li, Minghao Lv, Wen Wu, Chao Zhang, Mengyue Wu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 eess.AS

AI总结 本研究针对现有音频生成基准的不足，推出MMAG混合音频生成基准，构建含4000个标注音频的数据集，提出系统评估协议，测试发现各类模型在多控制能力间存在性能权衡，为该领域提供综合基准。

Comments 15 pages, 6 figures

Shape Your Feed: An LLM-based Agentic System for Conversational Recommendation

塑造你的信息流：一种基于大语言模型的智能体对话推荐系统

Ziyun Xu, Bosen Ding, Yue Zhang, Ji Qi, Qingyuan Song, Jizhou Huang, Liwei Wang, Jefferey Santelli, Yue Weng, Qichao Que, Zhenheng Yang, Junfeng Pan, Linhong Zhu

机构 * Meta Platforms（元平台公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出基于LLM的智能体推荐框架SYF，采用三层架构实现实时多模态内容协同策划，经离线评估与在线A/B实验验证，可提升信息流相关性与用户情感，为工业场景提供交互式推荐方案。

Comments Accepted in RecSys 2026 Industrial Track

Vorch-Omni: Multi-Task Orchestration of Sight and Sound

Vorch-Omni：视觉与听觉的多任务编排

Vorch Team, Xiaoyu Chen, Yang Ding, Cong Han, Menglin Han, Yuxin Hong, Jiebo Hou, Zequn Jie, Xiang Li, Jing Liu, Qi Liu, Yulei Lu, Siyuan Luo, Lin Ma, Xin Ma, Yinlong Qian, Peng Shi, Fang Wan, Siqi Wang, Yaohui Wang, Yaole Wang, Yidi Wu, Siqian Yang, Mingyu Yin, Haoran Yu, Gang Yue, Lisai Zhang, Yuting Zhang

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 Vorch-Omni是基于流匹配扩散Transformer的统一多任务视听合成框架，支持10余项视听相关任务，为通用视听生成与操作提供可扩展基础。

Comments Project Page: https://vorch-project.github.io/Vorch-Omni-project/

AI-Based Sound Effect Generation: A Narrative Review of Generative Models Across Input Modalities

基于AI的音效生成：跨输入模态生成模型的叙事性综述

Sandy Abdo, Bill Kapralos, Priyamvada Tripathi, KC Collins, Adam Dubrowski

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本章综述了跨文本、视觉等输入模态的AI音效生成模型，考察30篇文献，指出模型性能提升的同时存在时间同步局限等挑战，推动音效生成向自适应系统发展。

Comments 29 pages, 5 figures, to appear in G. A. Tsihrintzis, M. Virvou, N. Bourbakis, and L. C. Jain (Eds.), Advances in Global Applied Artificial Intelligence: Springer, Learning and Analytics in Intelligent Systems Book Series

WeSep: A Modular and Cue-Composable Framework for Target Speaker Extraction

WeSep：面向目标说话人提取的模块化与线索可组合框架

Ke Zhang, Xiaoyang Yu, Haoyu Li, Shuai Wang, Shuhan Zhang, Haizhou Li

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 WeSep是将目标说话人提取重新表述为异质线索条件学习问题的统一框架，通过模块化设计提升灵活性，多模态实验验证其稳定性，工具包将公开。

Comments 6 pages, accepted by Interspeech 2026

Speech2Grasp: Data-Efficient Transfer of Text-Conditioned Grasp Detection to Speech in Humanoid Robots

Speech2Grasp：面向人形机器人的文本条件抓取检测到语音的高效数据迁移

Hung Nguyen, Kim Nhat Minh Nguyen, Van Duc Vu, Van-Danh Le, Hoang Huy Le, Dinh Tuan Nguyen, Pham Tuyen Le, Van-Truong Nguyen, Quan Nguyen

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本研究提出Speech2Grasp框架，以数据高效方式将文本条件抓取检测模型迁移至语音输入，通过轻量级MLP投影器适配，在人形机器人实验中性能优于级联ASR流水线且延迟更低，为文本系统扩展到语音提供实用范式。

Text-Prompted CLAP: Learning Query-Conditioned Audio Representations via Contrastive Learning

文本提示的CLAP：通过对比学习学习查询条件音频表示

Mohan Li, Rama Doddipatla, Philip C. Woodland

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 研究旨在解决CLAP独立编码模态限制，提出TP-CLAP，通过引入交叉注意力融合模块，利用音频多项选择题框架训练，在音频问答、检索等任务中表现出色，优于标准CLAP基线。

Comments 5 pages, 1 figure

TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation

TaoMate：用于实时音频-视频数字人生成的锚点引导内存桥接演化和参考状态

Qijun Gan, Chenwei Zhang, Meiguang Jin, Junfeng Ma, Qiu Shen

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 研究实时长格式数字人生成问题，提出TaoMate框架，通过锚点引导、内存桥接等方法，在保持稳定外观和视听同步下，实现少步联合音频-视频生成，且能跨块并行执行加速自回归推理。

Towards High-Level Semantic Intelligence

迈向高级语义智能

Xiujie Song, Gefei Yang, Yining You, Jiahui Gan, Qi Jia, Shota Watanabe, Tianxi Wan, Mengyue Wu, Kai Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 综述从语义复杂性角度审视人工智能语义智能发展，系统调研高级语义任务研究，总结理解和生成的相关方法及策略，旨在推动人工智能向高级语义智能持续发展。

Validating the Single Item Kawaii Measure

验证单项卡哇伊度量

Katie Seaborn, Yijia Wang

机构 * University of Cambridge（剑桥大学） ； Institute of Science（科学研究院） ； Tokyo Institute of Technology（东京技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 研究测量用户对卡哇伊感知的问题，通过九个数据集对单项度量进行收敛、已知群体和跨情境效度及信度检验，证明了其在声音和视觉卡哇伊感知方面效度的初步证据，并指出可进一步提高严谨性。

Comments Accepted at CUI '26 (Short Paper)