多模态大模型

From Black-Box to Clinical Insight: A Multi-Stage Explainable Framework for Speech-Based Cognitive Impairment Detection

从黑盒到临床洞察：用于语音认知障碍检测的多阶段可解释框架

Yasaman Haghbin, Sina Rashidi, Ali Zolnour, Fatemeh Taherinezhad, Ali Fartoot, Hossein Azadmaleki, James M Noble, Maryam Dadkhah, Maryam Zolnoori

机构 * Independent Researcher（独立研究者） ； Columbia University（哥伦比亚大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出多阶段可解释框架，结合SHAP、语言学特征和LLM推理，将黑盒Transformer预测转化为临床叙事，在NIA PREPARE基准上F1=72.11%，医生评估显示与患者认知特征高度一致，SUS评分82/100。

Comments Accepted to Interspeech 2026

Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?

翻译增强的语音编码器预训练是否影响语音大语言模型？

Tomoya Mizumoto, Yusuke Fujita

机构 * SB Intuitions 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 研究翻译增强的语音编码器预训练对语音大语言模型的影响，通过实验证明该方法能改善跨模态整合并提升下游任务性能。

Comments Accepted to Interspeech2026

End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users

面向非专业用户自发人机交互的端到端语音意图识别

Allan Henry, Solange Rossato, Christian Graff, Sylvain Huet, Jose-Ernesto Gomez-Balderas

机构 * LIG, Univ. Grenoble Alpes, Grenoble, France（格勒诺布尔阿尔卑斯大学LIG实验室，法国格勒诺布尔） ； LPNC, Univ. Grenoble Alpes, Grenoble, France（格勒诺布尔阿尔卑斯大学LPNC实验室，法国格勒诺布尔） ； GIPSA-lab, Univ. Grenoble Alpes, Grenoble, France（格勒诺布尔阿尔卑斯大学GIPSA-lab实验室，法国格勒诺布尔） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI、eess.AS

AI总结 提出端到端口语理解架构，结合冻结自监督学习编码器和轻量LSTM分类头，通过跨模态知识蒸馏提升鲁棒性，在自发语音测试集上达82%准确率，推理延迟仅7ms。

Comments This paper has been accepted for publication at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026), August 24-28, 2026, Kitakyushu, Japan

Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction

错误感知的TF-IDF检索增强生成用于ASR错误纠正

Mohammad Aref Jafari-Raddani

机构 * Department of Computer Engineering, Qom University of Technology（库姆科技大学计算机工程系） ； Asa Electronic Akhtaran（阿萨电子阿赫塔兰公司） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种纯词法的错误感知检索增强生成框架，通过对称文本归一化和基于历史错误的稀疏对角惩罚矩阵，将FLEURS波斯语子集的错误感知命中率从53.7%提升至90.9%，最终词错误率从23.06%降至18.83%。

Comments 4 pages, 1 figure, 2 tables

Speech Codec Probing from Semantic and Phonetic Perspectives

从语义和语音角度探测语音编解码器

Xuan Shi, Chang Zeng, Tiantian Feng, Shih-Heng Wang, Jianbo Ma, Shrikanth Narayanan

机构 * University of Southern California（南加州大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 本文通过三项任务系统分析多种语音分词器编码的信息，发现当前分词器主要捕获语音结构而非词汇语义，为下一代语音分词方法设计提供指导。

Comments Accepted by Interspeech 2026

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

海报：探索基于音频的土耳其电话诈骗检测的极限

Arda Eren, Micheal Cheung, Youqian Zhang, Grace Ngai, Eugene Yujun Fu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对土耳其语电话诈骗，构建首个多模态数据集（100对音频-文本），评估7个LLM在三种输入条件下的检测性能，发现基于文本的输入优于直接音频处理。

Comments Poster paper accepted at 47th IEEE Security & Privacy 2026

Fair Cognitive Impairment Detection Through Unlearning

通过去学习实现公平的认知障碍检测

William Nguyen, Jiali Cheng, Hadi Amiri

机构 * University of Massachusetts Lowell, USA（马萨诸塞大学洛厄尔分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出一种多模态框架，结合跨模态融合和梯度反转去学习，减少人口统计信息对轻度认知障碍检测的偏见，在跨语言数据集上缩小性能差距。

Comments Interspeech 2026

When the Same Musical Knowledge Forgets Differently: A Clean Probe of Pathway-Dependent Forgetting

当相同的音乐知识以不同方式遗忘：路径依赖遗忘的干净探测

Yu Liu, Zhiwei Yang, Wenxiao Zhang, Cong Cao, Fangfang Yuan, Kun Peng, Haimei Qin, Lei Jiang, Jin B. Hong, Hao Peng, Yanbing Liu

机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学院大学网络空间安全学院） ； The University of Western Australia（西澳大利亚大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出配对路径控制协议（PPCP），发现多模态模型中通过文本路径获取的知识比音频路径更易遗忘，且该效应不受架构深度影响，主要源于输入表示差异。

ALAS: An Automatic Latent Alignment Score for Audio Language Models

ALAS：音频语言模型的自动潜在对齐分数

Pooneh Mousavi, Yingzhi Wang, Mirco Ravanelli, Cem Subakan

机构 * Concordia University（Concordia 大学） ； Mila-Quebec AI Institute（Mila-Quebec 人工智能研究所） ； Centrale Supelec（Centrale Supelec 研究院） ； Laval University（Laval 大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 提出ALAS指标，通过计算音频与文本表示的跨模态余弦相似度，无需训练即可评估语音-LLM的音频-文本对齐质量，揭示模型对齐深度与任务需求的关系。

NVMOS: Non-Verbal Vocalization Quality Assessment in Speech

NVMOS：语音中非语言发声质量评估

Jialong Mai, Jinxin Ji, Xiaofen Xing, Wencui Liu, Xiangmin Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对非语言发声（如笑声、叹息）的感知质量评估空白，构建NV-MOS数据集，提出首个专用模型NVMOS，通过局部聚焦模块达到专家级评估一致性。

Comments 6 pages. Code and model: https://github.com/yongaifadian1/NVMOS

Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

利用大语言模型进行讽刺语音标注在讽刺检测中的应用

Zhu Li, Yuqing Zhang, Xiyuan Gao, Shekhar Nayak, Matt Coler

机构 * University of Groningen（Groningen大学） ； Speech Technology Lab（语音技术实验室） ； Center for Language and Cognition（语言与认知中心） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 本文提出利用大语言模型生成讽刺语音数据集，通过人类验证提升标注质量，并在公开数据集上验证了检测性能，最终引入PodSarc数据集，实现了73.63%的F1分数。

Comments Interspeech 2025; Project page: https://github.com/Abel1802/PodSarc

AuRA: Internalizing Audio Understanding into LLMs as LoRA

AuRA: 将音频理解内化到LLM中作为LoRA

Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Jilin University（吉林大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。

Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs

文本就是一切？文本作为语音大语言模型的通用信息瓶颈

Ming-Hao Hsu, Yuxuan Hu, Shujie Liu, Jinyu Li, Yan Lu, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Microsoft Corporation（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出Convex Gate（C-Gate）桥接语音与LLM，通过凸包约束将语音表示限制在LLM输入嵌入流形内，在ASR和情感识别上取得联合最优性能，并揭示几何结构而非离散性是关键设计因素。

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

HybridCodec: 快速双流、语义增强的神经音频编解码器

Arjun Gangwar, S Umesh

机构 * Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。

Comments 5 pages, 5 tables, 1 figure, Accepted at Interspeech 2026

InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization

InfoShield：通过信息论优化实现心理健康筛查的隐私保护语音表示

Xueyang Wu, Siyuan Liu, Kezhuo Yang, Guang Ling

机构 * Shenzhen NeurStar Inc., China（深圳NeurStar公司，中国） ； University of York, United Kingdom（约克大学，英国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出InfoShield框架，通过最小化语音表示与敏感属性间的互信息，在保持抑郁分类性能的同时有效降低人口统计信息泄露风险。

Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning

Sympatheia: 具有连续情感调节的情感自适应语音助手

Sukru Samet Dindar, Riki Shimizu, Xilin Jiang, Nima Mesgarani

机构 * Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。

FastSLM: Hierarchical Temporal Abstraction for Efficient Long-Form Speech Adaptation

FastSLM：用于高效长语音自适应的层次时间抽象

Junseok Lee, Sangyong Lee, Chang-Jae Chun

机构 * OKESTRO ； Sejong University（世宗大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对长语音输入中标记爆炸问题，提出FastSLM架构，通过层次时间抽象器（HTA）实现每秒1.67个标记的极端压缩率（减少97%），在显著降低计算量和参数的同时，在长语音基准上达到与最先进模型竞争的性能。

Comments Title updated

Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation

大型音频语言模型中的音频越狱：分类、攻防分析与成本感知评估

Bo-Han Feng, Yu-Hsuan Li Liang, Chien-Feng Liu, You-Hsuan Chang, Yun-Nung Chen

机构 * National Taiwan University（台湾大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估，揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞，叙事框架是一种有效的低延迟语义威胁，而现有防御在鲁棒性与良性可用性之间存在权衡。

Comments Submitted to ACL ARR 2026 May

Mitigating Stethoscope-Induced Shortcuts in Respiratory Sound Classification under Federated Domain Generalization with Causality-Inspired Interventions

在联邦域泛化下通过因果启发的干预减轻听诊器引起的呼吸音分类中的捷径

Heejoon Koo, Yoon Tae Kim, Miika Toikkanen, June-Woo Kim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； RSC LAB（RSC实验室） ； Wonkwang University（Wonkwang大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对呼吸音分类中听诊器设备差异导致的域偏移问题，提出一种因果启发的多模态联邦域泛化框架，通过内容保持的风格扰动、反事实文本增强和梯度对齐实现设备不变表示，在ICBHI和SPRSound数据集上优于传统方法。

Comments 2 figures, 4 tables, and 5 pages

Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization

Thaka at KSAA-2026 Task 2: 用于阿拉伯语音节符号化的正则化微调

Meshal Alamr, Hassan Alqaeri, Abdullah Aldahlawi

机构 * Thaka 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 针对低资源阿拉伯语音节符号化任务，通过正则化微调CATT-Whisper多模态模型，结合R-Drop一致性正则化、Optuna优化超参数和Focal Loss，在KSAA-2026共享任务中取得第一名。

Comments 4 pages, 1 figure. Published in Proceedings of OSACT7 (LREC 2026). Winning system for KSAA-2026 Task 2 on Arabic Speech Diacritization

Distributed Partial Information Puzzles: Examining Common Ground Construction Under Epistemic Asymmetry

分布式部分信息谜题：在认知不对称下检验共同基础的构建

Yifan Zhu, Mariah Bradford, Kenneth Lai, Timothy Obiso, Videep Venkatesha, James Pustejovsky, Nikhil Krishnaswamy

机构 * Brandeis University（布兰迪斯大学） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出分布式部分信息谜题（DPIP）任务，收集多模态数据集，并评估大语言模型与动态认知逻辑方法在追踪信念状态和共同基础构建上的表现。

Comments 10 pages, 4 figures

Journal ref Proceedings of COLING-LREC 2026

A cross-species neural foundation model for end-to-end speech decoding

跨物种神经基础模型用于端到端语音解码

Yizi Zhang, Linyang He, Chaofei Fan, Tingkai Liu, Han Yu, Trung Le, Jingyuan Li, Scott Linderman, Lea Duncker, Francis R Willett, Nima Mesgarani, Liam Paninski

机构 * Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； Microsoft（微软公司） ； University of Washington（华盛顿大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出端到端BraIn-to-Text框架，通过单个可微神经网络将神经活动转化为连贯句子，利用跨任务、跨物种预训练神经编码器提升语音解码性能，降低词错误率至10.22%。

From Reactive to Proactive: Assessing the Proactivity of Voice Agents via ProVoice-Bench

从被动到主动：通过ProVoice-Bench评估语音代理的主动性

Ke Xu, Yuhao Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ProVoice-Bench评估框架，通过四个新任务评估语音代理的主动性，揭示当前模型在过度触发和推理能力上的不足，为开发更自然的主动代理提供方向。

Comments Submitted to Interspeech 2026

MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

MemeScouts@LT-EDI 2026：问对问题——针对弱监督的提示方法用于表情包仇恨言论检测

Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种提示弱监督方法，通过分解表情包理解为基于问题的标注函数，提升多语言多模态仇恨言论检测效果，尤其在中文和印地语中表现突出。

Comments Accepted at Sixth Workshop on Language Technology for Equality, Diversity and Inclusion at ACL2026 (LT-EDI@ACL26)

ML-SAN: Multi-Level Speaker-Adaptive Network for Emotion Recognition in Conversations

ML-SAN：多级说话人自适应网络用于对话中的情绪识别

Kexue Wang, Yinfeng Yu, Liejun Wang

机构 * Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（丝绸之路多语种认知计算国际联合研究实验室） ； School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 本文提出ML-SAN多级说话人自适应网络，通过三级适应过程解决说话人身份信息混淆问题，提升多轮对话中情绪识别的准确性和鲁棒性。

Comments Main paper (12 pages). Accepted for publication by International Conference on Intelligent Computing 2026

Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation

Hallo-Live: 实时流式联合音频-视频虚拟形象生成与异步双流及以人类为中心的偏好蒸馏

Chunyu Li, Jiaye Li, Ruiqiao Mei, Haoyuan Xia, Hao Zhu, Jingdong Wang, Siyu Zhu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanjing University（南京大学） ； Baidu（百度） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Hallo-Live框架，通过异步双流扩散与人类中心偏好蒸馏实现高保真实时音频视频虚拟形象生成，达到高吞吐量与低延迟，优于现有模型。

Au-M-ol: A Unified Model for Medical Audio and Language Understanding

Au-M-ol：医疗音频与语言理解的统一模型

Meizhu Liu, Nistha Mitra, Paul Li, Amine Abdaoui, Adam Ledyard, Tao Sheng

机构 * Oracle AI Science（Oracle AI科学） ； Neuramill 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Au-M-ol模型，通过整合音频处理与大语言模型，提升医疗语音识别等任务的性能，实验显示其将词错误率降低56%，在噪声和专业术语等挑战下表现优异。

In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

In-Sync: 语音感知大语言模型在ASR中的适应性改进：基于词级时间戳预测

Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM Research（IBM研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 本文提出通过词级时间戳预测提升ASR性能，采用轻量训练策略增强对齐鲁棒性，实验证明在多个数据集上提升了时间戳准确性和整体ASR表现。

Comments Accepted to ICASSP 2026

DASB - Discrete Audio and Speech Benchmark

DASB - 离散音频与语音基准

Pooneh Mousavi, Jarod Duret, Darius Petermann, Artem Ploujnikov, Luca Della Libera, Anastasia Kuznetsova, Cem Subakan, Mirco Ravanelli

机构 * Concordia University（康科迪亚大学） ； Mila-Quebec AI Institute（蒙特利尔AI研究院） ； Avignon Université（阿维尼昂大学） ； Université de Montréal（蒙特利尔大学） ； Université Laval（拉瓦尔大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Indiana University（印第安纳大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 本文提出DASB基准，用于评估离散音频token在语音、通用音频和音乐领域的表现，发现离散表示不如连续表示鲁棒，需精细调参，语义token优于声学token，但与连续特征仍有差距。

Qwen3.5-Omni Technical Report

Qwen3.5-Omni 技术报告

Qwen Team

机构 * Qwen Team（通义实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CL、eess.AS

AI总结 Qwen3.5-Omni在多模态能力上取得突破，支持256k上下文长度和多语言理解，通过混合注意力MoE架构实现高效推理，并引入ARIA提升语音合成稳定性。