多模态大模型

Designing and Evaluating an AI-enhanced Immersive Multidisciplinary Simulation (AIMS) for Interprofessional Education

设计和评估一种增强人工智能的沉浸式跨学科模拟（AIMS）用于多专业教育

Ruijie Wang, Jie Lu, Bo Pei, Evonne Jones, Jamey Brinson, Timothy Brown

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 AIMS通过整合AI和虚拟环境，为多专业教育提供沉浸式模拟，提升学生协作能力和临床推理能力。

Comments 15 pages. Immersive Learning Research-Academic (2026)

Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models

Audio-Cogito：迈向大型音频语言模型中的深度音频推理

Longhao Li, Hongjie Chen, Zehan Li, Qihan Hu, Jian Kang, Jie Li, Lei Xie, Yongxiang Li

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文提出Audio-Cogito，通过开发Cogito-pipe数据集和自蒸馏策略，提升音频推理能力，在MMAR基准和Interspeech 2026挑战中表现优异。

Comments Submitted to Interspeech 2026

SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios

SelectTSL：复杂场景中提示引导的选择性目标声音定位

Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出SelectTSL架构，通过提示引导的选择性注意力模块增强相位差，实现多源声场中仅定位用户指定目标，并估计到达方向和目标源数量。

LLM can Read Spectrogram: Encoder-free Speech-Language Modeling

LLM 能读频谱图：无编码器的语音语言建模

Ruchao Fan, Yiming Wang, Yuxuan Hu, Bo Ren, Yufei Xia, Xiaofei Wang, Yao Qian, Shujie Liu, Jinyu Li

机构 * Microsoft, USA（微软公司，美国） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 提出 Mel-LLM，一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构，在 ASR 和 TTS 任务上验证了其可行性，ASR 性能与有编码器方案相当，TTS 初步可行。

From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning

从目标到应用：对齐音频自监督学习中的架构偏差

Kele Xu, Yulu Fang, Boda Zhou, Yulin Sun, Qisheng Xu, Qiya Song, Jin Zhang, Cheng Yang, Huaimin Wang

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。

Rehearsed Multi-Agent Live Product Demonstrations with Real-Time Voice Question Answering

排练式多智能体实时语音问答产品演示

Rahul Khedar, Mayank Malhotra, Avinash Karn, Mouli V, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出多智能体系统Rhetor，通过跨模态特征表示、接地脚本、排练循环和运行时同步，实现带语音问答的实时产品演示自动化。

Comments Preprint. 4 figures, 1 algorithm, 5 tables. Systems paper with a preliminary six-session case study on four deployed applications; full benchmark protocol proposed, corpus run to appear in a later revision

SpeakerCard-1M: An Evidence-Grounded Corpus for In-the-Wild Speaker Verification

SpeakerCard-1M：面向野外说话人确认的基于证据的说话人卡片语料库

Junyi Peng, Oldřich Plchot, Xiao Song, Dading Chong, Lichun Fan, Hang Su, Themos Stafylakis, Junjie Li, Kong Aik Lee, Shuai Wang, Jian Luan, Jan Černocký

机构 * Brno University of Technology, Czechia（布拉格技术大学，捷克） ； Peking University, China（北京大学，中国） ； Xiaomi, China（小米，中国） ； Athens University of Economics and Business, Greece（雅典经济与商业大学，希腊） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港） ； Nanjing University, China（南京大学，中国） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出SpeakerCard-1M双语说话人资源，通过声学探针和受限LLM生成结构化说话人卡片，并定义跨模态协议以支持基于证据的说话人确认。

Comments Corpus and protocols at https://junyipeng00.github.io/SpeakerCard-1M-page

HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models

HybridCodec：为高效语音语言模型建模离散和连续表示

Artem Ploujnikov, Francesco Verdini, Samir Sadok, Mirco Ravanelli

机构 * Mila, Quebec AI Institute（Mila-魁北克人工智能研究所） ； Concordia University（康考迪亚大学） ； Sapienza University of Rome（罗马大学） ； Inria, Université Grenoble Alpes CNRS, LJK（法国国家信息与自动化研究所，格勒诺布尔阿尔卑斯大学国家科学研究中心，让·库尔曼实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出HybridCodec，结合时间压缩离散令牌与降维连续残差，通过混合离散-连续焦点调制编解码器和混合Transformer，在离散域自回归推理并辅以非自回归预测和连续残差上采样，相比纯离散方法显著提升说话人特征保留并减少自回归步数。

Comments Accepted

Journal ref InterSpeech 2026

A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges

自动演讲辅导系统综述：系统、方法与开放挑战

Wen Liang, Li Siyan, Zackary Rackauckas, Julia Hirschberg

机构 * Columbia University（哥伦比亚大学） ； Red Hat（红帽公司） ； RoleGaku 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文综述自动演讲辅导系统，提出五维任务分类法，覆盖发音、韵律、节奏和内容忠实度，并分析TTS示例生成与诊断方法，指出语料稀缺、口音公平和低延迟诊断等挑战。

Comments accepted into the BEA 2026 workshop at ACL

MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG

MIRROR: 基于新颖性约束的记忆引导MCTS红队测试用于智能体RAG

Inderjeet Singh, Andrés Murillo, Motoyoshi Sekiya, Yuki Unno, Junichi Suga

机构 * Fujitsu Research of Europe, United Kingdom（欧洲富士通研究机构，英国） ； Fujitsu Limited, Japan（日本富士通有限公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MIRROR框架，通过记忆引导蒙特卡洛树搜索和显式新颖性约束，在多模态智能体RAG系统的四个攻击面上实现高攻击成功率，并降低跨表面方差。

Comments 6 pages, 2 figures. Accepted at the 2026 International Joint Conference on Neural Networks (IJCNN 2026), IEEE WCCI 2026; presented as an oral talk. Code and ART-SafeBench benchmark: https://github.com/FujitsuResearch/mirror

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models

预训练语言模型时代语义角色标注的系统综述

Huiyao Chen, Meishan Zhang, Jing Li, Lilja Øvrelid, Jan Hajič, Hao Fei, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute (SLAI)（深圳南山区研究院） ； University of Oslo（奥斯陆大学） ； Charles University（查尔斯大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出四维分类法系统综述SRL研究，分析句法特征的作用条件，首次系统处理大语言模型时代的SRL，并扩展至多模态设置。

Comments 54 pages, 9 figures, 9 tables. Accepted at Artificial Intelligence Review

AIDEN: Design and Pilot Study of an AI Assistant for the Visually Impaired

AIDEN：面向视障人士的AI助手设计与初步研究

Luis Marquez-Carpintero, Francisco Gomez-Donoso, Zuria Bauer, Bessie Dominguez-Dager, Alvaro Belmonte-Baeza, Mónica Pina-Navarro, Francisco Morillas-Espejo, Felix Escalona, Miguel Cazorla

机构 * Institute for Computer Research, University of Alicante（计算机研究所，阿利坎特大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出AIDEN系统，结合YOLO实时目标检测、LLaVA场景描述与OCR，以及基于盖革计数器隐喻的连续触觉引导，避免听觉过载并保护隐私，实验表明用户满意度高。

Journal ref IEEE Access 14 (2026) 80406-80420

Tinker Tales: A Tangible Dialogue System for Child-AI Co-Creative Storytelling

Tinker Tales：一个用于儿童与AI共同创意故事讲述的有形对话系统

Nayoung Choi, Jiseung Hong, Peace Cyebukayire, Ikseon Choi, Jinho D. Choi

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； School of Nursing, Emory University（埃默里大学护理学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Tinker Tales有形对话系统，通过结合物理故事板、NFC玩具和移动应用，支持儿童与AI在四个叙事阶段进行协作故事创作，并发现提示框架影响儿童叙事贡献的形式和一致性。

Comments Accepted to SIGDIAL 2026

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Co-policy: 响应式人机音乐共创框架

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg（应用技术大学阿沙芬堡商学院） ； Data Science und Autonome Systeme Technologietransferzentrum (TTZ)（数据科学与自主系统技术转移中心（TTZ）） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 eess.AS

AI总结 提出利用大语言模型（LLM）和上下文学习（ICL）从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签，解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9

Bioacoustic Geolocation: Species Sounds as Geographic Signals

生物声学地理定位：物种声音作为地理信号

Mustafa Chasmai, Wuao Liu, Subhransu Maji, Grant Van Horn

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文研究仅通过声音进行全球尺度地理定位，利用生物声学信号中的物种地理分布线索，提出结合物种范围预测与检索的地理定位方法，并验证多模态融合的潜力。

Comments Accepted to ICML 26

EMORSION: Examining the Impact of Audio Parameters on Emotional Responses and Immersion in Film

EMORSION：检验音频参数对电影中情感反应和沉浸感的影响

Nelly Garcia, Ruby Crocker, Bleiz M Del Sette, Fabrizio Smeraldi, Charalampos Saitis, George Fazekas, Joshua Reiss

机构 * Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 通过操纵频率、动态和方向性三个音频参数，研究电影音频设计对观众情感和沉浸感的影响，发现细微变化可改变情感感知，非常规混音增加解读变异性。

Comments AES Europe 2026

Can We Hear from Events? Generating Speech from Event Camera

我们能从事件中听到声音吗？从事件相机生成语音

Jingping Fang, Lin Chen, Chenyang Xu, Tong Zhao, Weidong Cai, Xiaoming Chen

机构 * Beijing Technology and Business University（北京技术与商业大学） ； Xidian University（西安电子科技大学） ； Tongji University（同济大学） ； University of Sydney（悉尼大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 提出EventSpeech框架，利用神经形态事件相机的高时间精度解决传统RGB语音生成中的时间粒度不匹配问题，实现情感丰富且抗运动模糊的语音生成。

Investigating Faithfulness in Large Audio Language Models

大型音频语言模型中的忠实性研究

Pooneh Mousavi, Lovenya Jain, Mirco Ravanelli, Cem Subakan

机构 * Concordia University（康科迪亚大学） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； Université Laval（拉瓦尔大学） ； Birla Institute of Technology and Science, Pilani（比拉理工学院和科学学院，皮兰尼） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 提出系统框架评估大型音频语言模型在推理链忠实性上的表现，定义三个音频忠实性标准，并通过基准测试发现模型推理与音频输入存在脱节。

Comments Accepted to Interspeech 2026

Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design

弥合可用性差距：口译研究对机器口译设计的启示

Claudio Fantinuoli

机构 * University of Mainz（美因茨大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文定义机器口译为语音翻译的子领域，指出其存在“准确性幻觉”，并借鉴口译研究提出未来设计的三个优先方向：能动性、共同基础与体验，以弥合可用性差距。

Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition

解码与自适应：基于音频-文本提示的零样本在线说话人自适应用于老年人语音识别

Chengxi Deng, Xurong Xie, Shujie Hu, Mengzhe Geng, Tianzi Wang, Youjun Chen, Huimeng Wang, Haoning Xu, Jiajun Deng, Xunying Liu

机构 * The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学） ； Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所） ； National Research Council Canada, Canada（加拿大国家研究理事会） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。

Comments Accepted by Interspeech 2026

From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding

从意识到遵循：通过上下文感知解码弥合口语对话系统中的上下文鸿沟

Che Hyun Lee, Heeseung Kim, Sungroh Yoon

机构 * ECE, Seoul National University（首尔大学电气与计算机工程系） ； IPAI, Seoul National University（首尔大学IPAI研究所） ； Department of AI, University of Seoul（首尔市立大学人工智能系） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。

Comments Interspeech 2026 Main Track

TMASC: Transmasculine Attitude and Speech Corpus

TMASC：跨男性态度与语音语料库

Sidney Wong

机构 * Centre for Sustainability Research, University of Otago（奥塔哥大学可持续发展研究中心） ； Te Pūnaha Matatini Centre of Research Excellence for Complex Systems（Te Pūnaha Matatini复杂系统卓越研究中心） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 介绍一个包含196名跨男性个体的多模态语料库，包括问卷和66份录音，用于支持跨男性个体研究。

Comments Accepted to Interspeech 2026 Main Track

HoliDubber: Holistic Video Dubbing for Complex Acoustic Scenes via Text-Guided Audio Synthesis

HoliDubber: 通过文本引导的音频合成实现复杂声学场景的全景视频配音

Wenhao Guan, Yifan Duan, Junxi Liu, Yu Gu, Feng Dang, Kaidi Wang, Qingyang Hong, Lin Li, Xie Chen

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

AI总结 提出HoliDubber框架，基于补丁自回归扩散Transformer，从单一文本提示联合生成语音和音效，实现全景视频配音，显著优于现有方法。

Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

面向统一歌曲生成与带伴奏共生成的歌声转换

Ziyu Zhang, Chunyu Qiang, Xiaopeng Wang, Yuxin Guo, Kang Yin, Wenjie Tian, Jingbin Hu, Tianlun Zuo, Zhao Guo, Teng Ma, Yuzhe Liang, Chen Zhang, Lei Xie

机构 * Northwestern Polytechnical University（西北工业大学） ； Kuaishou Technology（快手科技） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出UniSinger框架，基于多模态扩散Transformer统一零样本歌曲生成与伴奏共生成歌声转换，通过共享说话人嵌入和课程学习策略实现跨任务音色控制与多任务优化。

MaskedFOP: Polyglot Speaker Identification under Missing Visual Modality via Cascaded Graph Label Propagation

MaskedFOP：缺失视觉模态下的多语言说话人识别通过级联图标签传播

Ayoub Elkhouzari, Youssef Iraqi, Loubna Mekouar

机构 * College of Computing, University Mohammed VI Polytechnic（穆罕默德六世理工大学计算机学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 提出MaskedFOP系统，在测试时人脸完全缺失且语音为未见语言（乌尔都语）的挑战下，通过模态丢弃双头网络、互补嵌入平均和两级级联推理实现闭集多语言说话人识别，在POLY-SIM 2026挑战赛中取得第一。

I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System

我理解你的感受：通过对话系统中的多语言情感验证增强深层情感支持

Zi Haur Pang, Yahui Fu, Koji Inoue, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。

Comments This paper has been accepted for presentation at SIGdial Meeting on Discourse and Dialogue 2026 (SIGDIAL 2026)

Where Do Backdoors Live? A Component-Level Analysis of Backdoor Propagation in Speech Language Models

后门藏身何处？语音语言模型中后门传播的组件级分析

Alexandrine Fortier, Thomas Thebaud, Jesús Villalba, Najim Dehak, Patrick Cardinal, Peter West

机构 * University of British Columbia（不列颠哥伦比亚大学） ； École de technologie supérieure（高等技术学院） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文通过后门攻击视角，对语音语言模型进行组件级分析，揭示后门在不同组件中的传播机制，发现后门持久性高度依赖目标组件，且中毒样本与良性样本在共享嵌入中不可直接分离。

Comments Interspeech 2026 (long paper)

HydraQE: OSU's Submission for the IWSLT 2026 Speech Translation Metrics Shared Task

HydraQE: OSU 在 IWSLT 2026 语音翻译指标共享任务中的提交

Kevin Krahn, Eric Fosler-Lussier

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出 HydraQE，一个基于 Qwen3-ASR 的端到端无参考语音翻译质量估计系统，通过可学习的稀疏标量混合和轻量双向 Transformer 实现跨模态交互，并在人类标注、MetricX-24 和 xCOMET 伪标签上训练三个预测头，优于级联文本基线。

Comments Accepted to IWSLT 2026; 9 pages, 3 figures, 4 tables

TRADE: Transducer-Augmented Decoder for Speech LLM

TRADE: 换能器增强的语音大语言模型解码器

Yun Tang, Shanil Puri, Shinji Watanabe, Subhabrata Mukherjee

机构 * Hippocratic AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。