多模态大模型

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

Wan-Streamer v0.1: 端到端实时交互基础模型

Lianghua Huang, Zhi-Fan Wu, Wei Wang, Yupeng Shi, Mengyang Feng, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chen Liang, Cheng Yu, Chongyang Zhong, Jinwei Qi, Kai Zhu, Pandeng Li, Peng Zhang, Wenyuan Zhang, Xinhua Cheng, Yitong Huang, Yun Zheng, Yuzheng Wang, Zoubin Bi

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 提出Wan-Streamer，一种原生流式、端到端的交互基础模型，通过单一Transformer联合建模语言、音频和视频，实现低延迟全双工音视频交互，无需外部模块。

Comments Website: https://wan-streamer.com

JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching

JAM-Flow：联合音频-运动合成与流匹配

Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh

机构 * Yonsei University（延世大学） ； CineLingo ； Seoul National University（首尔国立大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、eess.AS

AI总结 本文提出JAM-Flow框架，通过流匹配和多模态扩散变压器架构，实现面部运动与语音的联合合成与条件生成，支持文本到说话人生成、音频驱动动画等多种任务。

Comments project page: https://joonghyuk.com/jamflow-web Under review. Preprint published on arXiv

Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs

保留音频无法表达的内容：面向多模态大语言模型的上下文保留令牌修剪

Chaeyoung Jung, Kyeongha Rho, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ContextGuard框架，通过保留音频-视觉上下文并去除跨模态冗余，实现多模态大语言模型的高效令牌修剪，实验表明其在多个基准测试中表现优异，能有效减少输入令牌数量。

Stage-Adaptive Reliability Modeling for Continuous Valence-Arousal Estimation

面向连续情感估值的阶段自适应可靠性建模

Yubeen Lee, Sangeun Lee, Junyeop Cha, Eunil Park

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出SAGE框架，通过阶段自适应可靠性建模提升多模态环境下连续情感估值的稳定性与准确性。

Comments 8 pages, 3 figures, 2 pages

Integrating Spatial and Semantic Embeddings for Stereo Sound Event Localization in Videos

Davide Berghi, Philip J. B. Jackson

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.AI、eess.AS

Comments arXiv admin note: substantial text overlap with arXiv:2507.04845

Is Extending Modality The Right Path Towards Omni-Modality?

Tinghui Zhu, Kai Zhang, Muhao Chen, Yu Su

机构 * University of California, Davis（加州大学戴维斯分校） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；multi-modal(abstract)；omni-modal(abstract)；分类 cs.CV、cs.CL

Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement

Meng-Ping Lin, Jen-Cheng Hou, Chia-Wei Chen, Shao-Yi Chien, Jun-Cheng Chen, Xugang Lu, Yu Tsao

机构 * National Taiwan University（国立台湾大学） ； Academia Sinica（中国学术.sinica） ； National Institute of Information and Communications Technology（信息与通信技术国家研究所） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.MM、eess.AS

Multiscale Adaptive Conflict-Balancing Model For Multimedia Deepfake Detection

Zihan Xiong, Xiaohua Wu, Lei Chen, Fangqi Lou

机构 * University of Electronic Science and Technology of China（电子科学与技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

Comments 9 pages,ICMR accepted

Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization

Sooyoung Park, Arda Senocak, Joon Son Chung

机构 * School of Electrical Engineering, KAIST, South Korea（韩国延世大学电气工程学院） ； ETRI, South Korea（韩国电子技术研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；multimodal foundation model(abstract)；分类 cs.CV、eess.AS

Comments Journal Extension of WACV 2024 paper (arXiv:2311.04066). Code is available at ACL-SSL" target="_blank" rel="noopener">https://github.com/swimmiing/ACL-SSL

Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition

Zhisheng Zhong, Chengyao Wang, Yuqi Liu, Senqiao Yang, Longxiang Tang, Yuechen Zhang, Jingyao Li, Tianyuan Qu, Yanwei Li, Yukang Chen, Shaozuo Yu, Sitong Wu, Eric Lo, Shu Liu, Jiaya Jia

专题命中 音频语音多模态 ：multimodal(abstract)；multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.MM

Comments Tech report

Tackling Data Bias in MUSIC-AVQA: Crafting a Balanced Dataset for Unbiased Question-Answering

Xiulong Liu, Zhikang Dong, Peng Zhang

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.AI

PandaGPT: One Model To Instruction-Follow Them All

Yixuan Su, Tian Lan, Huayang Li, Jialu Xu, Yan Wang, Deng Cai

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

Comments Technical report, work in progress. Our project page is at https://panda-gpt.github.io/

Cross modal video representations for weakly supervised active speaker localization

Rahul Sharma, Krishna Somandepalli, Shrikanth Narayanan

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM

SherpaAI: A Multi-modal Solution for Delivering Personalized and Adaptive Fitness Interventions

FlexAI: 一种多模态解决方案，用于提供个性化和自适应的健身干预

Shivangi Agarwal, Zoya Ghoshal, Bharat Jain, Siddharth

专题命中 音频语音多模态 ：multi-modal(title,abstract)

AI总结 FlexAI通过整合计算机视觉、生理传感器和大语言模型，提供实时个性化健身指导，显著提升用户参与度和效果。

When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition

音频-语言模型在利用多模态上下文进行构音障碍语音识别时的失效问题

Pehuén Moure, Niclas Pokel, Bilal Bounajma, Yingqiang Gao, Roman Boehringer, Longbiao Cheng, Shih-Chii Liu

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CL、cs.AI、eess.AS

AI总结 该研究构建基于SAP数据集的基准，发现现有音频-语言模型无法有效利用构音障碍语音的临床上下文，而LoRA适配方法可将WER降低52%，为包容性ASR提供测试平台。

CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation

CookVoice：风格可控的多模态人声生成统一框架

Haowei Lou, Hye-Young Paik, Dai Jia, Kai Li, Lina Yao

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 CookVoice是统一的多模态人声生成框架，分解人声为内容、韵律、风格，支持多任务，参数少、推理高效，可控性强且生成质量接近基线模型。

SafeStudent Driving: A Multimodal Driver-Safety System to Support Teen Drivers Using Computer Vision and Mobile Sensing

SafeStudent驾驶：一种基于计算机视觉与移动感知的多模态驾驶员安全系统，用于支持青少年驾驶员

Max Liu, Yu Sun

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 该研究开发了一种部署在 Raspberry Pi 和 Flutter 移动应用上的 SafeStudent Driving 多模态系统，通过计算机视觉与移动感知技术辅助青少年驾驶员，实验验证了其有效性，为新手驾驶员安全习惯养成提供了低成本方案。

Legible and Intuitive Multi-modal Robot State and Intent Communication Validated in Online and Real-world Studies

可读且直观的多模态机器人状态与意图通信：在线和真实世界研究验证

Tim Schreiter, Jens V. Rüppel, Andrey Rudenko, Martin Magnusson, Achim J. Lilienthal

机构 * Chair of Perception for Intelligent Systems, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑工业大学慕尼黑机器人与机器智能研究所智能系统感知教席） ； Centre for Applied Autonomous Sensor Systems (AASS), Örebro University（厄勒布鲁大学应用自主传感器系统中心） ； Robotics Institute Germany (RIG)（德国机器人研究所） 纠错

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 针对移动非人形机器人，通过在线和真实世界实验，系统比较了低表达单模态LED与高表达多模态（凝视、手势、语音）通信策略，发现多模态更可读直观，且真实环境中可读性和信心下降。

Comments Accepted for publication at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)

Reference-Based Manipulation: A Framework and Pipeline for Multimodal Spatial Reasoning

基于参考的操作：多模态空间推理的框架与流程

Yangyang He, Zhuangze Hou, Yonglin Chen, Can Liu

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本研究针对沉浸式平台中多模态空间交互问题，提出基于参考的操作框架，分解空间参考为源、锚点、框架组件，实现LLM驱动的流程并验证其效用，为空间交互设计提供关键经验。

Comments 16 pages, 10 figures. Accepted to the 39th Annual ACM Symposium on User Interface Software and Technology (UIST 2026)

FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models

FriendBench：人类与多模态大语言模型的二元熟悉度推理基准

Jeffrey M. Girard, Jason Z. Zheng, Jacqueline R. Vertino, Antony D'Avirro, Benjamin Peloquin

机构 * Fluid Concepts Research（流体概念研究机构） 纠错

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究推出FriendBench基准，通过20秒二元破冰对话片段推断两人熟悉度，对比7家公司26个模型与人类的表现，发现模型与人类准确率无统计差异但先验倾向不同，且仅人类能从可见行为中获益，同时发布了相关资源。

Comments 15 pages, 3 figures

Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents

利用感知能力：针对多模态大语言模型智能体的隐蔽并发音频提示注入攻击

Mingxiao Liu, Yitong Li, Haoren Zhao, Yaoxiang Bian, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 该研究针对多模态LLM智能体提出隐蔽并发音频提示注入攻击，构建首个相关基准并评估多款智能体，还提出CADV防御机制，经实验验证攻击有效且防御可靠。

Comments 19 pages, 8 figures, The code is publicly available at https://github.com/Limax666/AudioAgentSecurity

ThinkOmni: A Reasoning-Driven Omni-Modal LLM Framework for Audio Forgery Detection and Localization

ThinkOmni：用于音频伪造检测与定位的推理驱动全模态大语言模型框架

Yuxiong Xu, Kaiqing Lin, Bin Li, Haodong Li, Sheng Li

机构 * Shenzhen University（深圳大学） ； Afirstsoft Technology Group Co., Ltd.（安福软件科技集团有限公司） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)

AI总结 针对现有AFDL方法泛化能力不足的问题，提出推理驱动的全模态大语言模型ThinkOmni，构建FACoT数据集，引入FMIL与FCML，实现了跨数据集的音频伪造检测与定位。

Comments Accepted by ACM MM 2026, 21 pages, 12 figures

S2A2: Audio-Visual Imitation Learning for Manipulation Tasks Using Acoustic Spatial Information

S2A2：利用声学空间信息进行操作任务的视听模仿学习

Kaneyoshi Hiratsuka, Benjamin Yen, Ryosuke Kojima

机构 * Kyoto University（京都大学） ； RIKEN（理化学研究所） ； Institute of Science Tokyo（东京理科大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；multimodal(abstract)

AI总结 研究利用声学信息进行操作任务的模仿学习，提出多模态框架S2A2，集成视觉与声学信息，实现多种策略集成，模拟与真实机器人实验表明其对特定任务有效且适用于现实操作。

Comments Project page: https://azuma413.github.io/projects/s2a2

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

LH-AVLN：长距离视听语言导航基准测试

Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Jilin University（吉林大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)

AI总结 介绍长距离视听语言导航基准LH-AVLN，结合多目标任务执行等。提出免训练参考智能体PAG-Nav，可维护语义地图并规划。实验表明现有智能体完成任务有困难，PAG-Nav提供更强诊断基线。

Comments 12 pages, 3 figures

When Models Meet Users: An Empirical Study of Perceptions of General LLMs and Multimodal LLMs on Hugging Face

对Hugging Face上通用大语言模型和多模态大语言模型感知的实证研究

Yujian Liu, Xiao Yu, Jacky Keung, Xing Hu, Xin Xia, Xiaoxue Ma

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文通过分析Hugging Face上662条讨论帖，揭示用户对LLM的主要关注点，包括访问障碍、生成质量及部署复杂性，并提出改进LLM生态系统的建议。

Supporting Multimodal Data Interaction on Refreshable Tactile Displays: An Architecture to Combine Touch and Conversational AI

在可刷新触觉显示器上支持多模态数据交互：一种将触觉与对话式AI结合的架构

Samuel Reinders, Munazza Zaib, Matthew Butler, Bongshin Lee, Ingrid Zukerman, Lizhen Qu, Kim Marriott

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种结合触觉与对话式AI的架构，用于在可刷新触觉显示器上实现多模态数据交互，通过融合触觉输入与语音语言，提升视障人士的数据可视化体验。

Comments Accepted to be presented at IEEE PacificVis 2026; Best Paper Award (VisNotes track); Replacement: external DOI added

CD-MED: Cross-Domain Multimodal Emotion Descriptor for Visual Comparison of Digital Objects

CD-MED：用于数字对象视觉比较的跨域多模态情感描述符

Elnara Kadyrgali, Muragul Muratbekova, Pakizar Shamoi

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究针对数字对象跨模态情感比较难题，提出CD-MED方法，通过各模态情感识别模型输出转化为共享描述符，在共同情感空间表示对象，实现跨域情感比较、检索、推荐及可视化。

Comments Submitted to 2026 Joint 14th International Conference on Soft Computing and Intelligent Systems and 27th International Symposium on Advanced Intelligent Systems (SCIS&ISIS 2026)

A Model for Mediating Multi-Modal Human Intent into Safe Maneuvers for UAVs

一种将多模态人类意图转化为无人机安全机动的中介模型

Sofia Nelson, Dalal Alrajeh, Pedro Antonio Alarcon Granadeno, Jane Cleland-Huang

机构 * University of Notre Dame（诺丁汉大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)

AI总结 研究如何将多模态人类意图转化为无人机安全机动，提出需求导向的机动响应模型，通过结构化管道处理操作员输入，经多种约束验证后执行，还形式化为此类规范模型，经实验室验证可可靠解释并安全执行相关输入。

Comments 11 pages, 4 figures, preprint for MODRE 2026

Audio-Visual Speech Enhancement: Architectural Design and Deployment Strategies

音频-视觉语音增强：架构设计与部署策略

Anis Hamadouche, Haifeng Luo, Mathini Sellathurai, Amir Hussain, Tharm Ratnarajah

机构 * School of Engineering & Physical Sciences, Heriot-Watt University（赫瑞斯泰学院，赫瑞斯泰大学） ； College of Engineering Department of Electrical and Computer Engineering, San Diego State University（工程学院电子与计算机工程系，圣地亚哥州立大学） ； SDAIA-KFUPM Joint Research Centre for Artificial Intelligence, King Fahd University of Petroleum and Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油与矿物大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)

AI总结 本文提出一种云-边协同的音频-视觉语音增强系统，通过CNN和LSTM融合网络实现时序一致性，并探讨网络负载和压缩对实时性能的影响，揭示了5G和有线以太网在解压音频视频中的关键作用。