多模态大模型

MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models

MAD：用于减轻多模态大语言模型中跨模态幻觉的模态自适应解码

Sangyun Chung, Se Yeon Kim, Youngchae Chee, Yong Man Ro

机构 * Integrated Vision Language Lab, KAIST, South Korea（韩国科学技术院集成视觉语言实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)；分类 cs.AI

AI总结 MAD通过自适应加权对比解码分支，有效减少多模态大语言模型中的跨模态幻觉问题。

MIDI-LLaMA: An Instruction-Following Multimodal LLM for Symbolic Music Understanding

MIDI-LLaMA：一种用于符号音乐理解的指令遵循多模态大语言模型

Meng Yang, Jon McCormack, Maria Teresa Llano, Wanchao Su, Chao Lei

机构 * SensiLab, Monash University, Australia（Monash大学） ； University of Sussex, Brighton, United Kingdom（Sussex大学） ； School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.MM

AI总结 MIDI-LLaMA通过结合MusicBERT和Llama-3-8B，实现了对符号音乐的指令遵循理解，显著提升了音乐描述和语义对齐能力。

Comments Accepted for publication at International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2026

End-to-end audio-visual learning for cochlear implant sound coding simulations in noisy environments

端到端音频视觉学习用于在噪声环境中的人工耳蜗声音编码模拟

Meng-Ping Lin, Enoch Hsin-Ho Huang, Shao-Yi Chien, Yu Tsao

机构 * Graduate Institute of Electronics Engineering（电子工程研究所） ； the Department of Electrical Engineering, National Taiwan University, Taipei 106319, Taiwan（国立台湾大学电子工程系） ； Research Center for Information Technology Innovation Technology, Academia Sinica, Taipei 115201, Taiwan（中科院资讯科技创新研究中心） ； Department of Electrical Engineering, Chung Yuan Christian University, Taoyuan 320314, Taiwan（Chung Yuan Christian University 电子工程系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文提出了一种端到端的人工耳蜗声音编码系统，通过整合音频视觉信息提升噪声环境中的语音可懂度和信噪比。

Comments 7 pages, 2 figures

Journal ref JASA Express Lett. 6 (2026) 015202

Listen, Look, Drive: Coupling Audio Instructions for User-aware VLA-based Autonomous Driving

Listen, Look, Drive: 通过用户意识的VLA基于自主驾驶的音频指令耦合

Ziang Guo, Feng Yang, Xuefeng Zhang, Jiaqi Guo, Kun Zhao, Yixiao Zhou, Peng Lu, Sifa Zheng, Zufeng Zhang

机构 * SuZhou Automotive Research Institute of Tsinghua University（清华大学苏州汽车研究院） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系） ； Hyundai Motor Advanced Tech. R&D Center ； School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM、eess.AS

AI总结 EchoVLA通过结合音频指令与视觉信息，提升自动驾驶对用户意图和情绪的感知能力，显著降低误差和碰撞率。

Comments Accepted by IV

MotionBeat: Motion-Aligned Music Representation via Embodied Contrastive Learning and Bar-Equivariant Contact-Aware Encoding

MotionBeat: 通过具身体验对比学习和小节等价接触感知编码实现运动对齐的音乐表示

Xuanchen Wang, Heng Wang, Weidong Cai

机构 * School of Computer Science, The University of Sydney, Australia（计算机科学学院，悉尼大学） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.AI、cs.MM

AI总结 MotionBeat通过具身体验对比学习和小节等价接触感知编码，实现运动对齐的音乐表示学习，提升音乐与舞蹈生成及多任务应用性能。

Comments 5 pages, 1 figure, accepted by ICASSP 2026. demo page: https://motionbeat2025.github.io/

Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems

基于单元的代理用于半级联全双工对话系统

Haoyuan Yu, Yuxuan Chen, Minjie Cai

机构 * Hunan University（湖南大学） ； Gongdao Technology（公道科技） ； Jilin University（吉林大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出基于单元的半级联全双工对话系统，利用多模态大语言模型和辅助模块实现高效对话处理，实验显示其在挑战赛中表现优异。

Comments ICASSP 2026 (Grant Challenge). https://github.com/yu-haoyuan/fd-badcat

LLM2Fx-Tools: Tool Calling For Music Post-Production

LLM2Fx-Tools: 音乐后期制作中的工具调用

Seungheon Doh, Junghyun Koo, Marco A. Martínez-Ramírez, Woosung Choi, Wei-Hsiang Liao, Qiyu Wu, Juhan Nam, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 LLM2Fx-Tools通过LLM实现音频效果模块的工具调用，生成可执行的音频效果序列，提升音乐后期制作的可解释性和可控性。

Comments ICLR 2026