多模态大模型

EMO-BOOST: Emotion-Augmented Audio-Visual Features for Improved Generalization in Deepfake Detection

EMO-BOOST：情感增强的音频视觉特征用于深度伪造检测中的泛化改进

Aritra Marik, Marcel Klemt, Anna Rohrbach

机构 * Technical University of Darmstadt（达姆施塔特技术大学） ； ELIZA 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出EMO-BOOST框架，通过融合传统RGB和声学聚焦检测器与基于情感的EmoForensics检测器，利用高阶语义线索提升深度伪造检测的泛化能力，实验显示在FakeAVCeleb数据集上平均跨操纵泛化AUC提升了2.1%。

Comments Accepted at SAFE@CVPRW 2026

Speech-Guided Multimodal Learning for Vocal Tract Segmentation in Real-Time MRI

基于语音引导的多模态学习用于实时MRI中的声道分割

Daiqi Liu, Lukas Mulzer, Md Hasan, Nyvenn de Castro, Fangxu Xing, Xingjian Kang, Chengze Ye, Siyuan Mei, Yipeng Sun, Tomás Arias-Vergara, Jana Hutter, Jonghye Woo, Andreas Maier, Paula Andrea Pérez-Toro

机构 * Harvard Medical School / Massachusetts General Hospital（哈佛医学院/麻省总医院） ； Institute for Information Processing, Leibniz University Hannover（汉诺威莱布尼茨信息处理研究所） ； GITA Lab, Facultad de Ingeniería. Universidad de Antioquia UdeA（安提奥基亚大学工程学院GITA实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种三阶段框架，利用语音和语音学监督进行训练，仅需实时MRI图像进行推理，通过将语音学表示转换为空间边界框先验进行发音器官定位，通过双级跨模态对比预训练对视觉和音频编码器对齐，并通过跨注意力解码器融合学习的表示，有效将多模态知识转移到单模态推理管道中，实验表明该方法在75-Speaker~Annot-16和USC-TIMIT数据集上优于现有单模态和多模态方法。

Comments under review

AuralSAM2: Enabling SAM2 Hear Through Pyramid Audio-Visual Feature Prompting

AuralSAM2：通过金字塔音频视觉特征提示实现SAM2的听觉能力

Yuyuan Liu, Yuanhong Chen, Chong Wang, Junlin Han, Junde Wu, Can Peng, Jingkun Chen, Yu Tian, Gustavo Carneiro

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Australian Institute for Machine Learning, Adelaide University（阿德莱德大学人工智能研究所） ； Stanford University（斯坦福大学） ； University of Central Florida（佛罗里达中央大学） ； University of Surrey（萨里大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 AuralSAM2通过金字塔音频视觉特征提示整合音频，保持SAM2的可提示分割能力，引入AuralFuser融合音频和视觉特征，并通过音频引导对比损失对齐模态，提升分割精度。

Comments Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026

TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning

TB-AVA：文本作为语义桥梁用于音频-视觉参数高效微调

Seongah Kim, Dinh Phu Tran, Hyeontaek Hwang, Saad Wazir, Duc Do Minh, Daeyoung Kim

机构 * AI2 Lab, KAIST（AI2实验室，韩国科学技术院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出利用文本作为语义桥梁，通过冻结音频和视觉编码器构建参数高效微调框架，实现音频与视觉流的文本介导交互，实验表明其在多个基准上取得最佳性能。

Comments 12 pages, 6 figures

JUST-DUB-IT: Video Dubbing via Joint Audio-Visual Diffusion

JUST-DUB-IT: 通过联合音频-视觉扩散进行视频配音

Anthony Chen, Naomi Ken Korem, Gal Zeevi, Tavi Halperin, Matan Ben Yosef, Urska Jelercic, Ofir Bibi, Or Patashnik, Daniel Cohen-Or

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出JUST-DUB-IT方法，利用轻量LoRA调整基础音频-视频扩散模型，实现视频到视频的高质量配音，提升视觉保真度和唇同步性能。

Comments Project webpage available at https://justdubit.github.io

Mitigating Multimodal Inconsistency via Cognitive Dual-Pathway Reasoning for Intent Recognition

通过认知双通路推理缓解多模态不一致：意图识别

Yifan Wang, Peiwu Wang, Yunxian Chi, Zhinan Gou, Kai Gao

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 本文提出认知双通路推理框架，通过构建稳定语义基础和缓解高层语义冲突，提升多模态意图识别的准确性和鲁棒性。

Comments Accepted by ICMR 2026 (Main Track, Long Paper)

LightAVSeg: Lightweight Audio-Visual Segmentation

LightAVSeg: 轻量级音频视觉分割

Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Yuanbo Wu, Angela Yao

机构 * College of Informatics, Huazhong Agricultural University, Wuhan, China（华中农业大学信息学院） ； School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院） ； School of Computer Science, Adelaide University, Australia（阿德莱德大学计算机科学学院） ； School of Engineering, University of Warwick, Coventry, UK（沃里克大学工程学院） ； Zhejiang Yuexiu University, Shaoxing, China（浙江越秀大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LightAVSeg，通过解耦设计替代重注意力机制，实现线性交互成本，提升效率，实验显示其在MS3基准上达到50.4 mIoU，参数量仅为AVSegFormer的1/7。

Comments 15 pages, 8 figures, 6 tables, Accepted to ICML 2026

TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos

TraceAV-Bench: 多跳轨迹推理长音频视频基准测试

Hengyi Feng, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhengyang Zhao, Zimo Meng, Zeang Sheng, Wentao Zhang

机构 * University of Electronic Science and Technology of China（电子科学与技术大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 TraceAV-Bench首次评估多跳轨迹推理和多模态幻觉鲁棒性，包含2200道多选题，覆盖4个维度15个子任务，揭示多模态推理与幻觉鲁棒性脱节问题。

MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes

MIST：面向智能家居的多模态交互语音工具调用对话助手

Maximillian Chen, Xuanming Zhang, Michael Peng, Zhou Yu, Alexandros Papangelis, Yohan Jo

机构 * Columbia University（哥伦比亚大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本文提出MIST数据集，用于研究具备物理世界约束推理能力的多模态语音助手，发现开放和闭源多模态LLM在该任务上存在显著差距。

Comments Project Page: https://billyzhang24kobe.github.io/mist-smarthome/

GaMMA: Towards Joint Global-Temporal Music Understanding in Large Multimodal Models

GaMMA：迈向大规模多模态模型中的联合全局-时间音乐理解

Zuyao You, Zhesong Yu, Mingyu Liu, Bilei Zhu, Yuan Wan, Zuxuan Wu

机构 * Fudan University（复旦大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 GaMMA通过融合音频编码器和跨模态学习，实现音乐内容的全面理解，并在MusicBench基准测试中取得新高准确率。

Omni-o3: Deep Nested Omnimodal Deduction for Deliberative Audio-Visual Reasoning

Omni-o3：深度嵌套多模态推理用于 deliberative 音视频推理

Zhicheng Zhang, Wentao Gu, Weicheng Wang, Yongjie Zhu, Wenyu Qin, Meng Wang, Pengfei Wan, Jufeng Yang

机构 * Nankai University（南开大学） ； Pengcheng Laboratory（鹏城实验室） ； Kuaishou Technology（快手科技） ； Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)（南开国际先进研究院（深圳·福田）） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Omni-o3通过深度嵌套推理策略，解决多模态交互中搜索空间大且冗余的问题，提升音视频推理效率与准确性。

A Multimodal Data Fusion Generative Adversarial Network for Real Time Underwater Sound Speed Field Construction

一种多模态数据融合生成对抗网络用于实时水下声速场构建

Wei Huang, Yuqiang Huang, Jixuan Zhou, Fang Ji, Hao Zhang, Tianhe Xu

机构 * Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院） ； Hanjiang National Laboratory（汉江国家实验室） ； School of Space Science and Technology, Shandong University (Weihai)（山东大学（威海）空间科学与技术学院） ； China Waterborne Transport Research Institute（中国水上运输研究院） ； China Ship Research and Development Academy（中国船舶研究与发展院） 纠错

专题命中 音频语音多模态 ：multimodal(title)；multi-modal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本文提出MDF-RAGAN模型，通过多源融合和跨模态注意力机制提升水下声速场构建精度，实验显示其在误差小于0.3m/s的情况下优于现有方法。

Relax: An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale

Relax：一种用于大规模多模态后训练的异步强化学习引擎

Liujie Zhang, Benzhe Ning, Rui Yang, Xiaoyan Yu, Jiaxing Li, Lumeng Wu, Jia Liu, Minghao Li, Weihang Chen, Weiqi Hu, Lei Zhang

机构 * AI Platform, Xiaohongshu Inc（小红书AI平台） ； The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

AI总结 Relax通过三个协同设计的架构层解决多模态数据流、大规模鲁棒性和延迟-吞吐量平衡问题，实现比veRL快1.20倍的端到端加速，并在多模态强化学习中表现出稳定收敛性。

Comments 17 pages, 22 figures

Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification

检索以恢复：通过语义一致的净化实现不完整音频-视觉问答

Jiayu Zhang, Shuo Ye, Qilang Ye, Zihan Song, Jiajian Huang, Zitong Yu

机构 * School of Computing and Information Technology, Great Bay University（大湾大学计算机与信息学院） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞智能与信息科技重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； College of Computer Science, Nankai University（南开大学计算机学院） ； School of mathematics, Sun Yat-sen University（中山大学数学学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出R$^{2}$ScP框架，通过检索而非生成方法处理缺失模态，利用统一语义嵌入进行跨模态检索，并引入上下文感知适应净化机制，提升语义恢复能力，实验表明其在不完整模态场景中性能更优。

Comments Accepted by ACL 2026 Main Conference

Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning

生成、分析与优化：基于MLLM元推理的无训练声源定位

Subin Park, Jung Uk Kim

机构 * Kyung Hee University（庆熙大学） 纠错

专题命中 音频语音多模态 ：MLLM(title)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出无训练的声源定位框架，利用多模态大语言模型的推理能力，通过生成-分析-优化流程实现声源定位，实验表明在单源和多源基准上表现优异。

Comments Accepted to CVPR 2026

Computational emotion analysis with multimodal LLMs: Current evidence on an emerging methodological opportunity

基于多模态大语言模型的计算情感分析：当前对新兴方法论机会的证据

Hauke Licht

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CL

AI总结 本文评估了多模态大语言模型在政治视频情感分析中的表现，发现实验室条件下的模型表现接近人类水平，但在真实场景中存在显著性能差距及性别偏差。

Do Audio-Visual Large Language Models Really See and Hear?

音频视觉大语言模型真的能看见和听见吗？

Ramaneswaran Selvakumar, Kaousheik Jayakumar, S Sakshi, Sreyan Ghosh, Ruohan Gao, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 研究探讨了音频视觉大语言模型中音频与视觉特征的融合机制，发现当音频与视觉冲突时，最终文本生成中音频信息无法有效表露，揭示了多模态LLM在整合音频和视觉时的模态偏见。

Comments CVPR Findings

Semantic Audio-Visual Navigation in Continuous Environments

语义音频视觉导航在连续环境中

Yichen Zeng, Hebaixu Wang, Meng Liu, Yu Zhou, Chen Gao, Kehan Chen, Gongping Huang

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Shandong Jianzhu University（山东建筑大学） ； Nankai University（南开大学） ； Tsinghua University（清华大学） ； CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出MAGNet模型，通过多模态Transformer实现语义目标推理，提升在连续空间中导航的鲁棒性与成功率。

Comments This paper has been accepted to CVPR 2026

Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery

跨模态城市感知：评估声音与视觉在街道级和航空影像中的对齐情况

Pengyu Chen, Xiao Huang, Teng Fei, Sicheng Wang

机构 * Department of Geography, University of South Carolina（南卡罗来纳大学地理系） ； Department of Environmental Sciences, Emory University（埃默里大学环境科学系） ； University of Canterbury（坎特伯雷大学） ； School of Resource and Environmental Sciences, Wuhan University（武汉大学资源与环境科学学院） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究通过比较不同视觉表示策略，探讨城市声音与视觉场景的对齐程度，发现街道影像嵌入比分割结果更符合环境声音，而遥感分割在生态分类解释中更有效。

Comments 18 pages, 13 figures

Journal ref Transactions in GIS, 30(2), e70246, 2026

VocSegMRI: Multimodal Learning for Precise Vocal Tract Segmentation in Real-time MRI

VocSegMRI：多模态学习在实时MRI中的精确声带段分割

Daiqi Liu, Johannes Enk, Maureen Stone, Fangxu Xing, Tomás Arias-Vergara, Jerry L. Prince, Jana Hutter, Jonghye Woo, Andreas Maier, Paula Andrea Pérez-Toro

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃朗根-纽伦堡大学） ； University of Maryland School of Dentistry（马里兰大学牙科学院） ； Harvard Medical School/Massachusetts General Hospital（哈佛医学院/麻省总医院） ； Universidad de Antioquia UdeA（安蒂奥基亚大学 UdeA） ； Johns Hopkins University（约翰霍普金斯大学） ； Leibniz University Hannover（汉诺威莱布尼茨大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出VocSegMRI，通过跨注意力融合和对比学习目标，整合视频、音频和语音学输入，实现实时MRI中声带结构的精确分割，实验表明其优于单模态和多模态基线方法。

Comments Preprint submitted to MIDL short paper 2026

Look, Listen and Segment: Towards Weakly Supervised Audio-visual Semantic Segmentation

注视、倾听与分割：迈向弱监督音频视觉语义分割

Chengzhi Li, Heyan Huang, Ping Jian, Yanghao Zhou

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 本文提出弱监督音频视觉语义分割方法，通过分解为注视、倾听和分割三个阶段，结合渐进跨模态对齐模块，实现基于视频级标签的帧级语义分割，实验表明其在弱监督方法中表现优异。

Comments Accepted by ICASSP 2026

Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition

互补监督的频带路由用于多模态情感识别

Zhexian Huang, Bo Zhao, Hui Ma, Zhishu Liu, Jie Zhang, Ruixin Zhang, Shouhong Ding, Zitong Yu

机构 * Great Bay University（大湾大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出互补监督多频带专家网络Atsuko，通过多尺度频带分解和专家协作，解决多模态情感识别中模态间互补性不足和粗粒融合的问题，提升情感任务的细粒表示能力。

Robust Audio-Visual Target Speaker Extraction with Emotion-Aware Multiple Enrollment Fusion

鲁棒的音频视觉目标说话人提取与情感感知多注册融合

Zhan Jin, Bang Zeng, Peijun Yang, Jiarong Du, Wei Ju, Yao Tian, Juan Liu, Ming Li

机构 * School of Computer Science, Wuhan University, Wuhan, China（1 武汉大学计算机学院，武汉，中国） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（2 香港中文大学（深圳）人工智能学院，中国） ； School of Artificial Intelligence, Wuhan University, Wuhan, China（3 武汉大学人工智能学院，武汉，中国） ； School of Cyber Science and Engineering, Wuhan University, Wuhan, China（4 武汉大学网络科学与工程学院，武汉，中国） ； Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（5 香港中文大学（深圳）数字创新研究中心，中国） ； AI Center, OPPO, Beijing, China（6 OPPO人工智能中心，北京，中国） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 eess.AS

AI总结 本文提出一种鲁棒的音频视觉目标说话人提取方法，通过情感感知的多注册融合技术，在模态缺失情况下提升提取性能和鲁棒性。

Comments submitted to Interspeech 2026

RA-SSU: Towards Fine-Grained Audio-Visual Learning with Region-Aware Sound Source Understanding

RA-SSU：迈向细粒度音频视觉学习的区域感知声音源理解

Muyi Sun, Yixuan Wang, Hong Wang, Chen Su, Man Zhang, Xingqun Qi, Qi Li, Zhenan Sun

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Academy of Interdisciplinary Studies, The Hong Kong University of Science and Technology（香港科技大学跨学科研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 RA-SSU通过构建细粒度音频视觉数据集和SSUFormer模型，实现区域感知的声音源理解，提升音频视觉学习的细粒度表现。

Comments Accepted by IEEE TMM

OmniEdit: A Training-free framework for Lip Synchronization and Audio-Visual Editing

OmniEdit: 一种无需训练的唇同步与音频视觉编辑框架

Lixiang Lin, Siyuan Jin, Jinshan Zhang

机构 * HiThink Research（HiThink研究机构） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 OmniEdit提出一种无需训练的框架，通过替换编辑序列和去除随机元素，实现唇同步与音频视觉编辑的高效稳定处理。

Seeing the Context: Rich Visual Context-Aware Speech Recognition via Multimodal Reasoning

看见上下文：通过多模态推理实现丰富的视觉上下文感知语音识别

Wenjie Tian, Mingchen Shao, Bingshen Mu, Xuelong Geng, Chengyou Wang, Yujie Liao, Zhixian Zhao, Ziyu Zhang, Jingbin Hu, Mengqi Wei, Lei Xie

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 音频语音多模态 ：multimodal(title)；cross-modal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 本文提出VASR，通过多模态推理融合丰富视觉上下文，解决音频-视觉语音识别中的单模态主导问题，实现更准确的语音识别。

AV-Unified: A Unified Framework for Audio-visual Scene Understanding

AV-Unified: 一个用于音频-视觉场景理解的统一框架

Guangyao Li, Xin Wang, Wenwu Zhu

机构 * Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 AV-Unified提出一个统一框架，通过多尺度时空感知网络和跨模态指导模块，实现音频-视觉场景理解任务的联合学习和高效处理。

Comments Accepted by IEEE Transactions on Multimedia (TMM)

OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

OmniVideoBench: 向多模态大语言模型的音频-视觉理解评估迈进

Caorui Li, Yu Chen, Yiyan Ji, Jin Xu, Zhenyu Cui, Shihao Li, Yuanxing Zhang, Wentao Wang, Zhenghao Song, Dingling Zhang, Ying He, Haoxiang Liu, Yuxuan Wang, Qiufeng Wang, Jiafu Tang, Zhenhe Wu, Jiehui Luo, Zhiyu Pan, Weihao Xie, Chenchen Zhang, Zhaohui Wang, Jiayi Tian, Yanghai Wang, Zhe Cao, Minxin Dai, Ke Wang, Runzhe Wen, Yinghao Ma, Yaning Pan, Sungkyun Chang, Termeh Taheri, Haiwen Xia, Christos Plachouras, Emmanouil Benetos, Yizhi Li, Ge Zhang, Jian Yang, Tianhao Peng, Zili Wang, Minghao Liu, Junran Peng, Zhaoxiang Zhang, Jiaheng Liu

机构 * NJU-LINK Team（南京大学链接团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 OmniVideoBench通过大规模基准测试评估多模态大语言模型在音频-视觉理解中的协同推理能力，揭示模型与人类推理间的显著差距。

DBMIF: a deep balanced multimodal iterative fusion framework for air- and bone-conduction speech enhancement

DBMIF：一种用于空气传导和骨传导语音增强的深度平衡多模态迭代融合框架

Yilei Wu, Changyan Zheng, Xingyu Zhang, Yakun Zhang, Chengshi Zheng, Shuang Yang, Ye Yan, Erwei Yin

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 DBMIF通过深度平衡多模态迭代融合框架提升空气传导和骨传导语音增强性能，降低字符错误率2.5%以上。

Comments 10 pages, 7 figures, Applied Intelligence

Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models

为统一多模态语音识别适应语音基础模型与大语言模型

Jing-Xuan Zhang, Genshun Wan, Jin Li, Jianqing Gao, Duo Zhao, Zhen-Hua Ling

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 本文提出UASR-LLM框架，通过大语言模型与语音基础模型结合，实现多模态语音识别的统一优化与性能提升。

Comments 10 pages, 4 figures, 5 tables