多模态大模型

The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stress

Lukas Christ, Shahin Amiriparian, Alice Baird, Panagiotis Tzirakis, Alexander Kathan, Niklas Müller, Lukas Stappen, Eva-Maria Meßner, Andreas König, Alan Cowen, Erik Cambria, Björn W. Schuller

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CL、cs.AI、cs.MM

Comments Baseline paper for the 3rd Multimodal Sentiment Analysis Challenge (MuSe) 2022, a full-day workshop at ACM Multimedia 2022

Deepfake News Detection: A Multimodal Framework Integrating LipNet, DeepSpeech and ResNET for Enhanced Audio-Visual Analysis

深度伪造新闻检测：一种集成LipNet、DeepSpeech和ResNET的多模态框架用于增强视听分析

Ameena Khan, Muhammad Ahsan Aziz, Muhammad Junaid Asif, Naeem Akhter, Rana Fayyaz Ahmad

专题命中 音频语音多模态 ：multimodal(title)；audio-visual(title)；multi-modal(abstract)

AI总结 针对深度伪造新闻威胁数字新闻媒体真实性的问题，提出集成LipNet、DeepSpeech和ResNET的多模态框架，从音频和视觉线索提取特征，经多种模型分类，实验表明该方法准确率达94%，优于基线，具鲁棒性和实际潜力。

DAVSS: Distilled Audio-Visual State Space Models

DAVSS：蒸馏视听状态空间模型

Saurabhchand Bhati, Mrudula Athi, Amit S. Chhetri, James Glass

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本研究提出14M参数的DAVSS模型，通过小patch提升输入分辨率、30%参数用于联合建模，在体积远小于CAV-MAE等Transformer视听模型的同时，性能仍优于后者。

Reasoning for Social Audio-Visual Question Answering: Where Do We Stand?

社会视听问答的推理：我们处于什么阶段？

Koen P. de Vries, Xavier Alameda-Pineda, Estefanía Talavera, Stéphane Lathuilière

机构 * Inria（法国国家信息与自动化研究所） ； Univ. Grenoble Alpes（格勒诺布尔大学） ； CNRS（法国国家科学研究中心） ； University of Twente（特文特大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract,abstract_cn)；分类 cs.CV

AI总结 本文针对社会视听问答研究，发现IntentBench存在高噪声，Vanilla SFT基线性能优于现有推理方法，仅用文本模态即可实现与视频相当的性能，并发布了IntentBench-Prime等资源。

Comments Accepted at HCMIW ECCV workshop. Code available here: https://github.com/koenv759/VanillaSFT

Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition

基于最优传输的基于大语言模型的视听语音识别语义对齐

Xugang Lu, Peng Shen, Yu Tsao, Hisashi Kawai

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

通过部分信息分解理解多模态语言模型中的模态交互

Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；omni-modal(abstract)；分类 cs.AI

AI总结 引入部分信息分解（PID）框架，分离感官和语言输入的独特、冗余和协同贡献，揭示多模态大模型中的模态使用模式，并扩展至三模态系统。

Comments Accepted by ICML 2026

LAVA: Layered Audio-Visual Anti-tampering Watermarking for Robust Deepfake Detection and Localization

LAVA：分层音频视觉抗篡改水印用于鲁棒深度伪造检测与定位

Bokang Zeng, Zheng Gao, Xiaoyu Li, Xiaoyan Feng, Jiaojiao Jiang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； UNSW Sydney（新南威尔士大学悉尼分校） ； School of Information and Communication Technology（信息与通信技术学院） ； Griffith University（格里菲斯大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 LAVA通过跨模态水印融合与校准感知对齐，提升深度伪造篡改检测与定位的鲁棒性，实验表明其检测性能接近完美，抗压缩与多模态错位能力强。

Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization

UniSkip-Mamba：用于视听时间伪造定位的频率感知状态空间模型

Cangjin Yu, Quan Zhang, Dan Jiang, Ke Zhang

机构 * Soochow University（苏州大学） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对视听时间伪造定位，通过频域分析发现伪造特征集中在低中频，提出融合多模态序列与新颖扫描机制的UniSkip-Mamba框架，实现性能提升和推理加速。

VGGSounder: Audio-Visual Evaluations for Foundation Models

VGGSounder：基础模型的音视频评估

Daniil Zverev, Thaddäus Wiedemer, Ameya Prabhu, Matthias Bethge, Wieland Brendel, A. Sophia Koepke

机构 * Technical University of Munich, MCML（慕尼黑技术大学，MCML） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； MPI for Intelligent Systems, ELLIS Institute（智能系统Max Planck研究所，ELLIS研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对VGGSound数据集在音视频基础模型评估中的标签不完整、类别重叠和模态错位等问题，提出重新标注的多标签测试集VGGSounder，并引入模态混淆指标分析模型性能退化。

Comments Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

CogniRoute: 在全模态模型中学习路由社会证据

Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Google（谷歌） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出CogniRoute框架，通过模式引导的专家混合和路由感知强化学习，解决全模态模型在社会视频问答中证据选择不足的问题，在OmniSocialBench上准确率达59.38%。

OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains

OmniVideo-100K：通过结构化脚本和证据链进行音视频推理的数据集

Xinyue Cai, Chaoyou Fu, Yi-Fan Zhang, Ran He, Caifeng Shan

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出OmniVideo-100K数据集，通过实体锚定视频脚本和线索引导的QA生成机制，解决音视频问答中跨段实体不一致和长时推理不足的问题，微调模型在多个基准上取得显著提升。

Comments Project page: https://github.com/MiG-NJU/OmniVideo-100K

M2S-AVSR: Modality-aware Multi-view Self-supervised Representation for Robust Audio-Visual Speech Recognition

M2S-AVSR：面向鲁棒视听语音识别的模态感知多视角自监督表示

Fei Su, Cancan Li, Ming Li, Juan Liu

机构 * School of Artificial Intelligence and the School of Computer Science, Wuhan University, China（人工智能学院和计算机科学学院，武汉大学，中国） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（人工智能学院，香港中文大学（深圳），中国） ； School of Artificial Intelligence, Wuhan University, China（人工智能学院，武汉大学，中国） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 提出一种模态感知多视角自监督表示框架（M2S-AVSR），通过多视角编码学习视角不变视觉语音表示，并利用模态感知模块进行细粒度融合，以应对视角变化、音频失真和视觉遮挡等挑战，在多个基准上取得最优性能。

Comments submitted to IEEE Transactions on Audio, Speech, and Language Processing

Social Caption: Evaluating Social Understanding in Multimodal Models

Social Caption: 评估多模态模型的社会理解能力

Leena Mathur, Bhaavanaa Thumu, Youssouf Kebe, Louis-Philippe Morency

机构 * School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出基于交互理论的SOCIAL CAPTION框架，从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力，并分析影响性能的因素。

Comments 25 pages, 10 figures

Inconsistency-aware Multimodal Schrödinger Bridge for Deepfake Localization

不一致感知多模态薛定谔桥用于深度伪造定位

Jiayu Xiong, Jing Wang, Qi Zhang, Wanlong Wang, Jun Xue

机构 * Department of Computer Science and Techonology, Huaqiao University（华侨大学计算机科学与技术系） ； Xiamen Key Laboratory of Computer Vision and Pattern Recognition, Huaqiao University（厦门计算机视觉与模式识别重点实验室） ； Tongji University（同济大学） ； School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出IaMSB框架，利用薛定谔桥统一一致性估计、跨模态信息选择和桥步调度，实现高精度区间级深度伪造定位。

Comments Accepted by CVPR2026

PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition

PRIMED: 通过偏见竞争实现适应性模态抑制的指引用视听分割

Yuchen He, Jing Zhang

机构 * School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 PRIMED通过偏见竞争理论，实现适应性模态抑制，提升指引用视听分割的准确性，通过模态先验解码器和token蒸馏器增强多模态融合，实验表明其在Ref-AVS基准上达到最优性能。

Comments 11 pages, 8 figures

Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models

别让视频说话：面向音频-视觉语言模型的音频对比偏好优化

Ami Baid, Zihui Xue, Kristen Grauman

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ACPO方法，通过引入输出对比和输入对比目标，解决音频-视觉语言模型中视频驱动的音频幻觉问题，提升音频真实性和多模态能力。

Comments Project page: https://vision.cs.utexas.edu/projects/acpo/

When Drawing Is Not Enough: Exploring Spontaneous Speech with Sketch for Intent Alignment in Multimodal LLMs

当绘画不够时：探索通过草图进行意图对齐的自发性言语在多模态大语言模型中的应用

Weiyan Shi, Dorien Herremans, Kenny Tsu Wei Choo

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.MM

AI总结 本文探讨了在多模态大语言模型中，通过草图与自发性言语的结合来提升设计初期意图对齐的效果，通过实验表明加入自发性言语能显著提高生成图像的意图匹配度。

Comments Accepted at DIS 2026 PWiP

OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering

OmniJigsaw：通过模态协调重排序增强多模态推理

Yiduo Jia, Muzhi Zhu, Hao Zhong, Mingyu Liu, Yuling Xi, Hao Chen, Bin Qin, Yongjie Yang, Zhenbo Luo, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Xiaomi Inc.（小米公司） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 OmniJigsaw通过模态协调重排序任务提升多模态推理能力，采用三重策略实现跨模态整合，并通过两级数据过滤提升模型适应性，验证了其在多模态自监督学习中的有效性。

Comments Project page: https://aim-uofa.github.io/OmniJigsaw/

Semantic Noise Reduction via Teacher-Guided Dual-Path Audio-Visual Representation Learning

通过教师引导的双路径实现语义噪声削减

Linge Wang, Yingying Chen, Bingke Zhu, Lu Zhou, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Objecteye Inc.（北京眼神科技有限公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出TG-DP框架，通过分离重建与对齐路径，减少语义噪声，提升音频视频表示学习效果，实现零样本检索性能提升。

SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts

SOUPLE: 通过可学习的提示上下文增强音频-视觉定位与分割

Khanh Binh Nguyen, Chae Jung Park

机构 * Deakin University（德克萨斯大学） ； National Cancer Center（国立癌症中心） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 SOUPLE通过可学习的上下文标记提升音频-视觉定位与分割性能，利用视觉特征生成条件上下文以连接音频与视觉输入。

Comments Accepted to CVPR 2026

Investigating self-supervised representations for audio-visual deepfake detection

探究用于音频-视觉深度伪造检测的自监督表示

Dragos-Alexandru Boldisor, Stefan Smeu, Dan Oneata, Elisabeta Oneata

机构 * Bitdefender ； Politehnica Bucharest（巴蒂亚努大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文系统评估了自监督表示在多模态和多领域中的检测效果、信息可解释性和跨模态互补性，发现音频引导的表示在深度伪造检测中表现最佳。

Comments Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

EmoOmni: Bridging Emotional Understanding and Expression in Omni-Modal LLMs

EmoOmni：弥合情感理解与表达在多模态大语言模型中的鸿沟

Wenjie Tian, Zhixian Zhao, Jingbin Hu, Huakang Chen, Haohe Liu, Binshen Mu, Lei Xie

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学，西安，中国） ； University of Surrey, Guildford, United Kingdom（萨里大学，Guildford，英国） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 EmoOmni通过引入情感链式思维机制，提升多模态情感对话中的理解与表达能力，构建了评估基准并验证了其有效性。

Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion

可扩展的多语言多模态机器翻译与语音-文本融合

Yexing Du, Youcheng Pan, Zekun Wang, Zheng Chu, Yichong Huang, Kaiyuan Liu, Bo Yang, Yang Xiang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract)；image-text(abstract)；分类 cs.CL

AI总结 本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。

Comments Accepted in ICLR 2026

AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking

AVMeme Exam: 一个多模态、多语言、多文化的基准测试，用于评估LLM的上下文和文化知识与思维

Xilin Jiang, Qiaolin Wang, Junkai Wu, Xiaomin He, Zhongweiyang Xu, Yinghao Ma, Minshuo Piao, Kaiyi Yang, Xiuwen Zheng, Riki Shimizu, Yicong Chen, Arsalan Firoozi, Gavin Mischler, Sukru Samet Dindar, Richard Antonello, Linyang He, Tsun-An Hsieh, Xulin Fan, Yulun Wu, Yuesheng Ma, Chaitanya Amballa, Weixiong Chen, Jiarui Hai, Ruisi Li, Vishal Choudhari, Cong Han, Yinghao Aaron Li, Adeen Flinker, Mounya Elhilali, Emmanouil Benetos, Mark Hasegawa-Johnson, Romit Roy Choudhury, Nima Mesgarani

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 AVMeme Exam 通过多模态、多语言、多文化的基准测试，评估LLM在上下文和文化理解方面的局限性，揭示模型在无文本音乐和文化思维上的不足。

Comments avmemeexam.github.io/public

Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention

基于音频-视频Transformer融合与交叉注意力的多模态情感识别

Joe Dhanith P R, Shravan Venkatraman, Vigya Sharma, Santhosh Malarvannan

机构 * School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University（计算机科学与工程学院，维洛雷理工学院（VIT大学）） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 本文提出AVT-CA模型，通过音频-视频Transformer融合与交叉注意力机制，提升多模态情感识别的准确率和F1分数。

MokA: Multimodal Low-Rank Adaptation for MLLMs

MokA：多模态低秩适应用于大规模语言模型

Yake Wei, Yu Miao, Dongzhan Zhou, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 MokA通过多模态低秩适应提升大规模语言模型的多模态微调效率和效果。

AV-Lip-Sync+: Leveraging AV-HuBERT to Exploit Multimodal Inconsistency for Deepfake Detection of Frontal Face Videos

AV-Lip-Sync+: 借助AV-HuBERT利用多模态不一致性的深度伪造检测方法

Sahibzada Adil Shahzad, Ammarah Hashmi, Yan-Tsung Peng, Yu Tsao, Hsin-Min Wang

机构 * Social Networks and Human-Centered Computing Program, Taiwan International Graduate Program, Academia Sinica（学术.sinica.edu.tw 社会网络与人本计算计划，台湾国际研究生计划，台湾.sinica.edu.tw） ； Department of Computer Science, National Chengchi University（计算机科学系，国立政治大学） ； Institute of Information Systems and Applications, National Tsing Hua University（信息系统与应用研究所，国立清华大学） ； Research Center for Information Technology Innovation, Academia Sinica（资讯技术创新研究中心，学术.sinica.edu.tw） ； Institute of Information Science, Academia Sinica（资讯研究所，学术.sinica.edu.tw） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出AV-Lip-Sync+方法，利用AV-HuBERT和多模态不一致性检测深度伪造，实现对正面人脸视频的高精度检测。

AV-Dialog: Spoken Dialogue Models with Audio-Visual Input

Tuochao Chen, Bandhav Veluri, Hongyu Gong, Shyamnath Gollakota

机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·阿伦计算机科学与工程学院） ； Meta AI Research（Meta AI研究院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

When Eyes and Ears Disagree: Can MLLMs Discern Audio-Visual Confusion?

Qilang Ye, Wei Zeng, Meng Liu, Jie Zhang, Yupeng Hu, Zitong Yu, Yu Zhou

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

AVAR-Net: A Lightweight Audio-Visual Anomaly Recognition Framework with a Benchmark Dataset

Amjid Ali, Zulfiqar Ahmad Khan, Altaf Hussain, Muhammad Munsif, Adnan Hussain, Sung Wook Baik

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments I would like to request the withdrawal of my paper . The reason for this request is that I am currently working on additional experiments and analyses, which will lead to updates in the results section. Once these updates are complete, I will resubmit the revised version. Thank you for your understanding