多模态大模型

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

用于抑郁症检测的多模态域泛化：基于注意力的双向长短期记忆网络与域对抗训练

Ali Tabaraei, Federico Simonetta, Stavros Ntalampiras

机构 * University of Milan（米兰大学） ； Gran Sasso Science Institute (GSSI)（大萨索科学研究所） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对深度学习抑郁症检测泛化受限问题，提出含域泛化的多模态检测框架，集成BiLSTM与注意力机制，用梯度反转层增强泛化，实验表明该方法提升了准确率和F1分数，超越现有基准，消融研究突出各因素贡献。

Comments 12 pages, 8 figures, 6 tables. Accepted for publication in IEEE Transactions on Neural Networks and Learning Systems (TNNLS)

Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders

用于社交机器人对话轮次转换的多模态语音活动投影及与语音活动相关的预训练编码器

Antonio Cano, Guillermo Pérez, Luis Merino, Randy Gomez

机构 * i Intelligent Insights（4i智能洞察公司） ； Universidad de Sevilla（塞维利亚大学） ； Universidad Pablo de Olavide（巴勃罗·德奥拉维德大学） ； Honda Research Institute Japan（本田日本研究所） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CL、cs.AI

AI总结 研究社交机器人对话轮次转换，提出多模态语音活动投影框架，基于预训练视听主干并经低秩适应，结合说话人间注意力及语义一致性损失，实验表明该方法优于基线，适用于调解型人机交互。

Comments Accepted for presentation at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026). Acceptance notification date: 30 May 2026. Final published version pending

Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts

通过生成的多语言转录本的蒸馏和跨模态集成进行音频情感分析

Andrei-George Durdun, Victor Constantinescu, Radu Tudor Ionescu

机构 * University of Bucharest（布加勒斯特大学） ； PPC Romania（罗马尼亚PPC） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究语音情感分析难题，提出通过跨模态变压器集成音频与文本信息的多模态方案，经自动语音识别生成转录本并翻译为多语言文本，还进行知识蒸馏，实验证明该方法能提升多模态情感分类性能及增强单模态音频模型。

Comments Accepted at KES 2026

Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering

Q-TriM：用于视听问答的问题引导三模态注意力

SungHun Kim, SeungJun Baek

机构 * Dept. of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视听问答问题，提出Q-TriM以浅并行方式进行多模态融合，引入基于文本的视频和音频注意力操作框架，避免深度堆叠融合的问题，在三个基准测试中达最优性能。

Comments Accepted at ECCV 2026

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AVOC：通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解

Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Huawei Inc.（华为技术有限公司） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出AVOC框架，通过检索启发的令牌压缩模块，将多模态令牌压缩视为top-K检索问题，结合相关性、重要性和多样性三个标准，实现长时音视频理解，在小时级基准上取得最优性能。

Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

注意力谱正则化：无回放的连续多模态大语言模型

Chuangxin Zhao, Canran Xiao, Siyuan Ma, Mengyao Lyu, Yanbiao Ma, Jun Xia, Guiguang Ding, Yang Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出注意力谱正则化（ASR），一种无回放的连续学习框架，通过存储技能级交叉注意力原型分布并施加谱正则化约束，有效缓解多模态大语言模型在连续微调中的灾难性遗忘。

Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization

层次化语义约束异构图用于音视频事件定位

Zhe Yang, Ruyi Zhang, Hongtao Chen, Wenrui Li, Hengyu Man, Wangmeng Zuo, Xiaopeng Fan

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出层次化语义约束异构图框架，通过构建异构图、双向语义约束和双曲空间层次正则化，解决开放词汇音视频事件定位中跨尺度一致性和层次语义一致性问题。

Do Visual Features Improve Other-Initiated Repair Detection? A Dyadic Multimodal Approach

视觉特征能否改善他人发起的修复检测？一种二元多模态方法

Anh Ngo, Nicolas Rollet, Catherine Pelachaud, Chloé Clavel

机构 * INRIA Paris（法国国家信息与自动化研究所巴黎分院） ； ISIR, Sorbonne University Paris（巴黎索邦大学信息学、系统与机器人研究所） ； Télécom Paris, SES, Institut Polytechnique de Paris, I3-CNRS Paris（巴黎电信学院、巴黎高等理工学院SES系、巴黎综合理工学院I3 - 法国国家科学研究中心） ； CNRS（法国国家科学研究中心） ； LTCI, Institut Polytechnique de Paris（巴黎综合理工学院LTCI实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究他人发起的修复检测问题，提出结合视觉特征的二元多模态模型，通过在两个语料库上评估，证明视觉信息能提升检测性能，提供跨模态特征贡献见解。

Comments Accepted to ICMI 2026 (International Conference on Multimodal Interaction), October 5-9, 2026, Napoli, Italy

Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement

先分离，再关联：面向真实场景的视听语音增强的两阶段方法

Tongtao Ling, Zhong-Qiu Wang

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 针对真实场景视听语音增强性能下降问题，提出“分离-然后关联”两阶段方法，经挑战赛数据集验证有效。

SAMOT: State-Aware Step Modulation and Optimal Transport Matching for Audio-Visual Instance Segmentation

SAMOT：面向视听实例分割的状态感知步长调制与最优传输匹配

Kai Peng, Yunzhe Shen, Miao Zhang, Leiye Liu, Wei Ji, Jingjing Li, Yongri Piao, Huchuan Lu

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 针对AVIS的模态状态变化干扰与跨模态分布差异问题，提出含ADSM与OT-MM的SAMOT框架，在AVIS基准取得最优性能。

Comments Accepted by ACM MM 2026

Whence the Voice? Self-supervised Dual-source Audio-Visual Localisation via Selective Convergence

声音从何而来？通过选择性收敛实现自监督双源视听定位

Han Hu, Dongheng Lin, Yuqi Hou, Haotian Li, Hyung Jin Chang, Jianbo Jiao

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.MM

AI总结 本文针对双源视听定位的循环依赖问题，利用自监督学习的选择性收敛提出两阶段框架，在双源基准上取得自监督方法最优性能，还通过引入像素级掩码修正了基准评估的不一致性。

C$^3$PO: Evaluating Cross-Modal Composition and Counterfactual Performance in Omnimodal Models

C³PO：评估全模态模型中的跨模态组合与反事实性能

Swapnanil Mukherjee, Agyeya Negi, Tanuja Ganu, Ponnurangam Kumaraguru

机构 * Microsoft Research India（微软研究院印度分院） ； IIIT Hyderabad（印度国际信息技术研究院（海得拉巴）） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本研究推出C³PO基准数据集，评估全模态模型的跨模态组合与反事实性能，发现模型存在模态主导问题，需改进架构以支持持续跨模态注意力。

FATE: Frame-Level Audio-Visual Temporal Embedding

FATE：帧级视听时间嵌入

Kaisi Guan, Bingzi Zhang, Xihua Wang, Ying Ba, Xin Cheng, Yijing Chen, Ruihua Song

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM

AI总结 FATE是帧级视听时间嵌入模型，通过保留帧级序列与联合对比学习目标，在三项视听任务中优于基线，零样本事件定位性能接近全监督方法，与人类判断相关性最优。

InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos

InteracVid：基于直播聊天视频构建真实交互式视听响应数据集

Chi Zhang, Haoyang Shi, Yueyi Liu, Zhaokun Yan, Yishu Yin, Yuhang Wu, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 该研究提出首个开源大规模交互式视听数据集InteracVid，解决现有生成模型监督信号缺失问题，实验证实其可提升多模态助手的交互规划与响应生成性能，为交互式多模态生成提供关键基础。

COSI-Lab: Conference Living Lab for Modeling Multi-Perspective Multimodal Social Intention

COSI-Lab：用于建模多视角多模态社会意图的会议生活实验室

Zonghuan Li, Litian Li, Arthur Mercier, Gara Dorta, Balint Dioszegi, Jose Morales-Vargas, Chenxu Hao, Ivan Kondyurin, Vanessa Begemann, Nale Lehmann-Willenbrock, Bernd Dudzik, Saunaq Chakrabarty, Sotiris Vacanas, Laura Cabrera-Quirós, Anne L. J. ter Wal, Vitaliy Popov, Jorge Castro-Godínez, Chirag Raman, Stephanie Tan, Hayley Hung

专题命中 音频语音多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 COSI-Lab构建了含32名学者的会议多模态数据集，提出表观意图推理任务及相关标注、分析、基准等贡献，助力智能系统处理主观感知。

Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents

智能体是否会梦到虚假记忆？对多模态人工智能智能体长期记忆的黑盒视觉攻击

Halima Bouzidi, Mboutidem Ekemini Mkpong, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。

Comments 34 pages, 5 figures, 15 tables

Proof-Carrying Multimodal Timelines: Finite-Trace Modal Certificates for Video-Audio Consistency

携带证明的多模态时间线：用于视频-音频一致性的有限轨迹模态证书

Faruk Alpay, Hamdi Alakkad

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.MM

AI总结 研究视频-音频一致性问题，核心方法是将其作为有限轨迹模态监测，通过公式库规定多种一致性，证书记录关键信息，工件进行视频解码等操作，贡献是提供可重现见证及相关处理流程。

Comments 15 pages, 5 figures, 4 tables; ancillary files https://huggingface.co/datasets/Lightcap/pcmt-artifact

A Hybrid Mamba for Audio-Visual Navigation

用于视听导航的混合曼巴

Yi Wang, Yinfeng Yu

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 研究针对视听导航骨干网络多年未变的问题，提出Samba，用曼巴状态编码器取代传统GRU，构建音频曼巴编码器，实验表明其泛化性能出色，能提升导航成功率，以低成本解锁更强能力，为范式演进提供途径。

Comments Main paper (6 pages). Accepted for publication by IEEE International Conference on Systems and Man and Cybernetics 2026 (IEEE SMC 2026)

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026

VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness

VSRo-200：用于研究监督和多模态鲁棒性的罗马尼亚语视觉语音识别数据集

Iulia-Maria Udrea, Alexandra Diaconu, Bogdan Alexe

机构 * University of Bucharest（布加勒斯特大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文介绍罗马尼亚语视觉语音识别数据集VSRo-200，通过伪标签和人工转录注释样本，建立低资源视觉语音识别基准。研究监督质量影响，评估域转移鲁棒性及噪声下视听语音识别，证明其表示可转移至其他基准，为相关研究提供新测试平台。

AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization

AV-SyncBench：音视频时间与语义同步的解耦基准测试

Tianhong Zhou, Mingyang Han, Boyu Li, Yuxuan Jiang, Jiaxin Ye, Dongxiao Wang, Haoxiang Shi, Kunpeng Wang, Jun Song, Cheng Yu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出AV-SyncBench，首个完全分离音视频时间与语义一致性评估的基准，涵盖语音、音乐和声音三大类10个场景5项挑战任务，基于野外视频构建并人工验证，用于量化特征提取模型的对齐质量。

Comments Accepted by Interspeech 2026

MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning

MJEPA：一种简单且可扩展的音频-视觉联合嵌入预测架构

Revant Teotia, Adrien Bardes, Michael Rabbat, Sumit Chopra, Matthew J. Muckley, Nicolas Ballas

机构 * FAIR at Meta（Meta AI研究实验室） ； New York University（纽约大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MJEPA，使用统一编码器和单一预测目标进行跨模态预测，在音频分类任务上超越先前方法，并减少视频数据需求。

Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement

基于扩散的视觉条件语音增强中的音视频对比对齐

Colombe Mboungou, Mostafa Sadeghi, Jean-Eudes Ayilo, Romain Serizel

机构 * Université de Lorraine, CNRS, Inria, Loria, Nancy, France（洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、Loria研究所、法国南希） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出在扩散训练目标中加入对比音视频损失，增强视觉信息利用，提升语音增强性能，尤其在低信噪比下改善显著。

Journal ref INTERSPEECH, Sep 2026, Sydney, Australia

MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild

MuVAP: 面向野外对话轮次预测的多模态多方语音活动投影

Haotian Qi, Gabriel Skantze

机构 * Department of Speech Music and Hearing, KTH Stockholm, Sweden（瑞典皇家理工学院言语、音乐与听觉系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.AI

AI总结 提出MuVAP框架，通过将声学预测锚定到面部轨迹，实现从单声道音频和单摄像头视角进行说话人感知的轮次预测，并引入角色相对投影和AVCC数据集解决多方建模和因果跟踪问题。

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

MaineCoon: 追求实时音视频社交世界模型

Lichen Bai, Tianhao Zhang, Shitong Shao, Dingwei Tan, Qiyu Zhong, Zhengpeng Xie, Haopeng Li, Qinghao Huang, Dandan Shen, Tengjiao Ji, Wei Wang, Peicheng Wu, Yuxuan Zhao, Xiangyu Zhu, Welly Luo, Shurui Yang, Zeke Xie

机构 * Catnip AI Team（Catnip AI团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MaineCoon，首个22B参数的实时音视频自回归模型，支持单GPU上高达47.5 FPS的流式生成和亚秒级交互，专为社交互动应用优化，引入自重采样、跨模态对齐、领域偏好优化和强化在线策略蒸馏等技术。

Comments 32 pages, 13 figures, 3 tables

Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning

音频-视觉交换感知令牌剪枝用于高效音频-视觉字幕生成

Zihan Meng, Dexiang Hong, Weidong Chen, Ziyu Zhou, Bo Hu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出基于强化学习的AVEX-Prune方法，通过跨模态令牌交换策略选择高置信度令牌，在40%保留率下保持全令牌质量。

AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities

AVE-Compass：迈向音频-视频编辑能力的整体评估

Yuqing Wen, Yukai Huang, Qianqian Xie, Jiangtao Wu, Yibin Lin, Yikai Gu, Jialu Chen, Yuanxing Zhang, Jiaheng Liu

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对现有视频编辑基准未充分考虑视听耦合问题，提出AVE-Compass基准及AVE-Agent框架，通过多种评估方式评估编辑能力，能分解复杂指令迭代改进结果，提升了跨模态编辑等方面表现及感知质量。

Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping

通过跨模态自举学习音乐风格以实现钢琴编曲

Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.AI、cs.MM、eess.AS

AI总结 本文提出跨模态框架，受BLIP-2启发用Q-Former从预训练音频LM提取风格表示，经两阶段训练实现可控风格钢琴编曲，在多项任务中提升了风格对齐与音乐质量。

Comments Accepted by ISMIR 2026

Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

通过混合交叉注意力网络的知识蒸馏和动态 INT8 量化实现高效视听事件识别

Parinaz Binandeh Dehaghani, Danilo Pena, A. Pedro Aguiar

机构 * University of Porto, Porto, Portugal（葡萄牙波尔图大学） ； ResoSight, Montreal, Canada（ResoSight公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)

AI总结 研究针对视听事件识别模型在边缘设备部署的难题，提出结合架构压缩、知识蒸馏和动态 INT8 量化的框架。构建教师与学生模型，经知识蒸馏训练学生模型，再用动态量化减小模型大小。实验表明该框架有效平衡准确率与效率，利于在资源受限平台部署。

Comments 15 pages, 4 figures

Music I Care About: Automated Multimodal Benchmarking of LLM Music Perception Skills on (Almost) Any Music

我关心的音乐：对（几乎）任何音乐的大语言模型音乐感知技能进行自动化多模态基准测试

Tomáš Sourada, Katia Vendrame, Jan Hajič

机构 * Charles University（查尔斯大学） ； Brno University of Technology（布拉格技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对当前音乐基准测试的局限，引入MusICA-MetaBench框架，利用结构化符号表示和预定义模板生成按需基准测试，通过ChoraleBricks数据集展示并确定规模，经与基线比较证明能测音乐感知，推动了大语言模型音乐感知跨模态评估。

Comments 9 pages, 4 figures, 4 tables