多模态大模型

Context-Aware Multimodal Claim Verification in Spoken Dialogues

口语对话中的上下文感知多模态声明验证

Chaewan Chun, Delvin Ce Zhang, Dongwon Lee

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。

Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models

跨模态一致性引导用于自动回归TTS模型中的鲁棒情绪控制

Yizhou Peng, Yukun Ma, Chong Zhang, Yi-Wen Chao, Chongjia Ni, Bin Ma, Eng Siong Chng

机构 * Alibaba-NTU Global e-Sustainability CorpLab（阿里-国立大学全球可持续发展公司实验室） ； Nanyang Technological University（南洋理工大学） ； College of Computing and Data Science（计算与数据科学学院） ； Alibaba（阿里） ； Alibaba Inc.（阿里公司） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 本文提出了一种基于文本情绪与显式语音情绪不一致程度的动态尺度的跨模态一致性引导分类器免费引导方法（CCG-CFG），通过使用文本情绪替代dropout条件，并采用硬样本挖掘策略蒸馏CCG-CFG引导信号，从而提升TTS模型的情绪对齐能力。在五个情感语料库和两个TTS基准测试中，该方法在CosyVoice2上实现了情绪识别准确率提升12%，主观评分提升10%，优于基线模型HierSpeech++、Qwen3-TTS和原始CosyVoice2，同时保持可懂性、自然度和高质量。

Comments Accepted to Interspeech 2026, short paper

Assessing True Generalisability of Audio-Visual Speech Recognisers

评估音视频语音识别器的真正泛化能力

Zhaofeng Lin, Stavros Petridis, Maja Pantic, Naomi Harte

机构 * Trinity College Dublin（都柏林三一学院） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 eess.AS

AI总结 通过构建与LRS3测试集严格匹配的评估集，发现当前最先进的音视频语音识别模型在未见数据上性能全面崩溃，揭示了其泛化能力不足，并分析了退化原因、词汇偏差和错误模式。

Comments Accepted to Interspeech 2026 Long paper track. 9 pages, 4 figures

O_O-VC: Synthetic Data-Driven One-to-One Alignment for Any-to-Any Voice Conversion

O_O-VC: 基于合成数据驱动的任意到任意语音转换一一对一对齐

Huu Tuong Tu, Huan Vu, cuong tien nguyen, Dien Hy Ngo, Nguyen Thi Thu Trang

机构 * VNPT AI, VNPT Group（VNPT AI，VNPT集团） ； Hanoi University of Science and Technology（河内科学技术大学） ； Business AI Lab, National Economics University（国家经济大学商业人工智能实验室） 纠错

专题命中 音频语音多模态 ：any-to-any(title,abstract)；分类 eess.AS

AI总结 本文提出了一种基于合成数据驱动的任意到任意语音转换方法，通过利用高质量预训练多说话人文本到语音模型生成的合成语音数据，学习源语音到目标语音的直接映射，从而在保留语言内容的同时捕捉说话人特定特征，并在零样本场景中提升适应性和性能。

Comments EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025

Leveraging Cascaded Binary Classification and Multimodal Fusion for Dementia Detection through Spontaneous Speech

利用级联二分类和多模态融合进行自发语音中的痴呆症检测

Yin-Long Liu, Yuanchao Li, Rui Feng, Liu He, Jia-Xin Chen, Yi-Ming Wang, Yu-Ang Chen, Yan-Han Peng, Jia-Hong Yuan, Zhen-Hua Ling

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文提出了一种级联二分类和多模态融合的方法，用于通过自发语音进行早期痴呆症检测，解决了类别不平衡问题，并在Mini-Mental State Examination评分回归任务中实现了优于基线方法的性能。

Comments Accepted by Interspeech 2025

Journal ref Proc. Interspeech 2025, pp. 544-548, 2025

Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation

Foley-Omni：从任务级音频合成到完整视频配乐生成的统一多模态生成模型

Ye Tao, Lupeng Liu, Xuenan Xu, Jiasun Feng, Jiarui Wang, Ying Qin, Shuiyang Mao, Wei Liu, Shuai Wang

机构 * School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； Video Rebirth ； Shanghai Jiao Tong University（上海交通大学） ； Beijing Jiaotong University（北京交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 提出Foley-Omni统一多模态音频生成模型，通过共享潜变量生成过程联合建模语音、音效和音乐，实现从孤立任务级合成到完整视频配乐生成，并构建V2ST-Bench基准进行综合评估。

JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation

JAVEDIT: 联合音频-视觉指令引导视频编辑与智能体数据策展

Yinan Chen, Chuming Lin, Zhennan Chen, Yuxiang Zeng, Junwei Zhu, Yali Bi, Xijie Huang, Chengming Xu, Donghao Luo, Zhucun Xue, Xiaobin Hu, Chengjie Wang, Yong Liu, Jiangning Zhang, Shuicheng Yan

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Nanjing University（南京大学） ； University of Auckland（奥克兰大学） ； Fudan University（复旦大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 针对联合音频-视觉编辑缺乏数据集和基准的问题，提出首个大规模高质量数据集JAVEdit-100k、基准JAVEditBench以及基线模型JAVEdit，在六项指标中五项超越所有基线。

Comments Equal contributions from first two authors. Project page: https://ryanchenyn.github.io/projects/JAVEdit Code: https://github.com/RyanChenYN/JAVEdit Dataset: https://huggingface.co/datasets/Coraxor/JAVEdit-100k

TALKPLAY: Multimodal Music Recommendation with Large Language Models

TALKPLAY: 基于大语言模型的多模态音乐推荐

Seungheon Doh, Keunwoo Choi, Juhan Nam

机构 * KAIST（韩国科学技术院） ； talkpl.ai 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 提出TALKPLAY系统，通过将推荐转化为token生成问题，利用大语言模型处理多模态音乐特征，实现端到端对话式推荐，显著优于单模态方法。

WISE: A Multimodal Search Engine for Visual Scenes, Audio, Objects, Faces, Speech, and Metadata

WISE：一种用于视觉场景、音频、物体、人脸、语音和元数据的多模态搜索引擎

Prasanna Sridhar, Horace Lee, David M. S. Pinto, Andrew Zisserman, Abhishek Dutta

机构 * Engineering Science University of Oxford（工程科学大学牛津） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出WISE开源多模态搜索引擎，整合场景级和物体级的自然语言与反向图像查询、人脸搜索、音频事件检索、语音转录搜索及元数据过滤，支持跨模态组合查询，采用向量搜索实现高效扩展，可本地部署。

Comments Software: https://www.robots.ox.ac.uk/~vgg/software/wise/ , Online demos: https://www.robots.ox.ac.uk/~vgg/software/wise/demo/ , Example Queries: https://www.robots.ox.ac.uk/~vgg/software/wise/examples/

Journal ref International ACM SIGIR Conference on Research and Development in Information Retrieval (2026)

Native Audio-Visual Alignment for Generation

原生音视频对齐生成

Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

机构 * ERNIE Team, Baidu Inc.（百度公司ERNIE团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。

Comments Project page: https://ernie-research.github.io/NAVA/

DeepFake Forensics AI: A Multi-Modal Detection and Blockchain-Anchored Evidence Management Platform

DeepFake Forensics AI：多模态检测与区块链锚定证据管理平台

Naisha Minnah

机构 * Department of Computer Science（计算机科学系） ； Providence Women's College（普罗维登斯女子学院） ； University of Calicut（卡利卡特大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一个统一平台，通过训练四种神经网络检测图像、视频和音频中的合成媒体，并利用以太坊区块链实现证据的不可篡改存储与管理。

Comments 5 pages, 5 figures, 3 tables

Semantic-Aware Interpretable Multimodal Music Auto-Tagging

语义感知可解释多模态音乐自动标注

Andreas Patakis, Vassilis Lyberatos, Spyridon Kantarelis, Edmund Dervakos, Giorgos Stamou

机构 * National Technical University of Athens（希腊国家技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 提出一种利用多模态音乐特征组和期望最大化算法实现可解释音乐自动标注的方法，在保持竞争性能的同时提供决策过程透明度。

Comments Accepted at Interspeech 2025

EMMA: Extracting Multiple physical parameters from Multimodal Data

EMMA: 从多模态数据中提取多个物理参数

Farhat Shaikh, Ayan Banerjee, Sandeep Gupta

机构 * IMPACT Lab, School of Computing & Augmented Intelligence (SCAI)（IMPACT实验室，计算与增强智能学院） ； Arizona State University, Tempe, AZ（亚利桑那州立大学，Tempe） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出EMMA框架，利用物理信息多模态融合和LTC网络，从原始视频、音频和图像时间序列中联合推断系统动力学参数，无需先验条件或专用传感器，在100+场景中优于单模态方法。

Comments Accepted at CVPR 2026 (main conference)

Talking Slide Avatars: Open-Source Multimodal Communication Approach for Teaching

Talking Slide Avatars: 面向教学的开源多模态通信方法

Xinxing Wu

机构 * School of Mathematics and Computer Science, Kentucky State University（肯塔基州立大学数学与计算机科学学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种集成OpenVoice和Ditto-TalkingHead的开源工作流，用于创建可说话的幻灯片头像，以增强在线教学中的教师存在感和叙事连续性。

Comments 15 pages

Do Factual Recall Mechanisms Carry over from Text to Speech in Multimodal Language Models?

事实回忆机制在文本到语音的多模态语言模型中是否延续？

Luca Modica, Filip Landin, Mehrdad Farahani, Livia Qian, Gabriel Skantze, Richard Johansson

机构 * Zenseact ； Unbox AI ； Chalmers University of Technology（楚德斯大学） ； University of Gothenburg（哥德堡大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究探讨了多模态语言模型中事实回忆机制在文本和语音模态间的延续性，通过因果中介分析揭示了语音到文本与文本到文本在事实存储和回忆中的差异。

Comments In *SEM 2026, the 15th Joint Conference on Lexical and Computational Semantics

Effective User-defined Keyword Spotting with Dual-stage Matching, Multi-modal Enrollment, and Continual Adaptation

高效的用户定义关键词侦测：双阶段匹配、多模态注册与持续适应

Zhiqi Ai, Han Cheng, Shiyi Mu, Xinnuo Li, Yongjin Zhou, Shugong Xu

机构 * New York University（纽约大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 eess.AS

AI总结 本文提出DMA-KWS框架，通过双阶段匹配、多模态注册和持续适应方法，解决用户定义关键词侦测中的混淆词区分、说话人发音不一致和高数据成本问题，实验表明其在LibriPhrase Hard子集上达到97.85%的AUC和6.13%的EER，性能领先。

Comments 14 pages, 13 figures, 12 tables. Accepted by TASLP

VoxATtack: A Multimodal Attack on Voice Anonymization Systems

VoxATtack: 一种多模态攻击 Voice Anonymization 系统

Ahmad Aloradi, Ünal Ege Gaznepoglu, Emanuël A. P. Habets, Daniel Tenbrinck

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文提出 VoxATtack 模型，通过结合语音和文本信息，攻击语音匿名化系统，展示了文本信息和选择性数据增强对当前语音匿名化方法的漏洞暴露。

Comments 5 pages, 3 figures, 3 tables, accepted at WASPAA 2025

Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition

在情绪树中导航：用于多模态情绪识别的分层双曲RAG

Zeheng Wang, Bo Zhao, Yijie Zhu, Zhishu Liu, Hui Ma, Ruixin Zhang, Shouhong Ding, Qianyu Xie, Zitong Yu

机构 * Great Bay University（广东东莞大亚湾大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出HyperEmo-RAG，一种利用结构化情绪知识库的检索增强生成框架，通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。

Leveraging Multimodal Self-Consistency Reasoning in Coding Motivational Interviewing for Alcohol Use Reduction

利用多模态自一致性推理进行编码动机访谈以减少酒精使用

Guangzeng Han, James G. Murphy, Benjamin O. Ladd, Xiaolei Huang, Brian Borsari

机构 * Department of Computer Science, University of Memphis（密苏里大学计算机科学系） ； Veterans Affairs Health Care System（退伍军人事务医疗系统） ； Department of Psychiatry and Behavioral Sciences, University of California San Francisco（旧金山大学精神病学与行为科学系） ； Department of Psychology, University of Memphis（密苏里大学心理学系） ； Department of Psychology, Washington State University Vancouver（华盛顿州立大学温哥华分校心理学系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出基于音频语言模型的自动动机访谈编码方法，通过多模态自一致性推理提升编码鲁棒性，实验显示其在准确率、精确率和召回率上均优于基线方法。

LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback

基于大语言模型的多模态反馈在学习效果和学生感知上与教师反馈相当且更优

Chloe Qianhui Zhao, Jie Cao, Jionghao Lin, Kenneth R. Koedinger

机构 * Carnegie Mellon University（卡内基梅隆大学） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Hong Kong（香港大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种实时AI辅助的多模态反馈系统，通过整合结构化文本解释与动态多媒体资源，实现学习效果与学生感知的提升，证明AI反馈在清晰度、具体性等方面优于传统教师反馈。

Comments 11 pages, to be published at the 16th International Learning Analytics & Knowledge Conference (LAK '26)

AudioFace: Language-Assisted Speech-Driven Facial Animation with Multimodal Language Models

AudioFace: 基于语言的语音驱动面部动画与多模态语言模型

Kai Zheng, Zejian Kang, Rui Mao, Hongyuan Zou, Yuanchen Fei, Xuanyang Xu, Xiangru Huang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Tiangong University（天工大学） ； Hunan University（湖南大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出AudioFace框架，通过语言和发音信息指导语音驱动的面部动作生成，提升语音与面部运动的对应精度。

XM-ALIGN: Unified Cross-Modal Embedding Alignment for Face-Voice Association

XM-ALIGN：面向人脸-语音关联的统一跨模态嵌入对齐框架

Zhihua Fang, Shumei Tao, Junxu Wang, Liang He

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Xinjiang Multimodal Information Technology Engineering Research Center（新疆多模态信息处理工程技术研究中心） ； Urumqi Branch, China Mobile Group Xinjiang Co., Ltd（中国移动新疆乌鲁木齐分公司） ； School of Intelligence Science and Technology, Xinjiang University（新疆大学智能科学与技术学院） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出XM-ALIGN框架，通过显式与隐式对齐机制提升跨模态验证性能，采用共享分类器联合优化人脸与语音嵌入，并通过数据增强提升泛化能力。

Comments FAME 2026 Technical Report

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation

面向语音保留的面部表情操控的个性化跨模态情感相关学习

Tianshui Chen, Yujie Zhu, Jianman Lin, Zhijing Yang, Chunmei Qing, Feng Gao, Liang Lin

机构 * Guangdong University of Technology（广东工业大学） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Sun Yat-Sen University（中山大学） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出PCMECL算法，通过个性化提示和特征差分提升跨模态对齐，解决面部表情操控中情感操控的监督问题。

Multimodal Privacy-Preserving Entity Resolution with Fully Homomorphic Encryption

多模态隐私保护实体解析与全同态加密

Susim Roy, Nalini Ratha

机构 * University at Buffalo, The State University of New York Department of Computer Science（布法罗大学计算机科学与工程系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态框架，利用政府和金融机构的数据集，解决数据量、匹配精度和隐私问题，通过全同态加密保障隐私，实现低误判率和高效计算。

Comments 5 pages, 3 figures, IEEE ICASSP'26

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026

Personalizing Causal Audio-Driven Facial Motion via Dynamic Multi-modal Retrieval

通过动态多模态检索个性化因果音频驱动面部运动

Xuangeng Chu, Yu Han, Wei Mao, Shih-En Wei

机构 * The University of Tokyo, Codec Avatars Lab, Meta（东京大学，Codec Avatars实验室，Meta） ； Codec Avatars Lab, Meta（Codec Avatars实验室，Meta） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出一种端到端的因果框架，通过动态多模态风格检索实现个性化因果面部运动生成，解决实时流媒体与高保真个性化之间的矛盾，提升低延迟并利用无结构风格参考。

Inter-Stance: A Dyadic Multimodal Corpus for Conversational Stance Analysis

跨实例：一种双人多模态语料库用于对话立场分析

Xiang Zhang, Xiaotian Li, Taoyue Wang, Nan Bi, Xin Zhou, Cody Zhou, Zoie Wang, Andrew Yang, Yuming Su, Jeff Cohn, Qiang Ji, Lijun Yin

机构 * State University of New York at Binghamton（纽约州立大学布法罗分校） ； Choate Rosemary Hall（乔斯-罗丝玛丽高中） ； Rensselaer Polytechnic Institute（拉特格斯理工学院） ； Ward Melville High School（沃德梅尔维尔高中） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出一个包含多模态双人交互数据的语料库，用于研究对话中的立场分析，包含2D面部视频、3D面部几何、热谱动态、语音行为、生理数据及自我报告情感，通过实验评估双人互动的多模态建模。

Sema: Semantic Transport for Real-Time Multimodal Agents

Sema：面向实时多模态代理的语义传输

Jiaying Meng, Bojie Li

机构 * Pine AI 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 Sema通过结合离散音频分词与混合屏幕表示及突发性分组传输，有效降低带宽并保持任务准确性，解决多模态代理传输中的语义保真问题。

A Synchronized Audio-Visual Multi-View Capture System

同步的音频-视觉多视角捕捉系统

Xiangwei Shi, Gara Dorta, Ruud de Jong, Ojas Shirekar, Chirag Raman

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 本文提出一种同步音频-视觉多视角捕捉系统，通过统一时间架构整合多摄像机和多通道麦克风，实现高质量的音频视频同步记录，支持对话行为的精细分析与建模。

Multiplication in Multimodal LLMs: Computation with Text, Image, and Audio Inputs

多模态大语言模型中的乘法：文本、图像和音频输入的计算

Samuel G. Balter, Ethan Jerzak, Connor T. Jerzak

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； National University of Singapore (NUS)（新加坡国立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态大语言模型在处理不同模态下的多数字乘法时的局限性，提出一个受控的多模态乘法基准，通过因子变化数字长度、稀疏性、表示形式和模态，定义算术负载作为总和和非零数字计数的乘积，揭示模型性能与算术负载的关系。

Comments To appear in ACL Findings (2026)

Multimodal Digital Sensing of Early-Life Laying Hens: A Pilot Study Integrating Thermal, Acoustic, Optical-Flow and Environmental Data

多模态数字传感用于早期生活阶段产蛋鸡的监测：整合热成像、音频、光流和环境数据的试点研究

Yashan Dhaliwal, Daniel Essien, Suresh Neethirajan

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本研究通过多模态传感整合热成像、音频、光流和环境数据，评估了早期产蛋鸡生理和行为发展特征，发现温度、声音和光流数据与年龄相关的变化，为精准养鸡的福利监测提供了基础。

Comments 29 pages, 11 figures, 5 Tables