多模态大模型

EmpaAva: An Open-source Agentic 3D-Avatar Empathetic Live Chatbot

EmpaAva：开源智能体式3D化身共情实时聊天机器人

Jie Yang, Wenhao Xu, Shuhui Lin, Hao Fei

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Oxford（牛津大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CL

AI总结 该研究提出首个开源智能体式3D化身共情聊天机器人EmpaAva，通过三智能体架构实现闭环多模态交互，在评估中优于多款基准模型，将开源并提供在线演示。

Comments Project&Demo: https://empaava.top/

HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models

HyPASE：用于大音频语言模型的参数高效语音情感微调框架的双曲几何方法

Tian Jin, Ruikang Zhang, Zefeng Zhao, Ding Luo, Jin Zeng

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。

OPOD: On-Policy Omni Distillation

OPOD：基于策略的全模态蒸馏

Tong Zhao, Yuyang Hu, Yutao Zhu, Reed Li, Haijin Liang, Haibo Shi, Yu Lu, Zhicheng Dou

机构 * Tencent（腾讯） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；omni-modal(abstract)；分类 cs.AI

AI总结 研究旨在提升全模态模型能力，提出基于策略的全模态蒸馏（OPOD）方法，将学生响应路由到对应模态教师，调整教师影响，训练后仅留可部署的全模态模型，在多基准测试和多种骨干网络规模下取得优异成绩。

FillGauss: Fine-Grained Filling-Aware Impact Sound Generation for 3D Gaussian Splatting

FillGauss：用于3D高斯点云的细粒度填充感知撞击声生成

Chen Yang, Ganye Wen, Bin Huang, Jiayi Lyu, Zehai Niu, Linlin Shen, Jinbao Wang

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 研究针对多模态AI中从视觉合成撞击声的挑战，提出细粒度填充感知撞击声生成任务。基于FillImpact数据集，构建FillGauss框架，融合多种要素实现位置、撞击物及填充感知音频生成，达物理基础跨模态音频生成新水平。

Learning Speaker Identity Beyond Language and Modality Constraints: Insights from the POLY-SIM 2026 Challenge

超越语言和模态限制学习说话者身份：来自POLY-SIM 2026挑战赛的见解

Marta Moscati, Muhammad Saad Saeed, Marina Zanoni, Mubashir Noman, Rohan Kumar Das, Monorama Swain, Yassin Terraf, Yufang Hou, Elisabeth Andre, Khalid Mahmood Malik, Markus Schedl, Shah Nawaz

机构 * Institute of Computational Perception, Johannes Kepler University（约翰内斯·开普勒大学计算感知研究所） ； University of Michigan-Flint（密歇根大学弗林特分校） ； BDO DIGITAL Gmbh（BDO数字有限公司） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Fortemedia（富特媒体公司） ； College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院） ； IT:U Interdisciplinary Transformation University（IT:U跨学科转型大学） ； University of Augsburg（奥格斯堡大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 POLY-SIM 2026挑战赛旨在解决多模态说话者识别中语言和模态限制问题，针对实际应用中信息缺失、多语言等挑战，为比较解决方案提供标准化设置。

Comments Accepted at ACM MM 2026

LightMem-Ego: Your AI Memory for Everyday Life

LightMem-Ego：适用于日常生活的人工智能记忆

Yijun Chen, Boyi Xiao, Yixian Zhao, Haoting Xia, Buqiang Xu, Jizhan Fang, Yanya Li, Yaqi Zheng, Xuehai Wang, Zirui Xue, Liuxin Zhang, Hui Li, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； South China University of Technology（华南理工大学） ； Central China Normal University（华中师范大学） ； Lenovo Group Limited（联想集团有限公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。

Comments Ongoing work

Conditional Flow Matching for Visually-Guided Acoustic Highlighting

基于条件流匹配的视觉引导声学增强

Hugo Malard, Gael Le Lan, Daniel Wong, David Lou Alon, Yi-Chiao Wu, Sanjeel Parekh

机构 * LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院） ； Meta 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 提出条件流匹配生成框架解决视觉引导音频重混中的多对多映射问题，通过滚动损失和跨模态融合模块实现优于判别方法的性能。

READ More than What You See: Reinforcement Learning for Accurate and Coherent Audio Description Generations

READ：超越所见——基于强化学习的准确连贯音频描述生成

Bo Fang, Xinyao Zhang, Yuxin Song, Hui Zhang, Hang Zhou, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc（百度公司） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出首个基于强化学习的音频描述生成框架READ，通过序列级优化和连贯性奖励，显著提升生成准确性与连贯性。

Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings

评估大型语言模型在会议中的收话人、话轮转换和下一说话人预测能力

Ryo Fukuda, Takatomo Kano, Siddhant Arora, Marc Delcroix, Naohiro Tawara, Atsunori Ogawa, Yuya Chiba, Atsushi Ando, William Chen, Shinji Watanabe

机构 * NTT, Inc., Japan（日本电信电话公司） ； Language Technologies Institute, Carnegie Mellon University, USA（卡内基梅隆大学语言技术研究所） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CL

AI总结 利用大型语言模型（LLMs）研究多模态多人对话中的话轮转换，构建了收话人检测、话轮转换预测和下一说话人预测三个任务的评估框架，实验表明LLMs在下一说话人预测上优于监督模型和人类，但多模态LLM在收话人检测和话轮转换预测上仍低于人类水平。

Comments Accepted to INTERSPEECH 2026

Membership Inference Attacks against Large Audio Language Models

针对大型音频语言的成员推断攻击

Jia-Kai Dong, Yu-Xiang Lin, Hung-Yi Lee

机构 * National Taiwan University（国立台湾大学） ； NTU Artificial Intelligence Center of Research Excellence（国立成功大学人工智能卓越研究中心） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 首次系统评估大型音频语言模型的成员推断攻击，提出盲基线协议控制分布偏移，发现跨模态记忆仅源于说话人声纹与文本绑定。

Comments Accepted by Interspeech 2026

EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units

EmoZone-Talker: 基于面部动作单元的音频驱动3DGS说话人头部的区域语义控制

Tingting Chen, Shaojun Wang, Huaye Zhang, Diqiong Jiang, Chenglizhao Chen

机构 * China University of Petroleum (East China)（中国石油大学（华东）） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出EmoZone-Talker框架，通过区域解耦和时序建模解决音频与表情信号的冲突，实现精细、可解释的面部表情控制。

Listen, Look, and Learn: Learning Without Forgetting through SAM-Audio

听、看、学：通过SAM-Audio实现无遗忘学习

Avi Gupta, Nilotpal Sinha, Vishnu Raj, Sambuddha Saha, Pratik Joshi, Koteswar Rao Jerripothula, Tammam Tillo

机构 * University of Washington（华盛顿大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出一种利用SAM-Audio多模态先验的类增量学习方法，通过引导注意力机制和双层蒸馏策略，在音频-视觉场景中缓解灾难性遗忘，性能优于现有方法。

DetectZoo: A Unified Toolkit for AI-Generated Content Detection Across Text, Audio, and Image Modalities

DetectZoo：一个用于跨文本、音频和图像模态的AI生成内容检测的统一工具包

Sajad Ebrahimi, Nima Jamali, Bardia Shirsalimian, Kelly McConvey, Wentao Zhang, Jalehsadat Mahdavimoghaddam, Maksym Taranukhin, Maura Grossman, Vered Shwartz, Yuntian Deng, Ebrahim Bagheri

机构 * University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； Toronto Metropolitan University（多伦多 Metropolitan 大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出DetectZoo，一个首个统一的多模态AI生成内容检测工具包，通过标准化数据预处理、评估流程和集成61个检测器与22个基准数据集，实现公平可重复的基准测试。

Attend to Anything: Foundation Model for Unified Human Attention Modeling

关注一切：统一人类注意力建模的基础模型

Wenzhuo Zhao, Ronghao Xian, Keren Fu, Qijun Zhao

机构 * College of Computer Science, Sichuan University, Chengdu, 610065, China（四川大学计算机学院） ； National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China（合成视觉基础科学国家重点实验室） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出 Attend to Anything Model (AAM)，一种多模态基础模型，通过层次化语言提示和双曲空间嵌入统一图像、视频和视听任务中的注意力建模，并在16个基准上平均提升6%，视频推理加速约4倍。

Comments Accepted to ICML 2026

VAANI: Capturing the language landscape for an inclusive digital India

VAANI：为包容性数字印度捕捉语言景观

Sujith Pulikodan, Abhayjeet Singh, Agneedh Basu, Nihar Desai, Pavan Kumar J, Pranav D Bhat, Raghu Dharmaraju, Ritika Gupta, Sathvik Udupa, Saurabh Kumar, Sumit Sharma, Visruth Sanka, Dinesh Tewari, Harsh Dhand, Amrita Kamat, Sukhwinder Singh, Shikhar Vashishth, Partha Talukdar, Raj Acharya, Prasanta Kumar Ghosh

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本文提出大规模多模态数据集VAANI，覆盖印度165个地区、105种语言，通过图像提示收集自发语音并严格质控，旨在推动包容性语音技术发展。

2nd of the 5th PVUW MeViS-Audio Track: ASR-SaSaSa2VA

第五届PVUW MeViS-Audio Track的第二名：ASR-SaSaSa2VA

Zhiyu Wang, Xudong Kang, Shutao Li

机构 * Hunan University（湖南大学） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出ASR-SaSaSa2VA框架，通过ASR将音频转换为文本描述，结合预训练文本引导视频分割模型实现高效的音频引导视频分割，解决了计算复杂度高、对齐困难和数据依赖性强的问题。

Comments 5 pages

HumDial-EIBench: A Human-Recorded Multi-Turn Emotional Intelligence Benchmark for Audio Language Models

HumDial-EIBench: 一个用于音频语言模型的情感智能基准测试

Shuiyuan Wang, Zhixian Zhao, Hongfei Xue, Chengyou Wang, Shuai Wang, Hui Bu, Xin Xu, Lei Xie

机构 * Nanjing University, China（南京大学，中国） ； AISHELL, China（AISHELL，中国） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本文提出HumDial-EIBench，通过真实人类对话评估音频语言模型的情感智能，采用多选题和对抗性干扰项减少主观评分偏差，发现大多数模型在多轮情感跟踪和隐含因果推理上表现不佳。

End-to-end Listen, Look, Speak and Act

端到端听、看、说和行动

Siyin Wang, Wenyi Yu, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出ELLSA模型，首个端到端全双工系统，实现视觉、文本、语音和行动的同步感知与生成，支持对话轮替、指令拒绝等复杂交互行为，推动更自然的人工智能发展。

Comments 22 pages, 8 figures

Journal ref ICLR 2026

EgoSound: Benchmarking Sound Understanding in Egocentric Videos

EgoSound：评估egocentric视频中声音理解的基准测试

Bingwen Zhu, Yuqian Fu, Qiaole Dong, Guolei Sun, Tianwen Qian, Yuzheng Wu, Danda Pani Paudel, Xiangyang Xue, Yanwei Fu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nankai University（南开大学） ； East China Normal University（华东师范大学） ； KAUST（卡塔尔大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 EgoSound首次系统评估多模态大语言模型在egocentric视频中的声音理解能力，包含7个任务分类，揭示当前模型在空间和因果理解上的局限。

Comments Accepted by CVPR 2026

Environmental Footprint of GenAI Research: Insights from the Moshi Foundation Model

生成式AI研究的环境足迹：来自Moshi基金会模型的洞察

Marta López-Rauhut, Loic Landrieu, Mathieu Aubry, Anne-Laure Ligozat

机构 * LIGM, CNRS, Univ Gustave Eiffel, ENPC, Institut Polytechnique de Paris（LIGM, CNRS, 古斯塔夫·埃菲尔大学, ENPC, 巴黎综合理工学院） ； Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学, CNRS, LISN） ； Université Paris-Saclay, CNRS, ENSIIE, LISN（巴黎-萨克雷大学, CNRS, ENSIIE, LISN） ； Kyutai 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文通过细粒度分析Moshi模型的计算消耗，首次量化了生成式多模态大语言模型（MLLM）研究的环境影响，揭示了计算密集型研究的能耗与环境成本，为可持续AI研究提供指导。

Comments 28 pages, 12 figures, 8 tables

Logics-Parsing-Omni Technical Report

逻辑-解析-全能技术报告

Xin An, Jingyi Cai, Xiangyang Chen, Huayao Liu, Peiting Liu, Peng Wang, Bei Yang, Xiuwen Zhu, Yongfan Chen, Yan Gao, Yuan Gao, Baoyu Hou, Guangzheng Hu, Shuzhao Li, Weixu Qiao, Weidong Ren, Yanan Wang, Boyu Yang, Fan Yang, Jiangtao Zhang, Lixin Zhang, Lin Qu, Hu Wei, Xiaoxiao Xu, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.AI

AI总结 本文提出Omni Parsing框架，通过三级层次结构实现多模态解析，整合整体检测、细粒度识别和多级解释，构建证据锚定机制以提升逻辑推理能力，释放Logics-Parsing-Omni模型并发布评估基准。

JoyStreamer: Unlocking Highly Expressive Avatars via Harmonized Text-Audio Conditioning

JoyStreamer: 通过和谐的文本-音频条件化解锁高度表达性的化身

Ruikui Wang, Jinheng Feng, Lang Tian, Huaishao Luo, Chaochao Li, Liangbo Zhou, Huan Zhang, Youzheng Wu, Xiaodong He

机构 * JD Technology（京东科技） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出JoyAvatar框架，通过双教师增强训练算法和动态调节多模态条件，提升视频化身生成的自然性和时序一致性，优于现有模型并在多人群对话等复杂应用中表现突出。

Crab: Multi Layer Contrastive Supervision to Improve Speech Emotion Recognition Under Both Acted and Natural Speech Condition

Crab：多层对比监督以提升在表演和自然语音条件下的语音情感识别

Lucas H. Ueda, João G. T. Lima, Paula D. P. Costa

机构 * Dept. of Computer Engineering and Automation (DCA), Faculdade de Engenharia Elétrica e de Computação（计算机工程与自动化系（DCA）、电气与计算机工程学院） ； AI Lab.（人工智能实验室） ； Institute of Computing, Universidade Estadual de Campinas, UNICAMP（计算学院，坎皮纳斯州立大学，UNICAMP） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本文提出Crab模型，通过多层对比监督策略提升语音情感识别在表演和自然语音条件下的性能，采用跨模态Transformer架构和多任务对比学习，有效解决类别不平衡问题。

Comments IEEE Transactions on Affective Computing submission

AcoustEmo: Open-Vocabulary Emotion Reasoning via Utterance-Aware Acoustic Q-Former

AcoustEmo：通过语句感知的声学Q-Former实现开放词汇情绪推理

Liyun Zhang, Xuanmeng Sha, Shuqiong Wu, Fengkai Liu

专题命中 音频语音多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.MM

AI总结 AcoustEmo通过引入语句感知的声学Q-Former，利用时间同步滑动窗口提取段级音频token，提升复杂情绪推理能力，在EMER任务中优于基线模型。

Comments 6 pages

Acoustic and Semantic Modeling of Emotion in Spoken Language

语音中情感的声学与语义建模

Soumya Dutta

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 本研究通过联合建模声学与语义信息，提升语音中情感的理解与合成能力，提出情感意识的预训练框架和对话场景下的情感识别方法，以及无文本的语音情感风格转换技术。

Comments PhD thesis

Interpretable Perception and Reasoning for Audiovisual Geolocation

可解释的视听定位与推理

Yiyang Su, Xiaoming Liu

专题命中 音频语音多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种基于可解释感知和多模态推理的视听定位框架，通过合成声学原子与视觉特征，实现高精度全球定位。

SPARK: Jailbreaking T2V Models by Synergistically Prompting Auditory and Recontextualized Knowledge

SPARK：通过协同提示音频与重新上下文化知识实现T2V模型的劫持

Zonghao Ying, Moyang Chen, Nizhang Li, Zhiqiang Wang, Wenxin Zhang, Quanchen Zou, Zonglei Jing, Aishan Liu, Xianglong Liu

机构 * State Key Laboratory of Complex \& Critical Software Environment, Beihang University ； College of Science, Mathematics ； Technology, Wenzhou-Kean University ； 360 AI Security Lab ； Faculty of Innovation Engineering, Macau University of Science ； Hong Kong University of Science ； University of Chinese Academy of Sciences 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 SPARK通过模块化提示设计，利用音频与视觉关联模式，实现对T2V模型的高效劫持，提升攻击成功率23%。

The USTC-NERCSLIP Systems for the CHiME-9 MCoRec Challenge

USTC-NERCSLIP系统参加CHiME-9 MCoRec挑战

Ya Jiang, Ruoyu Wang, Jingxuan Zhang, Jun Du, Yi Han, Zihao Quan, Hang Chen, Yeran Yang, Kongzhi Zheng, Zhuo Chen, Yanhui Tu, Shutong Niu, Changfeng Xi, Mengzhi Wang, Zhongbin Wu, Jieru Chen, Henghui Zhi, Weiyi Shi, Shuhang Wu, Genshun Wan, Jia Pan, Jianqing Gao

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 USTC-NERCSLIP系统通过多模态级联方法和LLM技术，在CHiME-9 MCoRec挑战中实现15.70%的联合ASR-聚类错误率。

Towards Seamless Interaction: Causal Turn-Level Modeling of Interactive 3D Conversational Head Dynamics

迈向无缝交互：交互式3D对话头部动力学的因果回合级建模

Junjie Chen, Fei Wang, Zhihao Huang, Qing Zhou, Kun Li, Dan Guo, Linfeng Zhang, Xun Yang

机构 * HFUT（合肥工业大学） ； IAI, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心） ； USTC（中国科学技术大学） ； SJTU（上海交通大学） ； TeleAI, China Telecom（TeleAI，中国电信） ； NWPU（西北工业大学） ； UAEU（阿联酋大学） ； AHPU（安徽大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 TIMAR通过因果回合级建模，实现了交互式3D对话头部动态的高效生成，提升了对话的表达性和时序一致性。

Eureka-Audio: Triggering Audio Intelligence in Compact Language Models

Eureka-Audio: 在紧凑语言模型中触发音频智能

Dan Zhang, Yishu Lei, Jing Hu, Shuwei He, Songhe Deng, Xianlong Luo, Danxiang Zhu, Shikun Feng, Rui Liu, Jingzhou He, Yu Sun, Hua Wu, Haifeng Wang

专题命中 音频语音多模态 ：cross-modal(abstract)；omni-modal(abstract)；分类 cs.AI

AI总结 Eureka-Audio通过紧凑架构和统一端到端设计，在低参数量下实现高性能音频理解，匹配甚至超越大模型表现。

Comments 23 pages, 4 figures