多模态大模型

Real-TurnTurk: A Multimodal Turkish Corpus for Turn-Taking Prediction

Real-TurnTurk：用于话轮转换预测的多模态土耳其语语料库

Ahmet Tuğrul Bayrak, Fatma Nur Korkmaz, Bekir Berker Türker, Mustafa Sertaç Türkel, Alper Kaplan

机构 * Data Science and Innovation Ata Technology Platforms（阿塔技术平台数据科学与创新部） ； Digital Operations and Data（数字运营与数据部） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究构建多模态土耳其语对话数据集，采用遗传算法优化规则，实现话轮转换预测，填补土耳其语相关自然对话语料库的空白。

Comments Accepted to INTCEC 2026. This is the author's pre-print version. The final authenticated version will be available through the conference proceedings

H2H Music Improv: A Communication Model and Audio-Visual Dataset for Music Improvisation

H2H音乐即兴：一种音乐即兴的通信模型及视听数据集

Aleksandra Teng Ma, Anthony Cammarota, Jiayi Wang, Alexandria Smith, Cheng-Zhi Anna Huang, Jeffrey Albert, Alexander Lerch

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 该研究针对现有AI即兴系统缺乏通信意识的问题，通过与专业即兴者协作推导通信模型，并构建首个自由即兴的H2H视听数据集，为AI音乐伙伴设计提供新资源。

Comments Published in the Proceedings of the Society for Music Information Retrieval Conference (ISMIR) 2026

Objects as Audio-Visual Modal Sound Fields

作为视听模态声场的物体

Zisen Shao, Zihao Wei, Derong Jin, Ruohan Gao

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文针对现有碰撞声建模方法成本高或需大量数据的问题，提出AV-MSF表示，结合3D高斯溅射与模态参数实现少样本重建，在真实数据集上达最优渲染性能，还支持接触定位等下游应用。

Comments ECCV 2026, Project page: https://zisenshao.github.io/AV-MSF/

PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs

PhaseCoder: 无关麦克风几何的多模态大语言模型空间音频理解

Artem Dementyev, Wazeer Zulfikar, Sinan Hersek, Pascal Getreuer, Anurag Kumar, Vivek Kumar

机构 * Google DeepMind（谷歌DeepMind） ； Media Lab, MIT（媒体实验室，麻省理工学院） ； Google AR（谷歌AR） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 PhaseCoder是一种无需麦克风几何结构的Transformer空间音频编码器，能够生成空间嵌入并使LLM实现复杂空间推理和转录任务。

Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

听而能视：面向视听实例分割的状态感知聆听

Leiye Liu, Miao Zhang, Jiahong Jiang, Jingjing Li, Jialong Zhong, Kai Peng, Tingwei Liu, Wei Ji, Yongri Piao, Huchuan Lu

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出 Hear to See（H2S）模型，通过 ASP 和 ADM 机制解决视听实例分割中重叠声源匹配与异步动态跟踪问题，在 AVISeg 数据集上实现 SOTA 性能，mAP 达 48.54，较此前方法提升 7.8%。

Comments Accepted by ACM MM 2026

MyMentorLLM: A psychotherapy GenAI environment with multimodal voice/text patients, trainees and experts for deliberate practice

MyMentorLLM：一个用于刻意练习的心理治疗生成式人工智能环境，具有多模态语音/文本患者、受训者和专家

Rodolfo Rizzi, Alessandro Grecucci, Massimo Stella

机构 * University of Trento（特伦托大学） ； University of Bari（巴里大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对心理治疗师培训可扩展性问题，提出MyMentorLLM多模态模拟环境用于CBT培训，生成2100个课程，分析情感等方面，发现不同语言模型督导质量有别，患者逼真度等需评估，证明CBT培训刻意练习模拟可行。

Comments 27 pages, 6 figures, 2 tables; 1 supplementary table

LLM-Guided Reinforcement Learning for Audio-Visual Speech Enhancement

基于大语言模型的强化学习音频视觉语音增强

Chih-Ning Chen, Jen-Cheng Hou, Hsin-Min Wang, Shao-Yi Chien, Yu Tsao, Fan-Gang Zeng

机构 * Department of Electrical Engineering, National Taiwan University, Taiwan（台湾大学电子工程系） ； Research Center for Information Technology Innovation, Academia Sinica, Taiwan（中央研究院资讯科技创新研究中心） ； Center for Hearing Research, University of California Irvine, USA（加州大学尔湾分校听力研究中心） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文提出基于大语言模型的可解释奖励模型的音频视觉语音增强框架，利用语言模型生成语音增强的自然语言描述，并通过情感分析模型转换为评分作为PPO奖励，提升语音质量评估效果。

Comments 6 pages, 4 figures, Accepted by Interspeech 2026

Jointly Improving Dialect Identification and ASR in Indian Languages using Multimodal Feature Fusion

使用多模态特征融合联合改进印度语言中的方言识别和自动语音识别

Saurabh Kumar, Amartyaveer, Prasanta Kumar Ghosh

机构 * Department of Electrical Engineering（电气工程系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、eess.AS

AI总结 针对印度低资源且方言差异大的语言，提出多模态框架联合改进方言识别和自动语音识别。用瓶颈编码器和RoBERTa编码器提取融合特征，经门控和注意力编码器处理，提升了识别准确率和降低错误率。

VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval

VisionAId：一款面向视障人士的离线优先多模态安卓助手，具备个性化物品检索功能

Cristian-Gabriel Florea, Stelian Spînu

机构 * The Military Technical Academy ``Ferdinand I'', Bucharest, Romania（费迪南军事技术学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出离线优先多模态安卓助手VisionAId，集成六种端上深度学习模型，通过少样本流水线实现个性化物品检索，结合AR标记、空间音频和距离比例触觉反馈引导用户。

Comments 8 pages, 4 figures. Project repository available at: github.com

Multimodal In-context Learning for ASR of Low-resource Languages

多模态上下文学习用于低资源语言的语音识别

Zhaolin Li, Jan Niehues

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了通过多模态上下文学习提升低资源语言语音识别性能的方法，分析了跨语言迁移学习对模型效率的影响，并提出结合更强声学模型与语音LLM的改进系统。

Comments ACL 2026 findings

VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

VIB-AVSR：基于变分信息瓶颈的噪声鲁棒LLM视听语音识别

Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London（帝国理工学院伦敦分校） ； NatWest AI Research（NatWest人工智能研究） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。

Comments Accepted to INTERSPEECH 2026. Our code is available at https://github.com/PiyushArora1010/VIB-AVSR

Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

低资源场景下尼泊尔口语词汇到情感条件手语虚拟人物的多模态翻译

Jatin Bhusal, Salma Tamang

机构 * Center for Human Mobility and Communications, Prateek Innovations（普拉蒂克创新公司人类移动与通信中心） ； Sunway International Business School, Birmingham City University（双威国际商学院，伯明翰城市大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出NEST-V1框架，通过共享声学编码器实现语音识别与情感分类，生成情感条件尼泊尔手语虚拟人物，在低资源场景下验证了技术可行性。

Comments 15 pages, 5 figures, 9 tables

Towards Accurate and Robust Surveillance Roadside IVD via Trackletized Audio-Visual Reasoning

面向准确鲁棒的监控路边IVD：基于轨迹化的视听推理

Xiwen Li, Xiaoya Tang, Bodong Zhang, Tolga Tasdizen

机构 * Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院） ； Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所） ； Department of Electrical and Computer Engineering, University of Utah（犹他大学电气与计算机工程系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 提出TAVR-IVD框架，通过多目标跟踪将车辆检测链接为轨迹，基于轨迹进行视听融合分类，提升信噪比、稳定时间决策、对齐车辆与麦克风空间先验，并在跨域场景下保持高效鲁棒。

Plug-and-Steer: Decoupling Separation and Selection in Audio-Visual Target Speaker Extraction

Plug-and-Steer：解耦分离与选择的音视频目标说话人提取

Doyeop Kwak, Suyeon Lee, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 提出Plug-and-Steer方法，通过解耦分离与目标选择，利用冻结的纯音频骨干网络和潜引导矩阵实现高保真音视频目标说话人提取。

Comments Accepted by Interspeech 2026; demo available https://plugandsteer.github.io

XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

基于XAI的语音深度伪造检测解释生成：使用免训练多模态大语言模型

Yupei Li, Qiyang Sun, Xiaoliang Wu, Chenxi Wang, Berrak Sisman, Björn W. Schuller

机构 * Imperial College London（帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； University of Southampton（南安普顿大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。

Comments Accepted at Interspeech 2026

Unifying Acoustic Features and Text with Multimodal LLMs for Neurodegenerative Screening

统一声学特征与文本的多模态大语言模型用于神经退行性疾病筛查

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 提出NeurMLLM框架，通过多模态大语言模型融合声谱图、MFCC和文本，实现阿尔茨海默病和帕金森病的精细分期，优于传统方法和现有LLM方法。

Comments IEEE International Conference on Healthcare Informatics, 2026

UniT: Unified Multimodal Chain-of-Thought Test-time Scaling

UniT：统一多模态思维链测试时扩展

Leon Liangyu Chen, Haoyu Ma, Zhipeng Fan, Ziqi Huang, Animesh Sinha, Xiaoliang Dai, Jialiang Wang, Zecheng He, Jianwei Yang, Chunyuan Li, Junzhe Sun, Chu Wang, Serena Yeung-Levy, Felix Juefei-Xu

机构 * Stanford University（斯坦福大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出UniT框架，通过多轮推理、验证和细化实现统一多模态模型的测试时扩展，实验表明短推理轨迹可泛化到长链，顺序思维链比并行采样更高效。

Comments CVPR 2026

Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding

Spatial-Omni：通过FOA编码在多模态大语言模型中实现空间音频理解

Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 提出Spatial-Omni，通过SO-Encoder将一阶Ambisonics空间音频注入现有全模态大语言模型，以轻量方式实现空间音频理解，并在构建的SO-Bench基准上超越现有模型。

Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading

基于sEMG和唇读的鲁棒无声语音合成的跨模态掩蔽

Eder del Blanco, David Gimeno-Gómez, Eva Navas, Carlos-D. Martínez-Hinarejos, Inma Hernáez

机构 * Aholab research group within the HiTZ Center at University of the Basque Country (UPV/EHU)（巴斯克大学HiTZ中心内Aholab研究组） ； PRHLT research center, Universitat Politècnica de València (UPV)（瓦伦西亚理工大学PRHLT研究中心） 纠错

专题命中 音频语音多模态 ：cross-modal(title)；multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 提出掩蔽多模态语音合成框架，联合表面肌电图和唇读信号，通过训练时模态掩蔽提升鲁棒性，在多说话人设置下词错误率降低14个百分点。

Comments 12 pages, 7 figures and 6 tables. Submitted to Transactions on Audio, Speech and Language Processing

Multimodal Group Emotion Recognition In-the-Wild Towards a Privacy-Safe Non-Individual Approach

面向隐私安全的非个体化方法的多模态群体情绪识别

Anderson Augusma

机构 * Université Grenoble Alpes（格勒诺布尔-阿尔卑斯大学） ； Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学） ； Univ. of Glasgow（格拉斯哥大学） ； Inria（法国国家信息与自动化研究所） ； Univ. Paris-Saclay（巴黎-萨克雷大学） ； TU Delft（代尔夫特理工大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两种多模态框架（交叉注意力融合+帧注意力池化，以及变分编码器多解码器），利用集体音视频信号进行群体情绪识别，避免使用个体特征，在保护隐私的同时实现鲁棒性能。

Comments Doctoral thesis

Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

Dr. SHAP-AV：通过Shapley归因解码音频-视觉语音识别中的相对模态贡献

Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London, UK（伦敦帝国学院，英国） ； NatWest AI Research, UK（英国NatWest人工智能研究） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。

Comments Accepted to INTERSPEECH 2026 [Long Paper track]. Project website: https://umbertocappellazzo.github.io/Dr-SHAP-AV

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

JAEGER：模拟物理环境中的联合3D音频-视觉定位与推理

Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出JAEGER框架，通过集成RGB-D观测和多通道一阶环境声学，将音频-视觉大语言模型扩展到3D空间，实现联合空间定位与推理，并引入神经强度向量（Neural IV）提升声源方向估计的鲁棒性。

Comments Accepted to ICML 2026

EigeNet: Geometry-Informed Multi-Modal Learning for Few-shot Novel View RIR Prediction

EigeNet：几何信息引导的多模态学习用于少样本新视角RIR预测

Chong Jing, Zitong Lan, Junan Zhang, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

AI总结 提出EIGENET框架，通过跨视角交替注意力Transformer和几何信息调制块，结合多任务学习，实现少样本新视角房间脉冲响应预测，达到最先进性能。

Comments Code available on https://github.com/FEAfeatherTHER/EigeNet

MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings

MultiSense-Pneumo：面向资源受限环境中肺炎筛查的多模态学习框架

Dineth Jayakody, Pasindu Thenahandi, Chameli Dommanige

机构 * Department of Computer Science, Old Dominion University, VA, USA（计算机科学系，老 Dominion 大学，弗吉尼亚州，美国） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MultiSense-Pneumo多模态原型系统，整合症状、咳嗽音频、语音和胸片，通过可解释的后期融合实现肺炎筛查与分诊支持。

Two-Stage Multimodal Framework for Emotion Mimicry Intensity Prediction

双阶段多模态框架用于情感模仿强度预测

Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

机构 * Augmented Human Lab, National University of Singapore, Singapore（新加坡国立大学增强人类实验室） ； University of Moratuwa, Sri Lanka（斯里兰卡穆拉图瓦大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种双阶段多模态框架，用于从真实视频片段中预测六个连续情绪强度维度，通过结合文本、音频和视觉表示，并可选运动分支，提供了一个实用且可复现的基线。

Comments 10th Affective & Behavior Analysis in-the-wild, CVPR Workshop 2026

Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation

Omni-Customizer: 用于联合音频-视频生成的端到端多模态定制

Yuheng Chen, Qingdong He, Teng Hu, Yuji Wang, Yabiao Wang, Lizhuang Ma, Jiangning Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Omni-Customizer，一种端到端多模态定制框架，旨在实现精确的多模态身份信息绑定和无缝融合，通过引入Omni-Context Fusion模块和Masked TTS Cross-Attention机制，提升多模态定制生成的性能。

Looking and Listening Inside and Outside: Multimodal Artificial Intelligence Systems for Driver Safety Assessment and Intelligent Vehicle Decision-Making

观察与聆听内外：多模态人工智能系统用于驾驶员安全评估和智能车辆决策

Ross Greer, Laura Fleig, Maitrayee Keskar, Erika Maquiling, Giovanni Tapia Lopez, Angel Martinez-Sanchez, Parthib Roy, Jake Rattigan, Mira Sur, Alejandra Vidrio, Thomas Marcotte, Mohan Trivedi

机构 * Machine Intelligence, Interaction, and Imagination (Mi3) Laboratory（机器智能、交互与想象实验室） ； Laboratory for Intelligent and Safe Automobiles (LISA)（智能与安全汽车实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Center for Medicinal Cannabis Research (CMCR)（医药大麻研究中心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出L-LIO框架，通过融合音频与视觉数据提升驾驶员状态评估和环境理解，探讨音频在车辆安全中的作用，包括驾驶员语音分类、乘客指令分析及视觉不足时的音频辅助。

Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence

Nemotron 3 Nano Omni：高效且开放的多模态智能

NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Bilal Kartal, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

机构 * NVIDIA 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Nemotron 3 Nano Omni是首个原生支持音频输入的多模态模型，通过架构、数据和训练方法的改进，在所有模态上均实现了更准确的性能，同时提供更低的推理延迟和更高的吞吐量。

LRS-VoxMM: A benchmark for in-the-wild audio-visual speech recognition

LRS-VoxMM：面向真实场景的音频视觉语音识别基准

Doyeop Kwak, Jeongsoo Choi, Suyeon Lee, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.MM、eess.AS

AI总结 本文提出LRS-VoxMM基准，基于VoxMM数据集，通过预处理生成适合AVSR管道的样本，覆盖更广泛场景和声学条件，并提供噪声、回声和带宽限制的评估集，实验表明其比LRS3更难，视觉信息在音频退化时作用更显著。

Comments Technical report for the LRS-VoxMM dataset release. Project page: https://mm.kaist.ac.kr/projects/voxmm

More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection

不止是部分之和：解码多模态仇恨言论检测中的意图转变

Runze Sun, Yu Zheng, Zexuan Xiong, Zhongjin Qu, Lei Chen, Jie Zhou, Jiwen Lu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出H-VLI基准和ARCADE框架，通过模拟法庭辩论解码多模态仇恨言论中的隐含意图转变，提升检测性能。