多模态大模型

DefenSee: Dissecting Threat from Sight and Text -- A Multi-View Defensive Pipeline for Multi-modal Jailbreaks

DefenSee：从视觉和文本中解构威胁——一种多视图防御管道用于多模态对抗突破

Zihao Wang, Kar Wai Fok, Vrizlynn L. L. Thing

专题命中 音频语音多模态 ：multi-modal(title,abstract)；MLLM(abstract)；cross-modal(abstract)

AI总结 DefenSee通过图像变体转录和跨模态一致性检查，提供一种多模态防御方法，有效降低多模态对抗攻击的成功率，提升模型鲁棒性。

AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding

AMUSE：面向代理多说话者理解的音频-视觉基准与对齐框架

Sanjoy Chowdhury, Karren D. Yang, Xudong Liu, Fartash Faghri, Pavan Kumar Anasosalu Vasu, Oncel Tuzel, Dinesh Manocha, Chun-Liang Li, Raviteja Vemulapalli

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； Apple（苹果公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 AMUSE提出一个面向多说话人理解的音频-视觉基准与对齐框架RAFT，通过代理推理提升多模态模型能力。

Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review

多模态方法用于分析学习与训练环境：系统文献综述

Clayton Cohn, Eduardo Davalos, Caleb Vatral, Joyce Horn Fonteles, Hanchen David Wang, Austin Coursey, Surya Rayala, Ashwin T S, Meiyi Ma, Gautam Biswas

机构 * Vanderbilt University（范德比大学） ； Tennessee State University（田纳西州立大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文综述了多模态方法在学习与训练环境中的应用，提出分类法和框架，揭示了多模态整合对行为分析的价值及现存挑战。

Comments Submitted to ACM Computing Surveys. Currently under review

A multimodal Bayesian Network for symptom-level depression and anxiety prediction from voice and speech data

一种多模态贝叶斯网络用于从语音和语音数据中预测症状层面的抑郁和焦虑

Agnes Norbury, George Fairs, Alexandra L. Georgescu, Matthew M. Nour, Emilia Molimpakis, Stefano Goria

机构 * thymia Limited（thymia有限公司） ； Institute of Psychiatry, Psychology & Neuroscience, King’s College London（心理学与神经科学研究院，伦敦国王学院） ； Department of Psychiatry, University of Oxford（牛津大学精神病学系） ； Max Planck UCL Centre for Computational Psychiatry and Ageing, University College London（Max Planck大学学院计算精神病学与衰老中心，伦敦大学学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态贝叶斯网络模型，用于从语音和语音数据中预测抑郁和焦虑症状，通过评估模型性能和公平性，展示了其在临床应用中的潜力。

Journal ref Scientific Reports (2025)

Multi-Modality Collaborative Learning for Sentiment Analysis

多模态协作学习用于情感分析

Shanmin Wang, Chengguang Liu, Qingshan Liu

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出多模态协作学习框架，通过解耦模块和策略模型提升跨模态情感特征学习，实验证明在四个数据库上性能显著提升。

Comments The method has flaws, especially with the decoupling module. During the decoupling process, the heterogeneity of the three modal data and the differences in distribution were not taken into account