多模态大模型

SpeechQualityLLM: LLM-Based Multimodal Assessment of Speech Quality

SpeechQualityLLM: 基于大语言模型的多模态语音质量评估

Mahathir Monjur, Shahriar Nirjon

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SpeechQualityLLM是一种基于大语言模型的多模态语音质量评估系统，通过生成文本答案来提供灵活的自然语言接口，减少对大规模测试的依赖。

Comments 9 pages, 5 figures, 8 tables

SENSE models: an open source solution for multilingual and multimodal semantic-based tasks

SENSE模型：一种开源解决方案，用于多语言和多模态基于语义的任务

Salima Mdhaffar, Haroun Elleuch, Chaimae Chellaf, Ha Nguyen, Yannick Estève

机构 * LIA, Avignon Université（阿维尼昂大学LIA） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 SENSE模型通过教师-学生框架实现多语言和多模态语义任务的高效语义对齐，提供开源解决方案并取得竞争力表现。

Comments Accepted to IEEE ASRU 2025

Learning Robot Manipulation from Audio World Models

从音频世界模型中学习机器人操作

Fan Zhang, Michael Gienger

机构 * Honda Research Institute EU（本田欧洲研究院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 本文提出一种生成性潜在流匹配模型，用于通过预测未来音频状态提升机器人操作任务中的多模态推理能力。

OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities

OMNIGUARD：一种跨语言和模态的高效AI安全审查方法

Sahil Verma, Keegan Hines, Jeff Bilmes, Charlotte Siska, Luke Zettlemoyer, Hila Gonen, Chandan Singh

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） 纠错

专题命中 音频语音多模态 ：MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。