视觉大模型 / VLM

Explicit Abstention Knobs for Predictable Reliability in Video Question Answering

可预测可靠性中的显式回避调节器用于视频问答

Jorge Ortiz

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Rutgers University（罗格斯大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过置信度阈值控制视频问答中的错误率，验证了在分布偏移下置信度回避机制的可靠性。

Comments Preprint. Diagnostic study of confidence-based abstention under evidence truncation

MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts

MoST：通过模态感知混合专家混合语音和文本

Yuxuan Lou, Kai Yang, Yang You

机构 * School of Computer Science, National University of Singapore（新加坡国立大学计算机科学学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 MoST通过模态感知混合专家架构，实现语音和文本的高效融合，首次公开了基于混合专家的语音-文本大语言模型。

ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding

ROMA: 实时多模态助手与交互式流式理解

Xueyun Tian, Wei Li, Bingbing Xu, Heng Dong, Yuanzhuo Wang, Huawei Shen

机构 * CAS Key Laboratory of AI Safety, Institute of Computing Technology, CAS, Beijing, China（中国科学院人工智能安全重点实验室，计算技术研究所，中国科学院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 ROMA通过实时多模态处理和交互式流式理解，实现统一的反应性和主动性交互，展现强大的多模态处理能力。

Comments Our project page is available at https://eureka-maggie.github.io/ROMA_show

Optimizing Multimodal LLMs for Egocentric Video Understanding: A Solution for the HD-EPIC VQA Challenge

优化多模态大语言模型以实现视角视频理解：HD-EPIC VQA挑战的解决方案

Sicheng Yang, Yukai Huang, Shitong Sun, Weitong Cai, Jiankang Deng, Jifei Song, Zhensong Zhang

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出一种优化多模态大语言模型的方法，通过预处理、微调和时间链式思考提示，在HD-EPIC VQA挑战中实现了41.6%的准确率。

Comments 4 pages, 1 figure, CVPR 2025 EgoVis Workshop, 2nd Place in HD-EPIC Challenge

Influential Training Data Retrieval for Explaining Verbalized Confidence of LLMs

用于解释大语言模型 verbalized 自信心的有影响力训练数据检索

Yuxi Xia, Loris Schoenegger, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna, Vienna, Austria（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, Vienna, Austria（UniVie计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna, Vienna, Austria（维也纳大学语言与文化研究系） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 TracVC通过追踪训练数据来解释LLMs表达自信心的来源，揭示了模型可能依赖无关数据模仿自信，而非真实内容基础。