视觉大模型 / VLM

Speak While Watching: Unleashing TRUE Real-Time Video Understanding Capability of Multimodal Large Language Models

边看边说：解锁多模态大语言模型的实时视频理解能力

Junyan Lin, Junlong Tong, Hao Wu, Jialiang Zhang, Jinming Liu, Xin Jin, Xiaoyu Shen

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） ； Shanghai Jiao Tong University（上海交通大学） ； Ocean University of China（中国海洋大学） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出并行流式框架，通过三种设计解决多模态大语言模型在实时视频理解中的位置连续性约束问题，实现边看边说的实时交互。

VVTRec: Radio Interferometric Reconstruction through Visual and Textual Modality Enrichment

VVTRec: 通过视觉和文本模态增强进行无线电干涉图重建

Kai Cheng, Ruoqi Wang, Qiong Luo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VVTRec通过融合视觉和文本模态增强，提升无线电干涉图重建的图像质量和准确性。

Correcting misinformation on social media with a large language model

利用大型语言模型纠正社交媒体上的虚假信息

Xinyi Zhou, Ashish Sharma, Amy X. Zhang, Tim Althoff

机构 * Paul G. Allen School of Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学） ； Computer Science Department, Boise State University（计算机科学系，博伊西州立大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI

AI总结 MUSE通过结合视觉语言模型和网络检索，有效纠正社交媒体上的虚假信息，优于GPT-4和社交媒体用户回复。

Comments 52 pages

Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion

浏览与聚焦：通过先验LLM上下文融合理解多模态内容

Ziyue Wang, Chi Chen, Yiqi Zhu, Fuwen Luo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Maosong Sun, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国） ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China（人工智能产业研究院（AIR），清华大学，北京，中国） ； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Jiangsu Collaborative Innovation Center for Language Competence, Jiangsu, China（江苏省语言能力协同创新中心，江苏，中国） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 本文提出浏览与聚焦两阶段范式，通过融合先验LLM上下文提升多模态内容理解，显著提升多图像场景的性能。

Comments 17 pages, 5 figures

Journal ref ACL 2024