多模态大模型

QCaption: Video Captioning and Q&A through Fusion of Large Multimodal Models

QCaption: 通过融合大多模态模型实现视频描述与问答

Jiale Wang, Gee Wah Ng, Lee Onn Mak, Randall Cher, Ng Ding Hei Ryan, Davis Wang

机构 * Department of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程系） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 QCaption通过融合关键帧提取、多模态模型和语言模型，提升视频描述和问答任务的性能，实现44.2%和48.9%的改进。

Journal ref Proceedings of the 27th International Conference on Information Fusion (FUSION), 2024, pp. 1-8

Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?

单模语言代理能否为调整多模态视觉-语言模型提供偏好？

Sazia Tabasum Mim, Jack Morris, Manish Dhakal, Yanming Xiu, Maria Gorlatova, Yi Ding

机构 * Georgia State University（佐治亚州立大学） ； Duke University（杜克大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出通过单模语言代理提供偏好反馈，提升多模态视觉-语言模型的描述能力，实验显示在准确率上提升13%，且人类偏好匹配率达64.6%。

Comments Accepted to IJCNLP-AACL 2025 Findings

Seeing Right but Saying Wrong: Inter- and Intra-Layer Refinement in MLLMs without Training

看到正确却说错：在MLLMs中无需训练的跨层和内层细化

Shezheng Song, Shasha Li, Jie Yu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DualPD通过双视角解码细化策略，无需额外训练提升多模态大语言模型的视觉理解准确性。

A Visual Semantic Adaptive Watermark grounded by Prefix-Tuning for Large Vision-Language Model

基于前缀微调的视觉语义自适应水印

Qi Zheng, Shuliang Liu, Yu Huang, Sihang Jia, Jungang Li, Lyuhao Chen, Junhao Chen, Hanqian Li, Aiwei Liu, Yibo Yan, Xuming Hu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VISA-Mark，一种基于前缀微调的视觉语义自适应水印方法，通过动态视觉证据权重提升视觉与语义保真度，实现高效且可靠的多模态水印技术。

MedGround: Bridging the Evidence Gap in Medical Vision-Language Models with Verified Grounding Data

MedGround: 通过验证的 grounding 数据弥合医学视觉-语言模型中的证据差距

Mengmeng Zhang, Xiaoping Wu, Hao Luo, Fan Wang, Yisheng Lv

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） ； Hupan Lab, Zhejiang Province（浙江省 Hupan 实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MedGround通过生成高质量的医学指称 grounding 数据，提升视觉-语言模型在临床场景中的定位和泛化能力。

Comments 18 pages, 10 figures

VVTRec: Radio Interferometric Reconstruction through Visual and Textual Modality Enrichment

VVTRec: 通过视觉和文本模态增强进行无线电干涉图重建

Kai Cheng, Ruoqi Wang, Qiong Luo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VVTRec通过融合视觉和文本模态增强，提升无线电干涉图重建的图像质量和准确性。

SAPL: Semantic-Agnostic Prompt Learning in CLIP for Weakly Supervised Image Manipulation Localization

SAPL: CLIP中基于语义无关的提示学习用于弱监督图像篡改定位

Xinghao Wang, Changtao Miao, Dianmo Sheng, Tao Gong, Qi Chu, Nenghai Yu, Quanchen Zou, Deyue Zhang, Xiangzheng Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SAPL通过语义无关的提示学习和边缘信息利用，提升CLIP在弱监督图像篡改定位中的性能。

Correcting misinformation on social media with a large language model

利用大型语言模型纠正社交媒体上的虚假信息

Xinyi Zhou, Ashish Sharma, Amy X. Zhang, Tim Althoff

机构 * Paul G. Allen School of Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学） ； Computer Science Department, Boise State University（计算机科学系，博伊西州立大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 MUSE通过结合视觉语言模型和网络检索，有效纠正社交媒体上的虚假信息，优于GPT-4和社交媒体用户回复。

Comments 52 pages

Studying Illustrations in Manuscripts: An Efficient Deep-Learning Approach

研究手稿中的插图：一种高效的深度学习方法

Yoav Evron, Michal Bar-Asher Siegal, Michael Fire

机构 * Faculty of Computer and Information Science, Ben-Gurion University of the Negev, Be’er Sheva, Israel（计算机与信息科学学院，内盖夫本· Gurion大学，贝尔谢巴，以色列） ； The Goldstein-Goren Department of Jewish Thought, Ben-Gurion University of the Negev, Be’er Sheva, Israel（犹太思想Goldstein-Goren部门，内盖夫本· Gurion大学，贝尔谢巴，以色列） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种高效的深度学习方法，用于大规模分析历史插图手稿，通过多模态描述和共享表示空间揭示视觉模式和跨手稿关系。

Comments 17 pages, 5 figures

CLIP-GS: Unifying Vision-Language Representation with 3D Gaussian Splatting

CLIP-GS: 通过3D高斯点划法统一视觉-语言表示

Siyu Jiao, Haoye Dong, Yuyang Yin, Zequn Jie, Yinlong Qian, Yao Zhao, Humphrey Shi, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； National University of Singapore（新加坡国立大学） ； Meituan（美团） ； Georgia Institute of Technology（佐治亚理工学院） ； Picsart AI Research (PAIR)（Picsart AI研究（PAIR）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 CLIP-GS通过3D高斯点划法统一视觉-语言表示，利用对比损失和图像投票损失提升多模态检索和分类性能。