多模态大模型

Beyond CLIP: Knowledge-Enhanced Multimodal Transformers for Cross-Modal Alignment in Diabetic Retinopathy Diagnosis

超越CLIP：基于知识的多模态Transformer用于糖尿病视网膜病变诊断中的跨模态对齐

Argha Kamal Samanta, Harshika Goyal, Vasudha Joshi, Tushar Mungle, Pabitra Mitra

机构 * Department of Medicine Stanford University Stanford, USA（医学系 斯坦福大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于知识的多模态Transformer框架，通过整合视网膜图像、临床文本和结构化数据，提升糖尿病视网膜病变诊断中的跨模态对齐与检索性能。

Comments 14 pages, 14 figures

Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation

语义可感知的多模态检索：基于具身记忆的层次化移动操作

Ryosuke Korekata, Quanting Xie, Yonatan Bisk, Komei Sugiura

机构 * Keio University（keio大学） ； Keio AI Research Center（keio人工智能研究中心） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本研究提出Affordance RAG框架，通过构建具有可操作性的具身记忆，提升机器人在开放词汇移动操作中的检索性能和任务成功率。

Comments Accepted to IEEE RA-L, with presentation at ICRA 2026

Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization

通过理论一致的对称多模态偏好优化缓解幻觉

Wenqi Liu, Xuemeng Song, Jiaxi Li, Yinwei Wei, Na Zheng, Jianhua Yin, Liqiang Nie

机构 * Shandong University（山东大学） ； Southern University of Science and Technology（南方科技大学） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SymMPO通过理论一致的对称多模态偏好优化方法，有效缓解多模态大语言模型中的幻觉问题。

Comments NeurIPS 2025

VizDefender: Unmasking Visualization Tampering through Proactive Localization and Intent Inference

VizDefender：通过主动定位和意图推断揭示可视化篡改

Sicheng Song, Yanjie Zhang, Zixin Chen, Huamin Qu, Changbo Wang, Chenhui Li

机构 * East China Normal University（华东师范大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 VizDefender通过半脆弱水印和意图分析模块，主动定位和推断可视化篡改，有效检测和分析数据篡改与视觉编码篡改。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE PacificVis'26 TVCG Track)

RegionRAG: Region-level Retrieval-Augmented Generation for Visual Document Understanding

RegionRAG: 基于区域级别的检索增强生成用于视觉文档理解

Yinglu Li, Zhiying Lu, Zhihang Liu, Yiwei Sun, Chuanbin Liu, Hongtao Xie

机构 * Yinglu Li, Zhiying Lu, Zhihang Liu, Yiwei Sun, Chuanbin Liu, Hongtao Xie（作者） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 RegionRAG通过区域级别检索增强生成，提升视觉文档理解的效率和准确性，实现更高的检索和问答性能。

Through the PRISm: Importance-Aware Scene Graphs for Image Retrieval

通过PRISm：面向图像检索的重要性感知场景图

Dimitrios Georgoulopoulos, Nikolaos Chaidos, Angeliki Dimitriou, Giorgos Stamou

机构 * National Technical University of Athens（国家技术大学雅典） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 PRISm通过重要性感知场景图提升图像检索的语义准确性与人类感知一致性。

Comments 10 pages, 5 figures