多模态大模型

MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training

MaD-Mix: 通过潜在空间耦合实现多模态数据混合用于视觉-语言模型训练

Wanyun Xie, Francesco Tonin, Volkan Cevher

机构 * LIONS, EPFL（EPFL 雷奥尼实验室） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；image-text(abstract)

AI总结 MaD-Mix通过潜在空间耦合实现多模态数据混合，提升视觉-语言模型训练效率，减少训练步骤并增强复杂场景下的性能。

XAI-CLIP: ROI-Guided Perturbation Framework for Explainable Medical Image Segmentation in Multimodal Vision-Language Models

XAI-CLIP: 通过区域感兴趣引导扰动框架实现多模态视觉-语言模型中可解释的医学图像分割

Thuraya Alzubaidi, Sana Ammar, Maryam Alsharqi, Islem Rekik, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Imperial College London（伦敦帝国学院） ； KFUPM-SDAIA Joint Research Centre for Artificial Intelligence（KFUPM-SDAIA联合人工智能研究中心） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 XAI-CLIP通过多模态视觉-语言模型嵌入实现医学图像分割的可解释性和效率提升，减少计算开销并提高分割精度。

RAPTOR-AI for Disaster OODA Loop: Hierarchical Multimodal RAG with Experience-Driven Agentic Decision-Making

RAPTOR-AI用于灾难OODA循环：基于经验驱动的多模态RAG框架

Takato Yasuno

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 RAPTOR-AI通过分层多模态RAG框架，结合经验驱动的代理控制和LoRA适应，提升灾害响应中的检索精度、情境基础性和任务分解准确性。

Comments 8 pages, 3 figures, 2 tables

LUCID-SAE: Learning Unified Vision-Language Sparse Codes for Interpretable Concept Discovery

LUCID-SAE：学习统一的视觉-语言稀疏代码以发现可解释的概念

Difei Gu, Yunhe Gao, Gerasimos Chatzoudis, Zihan Dong, Guoning Zhang, Bangwei Guo, Yang Zhou, Mu Zhou, Dimitris Metaxas

机构 * Rutgers University（罗杰斯大学） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 LUCID-SAE通过统一视觉-语言稀疏编码方法，实现了跨模态的可解释概念发现与多模态表示的鲁棒性提升。

CoTZero: Annotation-Free Human-Like Vision Reasoning via Hierarchical Synthetic CoT

CoTZero：通过分层合成CoT实现无标注的人类级视觉推理

Chengyi Du, Yazhe Niu, Dazhong Shen, Luxin Xu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong MMLab（香港中文大学 MMLab） ； The College of Computer Science and Technology（计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 CoTZero通过双阶段数据合成和认知对齐训练，实现无标注的人类级视觉推理，提升模型的层次推理和泛化能力。

Comments 16 pages 6 figures

EAGLE: Elevating Geometric Reasoning through LLM-empowered Visual Instruction Tuning

通过LLM赋能的视觉指令微调提升几何推理能力

Zhihao Li, Yao Du, Yang Liu, Yan Zhang, Yufang Liu, Mengdi Zhang, Xunliang Cai, Charles Ling, Boyu Wang

机构 * Department of Computer Science, Western University（计算机科学系，西部大学） ； Meituan Inc.（美团公司） ； Department of Automation, Tsinghua University（自动化系，清华大学） ； School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，东华大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 EAGLE通过视觉增强框架提升几何推理能力，解决MLLMs在几何理解与视觉感知上的不足。

Comments revised version

Toward Vision-Language Assistants for Radio Astronomical Source Analysis

迈向射电天文源分析的视觉-语言助手

S. Riggi

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出radio-llava，一种针对射电天文的视觉-语言助手，通过指令微调提升多任务性能，但发现专用视觉模型仍更优，且微调导致通用任务性能下降。

Comments 5 pages, 3 figures, Proceedings IAU Symposium No. 397, 2025

RoboPaint: From Human Demonstration to Any Robot and Any View

RoboPaint：从人类示范到任何机器人和任何视角

Jiacheng Fan, Zhiyue Zhao, Yiqian Zhang, Chao Chen, Peide Wang, Hengdi Zhang, Zhengxue Cheng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 RoboPaint通过真实-仿真-真实数据流程，将人类示范转化为机器人训练数据，实现高效、低成本的复杂灵巧操作训练。

Comments 17 pages