多模态大模型

SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome

SIGMMA：基于层次图的多尺度多模态对比对齐：组织病理图像与空间转录组

Dabin Jeong, Amirhossein Vahidi, Ciro Ramírez-Suástegui, Marie Moullet, Kevin Ly, Mohammad Vali Sanian, Sebastian Birk, Yinshui Chang, Adam Boxall, Daniyal Jafree, Lloyd Steele, Vijaya Baskar MS, Muzlifah Haniffa, Mohammad Lotfollahi

机构 * Wellcome Sanger Institute（沃森桑格研究所） ； Cambridge Centre for AI in Medicine（剑桥人工智能医学中心） ； Institute of AI for Health（人工智能与健康研究所） ； Cambridge Stem Cell Institute（剑桥干细胞研究所） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SIGMMA通过多尺度多模态对比对齐，提升组织病理图像与空间转录组的跨模态对应表示，提高基因表达预测和跨模态检索性能。

Understanding the Gain from Data Filtering in Multimodal Contrastive Learning

理解数据过滤在多模态对比学习中的收益

Divyansh Pareek, Sewoong Oh, Simon S. Du

机构 * Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文研究了数据过滤在多模态对比学习中的收益，通过理论分析证明了过滤能有效降低误差，提升模型性能。

Comments 40 pages, 8 figures, 1 table. This work is accepted to the Thirty-ninth Annual Conference on Neural Information Processing Systems, 2025

A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis

语义增强的生成基础模型提升病理图像合成

Xianchao Guan, Zhiyuan Fan, Yifeng Wang, Fuqiang Chen, Yanjiang Zhou, Zengyang Che, Hongxue Meng, Xin Li, Yaowei Wang, Hongpeng Wang, Min Zhang, Heng Tao Shen, Zheng Zhang, Yongbing Zhang

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CRAFTS通过语义增强的生成基础模型提升病理图像合成质量，生成多样化病理图像并增强多种临床任务性能。

Comments 68 pages, 9 figures, 16 tables

Retrieval Enhanced Feedback via In-context Neural Error-book

通过上下文神经错误本增强的检索反馈

Jongyeop Hyun, Bumsoo Kim

机构 * School of CSE Chung-Ang University（计算机科学与工程学院 Chung-Ang 大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 REFINE通过结构化反馈框架，系统分析并缓解多模态推理中的错误，提升推理效率和可扩展性。

Comments Accepted at EMNLP 2025 main

Exploring Network-Knowledge Graph Duality: A Case Study in Agentic Supply Chain Risk Analysis

探索网络-知识图谱二元性：代理供应链风险分析的案例研究

Evan Heus, Rick Bookstaber, Dhruv Sharma

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出基于LLM的代理框架，利用网络与知识图谱的二元性，通过图遍历和上下文壳技术实现供应链风险分析的实时可解释生成。

Comments Accepted to the 2nd Workshop on LLMs and Generative AI in Finance: International Conference on AI in Finance(ICAIF) 2025;7 pages, 3 figures