多模态大模型

Open World Knowledge Aided Single-Cell Foundation Model with Robust Cross-Modal Cell-Language Pre-training

开放世界知识辅助的单细胞基础模型与鲁棒跨模态细胞-语言预训练

Haoran Wang, Xuanyi Zhang, Shuangsang Fang, Longke Ran, Ziqing Deng, Yong Zhang, Yuxiang Li, Shaoshuai Li

专题命中 跨模态检索 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 OKR-CELL通过开放世界知识和鲁棒跨模态预训练，提升单细胞基础模型在细胞-语言跨模态任务中的表现。

Comments 41 pages

Multi-task Cross-modal Learning for Chest X-ray Image Retrieval

多任务跨模态学习用于胸部X射线图像检索

Zhaohui Liang, Sivaramakrishnan Rajaraman, Niccolo Marini, Zhiyun Xue, Sameer Antani

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多任务学习框架，通过改进BiomedCLIP模型，提升胸部X射线图像与文本的跨模态检索性能。

SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes

SceneAlign: 在复杂视觉场景中将多模态推理对齐到场景图

Chuhan Wang, Xintong Li, Jennifer Yuntong Zhang, Junda Wu, Chengkai Huang, Lina Yao, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Toronto（多伦多大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 SceneAlign通过利用场景图进行结构干预，提升多模态推理在复杂视觉场景中的准确性和忠实性。

Comments Preprint

Tensor-DTI: Enhancing Biomolecular Interaction Prediction with Contrastive Embedding Learning

张量-DTI：通过对比嵌入学习增强生物分子相互作用预测

Manel Gil-Sorribes, Júlia Vilalta-Mor, Isaac Filella-Mercè, Robert Soliva, Álvaro Ciudad, Víctor Guallar, Alexis Molina

机构 * Nostrum Biodiscovery ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； Faculty of Pharmacy and Food Sciences, University of Barcelona（巴塞罗那大学药学与食品科学系） ； Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究机构） ； Data Science Dpt., Almirall S.A.（Almirall S.A.数据科学部门） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 Tensor-DTI通过整合多模态嵌入与对比学习，提升生物分子相互作用预测的准确性与可靠性。

Comments Accepted at the Generative and Experimental Perspectives for Biomolecular Design Workshop at ICLR 2025 and at the Learning Meaningful Representations of Life Workshop at ICLR 2025