多模态大模型

CoMMIT: Coordinated Multimodal Instruction Tuning

Xintong Li, Junda Wu, Tong Yu, Yu Wang, Xiang Chen, Jiuxiang Gu, Lina Yao, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Adobe Research（Adobe研究） ； The University of New South Wales（新南威尔士大学） ； CSIRO’s Data61（澳大利亚联邦科学与工业研究组织的数据61） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

Comments 9 pages

A Knowledge-Guided Cross-Modal Feature Fusion Model for Local Traffic Demand Prediction

Lingyu Zhang, Pengfei Xu, Guobin Wu, Jian Liang, Ruiyang Dong, Yunhai Wang, Xuan Song

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

Multimodal Contrastive Pretraining of CBCT and IOS for Enhanced Tooth Segmentation

Moo Hyun Son, Juyoung Bae, Zelin Qiu, Jiale Peng, Kai Xin Li, Yifan Lin, Hao Chen

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Division of Paediatric Dentistry and Orthodontics, Faculty of Dentistry（牙科学院儿童牙科与正畸科） ； The University of Hong Kong（香港大学） ； Delun Dental Hospital（德尔伦牙科医院） ； Department of Chemical and Biological Engineering（化学与生物工程系） ； Division of Life Science（生命科学系） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） ； State Key Laboratory of Nervous System Disorders（神经系统紊乱国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

FusWay: Multimodal hybrid fusion approach. Application to Railway Defect Detection

Alexey Zhukov, Jenny Benois-Pineau, Amira Youssef, Akka Zemmari, Mohamed Mosbah, Virginie Taillandier

机构 * University Bordeaux, CNRS, Bordeaux INP, INRIA, LaBRI（波尔多大学、国家科学研究中心、波尔多国立理工学院、INRIA、LaBRI） ； SNCF, DIR TECHNOLOGIES INNOVATION ET PROJETS GROUPE, IR - DPISF TECH4RAIL - TLI（法国国家铁路公司、技术与项目集团、IR - DPISF TECH4RAIL - TLI） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Towards Visuospatial Cognition via Hierarchical Fusion of Visual Experts

Qi Feng

机构 * Kyoto University（京都大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 26 pages, 19 figures, 4 tables

BALI: Enhancing Biomedical Language Representations through Knowledge Graph and Language Model Alignment

Andrey Sakhovskiy, Elena Tutubalina

机构 * AIRI ； Sber AI ； ISP RAS Research Center for Trusted AI（俄罗斯科学院信息与系统研究所可信人工智能研究中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 1 figure, published in "The 48th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)"

Journal ref Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval (2025). Association for Computing Machinery, 1152-1164

Parse Graph-Based Visual-Language Interaction for Human Pose Estimation

Shibang Liu, Xuemei Xie, Guangming Shi

机构 * Shibang Liu ； Xuemei Xie ； Guangming Shi 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

Prompt the Unseen: Evaluating Visual-Language Alignment Beyond Supervision

Raehyuk Jung, Seungjun Yu, Hyunjung Shim

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

Comments Link to publicly available codes is added

SAMba-UNet: SAM2-Mamba UNet for Cardiac MRI in Medical Robotic Perception

Guohao Huo, Ruiting Dai, Ling Shao, Hao Tang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

Morphology-based non-rigid registration of coronary computed tomography and intravascular images through virtual catheter path optimization

Karim Kadry, Abhishek Karmakar, Andreas Schuh, Kersten Peterson, Michiel Schaap, David Marlevi, Charles Taylor, Elazer Edelman, Farhad Nezami

机构 * Max L. Olender ； Andreas Schuh ； Abhishek Karmakar ； Kersten Petersen ； Michiel Schaap ； David Marlevi ； Charles Taylor ； Elazer R. Edelman ； Farhad R. Nezami 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted to IEEE Transactions in Medical Imaging