多模态大模型

SGAligner++: Cross-Modal Language-Aided 3D Scene Graph Alignment

Binod Singh, Sayan Deb Sarkar, Iro Armeni

机构 * Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

Comments Project Page: https://singhbino3d.github.io/sgpp/

MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant

Tao Yin, Xiaohong Zhang, Jiacheng Zhang, Li Huang, Zhibin Zhang, Yuansong Zeng, Jin Xie, Meng Yan

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

Cross-Modal Safety Alignment: Is textual unlearning all you need?

Trishna Chakraborty, Erfan Shayegani, Zikui Cai, Nael Abu-Ghazaleh, M. Salman Asif, Yue Dong, Amit K. Roy-Chowdhury, Chengyu Song

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；multi-modal(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2024 Findings

Multimodal Disease Progression Modeling via Spatiotemporal Disentanglement and Multiscale Alignment

Chen Liu, Wenfang Yao, Kejing Yin, William K. Cheung, Jing Qin

机构 * School of Nursing, The Hong Kong Polytechnic University（香港理工大学护理学院） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Comments NeurIPS 2025 Spotlight

Unified Open-World Segmentation with Multi-Modal Prompts

Yang Liu, Yufei Yin, Chenchen Jing, Muzhi Zhu, Hao Chen, Yuling Xi, Bo Feng, Hao Wang, Shiyu Li, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University of Technology（浙江工业大学） ； Apple（苹果公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted to ICCV2025

Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model

Xinyue Lou, You Li, Jinan Xu, Xiangyu Shi, Chi Chen, Kaiyu Huang

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通联合实验室（北京交通大学）） ； School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 (main)

Visual Representation Alignment for Multimodal Large Language Models

Heeji Yoon, Jaewoo Jung, Junwan Kim, Hyungyu Choi, Heeseong Shin, Sangbeom Lim, Honggyu An, Chaehyun Kim, Jisang Han, Donghyun Kim, Chanho Eom, Sunghwan Hong, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； New York University（纽约大学） ； Chung-Ang University（Chung-Ang 大学） ； Korea University（韩国大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Comments Project Page: https://cvlab-kaist.github.io/VIRAL/

ARES: Multimodal Adaptive Reasoning via Difficulty-Aware Token-Level Entropy Shaping

Shuang Chen, Yue Guo, Yimeng Ye, Shijue Huang, Wenbo Hu, Haoxi Li, Manyuan Zhang, Jiayu Chen, Song Guo, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； The Hong Kong University of Science and Technology（香港科技大学） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

Expressive and Scalable Quantum Fusion for Multimodal Learning

Tuyen Nguyen, Trong Nghia Hoang, Phi Le Nguyen, Hai L. Vu, Truong Cong Thang

机构 * University of Technology Sydney（悉尼技术大学） ； The University of Aizu（御所大学） ； Washington State University（华盛顿州立大学） ； Hanoi University of Science and Technology（河内科学技术大学） ； Monash University（莫纳什大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

Comments 22 pages, 4 figures

Representation Potentials of Foundation Models for Multimodal Alignment: A Survey

Jianglin Lu, Hailing Wang, Yi Xu, Yizhou Wang, Kuo Yang, Yun Fu

机构 * Department of Electrical and Computer Engineering, Northeastern University（东北大学电气与计算机工程系） ； Khoury College of Computer Science, Northeastern University（东北大学科赫里计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.AI

Journal ref The 2025 Conference on Empirical Methods in Natural Language Processing

LEAML: Label-Efficient Adaptation to Out-of-Distribution Visual Tasks for Multimodal Large Language Models

Ci-Siang Lin, Min-Hung Chen, Yu-Yang Sheng, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所） ； NVIDIA 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Secure Multi-Modal Data Fusion in Federated Digital Health Systems via MCP

Aueaphum Aueawatthanaphisut

机构 * School of Information, Computer, and Communication Technology（信息、计算机与通信技术学院） ； Sirindhorn International Institute of Technology, Thammasat University（泰国朱拉安吞国际技术学院，泰国 Thammasat 大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

Comments 6 pages, 8 figures, 7 equations, 1 algorithm

FusionAdapter for Few-Shot Relation Learning in Multimodal Knowledge Graphs

Ran Liu, Yuan Fang, Xiaoli Li

机构 * Singapore Management University（新加坡管理大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

Comments Archived paper

OTTER: Open-Tagging via Text-Image Representation for Multi-modal Understanding

Jieer Ouyang, Xiaoneng Xiang, Zheng Wang, Yangkai Ding

机构 * Huawei Singapore Research Center（华为新加坡研究中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted at ICDM 2025 BigIS Workshop

Efficient Multi-modal Large Language Models via Progressive Consistency Distillation

Zichen Wen, Shaobo Wang, Yufa Zhou, Junyuan Zhang, Qintong Zhang, Yifeng Gao, Zhaorun Chen, Bin Wang, Weijia Li, Conghui He, Linfeng Zhang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025

QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety

Taegyeong Lee, Jeonghwa Yoo, Hyoungseo Cho, Soo Yong Kim, Yunho Maeng

机构 * FnGuide Inc.（FnGuide公司） ； Safe Generative AI Lab, MODULABS（MODULABS安全生成AI实验室） ； A.I.MATICS Inc.（A.I.MATICS公司） ； Ewha Womans University（成均馆大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

Comments Accept to ACLW 2025 (WOAH); fix typo

Journal ref ACL Workshop 2025

GateMABSA: Aspect-Image Gated Fusion for Multimodal Aspect-based Sentiment Analysis

Adamu Lawan, Haruna Yunusa

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

Comments 6 pages, 2 tables

MSD-KMamba: Bidirectional Spatial-Aware Multi-Modal 3D Brain Segmentation via Multi-scale Self-Distilled Fusion Strategy

Dayu Tan, Ziwei Zhang, Yansan Su, Xin Peng, Yike Dai, Chunhou Zheng, Weimin Zhong

机构 * Key Laboratory of Intelligent Computing and Signal Processing, Ministry of Education, Anhui University（智能计算与信号处理重点实验室，教育部，安徽大学） ； Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology（能源化工过程智能制造重点实验室，教育部，东华大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

WildFusion: Multimodal Implicit 3D Reconstructions in the Wild

Yanbaihui Liu, Boyuan Chen

机构 * Duke University（杜克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

Comments Our project website is at: http://generalroboticslab.com/WildFusion

Journal ref 2025 IEEE International Conference on Robotics and Automation (ICRA)

MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources

Sicong Leng, Jing Wang, Jiaxi Li, Hao Zhang, Zhiqiang Hu, Boqiang Zhang, Yuming Jiang, Hang Zhang, Xin Li, Lidong Bing, Deli Zhao, Wei Lu, Yu Rong, Aixin Sun, Shijian Lu

机构 * Nanyang Technological University（南洋理工大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Multimodal Representation-disentangled Information Bottleneck for Multimodal Recommendation

Hui Wang, Jinghui Qin, Wushao Wen, Qingling Li, Shanshan Zhong, Zhongzhan Huang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

Frequency-domain Multi-modal Fusion for Language-guided Medical Image Segmentation

Bo Yu, Jianhua Yang, Zetao Du, Yan Huang, Chenglong Li, Liang Wang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted by MICCAI 2025

Multi-Modal Artificial Intelligence of Embryo Grading and Pregnancy Prediction in Assisted Reproductive Technology: A Review

Xueqiang Ouyang, Jia Wei

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

Enabling Plant Phenotyping in Weedy Environments using Multi-Modal Imagery via Synthetic and Generated Training Data

Earl Ranario, Ismael Mayanja, Heesup Yun, Brian N. Bailey, J. Mason Earles

专题命中 多模态训练与对齐 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

Can multimodal representation learning by alignment preserve modality-specific information?

Romain Thoreau, Jessie Levillain, Dawa Derksen

机构 * institutetext（机构文本） ； CNES（法国国家空间研究中心） ； INSA-IMT（法国里尔INSA-IMT） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted as a workshop paper at MACLEAN - ECML/PKDD 2025

Unified Multimodal Coherent Field: Synchronous Semantic-Spatial-Vision Fusion for Brain Tumor Segmentation

Mingda Zhang, Yuyang Zheng, Ruixiang Tang, Jingru Qiu, Haiyan Ding

机构 * School of Software, Yunnan University（云南大学软件学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Comments 8 pages, 3 figures

Causal Representation Learning from Multimodal Clinical Records under Non-Random Modality Missingness

Zihan Liang, Ziwen Pan, Ruoxuan Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

Comments To appear in Proc. of EMNLP 2025 (18 pages)

Clinical Multi-modal Fusion with Heterogeneous Graph and Disease Correlation Learning for Multi-Disease Prediction

Yueheng Jiang, Peng Zhang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.MM

Copycat vs. Original: Multi-modal Pretraining and Variable Importance in Box-office Prediction

Qin Chao, Eunsoo Kim, Boyang Li

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； Business School, University of Seoul, Republic of Korea（商学学院，首尔大学，韩国） ； Alibaba Group and the Alibaba-NTU Joint Research Institute, Singapore（阿里巴巴集团及阿里巴巴-南洋理工大学联合研究机构，新加坡） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；分类 cs.MM

OmniSegmentor: A Flexible Multi-Modal Learning Framework for Semantic Segmentation

Bo-Wen Yin, Jiao-Long Cao, Xuying Zhang, Yuming Chen, Ming-Ming Cheng, Qibin Hou

机构 * VCIP, CS, Nankai University（视觉计算研究所，计算机科学，南开大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025