Music2Palette: Emotion-aligned Color Palette Generation via Cross-Modal Representation Learning
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.MM
AI 大模型
多模态大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
1. 多模态训练与对齐 6929 篇
MSGFusion: Multimodal Scene Graph-Guided Infrared and Visible Image Fusion
机构 * College of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院） ； College of Electronic Engineering, Ocean University of China（中国海洋大学电子工程学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Long-Tailed 3D Detection via Multi-Modal Fusion
机构 * Department of Computer Science（计算机科学系） ； Robotics Institute（机器人研究所） ； Toyota Research Institute（丰田研究机构） ； Faculty of Science and Technology（科学与技术学院） ； Institute of Collaborative Innovation（协同创新研究所）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV
Comments The first two authors contributed equally. Project page: https://mayechi.github.io/lt3d-lf-io/
Intelligent Reservoir Decision Support: An Integrated Framework Combining Large Language Models, Advanced Prompt Engineering, and Multimodal Data Fusion for Real-Time Petroleum Operations
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
A Novel Approach to Balance Convenience and Nutrition in Meals With Long-Term Group Recommendations and Reasoning on Multimodal Recipes and its Implementation in BEACON
机构 * BEACON
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Enhancing 3D Medical Image Understanding with Pretraining Aided by 2D Multimodal Large Language Models
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments Accepted by IEEE Journal of Biomedical and Health Informatics (JBHI)
Sigma: Siamese Mamba Network for Multi-Modal Semantic Segmentation
机构 * Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV
Comments Accepted by WACV 2025. Project page: https://zifuwan.github.io/Sigma/
Causal Debiasing Medical Multimodal Representation Learning with Missing Modalities
机构 * DataLab: Data Science and Informatics, University of California, Davis（加州大学戴维斯分校数据实验室） ； Department of Electrical and Computer Engineering, University of Rochester（罗切斯特大学电气与计算机工程系） ； Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Department of Electrical and Computer Engineering, New York University（纽约大学电气与计算机工程系） ； UC Davis Health（加州大学戴维斯分校医疗中心） ； Department of Basic Medical Sciences, University of Arizona（亚利桑那大学基础医学系） ； Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments Submitted to IEEE TKDE
Discrete Prompt Tuning via Recursive Utilization of Black-box Multimodal Large Language Model for Personalized Visual Emotion Recognition
机构 * Graduate School of Information Science（信息科学研究生学校） ； Technology, Hokkaido University, Sapporo 060-0814, Japan（技术，北海道大学，札幌060-0814，日本） ； Office of Institutional Research, Hokkaido University, Sapporo 060-0808, Japan（机构研究办公室，北海道大学，札幌060-0808，日本） ； Faculty of Information Science（信息科学学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL
Comments 11 pages, 4 figures
SliceSemOcc: Vertical Slice Based Multimodal 3D Semantic Occupancy Representation
机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； University of Leicester（莱斯特大学） ； Luoyang Normal University（洛阳师范学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments 14 pages, accepted by PRCV2025
Scalable and Loosely-Coupled Multimodal Deep Learning for Breast Cancer Subtyping
机构 * Fujitsu Research of Europe Ltd（富士通欧洲研究有限公司）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Stock Movement Prediction with Multimodal Stable Fusion via Gated Cross-Attention Mechanism
机构 * School of Information and Electronic Engineering, Zhejiang University of Science and Technology（浙江理工大学信息与电子工程学院） ； Department of Finance Accounting and Economics, Business School of Nottingham University（诺丁汉大学商学院金融会计与经济学系）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments 14 pages, 10 figures
Dynamic Fusion Multimodal Network for SpeechWellness Detection
机构 * Northwestern Polytechnical University（西北工业大学） ； School of Electrical Engineering, KAIST（韩国成均馆大学电气工程学院） ； LianFeng Acoustic Technologies Co., Ltd.（联丰声学科技有限公司） ； Xi’an University of Posts & Telecommunications（西安邮电大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments 6 pages, 5figures
CSFMamba: Cross State Fusion Mamba Operator for Multimodal Remote Sensing Image Classification
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments 5 pages, 2 figures, accpeted by 2025 IEEE International Geoscience and Remote Sensing Symposium(IGARSS 2025),not published yet
Graph-Based Uncertainty Modeling and Multimodal Fusion for Salient Object Detection
机构 * Guangdong Key Laboratory of Intelligent Information Processing（广东智能信息处理重点实验室） ； College of Electronics and Information Engineering（电子信息工程学院） ； Shenzhen University（深圳大学） ； Furong Laboratory（芙蓉实验室） ； Central South University（中南大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments ICONIP 2025
ArgusCogito: Chain-of-Thought for Cross-Modal Synergy and Omnidirectional Reasoning in Camouflaged Object Segmentation
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间利用技术与工程中心）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
GraphMMP: A Graph Neural Network Model with Mutual Information and Global Fusion for Multimodal Medical Prognosis
机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Shenzhen Polytechnic University（深圳职业技术大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Yunnan University（云南大学） ； Shenzhen University（深圳大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Multi-modal Knowledge Decomposition based Online Distillation for Biomarker Prediction in Breast Cancer Histopathology
机构 * School of Biomedical Engineering, Faulty of Medicine, Dalian University of Technology, Dalian, China（生物医学工程学院） ； Faculty of Information Technology, University of Jyvaskyla, Jyvaskyla, Finland（信息科技学院） ； School of Software Technology, Dalian University of Technology, Dalian, China（软件技术学院） ； Department of Radiology, Guangdong Provincial People’s Hospital, Southern Medical University, Guangzhou, China（放射科）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV
Comments Accepted at MICCAI 2025
SAMFusion: Sensor-Adaptive Multimodal Fusion for 3D Object Detection in Adverse Weather
机构 * Torc Robotics（Torc机器人公司） ； University of Stuttgart（斯图加特大学） ； Princeton University（普林斯顿大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Cross-Attention Multimodal Fusion for Breast Cancer Diagnosis: Integrating Mammography and Clinical Data with Explainability
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments 11 pages, 9 figures
PGF-Net: A Progressive Gated-Fusion Framework for Efficient Multimodal Sentiment Analysis
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL
Task-Generalized Adaptive Cross-Domain Learning for Multimodal Image Fusion
机构 * Key Laboratory of Opto-Electronic Information Science and Technology of Jiangxi Province, Nanchang Hangkong University（江西省光电信息科学与技术重点实验室，南昌航空大学） ； ReLER, CCAI, Zhejiang University（ReLER、CCAI、浙江大学） ； College of Engineering, Anhui Agricultural University（安徽农业大学工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
Comments Accepted by IEEE Transactions on Multimedia
Continual Learning for Multimodal Data Fusion of a Soft Gripper
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments Accepted in Wiley Advanced Robotics Research
MAGNeT: Multimodal Adaptive Gaussian Networks for Intent Inference in Moving Target Selection across Complex Scenarios
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM
Comments Accepted by ACM MM 2025
Contextual Attention-Based Multimodal Fusion of LLM and CNN for Sentiment Analysis
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments The 38th Canadian Conference on Artificial Intelligence ( 2025 )
HOID-R1: Reinforcement Learning for Open-World Human-Object Interaction Detection Reasoning with Multimodal Large Language Model
专题命中 多模态训练与对齐 ：multimodal(title)；MLLM(abstract)；分类 cs.CV
Multimodal Sheaf-based Network for Glioblastoma Molecular Subtype Prediction
机构 * BASIRA Lab, Imperial-X（BASIRA实验室、Imperial-X） ； Department of Computing, Imperial College London, United Kingdom（计算系、帝国理工学院伦敦分校，英国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
LPGNet: A Lightweight Network with Parallel Attention and Gated Fusion for Multimodal Emotion Recognition
机构 * Guangzhou University（广州大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 eess.AS
Comments Under peering review
Edge-Based Multimodal Sensor Data Fusion with Vision Language Models (VLMs) for Real-time Autonomous Vehicle Accident Avoidance
机构 * Department of Civil & Environmental Engineering University of Utah（土木与环境工程系 犹他大学） ； Zachry Department of Civil and Environmental Engineering Texas A&M University（扎克里系 土木与环境工程系 德克萨斯农工大学） ； Department of Computer Science & Engineering Texas A&M University（计算机科学与工程系 德克萨斯农工大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
Comments 24 pages, 6 tables, 7 figures
