多模态大模型

A Survey of Multimodal Ophthalmic Diagnostics: From Task-Specific Approaches to Foundational Models

Xiaoling Luo, Ruli Zheng, Qiaojian Zheng, Zibo Du, Shuo Yang, Meidan Ding, Qihao Xu, Chengliang Liu, Linlin Shen

机构 * College of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China（深圳大学计算机科学与软件工程学院） ； Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology, Shenzhen, 518055, China（视觉对象检测与识别深圳重点实验室） ； Laboratory for Artificial Intelligence in Design, Hong Kong（人工智能设计实验室） ； School of Artificial Intelligence, Shenzhen University, Shenzhen, China（深圳大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

Learning to Inference Adaptively for Multimodal Large Language Models

Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Purdue University（普渡大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Published at ICCV 2025

Do Recommender Systems Really Leverage Multimodal Content? A Comprehensive Analysis on Multimodal Representations for Recommendation

Claudio Pomo, Matteo Attimonelli, Danilo Danese, Fedelucio Narducci, Tommaso Di Noia

机构 * Sapienza University of Rome（罗马大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

Comments Accepted as Full Research Papers at CIKM 2025

3DTTNet: Multimodal Fusion-Based 3D Traversable Terrain Modeling for Off-Road Environments

Zitong Chen, Chao Sun, Shida Nie, Chen Min, Changjiu Ning, Haoyu Li, Bo Wang

机构 * Shenzhen Automotive Research Institute, Beijing Institute of Technology, Shenzhen（深圳汽车研究院，北京理工大学，深圳） ； School of Mechanical Engineering, Beijing Institute of Technology, Beijing（机械工程学院，北京理工大学，北京） ； Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences, Beijing（智能计算系统研究中心，计算技术研究所，中国科学院，北京） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 15 pages,13 figures

Small Lesions-aware Bidirectional Multimodal Multiscale Fusion Network for Lung Disease Classification

Jianxun Yu, Ruiquan Ge, Zhipeng Wang, Cheng Yang, Chenyu Lin, Xianjun Fu, Jikui Liu, Ahmed Elazab, Changmiao Wang

机构 * Xidian University（西安电子科技大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang College of Security Technology, School of Artificial Intelligence（浙江安全技术学院人工智能学院） ； Shenzhen Polytechnic University（深圳职业技术学院） ； Shenzhen University（深圳大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decay

Jun Zhang, Desen Meng, Zhengming Zhang, Zhenpeng Huang, Tao Wu, Limin Wang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； China Mobile Research Institute（中国移动研究院） ； Shanghai AI Lab（上海AI实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Comments Accepted by ICCV 2025; Code released at https://github.com/MCG-NJU/p-MoD

GenEDA: Towards Generative Netlist Functional Reasoning via Cross-Modal Circuit Encoder-Decoder Alignment

Wenji Fang, Jing Wang, Yao Lu, Shang Liu, Zhiyao Xie

机构 * Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)

Comments Accepted by ICCAD'25

Spatial-Frequency Aware for Object Detection in RAW Image

Zhuohua Ye, Liming Zhang, Hongru Han

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

CHARM: Collaborative Harmonization across Arbitrary Modalities for Modality-agnostic Semantic Segmentation

Lekang Wen, Jing Xiao, Liang Liao, Jiajun Chen, Mi Wang

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

BrainSegDMlF: A Dynamic Fusion-enhanced SAM for Brain Lesion Segmentation

Hongming Wang, Yifeng Wu, Huimin Huang, Hongtao Wu, Jia-Xuan Jiang, Xiaodong Zhang, Hao Zheng, Xian Wu, Yefeng Zheng, Jinping Xu, Jing Cheng

机构 * Southern University of Science and Technology（南方科技大学） ； Jarvis Research Center, Tencent YouTu Lab（腾讯优图实验室） ； Westlake University（西湖大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches

Yanjie Dong, Haijun Zhang, Chengming Li, Song Guo, Victor C. M. Leung, Xiping Hu

机构 * Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； University of Science and Technology Beijing（北京科技大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

Plant-Centric Metaverse: A Biocentric-Creation Framework for Ecological Art and Digital Symbiosis

Ze Gao, Mengyao Guo, Zheng Wang, Xiaolin Zhang, Sihuang Man

专题命中 多模态训练与对齐 ：multimodal(abstract)

T3Time: Tri-Modal Time Series Forecasting via Adaptive Multi-Head Alignment and Residual Fusion

Abdul Monaf Chowdhury, Rabeya Akter, Safaeid Hossain Arib

专题命中 多模态训练与对齐 ：cross-modal(abstract)