多模态大模型

Efficient Physics Simulation for 3D Scenes via MLLM-Guided Gaussian Splatting

Haoyu Zhao, Hao Wang, Xingyue Zhao, Hao Fei, Hongqiu Wang, Chengjiang Long, Hua Zou

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（华中科技大学光电研究院） ； Meta Reality Lab（Meta现实实验室） ； Xi’an Jiao Tong University（西安交通大学） ； National University of Singapore（新加坡国立大学） ； The Department of Systems Hub, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学系统枢纽部门（广州）） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CV

Comments ICCV 2025

Advancing Multimodal LLMs by Large-Scale 3D Visual Instruction Dataset Generation

Liu He, Xiao Zeng, Yizhi Song, Albert Y. C. Chen, Lu Xia, Shashwat Verma, Sankalp Dayal, Min Sun, Cheng-Hao Kuo, Daniel Aliaga

机构 * Purdue University（普渡大学） ； Amazon（亚马逊） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

IGD: Instructional Graphic Design with Multimodal Layer Generation

Yadong Qu, Shancheng Fang, Yuxin Wang, Xiaorui Wang, Zhineng Chen, Hongtao Xie, Yongdong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； YuanShi Technology（元世科技） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV 2025

Multimodal HD Mapping for Intersections by Intelligent Roadside Units

Zhongzhang Chen, Miao Fan, Shengtong Xu, Mengmeng Yang, Kun Jiang, Xiangzeng Liu, Haoyi Xiong

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by ITSC'25

Multimodal LLM Integrated Semantic Communications for 6G Immersive Experiences

Yusong Zhang, Yuxuan Sun, Lei Guo, Wei Chen, Bo Ai, Deniz Gunduz

机构 * School of Electronic and Information Engineering, Beijing Jiaotong University（电子信息工程学院，北京交通大学） ； School of Electrical and Electronic Engineering, Imperial College London（电子电气工程学院，帝国理工学院伦敦分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

Comments This work has been submitted to the IEEE for possible publication

PresentAgent: Multimodal Agent for Presentation Video Generation

Jingwei Shi, Zeyu Zhang, Biao Wu, Yanjie Liang, Meng Fang, Ling Chen, Yang Zhao

机构 * AI Geeks, Australia ； Australian Artificial Intelligence Institute, Australia（澳大利亚人工智能研究所） ； University of Liverpool, United Kingdom（利物浦大学） ； La Trobe University, Australia（拉特罗布大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

$μ^2$Tokenizer: Differentiable Multi-Scale Multi-Modal Tokenizer for Radiology Report Generation

Siyou Li, Pengyao Qin, Huanan Wu, Dong Nie, Arun J. Thirunavukarasu, Juntao Yu, Le Zhang

机构 * School of Electronic Engineering and Computer Science（电子工程与计算机科学学院） ； Queen Mary University of London（伦敦女王学院） ； School of Engineering, College of Engineering and Physical Sciences（工程学院，工程与物理科学学院） ； University of Birmingham（伯明翰大学） ； Guangdong University of Technology（广东工业大学） ； Meta Inc. US（Meta美国公司） ； Nuffield Department of Clinical Neurosciences（临床神经科学系） ； University of Oxford（牛津大学） ； William Harvey Research Institute, NIHR Barts Biomedical Research Centre, Queen Mary University London（威廉·哈里弗研究所在NIHR巴茨生物医学研究中心，伦敦女王学院） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

Comments Accepted by MICCAI 2025

ChartCoder: Advancing Multimodal Large Language Model for Chart-to-Code Generation

Xuanle Zhao, Xianzhen Luo, Qi Shi, Chi Chen, Shuo Wang, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University, Beijing, China（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by ACL 2025 Main, Camera Ready

Debunk and Infer: Multimodal Fake News Detection via Diffusion-Generated Evidence and LLM Reasoning

Kaiying Yan, Moyang Liu, Yukun Liu, Ruibo Fu, Zhengqi Wen, Jianhua Tao, Xuefei Liu

机构 * Sun Yat-sen University（中山大学） ； Beihang University（北航） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

Boosting MLLM Reasoning with Text-Debiased Hint-GRPO

Qihan Huang, Weilong Dai, Jinlong Liu, Wanggui He, Hao Jiang, Mingli Song, Jingyuan Chen, Chang Yao, Jie Song

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

Multimodal Large Language Models for Medical Report Generation via Customized Prompt Tuning

Chunlei Li, Jingyang Hou, Yilei Shi, Jingliang Hu, Xiao Xiang Zhu, Lichao Mou

机构 * MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

DM-FNet: Unified multimodal medical image fusion via diffusion process-trained encoder-decoder

Dan He, Weisheng Li, Guofen Wang, Yuping Huang, Shiqiang Liu

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院） ； Chongqing Key Laboratory of Image Recognition, Chongqing University of Posts and Telecommunications（重庆邮电大学图像识别重点实验室） ； Key Laboratory of Cyberspace Big Data Intelligent Security (Chongqing University of Posts and Telecommunications), Ministry of Education（教育部重庆邮电大学网络大数据智能安全重点实验室） ； College of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments This paper has been accepted by IEEE Transactions on Multimedia (TMM) in March 2025

Ming-Lite-Uni: Advancements in Unified Architecture for Natural Multimodal Interaction

Inclusion AI, Biao Gong, Cheng Zou, Dandan Zheng, Hu Yu, Jingdong Chen, Jianxin Sun, Junbo Zhao, Jun Zhou, Kaixiang Ji, Lixiang Ru, Libin Wang, Qingpei Guo, Rui Liu, Weilong Chai, Xinyu Xiao, Ziyuan Huang

机构 * Inclusion AI Ant Group（Inclusion AI蚂蚁集团） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments https://github.com/inclusionAI/Ming/tree/Ming-Lite-Omni-Preview/Ming-unify

Ming-Omni: A Unified Multimodal Model for Perception and Generation

Inclusion AI, Biao Gong, Cheng Zou, Chuanyang Zheng, Chunluan Zhou, Canxiang Yan, Chunxiang Jin, Chunjie Shen, Dandan Zheng, Fudong Wang, Furong Xu, GuangMing Yao, Jun Zhou, Jingdong Chen, Jianxin Sun, Jiajia Liu, Jianjiang Zhu, Jun Peng, Kaixiang Ji, Kaiyou Song, Kaimeng Ren, Libin Wang, Lixiang Ru, Lele Xie, Longhua Tan, Lyuxin Xue, Lan Wang, Mochen Bai, Ning Gao, Pei Chen, Qingpei Guo, Qinglong Zhang, Qiang Xu, Rui Liu, Ruijie Xiong, Sirui Gao, Tinghao Liu, Taisong Li, Weilong Chai, Xinyu Xiao, Xiaomei Wang, Xiaoxue Chen, Xiao Lu, Xiaoyu Li, Xingning Dong, Xuzheng Yu, Yi Yuan, Yuting Gao, Yunxiao Sun, Yipeng Chen, Yifei Wu, Yongjie Lyu, Ziping Ma, Zipeng Feng, Zhijiang Fang, Zhihao Qiu, Ziyuan Huang, Zhengyu He

机构 * Inclusion AI 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 18 pages,8 figures

On the Importance of Text Preprocessing for Multimodal Representation Learning and Pathology Report Generation

Ruben T. Lucassen, Tijn van de Luijtgaarden, Sander P. J. Moonemans, Gerben E. Breimer, Willeke A. M. Blokx, Mitko Veta

机构 * Dept. of Pathology, University Medical Center Utrecht（病理学系，乌得勒支大学医学中心） ； Dept. of Biomedical Engineering, Eindhoven University of Technology（生物医学工程系，埃因霍温理工大学） ； Dept. of Mathematics and Computer Science, Eindhoven University of Technology（数学与计算机科学系，埃因霍温理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments 11 pages, 1 figure

OpenUni: A Simple Baseline for Unified Multimodal Understanding and Generation

Size Wu, Zhonghua Wu, Zerui Gong, Qingyi Tao, Sheng Jin, Qinyue Li, Wei Li, Chen Change Loy

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） ； SenseTime Research and Tetras.AI（商汤研究与Tetras.AI） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

Are Any-to-Any Models More Consistent Across Modality Transfers Than Specialists?

Jiwan Chung, Janghan Yoon, Junhyeong Park, Sangeyl Lee, Joowon Yang, Sooyeon Park, Youngjae Yu

机构 * Yonsei University（延世大学） 纠错

专题命中 多模态生成 ：any-to-any(title,abstract)；cross-modal(abstract)；分类 cs.CL

Journal ref ACL 2025

MMIG-Bench: Towards Comprehensive and Explainable Evaluation of Multi-Modal Image Generation Models

Hang Hua, Ziyun Zeng, Yizhi Song, Yunlong Tang, Liu He, Daniel Aliaga, Wei Xiong, Jiebo Luo

机构 * University of Rochester（罗切斯特大学） ； Purdue University（普渡大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

MIND-Edit: MLLM Insight-Driven Editing via Language-Vision Projection

Shuyu Wang, Weiqi Li, Qian Wang, Shijie Zhao, Jian Zhang

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

UniGen: Enhanced Training & Test-Time Strategies for Unified Multimodal Understanding and Generation

Rui Tian, Mingfei Gao, Mingze Xu, Jiaming Hu, Jiasen Lu, Zuxuan Wu, Yinfei Yang, Afshin Dehghan

机构 * Apple（苹果公司） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Technical report

Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation

Chao Liao, Liyang Liu, Xun Wang, Zhengxiong Luo, Xinyu Zhang, Wenliang Zhao, Jie Wu, Liang Li, Zhi Tian, Weilin Huang

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；omni-modal(abstract)；分类 cs.CV

Comments Mogao Technical Report

HunyuanCustom: A Multimodal-Driven Architecture for Customized Video Generation

Teng Hu, Zhentao Yu, Zhengguang Zhou, Sen Liang, Yuan Zhou, Qin Lin, Qinglin Lu

机构 * Tencent Hunyuan（腾讯文汇） 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；image-text(abstract)；分类 cs.CV

Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining

Dongyang Liu, Shitian Zhao, Le Zhuo, Weifeng Lin, Yi Xin, Xinyue Li, Qi Qin, Yu Qiao, Hongsheng Li, Peng Gao

专题命中 多模态生成 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

Comments Code available at: https://github.com/Alpha-VLLM/Lumina-mGPT

MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models

Wulin Xie, Yi-Fan Zhang, Chaoyou Fu, Yang Shi, Bingyan Nie, Hongkai Chen, Zhang Zhang, Liang Wang, Tieniu Tan

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Project page: https://mme-unify.github.io/

Spider: Any-to-Many Multimodal LLM

Jinxiang Lai, Jie Zhang, Jun Liu, Jian Li, Xiaocheng Lu, Song Guo

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(abstract)；分类 cs.CV

MMGen: Unified Multi-modal Image Generation and Understanding in One Go

Jiepeng Wang, Zhaoqing Wang, Hao Pan, Yuan Liu, Dongdong Yu, Changhu Wang, Wenping Wang

专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments Our project page: https://jiepengwang.github.io/MMGen/

CATD: Unified Representation Learning for EEG-to-fMRI Cross-Modal Generation

Weiheng Yao, Zhihan Lyu, Mufti Mahmud, Ning Zhong, Baiying Lei, Shuqiang Wang

专题命中 多模态生成 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

Comments 11 pages, 9 figures, Accepted by IEEE Transactions on Medical Imaging

SILMM: Self-Improving Large Multimodal Models for Compositional Text-to-Image Generation

Leigang Qu, Haochuan Li, Wenjie Wang, Xiang Liu, Juncheng Li, Liqiang Nie, Tat-Seng Chua

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments CVPR 2025 Camera-ready. Project page: https://silmm.github.io/

TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models

Leigang Qu, Haochuan Li, Tan Wang, Wenjie Wang, Yongqi Li, Liqiang Nie, Tat-Seng Chua

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ICLR 2025 Camera-ready

A Survey on fMRI-based Brain Decoding for Reconstructing Multimodal Stimuli

Pengyu Liu, Guohua Dong, Dan Guo, Kun Li, Fengling Li, Xun Yang, Meng Wang, Xiaomin Ying

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments 31 pages, 6 figures