多模态大模型

Exploring Multimodal Perception in Large Language Models Through Perceptual Strength Ratings

Jonghyun Lee, Dojun Park, Jiwoo Lee, Hoekeon Choi, Sung-Eun Lee

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

Comments Published in IEEE Access

Journal ref IEEE Access, vol. 13, pp. 176751-176769, 2025

E-MMDiT: Revisiting Multimodal Diffusion Transformer Design for Fast Image Synthesis under Limited Resources

Tong Shen, Jingai Yu, Dong Zhou, Dong Li, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（Advanced Micro Devices公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Emu3.5: Native Multimodal Models are World Learners

Yufeng Cui, Honghao Chen, Haoge Deng, Xu Huang, Xinghang Li, Jirong Liu, Yang Liu, Zhuoyan Luo, Jinsheng Wang, Wenxuan Wang, Yueze Wang, Chengyuan Wang, Fan Zhang, Yingli Zhao, Ting Pan, Xianduo Li, Zecheng Hao, Wenxuan Ma, Zhuo Chen, Yulong Ao, Tiejun Huang, Zhongyuan Wang, Xinlong Wang

机构 * BAAI（百度人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments project page: https://emu.world

An Efficient Remote Sensing Super Resolution Method Exploring Diffusion Priors and Multi-Modal Constraints for Crop Type Mapping

Songxi Yang, Tang Sui, Qunying Huang

机构 * Department of Geography（地理系） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

Comments 41 pages

Speak to a Protein: An Interactive Multimodal Co-Scientist for Protein Analysis

Carles Navarro, Mariona Torrens, Philipp Thölke, Stefan Doerr, Gianni De Fabritiis

机构 * Acellera Labs（Acellera实验室） ； ICREA, Universitat Pompeu Fabra（ICREA、庞培法布拉大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

GarmageNet: A Multimodal Generative Framework for Sewing Pattern Design and Generic Garment Modeling

Siran Li, Ruiyang Liu, Chen Liu, Zhendong Wang, Gaofeng He, Yong-Lu Li, Xiaogang Jin, Huamin Wang

机构 * Zhejiang Sci-Tech University ； Style3D Research Hangzhou China ； State Key Lab of CAD\&CG, Zhejiang University ； Shanghai Jiao Tong University Shanghai China ； State Key Lab of CAD\&CG, Zhejiang University Hangzhou China ； Style3D Research ； Shanghai Jiao Tong University 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

Comments 23 pages,20 figures

Journal ref ACM Trans. Graph. 44, 6, Article 216 (2025)

X2Video: Adapting Diffusion Models for Multimodal Controllable Neural Video Rendering

Zhitong Huang, Mohan Zhang, Renhan Wang, Rui Tang, Hao Zhu, Jing Liao

机构 * City University of Hong Kong（香港城市大学） ； WeChat, Tencent Inc（微信、腾讯公司） ； Manycore Tech Inc（很多核科技公司） 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

Comments Code, model, and dataset will be released at project page soon: https://luckyhzt.github.io/x2video

DreamOmni2: Multimodal Instruction-based Editing and Generation

Bin Xia, Bohao Peng, Yuechen Zhang, Junjia Huang, Jiyang Liu, Jingyao Li, Haoru Tan, Sitong Wu, Chengyao Wang, Yitong Wang, Xinglong Wu, Bei Yu, Jiaya Jia

机构 * CUHK（香港中文大学） ； HKUST（香港科技大学） ； HKU（香港大学） ； ByteDance Inc（字节跳动公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Lumina-DiMOO: An Omni Diffusion Large Language Model for Multi-Modal Generation and Understanding

Yi Xin, Qi Qin, Siqi Luo, Kaiwen Zhu, Juncheng Yan, Yan Tai, Jiayi Lei, Yuewen Cao, Keqi Wang, Yibin Wang, Jinbin Bai, Qian Yu, Dengyang Jiang, Yuandong Pu, Haoxing Chen, Le Zhuo, Junjun He, Gen Luo, Tianbin Li, Ming Hu, Jin Ye, Shenglong Ye, Bo Zhang, Chang Xu, Wenhai Wang, Hongsheng Li, Guangtao Zhai, Tianfan Xue, Bin Fu, Xiaohong Liu, Yu Qiao, Yihao Liu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Nanjing University（南京大学） ； The University of Sydney（悉尼大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

Comments 33 pages, 13 figures, 10 tables

LMM-Incentive: Large Multimodal Model-based Incentive Design for User-Generated Content in Web 3.0

Jinbo Wen, Jiawen Kang, Linfeng Zhang, Xiaoying Tang, Jianhang Tang, Yang Zhang, Zhaohui Yang, Dusit Niyato

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Guangdong University of Technology（广东工业大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Guizhou University（贵州大学） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Consolidating Reinforcement Learning for Multimodal Discrete Diffusion Models

Tianren Ma, Mu Zhang, Yibing Wang, Qixiang Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Comments Project Page: https://github.com/martian422/MaskGRPO

Design and Application of Multimodal Large Language Model Based System for End to End Automation of Accident Dataset Generation

MD Thamed Bin Zaman Chowdhury, Moazzem Hossain

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

Comments This paper is accepted for presentation in TRB annual meeting 2026. The version presented here is the preprint version before peer review process

MCM-DPO: Multifaceted Cross-Modal Direct Preference Optimization for Alt-text Generation

Jinlan Fu, Shenzhen Huangfu, Hao Fei, Yichong Huang, Xiaoyu Shen, Xipeng Qiu, See-Kiong Ng

机构 * National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Eastern Institute of Technology（东方技术研究所） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CL

Comments Accepted by ACM MM 2025

ATAS: Any-to-Any Self-Distillation for Enhanced Open-Vocabulary Dense Prediction

Juan Yeo, Soonwoo Cha, Jiwoo Song, Hyunbin Jin, Taesup Kim

专题命中 多模态生成 ：any-to-any(title,abstract)；分类 cs.CV

Comments Accepted at ICCV25

GoalFlow: Goal-Driven Flow Matching for Multimodal Trajectories Generation in End-to-End Autonomous Driving

Zebin Xing, Xingyu Zhang, Yang Hu, Bo Jiang, Tong He, Qian Zhang, Xiaoxiao Long, Wei Yin

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Horizon Robotics ； Nanjing University（南京大学） ； Huazhong University of Science & Technology（华中科技大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Query-Kontext: An Unified Multimodal Model for Image Generation and Editing

Yuxin Song, Wenkai Dong, Shizun Wang, Qi Zhang, Song Xue, Tao Yuan, Hu Yang, Haocheng Feng, Hang Zhou, Xinyan Xiao, Jingdong Wang

机构 * Baidu VIS（百度视觉） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments 23 pages, 10 figures

FishAI 2.0: Marine Fish Image Classification with Multi-modal Few-shot Learning

Chenghan Yang, Peng Zhou, Dong-Sheng Zhang, Yueyun Wang, Hong-Bin Shen, Xiaoyong Pan

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

UniMIC: Token-Based Multimodal Interactive Coding for Human-AI Collaboration

Qi Mao, Tinghan Yang, Jiahao Li, Bin Li, Libiao Jin, Yan Lu

机构 * State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） ； Communication University of China（中国传媒大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Hyper-Bagel: A Unified Acceleration Framework for Multimodal Understanding and Generation

Yanzuo Lu, Xin Xia, Manlin Zhang, Huafeng Kuang, Jianbin Zheng, Yuxi Ren, Xuefeng Xiao

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Technical Report

GenCAD-3D: CAD Program Generation using Multimodal Latent Space Alignment and Synthetic Dataset Balancing

Nomi Yu, Md Ferdous Alam, A. John Hart, Faez Ahmed

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Comments 9 figures, 15 pages. Accepted and soon published in the ASME Journal of Mechanical Design

TransDiffuser: Diverse Trajectory Generation with Decorrelated Multi-modal Representation for End-to-end Autonomous Driving

Xuefeng Jiang, Yuan Ma, Pengxiang Li, Leimeng Xu, Xin Wen, Kun Zhan, Zhongpu Xia, Peng Jia, Xianpeng Lang, Sheng Sun

机构 * LiAuto Inc（LiAuto公司） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动研究所） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

Comments Under review

Mars Traversability Prediction: A Multi-modal Self-supervised Approach for Costmap Generation

Zongwu Xie, Kaijie Yun, Yang Liu, Yiming Ji, Han Li

机构 * State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

SheetDesigner: MLLM-Powered Spreadsheet Layout Generation with Rule-Based and Vision-Based Reflection

Qin Chen, Yuanyi Ren, Xiaojun Ma, Mugeng Liu, Han Shi, Dongmei Zhang

机构 * Peking University（北京大学） ； Microsoft（微软） 纠错

专题命中 多模态生成 ：MLLM(title)；multimodal(abstract)；分类 cs.AI

Comments Accepted to EMNLP 2025 Main Conference

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments ICLR 2025

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术大学） ； Lanzhou University（兰州大学） ； Meta AI ； The University of Sydney（悉尼大学） ； IHPC, A*STAR（IHPC，A*STAR） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

Comments ICCV 2025, Project in https://wikiautogen.github.io/

Multimodal Conditional 3D Face Geometry Generation

Christopher Otto, Prashanth Chandran, Sebastian Weiss, Markus Gross, Gaspard Zoss, Derek Bradley

机构 * ETH Zürich（苏黎世联邦理工学院） ； DisneyResearch | Studios（迪士尼研究室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Added more evaluation since the first version. Accepted to SMI 2025. Computers & Graphics

PersonaVlog: Personalized Multimodal Vlog Generation with Multi-Agent Collaboration and Iterative Self-Correction

Xiaolu Hou, Bing Ma, Jiaxiang Cheng, Xuhua Ren, Kai Yu, Wenyue Li, Tianxiang Zheng, Qinglin Lu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Project Page: https://personavlog-paper.github.io/

Diffusion-based Multi-modal Synergy Interest Network for Click-through Rate Prediction

Xiaoxi Cui, Weihai Lu, Yu Tong, Yiheng Li, Zhejun Zhao

机构 * Peking University（北京大学） ； Wuhan University（武汉大学） ； Shanghai University of International Business（上海国际商务大学） ； Microsoft（微软） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

Comments SIGIR 2025

Journal ref SIGIR 2025: Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval Pages 581 - 591

Audio-Guided Visual Editing with Complex Multi-Modal Prompts

Hyeonyu Kim, Seokhoon Jeong, Seonghee Han, Chanhyuk Choi, Taehwan Kim

机构 * MAUM AI Inc.（MAUM AI公司） ； Artificial Intelligence Graduate School UNIST（UNIST人工智能研究生学院） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted to BMVC 2025

From large language models to multimodal AI: A scoping review on the potential of generative AI in medicine

Lukas Buess, Matthias Keicher, Nassir Navab, Andreas Maier, Soroosh Tayebi Arasteh

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Journal ref Biomed. Eng. Lett. 15 (2025)