多模态大模型

UI2V-Bench: An Understanding-based Image-to-video Generation Benchmark

Ailing Zhang, Lina Lei, Dehong Kong, Zhixin Wang, Jiaqi Xu, Fenglong Song, Chun-Le Guo, Chang Liu, Fan Li, Jie Chen

机构 * Peking University（北京大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Nankai University（南开大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

DynamicControl: Adaptive Condition Selection for Improved Text-to-Image Generation

Qingdong He, Jinlong Peng, Pengcheng Xu, Boyuan Jiang, Xiaobin Hu, Donghao Luo, Yong Liu, Yabiao Wang, Chengjie Wang, Xiangtai Li, Jiangning Zhang

机构 * Youtu Lab, Tencent（腾讯优图实验室） ； Western University（西部大学） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers

Chaehyun Kim, Heeseong Shin, Eunbeen Hong, Heeji Yoon, Anurag Arnab, Paul Hongsuck Seo, Sunghwan Hong, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Korea University（韩国大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments NeurIPS 2025. Project page: https://cvlab-kaist.github.io/Seg4Diff/

SDiFL: Stable Diffusion-Driven Framework for Image Forgery Localization

Yang Su, Shunquan Tan, Jiwu Huang

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Why Relational Graphs Will Save the Next Generation of Vision Foundation Models?

Fatemeh Ziaeetabar

机构 * Department of Computer Science, School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran, Tehran, Iran（塔里斯坦大学科学学院计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

TBAC-UniImage: Unified Understanding and Generation by Ladder-Side Diffusion Tuning

Junzhe Xu, Yuyang Yin, Xi Chen

机构 * Basic Algorithm Center, PCG, Tencent（腾讯基础算法中心、PCG、腾讯） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Rhetorical Text-to-Image Generation via Two-layer Diffusion Policy Optimization

Yuxi Zhang, Yueting Li, Xinyu Du, Sibo Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation

Weipeng Tan, Chuming Lin, Chengming Xu, FeiFan Xu, Xiaobin Hu, Xiaozhong Ji, Junwei Zhu, Chengjie Wang, Yanwei Fu

机构 * Fudan University（复旦大学） ； Tencent, YouTu Lab（腾讯、YouTu实验室） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

Comments Accepted by ACM MM'25. arXiv admin note: text overlap with arXiv:2409.03270

DMCIE: Diffusion Model with Concatenation of Inputs and Errors to Improve the Accuracy of the Segmentation of Brain Tumors in MRI Images

Sara Yavari, Rahul Nitin Pandya, Jacob Furst

机构 * School of Computing, DePaul University（计算学院，德保罗大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Text-to-Image Generation Via Energy-Based CLIP

Roy Ganz, Michael Elad

机构 * Electrical Engineering Department Technion（技术学院电子工程系） ； Computer Science Department Technion（技术学院计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

Comments Accepted to TMLR

Advancing biomolecular understanding and design following human instructions

Xiang Zhuang, Keyan Ding, Tianwen Lyu, Yinuo Jiang, Xiaotong Li, Zhuoyi Xiang, Zeyuan Wang, Ming Qin, Kehua Feng, Jike Wang, Qiang Zhang, Huajun Chen

专题命中 多模态生成 ：multimodal(abstract)；any-to-any(abstract)；分类 cs.CL

Journal ref Nature Machine Intelligence volume 7, pages1154-1167 (2025)

FreeCus: Free Lunch Subject-driven Customization in Diffusion Transformers

Yanbing Zhang, Zhe Wang, Qin Zhou, Mengping Yang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization

Kesen Zhao, Beier Zhu, Qianru Sun, Hanwang Zhang

机构 * Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Beyond Simple Edits: X-Planner for Complex Instruction-Based Image Editing

Chun-Hsiao Yeh, Yilin Wang, Nanxuan Zhao, Richard Zhang, Yuheng Li, Yi Ma, Krishna Kumar Singh

机构 * UC Berkeley（伯克利大学） ； HKU（香港大学） ； Adobe（Adobe公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Project page: https://danielchyeh.github.io/x-planner/

CoT-lized Diffusion: Let's Reinforce T2I Generation Step-by-step

Zheyuan Liu, Munan Ning, Qihui Zhang, Shuo Yang, Zhongrui Wang, Yiwei Yang, Xianzhe Xu, Yibing Song, Weihua Chen, Fan Wang, Li Yuan

机构 * School of Electrical and Computer Engineering, Peking University（北京大学电子工程学院） ； Hupan Lab（鸿篇实验室） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

High-quality Pseudo-labeling for Point Cloud Segmentation with Scene-level Annotation

Lunhao Duan, Shanshan Zhao, Xingxing Weng, Jing Zhang, Gui-Song Xia

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； JD Explore Academy（京东探索研究院） ； School of Computer Science and the School of Artificial Intelligence, Wuhan University（武汉大学计算机学院和人工智能学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by TPAMI. Code: https://github.com/LHDuan/WSegPC

OracleFusion: Assisting the Decipherment of Oracle Bone Script with Structurally Constrained Semantic Typography

Caoshuo Li, Zengmao Ding, Xiaobin Hu, Bang Li, Donghao Luo, AndyPian Wu, Chaoyang Wang, Chengjie Wang, Taisong Jin, SevenShu, Yunsheng Wu, Yongge Liu, Rongrong Ji

机构 * Xiamen University（厦门大学） ； Tencent（腾讯） ； Anyang Normal University（安阳师范学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

CALM: Contextual Analog Logic with Multimodality

Maxwell J. Jacobson, Corey J. Maley, Yexiang Xue

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

VIS-Shepherd: Constructing Critic for LLM-based Data Visualization Generation

Bo Pan, Yixiao Fu, Ke Wang, Junyu Lu, Lunke Pan, Ziyang Qian, Yuhan Chen, Guoliang Wang, Yitao Zhou, Li Zheng, Yinghao Tang, Zhen Wen, Yuchen Wu, Junhua Lu, Biao Zhu, Minfeng Zhu, Bo Zhang, Wei Chen

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AnimeShooter: A Multi-Shot Animation Dataset for Reference-Guided Video Generation

Lu Qiu, Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Project released at: https://qiulu66.github.io/animeshooter/

MR2US-Pro: Prostate MR to Ultrasound Image Translation and Registration Based on Diffusion Models

Xudong Ma, Nantheera Anantrasirichai, Stefanos Bolomytis, Alin Achim

机构 * Visual Information Laboratory, University of Bristol（布里斯托大学视觉信息实验室） ； Southmead Hospital, North Bristol NHS Trust（北布里斯托NHS信托南梅德医院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Modality Translation and Registration of MR and Ultrasound Images Using Diffusion Models

Xudong Ma, Nantheera Anantrasirichai, Stefanos Bolomytis, Alin Achim

机构 * Visual Information Laboratory, University of Bristol（布里斯托大学视觉信息实验室） ； Southmead Hospital, North Bristol NHS Trust（北布里斯托国家健康服务信托南梅德医院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AlignGen: Boosting Personalized Image Generation with Cross-Modality Prior Alignment

Yiheng Lin, Shifang Zhao, Ting Liu, Xiaochao Qu, Luoqi Liu, Yao Zhao, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（信息科学学院，北京交通大学） ； MT Lab, Meitu Inc.（美图实验室，美图公司） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Aggregated Structural Representation with Large Language Models for Human-Centric Layout Generation

Jiongchao Jin, Shengchu Zhao, Dajun Chen, Wei Jiang, Yong Li

机构 * Ant Group（蚂蚁集团） ； Agency for Science, Technology and Research（科技研究局） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

REACT 2025: the Third Multiple Appropriate Facial Reaction Generation Challenge

Siyang Song, Micol Spitale, Xiangyu Kong, Hengde Zhu, Cheng Luo, Cristina Palmero, German Barquero, Sergio Escalera, Michel Valstar, Mohamed Daoudi, Tobias Baur, Fabien Ringeval, Andrew Howes, Elisabeth Andre, Hatice Gunes

机构 * University of Exeter（埃克塞特大学） ； Politecnico di Milano（米兰理工大学） ； University of Leicester（莱斯特大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） ； King’s College London（伦敦国王学院） ； Universitat de Barcelona（巴塞罗那大学） ； University of Nottingham（诺丁汉大学） ； IMT Nord Europe（IMT北欧分校） ； University of Augsburg（奥格斯堡大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；audio-visual(abstract)；分类 cs.CV

Q-Insight: Understanding Image Quality via Visual Reinforcement Learning

Weiqi Li, Xuanyu Zhang, Shijie Zhao, Yabin Zhang, Junlin Li, Li Zhang, Jian Zhang

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

End-to-End Vision Tokenizer Tuning

Wenxuan Wang, Fan Zhang, Yufeng Cui, Haiwen Diao, Zhuoyan Luo, Huchuan Lu, Jing Liu, Xinlong Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Dalian University of Technology（大连理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

MonetGPT: Solving Puzzles Enhances MLLMs' Image Retouching Skills

Niladri Shekhar Dutt, Duygu Ceylan, Niloy J. Mitra

机构 * University College London（伦敦大学学院） ； Adobe Research UK（Adobe英国研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted at SIGGRAPH 2025 [ACM Transactions on Graphics]; Project website: https://monetgpt.github.io

DualDiff: Dual-branch Diffusion Model for Autonomous Driving with Semantic Fusion

Haoteng Li, Zhao Yang, Zezhong Qian, Gongpeng Zhao, Yuqi Huang, Jun Yu, Huazheng Zhou, Longjun Liu

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（国家级人机混合增强智能实验室） ； National Engineering Research Center for Visual Information and Applications（国家视觉信息与应用工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； Xi’an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments 8 pages, 6 figures,

Automatically Generating UI Code from Screenshot: A Divide-and-Conquer-Based Approach

Yuxuan Wan, Chaozheng Wang, Yi Dong, Wenxuan Wang, Shuqing Li, Yintong Huo, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by FSE 2025