多模态大模型

TCDiff: Triplex Cascaded Diffusion for High-fidelity Multimodal EHRs Generation with Incomplete Clinical Data

Yandong Yan, Chenxi Li, Yu Huang, Dexuan Xu, Jiaqi Zhu, Zhongyan Chai, Huamin Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心） ； Institute of Software, Chinese Academy of Science（中国科学院软件研究所） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Institute of Basic Theory of Chinese Medicine, China Academy of Chinese Medical Sciences（中国中医科学院中医基础理论研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

ChemMLLM: Chemical Multimodal Large Language Model

Qian Tan, Dongzhan Zhou, Peng Xia, Wanhao Liu, Wanli Ouyang, Lei Bai, Yuqiang Li, Tianfan Fu

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)

Comments 23 pages

ReCoSeg++:Extended Residual-Guided Cross-Modal Diffusion for Brain Tumor Segmentation

Sara Yavari, Rahul Nitin Pandya, Jacob Furst

机构 * School of Computing, DePaul University（计算学院，德保罗大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV

Tractography-Guided Dual-Label Collaborative Learning for Multi-Modal Cranial Nerves Parcellation

Lei Xie, Junxiong Huang, Yuanjing Feng, Qingrun Zeng

机构 * Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

FloorPlan-DeepSeek (FPDS): A multimodal approach to floorplan generation using vector-based next room prediction

Jun Yin, Pengyu Zeng, Jing Zhong, Peilin Li, Miao Zhang, Ran Luo, Shuai Lu

专题命中 多模态生成 ：multimodal(title)；分类 cs.CL、cs.AI

Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering

Xu Wang, Shengeng Tang, Fei Wang, Lechao Cheng, Dan Guo, Feng Xue, Richang Hong

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

SDMatte: Grafting Diffusion Models for Interactive Matting

Longfei Huang, Yu Liang, Hao Zhang, Jinwei Chen, Wei Dong, Lunde Chen, Wanyu Liu, Bo Li, Peng-Tao Jiang

机构 * Shanghai University（上海大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025, 11 pages, 4 figures

DRC: Enhancing Personalized Image Generation via Disentangled Representation Composition

Yiyan Xu, Wuqiang Zheng, Wenjie Wang, Fengbin Zhu, Xinting Hu, Yang Zhang, Fuli Feng, Tat-Seng Chua

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted for publication in ACM MM'25

DiffSemanticFusion: Semantic Raster BEV Fusion for Autonomous Driving via Online HD Map Diffusion

Zhigang Sun, Yiru Wang, Anqing Jiang, Shuo Wang, Yu Gao, Yuwen Heng, Shouyi Zhang, An He, Hao Jiang, Jinhao Chai, Zichong Gu, Wang Jijun, Shichen Tang, Lavdim Halilaj, Juergen Luettin, Hao Sun

机构 * Bosch Corporate Research, Bosch (China) Investment Ltd.（博世企业研究院、博世（中国）投资有限公司） ； School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； Shanghai Jiaotong University（上海交通大学） ； AIR, Tsinghua University（清华大学人工智能研究院） ； Robert Bosch GmbH（罗伯特·博世集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Semantically-Guided Inference for Conditional Diffusion Models: Enhancing Covariate Consistency in Time Series Forecasting

Rui Ding, Hanyang Meng, Zeyang Zhang, Jielong Yang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

Generative AI as a Pillar for Predicting 2D and 3D Wildfire Spread: Beyond Physics-Based Models and Traditional Deep Learning

Haowen Xu, Sisi Zlatanova, Ruiyu Liang, Ismet Canbulat

机构 * GRID, School of Built Environment, UNSW Sydney, NSW 2052 Australia（GRID，环境建筑学院，新南威尔士大学悉尼分校） ； School of Minerals and Energy Resources Engineering, UNSW Sydney, NSW 2052 Australia（矿物与能源资源工程学院，新南威尔士大学悉尼分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

ChartEdit: How Far Are MLLMs From Automating Chart Analysis? Evaluating MLLMs' Capability via Chart Editing

Xuanle Zhao, Xuexin Liu, Haoyue Yang, Xianzhen Luo, Fanhu Zeng, Jianling Li, Qi Shi, Chi Chen

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

Comments Accepted by ACL2025 Findings, camera-ready version

Early Timestep Zero-Shot Candidate Selection for Instruction-Guided Image Editing

Joowon Kim, Ziseok Lee, Donghyeon Cho, Sanghyun Jo, Yeonsung Jung, Kyungsu Kim, Eunho Yang

机构 * KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） ； OGQ 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

InstructLayout: Instruction-Driven 2D and 3D Layout Synthesis with Semantic Graph Prior

Chenguo Lin, Yuchen Lin, Panwang Pan, Xuanyang Zhang, Yadong Mu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； PICO AI group, ByteDance（字节跳动PICO AI团队） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to T-PAMI 2025. This paper is an extension of ICLR 2024 "InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior". arXiv admin note: substantial text overlap with arXiv:2402.04717

Joint Generative Modeling of Grounded Scene Graphs and Images via Diffusion Models

Bicheng Xu, Qi Yan, Renjie Liao, Lele Wang, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（人工智能向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

Scoring ISAC: Benchmarking Integrated Sensing and Communications via Score-Based Generative Modeling

Lin Chen, Chang Cai, Huiyuan Yang, Xiaojun Yuan, Ying-Jun Angela Zhang

专题命中 多模态生成 ：multimodal(abstract)

Diffusion models for inverse problems

Hyungjin Chung, Jeongsol Kim, Jong Chul Ye

机构 * EverEx ； KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multimodal(abstract)