多模态大模型

Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference

Kuo Wang, Quanlong Zheng, Junlin Xie, Yanhao Zhang, Jinguo Luo, Haonan Lu, Liang Lin, Fan Zhou, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； OPPO AI Center（OPPO人工智能中心） ； Research Institute（研究 institute） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Harbin Institute of Technology（哈尔滨工业大学） ； Shenzhen Key Laboratory of Digital Living Network and Content Service（深圳数字生活网络与内容服务重点实验室） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments published in ICCV 2025

A comprehensive taxonomy of hallucinations in Large Language Models

Manuel Cossio

机构 * Universitat de Barcelona（巴塞罗那大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments 55 pages, 16 figures, 3 tables

E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation

Zeyu Xu, Junkang Zhang, Qiang Wang, Yi Liu

机构 * Zeyu Xu（作者） ； Junkang Zhang（作者） ； Qiang Wang（作者） ； Yi Liu（作者） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

CM$^3$: Calibrating Multimodal Recommendation

Xin Zhou, Yongjie Wang, Zhiqi Shen

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.MM

Comments Working Paper: https://github.com/enoche/CM3

Hubness Reduction with Dual Bank Sinkhorn Normalization for Cross-Modal Retrieval

Zhengxin Pan, Haishuai Wang, Fangyu Wu, Peng Zhang, Jiajun Bu

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)

Comments ACMMM 2025

Distributed AI Agents for Cognitive Underwater Robot Autonomy

Markus Buchholz, Ignacio Carlucho, Michele Grimaldi, Yvan R. Petillot

机构 * School of Engineering & Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫里奥特-瓦特大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

Transportation Cyber Incident Awareness through Generative AI-Based Incident Analysis and Retrieval-Augmented Question-Answering Systems

Ostonya Thomas, Muhaimin Bin Munir, Jean-Michel Tine, Mizanur Rahman, Yuchen Cai, Khandakar Ashrafi Akbar, Md Nahiyan Uddin, Latifur Khan, Trayce Hockstad, Mashrur Chowdhury

专题命中 跨模态检索 ：multimodal(abstract)

Comments This paper has been submitted to the Transportation Research Board (TRB) for consideration for presentation at the 2026 Annual Meeting

TCDiff: Triplex Cascaded Diffusion for High-fidelity Multimodal EHRs Generation with Incomplete Clinical Data

Yandong Yan, Chenxi Li, Yu Huang, Dexuan Xu, Jiaqi Zhu, Zhongyan Chai, Huamin Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心） ； Institute of Software, Chinese Academy of Science（中国科学院软件研究所） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Institute of Basic Theory of Chinese Medicine, China Academy of Chinese Medical Sciences（中国中医科学院中医基础理论研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

ChemMLLM: Chemical Multimodal Large Language Model

Qian Tan, Dongzhan Zhou, Peng Xia, Wanhao Liu, Wanli Ouyang, Lei Bai, Yuqiang Li, Tianfan Fu

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)

Comments 23 pages

ReCoSeg++:Extended Residual-Guided Cross-Modal Diffusion for Brain Tumor Segmentation

Sara Yavari, Rahul Nitin Pandya, Jacob Furst

机构 * School of Computing, DePaul University（计算学院，德保罗大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV

Tractography-Guided Dual-Label Collaborative Learning for Multi-Modal Cranial Nerves Parcellation

Lei Xie, Junxiong Huang, Yuanjing Feng, Qingrun Zeng

机构 * Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

FloorPlan-DeepSeek (FPDS): A multimodal approach to floorplan generation using vector-based next room prediction

Jun Yin, Pengyu Zeng, Jing Zhong, Peilin Li, Miao Zhang, Ran Luo, Shuai Lu

专题命中 多模态生成 ：multimodal(title)；分类 cs.CL、cs.AI

Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering

Xu Wang, Shengeng Tang, Fei Wang, Lechao Cheng, Dan Guo, Feng Xue, Richang Hong

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

SDMatte: Grafting Diffusion Models for Interactive Matting

Longfei Huang, Yu Liang, Hao Zhang, Jinwei Chen, Wei Dong, Lunde Chen, Wanyu Liu, Bo Li, Peng-Tao Jiang

机构 * Shanghai University（上海大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025, 11 pages, 4 figures

DRC: Enhancing Personalized Image Generation via Disentangled Representation Composition

Yiyan Xu, Wuqiang Zheng, Wenjie Wang, Fengbin Zhu, Xinting Hu, Yang Zhang, Fuli Feng, Tat-Seng Chua

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted for publication in ACM MM'25

DiffSemanticFusion: Semantic Raster BEV Fusion for Autonomous Driving via Online HD Map Diffusion

Zhigang Sun, Yiru Wang, Anqing Jiang, Shuo Wang, Yu Gao, Yuwen Heng, Shouyi Zhang, An He, Hao Jiang, Jinhao Chai, Zichong Gu, Wang Jijun, Shichen Tang, Lavdim Halilaj, Juergen Luettin, Hao Sun

机构 * Bosch Corporate Research, Bosch (China) Investment Ltd.（博世企业研究院、博世（中国）投资有限公司） ； School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； Shanghai Jiaotong University（上海交通大学） ； AIR, Tsinghua University（清华大学人工智能研究院） ； Robert Bosch GmbH（罗伯特·博世集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Semantically-Guided Inference for Conditional Diffusion Models: Enhancing Covariate Consistency in Time Series Forecasting

Rui Ding, Hanyang Meng, Zeyang Zhang, Jielong Yang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

Generative AI as a Pillar for Predicting 2D and 3D Wildfire Spread: Beyond Physics-Based Models and Traditional Deep Learning

Haowen Xu, Sisi Zlatanova, Ruiyu Liang, Ismet Canbulat

机构 * GRID, School of Built Environment, UNSW Sydney, NSW 2052 Australia（GRID，环境建筑学院，新南威尔士大学悉尼分校） ； School of Minerals and Energy Resources Engineering, UNSW Sydney, NSW 2052 Australia（矿物与能源资源工程学院，新南威尔士大学悉尼分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

ChartEdit: How Far Are MLLMs From Automating Chart Analysis? Evaluating MLLMs' Capability via Chart Editing

Xuanle Zhao, Xuexin Liu, Haoyue Yang, Xianzhen Luo, Fanhu Zeng, Jianling Li, Qi Shi, Chi Chen

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

Comments Accepted by ACL2025 Findings, camera-ready version

Early Timestep Zero-Shot Candidate Selection for Instruction-Guided Image Editing

Joowon Kim, Ziseok Lee, Donghyeon Cho, Sanghyun Jo, Yeonsung Jung, Kyungsu Kim, Eunho Yang

机构 * KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） ； OGQ 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

InstructLayout: Instruction-Driven 2D and 3D Layout Synthesis with Semantic Graph Prior

Chenguo Lin, Yuchen Lin, Panwang Pan, Xuanyang Zhang, Yadong Mu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； PICO AI group, ByteDance（字节跳动PICO AI团队） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to T-PAMI 2025. This paper is an extension of ICLR 2024 "InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior". arXiv admin note: substantial text overlap with arXiv:2402.04717

Joint Generative Modeling of Grounded Scene Graphs and Images via Diffusion Models

Bicheng Xu, Qi Yan, Renjie Liao, Lele Wang, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（人工智能向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

Scoring ISAC: Benchmarking Integrated Sensing and Communications via Score-Based Generative Modeling

Lin Chen, Chang Cai, Huiyuan Yang, Xiaojun Yuan, Ying-Jun Angela Zhang

专题命中 多模态生成 ：multimodal(abstract)

Diffusion models for inverse problems

Hyungjin Chung, Jeongsol Kim, Jong Chul Ye

机构 * EverEx ； KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

Multimodal Large Language Models for End-to-End Affective Computing: Benchmarking and Boosting with Generative Knowledge Prompting

Miaosen Luo, Jiesen Long, Zequn Li, Yunying Yang, Yuncheng Jiang, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机科学学院） ； School of Information Technology in Education, South China Normal University（华南师范大学教育信息技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.AI

Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan

Jui-Ming Yao, Bing-Cheng Xie, Sheng-Wei Peng, Hao-Yuan Chen, He-Rong Zheng, Bing-Jia Tan, Peter Shaojui Wang, Shun-Feng Su

机构 * National Taiwan University of Science and Technology（台湾科技大学） ； University of London（伦敦大学） ； National Taiwan University（台湾大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；any-to-any(abstract)；分类 cs.CL、cs.AI

Segment Any Architectural Facades (SAAF):An automatic segmentation model for building facades, walls and windows based on multimodal semantics guidance

Peilin Li, Jun Yin, Jing Zhong, Ran Luo, Pengyu Zeng, Miao Zhang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

ForenX: Towards Explainable AI-Generated Image Detection with Multimodal Large Language Models

Chuangchuang Tan, Jinglu Wang, Xiang Ming, Renshuai Tao, Yunchao Wei, Yao Zhao, Yan Lu

机构 * Beijing Jiaotong University（北京交通大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

SiM3D: Single-instance Multiview Multimodal and Multisetup 3D Anomaly Detection Benchmark

Alex Costanzino, Pierluigi Zama Ramirez, Luigi Lella, Matteo Ragaglia, Alessandro Oliva, Giuseppe Lisanti, Luigi Di Stefano

机构 * CVLab, University of Bologna, Italy（博洛尼亚大学计算机视觉实验室） ； SACMI Imola, Italy（意大利SACMI公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted at ICCV 2025. Project page: https://alex-costanzino.github.io/SiM3D/

Multimodal 3D Reasoning Segmentation with Complex Scenes

Xueying Jiang, Lewei Lu, Ling Shao, Shijian Lu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV