多模态大模型

THFlow: A Temporally Hierarchical Flow Matching Framework for 3D Peptide Design

Dengdeng Huang, Shikui Tu

机构 * School of Computer Science Shanghai Jiao Tong University Shanghai, China（计算机科学学院 上海交通大学 上海中国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

MLLM-Driven Semantic Identifier Generation for Generative Cross-Modal Retrieval

Tianyuan Li, Lei Wang, Ahtamjan Ahmat, Yating Yang, Bo Ma, Rui Dong, Bangju Han

专题命中 跨模态检索 ：cross-modal(title,abstract)；MLLM(title)；multimodal(abstract)

Comments We plan to revise the methodology and update the experimental analysis before resubmission

SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model

Lin Lin, Jiefeng Long, Zhihe Wan, Yuchi Wang, Dingkang Yang, Shuang Yang, Yueyang Yao, Xu Chen, Zirui Guo, Shengqiang Li, Weiran Li, Hanyu Li, Yaling Mou, Yan Qiu, Haiyang Yu, Xiao Liang, Hongsheng Li, Chao Feng

机构 * ByteDance Douyin SAIL Team, CUHK MMLab（字节跳动抖音SAIL团队，CUHK MMLab） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Technical Report

Learning to Steer: Input-dependent Steering for Multimodal LLMs

Jayneel Parekh, Pegah Khayatan, Mustafa Shukor, Arnaud Dapogny, Alasdair Newson, Matthieu Cord

机构 * ISIR, Sorbonne Université（ISIR，索邦大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments NeurIPS 2025

Decoupling Contrastive Decoding: Robust Hallucination Mitigation in Multimodal Large Language Models

Wei Chen, Xin Yan, Bin Wen, Fan Yang, Tingting Gao, Di Zhang, Long Chen

机构 * HKUST（香港科技大学） ； University of Waterloo（滑铁卢大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)

Comments 17 pages, 4 figures

ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval

Ahmed Masry, Megh Thakkar, Patrice Bechard, Sathwik Tejaswi Madhusudhan, Rabiul Awal, Shambhavi Mishra, Akshay Kalkunte Suresh, Srivatsava Daruru, Enamul Hoque, Spandana Gella, Torsten Scholak, Sai Rajeswar

机构 * ServiceNow ； York University（约克大学） ； MILA - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； École de technologie supérieure（卓越工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

PolyRecommender: A Multimodal Recommendation System for Polymer Discovery

Xin Wang, Yunhao Xiao, Rui Qiao

机构 * Department of Mechanical Engineering（机械工程系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

Multimodal Item Scoring for Natural Language Recommendation via Gaussian Process Regression with LLM Relevance Judgments

Yifan Liu, Qianfeng Wen, Jiazhou Liang, Mark Zhao, Justin Cui, Anton Korikov, Armin Toroghi, Junyoung Kim, Scott Sanner

专题命中 跨模态检索 ：multimodal(title,abstract)

Comments 16 pages,20 figures

From Drone Imagery to Livability Mapping: AI-powered Environment Perception in Rural China

Weihuan Deng, Yaofu Huang, Luan Chen, Xun Li, Yu Gu, Yao Yao

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Dynamic Multi-level Weighted Alignment Network for Zero-shot Sketch-based Image Retrieval

Hanwen Su, Ge Song, Jiyan Wang, Yuanbo Zhu

机构 * School of Computer and Electronic Information（计算机与电子信息学院） ； Nanjing Normal University（南京师范大学） ； Nanjing（南京） ； CHN（中国） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

DMVFC: Deep Learning Based Functionally Consistent Tractography Fiber Clustering Using Multimodal Diffusion MRI and Functional MRI

Bocheng Guo, Jin Wang, Yijie Li, Junyi Wang, Mingyu Gao, Puming Feng, Yuqian Chen, Jarrett Rushmore, Nikos Makris, Yogesh Rathi, Lauren J O'Donnell, Fan Zhang

专题命中 多模态生成 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

Comments 14 pages

ROVER: Benchmarking Reciprocal Cross-Modal Reasoning for Omnimodal Generation

Yongyuan Liang, Wei Chow, Feng Li, Ziqiao Ma, Xiyao Wang, Jiageng Mao, Jiuhai Chen, Jiatao Gu, Yue Wang, Furong Huang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Pennsylvania（宾夕法尼亚大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Michigan（密歇根大学） ； University of Southern California（南加州大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

Comments Project Page: https://roverbench.github.io/

A Survey on Cache Methods in Diffusion Models: Toward Efficient Multi-Modal Generation

Jiacheng Liu, Xinyu Wang, Yuqi Lin, Zhikai Wang, Peiru Wang, Peiliang Cai, Qinming Zhou, Zhengan Yan, Zexuan Yan, Zhengyi Shi, Chang Zou, Yue Ma, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments 22 pages,2 figures

Learning Intractable Multimodal Policies with Reparameterization and Diversity Regularization

Ziqi Wang, Jiashun Liu, Ling Pan

机构 * Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

Comments NeurIPS 2025

MotionGPT3: Human Motion as a Second Modality

Bingfan Zhu, Biao Jiang, Sunyi Wang, Shixiang Tang, Tao Chen, Linjie Luo, Youyi Zheng, Xin Chen

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） ； The Chinese University of HongKong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

Comments 26 pages, 11 figures

SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding

Qianqian Sun, Jixiang Luo, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence(TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； The University of Hongkong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.MM

Wave-Particle (Continuous-Discrete) Dualistic Visual Tokenization for Unified Understanding and Generation

Yizhu Chen, Chen Ju, Zhicheng Wang, Shuai Xiao, Xu Chen, Jinsong Lan, Xiaoyong Zhu, Ying Chen

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation

Kang Liu, Zhuoqi Ma, Xiaolu Kang, Zhusi Zhong, Zhicheng Jiao, Grayson Baird, Harrison Bai, Qiguang Miao

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Xi'an Key Laboratory of Big Data and Intelligent Vision（西安大数据与智能视觉重点实验室） ； Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, Xidian University（教育部协同智能系统重点实验室） ； Warren Alpert Medical School, Brown University（布朗大学沃伦·阿尔珀特医学院） ； School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； Department of Radiology and Radiological Sciences, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院放射科） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CL、cs.AI

Comments The code is available at https://github.com/mk-runner/SEI-Temp or https://github.com/mk-runner/SEI

Journal ref Medical Image Computing and Computer Assisted Intervention (MICCAI 2024)

Oitijjo-3D: Generative AI Framework for Rapid 3D Heritage Reconstruction from Street View Imagery

Momen Khandoker Ope, Akif Islam, Mohd Ruhul Ameen, Abu Saleh Musa Miah, Md Rashedul Islam, Jungpil Shin

机构 * University of Rajshahi（拉贾沙希大学） ； Marshall University（马歇尔大学） ； University of Aizu（御所大学） ； University of Asia Pacific（亚洲太平洋大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 6 Pages, 4 figures, 2 Tables, Submitted to ICECTE 2026

AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency

Piyushkumar Patel

机构 * Microsoft（微软） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward

Xiaogang Xu, Ruihang Chu, Jian Wang, Kun Zhou, Wenjie Shu, Harry Yang, Ser-Nam Lim, Hao Chen, Liang Lin

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Snap Research ； Shenzhen University（深圳大学） ； HKUST（香港科技大学） ； University of Central Florida（佛罗里达大学） ； UC Davis（加州大学戴维斯分校） ； Sun Yat-Sen University（孙中山大学） 纠错

专题命中 多模态生成 ：MLLM(abstract)；分类 cs.CV

Phys4DGen: Physics-Compliant 4D Generation with Multi-Material Composition Perception

Jiajing Lin, Zhenzhong Wang, Dejun Xu, Shu Jiang, YunPeng Gong, Min Jiang

机构 * School of Informatics, Xiamen University（厦门大学信息学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments Accepted by ACM MM 2025. Project Page: https://jiajinglin.github.io/Phys4DGen

Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities

Xihang Qiu, Jiarong Cheng, Yuhao Fang, Wanpeng Zhang, Yao Lu, Ye Zhang, Chun Li

机构 * Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； Beijing Institude of Technology（北京理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Sampling by averaging: A multiscale approach to score estimation

Paula Cordero-Encinar, Andrew B. Duncan, Sebastian Reich, O. Deniz Akyildiz

专题命中 多模态生成 ：multimodal(abstract)

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

Xiaoyu Zhan, Wenxuan Huang, Hao Sun, Xinyu Fu, Changfeng Ma, Shaosheng Cao, Bohan Jia, Shaohui Lin, Zhenfei Yin, Lei Bai, Wanli Ouyang, Yuanqi Li, Jie Guo, Yanwen Guo

机构 * Nanjing University（南京大学） ； Xiaohongshu Inc.（小红书公司） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

Qianhao Yuan, Qingyu Zhang, Yanjiang Liu, Jiawei Chen, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Comments Published as a conference paper at ICCV 2025. Project page: https://github.com/icip-cas/ShortV

Multimodal Detection of Fake Reviews using BERT and ResNet-50

Suhasnadh Reddy Veluru, Sai Teja Erukude, Viswa Chaitanya Marella

机构 * College of Business Administration Kansas State University Manhattan, USA（商学院学院 华盛顿州立大学 曼哈顿 美国） ； Department of Computer Science Kansas State University Manhattan, USA（计算机科学系 华盛顿州立大学 曼哈顿 美国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Published in IEEE

Multimodal Learning with Augmentation Techniques for Natural Disaster Assessment

Adrian-Dinu Urse, Dumitru-Clementin Cercel, Florin Pop

机构 * Romanian Hub for Artificial Intelligence - HRIA（罗马尼亚人工智能枢纽 - HRIA） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted at 2025 IEEE 21st International Conference on Intelligent Computer Communication and Processing (ICCP 2025)

PRISM2: Unlocking Multi-Modal General Pathology AI with Clinical Dialogue

Eugene Vorontsov, George Shaikovski, Adam Casson, Julian Viret, Eric Zimmermann, Neil Tenenholtz, Yi Kan Wang, Jan H. Bernhard, Ran A. Godrich, Juan A. Retamero, Jinru Shia, Mithat Gonen, Martin R. Weiser, David S. Klimstra, Razik Yousfi, Nicolo Fusi, Thomas J. Fuchs, Kristen Severson, Siqi Liu

机构 * Paige, NYC, NY United States（美国纽约市帕伊公司） ； Microsoft Research, Cambridge, MA United States（微软研究院） ； Memorial Sloan Kettering Cancer Center, NYC, NY United States（纪念斯隆凯特林癌症中心） ； University of Yale, New Haven, CT United States（耶鲁大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.CL

DAMBench: A Multi-Modal Benchmark for Deep Learning-based Atmospheric Data Assimilation

Hao Wang, Zixuan Weng, Jindong Han, Wei Fan, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI