多模态大模型

Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection

Daichi Zhang, Tong Zhang, Jianmin Bao, Shiming Ge, Sabine Süsstrunk

机构 * School of Computer and Communication Sciences, EPFL（瑞士联邦理工学院计算机与通信科学学院） ； Microsoft Research Asia（微软亚洲研究院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

SpinalSAM-R1: A Vision-Language Multimodal Interactive System for Spine CT Segmentation

Jiaming Liu, Dingwei Fan, Junyong Zhao, Chunlin Li, Haipeng Si, Liang Sun

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学） ； Department of Orthopedics, Qilu Hospital, Shandong University（骨科部，齐鲁医院，山东大学） ； Key Laboratory of Qingdao in Medicine and Engineering（医学与工程青岛重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 2 Tables,5 Figures,16 Equations

Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models

Junjie Chen, Xuyang Liu, Subin Huang, Linfeng Zhang, Hang Yu

机构 * Anhui Polytechnic University (AHPU)（安徽工程大学） ； Shanghai University (SHU)（上海大学） ； Shanghai Jiao Tong University (SJTU)（上海交通大学） ； Sichuan University (SCU)（四川大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

Fleming-VL: Towards Universal Medical Visual Reasoning with Multimodal LLMs

Yan Shu, Chi Liu, Robin Chen, Derek Li, Bryan Dai

机构 * Ubiquant（乌比量化） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models

Ruoxiang Huang, Xindian Ma, Rundong Kong, Zhen Yuan, Peng Zhang

机构 * Tianjin University（天津大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

Cycle Consistency as Reward: Learning Image-Text Alignment without Human Preferences

Hyojin Bahng, Caroline Chan, Fredo Durand, Phillip Isola

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 图文多模态 ：image-text(title)；multimodal(abstract)；分类 cs.CV

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding

Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

机构 * ServiceNow ； York University（约克大学） ； Mila – Quebec AI Institute（魁北克人工智能研究院） ； École de Technologie Supérieure（魁北克高等技术学院） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； University of Waterloo（滑铁卢大学） ； CIFAR AI Chair（CIFAR人工智能 chair） ； Polytechnique Montréal（蒙特利尔理工学院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 图文多模态 ：multimodal(title)；cross-modal(abstract)；分类 cs.CL

Enhancing Adversarial Transferability in Visual-Language Pre-training Models via Local Shuffle and Sample-based Attack

Xin Liu, Aoyang Zhou, Aoyang Zhou

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NAACL2025 findings

$\left|\,\circlearrowright\,\boxed{\text{BUS}}\,\right|$: A Large and Diverse Multimodal Benchmark for evaluating the ability of Vision-Language Models to understand Rebus Puzzles

Trishanu Das, Abhilash Nandy, Khush Bajaj, Deepiha S

机构 * Tredence Inc.（特伦德公司） ； Indian Institute of Technology Kharagpur（印度理工学院克拉格浦尔分校） ； Inria Paris-Rocquencourt（巴黎-罗克琴库特研究所） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒姆研究实验室） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL

Comments 7 pages, 5 figures, 4 tables

Bayesian Natural Gradient Fine-Tuning of CLIP Models via Kalman Filtering

Hossein Abdi, Mingfei Sun, Wei Pan

机构 * The University of Manchester（曼彻斯特大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Analyzing Sustainability Messaging in Large-Scale Corporate Social Media

Ujjwal Sharma, Stevan Rudinac, Ana Mićković, Willemijn van Dolen, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

MGPATH: Vision-Language Model with Multi-Granular Prompt Learning for Few-Shot WSI Classification

Anh-Tien Nguyen, Duy Minh Ho Nguyen, Nghiem Tuong Diep, Trung Quoc Nguyen, Nhat Ho, Jacqueline Michelle Metsch, Miriam Cindy Maurer, Daniel Sonntag, Hanibal Bohnenberger, Anne-Christin Hauschild

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

Comments Published in Transactions on Machine Learning Research (09/2025)

Journal ref Transactions on Machine Learning Research (09/2025)

ToxicTextCLIP: Text-Based Poisoning and Backdoor Attacks on CLIP Pre-training

Xin Yao, Haiyang Zhao, Yimin Chen, Jiawei Guo, Kecheng Huang, Ming Zhao

机构 * School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； Miner School of Computer & Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校Miner计算机与信息科学学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025

OpenFACADES: An Open Framework for Architectural Caption and Attribute Data Enrichment via Street View Imagery

Xiucheng Liang, Jinheng Xie, Tianhong Zhao, Rudi Stouffs, Filip Biljecki

机构 * Department of Architecture, National University of Singapore（建筑系，新加坡国立大学） ； Department of Electrical and Computer Engineering, National University of Singapore（电气与计算机工程系，新加坡国立大学） ； School of Artificial Intelligence, Shenzhen Technology University（人工智能学院，深圳科技大学） ； Department of Real Estate, National University of Singapore（房地产系，新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Journal ref ISPRS Journal of Photogrammetry and Remote Sensing 230: 918-942, 2025

Federated Vision-Language-Recommendation with Personalized Fusion

Zhiwei Li, Guodong Long, Jing Jiang, Chengqi Zhang, Qiang Yang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Comments 15 pages, 10 figures, 7 tables, conference

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yu-Gang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

Towards General Auditory Intelligence: Large Multimodal Models for Machine Listening and Speaking

Siyin Wang, Zengrui Jin, Changli Tang, Qiujia Li, Bo Li, Chen Chen, Yuchen Hu, Wenyi Yu, Yixuan Li, Jimin Zhuang, Yudong Yang, Mingqiu Wang, Michael Han, Yifan Ding, Junwen Bai, Tom Ouyang, Shuo-yiin Chang, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Guangzhi Sun, Zhehuai Chen, Ji Wu, Bowen Zhou, Yuxuan Wang, Tara Sainath, Yonghui Wu, Chao Zhang

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 eess.AS

Comments 22 pages, 11 figures

Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks

Xu Zheng, Zihao Dongfang, Lutao Jiang, Boyuan Zheng, Yulong Guo, Zhenquan Zhang, Giuliano Albanese, Runyi Yang, Mengjiao Ma, Zixin Zhang, Chenfei Liao, Dingcheng Zhen, Yuanhuiyi Lyu, Yuqian Fu, Bin Ren, Linfeng Zhang, Danda Pani Paudel, Nicu Sebe, Luc Van Gool, Xuming Hu

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV

SeaLLMs-Audio: Large Audio-Language Models for Southeast Asia

Chaoqun Liu, Mahani Aljunied, Guizhen Chen, Hou Pong Chan, Weiwen Xu, Yu Rong, Wenxuan Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments 10 pages

Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play

Jiatong Shi, Jionghao Han, Yichen Lu, Santiago Pascual, Pengfei Wu, Chenye Cui, Shinji Watanabe, Chao Weng, Cong Zhou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Anuttacon（安纳塔康） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

Comments 67 pages

Audio Driven Real-Time Facial Animation for Social Telepresence

Jiye Lee, Chenghui Li, Linh Tran, Shih-En Wei, Jason Saragih, Alexander Richard, Hanbyul Joo, Shaojie Bai

机构 * Seoul National University（首尔国立大学） ； Codec Avatars Lab, Meta（Meta语义编码实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

Comments SIGGRAPH Asia 2025. Project page: https://jiyewise.github.io/projects/AudioRTA

From Generality to Specificity: Prior-Driven Optimal Sparse Transformation in Compressed Sensing

Zhihan Zhu, Yanhao Zhang, Yong Xia

专题命中 音频语音多模态 ：multimodal(abstract)

Comments 47 pages, 10 figures, 1 table

Enhancing Heavy Rain Nowcasting with Multimodal Data: Integrating Radar and Satellite Observations

Rama Kassoumeh, David Rügamer, Henning Oppel

机构 * Bochum Institute of Technology（波恩技术学院） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Okeanos Smart Data Solutions GmbH（Okeanos智能数据解决方案有限公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

Comments accepted to ICMLA 2025

Cross-Modal Temporal Fusion for Financial Market Forecasting

Yunhua Pei, John Cartlidge, Anandadeep Mandal, Daniel Gold, Enrique Marcilio, Riccardo Mazzon

机构 * School of Computer Science, University of Bristol, Bristol, UK（布里斯托大学计算机科学学院） ； School of Engineering Mathematics and Technology, University of Bristol, Bristol, UK（布里斯托大学工程数学与技术学院） ； School of Engineering Mathematics（工程数学学院） ； Technology, University of Bristol, Bristol, UK（技术学院） ； Business School, University of Birmingham, Birmingham, UK（伯明翰大学商学院） ； Stratiphy Limited, London, UK（Stratiphy公司） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)

Comments 10 pages, 4 figures, manuscript accepted to PAIS at ECAI-2025 European Conference on Artificial Intelligence, October 25-30, 2025, Bologna, Italy

Journal ref Frontiers in Artificial Intelligence and Applications, vol. 413, ECAI 2025, pp. 5360 - 5367

Vote-in-Context: Turning VLMs into Zero-Shot Rank Fusers

Mohamed Eltahir, Ali Habibullah, Lama Ayash, Tanveer Hussain, Naeemullah Khan

机构 * King Abdullah University of Science and Technology (KAUST)（卡布斯大学） ； King Khalid University (KKU)（国王 Khalid 大学） ； Edge Hill University（埃德希尔大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Aligning Effective Tokens with Video Anomaly in Large Language Models

Yingxian Chen, Jiahui Liu, Ruidi Fan, Yanwei Li, Chirui Chang, Shizhen Zhao, Wilton W. T. Fok, Xiaojuan Qi, Yik-Chung Wu

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

PixelRefer: A Unified Framework for Spatio-Temporal Object Referring with Arbitrary Granularity

Yuqian Yuan, Wenqiao Zhang, Xin Li, Shihao Wang, Kehan Li, Wentong Li, Jun Xiao, Lei Zhang, Beng Chin Ooi

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里云图研究院） ； Hupan Lab（鸿篇实验室） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments 22 pages, 13 figures

Video Flow as Time Series: Discovering Temporal Consistency and Variability for VideoQA

Zijie Song, Zhenzhen Hu, Yixiao Ma, Jia Li, Richang Hong

机构 * Hefei University of Technology, Hefei, China（合肥工业大学） ； University of Science and Technology of China, Hefei, China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

UniLION: Towards Unified Autonomous Driving Model with Linear Group RNNs

Zhe Liu, Jinghua Hou, Xiaoqing Ye, Jingdong Wang, Hengshuang Zhao, Xiang Bai

机构 * School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学电子信息与通信学院） ； School of Software Engineering, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学软件工程学院） ； Department of Computer Science, The University of Hong Kong, Hong Kong (HKU) SAR, China（香港大学计算机系） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Habitat and Land Cover Change Detection in Alpine Protected Areas: A Comparison of AI Architectures

Harald Kristen, Daniel Kulmer, Manuela Hirschmugl

机构 * University of Graz（格拉茨大学） ； Joanneum Research（乔安姆研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV