多模态大模型

Rad-VLSM: A Cross-Modal Framework with Semantics-Assisted Prompting for Medical Segmentation and Diagnosis

Rad-VLSM：一种结合语义辅助提示的跨模态框架用于医学分割与诊断

Fengyi Zhang, Xujie Zeng, Mohan Liu, Zengyi Wang, Yalong Jiang

机构 * Student Member, IEEE（IEEE学生会员） ； Member, IEEE（IEEE会员） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Rad-VLSM框架，通过语义引导的提示机制，提升医学图像分割与诊断的准确性，解决现有模型易受背景组织和无关视觉相关性干扰的问题。

Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models

多模态文化遗产品知图扩展与语言和视觉模型

Yang Zhang, Nada Mimouni, Jean-Claude Moissinac, Fayçal Hamdi

机构 * Center for Studies and Research in Computer Science and Communication, CNAM（计算机科学与通信研究所以及CNAME） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种多模态方法，利用语言和视觉模型扩展文化遗产品知图，通过构建多模态知识图谱WJoconde并建立评估基准，提高知识图谱的扩展效率和可靠性。

MIRAGE: Robust multi-modal architectures translate fMRI-to-image models from vision to mental imagery

MIRAGE：鲁棒的多模态架构将fMRI到图像模型从视觉扩展到心理意象

Reese Kneeland, Cesar Kadir Torrico Villanueva, Jordyn Ojeda, Shuhb Khanna, Jonathan Xu, Paul S. Scotti, Thomas Naselaris

机构 * University of Minnesota（明尼苏达大学） ； Medical AI Research Center (MedARC)（医学人工智能研究中心 (MedARC)） ； University of Sydney（悉尼大学） ； Stanford University（斯坦福大学） ； Alljoined ； Sophont ； Princeton Neuroscience Institute（普林斯顿神经科学研究所） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出MIRAGE方法，通过多模态文本和图像特征训练，实现从脑活动解码心理意象，展示了在NSD-Imagery基准上SOTA的性能。

F2IND-IT! -- Multimodal Fuzzy Fake Indian News Detection using Images and Text

F2IND-IT! -- 多模态模糊假新闻检测：结合图像和文本

Kushal Trivedi, Murtuza Shaikh, Khushi Singh, Jeevaraj S.

机构 * ABV - Indian Institute of Information Technology, Gwalior（ABV-印度信息技术学院，加尔瓦里） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种多模态模糊框架，结合图像和文本进行印度媒体虚假新闻检测，通过ResNet-50提取图像特征，DistilBERT获取文本语义嵌入，ANFIS生成模糊可靠性评分，并通过轻量级注意力融合模块进行分类，实验结果显示在准确率、精确率、召回率和F1分数上均优于现有方法。

Comments 10 pages, 1 figure

Cultivating Forensic Reasoning for Generalizable Multimodal Manipulation Detection

培养可推广的多模态操纵检测的推理能力

Yuchen Zhang, Yaxiong Wang, Kecheng Han, Yujiao Wu, Lianwei Wu, Li Zhu, Zhedong Zheng

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； CSIRO（澳大利亚联邦科学与工业研究组织） ； Northwestern Polytechnical University（西北工业大学） ； University of Macau（澳门大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出REFORM框架，通过推理驱动的方法改进多模态操纵检测，提升泛化能力，在多个数据集上取得新高准确率。

Comments Accepted to ACL 2026

Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

对多模态大语言模型评分者的审计：临床顺序评分中的中间倾向偏差

Jiaqing Zhang, Sandeep Elluri, Bhanu Cherukuvada, Yonah Joffe, Jessica Sena, Miguel Contreras, Scott Siegel, Subhash Nerella, Catherine Price, Parisa Rashidi

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Department of Computer and Information Science and Engineering（计算机与信息科学与工程系） ； Department of Clinical and Health Psychology（临床与健康心理学系） ； Department of Biomedical Engineering（生物医学工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型在临床顺序评分中的中间倾向偏差，通过基准测试发现三种前沿LLM在Clock Drawing Test评分中存在系统性压缩倾向，影响临床决策。

Attribute-Grounded Selective Reasoning for Artwork Emotion Understanding with Multimodal Large Language Models

基于属性的选型推理用于艺术品情感理解的多模态大语言模型

Cheng Zhang, Yuer Liu, Zhiyu Zhou, Hongxia Xie, Wen-Huang Cheng

机构 * Department of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Department of Computer Science, National Taiwan University（国立台湾大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出基于属性的选型推理方法，通过多模态大语言模型实现艺术品情感理解，通过引入属性瓶颈引导框架提升情感预测精度和解释简洁性。

Multimodal Object Detection Under Sparse Forest-Canopy Occlusion

多模态目标检测在稀疏森林冠层遮挡下的应用

Nitik Jain, Mangal Kothari

机构 * Robotics & AI, Johns Hopkins University, USA（约翰霍普金斯大学机器人与人工智能系，美国） ； Department of Aerospace Engineering, IIT Kanpur（印度理工学院坎浦尔航空航天工程系） ； Senior Principal Flight Control Engineer, ADASI, EDGE Group, Abu Dhabi, UAE（阿布扎赫尔ADASI高级飞行控制系统工程师，EDGE集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出一种多模态管道，结合激光雷达、可见-热成像融合和合成孔径成像技术，以提高森林冠层下人类检测的可靠性，展示了改进的YOLOv5检测器在热成像和融合图像上的性能。

Multi-domain Multi-modal Document Classification Benchmark with a Multi-level Taxonomy

多领域多模态文档分类基准与多级分类法

Denghao Ma, Qing Liu, Zulong Chen, Chuanfei Xu, Jia Xu, Zhibo Yang, Wei Shao, Zhao Li

机构 * Beijing Information Science and Technology University（北京信息科学与技术大学） ； Alibaba Group（阿里巴巴集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Guangzhou University（广州大学） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL

AI总结 本文提出首个多级多领域多模态文档分类基准MMMBench，包含五级多级分类体系和12个商业领域的5990个真实多模态文档，通过系统实验识别出四个核心挑战并提供解决方案。

Learning Multimodal Embeddings for Traffic Accident Prediction and Causal Estimation

学习多模态嵌入用于交通事故预测和因果估计

Ziniu Zhang, Minxuan Duan, Haris N. Koutsopoulos, Hongyang R. Zhang

机构 * Northeastern University（东北大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过结合道路网络数据与卫星图像，提出多模态学习方法，提升交通事故预测精度，并发现降水、高速道路和季节因素对事故率的影响。

Comments 17 pages. Appeared in KDD 2026

MMTutorBench: The First Multimodal Benchmark for AI Math Tutoring

MMTutorBench：首个多模态AI数学辅导基准

Tengchao Yang, Sichen Guo, Mengzhao Jia, Jiaming Su, Yuanyang Liu, Zhihan Zhang, Meng Jiang

机构 * Tongji University（同济大学） ； Fudan University（复旦大学） ； University of Notre Dame（圣母大学） ； Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 MMTutorBench首次提出多模态AI数学辅导基准，包含685个围绕教学关键步骤构建的问题，通过六维度细粒度评估和三个任务（洞察发现、操作构建、操作执行）评估12个顶级MLLMs，揭示了专有与开源系统间的性能差异及OCR、少样本提示等对辅导质量的影响。

EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving

EnergyLens: 多模态大语言模型推理服务中的可解释闭式能量模型

Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

机构 * University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态大语言模型推理服务中的能量优化问题，提出EnergyLens模型，通过符号回归发现结构，构建基于系统属性的闭式能量模型，实现可解释且高效的配置选择。

Comments 10 pages

MMRareBench: A Rare-Disease Multimodal and Multi-Image Medical Benchmark

MMRareBench: 一种罕见疾病多模态和多图像医学基准

Junzhi Ning, Jiashi Lin, Yingying Fang, Wei Li, Jiyao Liu, Cheng Tang, Chenglong Ma, Wenhao Tang, Tianbin Li, Ziyan Huang, Guang Yang, Junjun He

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Imperial College London（帝国理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MMRareBench，首个评估多模态和多图像临床能力的罕见疾病基准，包含1756个问题-答案对和7958张医学图像，揭示23个MLLMs在多图像任务中表现低下，存在能力稀释效应。

LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models

LENS：基于大语言模型的多级多模态推理评估

Ruilin Yao, Bo Zhang, Jirui Huang, Xinwei Long, Yifang Zhang, Tianyu Zou, Yufei Wu, Shichao Su, Yifan Xu, Wenxi Zeng, Zhaoyu Yang, Guoyou Li, Shilan Zhang, Zichan Li, Yaxiong Chen, Shengwu Xiong, Peng Xu, Jiajun Zhang, Bowen Zhou, David Clifton, Luc Van Gool

机构 * Wuhan University of Technology（武汉理工大学） ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Shanghai AI Lab（上海人工智能实验室） ； University of Oxford（牛津大学） ； INSAIT, Sofia Un. St Kliment Ohridski（索菲亚大学克里门特·欧里迪斯基学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 LENS提出一个包含3.4K图像和60K+问题的多级评估基准，涵盖8个任务和12种日常场景，用于评估大语言模型在多模态推理中的表现。

Comments Published as a conference paper at ICLR 2026

FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

FIND：迈向印度语言多模态金融推理与问答

Sarmistha Das, Vaibhav Vishal, Syed Ibrahim Ahmad, Manish Gupta, Sriparna Saha

机构 * Indian Institute of Technology Patna（印度理工学院帕纳分校） ； Microsoft（微软） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出FinVQA基准和FIND框架，针对多语言印度语言金融推理挑战，通过多模态和数值推理提升金融决策准确性。

Multimodal Hidden Markov Models for Persistent Emotional State Tracking

多模态隐马尔可夫模型用于持久情绪状态跟踪

Anamika Ragu, Aneesh Jonelagadda

机构 * Kaliber AI, San Mateo, California, USA（Kaliber AI，美国加利福尼亚州圣马特奥） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出基于多模态valence- arousal表示的轻量框架，利用sticky factorial HDP-HMM实现对话情绪的持续状态跟踪，通过LLM-as-a-Judge等指标验证其比基线Gaussian HMM更高效且可解释。

Comments 8 pages, 2 figures

Synthesizing the Expert: A Validated Multimodal Dataset for Trustworthy AI-Assisted Swimming Coaching

合成专家：一个经过验证的多模态数据集用于可信的人工智能辅助游泳教练

Ahmad Al-Kabbany, Esraa Kassem

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文提出一个多模态数据集，用于构建可信的人工智能游泳教练系统，通过多代理LLM架构生成1864个验证的'问题-上下文-答案'三元组，提升自动化指导的可靠性。

Fashion130K: An E-commerce Fashion Dataset for Outfit Generation with Unified Multi-modal Condition

Fashion130K: 一个用于服装生成的电子商务服装数据集，具有统一的多模态条件

Yu He, Ting Zhu, Yichun Liu, Lichen Ma, Xinyuan Shan, Jingling Fu, Yu Shi, Junshi Huang, Yan Li

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Fashion130K数据集和统一多模态条件框架，通过多模态提示对齐和融合变压器提升生成一致性，实验验证了UMC在视觉一致性上的有效性。

Comments Accepted to CVPR 2026 Findings

MM-OptBench: A Solver-Grounded Benchmark for Multimodal Optimization Modeling

MM-OptBench：一种面向多模态优化建模的求解器导向基准

Zhong Li, Qi Huang, Yuxuan Zhu, Mohammad Mohammadi Amiri, Niki van Stein, Thomas Bäck, Matthijs van Leeuwen, Zaiwen Wen, Lincen Yang

机构 * Great Bay University（大湾大学） ； Leiden University（莱顿大学） ； Rensselaer Polytechnic Institute（伦塞拉尔理工学院） ； Peking University（北京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出MM-OptBench，一个基于求解器的多模态优化建模基准，通过文本和视觉信息生成数学模型和求解器代码，评估9种多模态大语言模型在不同难度实例上的表现，结果显示任务仍远未解决。

Comments Paper under review

Resilient Vision-Tabular Multimodal Learning under Modality Missingness

在模态缺失下的视觉-表格多模态学习的鲁棒性

Camillo Maria Caruso, Valerio Guarrasi, Paolo Soda

机构 * Research Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统研究单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University（诊断与干预系，辐射物理，生物医学工程，乌梅大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出一种多模态Transformer框架，用于在普遍存在模态缺失的情况下进行视觉-表格联合学习，通过可学习的模态标记和中间融合实现鲁棒的多模态推理。

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

SeePhys Pro：多模态RLVR中模态迁移和盲训练效应的诊断

Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世人工智能中心） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SeePhys Pro研究多模态RLVR中模态迁移对物理推理的影响，发现当前模型在信息从语言迁移到图像时表现下降，盲训练可提升性能，但依赖残余文本和分布特征而非有效视觉证据。

Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

具有90万规模日本全国学业能力评估学生响应分布的多模态基准

Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

机构 * Osaka Kyoiku University（大阪教养大学） ； University of Tokyo（东京大学） ； NII LLMC（日本国家信息与通信技术研究所大语言模型中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出一个基于日本全国学业能力评估的多模态数据集，包含真实考试布局、图表和教育文本，用于评估多模态大语言模型的性能，通过精确匹配准确率和字符级F1分数分析不同学科间的差异。

MuViS: Multimodal Virtual Sensing Benchmark

MuViS：多模态虚拟感知基准

Jens U. Brandt, Noah C. Puetz, Jobel Jose George, Niharika Vinay Kumar, Elena Raponi, Marc Hilbert, Thomas Bäck, Thomas Bartz-Beielstein

机构 * TH Köln, Germany（TH Köln大学） ； Leiden University（莱顿大学） ； Toyota Racing（丰田赛车） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MuViS基准测试平台整合多种数据集，评估多模态虚拟感知方法，证明现有方法无统一优势，需发展通用架构。

Comments Accepted at European Signal Processing Conference (EUSIPCO) 2026

Personal Visual Context Learning in Large Multimodal Models

个人视觉上下文学习在大型多模态模型中

Zihui Xue, Ami Baid, Sangho Kim, Mi Luo, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出个人视觉上下文学习（Personal VCL）以解决个性化查询，通过Personal-VCL-Bench评估，发现现有模型在利用视觉证据和聚合多视觉观察方面存在显著不足，提出Agentic Context Bank方法提升性能。

Comments Project website: https://vision.cs.utexas.edu/projects/PersonalVCL/

AgentRx: A Benchmark Study of LLM Agents for Multimodal Clinical Prediction Tasks

AgentRx: 一种针对多模态临床预测任务的LLM代理基准研究

Baraa Al Jorf, Farah E. Shamout

机构 * New York University Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了LLM代理在多模态临床预测任务中的表现，发现单代理框架在处理多模态数据和校准方面优于多代理系统，强调了改进多代理协作的重要性。

Comments Accepted at the AHLI Conference on Health, Inference, and Learning 2026

EmoS: A High-Fidelity Multimodal Benchmark for Fine-grained Streaming Emotional Understanding

EmoS：一种高保真多模态基准，用于细粒度流式情感理解

Pengze Guo, Jingxi Liang, Zhiwen Xie, Qifeng Wang, Derek F. Wong

机构 * NLP（自然语言处理） ； CT Lab, Department of Computer and Information Science, University of Macau（计算机与信息科学学院，澳门大学CT实验室） ； School of Computer Science, Central China Normal University（Central China Normal University计算机科学学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出EmoS基准，通过严格过滤静态片段与动态流式独白子集结合，解决现有数据集在生态效度和噪声方面的不足，提升多模态大语言模型在情感识别和共情模型训练中的性能。

Comments acl - 2026 main accepted

UniShield: Unified Face Attack Detection via KG-Informed Multimodal Reasoning

UniShield：基于知识图谱的多模态推理统一面部攻击检测

Hongrui Li, Yichen Shi, Hongyang Wang, Yuhao Gao, Hui Ma, Jun Feng, Zitong Yu

机构 * Shijiazhuang Tiedao University（石家庄铁道大学） ； Shanghai Jiao Tong University（上海交通大学） ； Ningbo Institute of Digital Twin（宁波数字孪生研究所） ； Great Bay University（大贝大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 UniShield通过构建面部攻击知识图谱，结合图谱一致推理优化，提升面部攻击检测的准确性和推理可靠性。

Multimodal Stepwise Clinically-Guided Attention Learning for Pathological Complete Response Prediction in Breast Cancer

多模态逐步临床引导注意力学习用于乳腺癌病理完全响应预测

Alice Natalina Caragliano, Valerio Guarrasi, Michela Gravina, Carlo Sansone, Paolo Soda

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Electrical Engineering and Information Technology, University of Naples Federico II（电气工程与信息科技系，那不勒斯费德里科二世大学） ； Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University（诊断与介入系，辐射物理，生物医学工程，乌梅大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出多模态逐步临床引导注意力学习框架，通过医学引导的空间指导和多模态整合，提升乳腺MRI中病理完全响应预测的敏感性和泛化能力。

Efficient Data Selection for Multimodal Models via Incremental Optimization Utility

通过增量优化效用实现多模态模型的数据选择效率

Jinhao Jing, Qiannian Zhao, Chao Huang, Zhan Su

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出OST框架，将数据选择转化为增量优化效用排名问题，通过轻量代理模拟单步更新估算样本边际效用，实验证明在减少训练成本的同时提升性能，优于现有基线方法。

OmicsLM: A Multimodal Large Language Model for Multi-Sample Omics Reasoning

OmicsLM：一种多模态大语言模型用于多样本组学推理

Maciej Sypetkowski, Joanna Krawczyk, Łukasz Smoliński, Remigiusz Kinas, Przemysław Pietrzak, Tomasz Jetka, Rafał Powalski

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 OmicsLM通过整合定量组学数据与自然语言任务，实现多样本组学推理，其在多任务类型上表现优异，尤其在生物语言指导的推理任务中超越专用模型和通用LLM。

Comments 13 pages (main text), 14 pages (appendix), 1 figure, 10 tables