多模态大模型

Quantized-Tinyllava: a new multimodal foundation model enables efficient split learning

量化-小TinyLLaVA：一种新的多模态基础模型实现了高效的分裂学习

Jiajun Guo, Xin Luo, Jiayin Zheng, Yiqun Wang, Kai-Wei Chang, Wei Wang, Jie Liu

机构 * Department of Statistics University of Michigan（统计学系密歇根大学） ； Department of Computational Medicine & Bioinformatics University of Michigan（计算医学与生物信息学系密歇根大学） ； Department of Biostatistics University of Michigan（生物统计学系密歇根大学） ； Department of Computer Science University of California, Los Angeles（计算机科学系加州大学洛杉矶分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)

AI总结 Quantized-TinyLLaVA通过量化压缩和高效分裂学习框架，在减少通信开销的同时保持模型性能，提升隐私保护能力。

CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution

CrossCheck-Bench：多模态冲突解决中的组成性故障诊断

Baoliang Tian, Yuxuan Si, Jilong Wang, Lingyao Li, Zhongyuan Bao, Zineng Zhou, Tao Wang, Sixu Li, Ziyao Xu, Mingze Wang, Zhouzhuo Zhang, Zhihao Wang, Yike Yun, Ke Tian, Ning Yang, Minghui Qiu

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 CrossCheck-Bench通过多阶段注释流程构建的基准测试，揭示了多模态模型在处理跨模态冲突时的瓶颈，并表明融合符号推理与视觉处理的方法能提升模型的稳健性。

Comments Accepted by AAAI 2026

MATRIX: A Multimodal Benchmark and Post-Training Framework for Materials Science

MATRIX: 一种用于材料科学的多模态基准和后训练框架

Delia McGrath, Curtis Chong, Rohil Kulkarni, Gerbrand Ceder, Adeesh Kolluru

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)

AI总结 MATRIX通过多模态后训练提升材料科学推理，展示视觉引导对实验解释和文本任务的显著改进。

Comments 17 pages, 9 Figures, submitted

Interaction-Consistent Object Removal via MLLM-Based Reasoning

基于MLLM的交互一致物体移除

Ching-Kai Huang, Wen-Chieh Lin, Yan-Cen Lee

机构 * National Yang Ming Chiao Tung University（阳明交通大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于MLLM的REORM框架，通过多模态语言模型推断需共同删除的交互元素，解决交互一致物体移除问题，并在ICOREval基准上验证其有效性。

MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing

MissMAC-Bench: 构建缺失模态问题的坚实基准以提升鲁棒多模态情感计算

Ronghao Lin, Honghao Lu, Ruixing Wu, Aolin Xiong, Qinggong Chu, Qiaolin He, Sijie Mai, Haifeng Hu

机构 * Sun Yat-Sen University（中山大学） ； South China Normal University（华南师范大学） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MissMAC-Bench通过构建统一评估标准和跨模态协同原则，系统量化缺失模态问题，提升多模态情感计算的鲁棒性和实际应用能力。

Toward Cognitive Supersensing in Multimodal Large Language Model

迈向多模态大语言模型的认知超感知

Boyi Li, Yifan Shen, Yuanzhe Liu, Yifan Xu, Jiateng Liu, Xinzhuo Li, Zhengyuan Li, Jingyuan Zhu, Yunhan Zhong, Fangzhou Lan, Jianguo Cao, James M. Rehg, Heng Ji, Ismini Lourentzou, Xu Cao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出认知超感知方法，通过整合视觉图像预测头和强化学习阶段，提升多模态大语言模型在复杂认知任务中的表现，展现其在视觉问答基准中的优越性能。

Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models

基于多模态大语言模型的语义感知无人机着陆地评估：从遥感图像

Chunliang Hua, Zeyuan Yang, Lei Zhang, Jiayang Sun, Fengwen Chen, Chunlan Zeng, Xiao Hu

机构 * School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学） ； LASER, International Digital Economy Academy（LASER，国际数字经济学院） ； Department of Electronic Engineering, East China Normal University（电子工程系，华东师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于多模态大语言模型的无人机着陆地评估方法，通过语义感知与多模态融合提升风险识别精度与可解释性。

Seeing Is Believing? A Benchmark for Multimodal Large Language Models on Visual Illusions and Anomalies

看见即相信？多模态大语言模型在视觉错觉和异常上的基准测试

Wenjin Hou, Wei Liu, Han Hu, Xiaoxiao Sun, Serena Yeung-Levy, Hehe Fan

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan Team（腾讯文言团队） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出VIA-Bench基准测试，评估多模态大语言模型在视觉错觉和异常上的性能，揭示其在复杂视觉任务中的鲁棒性问题。

Transforming Vehicle Diagnostics: A Multimodal Approach to Error Patterns Prediction

将车辆诊断转型：一种多模态方法用于错误模式预测

Hugo Math, Rainer Lienhart

机构 * Augsburg University（艾尔福特大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出BiCarFormer，通过整合DTC序列和环境条件，实现车辆错误模式的多模态预测，提升诊断准确性与鲁棒性。

Comments 9 pages, 7 figures

A longitudinal geospatial multimodal dataset of post-discharge frailty, physiology, mobility, and neighborhoods

出院后老年人 frailty、生理、运动能力和社区的纵向地理多模态数据集

Ali Abedi, Charlene H. Chu, Shehroz S. Khan

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 GEOFRAIL 数据集通过多模态传感和数据分析技术，持续监测出院后老年人的 frailty、生理、运动能力和社区环境，为恢复轨迹研究提供纵向地理数据支持。

SMapper: A Multi-Modal Data Acquisition Platform for SLAM Benchmarking

SMapper: 一种用于SLAM基准测试的多模态数据采集平台

Pedro Miguel Bastos Soares, Ali Tourani, Miguel Fernandez-Cortizas, Asier Bikandi-Noya, Holger Voos, Jose Luis Sanchez-Lopez

机构 * Automation and Robotics Research Group (ARG), Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（卢森堡大学自动化与机器人研究组（ARG）、安全、可靠与信任跨学科研究中心（SnT）） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

AI总结 SMapper是一种用于SLAM基准测试的多模态数据采集平台，通过开放硬件设计和可重复的数据收集，提供高精度的SLAM数据集和基准测试结果，推动SLAM算法的发展和评估。

Comments 13 pages, 5 figures, 6 tables

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

使用多模态语义扰动检测VLMs中的污染

Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； Kookmin University（韩国庆北大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出了一种基于多模态语义扰动的检测方法，用于识别和验证受污染的视觉语言模型。

Comments Accepted at ICLR 2026

FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering

FaithSCAN: 基于模型的单次幻觉检测用于可靠的视觉问答

Chaodong Tong, Qi Zhang, Chen Li, Lei Jiang, Yanbing Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences (CAS) and the School of Cyber Security, University of CAS（信息工程研究所、中国科学院（CAS）和安全学院、CAS大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 FaithSCAN通过利用VLMs的内部信号实现高效准确的视觉问答幻觉检测，克服现有方法的效率与鲁棒性限制。

Comments 21 pages, 13 figures, 8 tables. Submitted to IEEE Transactions on Big Data

GLEAM: Learning to Match and Explain in Cross-View Geo-Localization

GLEAM: 在跨视图地理定位中学习匹配与解释

Xudong Lu, Zhi Zheng, Yi Wan, Yongxiang Yao, Annan Wang, Renrui Zhang, Panwang Xia, Qiong Wu, Qingyun Li, Weifeng Lin, Xiangyu Zhao, Peifeng Ma, Xue Yang, Hongsheng Li

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 GLEAM提出了一种结合多模态、多视角对齐与可解释对应分析的CVGL方法，通过双阶段训练策略提升精度并增强可解释性。

Comments 23 pages

U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs

U-MATH：一个大学级评估LLM数学能力的基准测试

Konstantin Chernyshev, Vitaliy Polshkov, Ekaterina Artemova, Alex Myasnikov, Vlad Stepanov, Alexei Miasnikov, Sergei Tilga

机构 * Toloka AI ； Gradarius ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 U-MATH是一个大学级数学能力评估基准，包含1100个开放性问题，用于评估LLM在多模态推理和解决方案判断方面的性能。

CHOMP: Multimodal Chewing Side Detection with Earphones

CHOMP：使用耳phones的多模态咀嚼侧检测

Jonas Hummel, Maximilian Burzer, Felix Schlotter, Michael Küttner, Tobias King, Qiang Yang, Cecilia Mascolo, Michael Beigl, Tobias Röddiger

专题命中 多模态评测 ：multimodal(title)

AI总结 CHOMP利用耳phones实现多模态咀嚼侧检测，通过融合多种传感数据提升监测精度，为日常下颌功能评估提供新方法。

ScratchEval : A Multimodal Evaluation Framework for LLMs in Block-Based Programming

ScratchEval：一种用于块式编程中LLM的多模态评估框架

Yuan Si, Simeng Han, Daming Li, Hanyuan Shi, Jialu Zhang

专题命中 多模态评测 ：multimodal(title)

AI总结 ScratchEval是首个用于评估LLM在Scratch块式编程中修复能力的可执行基准，通过多层协议测量功能正确性、修复质量和解释质量，支持领域微调和泛化研究。

MedAD-R1: Eliciting Consistent Reasoning in Interpretible Medical Anomaly Detection via Consistency-Reinforced Policy Optimization

MedAD-R1: 通过一致性强化策略优化实现可解释医学异常检测中的一致推理

Haitao Zhang, Yingying Wang, Jiaxiang Wang, Haote Xu, Hongyang Zhang, Yirong Chen, Yue Huang, Xinghao Ding

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院） ； Zhejiang Expressway Co., Ltd.（浙江高速公路有限公司） ； School of Science and Engineering, Chinese University of Hong Kong（香港中文大学科学与工程学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 MedAD-R1通过一致性强化策略优化实现医学异常检测中的可解释推理，提升模型的可信度和可解释性。

Comments 9 pages, 4 figures

Attention Isn't All You Need for Emotion Recognition:Domain Features Outperform Transformers on the EAV Dataset

注意力并非情感识别的全部：在EAV数据集上领域特征优于Transformer

Anmol Guragain

机构 * Universidad Politécnica de Madrid E.T.S. Ingenieros de Telecomunicación（马德里理工大学电信工程学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、eess.AS

AI总结 在EAV数据集上，领域特征在小数据情感识别中优于Transformer，通过简单修改提升准确率，证明领域知识胜过复杂架构。

Comments 2 figures, 10 Pages

LogicGaze: Benchmarking Causal Consistency in Visual Narratives via Counterfactual Verification

LogicGaze：通过反事实验证基准测试视觉叙事中的因果一致性

Rory Driscoll, Alexandros Christoforos, Chadbourne Davis

机构 * Boston University（波士顿大学） ； Suffolk University（索尔福德大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LogicGaze通过反事实验证基准测试，评估视觉语言模型在视觉叙事中因果一致性验证的能力，揭示了现有模型在处理因果链和幻觉问题上的不足。

DrawSim-PD: Simulating Student Science Drawings to Support NGSS-Aligned Teacher Diagnostic Reasoning

DrawSim-PD：模拟学生科学绘画以支持与NGSS对齐的教师诊断推理

Arijit Chakma, Peng He, Honglu Liu, Zeyuan Wang, Tingting Li, Tiffany D. Do, Feng Liu

机构 * Department of Computer Science, Drexel University（德雷塞尔大学计算机科学系） ； College of Chemistry, Beijing Normal University（北京师范大学化学学院） ； Department of Teaching and Learning, Washington State University（华盛顿州立大学教学与学习系） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.AI

AI总结 DrawSim-PD通过模拟具有可控教学缺陷的学生科学绘画，为教师提供支持NGSS对齐的诊断推理训练工具，解决真实学生作品隐私限制问题。

Comments 26 pages, 12 figures

UrbanIng-V2X: A Large-Scale Multi-Vehicle, Multi-Infrastructure Dataset Across Multiple Intersections for Cooperative Perception

UrbanIng-V2X: 一个大规模多车辆、多基础设施数据集，用于多个交叉口的协同感知

Karthikeyan Chandra Sekaran, Markus Geisler, Dominik Rößle, Adithya Mohan, Daniel Cremers, Wolfgang Utschick, Michael Botsch, Werner Huber, Torsten Schön

机构 * Technische Hochschule Ingolstadt（图恩技术高等学院） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 UrbanIng-V2X是一个大规模多车辆、多基础设施数据集，用于多个交叉口的协同感知研究，包含多种传感器数据和标注，旨在提升智能交通系统的感知能力。

Comments Accepted to NeurIPS 2025. Including supplemental material. For code and dataset, see https://github.com/thi-ad/UrbanIng-V2X

Achieving Time Series Reasoning Requires Rethinking Model Design, Tasks Formulation, and Evaluation

实现时间序列推理需要重新思考模型设计、任务制定和评估

Yaxuan Kong, Yiyuan Yang, Shiyu Wang, Chenghao Liu, Yuxuan Liang, Ming Jin, Stefan Zohren, Dan Pei, Yan Liu, Qingsong Wen

机构 * University of Oxford, UK（牛津大学） ； Hong Kong University of Science（香港科学大学） ； Griffith University, Australia（格里菲斯大学） ； Tsinghua University, China（清华大学） ； University of Southern California, USA（南加州大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文指出时间序列推理需重新审视模型设计、任务制定和评估，提出统一框架以提升现实应用中的鲁棒性、可解释性和决策相关性。

From Videos to Conversations: Egocentric Instructions for Task Assistance

从视频到对话：任务协助的视角指令

Lavisha Aggarwal, Vikas Bahirwani, Andrea Colaco

机构 * Google, USA（谷歌） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出从视频自动转换为多模态任务指导对话的框架，并引入HowToDIV数据集，用于多模态任务协助的基准测试。

Meta-Learning Reinforcement Learning for Crypto-Return Prediction

元学习强化学习用于加密货币收益预测

Junqiao Wang, Zhaoyang Guan, Guanyu Liu, Tianze Xia, Xianzhi Li, Shuo Yin, Xinyuan Song, Chuhan Cheng, Tianyu Shi, Alex Lee

机构 * Sichuan University（四川大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Northwestern University（西北大学） ； Huazhong University of Science and Technology（华中科技大学） ； Queen’s University（女王大学） ； University of Toronto（多伦多大学） ； TrueNorth ； Tsinghua University（清华大学） ； Emory University（埃默里大学） ； University of Macau（澳门大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 Meta-RL-Crypto通过结合元学习和强化学习，构建了一个自我改进的交易代理，有效提升加密货币收益预测性能。

Radiomics in Medical Imaging: Methods, Applications, and Challenges

医学影像中的放射组学：方法、应用与挑战

Fnu Neha, Deepak kumar Shukla

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文系统分析了放射组学的全流程，探讨了特征稳定性、模型可靠性及临床转化有效性，并提出了标准化、领域转移和临床部署等未来研究方向。

BAPS: A Fine-Grained Low-Precision Scheme for Softmax in Attention via Block-Aware Precision reScaling

BAPS: 一种针对注意力机制中softmax的细粒度低精度方案 via 块意识精度重标定

Zisheng Ye, Xiaoyu He, Maoyuan Song, Guoliang Qiu, Chao Liao, Chen Wu, Yonggang Sun, Zhichun Li, Xiaoru Xie, Yuanyong Luo, Hu Liu, Pinyan Lu, Heng Liao

机构 * Taylor Lab, Huawei（华为塔利实验室） ； HiSilicon, Huawei（华为海思） ； Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济学交叉研究重点实验室） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 BAPS提出了一种细粒度低精度方案，通过块意识精度重标定和HiF8格式实现高效softmax，减少数据带宽和指数运算单元面积，提升Transformer推理吞吐量。

Longitudinal Progression Prediction of Alzheimer's Disease with Tabular Foundation Model

阿尔茨海默病纵向进展预测的表格基础模型

Yilang Ding, Jiawen Ren, Jiaying Lu, Gloria Hyunjung Kwak, Armin Iraji, Shengpu Tang, Alex Fedorov

机构 * Department of Computer Science Emory University Atlanta GA USA（埃默里大学计算机科学系） ； Center for Data Science Nell Hodgson Woodruff School of Nursing Emory University Atlanta GA USA（埃默里大学数据科学中心） ； Department of Computer Science Georgia State University Atlanta GA USA（佐治亚州立大学计算机科学系） ； Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS) Atlanta GA USA（神经影像与数据科学转化研究三机构中心（TReNDS）） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出L2C-TabPFN方法，结合纵向到横断面转换与预训练表格基础模型，用于预测阿尔茨海默病的临床相关生物标志物，特别是在脑室体积预测上取得突破性成果。

Comments preprint

OpenDDI: A Comprehensive Benchmark for DDI Prediction

OpenDDI: 一种全面的DDI预测基准

Xinmo Jin, Bowen Fan, Xunkai Li, Henan Sun, YuXin Zeng, Zekai Chen, Yuxuan Sun, Jia Li, Qiangqiang Dai, Hongchao Qin, Rong-Hua Li, Guoren Wang

专题命中 多模态评测 ：multimodal(abstract)

AI总结 OpenDDI提出一个全面的DDI预测基准，统一了多种数据集和评估标准，揭示了当前DDI预测的局限性并提供了关键指导。

Examining The CoVCues Dataset: Supporting COVID Infodemic Research Through A Novel User Assessment Study

审查CoVCues数据集：通过一种新的用户评估研究支持新冠假信息研究

Shreetika Poudel, Ankur Chatterjee

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文通过CoVCues数据集的用户评估研究，探讨了视觉提示在识别在线健康误导信息中的作用，填补了多模态数据集在该领域的空白。

Comments 10 pages, To Be Published In Proceedings Of The 1st IEEE Workshop on Healthcare and Medical Device Security, Privacy, Resilience, and Trust (IEEE HMD-SPiRiT), Accepted & Presented At The 7th IEEE International Conference on Trust, Privacy & Security in Intelligent Systems, and Applications (IEEE TPS 2025) on Nov. 11, 2025 in Pittsburgh, PA, USA