多模态大模型

UR-Bench: A Benchmark for Multi-Hop Reasoning over Ultra-High-Resolution Images

UR-Bench：面向超高清图像的多跳推理基准

Siqi Li, Xinyu Cai, Jianbiao Mei, Nianchen Deng, Pinlong Cai, Licheng Wen, Yufan Shen, Xuemeng Yang, Botian Shi, Yong Liu

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UR-Bench是一个针对超高清图像多跳推理的基准，通过引入代理框架和语义工具，评估大语言模型在极端视觉信息下的推理能力。

Comments 10 pages, 5 figures

Human Mobility Datasets Enriched With Contextual and Social Dimensions

具有上下文和社会维度的人类移动数据集

Chiara Pugliese, Francesco Lettich, Guido Rocchietti, Chiara Renso, Fabio Pinelli

机构 * IIT-CNR（意大利理工学院-克雷莫纳国家研究委员会） ； ISTI-CNR（意大利信息科学研究所-克雷莫纳国家研究委员会） ； IMT Lucca（利卡大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出两个结合语义丰富和社交媒体数据的人类移动数据集，用于多模态移动分析与知识图谱构建。

Comments 5 pages, 3 figures, 1 table

MRAG-Suite: A Diagnostic Evaluation Platform for Visual Retrieval-Augmented Generation

MRAG-Suite：一个用于视觉检索增强生成的诊断评估平台

Yuelyu Ji, Wuwei Lan, Patrick NG

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 MRAG-Suite通过引入难度和歧义过滤策略及诊断工具MM-RAGChecker，系统评估视觉检索增强生成的性能与常见幻觉问题。

A Sensing Dataset Protocol for Benchmarking and Multi-Task Wireless Sensing

用于基准测试和多任务无线传感的传感数据集协议

Jiawei Huang, Di Zhang, Yuanhao Cui, Xiaowen Cao, Tony Xiao Han, Xiaojun Jing, Christos Masouros

机构 * School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学） ； College of Electronics and Information Engineering, Shenzhen University（电子与信息工程学院，深圳大学） ； Huawei Technology Co. Ltd.（华为技术有限公司） ； Department of Electronic and Electrical Engineering, University College London（电子与电气工程系，伦敦大学学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文提出SDP协议，通过统一数据块模式和任务无关表示，提升无线传感的基准测试和多任务处理能力。

Comments 6 pages, 8 figures

Bi-cephalic self-attended model to classify Parkinson's disease patients with freezing of gait

双头自注意力模型用于分类帕金森病患者冻结步态

Shomoita Jahid Mitin, Rodrigue Rizk, Maximilian Scherer, Thomas Koeglsperger, Daniel Lench, KC Santosh, Arun Singh

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本研究提出双头自注意力模型，通过结合EEG信号与描述性特征，实现对帕金森病患者冻结步态的高效分类。

Comments 39 pages, 9254 words, 4 figures, 4 tables, European Journal of Neuroscience: Special edition FOG

COSINT-Agent: A Knowledge-Driven Multimodal Agent for Chinese Open Source Intelligence

COSINT-Agent: 一种面向中文开源情报的知识驱动多模态智能体

Wentao Li, Congcong Wang, Xiaoxiao Cui, Zhi Liu, Wei Guo, Lizhen Cui

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 COSINT-Agent通过整合多模态大语言模型与实体-事件-场景知识图谱，提升中文开源情报的多模态推理能力与情报生成效率。

Comments This manuscript (arXiv:2503.03215) is being withdrawn at the supervisor's request. The content is preliminary and needs further internal revision and approval before public release. We will resubmit a revised version after completion. Apologies for the inconvenience

VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory

VLingNav：基于适应性推理和视觉辅助语言记忆的具身导航

Shaoan Wang, Yuanfei Luo, Xingyu Chen, Aocheng Luo, Dongyue Li, Chang Liu, Sheng Chen, Yangang Zhang, Junzhi Yu

机构 * Peking University（北京大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV

AI总结 VLingNav通过引入适应性推理和视觉辅助语言记忆，实现了复杂具身导航任务中的高效导航与泛化能力。

Comments Project page: https://wsakobe.github.io/VLingNav-web/

AgriAgent: Contract-Driven Planning and Capability-Aware Tool Orchestration in Real-World Agriculture

AgriAgent：面向现实农业的合同驱动规划与能力感知工具编排

Bo Yang, Yu Zhang, Yunkui Chen, Lanfei Feng, Xiao Xu, Nueraili Aierken, Shijian Li

机构 * State Key Laboratory of Brain–Machine Intelligence（脑机智能国家重点实验室） ； College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 AgriAgent通过合同驱动规划和能力感知工具编排，提升现实农业中复杂任务的执行成功率和鲁棒性。

MultiCheck: Strengthening Web Trust with Unified Multimodal Fact Verification

MultiCheck: 通过统一多模态事实验证加强网络信任

Aditya Kishore, Gaurav Kumar, Jasabanta Patro

机构 * IISER Bhopal（比哈尔IISER） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 MultiCheck通过统一多模态事实验证框架，提升网络信任，具备高效、透明和抗噪能力。

Aligning by Misaligning: Boundary-aware Curriculum Learning for Multimodal Alignment

通过不一致来对齐：面向多模态对齐的边界感知课程学习

Hua Ye, Hang Ding, Siyuan Chen, Yiyang Jiang, Changyuan Zhang, Xuan Zhang

机构 * Nanjing University（南京大学） ； Airon Technology CO., LTD（艾润科技有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； University of Bristol（布里斯托大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BACL方法，通过边界感知负样本采样和局部注意力损失，提升多模态对齐性能，在多个基准上取得优于CLIP的成果。

Comments 24 pages, 6 figures, 5 tables. Submitted to NeurIPS 2025

Temporal Fusion Nexus: A task-agnostic multi-modal embedding model for clinical narratives and irregular time series in post-kidney transplant care

时间融合 nexus：一种任务无关的多模态嵌入模型，用于术后肾移植护理中的临床叙述和不规则时间序列

Aditya Kumar, Simon Rauch, Mario Cypko, Marcel Naik, Matthieu-P Schapranow, Aadil Rashid, Fabian Halleck, Bilgin Osmanodja, Roland Roller, Lars Pape, Klemens Budde, Mario Schiffer, Oliver Amft

机构 * Hahn-Schickard（哈恩-施克特德研究所） ； University of Freiburg（弗赖堡大学） ； Charité University Medical Center（查理医院大学医学中心） ； Hasso Plattner Institute for Digital Engineering, University of Potsdam（哈索·platner数字工程研究所，波茨坦大学） ； DFKI（德意志联邦防务研究院） ； University Hospital Essen（埃森大学医院） ； University Hospital Erlangen（埃尔兰根大学医院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 TFN是一种多模态嵌入模型，通过整合临床文本和不规则时间序列数据，在术后肾移植护理中提高了移植物丢失、排斥和死亡预测的性能。

Comments 31 pages, 9 figures, 3 tables. A supplementary file is also available

Feature Entanglement-based Quantum Multimodal Fusion Neural Network

基于特征纠缠的量子多模态融合神经网络

Yu Wu, Qianli Zhou, Jie Geng, Xinyang Deng, Wen Jiang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出基于特征纠缠的量子多模态融合神经网络，通过量子计算框架解决多模态学习中的精度、可解释性和复杂性矛盾，实现高效且可解释的多模态融合。

E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis

E²-LLM：连接神经信号与可解释的情感分析

Fei Ma, Han Lin, Yifan Xie, Hongwei Ren, Xiaoyu Shen, Wenbo Ding, Qi Tian

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Eastern Institute of Technology（东方技术研究所） ； Huawei（华为） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 E²-LLM通过整合预训练EEG编码器与Qwen-based LLM，实现了可解释的情绪分析，展示了模型扩展在情感识别和可解释性上的优势。

Comments 11 pages

Representations of Text and Images Align From Layer One

文本和图像的表示从第一层对齐

Evžen Wybitul, Javier Rando, Florian Tramèr, Stanislav Fort

机构 * D-INFK, ETH Zurich, Switzerland（苏黎世联邦理工学院信息与知识系统研究所） ； Aisle Research（Aisle研究） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 该研究通过合成方法证明，视觉-语言模型中图像和文本表示在第一层即可实现对齐，为模型可解释性提供了新路径。

A Diff-Attention Aware State Space Fusion Model for Remote Sensing Classification

一种面向遥感分类的差分注意力感知状态空间融合模型

Wenping Ma, Boyou Xue, Mengru Ma, Chuang Chen, Hekai Zhang, Hao Zhu

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DAS2F-Model，通过差分注意力模块和线性融合模块提升多模态遥感图像分类性能。

Comments After a careful review, we discovered that there were data errors in the paper, which led to the invalidity of the conclusion. To avoid misleading the readers, we have decided to withdraw this article. We appreciate your understanding and support for our work

Reasoning Matters for 3D Visual Grounding

推理在3D视觉定位中至关重要

Hsiang-Wei Huang, Kuang-Ming Chen, Wenhao Chai, Cheng-Yen Yang, Jen-Hao Cheng, Jenq-Neng Hwang

机构 * University of Washington（华盛顿大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种自动合成3D视觉定位数据的管道，并引入了在仅使用1.6%训练数据下表现优于现有方法的Reason3DVG-8B模型，证明了推理在3D视觉定位中的重要性。

Comments 2025 CVPR Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments

MEMEWEAVER: Inter-Meme Graph Reasoning for Sexism and Misogyny Detection

MEMEWEAVER：跨迷因图推理用于性别歧视和性别歧视检测

Paolo Italiani, David Gimeno-Gomez, Luca Ragazzi, Gianluca Moro, Paolo Rosso

机构 * Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系） ； PRHLT Research Center, Universtitat Politècnica de València（巴塞罗那理工大学PRHLT研究中心） ； ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence, Spain（西班牙瓦伦西亚人工智能研究生院与研究网络） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MemeWeaver通过跨迷因图推理机制，有效检测性别歧视和性别歧视，优于现有基线方法。

Comments Accepted at EACL 2026 Findings

Imaging-anchored Multiomics in Cardiovascular Disease: Integrating Cardiac Imaging, Bulk, Single-cell, and Spatial Transcriptomics

心血管疾病中的成像锚定多组学：整合心脏成像、批量、单细胞和空间转录组学

Minh H. N. Le, Tuan Vinh, Thanh-Huy Nguyen, Tao Li, Bao Quang Gia Le, Han H. Huynh, Monika Raj, Carl Yang, Min Xu, Nguyen Quoc Khanh Le

机构 * International Ph.D. Program in Medicine, College of Medicine, Taipei Medical University, Taipei, Taiwan ； AIBioMed Research Group, Taipei Medical University, Taipei, Taiwan ； Medical Sciences Division, University of Oxford, Oxford, United Kingdom ； Computational Biology Department, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA ； Department of Computer Science, Emory University, Atlanta, GA, USA ； Department of Chemistry, Emory University, Atlanta, GA, USA ； International Master Program for Translational Science, College of Medical Science ； Technology, Taipei Medical University, Taipei 110, Taiwan ； In-Service Master Program in Artificial Intelligence in Medicine, College of Medicine, Taipei Medical University, Taipei, Taiwan ； Translational Imaging Research Center, Taipei Medical University Hospital, Taipei, Taiwan 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过整合心脏成像与多组学数据，推动心血管疾病研究的多模态融合方法，提升疾病诊断和治疗的精准性。

FusID: Modality-Fused Semantic IDs for Generative Music Recommendation

FusID: 多模态融合的语义ID用于生成音乐推荐

Haven Kim, Yupeng Hou, Julian McAuley

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 eess.AS

AI总结 FusID通过多模态融合、表示学习和产品量化技术，解决生成音乐推荐中跨模态交互和ID冲突问题，提升推荐准确率。

CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion

CtrlFuse: 基于掩码提示的可控红外与可见图像融合

Yiming Sun, Yuan Ruan, Qinghua Hu, Pengfei Zhu

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 CtrlFuse通过基于掩码提示的可控融合框架，实现红外与可见图像的交互式动态融合，提升任务性能与融合质量。

Comments 18 pages,22 figures,published to AAAI 2026

Tissue Classification and Whole-Slide Images Analysis via Modeling of the Tumor Microenvironment and Biological Pathways

通过建模肿瘤微环境和生物通路进行组织分类和全片图像分析

Junzhuo Liu, Xuemei Du, Daniel Reisenbuchler, Ye Chen, Markus Eckstein, Christian Matek, Friedrich Feuerhake, Dorit Merhof

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 BioMorphNet通过整合肿瘤微环境和生物通路信息，提升全片图像中组织分类和差异基因分析的准确性。

Comments 19 pages, 8 figures. This work has been submitted to the IEEE for possible publication

Perceptual Region-Driven Infrared-Visible Co-Fusion for Extreme Scene Enhancement

感知驱动的红外可见联合融合用于极端场景增强

Jing Tao, Yonghong Zong, Banglei Guan, Pengju Sun, Taihang Lei, Yang Shanga, Qifeng Yu

机构 * College of Aerospace Science and Engineering, National University of Defense Technology（航天科学与工程学院，国防科技大学） ； Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（湖南省图像测量与视觉导航重点实验室） ； Beijing Institute of Tracking and Telecommunication Technology（北京跟踪与电信技术研究所） ； National Key Laboratory of Space Integrated Information System（空间一体化信息系统国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出一种基于区域感知的红外可见联合融合框架，通过多曝光和多模态成像技术，在极端条件下提升图像清晰度和融合性能。

Comments The paper has been accepted and officially published by OPTICS AND LASER TECHNOLOGY

An interpretable generative multimodal neuroimaging-genomics framework for decoding Alzheimer's disease

可解释的生成多模态神经影像-基因组框架用于解码阿尔茨海默病

Giorgio Dolci, Federica Cruciani, Md Abdur Rahaman, Anees Abrol, Jiayu Chen, Zening Fu, Ilaria Boscolo Galazzo, Gloria Menegaz, Vince D. Calhoun

机构 * Department of Computer Science, University of Verona（威尼斯大学计算机科学系） ； Department of Engineering for Innovation Medicine, University of Verona（威尼斯大学创新医学工程系） ； Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia State University, Georgia Institute of Technology, Emory University（神经影像与数据科学转化研究三机构中心（TReNDS），佐治亚州立大学，佐治亚理工学院，埃默里大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种可解释的生成多模态神经影像-基因组框架，用于解码阿尔茨海默病，通过多模态数据和单核苷酸多态性实现AD检测和MCI预测，并揭示了与疾病相关的生物学机制。

Comments 33 pages, 8 figures (main text + supplementary materials), submitted to a journal

Journal ref J. Neural Eng. 22 056021 (2025)

Multi-modal atmospheric characterization of $β$ Pictoris b: Adding high-resolution continuum spectra from GRAVITY

β星b的多模态大气特征：加入GRAVITY的高分辨率连续光谱

M. Ravet, M. Bonnefoy, G. Chauvin, S. Lacour, M. Nowak, B. Charnay, P. Tremblin, D. Homeier, C. Morley, J. Fortney, A. Denis, S. Petrus, P. Palma-Bifani, R. Landman, L. T. Parker, M. Houllé, A. Chomez, K. Worthen, F. Kiefer, G. -D. Marleau, Z. Zhang, J. L. Birkby, F. Millour, A. -M. Lagrange, A. Vigan, G. P. P. L. Otten, J. Shangguan

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本研究利用GRAVITY和多波段数据首次确定β Pic b的大气参数，发现其金属度超太阳值，碳氧比接近太阳值，并初步约束了12CO/13CO比值。

Comments Accepted for publication in A&A

Journal ref A&A 704, A325 (2025)

FRET between NV centers in diamond and chlorophyll molecules: a novel resource for multimodal sensing and imaging in plant cells

钻石中NV中心与叶绿素分子间的FRET：一种用于植物细胞多模态传感和成像的新资源

Sebastian Westrich, Nimba Oshnik, Nina Thiele, Nina Burmeister, Yanis Abdedou, Nikhita Khera, Stefanie J. Müller-Schüssele, Elke Neu

专题命中 其他多模态 ：multimodal(title)

AI总结 本研究通过钻石中NV中心与叶绿素分子间的FRET实现植物细胞多模态传感和成像的新方法。

Comments 13 pages, 4 figures

Knowledge-based learning in Text-RAG and Image-RAG

基于知识的学习在Text-RAG和Image-RAG中的应用

Alexander Shim, Khalil Saieh, Samuel Clarke

机构 * Florida International University（佛罗里达国际大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过比较基于文本和图像的RAG方法，探讨了如何利用外部知识减少幻觉问题并提升胸部X光图像疾病检测的准确性。

Comments 9 pages, 10 figures

Pushing JWST to the extremes: search and scrutiny of bright galaxy candidates at z$\simeq$15-30

将JWST推向极限：对z≈15-30的明亮星系候选者进行搜索与审视

M. Castellano, A. Fontana, E. Merlin, P. Santini, L. Napolitano, N. Menci, P. G. Pérez-González, A. Calabrò, D. Paris, L. Pentericci, J. Zavala, M. Dickinson, S. L. Finkelstein, T. Treu, R. O. Amorin, P. Arrabal Haro, P. Bergamini, L. Bisigello, M. Catone, E. Daddi, P. Dayal, A. Dekel, A. Ferrara, F. Fortuni, G. Gandolfi, M. Giavalisco, C. Grillo, S. T. Guida, N. P. Hathi, B. W. Holwerda, A. M. Koekemoer, V. Kokorev, Z. Li, M. Llerena, R. A. Lucas, S. Mascia, B. Metha, T. Morishita, T. Nanayakkara, F. Pacucci, G. Roberts-Borsani, G. Rodighiero, P. Rosati, V. Salazar, R. Schneider, R. S. Somerville, A. Taylor, M. Trenti, A. Trinca, X. Wang, P. J. Watson, L. Yang, L. Y. A. Yung

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究通过定制的Lyman-break颜色选择技术，寻找z≈15-30的明亮星系候选者，发现候选者红移分布复杂，可能涉及低质量尘埃星系，结果对现有理论模型提出挑战。

Comments 24 pages, 16 figures, 6 tables; Accepted for publication in Astronomy & Astrophysics

Journal ref A&A 704, A158 (2025)

Displayed Type Theory and Semi-Simplicial Types

显示类型论与半单纯类型

Astra Kolomatskaia, Michael Shulman

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文提出显示类型论，通过显示和依赖概念定义半单纯类型，实现对无限索引定义的语义和语法支持。

Comments 106 pages, v2: new section on the correctness of SSTs and various improvements throughout

Journal ref Math. Struct. Comp. Sci. 35 (2025) e34

Characterizing Personality from Eye-Tracking: The Role of Gaze and Its Absence in Interactive Search Environments

通过眼动追踪表征人格：目光与目光缺失在交互搜索环境中的作用

Jiaman He, Marta Micheli, Damiano Spina, Dana McKay, Johanne R. Trippas, Noriko Kando

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本研究通过多模态时间序列模型整合眼动追踪数据和目光缺失信息，有效预测了大五人格特质，证明了在交互搜索环境中利用目光行为推断人格的可行性。

Comments This paper is accepted at CHIIR 2026

MUSE-FM: Multi-task Environment-aware Foundation Model for Wireless Communications

MUSE-FM：多任务环境感知基础模型用于无线通信

Tianyue Zheng, Jiajia Guo, Linglong Dai, Shi Jin, Jun Zhang

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 MUSE-FM通过统一架构和环境感知机制，提升无线通信多任务处理的统一性和适应性。