多模态大模型

Popcorn: A Configurable Benchmark for Visual Evidence in Multimodal Movie Recommendation

Popcorn: 多模态电影推荐中视觉证据的可配置基准

Ali Tourani, Fatemeh Nazary, Yashar Deldjoo, Tommaso Di Noia

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出Popcorn基准，通过配置合同标准化多模态电影推荐中的视觉证据（全片、预告片、缩略图）的嵌入、融合与评估，实验表明视觉源不可互换且影响推荐性能。

Comments 8 pages, 3 figures, 3 tables

Multi-Modal Assessment of Road Roughness Using Smartphone Applications, Acceleration, and Passenger Ratings

使用智能手机应用、加速度和乘客评分的多模态道路平整度评估

Novel Certada, Amirhesam Aghanouri, Joseba Gorospe, Cristina Olaverri-Monreal

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出一种基于智能手机IRI估计、车载GNSS-IMU测量和乘客PSR评分的低成本多模态道路平整度评估框架，验证了数据间的相关性及感知与物理指标的关联。

Comments 6 pages

Multi-Modal Machine Learning for Breast Cancer Recurrence Prediction

多模态机器学习用于乳腺癌复发预测

Jiahao Shao, Xudong Wang, Anam Nawaz Khan, Christopher Brett, Xueping Li, Bing Yao

机构 * Department of Industrial & Systems Engineering, The University of Tennessee, Knoxville, TN 37996, USA（工业与系统工程系，田纳西大学，诺克斯维尔，TN 37996，美国） ； The University of Tennessee Medical Center, Knoxville, TN 37920, USA（田纳西大学医学中心，诺克斯维尔，TN 37920，美国） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本研究通过整合结构化与非结构化临床数据（治疗记录、病理报告和临床笔记），结合基于规则的正则表达式提取和优先级冲突解决策略，显著提升了乳腺癌复发预测的准确性。

Comments 33 pages, 10 figures

The Image Reconstruction Game: Drawing Common Ground Through Iterative Multimodal Dialogue

图像重建游戏：通过迭代多模态对话建立共同基础

Sherzod Hakimov, Mattia D'Agostini, Ivan Samodelkin, David Schlangen

机构 * Computational Linguistics, Department of Linguistics University of Potsdam（波恩大学语言学系计算语言学部） ； German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI）柏林） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出图像重建游戏基准，通过多轮迭代中视觉语言模型向图像生成器发出纠正指令，使累积的共同基础直接可视化为重建图像，发现描述器是重建质量的主导因素，而生成器决定迭代改进的效果。

A Sonar-Visual Dataset for Cross-Modal Underwater Robot Perception

用于跨模态水下机器人感知的声纳-视觉数据集

Weitung Chen, Phil Tinn, Per Gunnar Auran, Martin Ludvigsen, Peter Halland Haro

机构 * Massachusetts Institute of Technology（麻省理工学院） ； SINTEF（斯蒂纳夫） ； Norwegian University of Science and Technology（挪威科技大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)

AI总结 提出SOVIS数据集，包含76,000多对声纳-视觉帧，通过端到端管道同步和清洗数据，并利用交互式标注工具加速标注，在跨模态鱼类检测任务中实现mAP@0.10提升7倍。

Comments 6 pages, 7 figures, 3 tables. Accepted to IEEE ICRA 2026 S2S Workshop (From Sea to Space: Advancing Perception in Harsh Domains)

Artificial-Intelligence-Assisted Multi-Modal Terahertz Sensing and Environment Reconstruction

人工智能辅助的多模态太赫兹感知与环境重建

Yejian Lyu, Zitong Fang, Zhiqiang Yuan, Henk Wymeersch, Chong Han

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出一种基于测量的多模态太赫兹感知与视觉框架，结合信号处理与AI视觉模块，通过智能体集成实现室内环境的几何一致且语义可解释的重建。

A multimodal dataset of photoplethysmography and continuous behavioral responses to ASMR and nature videos

光电容积描记术和ASMR及自然视频连续行为反应的多模态数据集

Tushar Das, Daigo Hozaki, Koushlendra Kumar Singh, Hirohito M. Kondo

机构 * Machine Vision & Intelligence Lab, National Institute of Technology Jamshedpur（机器视觉与智能实验室，jamshedpur国家理工学院） ； School of Psychology, Chukyo University（心理学系，chukyo大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出REST-ASMR数据集，包含34名参与者在ASMR和自然视频刺激下的光电容积描记图、时间对齐视听刺激和连续主观标注，验证了刺激有效性、心血管减速，并通过双向长短期记忆模型实现高精度ASMR状态分类。

Longitudinal Multimodal Sensing of Physical Activity and Well-Being in Older Adults

老年人身体活动与福祉的纵向多模态感知

Flavio Di Martino, Mattia G. Campana, Marcello Magno, Lorenza Pratali, Franca Delmastro

机构 * IIT-CNR（意大利理工学院-克雷斯塔纳国家研究委员会） ； IFC-CNR（意大利弗洛rence-克雷斯塔纳国家研究委员会） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本研究通过纵向多模态数据（可穿戴传感、行为监测和临床评估）对66名老年人进行现实世界监测，发现可观察行为目标预测性能良好（macro-F1 65%），而抽象结果预测仍具挑战，且历史特征是最重要的预测因子。

When Are Multimodal Predictions Biologically Supported? A Diagnostic Evaluation Framework

何时多模态预测具有生物学支持？一个诊断性评估框架

Dylan Steiner, Gustavo Arango-Argoty, Gerald Sun, Etai Jacob

机构 * Oncology Data Science & AI, R&D（肿瘤数据科学与人工智能，研发） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出DECAT框架，通过五个零参考指标和规则决策，将多模态表示分类为四种诊断场景，以检测模型是否学到共享生物学、单模态生物学或虚假相关性。

Consistent Bayesian Local Spatial Feature Selection with Application to Spatial Multimodal Omics

一致贝叶斯局部空间特征选择及其在空间多模态组学中的应用

Kun Huang, Xiyu Peng, Huiyan Sang, Ligang Lu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对空间多模态组学中的高维回归问题，提出一种贝叶斯局部空间特征选择框架，通过随机域划分先验和局部特征选择先验实现域划分与特征选择的一致性理论，并开发高效的可逆跳跃MCMC算法。

EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts

基于EEG的多模态学习：曲率混合专家双曲空间方法

Runhe Zhou, Shanglin Li, Guanxiang Huang, Xinliang Zhou, Qibin Zhao, Motoaki Kawanabe, Yi Ding, Cuntai Guan

机构 * Nanyang Technological University, Singapore（新加坡南洋理工大学） ； BIFOLD, Berlin Institute for the Foundations of Learning（柏林学习与数据基础研究所） ； University of Cambridge, Cambridge, UK（剑桥大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出EEG-MoCE框架，通过可学习曲率的双曲空间为每个模态分配专家，并采用曲率感知融合策略，实现层次结构建模，在情绪识别、睡眠分期和认知评估任务上达到最优性能。

Comments Accepted at the Forty-third International Conference on Machine Learning (ICML 2026)

Rethinking Post-Training Recipes for Multimodal Time-Series Forecasting

重新思考多模态时间序列预测的后训练方法

Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google Research（谷歌研究） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出PostTime后训练方法，结合监督微调和基于可验证奖励的强化学习，利用大语言模型根据多模态上下文修正数值时间序列基础模型的预测，显著提升多模态时间序列预测性能。

Atari Games Challenge: A Pilot Study on Multimodal Player Experience Assessment

Atari游戏挑战：多模态玩家体验评估的初步研究

Oleg Jarma Montoya, Erica Manca, Thomas Vase Schultz Volden, Paolo Burelli

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 通过收集游戏遥测、自我报告调查、生物特征和提示性回顾出声思维数据，研究多模态数据在玩家体验评估中的同步与分析方法，并探讨游戏难度对玩家体验的影响。

Multimodal Signal Restoration with Signed Twofold Graph Learning

带符号双图学习的多模态信号恢复

Haruki Yokota, Hiroshi Higashi, Yuichi Tanaka

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出一种联合信号恢复与双图学习的方法，通过矩阵正态先验和交替最小化求解非凸目标，并利用可展开网络实现参数学习，在合成与真实数据上优于现有方法。

Comments 34 pages, 10 figures, 2 tables. Submitted to APSIPA Transactions on Signal and Information Processing

An Empirical Analysis of Calibration and Selective Prediction in Multimodal Clinical Condition Classification

多模态临床状况分类中的校准与选择性预测的实证分析

L. Julián Lechuga López, Farah E. Shamout, Tim G. J. Rudner

机构 * New York University（纽约大学） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本研究通过实证分析多标签临床状况分类中基于不确定性的选择性预测，发现其性能可能严重下降，原因是类别依赖的误校准，尤其对少数类别，并强调需要校准感知评估来确保临床AI的安全性。

Comments 40 pages, 14 figures, 16 tables. Accepted as a conference paper at AHLI Conference on Health, Inference, and Learning (CHIL) 2026

Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

逐点度量误导：多模态逆问题的评估协议

Mads H. Baattrup, Jörn Bach, Laurids Jeppe, Finn Labe, Alexander Grohsjean, Christian Schwanenberger, Peer Stelldinger

机构 * Deutsches Elektronen-Synchrotron（德意志电子同步辐射研究中心） ； CERN（欧洲核子研究中心） ； University of Hamburg（汉堡大学） ； HAW Hamburg（汉堡应用技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对多模态后验的逆问题，指出逐点度量（如RMSE、MAE）会导致谱特征压缩，提出包含CRPS、谱保真度和校准的三部分评估协议。

Comments 29 pages, 9 figures, and 8 tables (including appendix)

Toward Realistic Wi-Fi Fault Diagnosis: A Multi-Modal Benchmark

迈向现实的Wi-Fi故障诊断：一个多模态基准

Junjian Zhang, Haobo Deng, Xinxin Li, Ming Zhao, Fengxiao Tang, Nei Kato

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出一个多模态基准，用于评估Wi-Fi故障诊断方法，通过构建现实中的Wi-Fi测试床和收集超过10,000个故障样本的数据集，揭示了现有方法在利用异构操作数据方面的挑战，并评估了新兴的LLM方法。

CosFly-Track: A Large-Scale Multi-Modal Dataset for UAV Visual Tracking via Multi-Constraint Trajectory Optimization

CosFly-Track: 一个大规模多模态数据集，用于通过多约束轨迹优化的无人机视觉跟踪

Xiangyue Wang, Hanxuan Chen, Songsheng Cheng, Ruilong Ren, Jie Zheng, Shuai Yuan, Tianle Zeng, Hanzhong Guo, Kangli Wang, Ji Pei

机构 * Autel Robotics（Autel机器人公司） ； Nanjing University（南京大学） ； Peking University（北京大学） ； Southern University of Science and Technology（南方科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出CosFly-Track数据集，用于无人机视觉跟踪任务，通过多约束轨迹优化生成大规模多模态数据，提升了动态目标跟踪性能。

critband: A Python Package for Critical Bandwidth Analysis of Multimodal Distributions

critband: 一个用于多模分布临界带宽分析的Python包

Ruiyu Zhang, Qihao Wang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出critband，一个基于Silverman核密度方法的Python包，用于多模分布的临界带宽双峰检测，提供了稳健的模式计数求解器和FFT加速的KDE，以及k-模式检测、成分分解、双峰强度量化和超额质量估计等功能，验证表明其在不同情况下具有稳定的估计结果，且性能优于R的modetest()。

Comments 12 pages

Mapping the Fitness Landscape: A Structure-Guided Approach to Multi-Modal Optimization

映射适应度景观：一种基于结构的多模态优化方法

Meng Xiang, Pei Yan

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

AI总结 本文提出了一种基于结构的多模态优化方法，通过构建适应度景观来指导多模态优化过程，改进了传统进化算法在多模态搜索中的不足，提高了解的质量和覆盖范围。

Comments 9 pages

On Improving Multimodal Pedestrian Trajectory Prediction with CVAE: A Study on Benchmark and Robot Data

基于CVAE的多模态行人轨迹预测改进：对基准数据和机器人数据的研究

Yuzhou Liu, Cristina Olaverri-Monreal

机构 * Dept. Intelligent Transport Systems, Johannes Kepler University Linz（智能交通系统系，约翰·凯撒大学林茨） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出基于Social-STGCNN的CVAE概率模型，以改进多模态行人轨迹预测，通过在基准数据集和真实机器人数据集上的评估，展示了方法在不同人群配置下的端点准确性和轨迹多样性改进。

FinDocMRE: A Benchmark for Document-Level Financial Multimodal Reasoning Evaluation

FinDocMRE：一个文档级金融多模态推理评估基准

Jiayong Zhu, Jiangtong Li, Jinru Ding, Dawei Cheng, Jie Xu, Feng Yu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出FinDocMRE基准，用于评估金融多模态模型在文档级推理中的能力，通过构建包含12,207个样本的金融报告数据集，评估多图像处理和文档理解能力，发现现有模型在复杂文档环境中整合视觉基础与逻辑推理存在挑战。

Comments 25 pages, 9 figures

MUSE: Multimodal Uncertainty Quantification of State Estimation

MUSE：多模态状态估计不确定性量化

Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

机构 * Department of Mechanical Science and Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校机械科学与工程系） ； Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校塞贝尔计算与数据科学学院） ； Department of Electrical Engineering, University of South Carolina（南卡罗来纳大学电气工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出MUSE，一种基于学习的实时框架，利用Mamba的强效序列建模能力，从多个异步传感器流中估计定位不确定性，提高了状态估计的可靠性和鲁棒性。

Comments Code and dataset: https://github.com/hungdche/MUSE

BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks

BioXArena：在多模态生物医学机器学习任务上评估LLM代理的基准测试

Loka Li, Duzhen Zhang, Xingbo Du, Leonard Song, Zixiao Wang, Assanali Aukenov, Noel Thomas, Shakhnazar Sailaukan, Yonghan Yang, Feilong Chen, Jiahua Dong, Kun Zhang, Bin Zhang, Le Song

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出BioXArena基准测试，旨在评估LLM代理能否为异构多模态生物医学数据集生成任务特定的模型训练流程，包含9个领域76个端到端任务，评估指标涵盖隐藏标签、隐藏评分者和生物意识度量，通过标准化环境评估11种代理配置。

Comments 69 pages, 13 figures, 34 tables

MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling

MILM：用于多模态不规则时间序列的大型语言模型与信息采样

Hsing-Huan Chung, Shijun Li, Yoav Wald, Xing Han, Suchi Saria, Joydeep Ghosh

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Technion-IIT（技术学院-以色列理工学院） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出MILM模型，通过两阶段策略处理多模态不规则时间序列，有效利用采样模式和观测值进行分类，提升医疗记录中住院死亡率预测性能。

GuardSec: A Multi-Modal Web Platform for Real-Time Digital Fraud Detection, Entity Verification, and Connection Security Analysis in the African Context

GuardSec：面向非洲情境的多模态网络平台，用于实时数字欺诈检测、实体验证及连接安全分析

Gilda Rech Bansimba, Regis Freguin Babindamana

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 GuardSec为非洲用户设计，提供实时多模态威胁验证，无需注册或技术知识，用户可快速评估网址、电话号码等合法性，并通过My Footprint实时分析自身连接安全，同时集成Gilda提供个性化安全建议。

Comments first version

Machine Learning-Driven Multimodal Spectroscopic Liquid Biopsy for Early Multicancer Detection

基于机器学习的多模态光谱学液体活检用于早期多癌种检测

Alejandro Leonardo García Navarro, Javier Cachón Ortiz, Javier González Colsa, Samuel García Díaz, Carlos Viadero Valderrama

机构 * Signal Processing Group（信号处理组） ； Gregorio Marañón Health Research Institute（格雷戈里奥·马兰农健康研究中心） ； Amber Health Solutions（艾默健康解决方案） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出结合FTIR、拉曼和EEM荧光光谱的多模态液体活检框架，利用机器学习方法实现多癌种早期检测，实验显示多模态融合在ROC-AUC和灵敏度特异度上表现最优。

SurvBench: A Standardised Preprocessing Pipeline for Multi-Modal Electronic Health Record Survival Analysis

SurvBench：多模态电子健康记录生存分析标准化预处理流程

Munib Mesinovic, Tingting Zhu

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 SurvBench提供标准化预处理流程，通过YAML配置实现多模态EHR数据的统一处理，支持四种关键数据库和输入模态，确保生存分析模型的可比性与一致性。

A General Framework for Multimodal LLM-Based Multimedia Understanding in Large-Scale Recommendation Systems

多模态大语言模型在大规模推荐系统中的通用框架

Yiming Zhu, Xu Liu, Ziyun Xu, Zheng Wu, Joena Zhang, Sirius Chen, Chenheli Hua, Silvester Yao, Qichao Que, Wentao Shi, Junfeng Pan, Linhong Zhu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出一个通用框架，利用多模态大语言模型提升多媒体内容理解，通过三部分架构实现内容解析、特征提取和系统集成，实验证明在推荐系统中提升了AUC和在线指标。

Comments Accepted by SIGIR 2026 short

Automated Optical Density Normalization for Myelin Quantification: Cross-Modal Validation with 7T Ex Vivo MRI

全自动光学密度标准化用于髓鞘量化：7T体外MRI的跨模态验证

Zahra Khodakarami, Sheina Emrani, Pulkit Khandelwal, Chinmayee Athalye, Amanda Denning, Winifred Trotman, Lisa M Levorse, Eric Teunissen-Bermeo, Hamsanandini Radhakrishnan, Daniel Ohm, Christophe Olm, Noah Capp, Ranjit Ittyerah, Karthik Prabhakaran, John A. Detre, Sandhitsu R. Das, David A. Wolk, Corey T McMillan, Gabor Mizsei, M. Dylan Tisdall, David J Irwin, John L. Robinson, Edward B Lee, Paul A. Yushkevich

专题命中 多模态评测 ：cross-modal(title,abstract)

AI总结 本文提出全自动管道用于髓鞘量化的光学密度标准化，通过体外7T MRI与组织学的跨模态验证，提高了髓鞘病理性评估的准确性与一致性。

Comments 10 Pages, accepted at MICCAI 2026