多模态大模型

Transformers for Multimodal Brain State Decoding: Integrating Functional Magnetic Resonance Imaging Data and Medical Metadata

用于多模态脑状态解码的Transformer：整合功能磁共振成像数据和医学元数据

Danial Jafarzadeh Jazi, Maryam Hajiesmaeili

机构 * Department of Quantom and Converging Sciences（量子与交叉科学系） ； Islamic Azad University Central Tehran Branch（伊斯兰 Azad 大学中央德黑兰分部） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出一种结合Transformer架构和多模态输入的框架，用于解码fMRI数据和DICOM元数据的脑状态，提升模型的准确性与鲁棒性。

EvtGraph: Event-Adaptive Compression for Sparse Temporal Graph Learning in Multimodal Time Series

EvtGraph：面向多模态时间序列稀疏时序图学习的事件自适应压缩方法

Ziqian Wang, Tingxiong Xiao, Yuxiao Cheng, Jinli Suo

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本研究针对多模态时序数据均匀离散化效率低的问题，提出EvtGraph框架，通过事件自适应压缩等技术实现预算约束下的高效图学习，在多模态临床等基准上性能优于基线且效率显著提升。

Comments 9 page, 9 figures

Binge Watch: Reproducible Multimodal Benchmarks Datasets for Large-Scale Movie Recommendation on MovieLens-10M and 20M

binge观看：用于大规模电影推荐的可重复多模态基准数据集，基于MovieLens-10M和20M

Giuseppe Spillo, Alessandro Petruzzelli, Cataldo Musto, Marco de Gemmis, Pasquale Lops, Giovanni Semeraro

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文发布M3L-10M和M3L-20M两个大规模多模态数据集，通过丰富MovieLens-10M和20M数据集，为大规模电影推荐提供可重复的基准数据。

Comments Accepted at RecSys 2026

Autoregressive EHR Foundation Models with Multimodal Inputs

具有多模态输入的自回归电子健康记录基础模型

Yuxuan Liu, Joshua Placidi, Jinpei Han, Alfred John Balston, Marek Rei, A. Aldo Faisal

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 研究在自回归电子健康记录基础模型中纳入多模态的方法，通过特定模态潜在压缩和门控交叉注意力框架，研究压缩单模态序列及预训练编码器选择对性能的影响，实验表明精心设计架构及临床评估的必要性。

Comments 5 pages excluding references and supplements, 2 figures and 2 tables, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning, Seoul, South Korea

Journal ref ICML2026 workshop on Structured Data for Health (SD4H)

Multimodal Attention-based Deep Learning for Emergency Triage with Electronic Health Records

基于多模态注意力的深度学习用于电子健康记录的急诊分诊

Hazqeel Afyq Athaillah Kamarul Aryffin, Kamarul Aryffin Baharuddin, Mohd Halim Mohd Noor

机构 * Hospital Universiti Sains Malaysia（马来西亚理科大学医院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 研究旨在提出多模态深度学习架构用于急诊分诊，利用自注意力捕捉特征关系，处理表格和文本数据。用马来西亚理科大学医院急诊科数据集验证，该模型比基线模型在准确率、F-1分数和ROC AUC上均有提升，展现出预测分诊决策的潜力。

CIG-MAE: Cross-Modal Information-Guided Masked Autoencoder for Self-Supervised WiFi Sensing

CIG-MAE：用于自监督WiFi感知的跨模态信息引导掩码自动编码器

Gang Liu, Yanling Hao, Yixuan Zou

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 研究利用WiFi CSI进行人类行为识别，针对监督方法受限及现有SSL不适用于CSI的问题，提出CIG-MAE，采用对称双流架构、自适应掩码策略和正则化器，实验证明其在多方面优于现有方法，提升了数据效率等。

Comments 12 pages, 7 figures. Published in IEEE Internet of Things Journal (Early Access)

ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

ERR@HRI 3.0 挑战赛：人机交互中错误与预期的多模态检测

Maria Teresa Parreira, Micol Spitale, Maia Stiber, Shiye Cao, Amama Mahmood, Chien-Ming Huang, Hatice Gunes, Wendy Ju

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 ERR@HRI 3.0 挑战赛提供自然场景视频数据集，供研究者开发多模态机器学习模型检测人机交互错误与预期，三个团队提交的有效模型超卷积神经网络基线，为构建相关检测系统提供了数据、任务、基线及结果等参考。

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

基于事件流的多模态视频异常检测：一个基准数据集和算法

Peipei Zhu, Yueqing Niu, Lin Zhu, Guanchong Niu, Yang Yu, Zheng Li

机构 * College of Pharmaceutical Engineering of Traditional Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学中药制药工程学院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院） ； State Key Laboratory of Component-based Chinese Medicine, Tianjin University of Traditional Chinese Medicine（天津中医药大学组分中药国家重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究针对视频异常检测在复杂条件下的局限性，提出EVAD框架，利用事件相机与传统视频。构建大规模基准数据集，设计对比多模态预训练框架及自适应融合模块，实验验证了该方法在现实场景中检测VAD的有效性。

Cross-Modal Generative Framework for Signal Translation from Fetal-Maternal Electrocardiograms to Fetal Doppler Waveforms

用于从胎儿-母亲心电图到胎儿多普勒波形信号转换的跨模态生成框架

Tongli Su, Alireza Rafiei, Marly van Assen, Reza Sameni, Gari D. Clifford, Faezeh Marzbanrad, Nasim Katebi

机构 * Emory University（埃默里大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Monash University（莫纳什大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 该研究针对胎儿-母亲心血管系统关系建模问题提出跨模态生成框架，结合扩张卷积、跨模态注意力及自注意力，经训练可从双导联心电图合成多普勒包络，降低误差，量化母婴耦合贡献，推进了相关计算建模及胎儿评估。

Comments Accepted for oral presentation at IEEE EMBC 2026. 7 pages

Reviving Reflection-in-Action: Instilling Designerly Thinking in AI-Supported Ideation through Multimodal Prompting

复兴反思行动：通过多模态提示在AI支持的构思中注入设计思维

Samangi Wadinambiarachchi, Jenny Waycott, Greg Wadley

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 针对当前AI创造力支持工具主要依赖文本提示的局限，提出SketchifAI原型，通过多模态输入（文本、草图、草图加标签）增强设计学生的表达意图、创造力支持和发散思维，发现草图模态提升流畅性但用户偏好文本，探讨如何通过草图反思保留设计技能。

Comments ACM Creativity and Cognition 2026 conference (C&C'26)

Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning

超越时间序列：基于多模态学习的空间推理用于流行病预测

Diana Guadalupe Gomez, Chenwei Wu, Zhiyi Wang, Liyue Shen, Alexander Rodríguez

机构 * University of Michigan（密歇根大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 提出M-SPICE框架，通过注意力机制融合区域级时序数据与空间辅助信号，在COVID-19、流感和ILI预测任务上超越现有基线。

Comments To appear in the Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), AI for Science Track

AwareLLM: A Proactive Multimodal Ecosystem for Personalized Human-AI Collaboration to Enhance Productivity

AwareLLM: 一种主动多模态生态系统，用于个性化人机协作以提升生产力

Amog Rao, Utkarsh Agarwal, Amol Harsh, Siddharth Siddharth

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 AwareLLM通过整合多模态数据与大语言模型，实现主动适应用户心理生理状态，提升任务表现并降低认知疲劳，推动人机协作新范式。

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning

必要时做梦：通过自适应多模态推理推进世界行动模型

Yinzhou Tang, Jingbo Xu, Yu Shang, Zihao Song, Chen Gao, Wei Wu, Yong Li

机构 * Tsinghua University（清华大学） ； Manifold AI 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 提出AdaWAM，通过轻量动态路由器自适应触发文本或视觉推理，提升长时复杂任务中的推理效率和性能。

A Hybrid Method for Traffic Flow Forecasting Using Multimodal Deep Learning

一种用于交通流预测的混合方法：使用多模态深度学习

Shengdong Du, Tianrui Li, Xun Gong, Shi-Jinn Horng

机构 * School of Information Science and Technology, National Engineering Laboratory of Integrated Transportation Big Data Application Technology（信息科学与技术学院，集成交通大数据应用技术国家工程实验室） ； Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology（计算机科学与工程系，台湾大学科技学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种混合多模态深度学习方法，用于短期交通流预测，通过注意力辅助多模态深度学习架构联合和自适应学习多模态交通数据的空间时间相关特征和长期时间依赖性。

Auditing Engagement Incentives in the Kidfluencer Ecosystem: A Multimodal Weak Supervision Approach

审计儿童网红生态系统中的参与激励：一种多模态弱监督方法

Zijing Wei, Chao Peter Yang, Xuanjie Chen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本研究采用多模态弱监督方法审计YouTube儿童网红频道，发现剥削信号与观看量显著正相关，且表演性劳动、情感诱饵和隐私侵犯能带来参与度溢价。

Mosaic: Towards Efficient Training of Multimodal Models with Spatial Resource Multiplexing

Mosaic：迈向多模态模型高效训练的时空资源复用

Yanbo Wang, Yuxuan Wang, Chen Chen, Chunyu Xue, Yu Feng, Anbang Wu, Quan Chen, Yin Chen, Qizhen Weng

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出Apollo系统，通过时空复用方法提升多模态模型训练效率，采用灵活的执行引擎和性能模型生成高质量部署计划，实测训练速度提升达1.31倍。

PyraVid: Hierarchical Multimodal Memory for Long-Horizon Video Reasoning

PyraVid: 用于长时间视频推理的分层多模态记忆

Sikuan Yan, Sicheng Dong, Haotong Wang, Ercong Nie, Yilun Liu, Jinhe Bi, Yingjie Xu, Susanna Schwarzmann, Riccardo Trivisonno, Volker Tresp, Yunpu Ma

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出PyraVid，一种分层多模态记忆框架，通过事件分割理论启发，解决长视频中多模态信息整合、人本信息对齐和证据聚合等挑战，提升长时间视频推理性能。

MERVIN: A Unified Framework for Multimodal Event Retrieval in Vietnamese News Videos

MERVIN：一种用于越南新闻视频多模态事件检索的统一框架

Anh-Tai Pham-Nguyen, Tung-Duong Le-Duc, Anh-Duy Le, Trung-Hieu Truong-Le

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出MERVIN框架，整合关键帧、转录文本和视频摘要，通过Gemini 1.5 Flash提升转录质量，利用Perception Encoder提取视觉特征，并结合越南语言模型生成文本嵌入，实现高效的多模态事件检索。

Comments Accepted to SOICT 2025

Multimodal Graph-based Classification of Esophageal Motility Disorders

基于多模态图的食管动力障碍分类

Alexander Geiger, Lars Wagner, Daniel Rueckert, Alois Knoll, Dirk Wilhelm, Alissa Jell

机构 * Technical University of Munich, School of Medicine and Health, TUM University Hospital Rechts der Isar（慕尼黑技术大学医学院与健康学院，TUM医院Rechts der Isar分院） ； Technical University of Munich, School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出结合高分辨率阻抗测压仪数据与患者信息的多模态图分类方法，通过图神经网络学习生理意义的表示，提升食管动力障碍分类的准确性。

Accounting for Missed Events in the Bayesian Modeling of IP3R Multimodal Gating

在IP3R多模态门控的贝叶斯建模中考虑遗漏事件

Schayma Ben Marzougui, Audrey Denizot, Hugues Berry

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文通过改进的贝叶斯方法分析IP3R门控行为，考虑遗漏事件对动力学模型的影响，揭示了多模态模型中Park和Drive模式的动力学差异及钙浓度对状态转换率的影响。

PA-RNet: Perturbation-Aware Residual Network for Robust Multimodal Time Series Forecasting

PA-RNet：一种针对鲁棒多模态时间序列预测的扰动感知残差网络

Enqiang Zhu, Zhenbin Deng, Shengzhi Wang, Yi-Kun Tang, Chanjuan Liu

机构 * Institute of Computing Technology, Guangzhou University（广州大学计算机技术学院） ； School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 PA-RNet通过扰动感知机制优化多模态特征，提升时间序列预测的鲁棒性，实验表明其在不同领域均优于现有方法。

Optimizing Tracking Accuracy in Energy-Constrained Multimodal ISAC via Lyapunov-Driven Heterogeneous Mixture-of-Experts

通过Lyapunov驱动的异构专家混合方法优化能量受限多模ISAC的跟踪精度

Wenqi Fan, Ning Wei, Ahmad Bazzi, Rongyan Xi, Zhixian Song, You Li, Zhihan Zeng, Yue Xiu, Chadi Assi

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出一种物理感知的多模融合感知与通信框架，通过语义信息年龄理论连接网络层排队延迟与物理层空间不确定性，采用Lyapunov驱动的异构专家混合方法优化跟踪后验Cramer-Rao界与系统能量预算，提升跟踪精度和RF鲁棒性。

A Multimodal and Explainable Machine Learning Approach to Diagnosing Multi-Class Ejection Fraction from Electrocardiograms

一种多模态且可解释的机器学习方法用于从心电图中诊断多类射血分数

Catherine Ning, Yu Ma, Cindy Beini Wang, Sean McMahon, Joseph Radojevic, Steven Zweibel, Dimitris Bertsimas

机构 * Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运营研究中心） ； Wisconsin School of Business, University of Wisconsin–Madison（威斯康星大学麦迪逊分校商学院） ； Heart and Vascular Institute, Hartford Hospital（哈特福德医院心脏与血管研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出一种结合工程化12导联ECG时间序列特征与结构化电子健康记录变量的多模态机器学习框架，用于四类临床射血分数分类，并通过SHAP属性分析提高模型可解释性。

Anomaly Detection in Smart Power Grids with Graph-Regularized MS-SVDD: a Multimodal Subspace Learning Approach

基于图正则化的多模态子空间学习的智能电网异常检测

Thomas Debelle, Fahad Sohrab, Pekka Abrahamsson, Moncef Gabbouj

机构 * Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院） ； Tampere University（塔尔库大学） ； Technical University of Darmstadt（达姆施塔特技术大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出一种结合图正则化的多模态子空间学习方法，用于智能电网异常检测，通过共享低维子空间提升鲁棒性，验证了图先验与多模态子空间学习结合的有效性。

Comments 23 pages, 5 figures, supplementary material

Zeitgeist-Aware Multimodal (ZAM) Datasets of Pro-Eating Disorder Short-Form Videos: An Idea Worth Researching

具有时间意识的多模态（ZAM）数据集：关于促进进食障碍短视频的研究想法

Eden Shaveet, Zefan Sramek, Yumi Hamamoto, Jing Du, Scott Griffiths, Thalia Zhang, Thalia Viranda, William Hornby, Flora Salim, Koji Yatani, Tanzeem Choudhury

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出ZAM数据集，旨在解决现有方法在识别促进进食障碍内容时的局限性，通过动态更新的多模态数据支持实时研究和模型训练。

ExoNet: Calibrated Multimodal Deep Learning for TESS Exoplanet Candidate Vetting using Phase-Folded Light Curves, Stellar Parameters, and Multi-Head Attention

ExoNet：基于相位折叠光变曲线、恒星参数和多头注意力的校准多模态深度学习用于TESS行星候选体验证

Md. Rashadul Islam

机构 * Daffodil International University（达芙果国际大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 ExoNet通过融合相位折叠光变曲线、恒星参数和多头注意力机制，提升TESS行星候选体验证的准确率，实现高置信度信号和适居带候选体的识别。

Comments v2: Complete revision. Corrected systematic TOI/TIC cross-identification errors present in v1. Rebuilt inference pipeline using verified NASA Exoplanet Archive catalog (4,720 PC-disposition candidates, up from 200). Updated all results, figures, and performance metrics. 8 pages, 4 figures, 6 tables

Mosaic: Cross-Modal Clustering for Efficient Video Understanding

Mosaic：用于高效视频理解的跨模态聚类

Tuowei Wang, He Zhou, Chengru Song, Qiushi Li, Ju Ren

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 Mosaic是首个针对流式长视频理解的跨模态聚类驱动VLM推理系统，通过优化KVCache管理实现1.38倍速度提升。

mmid: Multi-Modal Integration and Downstream analyses for healthcare analytics in Python

mmid：用于医疗分析的多模态整合与下游分析的Python工具

Andrea Mario Vergani, Valeria Iapaolo, Emanuele Di Angelantonio, Marco Masseroli, Francesca Ieva

专题命中 视频多模态 ：multi-modal(title,abstract)

AI总结 mmid是一个Python包，提供多模态融合、填补缺失数据、分类、时间到事件预测和聚类功能，用于结构化环境中整合顺序数据并进行下游分析。

Heterogeneous Mixture-of-Experts for Energy-Efficient Multimodal ISAC in Highly Mobile Networks

异构专家混合模型用于高移动网络中高效多模态ISAC

Wenqi Fan, Ning Wei, Rongyan Xi, Ahmad Bazzi, Yue Xiu, Chadi Assi, Jing Dong, Jing Jin

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出异构混合专家架构，解决高移动网络中多模态传感与毫米波通信的能耗与可靠性平衡问题，通过强化学习实现高效事件触发传感策略。

Niching Importance Sampling for Multi-modal Rare-event Simulation

多模态稀有事件模拟中的 niching 重要性抽样

Hugh J. Kinnear, F. A. DiazDelaO

专题命中 视频多模态 ：multi-modal(title,abstract)

AI总结 本文提出 niching 重要性抽样框架，结合可靠性分析和进化多模态优化技术，提高故障概率估计的鲁棒性，有效应对可靠性问题的几何挑战。