多模态大模型

Multi-modal data-driven microstructure characterization

多模态数据驱动的微观结构表征

Qi Zhang, Santiago Benito, Sebastian Weber, Markus Stricker

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

AI总结 本研究通过多模态数据驱动方法实现自动化的微观结构表征，包括晶粒分割和晶界检测，利用信息论优化参数选择和潜在空间特征映射。

Comments 23 pages, 14 figures

A Multimodal Data Processing Pipeline for MIMIC-IV Dataset

用于MIMIC-IV数据集的多模态数据处理流程

Farzana Islam Adiba, Varsha Danduri, Fahmida Liza Piya, Ali Abbasi, Mehak Gupta, Rahmatollah Beheshti

机构 * University of Delaware（德克萨斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种用于MIMIC-IV数据集的多模态数据处理流程，旨在提升多模态数据处理效率和研究可重复性。

MASH: A Multiplatform and Multimodal Annotated Dataset for Societal Impact of Hurricane

MASH: 一种用于飓风社会影响的多平台和多模态注释数据集

Ruichen Yao, Aslanbek Murzakhmetov, Raaghav Pillai, Aliya Maussymbayeva, Zelin Li, Yifan Liu, Yaokun Liu, Lanyu Shang, Yang Zhang, Na Wei, Ximing Cai, Dong Wang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 MASH数据集通过多平台和多模态注释，全面覆盖飓风社会影响的多维度研究需求。

Comments preprint under review

MM-BRIGHT: A Multi-Task Multimodal Benchmark for Reasoning-Intensive Retrieval

MM-BRIGHT: 一种多任务多模态基准用于推理密集型检索

Abdelrahman Abdallah, Mohamed Darwish Mounis, Mahmoud Abdalla, Mahmoud SalahEldin Kasem, Mostafa Farouk Senussi, Mohamed Mahmoud, Mohammed Ali, Adam Jatowt, Hyun-Soo Kang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 MM-BRIGHT是首个用于推理密集型检索的多模态基准，通过29个技术领域中的2,803个现实世界查询，评估了多模态检索模型在文本到文本、多模态到文本等任务上的性能。

CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception

CLAMP：通过开源设备收集大规模真实场景触觉数据集以实现多模态机器人感知

Pranav N. Thakkar, Shubhangi Sinha, Karan Baijal, Yuhan, Bian, Leah Lackey, Ben Dodson, Heisen Kong, Jueun Kwon, Amber Li, Yifei Hu, Alexios Rekoutis, Tom Silver, Tapomayukh Bhattacharjee

机构 * Cornell University（康奈尔大学） ； Horace Mann School（霍拉曼学校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 CLAMP通过开源设备收集大规模真实场景触觉数据集，训练多模态触觉编码器，实现材料识别和机器人操作任务的泛化能力。

A Multimodal Deep Learning Framework for Predicting ICU Deterioration: Integrating ECG Waveforms with Clinical Data and Clinician Benchmarking

一种多模态深度学习框架用于预测ICU恶化：整合ECG波形与临床数据及医生基准测试

Juan Miguel López Alcaraz, Xicoténcatl López Moran, Erick Dávila Zaragoza, Claas Händel, Richard Koebe, Wilhelm Haverkamp, Nils Strodthoff

机构 * AI4Health Division, Carl von Ossietzky Universität Oldenburg（AI4Health部门，奥尔登堡大学） ； CAPASITS, Secretariat of Health of the State of Colima（CAPASITS，科利马州卫生秘书处） ； Department of Interventional Cardiology, Hospital Puerta de Hierro Colima（介入心脏病学部，科利马医院） ； Institute for Medical Informatics and Statistics, Kiel University and University Hospital Schleswig-Holstein（医学信息学与统计研究所，基尔大学和石勒苏益格-荷尔斯泰因大学医院） ； Department of Anesthesiology, Intensive Care Medicine, Emergency Medicine, and Pain Therapy, Carl von Ossietzky Universität & Klinikum Oldenburg（麻醉学、重症医学、急诊医学和疼痛治疗部，奥尔登堡大学及奥尔登堡诊所） ； Department of Cardiology, Angiology and Intensive Care Medicine, Charité Campus Mitte, German Heart Center of the Charité-University Medicine Berlin（心内科、血管科和重症医学部，Charité梅尔特校区，Charité-大学医学中心柏林德国心脏中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究提出一种多模态深度学习框架MDS ICU，通过整合ECG波形与临床数据，提升ICU恶化预测的准确性，并在医生和大语言模型中表现优异。

Comments 23 pages, 8 figures, source code under https://github.com/AI4HealthUOL/MDS-ICU

MMFCTUB: Multi-Modal Financial Credit Table Understanding Benchmark

MMFCTUB：多模态金融信用表理解基准

Cui Yakun, Yanting Zhang, Zhu Lei, Jian Xie, Zhizhuo Kou, Hang Du, Zhenghao Zhu, Sirui Han

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 MMFCTUB是一个多模态金融信用表理解基准，通过最小监督流程和容量驱动问题评估模型在信用表理解任务中的结构感知、领域知识利用和数值计算能力。

VNU-Bench: A Benchmarking Dataset for Multi-Source Multimodal News Video Understanding

VNU-Bench：多源多模态新闻视频理解的基准数据集

Zibo Liu, Muyang Li, Zhe Jiang, Shigang Chen

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 VNU-Bench是首个多源多模态新闻视频理解基准数据集，通过设计新颖问题类型和混合生成方法，评估模型跨源信息整合能力。

System-Level Comparison of Multimodal and In-Band mmWave Sensing for Beam Prediction in 6G ISAC

6G ISAC中多模态与带内毫米波感知的系统级比较：用于基站预测

Abidemi Orimogunje, Hyunwoo Park, Igbafe Orikumhi, Sunwoo Kim, Dejan Vukobratovic

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种系统级框架，通过多模态融合评估毫米波与体外传感器在6G ISAC中的波束预测性能。

A Sparse-Attention Deep Learning Model Integrating Heterogeneous Multimodal Features for Parkinson's Disease Severity Profiling

一种整合异构多模态特征的稀疏注意力深度学习模型用于帕金森病严重程度评估

Dristi Datta, Tanmoy Debnath, Minh Chau, Manoranjan Paul, Gourab Adhikary, Md Geaur Rahman

机构 * School of Computing, Mathematics, and Engineering, Charles Sturt University（计算、数学与工程学院，查尔斯·斯特劳特大学） ； School of Dentistry and Medical Sciences, Charles Sturt University（牙科学院与医学科学学院，查尔斯·斯特劳特大学） ； AI and Cyber Futures Centre (AICF)（人工智能与未来技术中心（AICF）） ； Hawkins Clinic General Medical Practice（霍金斯诊所普通医疗实践） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种整合异构多模态特征的稀疏注意力深度学习模型，用于提高帕金森病严重程度评估的准确性和可解释性。

Multimodal Insights into Credit Risk Modelling: Integrating Climate and Text Data for Default Prediction

多模态视角下的信用风险建模：整合气候与文本数据用于违约预测

Zongxiao Wu, Ran Liu, Jiang Dai, Dan Luo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本研究提出多模态框架整合气候与文本数据，通过LSTM、GRU和Transformer模型提升信用违约预测精度，发现物理气候风险，特别是内涝，是关键影响因素。

Deep Multi-modal Breast Cancer Detection Network

深度多模态乳腺癌检测网络

Noor Ul Huda Shah, Tanveer Hussain, Amr Ahmed, Yonghuai Liu, Usman Ali, Ardhendu Behera

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出深度多模态乳腺癌检测网络，整合视觉与临床数据提升诊断准确率，实验显示在Mini-DDSM数据集上准确率提升至90.87%。

Comments The paper is withdrawn because we identified an error in the dataset splitting procedure used in the experiments for MMCDNET. The training/validation split was incorrectly implemented, leading to data leakage and invalid performance results

FedJam: Multimodal Federated Learning Framework for Jamming Detection

FedJam: 多模态联邦学习框架用于干扰检测

Ioannis Panitsas, Iason Ofeidis, Leandros Tassiulas

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 FedJam通过多模态联邦学习框架实现设备端干扰检测，提升准确率并降低通信成本，适用于现实场景中的异构数据分布。

Advanced Data Collection Techniques in Cloud Security: A Multi-Modal Deep Learning Autoencoder Approach

云安全中的高级数据收集技术：一种多模态深度学习自编码器方法

Aamiruddin Syed, Mohammed Ilyas Ahmad

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出一种多模态深度学习自编码器方法，通过整合多种数据源和模态，提升云安全中的异常检测与分类性能。

Comments 13 pages

Multimodal Optical Imaging Platform for Quantitative Burn Assessment

多模光学成像平台用于定量烧伤评估

Nathaniel Hanson, Mateusz Wolak, Jonathan Richardson, Patrick Walker, David M. Burmeister, Chakameh Jafari

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种多模光学成像平台，结合高光谱成像与激光散斑成像，用于快速准确评估烧伤严重程度，适用于战场等恶劣环境。

A Deep Multimodal Multi--Head Neural Network for Joint Estimation of Stellar Age, Lifetime, and Evolutionary Stage

一种深度多模态多头神经网络用于恒星年龄、寿命和演化的联合估计

Jing Rou Puah, Sasa Arsovski

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出了一种深度多模态多头神经网络，用于联合估计恒星年龄、寿命和演化阶段，通过结合光谱和光度数据，提高了恒星参数估计的精度和物理合理性。

Comments 8 pages, 5 figures

Comprehensive Multimodal and Multiscale Analysis of Alzheimer Disease in 5xFAD Mice: Optical Spectroscopies, TEM, Neuropathological, and Behavioral Investigations

5xFAD小鼠阿尔茨海默病的综合多模态和多尺度分析：光学光谱学、TEM、神经病理学和行为研究

Dhruvil Solanki, Ishmael Apachigawo, Sazzad Khan, Santanu Maity, Fatemah Alharthi, Samia Nasim, Mohammad Alizadeh Poshtiri, Fnu Sweety, Jiangfeng Xiao, Mohammad Moshahid Khan, Prabhakar Pradhan

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文通过多模态和多尺度分析，利用光谱学、TEM、神经病理学和行为研究，揭示了5xFAD小鼠中阿尔茨海默病的早期生物标志物和病理机制。

Comments 27 pages, 9 figures

Lane-Frame Quantum Multimodal Driving Forecasts for the Trajectory of Autonomous Vehicles

车道框架量子多模态轨迹预测用于自动驾驶车辆轨迹

Navneet Singh, Shiva Raj Pokhrel

机构 * IoT & Software Engineering Research Lab, School of Information Technology, Deakin University（物联网与软件工程研究实验室，信息科技学院，德金大学） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)

AI总结 本文提出基于量子架构的车道框架多模态轨迹预测方法，在自动驾驶基准中实现高精度轨迹预测。

Depression diagnosis from patient interviews using multimodal machine learning

基于多模态机器学习的抑郁症诊断

Jana Weber, Marcel Weber, Juan Miguel Lopez Alcaraz

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本研究通过多模态机器学习整合语音、语言和临床信息，提升抑郁症诊断的准确性与临床实用性。

Comments Accepted by Frontiers in Psychiatry, 19 pages, 5 figures, source code under https://github.com/UOLMDA2025/Depression

Abnormality Prediction and Forecasting of Laboratory Values from Electrocardiogram Signals Using Multimodal Deep Learning

Juan Miguel Lopez Alcaraz, Nils Strodthoff

机构 * Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学） ； AI4Health Division（AI4Health部门） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Comments Accepted for publication in Scientific Reports. 15 pages, 2 figures. Code available at: https://github.com/AI4HealthUOL/CardioLab

OpenRoboCare: A Multimodal Multi-Task Expert Demonstration Dataset for Robot Caregiving

Xiaoyu Liang, Ziang Liu, Kelvin Lin, Edward Gu, Ruolin Ye, Tam Nguyen, Cynthia Hsu, Zhanxin Wu, Xiaoman Yang, Christy Sum Yu Cheung, Harold Soh, Katherine Dimitropoulou, Tapomayukh Bhattacharjee

专题命中 多模态评测 ：multimodal(title,abstract)

Comments IROS 2025

RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation

Xiaoshuai Hao, Yingbo Tang, Lingfeng Zhang, Yanbiao Ma, Yunfeng Diao, Ziyu Jia, Wenbo Ding, Hangjun Ye, Long Chen

机构 * Xiaomi EV（小米电动车） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Clinically-aligned Multi-modal Chest X-ray Classification

Phillip Sloan, Edwin Simpson, Majid Mirmehdi

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

Comments 9 Pages, 2 Figures, 3 Tables & 2 Supplementary Tables in Appendix. Accepted to ML4H 2025 (Proceedings)

A Causal-Guided Multimodal Large Language Model for Generalized Power System Time-Series Data Analytics

Zhenghao Zhou, Yiyan Li, Xinjie Yu, Runlong Liu, Zelin Guo, Zheng Yan, Mo-Yuen Chow, Yuqi Yang, Yang Xu

专题命中 多模态评测 ：multimodal(title,abstract)

RobustA: Robust Anomaly Detection in Multimodal Data

Salem AlMarri, Muhammad Irzam Liaqat, Muhammad Zaigham Zaheer, Shah Nawaz, Karthik Nandakumar, Markus Schedl

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； IMT School for Advanced Studies（IMT高级研究学院） ； Johannes Kepler University Linz（林茨约瑟夫·冯·克莱门茨大学） ； Human-centered AI Group, AI Lab, Linz Institute of Technology（以人为中心的人工智能小组、人工智能实验室、林茨技术研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Comments Submitted to IEEE Transactions on Image Processing

RF-Behavior: A Multimodal Radio-Frequency Dataset for Human Behavior and Emotion Analysis

Si Zuo, Yuqing Song, Sahar Golipoor, Ying Liu, Xujun Ma, Stephan Sigg

专题命中 多模态评测 ：multimodal(title,abstract)

AutoHood3D: A Multi-Modal Benchmark for Automotive Hood Design and Fluid-Structure Interaction

Vansh Sharma, Harish Jai Ganesh, Maryam Akram, Wanjiao Liu, Venkat Raman

机构 * University of Michigan Ann Arbor（密歇根大学安娜堡分校） ； Ford Research and Innovation Center（福特研究与创新中心） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

Journal ref 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Enhancing Multimodal Protein Function Prediction Through Dual-Branch Dynamic Selection with Reconstructive Pre-Training

Xiaoling Luo, Peng Chen, Chengliang Liu, Xiaopeng Jin, Jie Wen, Yumeng Liu, Junsong Wang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； College of Applied Technology, Shenzhen University（深圳大学应用技术学院） ； Laboratory for Artificial Intelligence in Design, Hong Kong（人工智能设计实验室（香港）） ； College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院） ； College of Computer Science and Technology, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院计算机科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Journal ref Proceedings of the IJCAI-25, 7598--7606 (2025)

AoI-Aware Machine Learning for Constrained Multimodal Sensing-Aided Communications

Abolfazl Zakeri, Nhan Thanh Nguyen, Ahmed Alkhateeb, Markku Juntti

专题命中 多模态评测 ：multimodal(title,abstract)

Comments Submitted to an IEEE conference

CSMD: Curated Multimodal Dataset for Chinese Stock Analysis

Yu Liu, Zhuoying Li, Ruifeng Yang, Fengran Mo, Cen Chen

专题命中 多模态评测 ：multimodal(title,abstract)

Comments Accepted by CIKM 2025