多模态大模型

Million Tutoring Moves (MTM): An Open Multimodal Dataset for the Science of Tutoring

百万辅导动作（MTM）：一个开放的多模态数据集用于辅导科学

René Kizilcec, Kirk Vanacore, Zhuqian Zhou, Doug Pietrzak, Jorge Dias, Haocheng Zhang, Bakhtawar Ahtisham, Joshua Marland, Rachel Slama, Justin Reich, Kenneth Koedinger

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文介绍MTM数据集，旨在通过大规模、可重用的多模态交互数据推动辅导科学。MTM v1包含4654份数学辅导记录，为后续更广泛的数据集奠定基础，支持研究教学过程、改进辅导实践及开发基于真实教育交互的AI系统。

EDA-Schema-V2: A Multimodal Schema, Open Datasets, and Benchmarks for Machine Learning in Digital Physical Design

EDA-Schema-V2：一种多模态架构，开放数据集和机器学习在数字物理设计中的基准测试

Pratik Shrestha, Alec Aversa, Ioannis Savidis

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出EDA-Schema-V2，一种多模态架构，通过生成和分析开放数据集，为数字物理设计中的机器学习提供标准化框架和基准测试，提升研究的可重复性和可比性。

Fidel-TS: A High-Fidelity Multimodal Benchmark for Time Series Forecasting

Fidel-TS：一种高保真多模态时间序列预测基准

Zhijian Xu, Wanxu Cai, Xilin Dai, Zhaorong Deng, Qiang Xu

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） ； School of Software（软件学院） ； Tsinghua University（清华大学） ； ZJU-UIUC Institute（浙大-UIUC研究院） ； Zhejiang University（浙江大学） ； School of Data Science（数据科学学院） ； The Chinese University of Hong Kong, Shenzhen（深圳香港中文大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出Fidel-TS，一种高保真多模态时间序列预测基准，解决现有基准数据源不纯、泄露问题及结构不清晰的问题，通过实验揭示现有基准的局限性和模型评估中的潜在差异。

Comments new version

OpenWatch: A Multimodal Benchmark for Hand Gesture Recognition on Smartwatches

OpenWatch: 一种用于智能手表手部动作识别的多模态基准

Pietro Bonazzi, Youssef Ahmed, Daniel Eckert, Andrea Ronco, Junjie Zeng, Dengxin Dai, Michele Magno

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)

AI总结 本文提出OpenWatch多模态基准，通过同步惯性与生理传感数据，评估手部动作识别方法，展示了MixToken和NormWear-Lora等新方法的优越性。

Introducing WARM-VR: Benchmark Dataset for Multimodal Wearable Affect Recognition in Virtual Reality

引入WARM-VR：多模态可穿戴情感识别基准数据集

Karim Alghoul, Faisal Mohd, Fedwa Laamarti, Hussein Al Osman, Abdulmotaleb El Saddik

机构 * School of Electrical Engineering and Computer Science, University of Ottawa（Ottawa 大学电气工程与计算机科学学院） ； Computer Science, University of Ottawa（Ottawa 大学计算机科学系） ； Computer Vision Department, Mohamed bin Zayed University of Artificial Intelligence（摩根·bin·扎耶德人工智能大学计算机视觉部门） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出WARM-VR数据集，用于多感官沉浸环境中可穿戴设备的情感识别，通过生理信号和多模态刺激评估情感状态，并利用CNN和Transformer模型验证了其有效性。

Validating the Clinical Utility of CineECG 3D Reconstructions through Cross-Modal Feature Attribution

通过跨模态特征归因验证CineECG 3D重建的临床价值

Karol Dobiczek, Maciej Mozolewski, Szymon Bobek, Michał Szafarczyk, Peter van Dam, Grzegorz J. Nalepa

机构 * Department of Human-Centered Artificial Intelligence, Institute of Applied Computer Science, Jagiellonian University（人类中心人工智能系，应用计算机科学研究所，雅盖隆大学） ； Faculty of Medicine, Jagiellonian University Medical College（医学系，雅盖隆大学医学院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)

AI总结 本文提出跨模态方法，将高性能12导联ECG模型的特征归因投影到CineECG 3D解剖空间，验证了其在临床整合中的有效性。

Comments Accepted to the CompHealth workshop at the 26th International Conference on Computational Science

PaperMind: Benchmarking Agentic Reasoning and Critique over Scientific Papers in Multimodal LLMs

PaperMind：多模态大语言模型中科学论文代理推理与批判的基准测试

Yanjun Zhao, Tianxin Wei, Jiaru Zou, Xuying Ning, Yuanchen Bei, Lingjie Chen, Simmi Rana, Wendy H. Yang, Hanghang Tong, Jingrui He

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 PaperMind通过整合多模态信息和跨源推理，评估科学论文的综合推理能力，揭示多模态大语言模型在科学推理和批判中的性能差距。

RareCollab: an LLM-powered framework for multimodal reasoning in Mendelian disease diagnosis

RareCollab: 一种基于大语言模型的多模态推理框架，用于孟德尔疾病诊断

Guantong Qi, Jiasheng Wang, Mei Ling Chong, Zahid Shaik, Shenglan Li, Shinya Yamamoto, Maura R. Z. Ruzhnikov, Devon E. Bonner, Jennefer N. Carter, Kevin S. Smith, Matthew T. Wheeler, Stephen B. Montgomery, Jonathan A. Bernstein, Sasidhar Pasupuleti, Undiagnosed Diseases Network, Pengfei Liu, Hu Chen, Zhandong Liu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 RareCollab通过整合基因组、表型和转录组证据，提升孟德尔疾病诊断的多模态推理能力，其在890名患者中实现了对94%诊断基因的高优先级识别，优于现有方法。

DeepFWI: Identifying Bug-Sensitive Warnings with Multi-Modal Code-Warning Semantics

DeepFWI：基于多模态代码-警告语义的 bug 敏感警告识别

Han Liu, Jian Zhang, Cen Zhang, Xiaohan Zhang, Kaixuan Li, Sen Chen, Shang-Wei Lin, Yixiang Chen, Xinhua Li, Yang Liu

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出 DeepFWI，通过多模态语义学习识别细粒度的 bug 敏感警告，采用 LSTM 模型捕捉代码与警告的关联，实验表明其在 F1-score 上优于基线方法。

Comments Accepted by TSE

Design and Evaluation of a Culturally Adapted Multimodal Virtual Agent for PTSD Screening

面向PTSD筛查的跨文化多模态虚拟代理设计与评估

Cengiz Ozel, Waleed Nadeem, Samuel Potter, Yahya Bokhari, Bdour Alwuqaysi, Wejdan Alotaibi, Rahaf Fahad Alnufaie, Sabri Boughorbel, Abdulrhman Aljouie, Rakan Altasan, Ehsan Hoque

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文设计并评估了适用于军事医疗场景的跨文化多模态虚拟代理Molhim，通过可配置的对话流程实现特定目的的交互，支持结构化多轮对话和自动会后分析，集成PCL-5量表进行PTSD筛查。

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

ScienceBoard: 评估多模态自主代理在真实科学工作流中的表现

Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Peking University（北京大学） ； Nanjing University（南京大学） ； East China Normal University（华东师范大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.CL、cs.AI

AI总结 ScienceBoard通过真实多领域环境和169个高质量任务评估多模态自主代理在科学工作流中的能力，发现现有代理在复杂任务中仅达到15%的成功率，揭示了改进设计原则的必要性。

Comments ICLR 2026 Camera Ready Version

A Multimodal Data Collection Framework for Dialogue-Driven Assistive Robotics to Clarify Ambiguities: A Wizard-of-Oz Pilot Study

一种多模态数据收集框架用于对话驱动的辅助机器人以澄清歧义：一项巫师-of-奥兹试点研究

Guangping Liu, Nicholas Hawkins, Billy Madden, Tipu Sultan, Flavio Esposito, Madi Babaiasl

机构 * Aerospace and Mechanical Engineering Department（航空航天与机械工程系） ； Computer Science Department（计算机科学系） ； Saint Louis University（圣路易斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出一种多模态数据收集框架，通过对话交互协议和双房间巫师-of-奥兹设置，模拟机器人自主性并捕捉自然用户行为，用于澄清对话驱动控制中的歧义问题。

Comments Accepted to IEEE RAS/EMBS 11th International Conference on Biomedical Robotics and Biomechatronics (BioRob) 2026

Multimodal Machine Learning for Early Prediction of Metastasis in a Swedish Multi-Cancer Cohort

多模态机器学习在瑞典多癌队列中早期预测转移的应用

Franco Rugolon, Korbinian Randl, Braslav Jovanovic, Ioanna Miliou, Panagiotis Papapetrou

机构 * Karolinska University Hospital（卡罗林斯卡大学医院） ； Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出利用多模态机器学习在诊断前一个月预测转移风险，通过整合电子健康记录数据，比较单模态与多模态模型的性能，展示中间融合策略在多种癌症中的优越表现。

FIRMED: A Peak-Centered Multimodal Dataset with Fine-Grained Annotation for Emotion Recognition

FIRMED：一种以峰值为中心的多模态数据集，用于情感识别的细粒度标注

Hao Tang, Songyun Xie, Xinzhou Xie, Can Liao, Bohan Li, Zhongyu Tian, Dalu Zheng

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 FIRMED通过即时回忆标注方法，提供同步的EEG、ECG、GSR、PPG和面部记录，以峰值为中心的标注减少了动态情感识别中的时间标签噪声，实验表明其在八种EEG分类器上平均提升3.8个百分点。

Graph Vector Field: A Unified Framework for Multimodal Health Risk Assessment from Heterogeneous Wearable and Environmental Data Streams

图向量场：一种统一的多模态健康风险评估框架，用于异构可穿戴和环境数据流

Silvano Coletti, Francesca Fallucchi

机构 * Università degli Studi Guglielmo Marconi, Roma, Italy（意大利罗马古列尔莫·马可尼大学） ； Chelonia SA, Lugano, Switzerland（瑞士卢加诺Chelonia SA） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出图向量场框架，通过结合离散微分几何算子与模态结构混合专家，统一多模态健康风险评估，实现可解释的模态解析风险建模。

Comments 25 pages, 6 appendices. Theoretical framework; no empirical experiments

NMRPeak: a ready-to-use intelligent system for molecular structure elucidation enabled by synergistic cross-modal learning

NMRPeak：一种基于协同跨模态学习的分子结构解析智能系统

Fanjie Xu, Jinyuan Hu, Jingxiang Zou, Junjie Wang, Boying Huang, Zhifeng Gao, Xiaohong Ji, Weinan E, Zhong-Qun Tian, Fujie Tang, Jun Cheng

专题命中 多模态评测 ：cross-modal(title,abstract)

AI总结 NMRPeak通过实验驱动设计整合谱预测、检索和生成任务，实现分子结构解析的突破性性能，提升实验场景下的应用效用。

Comments 35 pages, 7 figures

Occlusion-Aware Multimodal Beam Prediction and Pose Estimation for mmWave V2I

面向毫米波V2I的遮挡感知多模态波束预测与姿态估计

Abidemi Orimogunje, Hyunwoo Park, Kyeong-Ju Cha, Igbafe Orikumhi, Sunwoo Kim, Dejan Vukobratovic

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出一种受SLAM启发的多模态学习框架，用于动态遮挡下的毫米波V2I波束管理，通过融合RGB图像、LiDAR点云、雷达范围-角度图、GNSS和短时毫米波功率历史，实现波束索引、遮挡概率和2D位置的联合预测，验证了感知与通信结合在6G V2I系统中的价值。

Comments IEEE VTC

A Neuro-Symbolic System for Interpretable Multimodal Physiological Signals Integration in Human Fatigue Detection

一种用于人类疲劳检测中可解释多模态生理信号整合的神经符号系统

Mohammadreza Jamalifard, Yaxiong Lei, Parasto Azizinezhad, Javier Fumanal-Idocin, Javier Andreu-Perez

机构 * School of Computer Science and Electronic Engineering（计算机科学与电子工程学院） ； University of Essex（埃塞克斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出一种神经符号系统，通过注意力编码器整合可解释的生理概念，结合可微近似推理规则，提升疲劳检测的准确性和可解释性。

Is AI Ready for Multimodal Hate Speech Detection? A Comprehensive Dataset and Benchmark Evaluation

人工智能是否准备好进行多模态仇恨言论检测？一个全面的数据集和基准评估

Rui Xing, Qi Chai, Jie Ma, Jing Tao, Pinghui Wang, Shuming Zhang, Xinping Wang, Hao Wang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出M^3数据集，通过七种专门代理生成细粒度仇恨标签和理由，揭示现有多模态模型在处理真实世界语境时的不足，强调需发展上下文感知的多模态架构。

A Synchronous EEG-fNIRS BCI: A Proof-of-Concept for Multimodal Avalanche Analysis of Motor Cognition in Older Adults

一种同步EEG-fNIRS脑机接口：多模态雪崩分析在老年人运动认知中的证明概念研究

Eva Guttmann-Flury, Yun-Hsuan Chen, Qiaoyuan Xiang, Hao Zhang, Mohamad Sawan

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出一种结合同步EEG-fNIRS与神经雪崩分析的多模态框架，用于检测阿尔茨海默病早期网络功能障碍。研究通过小样本试点验证了多模态框架的技术可行性，并发现条件依赖的网络组织模式。

An Open-Access Multi-modal Dataset for Cognitive, Motor, and Cognitive-Motor Tasks

一个开放获取的多模态数据集用于认知、运动及认知-运动任务

Zaineb Ajra, Grégoire Vergotte, Stéphane Perrey, Lilian Evra, Simon Pla, Gérard Dray, Jacky Montmain, Binbin Xu

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出一个包含EEG、fNIRS、ECG等多模态数据的开放数据集，用于研究认知与运动任务的交互作用，支持开发先进的预处理方法和分析流程，应用于脑机接口和神经康复等领域。

Comments 15 pages, 6 figures

MJ1: Multimodal Judgment via Grounded Verification

MJ1: 通过 grounded 验证实现多模态判断

Bhavesh Kumar, Dylan Feng, Leonard Tang

机构 * Haize Labs（哈泽实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 MJ1 通过结构化 grounded 验证链和反事实一致性奖励提升多模态判断准确性，训练后在 MMRB2 数据集上达到 77.0% 准确率，超越更大模型。

Generative Artificial Intelligence Assisted Multi-modal Semantic Extraction for NOMA-based Image Transmissions

生成式人工智能辅助的多模态语义提取用于基于NOMA的图像传输

Songhan Zhao, Shimin Gong, Bo Gu, Hongyang Du, Xidong Mu, Zehui Xiong, Yuming Fang

专题命中 多模态评测 ：multi-modal(title)；cross-modal(abstract)

AI总结 本文提出利用生成式人工智能辅助的多模态语义提取方法，结合NOMA技术优化图像传输，通过联合优化语义特征选择和传输控制提升恢复性能与传输效率。

ACT as Human: Multimodal Large Language Model Data Annotation with Critical Thinking

ACT作为人类：多模态大语言模型数据标注中的批判性思维

Lequan Lin, Dai Shi, Andi Han, Feng Chen, Qiuzheng Chen, Jiawen Li, Zhaoyang Li, Jiyuan Li, Zhenbang Sun, Junbin Gao

机构 * University of Sydney（悉尼大学） ； University of Cambridge（剑桥大学） ； Riken AIP（理化学研究所AIP分所） ； University of Adelaide（阿德莱德大学） ； ByteDance Australia（字节跳动澳大利亚） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出ACT标注框架，利用大语言模型作为评判者提高标注效率，通过批判性思维识别潜在错误，减少人工成本，提升标注质量。

Comments NeurIPS 2025

Subject-Adaptive Sparse Linear Models for Interpretable Personalized Health Prediction from Multimodal Lifelog Data

面向可解释个性化健康预测的主体适应稀疏线性模型

Dohyun Bu, Jisoo Han, Soohwa Kwon, Yulim So, Jong-Seok Lee

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出SASL框架，结合普通最小二乘回归与主体特定交互，通过迭代后向特征消除构建稀疏模型，并结合LightGBM提升预测性能，实现可解释的个性化健康预测。

Comments 6 pages, ICTC 2025

Benchmarking Cross-Scale Perception Ability of Large Multimodal Models in Material Science

对材料科学中大多模态模型跨尺度感知能力的基准测试

Yuting Zheng, Zijian Chen, Qi Jia

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出CSMBench，通过评估多尺度下的图像描述和标题匹配任务，揭示了现有模型在不同物理尺度上的性能差异，强调了实现材料研究层次化准确理解的关键方向。

HRI-SA: A Multimodal Dataset for Online Assessment of Human Situational Awareness during Remote Human-Robot Teaming

HRI-SA：一种用于远程人机协同中在线人类情境意识评估的多模态数据集

Hashini Senaratne, Richard Attfield, Samith Widhanapathirana, David Howard, Cecile Paris, Dana Kulic, Leimin Tian

机构 * CSIRO Robotics（CSIRO机器人实验室） ； Monash Robotics（莫纳什大学机器人实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出HRI-SA数据集，用于评估远程人机协同中的人类情境意识，通过眼动、瞳孔直径等多模态数据，验证了通用眼动特征在检测感知情境意识延迟中的有效性。

Comments This work is currently under peer review

Multimodal Machine Learning for Soft High-k Elastomers under Data Scarcity

多模态学习用于数据稀缺下的软高k电弹性体

Brijesh FNU, Viet Thanh Duy Nguyen, Ashima Sharma, Md Harun Rashid Molla, Chengyi Xu, Truong-Son Hy

机构 * Department of Mechanical and Materials Engineering, School of Engineering, The University of Alabama at Birmingham (UAB)（机械与材料工程系，工程学院，阿拉巴马大学伯明翰分校） ； Department of Computer Science, College of Arts and Sciences, The University of Alabama at Birmingham (UAB)（计算机科学系，文理学院，阿拉巴马大学伯明翰分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文提出多模态学习框架，通过聚合实验数据构建高质量电弹性体数据库，利用预训练聚合表示实现少样本预测，加速发现高k电弹性体。

AI-Driven Multi-Modal Adaptive Handover Control Optimization for O-RAN

基于AI的多模态自适应切换控制优化用于O-RAN

Abdul Wadud, Fatemeh Golpayegani, Nima Afraz

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出一种多模态移动感知优化框架，通过rApp生成邻区推荐并结合E2测量实现切换决策，提升切换可靠性。

STONE Dataset: A Scalable Multi-Modal Surround-View 3D Traversability Dataset for Off-Road Robot Navigation

STONE数据集：一个可扩展的多模态周围视图3D可通行性数据集用于越野机器人导航

Konyul Park, Daehun Kim, Jiyong Oh, Seunghoon Yu, Junseo Park, Jaehyun Park, Hongjae Shin, Hyungchan Cho, Jungho Kim, Jun Won Choi

机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学） ； Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 STONE数据集通过大规模多模态数据和自动标注流程，为越野机器人导航中的3D可通行性预测提供了可扩展的地面真实值和基准测试平台。

Comments ICRA 2026