多模态大模型

NSF Future Manufacturing Data Challenge: A Multimodal DED Dataset for Probabilistic Representation and Prediction of Laser-Track Geometry

NSF未来制造数据挑战：用于激光轨迹中概率局部几何预测的多模态DED数据集

Abhishek Hanchate, Himanshu Balhara, Satish T. S. Bukkapatnam

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究针对NSF未来制造数据挑战，引入多模态DED数据集预测激光轨迹局部几何变化，包含热图像序列、SEM图像和高度图三种模态，在不同激光功率下进行实验，发布相关代码及坐标约定。

Comments 4 pages, 2 figures

Device-Cloud Collaborative LLM Inference with Multi-Modal, Multi-Task, Multi-Turn Conversations

具有多模态、多任务、多轮对话的设备-云协作大语言模型推理

Liangqi Yuan, Dong-Jun Han, Shiqiang Wang, Christopher G. Brinton

机构 * School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） ； Department of Computer Science and Engineering, Yonsei University（延世大学计算机科学与工程系） ； Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 研究大语言模型部署挑战，设计TMO设备-云推理系统，结合轻量级设备LLM和大规模云LLM，开发资源受限强化学习策略优化推理，贡献M4A1数据集，实验证明TMO在延迟、成本和响应质量方面效果显著。

Comments ACM MobiHoc 2025 (Best Paper Runner-Up) -> IEEE/ACM Transactions on Networking (extended journal version)

HEART-Watch: A multimodal physiological dataset from a Google Pixel Watch across different physical states

HEART-Watch：来自谷歌Pixel手表的不同身体状态下的多模态生理数据集

Jathushan Kaetheeswaran, Boyi Ma, Ali Abedi, Shehroz Khan, Milad Lankarany

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对消费级智能手表心血管监测算法开发缺现实多样数据的问题，提出HEART-Watch多模态生理数据集，涵盖40名健康成年人三种身体状态下的多种信号及血压测量值，以支持相关算法开发与基准测试。

DentiAsk: A VQA Benchmark for Multimodal Reasoning in Panoramic Dental Radiographs

DentiAsk：全景牙科X光片中多模态推理的视觉问答基准测试

Debesh Jha, Tapas Kumar Dutta, Roshan Paudel, Onkar Kishor Susladkar, Aashish Ghimire, Anupam Dhakal, Sabin Adhikari, Nand Kumar Yadav, Deepak Ranjan Nayak, Pravin Pawar, William C. W. Chen, Glenda Reynolds

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究旨在解决现有医学视觉问答基准测试无法充分体现全景牙科X光片解读复杂性的问题，引入DentiAsk基准测试，涵盖多种病变和推理层次，对10种模型测试发现其在空间定位等方面存在局限，为推进医学成像多模态推理提供挑战基准。

On the Limitations of Non-GPU AI Accelerators for Large-Model Inference: A Field Study of MoE and Multimodal Serving on Huawei Ascend

论非 GPU 人工智能加速器在大模型推理中的局限性：基于华为昇腾的 MoE 和多模态服务的实地研究

Zheng Yu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究非 GPU 人工智能加速器在大模型推理中的局限性，通过在华为昇腾系统上部署两个大型推理工作负载进行实地研究，总结平台八类限制及原因，量化相关指标，为评估或操作此类加速器的团队提供可重复参考。

Rethinking Multimodal Time-Series Forecasting Evaluation

重新思考多模态时间序列预测评估

Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google Research（谷歌研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究针对现有多模态时间序列预测基准的问题，引入TimesX基准，通过自动数据生成管道获取多样真实世界时间序列。经实证研究发现，一些在现有基准上好的方法在TimesX上可能失败，而利用文本上下文的简单集成方法表现出色。

Journal ref Published in ICML 2026

GrandTour: A Legged Robotics Dataset in the Wild for Multi-Modal Perception and State Estimation

GrandTour: 一种用于多模态感知与状态估计的野外腿式机器人数据集

Turcan Tuna, Jonas Frey, Frank Fu, Katharine Patterson, Tianao Xu, Maurice Fallon, Cesar Cadena, Marco Hutter

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； Oxford University（牛津大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 GrandTour数据集为多模态感知与状态估计提供了大规模野外腿式机器人数据，支持SLAM和高精度状态估计的研究与开发。

Comments Turcan Tuna, and Jonas Frey contributed equally. Submitted to Sage The International Journal of Robotics Research

Dance2Hesitate: A Multi-Modal Dataset of Dancer-Taught Hesitancy for Understandable Robot Motion

Dance2Hesitate: 一种多模态舞者教学犹豫数据集，用于可理解的机器人运动

Srikrishna Bangalore Raghu, Anna Soukhovei, Divya Sai Sindhuja Vankineni, Alexandra Bacula, Alessandro Roncone

机构 * University of Colorado Boulder（科罗拉多大学波德分校） ； Pacific Lutheran University（太平洋 Lutheran 大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 Dance2Hesitate数据集通过多模态舞者教学生成，用于研究可理解的机器人犹豫运动，涵盖不同情境和身体状态下的运动轨迹。

Comments Accepted to the Designing Transparent and Understandable Robots (D-TUR) Workshop at the ACM/IEEE International Conference on Human-Robot Interaction (HRI) 2026, Edinburgh, UK

Journal ref Workshop on Designing Transparent and Understandable Robots, 2026

Task-Oriented Multimodal Edge Intelligence via Integrated Sensing-Communication-Computation

通过集成传感-通信-计算实现面向任务的多模态边缘智能

Weiwei Chen, Yinghui He, Zhong Ye, Dingzhu Wen, Guanding Yu

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)

AI总结 针对现有单模态集成传感通信计算（ISCC）设计易受多种问题影响、多模态ISCC设计不足的情况，提出面向任务的多模态ISCC框架，用最大编码率降低准则及算法提升性能，实验表明优于基线方案。

LAMBDA: A Low-Altitude Multimodal Base Dataset for UAV Sensing and Communication

LAMBDA：用于无人机传感与通信的低空多模态基础数据集

Lin Zhou, Peichuan Rao, Chenshuo Zhang, Jianhua Mo, Shu Sun, Zhiyong Chen, Meixia Tao

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究低空综合传感与通信需对齐多模态数据，为此引入LAMBDA数据集，通过高保真数字孪生管道生成，具有多种特性，涵盖多场景多条件，支持多种参数设置，经评估有可靠性与可用性。

PoliTok-DE: A Multimodal Dataset of Political TikToks and Deletions From Germany

PoliTok-DE：德国政治TikTok及删除内容的多模态数据集

Tomas Ruiz, Andreas Nanz, Ursula Kristin Schmid, Carsten Schwemmer, Yannis Theocharis, Diana Rieger

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出PoliTok-DE多模态数据集，包含两次德国选举的93万条TikTok帖子，其中33万条被删除，用于研究不宽容、政治传播及平台政策。

A Comparison of Fusion Techniques for Multi-Modal Human Activity Recognition on the HARMES Dataset

HARMES数据集上多模态人类活动识别融合技术的比较

Ahmed Mohamady, Robin Burchard, Kristof Van Laerhoven

机构 * University of Siegen（锡根大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 系统比较七种传感器融合方法在HARMES多模态数据集上的性能，发现门控多模态融合在留一参与者评估中宏F1分数达0.82，优于拼接式后期融合基线（0.76）。

MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation

MultModLM：基于大语言模型的硬件原理图生成的多模态基准

Dhruv Kulkarni, Sai Manoj Pudukotai Dinkarrao

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出MultModLM基准，评估LLM从RTL描述生成硬件原理图的能力，通过多阶段评估框架发现模型生成原理图功能正确性有限，且LLM评估者与人类评分一致性极低。

Quantifying Perovskite Solar Cell Degradation via Machine Learning from Spatially Resolved Multimodal Luminescence Time Series

通过空间分辨多模态发光时间序列的机器学习量化钙钛矿太阳能电池退化

Giulio Barletta, Simon Ternes, Saif Ali, Zohair Abbas, Chiara Ostendi, Marialucia D'Addio, Erica Magliano, Pietro Asinari, Eliodoro Chiavazzo, Aldo Di Carlo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出深度学习框架LumPerNet，利用多模态发光成像（EL、PLoc、PLsc）直接估计钙钛矿太阳能电池的效率保持率，通过对比空间均匀化控制，发现全局发光演变包含主要预测信号，空间信息提供次要鲁棒性贡献。

Comments 32 pages, 14 figures

\chisao{}: A GPU-Native Parallel Optimizer for Multimodal Black-Box Functions via Convergence-Anticonvergence Oscillation

Chisao: 一种基于收敛-反收敛振荡的多模态黑盒函数的GPU原生并行优化器

Ira Wolfson

机构 * Braude College of Engineering（布劳德工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出GPU原生群体优化器Chisao，通过收敛-反收敛振荡循环逃离局部陷阱并冻结确认模态，在42个基准函数上实现100%模态恢复，速度提升达39倍。

Comments 22 pages, 4 Appendixes

MetaboNet-Bench: A Multi-modal Benchmark for Glucose Forecasting in Type 1 Diabetes

MetaboNet-Bench：1型糖尿病血糖预测的多模态基准

Nathaniel Jeffries, Miriam Wolff, Sam Royston, Elizabeth Healey, Caleb Mayer, David Klonoff, Michael Snyder, Tao Wang

机构 * Department of Genetics, Stanford University School of Medicine（斯坦福大学医学院遗传学系） ； Replica Health ； Boston Children’s Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院） ； Diabetes Research Institute, Mills-Peninsula Medical Center（米尔斯半岛医学中心糖尿病研究所） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)

AI总结 针对1型糖尿病血糖预测算法缺乏标准化评估基准的问题，提出MetaboNet-Bench多模态基准，集成血糖、胰岛素和碳水化合物数据，通过多个模型对比验证多模态数据对模型性能的影响。

Comments main content in 10 pages with 5 figures; supplementary section with 11 more pages and 5 more figures. v2: fix figure 4 and 5's misordering

A Multimodal Domain-Adversarial Network for Fragmentation Background Suppression in AMS Heavy Nuclei Measurements

用于AMS重核测量中碎裂本底抑制的多模态域对抗网络

Zhen Liu, Valerio Formato, Muhammad Waqas

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对AMS重核测量中碎裂本底问题，提出多模态域对抗网络，融合硅径迹仪和飞行时间探测器数据，通过域对抗训练实现模拟到飞行数据的迁移，有效抑制本底。

Comments 16 pages, 13 figures, 1 table

Asymmetry-Aware Routing for Industrial Multimodal Monitoring: A Diagnostic Framework

面向工业多模态监测的非对称感知路由：一个诊断框架

Sungwoo Kang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出非对称感知路由框架，通过三步诊断（单模态性能差距、门权重归因、模态损坏测试）决定多模态融合策略，在三个数据集上验证了其有效性。

Comments A subsequent extension of this analysis to a larger corpus found that the heterogeneity predictor is collinear with the industrial-versus-general domain split, so the corresponding effect is not identifiable on the available data

Physiology-Aware CNN and Zero-Shot Multimodal LLMs for ECG Image Classification: A Comparative Study

生理感知CNN与零样本多模态大语言模型在心电图图像分类中的比较研究

Khalil Ahammad, Derek Abbott, Mohsen Dorraki

机构 * School of Computer Science and Information Technology, Adelaide University（阿德莱德大学计算机科学与信息学院） ； Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所） ； Pi MedTech（Pi医疗科技） ； School of Electrical and Electronic Engineering, Adelaide University（阿德莱德大学电子与电气工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究比较了零样本多模态大语言模型和生理感知CNN在正常/异常心电图图像分类中的表现，发现CNN模型稳定且准确，而LLM分类接近随机。

Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models

贝叶斯适应健身房：多模态语言模型贝叶斯低秩适应的基准

Colin Samplawski, Ramneet Kaur, Manoj Acharya, Anirban Roy, Adam D. Cobb

机构 * Neuro-Symbolic Computing and Intelligence Research Group（神经符号计算与智能研究组） ； Computer Science Laboratory（计算机科学实验室） ； SRI International（SRI国际） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出贝叶斯适应健身房（BAG）基准，用于评估多模态语言模型的贝叶斯低秩适应方法，涵盖校准、分布偏移鲁棒性和主动学习下的不确定性决策。

Comments Oral Paper at UAI 2026

ForEnt: A Multi-Modal Dataset for Characterizing Quadruped Robot Entrapments in Forest Environments

ForEnt: 用于表征四足机器人在森林环境中被困的多模态数据集

Natapat Kirdwichai, Danesh Tarapore

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 针对四足机器人在森林中因植被缠绕而倾覆的问题，提出多模态数据集ForEnt，包含RGB-D、LiDAR、本体感知和第三人称视频，记录69次被困事件，支持可重复的基准测试。

Comments 8 pages, 7 figures

ChronoSurv: A Clinical Pathway-Guided Graph Framework for Multimodal Survival Analysis

ChronoSurv：一种临床路径引导的多模态生存分析图框架

Hugo Miccinilli, Theo Di Piazza

机构 * Université Paris-Saclay, CentraleSupélec, MICS, France（巴黎萨克雷大学，中央超算学院，MICS，法国） ； University of Lyon, INSA Lyon, CREATIS, France（里昂大学，里昂国家理工学院，CREATIS，法国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出ChronoSurv，一种基于有向图的多模态生存分析框架，通过层次化拓扑和异质消息传递建模临床轨迹，在头颈癌数据集上取得最优判别性能与可靠校准。

Comments Accepted at MICCAI 2026. Submitted version due to embargo

SDVDiag: Multimodal Causal Discovery for Online Diagnosis in Software-defined Vehicles

SDVDiag：软件定义车辆中用于在线诊断的多模态因果发现

Matthias Weiß, Athreya Hosahalli Prakash, Falk Dettinger, Nasser Jazdi, Michael Weyrich

机构 * University of Erlangen-Nuremberg（埃尔兰根-纽伦堡大学） ； Fraunhofer Institute for Software and Virtual Systems（弗劳恩霍夫软件与虚拟系统研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出SDVDiag多模态因果发现管道，融合日志和指标表示构建因果图，结合异常触发实现持续在线诊断，在自动泊车测试中因果图更稀疏，根因定位准确。

Comments 8 pages, 4 figures, 2 tables

Multimodal Physiological Assessment of Contact-Rich Physical Human-Robot Interaction Under Varying Environmental Conditions

多变环境条件下接触丰富型物理人机交互的多模态生理评估

Yanyi Chen, Xi Wang, Min Deng

机构 * Texas Tech University（德克萨斯理工大学） ； Texas A&M University（德克萨斯农工大学） ； University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本研究通过多模态生理测量（EDA、sEMG、眼动追踪）和主观舒适度评估，揭示了接触丰富型物理人机交互中操作者因环境压力（温度、噪声、照度）而付出的隐藏生理代价，并发现操作者通过增加生理努力维持任务性能的补偿机制。

A Multimodal Approach to Alzheimer's Diagnosis: Geometric Insights from Cube Copying and Cognitive Assessments

一种多模态阿尔茨海默病诊断方法：来自立方体复制和认知评估的几何洞察

Jaeho Yang, Kijung Yoon

机构 * Department of Electronic Engineering, Hanyang University（电子工程系，翰阳大学） ； Department of Artificial Intelligence, Hanyang University（人工智能系，翰阳大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出多模态框架，将手绘立方体草图转换为图结构，结合人口统计和神经心理测试分数，用于阿尔茨海默病分类，图表示优于像素模型，多模态融合提升性能。

Localized Kernel Projection Outlyingness: A Two-Stage Approach for Multi-Modal Outlier Detection

局部核投影离群度：一种用于多模态离群检测的两阶段方法

Akira Tamamori

机构 * Department of Computer Science, Aichi Institute of Technology（爱知技术大学计算机科学系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 提出两阶段LKPLO框架，结合自适应损失函数、全局核PCA和局部聚类，解决多模态离群检测问题，在10个基准数据集上取得最优性能。

Comments 12 pages, 5 figures; accepted by The IEICE Transactions on Information and Systems

Radiology-Report Semantic Modelling and Host-Response Laboratory Biomarkers for Multimodal Survival Prediction in Lung Cancer

放射学报告语义建模与宿主反应实验室生物标志物用于肺癌多模态生存预测

Jingxiang Shi, Yiming Wang, Zhengda Li, Yan Zhang, Weihua Meng, Yuqi Ma, Xiaoyan Li, Feng-Ming, Kong, Gen Yang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出多模态自适应风险评分(AMRS)，融合放射学报告语义和常规实验室生物标志物，在574例肺癌患者中实现C-index 0.849，优于TNM分期。

Comments 14 pages,7 figures

AssemLM: A Spatial Reasoning Multimodal Large Language Model for Robotic Assembly

AssemLM: 用于机器人装配的空间推理多模态大语言模型

Zhi Jing, Jinbin Qiao, Ouyang Lu, Jicong Ao, Shuang Qiu, Huazhe Xu, Yu-Gang Jiang, Chenjia Bai

机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Tianjin University（天津大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出AssemLM，一种融合装配手册、点云和文本指令的多模态大语言模型，通过专用点云编码器提取几何与旋转特征，实现精确的6D装配位姿推理，并构建含90万样本的AssemBench基准，在真实机器人装配任务中取得最优性能。

Comments Project Page: https://assemlmhome.github.io/

MealMeter: Using Multimodal Sensing and Machine Learning for Automatically Estimating Nutrition Intake

MealMeter：利用多模态感知与机器学习自动估计营养摄入

Asiful Arefeen, Samantha Fessler, Sayyed Mostafa Mostafavi, Carol S Johnston, Hassan Ghasemzadeh

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 MealMeter通过整合多模态传感器数据与轻量级机器学习模型，实现高精度的营养摄入估计，其在碳水化合物的MAE和RMSRE分别达到13.2克和0.37，优于基线方法。

Principled Uncertainty in Clinical AI: End-to-End Bayesian Modelling and Algorithmic Equity Auditing Across Multimodal Patient Data

临床AI中的原则性不确定性：跨多模态患者数据的端到端贝叶斯建模与算法公平审计

Oladimeji Anthonio, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi, Joseph Odamo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出端到端贝叶斯不确定性建模框架，结合校准不确定性作为公平性度量，在模拟患者数据中识别出初级/农村设施和低社会经济地位患者的认知不确定性公平差距。