多模态大模型

Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders

利用混合专家积变分自编码器改进多模态神经影像数据的规范建模

Sayantan Kumar, Philip Payne, Aristeidis Sotiras

机构 * Department of Computer Science and Engineering, Washington University in St. Louis, USA（计算机科学与工程系，华盛顿大学圣路易斯分校） ； Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA（信息学、数据科学与生物统计研究所，华盛顿大学圣路易斯分校） ； Department of Radiology, Washington University in St.Louis, USA（放射学系，华盛顿大学圣路易斯分校） 纠错

专题命中 其他多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模，以更准确地识别异常个体及异常脑区。

Comments IEEE Internattional Symposium in Biomedical Imaging 2024

Journal ref 2024 IEEE International Symposium on Biomedical Imaging (ISBI)

AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors

AdapDISCOM：一种用于高维多模态数据的自适应稀疏回归方法，具有块状缺失和测量误差

Maimouna Baldé, Abdoul O. Diakité, Claudia Moreau, Gleb Bezgin, Nikhil Bhagwat, Pedro Rosa-Neto, Jean-Baptiste Poline, Simon Girard, Amadou Barry

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 AdapDISCOM通过自适应稀疏回归方法，有效应对高维多模态数据中的块状缺失和测量误差问题，提升预测性能和生物标志物选择的可靠性。

Comments 49 pages, 4 figures

Unified Multimodal Vessel Trajectory Prediction with Explainable Navigation Intention

具有可解释导航意图的统一多模态船舶轨迹预测

Rui Zhang, Chao Li, Kezhong Liu, Chen Wang, Bolong Zheng, Hongbo Jiang

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； School of Navigation, Wuhan University of Technology（武汉理工大学航海学院） ； Hubei Key Laboratory of Internet of Intelligence, School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院智能互联网关键实验室） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种整合可解释导航意图的统一多模态船舶轨迹预测框架，通过构建持续性意图树和动态瞬时意图模型，提升预测的准确性和可解释性。

Journal ref IEEE Transactions on Intelligent Transportation Systems, vol. 27, no. 1, pp. 258-269, Jan. 2026

Leveraging Textual-Cues for Enhancing Multimodal Sentiment Analysis by Object Recognition

利用文本提示增强多模态情感分析的物体识别

Sumana Biswas, Karen Young, Josephine Griffith

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出TEMSA方法，通过结合物体识别和文本信息提升多模态情感分析的准确性。

Uncertainty-Aware Multimodal Learning via Conformal Shapley Intervals

通过置信区间实现的不确定性感知多模态学习

Mathew Chandy, Michael Johnson, Judong Shen, Devan V. Mehrotra, Hua Zhou, Jin Zhou, Xiaowu Dai

机构 * Department of Statistics and Data Science, UCLA（统计与数据科学系， UCLA） ； Merck & Co（默克公司） ； Department of Biostatistics, UCLA（生物统计学系， UCLA） ； Departments of Statistics and Data Science, and of Biostatistics, UCLA（统计与数据科学系以及生物统计学系， UCLA） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种结合Shapley值与符合推断的框架，用于构建不确定性感知的重要性区间，从而实现更可靠和可解释的多模态学习。

High-resolution calorimetric sample platforms for cryogenic thermodynamic studies with multimodal synchrotron x-ray compatibility

高分辨率量热学样品平台用于低温热力学研究的多模式同步辐射X射线兼容性

U. Patel, H. Zheng, J. L. McChesney, U. Welp, Z. Islam, A. Miceli

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种高分辨率量热学样品平台，用于低温热力学研究，支持多模式同步辐射X射线兼容性，适用于小样品量热测量和多种极端环境。

Path-Based Formulations for the Design of On-demand Multimodal Transit Systems with Adoption Awareness

基于路径的on-demand多模式交通系统设计的 formulations 与采纳意识

Hongzhao Guan, Beste Basciftci, Pascal Van Hentenryck

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种基于路径的优化模型P-Path，用于解决on-demand多模式交通系统设计中的计算难题，显著提高了求解效率。

Multimodal Imaging System Combining Hyperspectral and Laser Speckle Imaging for In Vivo Hemodynamic and Metabolic Monitoring

多模态成像系统：结合超光谱成像与激光散斑成像用于活体血流和代谢监测

Junda Wang, Luca Giannoni, Ayse Gertrude Yenicelik, Eleni Giama, Frederic Lange, Kenneth J. Smith, Ilias Tachtsidis

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种结合超光谱和激光散斑成像的多模态成像系统，用于实时监测活体组织的血流和代谢状态。

MIND: Empowering Mental Health Clinicians with Multimodal Data Insights through a Narrative Dashboard

MIND：通过叙述仪表板赋能心理健康临床医生的多模态数据洞察

Ruishi Zou, Shiyu Xu, Margaret E Morris, Jihan Ryu, Timothy D. Becker, Nicholas Allen, Anne Marie Albano, Randy Auerbach, Dan Adler, Varun Mishra, Lace Padilla, Dakuo Wang, Ryan Sultan, Xuhai "Orson" Xu

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 MIND通过叙述仪表板为心理健康临床医生提供多模态数据洞察，提升临床决策支持和数据洞察发现能力。

Comments Conditionally accepted to CHI Conference on Human Factors in Computing Systems (CHI'26)

HERMES: A Unified Open-Source Framework for Realtime Multimodal Physiological Sensing, Edge AI, and Intervention in Closed-Loop Smart Healthcare Applications

HERMES：一个用于实时多模态生理传感、边缘AI和闭环智能医疗应用的统一开源框架

Maxim Yudayev, Juha Carlon, Diwas Lamsal, Vayalet Stefanova, Benjamin Filtjens

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 HERMES是一个开源框架，用于实时多模态生理传感、边缘AI和闭环智能医疗应用，通过同步数据收集和实时推断提升医疗设备的智能化水平。

Comments Submitted to ACM SenSys '26, 12 pages (excl. references), 9 figures

Synesthesia of Machines (SoM)-Aided Online FDD Precoding via Heterogeneous Multi-Modal Sensing: A Vertical Federated Learning Approach

机器联觉（SoM）-辅助在线FDD预编码 via 异构多模态感知：一种垂直联邦学习方法

Haotian Zhang, Shijian Gao, Weibo Wen, Xiang Cheng, Liuqing Yang

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种基于垂直联邦学习的异构多模态感知辅助在线FDD预编码方法，通过优化导频序列长度降低时延，提升频分双工系统性能。

Comments arXiv admin note: text overlap with arXiv:2501.10941

Multi-modal atmospheric characterization of $β$ Pictoris b: Adding high-resolution continuum spectra from GRAVITY

β星b的多模态大气特征：加入GRAVITY的高分辨率连续光谱

M. Ravet, M. Bonnefoy, G. Chauvin, S. Lacour, M. Nowak, B. Charnay, P. Tremblin, D. Homeier, C. Morley, J. Fortney, A. Denis, S. Petrus, P. Palma-Bifani, R. Landman, L. T. Parker, M. Houllé, A. Chomez, K. Worthen, F. Kiefer, G. -D. Marleau, Z. Zhang, J. L. Birkby, F. Millour, A. -M. Lagrange, A. Vigan, G. P. P. L. Otten, J. Shangguan

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本研究利用GRAVITY和多波段数据首次确定β Pic b的大气参数，发现其金属度超太阳值，碳氧比接近太阳值，并初步约束了12CO/13CO比值。

Comments Accepted for publication in A&A

Journal ref A&A 704, A325 (2025)

Large Multimodal Model-Aided Scheduling for 6G Autonomous Communications

面向6G自主通信的大型多模态模型辅助调度

Sunwoo Kim, Byonghyo Shim

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出基于大型多模态模型的调度技术，通过预测信道参数提升6G自主通信的吞吐量性能。

Comments 16 pages

Journal ref IEEE Transactions on Cognitive Communications and Networking, vol. 12, pp. 3732-3747, 2026

Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions

先进多模态学习在癫痫检测与预测中的应用：概念、挑战与未来方向

Ijaz Ahmad, Faizan Ahmad, Sunday Timothy Aboyeji, Yongtao Zhang, Peng Yang, Javed Ali Khan, Rab Nawaz, Baiying Lei

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文综述了先进多模态学习在癫痫检测与预测中的应用，探讨了其概念、挑战及未来发展方向，旨在推动神经技术向更实用的解决方案发展。

Sequential Bayesian Inference of the GTN Damage Model Using Multimodal Experimental Data

基于多模态实验数据的GTN损伤模型序贯贝叶斯推断

Mohammad Ali Seyed Mahmoud, Dominic Renner, Ali Khosravani, Surya R. Kalidindi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出基于多模态实验数据的序贯贝叶斯推断方法，用于校准GTN损伤模型，通过PCA降维和顺序应用BI提升参数估计精度。

Comments 52 pages, 17 figures, Submitted to journal

Local Multimodal Dynamics in Mixed Ionic-Electronic Conductors and Their Fingerprints in Organic Electrochemical Transistor Operation

混合离子-电子导体中的局部多模态动力学及其在有机电化学晶体管操作中的指纹

Shubham Tanwar, Han-Yan Wu, Chi-Yuan Yang, Ruben Millan-Solsona, Simone Fabiano, Adrica Kyndiah, Gabriel Gomila

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究揭示混合离子-电子导体中局部多模态动力学及其在OECT操作中的指纹，通过电化学阈值和静电力机制提供新的理解框架。

MPM-LLM4DSE: Reaching the Pareto Frontier in HLS with Multimodal Learning and LLM-Driven Exploration

MPM-LLM4DSE: 在HLS中通过多模态学习和LLM驱动探索达到帕累托前沿

Lei Xu, Shanshan Wang, Chenglong Xiao

机构 * Department of Computer Science, Shantou University, China（计算机科学系，汕头大学，中国） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出 MPM-LLM4DSE 框架，结合多模态学习与大语言模型驱动探索，提升 HLS 设计空间探索的性能和效率。

Bio-Skin: A Cost-Effective Thermostatic Tactile Sensor with Multi-Modal Force and Temperature Detection

Bio-Skin：一种成本效益高的热感触觉传感器，具备多模态力和温度检测

Haoran Guo, Haoyang Wang, Zhengxiong Li, Lingfeng Tao

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 Bio-Skin是一种低成本多模态触觉传感器，通过单轴霍尔效应传感器和条形压阻电阻器实现力和温度检测，具有与商用产品相当的性能和十倍更低的成本。

Comments This work has been published by IROS2025

A Dual-Tuned Concentric Multimodal RF Coil for 7T 1H/31P MRSI: Concurrently Enhancing B1 Efficiency Over Single-Tuned References

双调谐同心多模RF线圈用于7T 1H/31P MRSI：同时提升31P的B1效率与单调谐参考的1H性能

Yunkun Zhao, Xiaoliang Zhang

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种双调谐同心多模RF线圈，用于7T 1H/31P MRSI，显著提升31P B1效率并改善1H性能。

Comments 21 pages, 10 figures

A Multimodal Human-Centered Framework for Assessing Pedestrian Well-Being in the Wild

一种多模态的人本框架用于评估野外行人福祉

Yasaman Hakiminejad, Arash Tavakoli

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态人本框架，通过整合生理传感、地理跟踪和即时自我报告，评估野外行人福祉，揭示城市环境对福祉的影响。

RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation

RGMP: 基于几何先验的多模态策略用于通用人形机器人操作

Xuetao Li, Wenke Huang, Nengyuan Pan, Kaiyan Zhao, Songhua Yang, Yiming Wang, Mengde Li, Mang Ye, Jifeng Xuan, Miao Li

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 RGMP通过结合几何-语义推理与递归高斯适应，实现了高效的人形机器人多模态操作控制。

Journal ref Proceedings of the AAAI conference on artificial intelligence, 2026

Sampling from multimodal distributions with warm starts: Non-asymptotic bounds for the Reweighted Annealed Leap-Point Sampler

从多元分布采样：带有热启动的非渐近界限的Reweighted Annealed Leap-Point Sampler

Holden Lee, Matheau Santana-Gijzen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 通过Reweighted ALPS方法，利用热启动点实现多元分布采样，无需Hessian信息，通过蒙特卡洛估计分区函数以处理复杂几何结构。

Contraction Analysis of Filippov Solutions in Multi-Modal Piecewise Smooth Systems

多模态分段光滑系统中Filippov解的收缩分析

Zonglin Liu, Kyra Borchhardt, Olaf Stursberg

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出多模态分段光滑系统中Filippov解的收缩分析条件，并通过数值实验验证了理论结果。

Natural Variational Annealing for Multimodal Optimization

自然变分退火用于多模态优化

Tâm LeMinh, Julyan Arbel, Thomas Möllenhoff, Mohammad Emtiyaz Khan, Florence Forbes

机构 * Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP、LJK） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 自然变分退火通过结合变分后验、退火和自然梯度学习，实现多模态优化，提升搜索质量和应用范围。

BioGAP-Ultra: A Modular Edge-AI Platform for Wearable Multimodal Biosignal Acquisition and Processing

BioGAP-Ultra：一种模块化边缘AI平台，用于可穿戴多模态生物信号采集与处理

Sebastian Frey, Giusy Spacone, Andrea Cossettini, Marco Guermandi, Philipp Schilk, Luca Benini, Victor Kartsch

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 BioGAP-Ultra是一款模块化边缘AI平台，支持多模态生物信号采集与处理，通过提升存储、连接和信号模式实现高效低功耗的可穿戴设备应用。

Comments 17 pages, 15 figures

Multimodal motion and behavior switching of multistable ciliary walkers

多模态运动与行为切换的多稳态纤毛行者

Sumit Mohanty, Paul Baconnier, Harmannus A. H. Schomaker, Alberto Comoretto, Martin van Hecke, Johannes T. B. Overvelde

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究通过多稳态纤毛设计实现机器人多模态运动与行为切换，展示了自主导航和环境交互的复杂行为。

Comments 10 pages, 6 figures, and supporting information

Structural Phase Transition and Cooperative Luminescence in K3Yb(PO4)2:Eu3+ for Multimodal Down-shifting and Up-converting Luminescence Thermometry

K3Yb(PO4)2:Eu3+的结构相变与协同发光用于多模降频和升频发光温度计

Anam Javaid, Maja Szymczak, Damian Szymanski, Lukasz Marciniak

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 K3Yb(PO4)2:Eu3+通过结构相变和协同发光实现多模温度传感

Curation and Dissemination of Complex Multi-modal Data Sets for Radiation Detection, Localization, and Tracking

辐射检测、定位与跟踪的复杂多模态数据集的整理与传播

Nicolas Abgrall, Mark S. Bandstra, Reynold J. Cooper, Marco Salathe, Brian J. Quiter, Rajesh Sankaran, Yongho Kim, Sean Shahkarami

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文介绍了PANDAWN传感器网络，展示了其在多模态数据整理与传播方面的应用，以促进辐射检测、定位和跟踪算法的发展。

Optimizing Product Deduplication in E-Commerce with Multimodal Embeddings

利用多模态嵌入优化电子商务中的产品去重

Aysenur Kulunk, Berk Taskin, M. Furkan Eseoglu, H. Bahadir Sahin

机构 * Data Analytics Department Hepsiburada Istanbul, Turkey（数据分析师部门 赫斯伯达 特拉布宗 土耳其） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种基于多模态嵌入的电子商务产品去重方法，结合BERT和MaskedAutoEncoders，利用Milvus数据库实现高效高精度的相似性搜索，F1分数达0.90，优于现有解决方案。

Comments 8 pages, accepted to 2025 IEEE International Conference on Big Data, Industrial and Goverment Track

Does cross-modal discounting generalize to non-WEIRD cultures? A comparison of the USA and Japan

跨模态折扣是否能推广到非WEIRD文化？对美国和日本的比较

Shohei Yamamoto, Rebecca McDonald, Daniel Read

专题命中 其他多模态 ：cross-modal(title,abstract)

AI总结 该研究比较了美国和日本，发现跨模选择在不同文化中均表现出更大的耐心，且效应在被试间实验中更显著，支持跨模效应的普遍性。