多模态大模型

A soft and lightweight fabric-based pneumatic interface for multimodal fingertip tactile feedback

一种柔软且轻量的基于织物的气动接口用于多模态指尖触觉反馈

Rui Chen, Daniele Leonardis, Antonio Frisoli

机构 * Institute of Mechanical Intelligence, School of Advanced Studies Sant’Anna (SSSA)（机械智能研究所，圣安娜高等研究学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一种基于织物的气动接口，实现轻量、低成本的多模态指尖触觉反馈，通过实验验证其在触觉渲染中的有效性。

A Foldable and Agile Soft Electromagnetic Robot for Multimodal Navigation in Confined and Unstructured Environments

一种多功能软电磁机器人，用于在受限和无结构环境中多模式导航

Zhihao Lv, Xiaoyong Zhang, Mengfan Zhang, Xiaoyu Song, Xingyue Liu, Yide Liu, Shaoxing Qu, Guoyong Mao

机构 * State Key Laboratory of Fluid Power and Mechatronic Systems（流体动力与机电系统国家重点实验室） ； Key Laboratory of Soft Machines and Smart Devices of Zhejiang Province（浙江省软体机器人与智能器件重点实验室） ； Center for X-mechanics（交叉力学中心） ； Department of Engineering Mechanics, Zhejiang University（浙江大学工程力学系） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一种可折叠且灵活的软电磁机器人，具备多种运动模式，可在复杂环境中高效导航，其体积可减少79%，并能适应黏弹性表面和模拟生物组织。

Material Identification using Multi-Modal Intrinsic Radiation and Radiography

利用多模态内在辐射和X射线摄影进行材料识别

Khoa Nguyen, Brendt Wohlberg, Oleg Korobkin, Marc Klasky

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文通过结合X射线摄影、高分辨率γ射线光谱和中子多重性测量，研究特殊核材料配置的多模态材料识别，展示随机森林分类器在单壳和双壳配置中的高识别精度。

Demonstration of a planar multimodal periodic filter at THz frequencies

太赫兹频率下平面多模周期滤波器的演示

Ali Dehghanian, Mohsen Haghighat, Thomas Darcie, Levi Smith

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一种基于共面带状线和有限地面共面波导的平面多模周期滤波器，用于太赫兹频率操作，通过灵活设计和主动控制实现滤波特性。

Comments 18 pages, 13 figures

Efficient Controller Learning from Human Preferences and Numerical Data Via Multi-Modal Surrogate Models

通过多模态代理模型高效学习人类偏好和数值数据的控制器

Lukas Theiner, Maik Pfefferkorn, Yongpeng Zhao, Sebastian Hirt, Rolf Findeisen

机构 * Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德累斯顿技术大学） ； Volkswagen AG（大众汽车集团） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种多保真度、多模态贝叶斯优化框架，结合低保真度数值数据与高保真度人类偏好，提升控制器学习效率。

Comments 8 pages, 4 figures, accepted for ECC 2026

ByteHouse: ByteDance's Cloud-Native Data Warehouse for Real-Time Multimodal Data Analytics

字节跳动的云原生数据仓库：用于实时多模态数据分析

Yuxing Han, Yu Lin, Yifeng Dong, Xuanhe Zhou, Xindong Peng, Xinhui Tian, Zhiyuan You, Yingzhong Guo, Xi Chen, Weiping Qu, Tao Meng, Dayue Gao, Haoyu Wang, Liuxi Wei, Huanchen Zhang, Fan Wu

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出ByteHouse，一种云原生数据仓库，解决多模态数据存储效率低、查询优化不足和资源分散导致性能下降的问题，通过统一存储引擎、共享缓存和优化计算层实现高效实时分析。

Normalization for multimodal type theory

多模态类型论的规范化

Daniel Gratzer

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文证明了多模态依赖类型论MTT的规范化，通过将类型检查和转换简化为底层模态情况的模态相等性判断，提出了一种类型检查算法。

Journal ref Logical Methods in Computer Science, Volume 22, Issue 1 (March 17, 2026) lmcs:10871

Cross-Modal Reinforcement Learning for Navigation with Degraded Depth Measurements

跨模态强化学习用于退化深度测量的导航

Omkar Sawant, Luca Zanatta, Grzegorz Malczyk, Kostas Alexis

机构 * Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)（工程 cybernetics 部，挪威科学技术大学（NTNU）） 纠错

专题命中 其他多模态 ：cross-modal(title,abstract)

AI总结 本文提出利用深度和灰度图像互补信息的跨模态学习框架，通过跨模态一致性学习共享潜在表示，实现深度退化下的鲁棒导航。

Comments Accepted to the 24th European Control Conference (ECC) 2026

MEVIUS2: Practical Open-Source Quadruped Robot with Sheet Metal Welding and Multimodal Perception

MEVIUS2：实用开源四足机器人，具备金属焊接与多模态感知

Kento Kawaharazuka, Keita Yoneda, Shintaro Inoue, Temma Suzuki, Jun Oda, Kei Okada

机构 * Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo（机械信息学系，信息科学与技术研究生院，东京大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 MEVIUS2是首个基于电子商务服务可订购的开源四足机器人，采用金属焊接与加工技术实现坚固结构，集成LiDAR和高动态范围相机实现多模态感知，能有效应对复杂地形。

Comments Accepted to IEEE Robotics and Automation Practice, Website - https://haraduka.github.io/mevius2-hardware/

Integrative Predictor-Dependent Learning of Network Data and Spatially Correlated Nodal Attributes for Multimodal Brain Imaging in Aging

整合预测依赖学习网络数据与空间相关节点属性以研究衰老的多模态脑成像

Jose Rodriguez-Acosta, Sharmistha Guha, Jessica Bernard, Thamires Magalhaes, Kaitlin McOwen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一个预测依赖的联合建模框架，用于多受试者共享节点的网络数据，结合空间坐标和空间相关节点属性，通过整合结构性和功能性信息，研究脑连接模式与衰老相关预测变量的关系。

Comments 38 pages

Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition

基于软分解的多模分布序贯蒙特卡洛算法收敛性界

Holden Lee, Matheau Santana-Gijzen

机构 * Department of Applied Mathematics \& Statistics, Johns Hopkins University e1,e2 纠错

专题命中 其他多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文研究了序贯蒙特卡洛算法在多模分布上的收敛性界，通过软分解方法，利用局部马尔可夫链混合动态而非全局混合动态，提出新的收敛性界分析方法。

Risk Aware Safe Control with Multi-Modal Sensing for Dynamic Obstacle Avoidance

具有多模感知的动态障碍物避让风险感知安全控制

Pei Yu Chang, Qizhe Xu, Vishnu Renganathan, Qadeer Ahmed

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种融合概率状态估计与条件风险值控制障碍函数的安全框架，通过 Wasserstein barycenter 结合多模感知数据，提升自动驾驶在动态环境中的安全性和鲁棒性。

Extending Sequence Length is Not All You Need: Effective Integration of Multimodal Signals for Gene Expression Prediction

扩展序列长度并不足够：有效整合多模态信号用于基因表达预测

Zhao Yang, Yi Duan, Jiwei Zhu, Ying Ba, Chuan Cao, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出Prism框架，通过有效整合多模态表观基因组信号，克服长序列建模对基因表达预测性能的负面影响，实现仅使用短序列的最先进性能。

Comments Accepted at ICLR 2026

Underactuated multimodal jumping robot for extraterrestrial exploration

欠驱动多模态跳跃机器人用于外星探索

Neil R. Wagner, Justin K. Yim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 该研究提出了一种欠驱动单足机器人，通过两个控制器实现滚动、跳跃和着陆，适用于低重力环境下的多模态探索。

Comments 8 pages, 14 figures, Accepted for ICRA 2026

Study of nuclear magnetic resonance spectra with the multi-modal multi-level quantum complex exponential least squares algorithm

多模多级量子复指数最小二乘算法在核磁共振谱研究中的应用

Antonio Marquez Romero, Josh J. M. Kirsopp, Giuseppe Buonaiuto, Michal Krompiec

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出利用多模多级量子复指数最小二乘算法提升核磁共振谱的相位分辨率与信号处理精度。

Multimodal Sensing for Robot-Assisted Sub-Tissue Feature Detection in Physiotherapy Palpation

机器人辅助物理治疗触诊中亚组织特征的多模态感知

Tian-Ao Ren, Jorge Garcia, Seongheon Hong, Jared Grinberg, Hojung Choi, Julia Di, Hao Li, Dmitry Grinberg, Mark R. Cutkosky

机构 * Stanford University（斯坦福大学） ； Symbiokinetics Inc（Symbiokinetics公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出多模态传感器用于机器人辅助物理治疗中亚组织特征的检测，结合触觉成像与力矩传感器以提高检测精度和触诊控制。

Comments Accepted by AMSE Design of Medical Device 2026

Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

在无线神经处理中协调多模态DNN工作负载

Sai Xu, Kai-Kit Wong, Yanan Du, Hyundong Shin

机构 * Department of Electronic and Electrical Engineering, University College London（电子与电气工程系，伦敦大学学院） ； Department of Electronic Engineering, Kyung Hee University（电子工程系，庆熙大学） ； School of Electrical and Electronic Engineering, the University of Sheffield（电气与电子工程学院，谢菲尔德大学） ； Department of Electronics and Information Convergence Engineering, Kyung Hee University（电子与信息融合工程系，庆熙大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出O-WiN框架和PACS算法，通过通信-计算流水线优化无线神经处理中多模态DNN工作负载，提升执行效率。

ULW-SleepNet: An Ultra-Lightweight Network for Multimodal Sleep Stage Scoring

ULW-SleepNet: 一种超轻量级的多模态睡眠阶段评分网络

Zhaowen Wang, Dongdong Zhou, Qi Xu, Fengyu Cong, Mohammad Al-Sa'd, Jenni Raitoharju

机构 * School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） ； Faculty of Information Technology, University of Jyväskylä（于韦斯屈莱大学信息科技学院） ； Key Laboratory of Social Computing and Cognitive Intelligence, Ministry of Education（教育部社会计算与认知智能重点实验室） ； School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology（大连理工大学生物医学工程学院） ； Department of Computing Sciences, Tampere University（塔尔库大学计算机科学系） ； Faculty of Medicine, University of Helsinki（赫尔辛基大学医学学院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ULW-SleepNet通过轻量级多模态网络实现高效睡眠阶段评分，参数减少达98.6%且保持高准确率，适用于实时睡眠监测。

Comments Accepted to ICASSP 2026

DreamWaQ++: Obstacle-Aware Quadrupedal Locomotion With Resilient Multi-Modal Reinforcement Learning

DreamWaQ++: 基于障碍物感知的四足机器人运动控制与鲁棒多模强化学习

I Made Aswin Nahrendra, Byeongho Yu, Minho Oh, Dongkyu Lee, Seunghyun Lee, Hyeonwoo Lee, Hyungtae Lim, Hyun Myung

机构 * Urban Robotics Lab., School of Electrical Engineering, KAIST（韩国科学技术院电子工程系城市机器人实验室） ； KRAFTON（KRAFTON公司） ； URobotics（URobotics公司） ； Laboratory for Information and Decision Systems (LIDS), MIT（麻省理工学院信息与决策系统实验室） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 DreamWaQ++通过鲁棒多模强化学习融合本体和外源感觉，实现四足机器人在复杂环境中的鲁棒运动控制与敏捷性能。

Comments IEEE Transactions on Robotics 2026. Project site is available at https://dreamwaqpp.github.io

Multimodal Survival Modeling and Fairness-Aware Clinical Machine Learning for 5-Year Breast Cancer Risk Prediction

多模态生存建模与公平性感知的临床机器学习用于5年乳腺癌风险预测

Toktam Khatibi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出了一种多模态生存建模框架，结合临床数据和高维生物标志物，通过CoxNet和XGBoost模型预测乳腺癌5年生存率，并强调模型的校准、公平性和可重复性。

Skin-Machine Interface with Multimodal Contact Motion Classifier

皮肤-机器接口与多模态接触运动分类器

Alberto Confente, Takanori Jin, Taisuke Kobayashi, Julio Rogelio Guadarrama-Olvera, Gordon Cheng

机构 * Department of Informatics, Technical University of Munich（技术大学慕尼黑信息学院） ； National Institute of Informatics（国家信息研究所） ； The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI）） ； Institute for Cognitive Systems (ICS), Technical University of Munich（认知系统研究所（ICS），技术大学慕尼黑） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种利用皮肤传感器作为机器人新操作接口的框架，通过多模态接触运动分类器提升机器人任务执行能力。

Comments 8 pages, 8 figures (accepted in Humanoids2025)

Journal ref Humanoids2025

Feasibility-aware Imitation Learning from Observation with Multimodal Feedback

基于可行性意识的观察模仿学习与多模态反馈

Kei Takahashi, Hikaru Sasaki, Takamitsu Matsubara

机构 * Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology (NAIST)（信息科学系，科学技术研究生院，科学与技术国立研究所（NAIST）） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 FABCO通过整合基于观察的行为克隆与可行性估计，提升模仿学习性能，使机器人能稳定执行策略。

Joint Optimization of Multimodal Transit Frequency and Shared Autonomous Vehicle Fleet Size with Hybrid Metaheuristic and Nonlinear Programming

多模式公共交通频次与混合自动驾驶车队规模的联合优化：混合元启发式与非线性规划

Max T. M. Ng, Hani S. Mahmassani, Draco Tong, Omer Verbas, Taner Cokyasar

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出一种混合优化方法，通过联合优化多模式公共交通频次与SAV车队规模，提升公共交通乘客量33.3%。

Comments 26 pages, 5 figures, accepted for publication in Transportation Research Part C: Emerging Technologies. An earlier version was presented at the Conference on Advanced Systems in Public Transport and TransitData 2025 in Kyoto, Japan on 1 - 4 July 2025

Journal ref Transportation Research Part C: Emerging Technologies, 2026

General-purpose post-sampling reweighting method for multimodal target measures

通用多模态目标度量后采样重加权方法

Pierre Monmarché

专题命中 其他多模态 ：multimodal(title)；multi-modal(abstract)

AI总结 本文提出了一种通用方法，通过最小化加权经验分布与目标度量之间的Kullback-Leibler散度来改进多模态分布采样中的重加权估计。

An ILUES-based adaptive Gaussian process method for multimodal Bayesian inverse problems

基于ILUES的自适应高斯过程方法用于多模态贝叶斯反问题

Zhihang Xu, Xiaoyu Zhu, Daoji Li, Qifeng Liao

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出基于ILUES的自适应高斯过程方法，用于解决多模态贝叶斯反问题中的高效采样问题。

A Multimodal Conditional Mixture Model with Distribution-Level Physics Priors

具有分布级物理先验的多模态条件混合模型

Jinkyo Han, Bahador Bahmani

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种基于混合密度表示的物理信息多模态条件建模框架，通过组件特定的正则化项嵌入物理知识，以更简单和可解释的方式处理多模态性问题。

Multi-modal Gaussian Process Variational Autoencoders for Neural and Behavioral Data

多模态高斯过程变分自编码器用于神经和行为数据

Rabia Gondur, Usama Bin Sikandar, Evan Schaffer, Mikio Christian Aoi, Stephen L Keeley

机构 * Fordham University（福特汉姆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Icahn School of Medicine at Mount Sinai（Mount Sinai医学院） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出多模态高斯过程变分自编码器，用于分析神经和行为数据的共享与独立潜在结构，提升数据重建和解释性。

Comments Updated version published in ICLR 2024

Journal ref In The Twelfth International Conference on Learning Representations. (2024)

Annealed Leap-Point Sampler for Multimodal Target Distributions

退火跳跃点采样器用于多模态目标分布

Nicholas G. Tawn, Matthew T. Moores, Hugo Queniat, Gareth O. Roberts

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ALPS通过退火技术解决高维多模态分布采样问题，利用拉普拉斯近似和模式跳跃独立采样器实现高效收敛。

Rethinking Multi-Modal Learning from Gradient Uncertainty

重新思考从梯度不确定性出发的多模态学习

Peizheng Guo, Jingyao Wang, Wenwen Qiang, Jiahuan Zhou, Changwen Zheng, Gang Hua

机构 * Institute of Software Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所） ； University of the Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； Wangxuan Institute of Computer Technology, Peking University, Beijing, China（北京大学王轩计算机技术研究所） ； Amazon.com, Inc., Bellevue, WA, 98004, USA（亚马逊公司） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出BOGC-MML方法，通过建模梯度不确定性提升多模态学习的优化效果。

Analyzing heterogeneity in Alzheimer Disease using multimodal normative modeling on imaging-based ATN biomarkers

利用多模态规范建模分析阿尔茨海默病的异质性：基于影像学ATN生物标志物

Sayantan Kumar, Tom Earnest, Braden Yang, Deydeep Kothapalli, Andrew J. Aschenbrenner, Jason Hassenstab, Chengie Xiong, Beau Ances, John Morris, Tammie L. S. Benzinger, Brian A. Gordon, Philip Payne, Aristeidis Sotiras

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究利用多模态规范建模分析阿尔茨海默病影像学ATN生物标志物的异质性，揭示了疾病严重程度与认知功能的关系。

Comments Under review in Alzheimer's & Dementia

Journal ref Alzheimer's Dement. 2025; 21:e70143