多模态大模型

HoverAI: An Embodied Aerial Agent for Natural Human-Drone Interaction

HoverAI: 一种用于自然人-无人机交互的具身空中代理

Yuhua Jin, Nikita Kuzmin, Georgii Demianchuk, Mariya Lezina, Fawad Mehboob, Issatay Tokmurziyev, Miguel Altamirano Cabrera, Muhammad Ahsan Mustafa, Dzmitry Tsetserukou

机构 * Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Skolkovo Institute of Science and Technology（斯克尔科沃信息科技研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 HoverAI通过结合无人机移动、视觉投影和对话式AI，实现了人-无人机自然交互的具身代理，提升了空间感知与社交响应能力。

Comments This paper has been accepted for publication at LBR HRI 2026 conference

Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization

Being-H0.5：面向跨躯体泛化的以人为本的机器人学习规模化

Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, Zongqing Lu

机构 * BeingBeyond Team（BeingBeyond 团队） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 Being-H0.5通过以人为本的学习范式和统一动作空间，实现了在不同机器人平台间的跨躯体泛化，结合混合流框架和流形保持门控，达到模拟和现实中的高性能表现。

Comments 44 pages

Astra: Efficient Transformer Architecture and Contrastive Dynamics Learning for Embodied Instruction Following

Astra：面向具身指令跟随的高效Transformer架构与对比动态学习

Yueen Ma, Dafeng Chi, Shiguang Wu, Yuecheng Liu, Yuzheng Zhuang, Irwin King

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 Astra通过引入轨迹注意力和对比动态学习目标，提升了具身指令跟随任务中多模态序列处理的效率与准确性。

Comments Accepted to EMNLP 2025 (main). Published version: https://aclanthology.org/2025.emnlp-main.688/ Code available at: https://github.com/yueen-ma/Astra

Temporal-Spatial Decouple before Act: Disentangled Representation Learning for Multimodal Sentiment Analysis

在动作前解耦时序与空间：用于多模态情感分析的解耦表示学习

Chunlei Meng, Ziyang Zhou, Lucas He, Xiaojing Du, Chun Ouyang, Zhongxue Gan

机构 * Fudan University（复旦大学） ； Shantou University（汕尾大学） ； University College London（伦敦大学学院） ； University of South Australia（澳大利亚南澳大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本文提出TSDA方法，在动作前解耦时序与空间信息，通过因子一致对齐和门控重联模块提升多模态情感分析性能。

Comments This study has been accepted by IEEE ICASSP2026

Focus on What Matters: Fisher-Guided Adaptive Multimodal Fusion for Vulnerability Detection

聚焦关键要素：基于Fisher信息的自适应多模态融合用于漏洞检测

Yun Bian, Yi Chen, HaiQuan Wang, ShiHao Li, Zhe Cui

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出TaCCS-DFA框架，通过Fisher信息引导的自适应多模态融合，提升漏洞检测的F1分数，同时降低推理延迟。

MultiST: A Cross-Attention-Based Multimodal Model for Spatial Transcriptomic

MultiST: 一种基于交叉注意力的多模态模型用于空间转录组

Wei Wang, Quoc-Toan Ly, Chong Yu, Jun Bai

机构 * Department of Computer Science, University of Cincinnati（计算机科学系，辛辛那提大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MultiST通过基于交叉注意力的多模态融合方法，实现了对空间转录组数据中空间拓扑、基因表达和组织形态的联合建模，提升了空间域边界解析的准确性和生物解释性。

AsyncBEV: Cross-modal Flow Alignment in Asynchronous 3D Object Detection

AsyncBEV: 无感异步3D目标检测中的跨模态流对齐

Shiming Wang, Holger Caesar, Liangliang Nan, Julian F. P. Kooij

专题命中 多模态训练与对齐 ：cross-modal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 AsyncBEV通过跨模态流对齐提升3D目标检测在传感器异步情况下的鲁棒性，尤其在动态物体识别中表现优异。

MyGram: Modality-aware Graph Transformer with Global Distribution for Multi-modal Entity Alignment

MyGram: 多模态实体对齐的模态感知图变换器与全局分布

Zhifei Li, Ziyue Qin, Xiangyu Luo, Xiaoju Hou, Yue Zhao, Miao Zhang, Zhifang Huang, Kui Xiao, Bing Yang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 MyGram通过模态感知图变换器与全局分布机制，提升多模态实体对齐的性能。

Comments Accepted by AAAI 2026

Active Cross-Modal Visuo-Tactile Perception of Deformable Linear Objects

主动跨模态视觉-触觉感知用于可变形线性物体

Raffaele Mazza, Ciro Natale, Pietro Falco

机构 * Dipartimento di Ingegneria, Università degli Studi della Campania Luigi Vanvitelli（工程学院，坎帕尼亚路易吉·范维蒂利大学） ； Dipartimento di Ingegneria dell’Informazione, Università degli Studi di Padova（信息工程学院，帕多瓦大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 本文提出一种结合视觉和触觉的跨模态感知框架，用于重建受遮挡的可变形线性物体的3D形状。

Multimodal Data Fusion to Capture Dynamic Interactions between Built Environment and Vulnerable Older Adults

多模态数据融合以捕捉建成环境与易受伤害的老年人之间的动态交互

Houhao Liang, Azrin Jamaluddin, Kresimir Friganovic, Kirstie Neo, Raphael Han, Navrag Singh, Panos Mavros

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本研究通过多模态数据融合技术，探索建成环境对易受伤害老年人移动性的影响，为包容性城市规划提供数据支持。

Comments This work has been accepted to the AAAI 2026 Workshop on AI for Urban Planning

Doracamom: Joint 3D Detection and Occupancy Prediction with Multi-view 4D Radars and Cameras for Omnidirectional Perception

Doracamom：多视角4D雷达与摄像头联合3D检测与占用预测用于全方位感知

Lianqing Zheng, Jianan Liu, Runwei Guan, Long Yang, Shouyi Lu, Yuanzhe Li, Xiaokai Bai, Jie Bai, Zhixiong Ma, Hui-Liang Shen, Xichan Zhu

机构 * School of Automotive Studies, Tongji University（同济大学汽车学院） ； Momoni AI ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； Chair of Automotive Engineering, Technische Universität Berlin（柏林技术大学汽车工程学系） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Information and Electrical Engineering, Hangzhou City University（杭州城市学院信息与电气工程学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Doracamom通过融合多视角4D雷达与摄像头，实现3D物体检测与语义占用预测，提升自动驾驶环境感知能力。

Comments Accepted by IEEE TCSVT

Fusing in 3D: Free-Viewpoint Fusion Rendering with a 3D Infrared-Visible Scene Representation

在三维中融合：基于三维红外-可见场景表示的自由视角融合渲染

Chao Yang, Deshui Miao, Chao Tian, Guoqing Zhu, Yameng Gu, Zhenyu He

机构 * School of Computer Science（计算机科学学院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种基于三维红外-可见场景表示的融合框架，通过跨模态调整模块和融合损失确保融合图像保留关键特征，有效解决传统方法在复杂场景下的信息丢失问题。

Learning Longitudinal Health Representations from EHR and Wearable Data

从电子健康记录和可穿戴数据中学习纵向健康表示

Yuanyun Zhang, Han Zhou, Li Feng, Yilin Hong, Shi Li

机构 * University of the Chinese Academy of Sciences, Columbia University（中国科学院大学，哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 本文提出一种多模态基础模型，通过联合表示电子健康记录和可穿戴数据，提升纵向健康预测的准确性和鲁棒性。

Method of UAV Inspection of Photovoltaic Modules Using Thermal and RGB Data Fusion

基于热成像与RGB数据融合的光伏板无人机检测方法

Andrii Lysyi, Anatoliy Sachenko, Pavlo Radiuk, Mykola Lysyi, Oleksandr Melnychenko, Diana Zahorodnia

机构 * Khmelnytskyi National University（赫梅利尼茨基国立大学） ； Department of Informatics and Teleinformatics（信息学与电信学系） ； Kazimierz Pulaski University of Ra-dom（卡齐米日·波尼亚图夫斯基大学） ； National Academy of the State Border Service of Ukraine named after Bogdan Khmelnitsky（以博丹·赫梅利尼茨基命名的乌克兰国家边境服务学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出了一种基于热成像与RGB数据融合的无人机光伏板检测方法，通过多模态系统实现自动化检测，提升电站安全性和效率。

DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities

DIS2: 通过类级注意机制实现解耦与蒸馏以在缺失模态下实现鲁棒的遥感分割

Nhi Kieu, Kien Nguyen, Arnold Wiliem, Clinton Fookes, Sridha Sridharan

机构 * Queensland University of Technology（昆士兰理工大学） ； Shield AI 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 DIS2通过类级注意机制实现解耦与蒸馏，以在缺失模态下实现鲁棒的遥感分割。

Comments Accepted to WACV 2026 - Computer Vision for Earth Observation Workshop

ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs

ELO：面向多语言大语言模型持续预训练的高效分层优化

HanGyeol Yoo, ChangSu Choi, Minjun Kim, Seohyun Song, SeungWoo Song, Inho Won, Jongyoul Park, Cheoneum Park, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； LG CNS ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hanbat National University（汉 bat 国立大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract)；分类 cs.CL

AI总结 ELO通过分层优化提升多语言大模型持续预训练效率，实现6.46倍加速和6.2%性能提升。

Comments 12 pages, Accepted to EACL 2026 (Industrial Track)

Concepts from Representations: Post-hoc Concept Bottleneck Models via Sparse Decomposition of Visual Representations

表示法中的概念：通过视觉表示的稀疏分解实现事后概念瓶颈模型

Shizhan Gong, Xiaofan Zhang, Qi Dou

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PCBM-ReD，通过视觉表示的稀疏分解，实现对预训练模型的可解释性增强，提升图像分类任务的准确性和可解释性。

Comments AAAI 2026

RIS-FUSION: Rethinking Text-Driven Infrared and Visible Image Fusion from the Perspective of Referring Image Segmentation

RIS-FUSION: 重新思考基于文本的红外和可见图像融合：从指代图像分割的角度

Siju Ma, Changsiyu Gong, Xiaofeng Fan, Yong Ma, Chengjie Jiang

机构 * Central University of Finance and Economics（中央财经大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 RIS-FUSION通过联合优化融合与指代图像分割，提升基于文本的红外和可见图像融合性能，实现mIoU指标的显著提升。

Comments ICASSP 2026

Towards Modality-Agnostic Continual Domain-Incremental Brain Lesion Segmentation

面向模态无关的持续域增量性脑部病变分割

Yousef Sadegheih, Dorit Merhof, Pratibha Kumari

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 CLMU-Net通过灵活的模态处理和重放机制，提升持续域增量性脑部病变分割的性能和鲁棒性。

Comments Submitted to MIDL 2026

Relational Database Distillation: From Structured Tables to Condensed Graph Data

关系数据库蒸馏：从结构化表到压缩图数据

Xinyi Gao, Jingxi Zhang, Lijian Chen, Tong Chen, Lizhen Cui, Hongzhi Yin

机构 * The University of Queensland（昆士兰大学） ； Shandong University（山东大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 本研究提出关系数据库蒸馏方法，将大规模结构化数据库压缩为紧凑图数据，保留预测能力，通过异质图结构和核岭回归引导目标实现高效学习。

SPARC Tokamak Error Field Expectations and Physics-Based Correction Coil Design

SPARC环形磁体误差场预期与基于物理的校正线圈设计

N. C. Logan, C. E. Myers, R. Sweeney, C. Paz-Soldan, M. Pharr, N. Leuthold, M. Nickerson, J. Halpern, I. Stewart

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 SPARC环形磁体通过基于物理的校正线圈设计，实现高效误差场校正和抑制边缘局域模，确保高场运行稳定性。

When Proximity Falls Short: Inequalities in Commuting and Accessibility by Public Transport in Santiago, Chile

当距离不足：智利圣地亚哥公共交通通勤与可达性中的不平等

Cesar Marin-Flores, Leo Ferres, Henrikki Tenkanen

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本研究利用移动电话数据分析智利圣地亚哥公共交通通勤与可达性不平等，发现社会经济群体间存在显著差异，高收入群体并未始终享有更短的通勤时间。

Comments 30 pages, Journal Paper

Large-Scale Multi-omic Biosequence Transformers for Modeling Protein-Nucleic Acid Interactions

大规模多组学生物序列变压器用于建模蛋白质-核酸相互作用

Sully F. Chen, Robert J. Steele, Glen M. Hocky, Beakal Lemeneh, Shivanand P. Lad, Eric K. Oermann

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 OmniBioTE是一种大规模多组学生物序列变压器，通过混合蛋白质和核酸数据训练，实现了对蛋白质-核酸相互作用的高效预测和结构信息学习。

Comments 47 pages, 5 figures

Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis

面向大规模和小规模模型的不确定性感知协作系统用于多模态情感分析

Shiqin Han, Manning Gao, Menghua Jiang, Yuncheng Jiang, Haifeng Hu, Sijie Mai

机构 * School of Computer Science, South China Normal University（计算机科学学院，华南师范大学） ； School of Artificial Intelligence, South China Normal University（人工智能学院，华南师范大学） ； School of Electronics and Information Technology, Sun Yat-sen University（电子与信息工程学院，中山大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文提出U-ACS系统，通过整合UBM与MLLMs，利用不确定性感知机制提升多模态情感分析的效率与性能。

HERMES: A Unified Open-Source Framework for Realtime Multimodal Physiological Sensing, Edge AI, and Intervention in Closed-Loop Smart Healthcare Applications

HERMES：一个用于实时多模态生理传感、边缘AI和闭环智能医疗应用的统一开源框架

Maxim Yudayev, Juha Carlon, Diwas Lamsal, Vayalet Stefanova, Benjamin Filtjens

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 HERMES是一个开源框架，用于实时多模态生理传感、边缘AI和闭环智能医疗应用，通过同步数据收集和实时推断提升医疗设备的智能化水平。

Comments Submitted to ACM SenSys '26, 12 pages (excl. references), 9 figures

Synesthesia of Machines (SoM)-Aided Online FDD Precoding via Heterogeneous Multi-Modal Sensing: A Vertical Federated Learning Approach

机器联觉（SoM）-辅助在线FDD预编码 via 异构多模态感知：一种垂直联邦学习方法

Haotian Zhang, Shijian Gao, Weibo Wen, Xiang Cheng, Liuqing Yang

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出一种基于垂直联邦学习的异构多模态感知辅助在线FDD预编码方法，通过优化导频序列长度降低时延，提升频分双工系统性能。

Comments arXiv admin note: text overlap with arXiv:2501.10941

An AI-IoT Based Smart Wheelchair with Gesture-Controlled Mobility, Deep Learning-Based Obstacle Detection, Multi-Sensor Health Monitoring, and Emergency Alert System

基于AI-IoT的智能轮椅：具有手势控制移动、深度学习障碍检测、多传感器健康监测和紧急警报系统

Md. Asiful Islam, Abdul Hasib, Tousif Mahmud Emon, Khandaker Tabin Hasan, A. S. M. Ahsanul Sarkar Akib

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Military Institute of Science and Technology（军事科学与技术学院） ； University of Frontier Technology（前沿技术大学） ； American International University-Bangladesh（美国国际大学-孟加拉国） ； Robo Tech Valley（机器人技术谷） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于AI-IoT的智能轮椅系统，结合手势控制、深度学习障碍检测、多传感器健康监测和紧急警报，实现安全导航与健康监测的集成解决方案。

Correlated domain and crystallographic orientation mapping in uniaxial ferroelectric polycrystals by interferometric vector piezoresponse force microscopy

在一维铁电多晶中通过干涉矢量压电响应力显微镜实现相关域和晶格取向映射

Ruben Dragland, Jan Schultheiß, Ivan N. Ushakov, Roger Proksch, Dennis Meier

专题命中 其他多模态 ：multimodal(abstract)

AI总结 该研究利用干涉矢量PFM技术，实现了对一维铁电多晶中晶格取向和域结构的高精度纳米级表征与映射。

Comments 11 pages total (5 pages main text + 6 pages supplementary), 7 figures total (5 in main text + 2 in supplementary)

Wasserstein Evolution : Evolutionary Optimization as Phase Transition

Wasserstein Evolution : 将进化优化视为相变过程

Kaichen Ouyang, Mingyang Yu, Zong Ke, Junbo Jacob Lian, Shengwei Fu, Xiaoyang Hao, Shengju Yu, Dayu Hu

专题命中 其他多模态 ：multimodal(abstract)

AI总结 Wasserstein Evolution通过将进化优化视为物理相变过程，建立自由能Wasserstein梯度流理论，实现探索与利用的平衡，提升求解多样性和稳定性。

Comments 9 pages, 6 figures

Integrated Sensing and Communications Over the Years: An Evolution Perspective

多年来的集成感知与通信：一种演进视角

Di Zhang, Yuanhao Cui, Xiaowen Cao, Nanchi Su, Yi Gong, Fan Liu, Weijie Yuan, Xiaojun Jing, J. Andrew Zhang, Jie Xu, Christos Masouros, Dusit Niyato, Marco Di Renzo

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文综述了ISAC技术从单模到多模的发展历程，探讨了频谱扩展、网络架构优化及标准化进展，以推动6G网络的部署。