多模态大模型

Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering

看一次就够了？用于3D问答的在线几何感知令牌剪枝

Ruei-Chi Lai, Bolivar Solarte, Chin-Hsuan Wu, Yi-Hsuan Tsai, Min Sun

机构 * National Tsing Hua University（国立清华大学） ； Industrial Technology Research Institute ITRI（工业技术研究院） ； University of Toronto（多伦多大学） ； Atmanity Inc（Atmanity公司） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对3D问答中多模态大语言模型推理成本高的问题，提出在线令牌剪枝方法，利用深度和相机姿态投影到体素空间，识别重叠区域并剪枝冗余令牌，减少令牌使用，提升效率和性能。

Comments published at ICLR 2026 Workshop on Efficient Spatial Reasoning

BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning the Modality Matrix of Sequences, Structures, and Language

BioMatrix：迈向覆盖序列、结构和语言模态矩阵的综合性生物基础模型

Qizhi Pei, Zhimeng Zhou, Yi Duan, Yiyang Zhao, Wei Li, Han Guo, Liang He, Chengping Li, Chang-Yu Hsieh, Conghui He, Rui Yan, Lijun Wu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； OpenDataLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenDataLab） ； Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个原生多模态生物基础模型BioMatrix，通过统一分词方案将分子序列、结构、蛋白质序列、结构和自然语言映射到共享离散标记空间，在单一解码器架构下实现所有模态的统一生成，在80项任务中77项达到最优或竞争力水平。

Beyond Multimodal Alignment: Certifying Physical Language through Response Substitution and Ordered Execution

超越多模态对齐：通过响应替换与有序执行验证物理语言

Kaizhen Tan, Xin Xu, Siru Tao, Yixiao Li, Hanzhe Hong, Yang Feng, Heqing Du

机构 * New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出DBOSC方法，在Cluster Haptic数据集与弹塑性系统中验证了多模态物理表示的可执行含义，明确了执行器、图表等因素对动作组合的影响，区分了多项可测试的操作能力成就。

Malformer: A Multi-Modal Malware Detector Using Transformers

Malformer：一种基于Transformer的多模态恶意软件检测器

Samuel Howard, Kshitiz Aryal, Mahmoud Abdelsalam, Maanak Gupta, Andrew Wheeler, Pradip Kunwar

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)

AI总结 本研究提出四模态恶意软件检测模型Malformer，融合文本、图像、图形、音频表示，采用多模态Transformer融合，在201549个样本数据集上准确率98.3%，优于单/双模态检测器，为恶意软件防御提供稳健基础。

LiDAR-Derived Surface Priors for Multimodal Sensing-Assisted NLoS Beam Search in Indoor 60-GHz Networks

室内60GHz网络中多模态传感辅助非视距波束搜索的激光雷达衍生表面先验

Amod Ashtekar, Dalton Davis, Rafaela Lomboy, Omar Ibrahim, Raj Sai Sohel Bandari, Mohammed E. Eltayeb

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)

AI总结 该研究提出用激光雷达衍生的局部表面结构作为先验，结合射频测量，可将60GHz网络的波束对探测减少72%，同时保持74.5%位置的波束在详尽搜索的3dB范围内，降低毫米波波束搜索不确定性。

Clinical Pathways Matter for Multimodal Deep Learning in Early Alzheimers Disease Detection

临床路径对早期阿尔茨海默病检测中的多模态深度学习至关重要

Yao Lu, Solveig Kristina Hammonds, Alvaro Fernandez-Quilez

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究提出基于SigLIP的零样本多模态框架，结合结构MRI与常规临床变量，在ADNI队列中实现早期阿尔茨海默病风险分层，性能优于传统模型，且可扩展至纵向数据。

Comments Published

CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation

CardioState-JEPA：面向共享心脏表征的延迟感知跨模态学习

Hamza Shafiq, Hung Manh Pham, Bin Zhu, Pan Zhou, Jun Hu, Aaqib Saeed

机构 * Singapore Management University（新加坡管理大学） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 CardioState-JEPA是一种延迟感知跨模态心脏基础模型，通过对齐ECG、PPG、PCG的共享生理表征，在25项下游任务上显著提升了各模态的分类性能，实现了异质心脏信号的相互监督。

Deciding When to Rely on Visual Information: Gated Multimodal Fusion in Sequential Recommendation

何时依赖视觉信息：序列推荐中的门控多模态融合

Natalija Glisovic, Danica Kragic, Martin Tegner

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究提出VisGate框架，基于物品和用户上下文自适应融合多模态信号，揭示视觉效用随物品、交互稀疏性变化的规律，实现更精准的序列推荐并可解释视觉信息的作用。

Comments 8 pages, 6 figures, Accepted at CARS @ RecSys 2026

Deep Multimodal Wearable Sensor Fusion for Detection of Body-Focused Repetitive Behaviors

用于聚焦身体重复行为检测的深度多模态可穿戴传感器融合

Samaneh Rezaeimanesh, Mohsen Behradfar, Mohammad Fili, Guiping Hu

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本研究开发多模态深度学习框架，利用腕戴式传感器数据检测聚焦身体的重复行为，在二元及九分类任务中均优于单模态基线，为可穿戴辅助心理健康诊断奠定基础。

KILVO: Kinematic-Inertial-LiDAR-Visual Odometry with Robust Multimodal Adaptation for Humanoid Robots

KILVO：面向人形机器人的具备鲁棒多模态自适应的运动学-惯性-激光雷达-视觉里程计

Jixin Gao, Fucheng Liu, Teng Zhang, Fusheng Zha

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出面向人形机器人的KILVO里程计，基于ESIKF整合多传感器并设计多模态自适应与接触估计模块，实验显示其精度、效率及鲁棒性优于现有方法，代码与数据集已开源。

Comments This article has been accepted for publication in IEEE/ASME Transactions on Mechatronics. Personal use is permitted. All other uses require IEEE permission

PatTree: a novel approach for automated creation of multimodal, graph-based patient representations for medical classification tasks

PatTree：一种用于医学分类任务的多模态图基患者表示自动构建新方法

Julia Gehrmann, Lars Quakulinski, Hamza Naseem, Oya Beyan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究提出PatTree，一种自动构建的多模态图基患者表示，在ADNI-1队列子集上实现阿尔茨海默病等三分类任务98.5%平衡准确率，可作为临床AI流程的可扩展基础。

Smartwatch Photoplethysmography-Derived Heart Age via ECG-Guided Cross-Modal Pretraining as a Digital Biomarker of Vascular Aging

通过心电引导跨模态预训练从智能手表光体积描记术衍生的心龄作为血管衰老的数字生物标志物

Donglin Xie, Xueying Gui, Yutian Zhu, Feng Xu, Guangkun Nie, Chenyang Xu, Jun Li, Shuailong Tang, Xiaoyu Li, Qi Xie, Yelei Li, Shenda Hong

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 本研究开发心电引导跨模态框架，利用智能手表PPG衍生的心龄差作为数字生物标志物，证实其与动脉僵硬度、高血压显著相关，可用于血管衰老评估。

Inverting the Hidden: Unveiling Multimodal Privacy Leakage in Collaborative LVLM Inference

反转隐藏内容：揭示协作式大型视觉语言模型（LVLM）推理中的多模态隐私泄露

Shuaifan Jin, Zhibo Wang, Qiyuan Wang, Yiting Han, Yajie Zhou, Yuanfan Zhang, Jiahui Hu, Xiaoyi Pang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究针对协作式LVLM推理的隐私风险，提出RASR多模态重建攻击，可从深层LVLM隐藏状态恢复隐私信息，图像重建MSE降约50%、文本恢复token准确率达99%。

RHEA: Reliability-Harmonized Reconstruction and Assignment for Robust Multimodal-Attributed Graph Clustering

RHEA：用于鲁棒多模态属性图聚类的可靠性协调重构与分配

Yinlin Zhu, Di Wu, Ziyu Han, Zekai Chenm, Wang Luo, Miao Hu, Guocong Quan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态属性图聚类中属性含噪或缺失时性能下降的问题，提出RHEA框架，通过估计节点特定模态可靠性并结合邻域信息提升聚类效果，在基准测试中表现优于最强基线。

Comments Under Review

PaletteID: Prototype-Composed Semantic Identifiers for Multimodal CTR Prediction

PaletteID：用于多模态点击率预测的原型组合语义标识符

Huanyu Liu, Baining Chen, Hui Liu, Zengyang Li, Ziyi Huang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出PaletteID模型，以SQ-DPP构建原型调色板聚合语义相关原型，在两个公开数据集上提升CTR预测性能，对长尾物品增益更显著且标识符分配更鲁棒、语义更可解释。

MMFGU: Multimodal Federated Graph Unlearning

MMFGU：多模态联邦图遗忘

Haodong Lu, Zekai Chen, Weiwei Ji, Shihao Li, Xunkai Li, Xun Wu, Yinlin Zhu, Rong-Hua Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对现有联邦图遗忘无法满足多模态细粒度遗忘请求的问题，提出MMFGU框架，通过目标特定表示解耦等技术解决三大挑战，实验显示其能有效移除请求信息并实现41.5倍加速。

CoLAS: Multimodal Corroboration of Latent Asset Signals for Financial Trading

CoLAS：面向金融交易的潜在资产信号多模态确证

Yanzheng Jin, Pengyang Shao, Xiaohao Liu, Xi Ai, Fei Shen, Kenji Kawaguchi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 该研究针对金融交易中异构模态信号不可靠的问题，提出CoLAS多模态确证框架，通过增强共享分量与鲁棒一致性目标，在股票和加密货币数据集上实现年化收益率和夏普比率的提升。

Multimodal User Authentication Method via Fusion of Keystroke Dynamics and Glove-Based Hand Kinematics

通过击键动力学和基于手套的手部运动学融合的多模态用户认证方法

Issei Hyakuda, Lei Jing

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对击键动力学受环境影响问题，提出融合击键动力学与手部运动学的多模态认证框架，用定制手套捕获特征，经混合架构融合，通过“未见”评估协议验证，该方法能有效提升认证准确率，融合模态增强了生物识别辨别力。

Comments 9 pages, 10 figures

One Graph, Multiple Gains: Single High-Quality Item-Item Graph for Multimodal Recommendation

一图多益：用于多模态推荐的单个高质量物品-物品图

Jinfeng Xu, Zheyu Chen, Ziyue Peng, Shuo Yang, Jinze Li, Zewei Liu, Shujie Li, Yipeng Du, Edith C. H. Ngai

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态推荐中物品-物品图构建及应用，提出IIMRec框架构建高质量图，通过融合信号和NCER优化，并在推荐三阶段重用，以RIG、内容引导UI图扩展、INA三种方式使用，实验证明其性能优于基线，冷启动等条件下效果更佳。

Comments Accepted by ACM MM 2026

Bitcoin Price Direction Prediction via Regime-Aware Multi-Modal Fusion of Social Sentiment and Technical Features

通过社会情绪与技术特征的状态感知多模态融合预测比特币价格走势

Muhammad Abdullah Haroon

机构 * FAST National University of Computer and Emerging Sciences (FAST-NUCES)（快速国立计算机与新兴科学大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 研究比特币亚日价格预测难题，提出状态感知多模态学习（RAML）方法，依据市场状态动态融合社会情绪与技术特征，实验表明该方法在预测中表现良好，确立状态条件自适应融合为多模态金融预测的必要原则。

Comments 19 pages, 15 figures, 4 tables

Adaptive Confidence-weighted Expansion for Trustworthy Multi-Omics Multimodal Fusion

用于可信多组学多模态融合的自适应置信加权扩展

Mohammad Raahemi, Ali Sekhavati, Alireza Maleki, Hamid Nasiri

机构 * Faculty of Engineering, University of Ottawa（渥太华大学工程学院） ； RIV Lab, Department of Computer Engineering, Bu-Ali Sina University（布阿里·西纳大学计算机工程系RIV实验室） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态学习模型在噪声或无信息数据流下性能不佳及缺乏数据质量评估机制的问题，提出自适应置信加权扩展（ACE）框架，通过生成互补模态和双层置信机制提升性能，在多组学数据集评估中显著优于现有算法。

Comments Accepted for publication in the proceedings of the International Conference on Pattern Recognition (ICPR 2026)

Thinking Fast, Thinking Slow: Adaptive Multimodal Transformer-based Sensor Fusion for Depth Estimation on Ultra-low-power MCUs

快速思考，慢速思考：基于自适应多模态Transformer的超低功耗MCU深度估计传感器融合

Luca Crupi, Lorenzo Lamberti, Giovanni Badaracco, Daniele Allegri, Alessandro Giusti, Daniele Palossi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对超低功耗MCU深度估计问题，提出结合多模态传感器融合与轻量级基于循环Transformer架构的自适应方法，通过令牌传播和增量传感器利用机制平衡能耗与精度，实验证明该方法节能且精度提升显著。

Comments 16 pages, 9 figures, 6 tables. This paper has been accepted for publication in the IEEE Sensors Journal Copyright 2026 IEEE

MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning

MultiLoReFT：通过低秩表示微调在多模态学习中解耦共享和特定模态子空间

Sana Tonekaboni, Viktoria Schuster, Caroline Uhler

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对多模态模型训练障碍，提出MultiLoReFT框架，通过低秩表示微调，将低秩适应扩展到多模态，学习可解释投影子空间解耦信息，能在多模态预测时揭示信息分布。

PQFA: Parallel Quantum Feature Augmentation of Fused Representations for Multimodal Classification

PQFA：用于多模态分类的融合表示的并行量子特征增强

Mingzhu Wang, Yun Shang

机构 * AMSS（中国科学院数学与系统科学研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态学习中后融合增强问题，提出并行量子特征增强框架PQFA，将其应用于融合特征，经多种处理后幅度编码到量子电路预测。实验表明PQFA性能优、参数效率高，是混合量子 - 经典多模态学习后融合增强的有效策略。

CHARM: Charge Calibration and Acoustic Rescue for LLM-based Multimodal Sarcasm Detection

CHARM：基于大语言模型的多模态讽刺检测中的电荷校准与声学救援

Qiyang Sun, Yi Chang, Yupei Li, Xi Shao, Zixing Zhang, Björn W. Schuller

机构 * GLAM – the Group on Language, Audio, & Music, Imperial College London（伦敦帝国理工学院语言、音频和音乐小组） ； College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Shenzhen Research Institute, Hunan University（湖南大学深圳研究院） ； CHI – Chair of Health Informatics, TUM University Hospital（慕尼黑工业大学医院健康信息学主席） ； relAI – the Konrad Zuse School of Excellence in Reliable AI（康拉德·楚泽可靠人工智能卓越学院） ； MDSI – Munich Data Science Institute（慕尼黑数据科学研究所） ； MCML – Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对大语言模型在讽刺检测中过度预测积极类别及韵律线索利用不足的问题，提出CHARM框架，含双向电荷校准和声学后期融合救援两个模块，无需微调主干，提升检测性能，揭示跨文化韵律解耦，产生可解释的跨语言多模态检测器。

Comments under review

Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment

通过上下文工程进行隐式微调：多模态实体对齐的课程学习框架

Yunpeng Hong, Chenyang Bu, Di Wu, Yi He, Xindong Wu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态实体对齐问题，提出PTFEA课程学习框架，通过自适应难度调制和三阶段渐进推理将微调策略转化为上下文工程，实验证明该框架性能优越，提供了统一上下文工程和微调的理论框架。

Comments Accepted by KDD 2026

Journal ref SIGKDD 2026

One-Shot Multimodal Learning from Demonstration with Force-Constrained Elastic Maps

基于力约束弹性映射的一次性多模态示范学习

Brendan Hertel, Jonathan Spanos, Navya Garg, Reza Azadeh

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多数示范学习方法忽视力与环境相互作用的问题，提出一次性多模态LfD框架。通过多模态概率分割提取力感知运动原语，扩展弹性映射表示并结合外力约束学习轨迹模型，经实验验证该方法具有多模态分割、力感知再现及跨平台通用性。

Comments 8 pages, 6 figures, 4 tables. Accepted for publication at IROS 2026

Multimodal Molecular Representation Learning with Graph Neural Networks, Deep & Cross Networks, and SMILES Embeddings

基于图神经网络、深度交叉网络和SMILES嵌入的多模态分子表示学习

Qiwei Han, Chi Zhou, Ruobing Wang, Zheng Ma

机构 * Duke University（杜克大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对分子性质预测难题，提出三分支模块化融合神经网络，综合三种模态数据，经后期融合架构建立多模态潜在空间，在QM9基准测试中表现出色，降低误差，为高通量虚拟筛选提供高效模型。

Comments 14 pages, 3 figures

Edge-Assisted Multimodal UAV Localization with Resource-Efficient Compression and Robust Fusion

基于资源高效压缩和鲁棒融合的边缘辅助多模态无人机定位

Zhong Ye, Yinghui He, Guanding Yu, Pavel Loskot

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 设计多模态无人机定位框架，利用相机、LiDAR和雷达传感模态。通过信息瓶颈压缩等模块应对传感节点资源有限、数据差异大及模态数据退化缺失等挑战，实验表明该框架能准确可靠定位无人机。

AirTF: Over-the-Air Token Fusion for Task-Oriented Multi-Modal Token Communications

AirTF：面向任务的多模态令牌通信的空中令牌融合

Bole Liu, Li Qiao, Minghui Wu, Yulin Shao, Zhen Gao

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 针对车联网中高维多模态传感数据传输面临的频谱瓶颈，提出AirTF框架。利用视觉变压器编码器提取语义令牌，通过共享无线信道并发传输，利用多址信道叠加特性空中融合多模态语义，提升频谱效率。

Comments Manuscript under review