多模态大模型

Regularizing modality contribution drift in multimodal continual learning

多模态持续学习中模态贡献漂移的正则化

Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

机构 * School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对多模态持续学习中的模态贡献漂移问题，提出含基于重放和无重放版本的CMCDR方法，经实验验证其通用性与有效性。

LunarFM: A Shared Multimodal Representation of the Moon's Surface

LunarFM：月球表面的共享多模态表示

Marc Girona-Mata, Jakob Gawlikowski, Sumit Goski, Gautier Bardi de Fourtou, Valentin T. Bickel, Ben Moseley, Abigail Calzada-Diaz, Sylvester Kaczmarek, Raúl Ramos-Pollán

机构 * University of Cambridge（剑桥大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； SPAIDER SPACE（斯派德太空公司） ； Mines Paris - PSL University（巴黎矿业学院 - 巴黎文理研究大学） ； University of Bern（伯尔尼大学） ； Imperial College London（伦敦帝国理工学院） ； European Space Resources Innovation Center (ESRIC)（欧洲空间资源创新中心） ； Universidad de Antioquia（安蒂奥基亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 因月球探索需求，针对多源观测致月球表面分析碎片化问题，提出LunarFM多模态基础模型，融合多仪器观测学习通用表示，支持多种下游应用，还提供相关数据集、预训练模型等，助力月球表面高效分析。

Comments 19 pages, 12 figures

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

DCS：用于跨模态版权侵权检测的统一条件敏感度框架

Xiafeng Man

机构 * Fudan University（复旦大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 研究针对基础模型版权侵权检测问题，提出统一的DCS框架，将侵权证据视为反事实条件分布转移，通过条件差分隐私形式化，创建双分支并结合多种因素界定敏感度，还定义校准统计量，适用于多种模型并以不同方式评估。

Human-Inspired Framework for Robotic Craniotomy: Integrating Multimodal Fusion and Adaptive Trajectory Adjustment

用于机器人开颅手术的受人类启发框架：集成多模态融合与自适应轨迹调整

Renzhen Le, Xiao Zhang, Di Wu, Yuanyu Wei, Jiachen Zhu, Zhenzhi Ying, Pengfei Zhang, Liming Shu

机构 * Dalian University of Technology（大连理工大学） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 该研究针对机器人开颅手术问题，提出受人类启发的闭环框架，集成术前规划与术中执行。采用自适应双轮廓融合算法生成轨迹，利用多模态网络融合信号实现突破检测，通过原位投影策略调整轨迹，实验验证该框架能实现安全自主且高效闭环控制的开颅手术。

Uni-XAS: Alignment-Driven Bidirectional Multimodal Learning for X-ray Absorption Spectroscopy

Uni-XAS：用于X射线吸收光谱的对齐驱动双向多模态学习

Suyang Zhong, Yuhao Zhao, Boying Huang, Fanjie Xu, Pengwei Xu, Haoyi Tao, Xi Fang, Jun Cheng, Fujie Tang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究针对X射线吸收光谱建模中异构模态学习难题，提出Uni-XAS框架。通过XASLip解决元素内配位变化，用检索增强解码防尺度崩溃等，还引入排列校正流匹配解决逆问题，在多方面表现出色，为多模态学习和评估奠定基础。

Comments 48 pages, 7 figures, 11 tables. Accepted by ACMMM 2026

OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

OrientSAM：通过方向感知空间对齐减轻多模态空间推理中以相机为中心的捷径

Wenxiao Fan, Hang Yin, Kan Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究多模态模型空间推理中以相机为中心的问题，提出OrientSAM框架，通过方向感知令牌、傅里叶角度编码及课程学习策略注入方向信息并改善推理，构建数据管道生成监督，实验证明其在多任务中表现出色，能减轻捷径行为，实现更强大的以对象为中心的空间推理。

Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework

迈向联邦多模态图基础模型：一种拓扑感知多模态对齐框架

Xunkai Li, Guohao Fu, Yuming Ai, Zhengyu Wu, Hongchao Qin, Rong-Hua Li, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究针对多模态属性图分散在不同隐私受限孤岛的问题，提出FedGAMMA框架，将联邦多模态图基础学习视为两阶段语义结构对齐问题，经实验验证该框架在下游任务中表现出色，超越诸多基线，在少样本学习场景下也有优势。

Comments Under Review

Multimodal Routing for Interpretable, Robust, and Auditable Clinical Prediction

用于可解释、稳健且可审计的临床预测的多模态路由

Nikkie Hooman, Zhongjie Wu, Eric C. Larson, Mehak Gupta

机构 * Southern Methodist University（南卫理公会大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对EHR数据多模态预测中现有方法缺乏可解释性的问题，提出显式多模态路由框架，通过构建不同模态路由及引入推理时路由掩码实现可解释、稳健且可审计的推理，经实验评估揭示了临床状况组模态依赖差异。

Comments Accepted at CHASE 2026. 12 pages, 6 figures, 4 tables

FUSE: FK-Steered Multi-Modal Flow Matching for Efficient Simulation-Based Posterior Estimation

FUSE：用于高效基于模拟后验估计的费曼-卡茨引导多模态流匹配

Weichen Qin, Yufan Xie, Peihao Wang, Chia-Jui Chou, Minghui Du, Peng Xu, Ziren Luo, Yi Yang, Jingyi Yu, Bo Liang, Jiakai Zhang

机构 * ShanghaiTech University（上海科技大学） ； Cellverse, Co., Ltd.（Cellverse公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)

AI总结 针对现有基于模拟推理方法多模态建模效果差的问题，提出双架构FUSE结合FK引导采样，提升后验估计精度，在基准测试和系外行星任务上性能优于现有方法。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). 22 pages, 5 figures

CoFEND: A Cross-Modal Fusion End-to-End Network for Cold-Start Drug-Drug Interaction Prediction

CoFEND：用于冷启动药物-药物相互作用预测的跨模态融合端到端网络

Di Wu, Hongyi Sun, Haichao Xu, Jia Chen, Zhong Chen, Jie Yang

机构 * College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院） ； Beihang University（北京航空航天大学） ； School of Computing, Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校计算机学院） ； School of Physics and Electronic Science, Zunyi Normal University（遵义师范学院物理与电子科学学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 针对新药冷启动药物-药物相互作用预测难题，提出CMF-ELN。利用多模态信息构建知识图谱，设计图自动编码器融合跨模态相似性，采用两阶段可解释性方案，提升预测准确性与机制解释性。

Comments 11 pages, 2 figures, accepted by KDD 2026

MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data

MindAlign: 在有限数据下通过多模态嵌入对齐从fMRI信号解码内心语言

Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida

机构 * Graduate School of Humanities and Sciences Ochanomizu University（大仓山大学人文科学研究生院） ； Center for Information and Neural Networks Advanced ICT Research Institute National Institute of Information and Communications Technology（信息与神经网络中心先进信息通信研究机构信息通信技术研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 提出MindAlign两阶段框架，通过神经-语义对齐将fMRI信号映射到多模态语义空间，再结合视觉上下文冻结多模态语言模型生成文本，在静默图像描述数据上优于基线，且语义-语言投影可跨被试泛化。

Comments Preprint. Under review

SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

SMGFM: 面向多模态属性图的谱多模态图预训练

Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出SMGFM框架，利用图频谱分解区分结构诱导语义与模态特有语义，通过频带路由实现跨模态融合，在图级和模态级任务上取得最优性能。

When to Align, When to Predict: A Phase Diagram for Multimodal Learning

何时对齐，何时预测：多模态学习的相图

Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero

机构 * Technion（以色列理工学院） ； Genentech（基因泰克公司） ； Brown University（布朗大学） ； Meta AI, FAIR 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出统一线性框架，通过信噪比模型揭示跨模态对齐与预测的互补失效模式，构建四区域相图指导多模态学习目标选择，并在非线性实验中验证。

Late-Layer Fusion is Enough: Dual-Path Vision Token Routing for Multimodal Large Language Models under Visual Saturation

晚期融合足矣：面向视觉饱和的多模态大语言模型的双路径视觉令牌路由

Siyuan Liu, Jinyang Wu

机构 * School of Mechanics and Engineering Science, Peking University（北京大学力学与工程科学学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态大语言模型中视觉令牌在深层饱和的问题，提出双路径视觉令牌路由（DPVR-LF），在饱和点将视觉令牌路由至单层可训练分支，仅最后层融合，以约3%可训练参数保持性能并减少计算。

Comments 18 pages, 4 figures. Submitted to Pattern Recognition

Teach Multimodal Recommendation Model to See via Personalized Visual Extraction and Adaptive Learning

教多模态推荐模型通过个性化视觉提取和自适应学习来观察

Yutong Li, Xinyi Zhang, Ziyi Ye, Daoguo Dong, Yu-gang Jiang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出REVEAL框架，通过反馈引导的视觉提取和自适应视觉学习，增强视觉特征利用和跨模态优化，提升多模态序列推荐性能。

VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

VAD：为多模态在线策略蒸馏中的目标重建归因视觉证据

Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Southeast University（东南大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 该研究提出视觉归因蒸馏（VAD）算法，通过反事实目标重建分离教师校正中的视觉证据分量，在6个4B/9B规模的细粒度视觉基准上，性能优于现有蒸馏方法。

Comments The project is accessible at https://github.com/DeepExperience/VAD_Multimodal_OPD

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

停止思考，开始观察：通过无推理对齐实现多模态文档问答的高效训练后优化

Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态文档问答中高效训练后优化问题，提出感知 - RFT 框架，用组相对策略优化绕过推理令牌直接对齐视觉与基础输出，通过构建变体评估推理必要性，发现启用推理模型有优势，还识别基础差异，表明早期转换可减少训练数据并保持精度。

Comments Accepted at ICML 2026, Workshop on Efficient Multimodal Question Answering (EMM-QA)

Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting

运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力

Xikai Sun, Kebin Liu, Haotian Wang, Li Liu, Xu Wang, Yunhao Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解

Dual-Domain Cross-Modal Decoding for Clinical Text-Guided Medical Image Segmentation

用于临床文本引导的医学图像分割的双域跨模态解码

Md Maklachur Rahman, Tracy Hammond

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对临床文本引导医学图像分割忽略频率内容的问题，提出双域跨模态解码（DD-CMD）方法，在两个公开数据集上均优于现有最强基线。

Comments Accepted at MICCAI 2026 (Main). Final version to appear in the MICCAI 2026 proceedings

UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment

UniMod：通过跨模态与模态内对齐增强多模态医学诊断

Zijian Gu, Weikai Lin, Shuang Zhou, Zihan Chen, Song Wang

机构 * University of Central Florida（中佛罗里达大学） ； University of Rochester（罗切斯特大学） ； Harvard Medical School（哈佛医学院） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 UniMod框架通过要求各模态独立预测诊断缓解多模态医学诊断的捷径学习，添加跨模态与模态内对齐，在两个数据集上优于基线方法，还可扩展至多标签5分类诊断。

Comments Accepted to ACM Multimedia 2026 (MM '26). 10 pages, 7 figures, 5 tables. Code: https://github.com/futurespyhi/UniMod

UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

UniSpace：统一视觉表示与可扩展多模态建模

Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 UniSpace，通过 Patch Reparameterization 改进语义 ViT，构建 80 亿参数的 Transformer 专家混合模型，实现同一视觉空间内的理解、生成与编辑，提升重建效果，支持文本到图像生成和指令式图像编辑。

OPLD: On-Policy Latent Distillation for Multimodal Reasoning

OPLD：用于多模态推理的在线策略隐层蒸馏

Shoutai Zhu, Tianyang Xu, Bin Sun, Mingyuan Xu, Yu Liu, Qinzhen Guo

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OPLD框架，将多模态CoT的推理能力迁移至隐层表征，经多模态基准实验，其性能优于现有隐层推理方法，达到当前最优。

Multimodal fusion of visual and morphometric features for avian bone classification

用于鸟类骨骼分类的视觉与形态计量特征多模态融合

Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出结合卷积神经网络图像分析与骨计量测量的多模态框架，用于鸟类骨骼分类，在骨骼类型分类准确率达86%，科级分类Top-1准确率51%、Top-3准确率75%，为AI辅助动物考古识别建立了方法学基线。

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

多模态分类中用于缺失任意模态的协同学习

Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

机构 * GFZ Helmholtz Center for Geosciences（德国波茨坦地学研究中心亥姆霍兹中心） ； INRAE, UMR TETIS, University of Montpellier（法国蒙彼利埃大学农业环境与生态研究院、蒙彼利埃大学TETIS联合研究单位） ； INRIA, EVERGREEN, University of Montpellier（法国蒙彼利埃大学信息与自动化研究所、EVERGREEN实验室） ； CIRAD, UMR TETIS, University of Montpellier（法国蒙彼利埃大学国际农业研究磋商组织、蒙彼利埃大学TETIS联合研究单位） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态分类中因操作约束导致训练和推理时模态可用性不一致、存在缺失任意模态的问题，提出多模态协同学习框架，引入特征和决策层面利用信息的两种方法，实验证明在不同缺失模态条件下有显著鲁棒性提升。

Comments Accepted at Discovery Science 2026

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS：对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； Speech, Language, and Cognition Laboratory, The University of Hong Kong（香港大学语音、语言与认知实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 研究对话中多模态情感识别，提出EmoEUS框架，通过动态加权模态执行不确定性感知多模态融合，并引入显式监督损失，实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

Large Language Models as Unified Multimodal Learners for Clinical Prediction

作为临床预测统一多模态学习者的大语言模型

Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Charité Universitätsmedizin Berlin（柏林夏里特大学医学中心） ； DNC Information Management GmbH（DNC信息管理有限公司） ； Klinik für Akut- und Notfallmedizin, Asklepios Klinikum Harburg（哈堡阿斯克勒庇俄斯医院急性与急诊医学科） ； Technical University Berlin（柏林工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨利用大语言模型进行临床预测，提出将不同模态患者数据转为自然语言序列，端到端微调预训练语言模型的方法，经三个临床任务评估，该方法匹配或超越多模态基线，优于临床梯度提升系统，降低系统复杂性。

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

通过多模态基于人类反馈的强化学习偏好对齐实现汉喃手稿到现代越南语的直接图像翻译

Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对汉喃手稿到现代越南语翻译的挑战，提出多模态基于人类反馈的强化学习偏好对齐框架，结合四个流生成越南语，比较PPO、DPO和KTO，结果显示各有优劣，且多模态偏好优化能补充监督学习提升翻译质量。

Comments Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：omni-modal(title)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

使用层次表示正则化学习大型多模态模型的分类树

Hulingxiao He, Zhi Tan, Yuxin Peng

机构 * PKU-ICST-MIPL（北京大学信息科学技术学院多媒体信息处理实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究大型多模态模型缺乏分类知识致层次视觉识别一致性低的问题，提出层次表示正则化方法，含语义感知视觉树构建框架，结合两个互补目标，有效捕捉分类结构。

Comments Published as a conference paper at ICML 2026