多模态大模型

Feature Alignment Determines Fusion Strategy: A Comparative Study of Cross-Attention and Concatenation in Multimodal Learning

特征对齐决定融合策略：多模态学习中交叉注意力与拼接的比较研究

Zhiqiang Zhou, Xuezhen Xie

机构 * Hunan Chemical Industry Vocational and Technical College（湖南化学工业职业技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 通过实验和理论分析，证明特征对齐质量而非数据规模是决定多模态融合策略优劣的关键因素，当特征预对齐时拼接优于交叉注意力。

Comments 8 pages,6 figures,4 tables

Large Language Models in Transportation Systems Management and Operations: From Text Reasoning to Multi-modal Decision Support

交通系统管理与运营中的大语言模型：从文本推理到多模态决策支持

Siyan Li, Zehao Wang, Jiachen Li, Kanok Boriboonsomsin, Matthew J. Barth, Guoyuan Wu

机构 * Bourns College of Engineering, Center for Environmental Research and Technology, University of California at Riverside, CA, USA（伯恩斯工程学院，环境研究与技术中心，加州大学河滨分校，美国，加利福尼亚州河滨） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文综述了大语言模型（LLM）和多模态大语言模型（MM-LLM）在交通系统管理与运营（TSMO）中的应用，涵盖运营与服务、移动性与车队服务、数据建模与决策支持三大领域，并指出了数据异构性、实时推理、可解释性等挑战及未来方向。

Comments Preprint version

Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models

Model-Dowser：无数据重要性探测以缓解多模态大语言模型中的灾难性遗忘

Hyeontaek Hwang, Nguyen Dinh Son, Daeyoung Kim

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出Model-Dowser，一种基于重要性评分的稀疏微调方法，通过联合考虑权重幅度、输入激活和输出敏感性来缓解多模态大语言模型微调中的灾难性遗忘，在LLaVA和NVILA上优于现有方法。

Comments Accepted at ICML 2026. Code link: https://model-dowser.github.io

Interpretable Multimodal Gesture Recognition for Drone and Mobile Robot Teleoperation via Log-Likelihood Ratio Fusion

基于对数似然比融合的可解释多模态手势识别用于无人机和移动机器人遥操作

Seungyeol Baek, Jaspreet Singh, Lala Shakti Swarup Ray, Hymalai Bello, Paul Lukowicz, Sungho Suh

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） ； Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，RPTU凯撒斯劳滕-兰道） ； Embedded Intelligence, German Research Center for Artificial Intelligence (DFKI)（嵌入式智能，德国人工智能研究中心（DFKI）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出一种融合腕戴式Apple Watch惯性数据和定制手套电容传感信号的多模态手势识别框架，利用对数似然比后期融合策略提升性能并提供可解释性，在降低计算成本的同时达到与视觉基线相当的识别效果。

Cross-Modal Fine-Tuning of 3D Convolutional Foundation Models for ADHD Classification with Low-Rank Adaptation

基于低秩适应的3D卷积基础模型跨模态微调用于ADHD分类

Jyun-Ping Kao, Shinyeong Rho, Shahar Lazarev, Hyun-Hae Cho, Fangxu Xing, Taehoon Shin, C. -C. Jay Kuo, Jonghye Woo

机构 * National Institute of Mental Health, National Institutes of Health（国家精神卫生研究所，国立卫生研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出一种参数高效的迁移学习方法，通过3D低秩适应（LoRA）将预训练于CT图像的3D卷积基础模型微调至MRI的ADHD分类任务，在公开扩散MRI数据集上达到71.9%准确率和0.716 AUC，仅需164万可训练参数。

Comments Accepted for presentation at the IEEE International Symposium on Biomedical Imaging (ISBI) 2026

Journal ref 2026 IEEE 23rd International Symposium on Biomedical Imaging (ISBI), pp. 1-4

UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations

UrbanFusion: 用于鲁棒空间表示对比学习的随机多模态融合

Dominik J. Mühlematter, Lin Che, Ye Hong, Martin Raubal, Nina Wiedemann

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UrbanFusion模型，通过随机多模态融合（SMF）和Transformer模块整合街景、遥感、地图和POI数据，在56个城市41项任务中优于现有GeoAI模型。

Journal ref International Conference on Machine Learning (ICML), 2026

VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning

VisionPulse: 用于高效多模态推理的动态视觉稀疏性

Hengbo Xu, Shengjie Jin, Yanbiao Ma, Zhiwu Lu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出VisionPulse框架，通过步骤级视觉令牌剪枝，利用视觉注意力质量估计保留预算，仅保留关键令牌，在几乎不损失准确率的情况下减少推理开销和推理轨迹长度。

Comments Accepted at ICML 2026

HQ-JEPA: Hybrid Quantum Joint-Embedding Predictive Architecture for Cross-Modal Remote Sensing Representation Learning

HQ-JEPA: 用于跨模态遥感表示学习的混合量子联合嵌入预测架构

Md Aminur Hossain, Ayush V. Patel, Sanjay K. Singh, Biplab Banerjee

机构 * Space Applications Centre, Indian Space Research Organisation（印度空间研究组织空间应用中心） ； Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买资源工程研究中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出HQ-JEPA混合量子-经典架构，通过联合嵌入预测、跨模态对齐、SIGReg高斯正则化和量子保真度损失，在Sentinel-1/2图像上学习语义表示，在GeoBench分类和分割任务上取得优于强基线的性能。

Comments 19 pages

TRINE: A Token-Aware, Runtime-Adaptive FPGA Inference Engine for Multimodal AI

TRINE: 一种面向多模态AI的令牌感知、运行时自适应FPGA推理引擎

Hyunwoo Oh, Hanning Chen, Sanggeon Yun, Yang Ni, Suyeon Jang, Behnam Khaleghi, Fei Wen, Mohsen Imani

机构 * University of California, Irvine（加州大学尔湾分校） ； Purdue University Northwest（北达科他州立大学） ； Qualcomm（高通） ； Samsung（三星） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态AI中不同计算/内存模式导致嵌入式平台实时性不足的问题，提出TRINE，一种无需重配置的单比特流FPGA加速器与编译器，通过统一层映射、运行时模式切换、令牌剪枝和依赖感知层卸载，实现端到端多模态推理，在Alveo U50和ZCU104上相比RTX 4090和Jetson Orin Nano分别降低延迟22.57倍和6.86倍，功耗仅20-21W。

Comments Accepted to DAC 2026

Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

捕捉注视转移以引导：跨模态融合增强用于VLM幻觉缓解

Zheng Qi, Chao Shang, Evangelia Spiliopoulou, Nikolaos Pappas

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出GIFT方法，通过预计算视觉显著性图并跟踪注视转移，在解码时增强对显著视觉信息和用户查询的注意力，以缓解视觉语言模型中的幻觉问题。

Comments ICML 2026

REVEAL: Reference-Grounded Reasoning for Multimodal Manipulation Detection

REVEAL：基于参考依据的多模态篡改检测推理

Jun Zhou, Bingwen Hu, Yaxiong Wang, Zhedong Zheng, Yongzhen Wang, Yuchen Zhang, Ping Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出REVEAL框架，通过参考依据验证和差异感知融合机制，结合任务解耦的混合专家架构，实现多模态篡改检测与定位，并支持无训练域适应。

Comments 11 pages, 3 figures

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

推理至关重要：通过推理条件偏好优化减轻多模态大型推理模型中的幻觉

Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出推理条件直接偏好优化（RC-DPO）方法，通过将思维链作为答案生成的条件并对比不同思维链下的偏好，结合蒙特卡洛树搜索和注意力引导的思维链剪枝生成偏好数据，有效减轻多模态大型推理模型中的幻觉。

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

应对多模态学习挑战的混合专家方法：综述

Liangwei Nathan Zheng, Wei Emma Zhang, Olaf Maennel, Lin Yue, Weitong Chen

机构 * Adelaide University（阿德莱德大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文综述了混合专家（MoE）如何通过高效扩展、表示学习和自适应适配解决多模态学习中的可扩展性、异质性和数据不完美等核心挑战。

Comments This survey paper has just been accepted by IJCAI 2026. Results were released by 30 April 2026. As I could not find a particular place to drop the acceptance email. I have upload the acceptance email alongside the LaTeX files of the paper, named as Acceptance_email.pdf

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/LAMDA-CL/Prism

Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression

Re-M3Dr：重新平衡的多模态均值偏差回归

Haojie Yin, Chengcheng Feng, Tianyi Liu, Tianqi Zhang, Kaizhu Huang

机构 * Duke Kunshan University, China（杜克大学昆山学院） ； Xi'an Jiaotong-Liverpool University, China（西安交通大学利物浦大学） ； Soochow University（苏州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态医学图像融合性能反不如单模态的问题，提出Re-M3Dr框架，通过自适应边界的监督对比学习和锐度感知梯度调制，实现多模态均值偏差回归，在临床数据集上均方误差降低29%。

Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

基于Perceiver IO融合卫星和街景图像的多模态建筑检测

Niels Sombekke, Rob G. J. Wijnhoven, Martin R. Oswald

机构 * University of Amsterdam (UvA)（阿姆斯特丹大学） ； Spotr 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种通过Perceiver IO架构融合卫星和街景图像的多模态分类框架，使用共享DINOv2骨干网络的空间补丁令牌，无需填充或固定大小池化即可处理可变数量的街景视图，并联合预测屋顶元素和材料类别，在包含10个国家32135栋建筑的数据集上验证了RGB-M掩码策略和融合模型的有效性。

PANDO: Efficient Multimodal AI Agents via Online Skill Distillation

PANDO: 通过在线技能蒸馏实现高效多模态AI智能体

Yubo Li, Yidi Miao, Yuntian Shen, Yuxin Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出PANDO框架，通过在线技能蒸馏、结构化技能库和缓存感知提示，在VisualWebArena任务中以更低token消耗实现更高成功率。

AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution

AnE: 通过锚点进化推动多模态大语言模型的推理前沿

Zehao Wang, Yihan Zeng, Zidong Gong, Yuanfan Guo, Feng Zhu, Hongzhi Zhang, Wei Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出锚点进化（AnE）范式，通过真值锚点数据策展和脚手架剥离机制，解决多模态大模型推理中的认知漂移和幻觉路径问题，显著提升推理性能。

Comments 34 pages,10 figures

Semantics-Guided Multimodal Masked Autoencoder Pretraining for 3D BEV Object Detection

语义引导的多模态掩码自编码器预训练用于3D BEV目标检测

Prabuddhi Wariyapperuma, Rajitha de Silva, Marc Hanheide, Thomas Bohné, Leonardo Guevara

机构 * University of Lincoln, Lincoln Centre for Autonomous Systems（林肯大学，林肯自主系统中心） ； University of Cambridge, Institute for Manufacturing, Department of Engineering（剑桥大学，制造研究所，工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出语义引导的多模态掩码自编码器框架，通过语义引导的LiDAR体素掩码和辅助点语义解码分支，在预训练中注入语义信息，提升3D BEV目标检测性能。

Comments Accepted at the ICRA 2026 Workshop on Semantics for Reliable Robot Autonomy (SRRA) as a lightning talk and poster

Multimodal Functional Maximum Correlation for Emotion Recognition

多模态功能最大相关用于情感识别

Deyang Zheng, Tianyi Zhang, Wenming Zheng, Shujian Yu

机构 * Key Laboratory of Child Development and Learning Science (Ministry of Education), School of Biological Sciences and Medical Engineering, Southeast University（儿童发展与学习科学重点实验室（教育部）、生物科学与医学工程学院、东南大学） ； Department of Artificial Intelligence, Westlake University（人工智能学院、西湖大学） ； Department of Artificial Intelligence, Vrije Universiteit Amsterdam（人工智能学院、阿姆斯特丹自由大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出多模态功能最大相关（MFMC）框架，通过双重总相关目标最大化高阶多模态依赖，在情感识别基准上取得最先进性能。

Comments manuscript accepted by IEEE Transactions on Affective Computing. Code is available at https://github.com/DY9910/MFMC

CSI-tuples-based 3D Channel Fingerprints Construction Assisted by MultiModal Learning

基于CSI元组的多模态学习辅助3D信道指纹构建

Chenjie Xie, Li You, Ruirong Chen, Gaoning He, Xiqi Gao

机构 * National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心） ； Purple Mountain Laboratories（紫金山实验室） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对低空通信中的3D信道指纹构建问题，提出一种基于CSI元组的多模态回归框架，通过融合位置、通信测量和地理环境地图，实现高效高精度的信道状态信息估计。

Comments 14 pages, 9 figures

Journal ref IEEE Transactions on Wireless Communications, vol. 25, pp. 17369-17383, 2026

Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding

Blink: 动态视觉令牌分辨率增强多模态理解

Yuchen Feng, Zhenyu Zhang, Naibin Gu, Yilong Chen, Peng Fu, Zheng Lin, Shuohuan Wang, Yu Sun, Hua Wu, Weiping Wang, Haifeng Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc（百度公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Blink框架，通过注意力引导的令牌超分辨率和动态丢弃机制，在单次前向传播中模拟人类眨眼式扫描，提升多模态大语言模型的视觉感知能力。

Comments CVPR 2026

Multimodal Alignment and Preference Optimization for Zero-Shot Conditional RNA Generation

多模态对齐与偏好优化用于零样本条件RNA生成

Roman Klypa, Alberto Bietti, Sergei Grudinin

机构 * Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室） ； Center for Computational Mathematics, Flatiron Institute（计算数学中心、Flatiron研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出Moirain框架，通过多模态监督微调和直接偏好优化实现条件RNA序列生成，在零样本条件下生成具有高结合亲和力的生物合理RNA序列。

Leveraging Large Language Models for Sentiment Analysis: Multi-Modal Analysis of Decentraland's MANA Token

利用大语言模型进行情感分析：Decentraland的MANA代币多模态分析

Xintong Wu, Peiting Tsai, Jing Yuan, Michael Yu, Greg Sun, Luyao Zhang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CL

AI总结 本研究利用基于BERT的大语言模型对Decentraland的Discord社区进行情感分析，并结合多模态金融数据（历史价格、情感分数、交易量和市值）构建LSTM模型，发现多模态模型在MANA代币回报预测中显著优于仅基于价格的基线模型。

A Camera-Cooperative ISAC Framework for Multimodal Non-Cooperative UAVs Sensing

一种用于多模非合作无人机感知的相机协作ISAC框架

Wenfeng Wu, Luping Xiang, Kun Yang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Institute of Intelligent Networks and Communications (NINE)（智能网络与通信研究院） ； School of Intelligent Software and Engineering, Nanjing University (Suzhou Campus)（南京大学智能软件与工程学院（苏州校区）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出了一种相机协作ISAC框架，通过多模感知实现高效的无人机波束定向和跟踪，提升了感知精度和资源效率。

Multimodal Emotion Recognition with Large Language Models

基于大语言模型的多模态情感识别

Hongrui Zhang, Daiqing Wu, Yangyang Li, Kuien Liu, Yuhui Wang, Yu Zhou, Sicheng Zhao

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文探讨了多模态情感识别中利用大语言模型的范式，总结了现有研究在情感数据增强、多模态情感表示和多模态情感推理三个方向上的进展与挑战，旨在为该领域的发展提供清晰的学术路线图。

Comments Accepted by IJCAI 2026 Survey Track

HDMoE: A Hierarchical Decoupling-Fusion Mixture-of-Experts Framework for Multimodal Cancer Survival Prediction

HDMoE：一种用于多模态癌症生存预测的分层解耦-融合专家混合框架

Huayi Wang, Haochao Ying, Yuyang Xu, Qiyao Zheng, jun wang, Cheng Zhang, Ying Sun, Jian Wu

机构 * Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； Hangzhou City University（杭州市大学） ； Sun Yat-sen University Cancer Center（中山大学肿瘤中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出HDMoE框架，通过分层解耦-融合专家混合方法，有效整合多模态医学数据以提高癌症生存预测的准确性，解决了传统方法中特征解耦和融合效果不佳的问题。

Comments 12 pages, HDMoE has been accepted by KDD 2026 AI for Sciences Track

QwenSafe: Multimodal Content Rating Description Identification via Preference-Aligned VLMs

QwenSafe: 通过偏好对齐的视觉语言模型实现多模态内容评级描述识别

Dishanika Denipitiyage, Aruna Seneviratne, Suranga Seneviratne

机构 * University of Sydney（悉尼大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出QwenSafe，一种通过联合推理应用元数据和截图来自动识别苹果定义的内容评级描述（CRDs）的视觉语言模型，通过引入metadata2CRD数据构建管道和直接偏好优化（DPO）提升模型预测准确性，实验结果显示QwenSafe在二元CRD分类中显著优于现有模型。

PRA-PoE: Robust Multimodal Alzheimer's Diagnosis with Arbitrary Missing Modalities

PRA-PoE: 基于任意缺失模态的鲁棒多模态阿尔茨海默病诊断

Guangqian Yang, Ye Du, Wenlong Hou, Qian Niu, Shujun Wang

机构 * Department of Biomedical Engineering, The Hong Kong Polytechnic University, Hong Kong SAR, China（生物医学工程系，香港理工大学，香港特别行政区，中国） ； Department of Technology Management for Innovation, The University of Tokyo, Japan（创新技术管理系，东京大学，日本） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University, Hong Kong SAR, China（数据科学与人工智能系，香港理工大学，香港特别行政区，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出PRA-PoE框架，通过原型锚定表示对齐和不确定性感知专家融合机制，解决多模态学习中模态缺失导致的表示偏移问题，提升了在不同缺失模式下的诊断鲁棒性与准确性。

Comments Early accepted by MICCAI 2026

DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging

DiM\textsuperscript{3}: 通过方向和幅度感知融合连接多语言和多模态模型

Zijing Wang, Mingyang Wang, Ercong Nie, Yongkang Liu, Shi Feng, Mengjie Zhao, Daling Wang, Xiaocui Yang, Hinrich Schütze

机构 * Northeastern University, China（东北大学，中国） ； CIS, LMU Munich, Germany（慕尼黑莱布尼茨大学计算机学院，德国） ； Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心（MCML），德国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究提出DiM3方法，通过在共享语言模型骨干中融合残差更新，实现多语言和多模态能力的无缝整合，从而提升多语言性能并保持多模态能力。