多模态大模型

Invariant Representation Guided Multimodal Sentiment Decoding with Sequential Variation Regularization

不变表示引导的多模态情感解码与序列变化正则化

Guoyang Xu, Zhenxi Song, Junqi Xue, Yuxin Liu, Zirui Wang, Zhiguo Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳校区） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种通过模态不变融合和序列变化正则化相结合的方法，以提升多模态情感解码的稳定性和准确性。

Comments change Title, Authors, Abstract

A Survey of Token Compression for Efficient Multimodal Large Language Models

多模态大语言模型高效性中的标记压缩综述

Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Xiamen University（厦门大学） ； National University of Singapore（新加坡国立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of Central Florida（佛罗里达大学） ； Salesforce AI Research（Salesforce AI研究） ； Rice University（德克萨斯大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文综述了多模态大语言模型中标记压缩技术，分类讨论了图像、视频和音频三种模态的压缩方法及其机制，旨在推动该领域的发展。

Comments For ongoing updates and to track the latest advances in this promising area, we maintain a public repository: https://github.com/cokeshao/Awesome-Multimodal-Token-Compression

A Baseline Multimodal Approach to Emotion Recognition in Conversations

一种用于对话中情感识别的基线多模态方法

Víctor Yeste, Rodrigo Rivas-Arévalo

机构 * School of Science, Engineering and Design, Universidad Europea de Valencia（科学、工程与设计学院，欧洲大学 Valencia） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本文提出了一种基于Transformer文本分类器和自监督语音模型的多模态基线方法，用于对话中情感识别，并通过实验展示了多模态融合的优势。

Comments 10 pages

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

LLaVA-PruMerge: 适应性令牌减少用于高效的大多模态模型

Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan

机构 * UCF（佛罗里达大学） ； UW-Madison（威斯康星大学麦迪逊分校） ； USC（南加州大学） ； UIC（伊利诺伊大学香槟分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 LLaVA-PruMerge通过自适应视觉令牌减少策略，显著降低视觉令牌数量而不影响性能，适用于高效的大多模态模型。

Comments Accepted to ICCV 2025. First Version is released in 2024/03

UNIC: Learning Unified Multimodal Extrinsic Contact Estimation

UNIC: 学习统一的多模态外在接触估计

Zhengtong Xu, Yuki Shirai

机构 * Edwardson School of Industrial Engineering, Purdue University（帕克大学工业工程学院） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 UNIC通过统一多模态框架实现无需先验知识的外在接触估计，提升手部操作的鲁棒性和适应性。

AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning

AdaFuse：基于强化学习的自适应多模态融合用于肺癌风险预测

Chongyu Qu, Zhengyi Lu, Yuxiang Lai, Thomas Z. Li, Junchao Zhu, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Allen J. Luna, Kim L. Sandler, Bennett A. Landman, Yuankai Huo

机构 * Vanderbilt University（范德比尔特大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； Emory University（埃默里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 AdaFuse利用强化学习实现自适应多模态融合，通过动态选择和融合模态提升肺癌风险预测的AUC性能。

Beyond Open Vocabulary: Multimodal Prompting for Object Detection in Remote Sensing Images

超越开放词汇：面向遥感图像的目标检测多模态提示

Shuai Yang, Ziyue Huang, Jiaxin Chen, Qingjie Liu, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北京航空航天大学，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 RS-MPOD提出了一种多模态开放词汇检测框架，通过整合视觉和文本提示提升遥感图像中目标检测的稳定性与准确性。

Mixture of Disentangled Experts with Missing Modalities for Robust Multimodal Sentiment Analysis

多模态情感分析中缺失模态的解耦专家混合方法

Xiang Li, Xiaoming Zhang, Dezhuang Miao, Xianfu Cheng, Dawei Li, Honggui Han, Zhoujun Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 DERL通过解耦专家和多层次重建策略，提升多模态情感分析在缺失模态下的鲁棒性和表现

ConsensusDrop: Fusing Visual and Cross-Modal Saliency for Efficient Vision Language Models

ConsensusDrop：融合视觉与跨模态显著性以提高视觉语言模型的效率

Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Office（陆军研究办公室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 ConsensusDrop通过融合视觉与跨模态显著性，提高视觉语言模型的效率和准确性，优于现有token修剪方法。

Comments Technical Report

Towards Trustworthy Multimodal Recommendation

迈向可信的多模态推荐

Zixuan Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态推荐系统中的可信度校正方法，通过学习模态特征的软对应关系以提升鲁棒性，并验证了交互级可信度的两个关键观察。

Comments Preprint, 10 pages, 5 figures

AtomGraph: Tackling Atomicity Violation in Smart Contracts using Multimodal GCNs

AtomGraph: 通过多模态GCN解决智能合约中的原子性违规问题

Xiaoqi Li, Zongwei Li, Wenkai Li, Zeng Zhang, Lei Xie

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 AtomGraph通过多模态GCN检测智能合约中的原子性违规，实现高准确率和F1分数，优于现有工具。

Synesthesia of Vehicles: Tactile Data Synthesis from Visual Inputs

车辆的联觉：从视觉输入合成触觉数据

Rui Wang, Yaoguang Cao, Yuyi Chen, Jianyi Xu, Zhuoyang Li, Jiachen Shang, Shichun Yang

机构 * Dept. of Transportation Science, Beihang Univ.（北京航空航天大学交通运输科学系） ； State Key Lab of Intelligent Transportation System, Beihang Univ.（北京航空航天大学智能交通系统国家重点实验室） ； Hangzhou International Innovation Institute, Beihang Univ.（杭州国际创新研究院） ； China Software Testing Center(Ministry of Industry and Information Technology Software and Integrated Circuit Promotion Center)（中国软件测试中心（工业和信息化部软件与集成电路促进中心）） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出基于视觉输入的触觉数据合成方法，通过跨模态时空对齐和潜在扩散模型提升自动驾驶车辆的触觉感知能力，从而增强安全性能。

ToPT: Task-Oriented Prompt Tuning for Urban Region Representation Learning

为城市区域表示学习设计的任务导向提示微调：ToPT

Zitao Guo, Changyang Jiang, Tianhong Zhao, Jinzhou Cao, Genan Dai, Bowen Zhang

机构 * College of Applied Science, Shenzhen University, Shenzhen, China（深圳大学应用科学学院） ； School of Artificial Intelligence, Shenzhen Technology University, Shenzhen, China（深圳科技大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 ToPT通过空间一致融合和任务对齐提升城市区域表示学习，实现任务导向的提示微调，提升多个城市任务的性能。

Comments The paper has been accepted by ICASSP 2026

Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities

协同表征学习用于触觉、语言和视觉模态的对齐

Yiyun Zhou, Mingjing Xu, Jingwei Shi, Quanjiang Li, Jingyuan Chen

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 TLV-CoRe通过协同表征学习提升触觉、语言和视觉模态的跨模态对齐与泛化能力。

Vision-Proprioception Fusion with Mamba2 in End-to-End Reinforcement Learning for Motion Control

基于Mamba2的视觉-本体感知融合在端到端强化学习中的运动控制

Xiaowen Tao, Yinuo Wang, Jinzhao Zhou

机构 * School of Computer Science and Statistics, Trinity College Dublin（都柏林三一学院计算机科学与统计学系） ； Faculty of Engineering and Information Technology, University of Technology Sydney（新南威尔士大学理工学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于SSD-Mamba2的视觉-本体感知融合框架，通过端到端强化学习提升运动控制的效率和安全性。

Comments 6 figures and 8 tables. This paper has been accepted by Advanced Engineering Informatics

Journal ref Advanced Engineering Informatics, vol. 71, 2026

Samba+: General and Accurate Salient Object Detection via A More Unified Mamba-based Framework

Samba+: 通过更统一的Mamba框架实现通用且准确的显著目标检测

Wenzhuo Zhao, Keren Fu, Jiahao He, Xiaohong Liu, Qijun Zhao, Guangtao Zhai

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） ； National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（合成视觉基础科学国家级重点实验室） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院） ； School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 Samba+通过统一的Mamba框架实现多模态显著目标检测，提升模型通用性和准确性。

When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning

何时秩-1足够？基于几何的初始化方法用于参数高效微调

Haoran Zhao, Soyeon Caren Han, Eduard Hovy

机构 * School of Computing and Information Systems, University of Melbourne, Melbourne, Australia（计算机与信息系统学院，墨尔本大学，墨尔本，澳大利亚） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Gap-Init方法，通过几何感知初始化稳定秩-1 LoRA微调，证明初始对齐对训练稳定性的重要性。

You Only Forward Once: An Efficient Compositional Judging Paradigm

你只需一次转发：一种高效的组合判断范式

Tianlong Zhang, Hongwei Xue, Shilin Yan, Di Wu, Chen Xu, Guannan Zhang, Yunyun Yang

机构 * School of Science, Harbin Institute of Technology, Shenzhen, Guangdong Province, China（哈尔滨工业大学深圳校区科学学院） ； Accio, Alibaba Group, Hangzhou, Zhejiang Province, China（阿里集团杭州Accio） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 YOFO通过单次前向传递高效判断多模态大语言模型的结构化要求，实现速度与可解释性的平衡，同时支持依赖分析和事后CoT。

Learning Modal-Mixed Chain-of-Thought Reasoning with Latent Embeddings

通过潜在嵌入学习模态混合的思考链推理

Yifei Shao, Kun Zhou, Ziming Xu, Mohammad Atif Quamar, Shibo Hao, Zhen Wang, Zhiting Hu, Biwei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出模态混合CoT方法，通过潜在嵌入结合视觉与文本信息，提升多模态推理性能。

Uncovering Latent Communication Patterns in Brain Networks via Adaptive Flow Routing

通过自适应流路由揭示脑网络中的潜在通信模式

Tianhao Huang, Guanghui Min, Zhenyu Lei, Aiying Zhang, Chen Chen

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出AFR-Net，通过神经通信动态视角融合SC和FC，揭示潜在神经通路，优于现有方法。

ForSim: Stepwise Forward Simulation for Traffic Policy Fine-Tuning

ForSim：基于逐步前向模拟的交通策略微调

Keyu Chen, Wenchao Sun, Hao Cheng, Zheng Fu, Sifa Zheng

机构 * School of Vehicle and Mobility, Tsinghua University（车辆与移动系统学院，清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 ForSim通过逐步闭环前向模拟范式提升交通模拟的保真度，结合组相对优化微调交通策略，提高安全性与效率。

Comments Accepted by ICRA 2026

Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment

森林引导的语义传输用于标签监督的流形对齐

Adrien Aumon, Myriam Lizotte, Guy Wolf, Kevin R. Moon, Jake S. Rhodes

机构 * Department of Mathematics and Statistics, Université de Montréal, Montreal, Canada（蒙特利尔大学数学与统计学系） ； Mila - Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所） ； Department of Mathematics and Statistics, Utah State University, Logan, Utah, USA（犹他州立大学数学与统计学系） ； Department of Statistics, Brigham Young University, Provo, Utah, USA（Brigham Young 大学统计学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 FoSTA通过森林引导的语义传输对齐方法，提升多模态数据对齐和标签转移的性能。

Robust MLLM Unlearning via Visual Knowledge Distillation

通过视觉知识蒸馏实现鲁棒的多模态大语言模型去学习

Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Haichang Gao, Gang Hua

机构 * Xidian University, China（西安电子科技大学） ； XJTU University, China（西安交通大学） ； Amazon.com, USA（亚马逊公司） 纠错

专题命中 其他多模态 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过视觉知识蒸馏实现多模态大语言模型的鲁棒去学习，有效保留文本知识并提升效率。

Entropy-Guided Data-Efficient Training for Multimodal Reasoning Reward Models

熵引导的数据高效训练用于多模态推理奖励模型

Shidong Yang, Tongwen Huang, Hao Wen, Yong Wang, Li Chen, Xiangxiang Chu

机构 * School of Software, Tsinghua University（清华大学软件学院） ； AMAP, Alibaba Group（阿里巴巴集团AMAP） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出熵引导训练方法，通过熵指导数据筛选和训练策略提升多模态推理奖励模型的性能。

Multimodal Machine Learning for Integrating Heterogeneous Analytical Systems

多模态机器学习用于整合异质分析系统

Shun Muroga, Hideaki Nakajima, Taiyo Shimizu, Kazufumi Kobashi, Kenji Hata

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出多模态机器学习框架，通过整合多种分析数据，提升复杂材料的表征精度与解释性。

Comments 12 pages, 4 figures, 2 tables

Modality as Heterogeneity: Node Splitting and Graph Rewiring for Multimodal Graph Learning

模态作为异质性：用于多模态图学习的节点分裂与图重 wiring

Yihan Zhang, Ercan E. Kuruoglu

机构 * Institute of Data and Information, Shenzhen International Graduate School, Tsinghua University（数据与信息研究所，深圳国际研究生院，清华大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 NSG-MoE通过节点分裂与图重 wiring机制，结合结构化MoE架构，有效解决多模态图学习中的模态混淆问题，提升模型的结构信息保留与泛化能力。

Leveraging Textual-Cues for Enhancing Multimodal Sentiment Analysis by Object Recognition

利用文本提示增强多模态情感分析的物体识别

Sumana Biswas, Karen Young, Josephine Griffith

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出TEMSA方法，通过结合物体识别和文本信息提升多模态情感分析的准确性。

Uncertainty-Aware Multimodal Learning via Conformal Shapley Intervals

通过置信区间实现的不确定性感知多模态学习

Mathew Chandy, Michael Johnson, Judong Shen, Devan V. Mehrotra, Hua Zhou, Jin Zhou, Xiaowu Dai

机构 * Department of Statistics and Data Science, UCLA（统计与数据科学系， UCLA） ； Merck & Co（默克公司） ； Department of Biostatistics, UCLA（生物统计学系， UCLA） ； Departments of Statistics and Data Science, and of Biostatistics, UCLA（统计与数据科学系以及生物统计学系， UCLA） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出了一种结合Shapley值与符合推断的框架，用于构建不确定性感知的重要性区间，从而实现更可靠和可解释的多模态学习。

Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling

赫мес：一种增强多模态跨语言字幕表达力的统一框架

Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences Beijing China ； School of AI, University of\ Academy of Sciences Beijing China ； Beijing Jiaotong University Beijing China ； Geely AI lab Ningbo Zhejiang China ； MAIS, Institute of Automation, Chinese Academy of Sciences ； School of AI, University of\ Academy of Sciences ； Beijing Jiaotong University ； Geely AI lab 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CL、cs.AI

AI总结 赫мес通过整合说话人分离、术语识别和表达力增强模块，提升了多模态跨语言字幕的表达力和连贯性，实现了最先进的字幕生成性能。

Comments Accepted to The Web Conference (WWW) 2026

Discovering Process-Outcome Credit in Multi-Step LLM Reasoning

在多步骤LLM推理中发现过程-结果信用

Xiangwei Wang, Wei Wang, Ken Chen, Nanduni Nimalsiri, Saman Halgamuge

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新的框架，通过分步边际信息增益机制和解耦掩码策略，提升多步骤LLM推理的样本效率和准确性，并增强模型的分布外鲁棒性。