多模态大模型

Mind the Gap No More: Achieving Zero-Gap Multimodal Integration via One Tokenizer

不再有间隙：通过一个分词器实现零间隙多模态整合

Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

机构 * Research Center for Frontier Fundamental Studies, Zhejiang Lab（前沿基础研究研究中心，浙江实验室） ； Research Center for Scientific Data Hub, Zhejiang Lab（科学数据枢纽研究中心，浙江实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出One Tokenizer，通过统一词汇实现多模态无缝整合，克服传统架构的几何模态间隙问题，提升生物推理性能。

Comments Under review at NeurIPS 2026

GraphFusion3D: Dynamic Graph Attention Convolution with Adaptive Cross-Modal Transformer for 3D Object Detection

GraphFusion3D: 动态图注意力卷积与自适应跨模态Transformer用于3D目标检测

Md Sohag Mia, Md Nahid Hasan, Muhammad Abdullah Adnan

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出GraphFusion3D框架，结合多模态融合与先进特征学习，通过自适应跨模态Transformer增强几何与语义信息，并引入图推理模块捕捉局部结构与全局语义，实验在SUN RGB-D和ScanNetV2上均取得显著提升。

UniD-Shift: Towards Unified Semantic Segmentation via Interpretable Share-Private Multimodal Decomposition

UniD-Shift：通过可解释的共享-私有多模态分解实现统一的语义分割

Shuai Zhang, Zhecheng Shi, Zhuxiao Li, Jing Ou, Tengxi Wang, Yuan Liu, Wufan Zhao

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出UniD-Shift框架，通过结合视觉和几何编码器提取互补特征，并通过共享-私有子空间分解实现2D-3D语义分割的统一。实验表明在SemanticKITTI和nuScenes数据集上优于基线方法，且具有良好的泛化能力。

Band Together: Untargeted Adversarial Training with Multimodal Coordination against Evasion-based Promotion Attacks

Band Together: 多模态协调的无目标对抗训练对抗基于逃避的推广攻击

Guanmeng Xian, Ning Yang, Philip S. Yu

机构 * Sichuan University（四川大学） ； University of Illinois at Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出UAT-MC方法，通过多模态协调解决逃避攻击中未知目标项的问题，提升系统鲁棒性并保持推荐性能。

Adaptive Physical-Facial Representation Fusion via Subject-Invariant Cross-Modal Prompt Tuning for Video-Based Emotion Recognition

基于主体不变跨模态提示调优的自适应物理-面部表征融合用于基于视频的情感识别

Xiwen Luo, Jia Li, Rencheng Song, Yu Liu, Juan Cheng

机构 * Department of Biomedical Engineering（生物医学工程系） ； Anhui Province Key Laboratory of Measuring Theory and Precision Instrument（安徽省测量理论与精密仪器重点实验室） ； School of Computer Science and Information Engineering（计算机科学与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种主体不变的跨模态提示调优框架，通过将rPPG波形转换为噪声鲁棒的时间-频率表示，并引入解耦共享-特定适配器以提升跨主体泛化能力，实验证明在MAHNOB-HCI和DEAP基准上优于现有方法。

Comments The source code will be available at https://github.com/MSA-LMC/SCPT

LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations

LIMSSR：基于大语言模型的训练时不完整多模态观察下的序列到评分推理

Huangbiao Xu, Huanqi Wu, Xiao Ke, Yuxin Peng

机构 * Fujian Provincial Key Laboratory of Networking Computing（网络计算与智能信息处理福建省重点实验室） ； Intelligent Information Processing, College of Computer（智能信息处理学院） ； Data Science, Fuzhou University（数据科学，福州大学） ； Engineering Research Center of Big Data Intelligence, Ministry of Education（大数据智能工程研究中心，教育部） ； Wangxuan Institute of Computer Technology, Peking University（王宣计算机技术研究所，北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LIMSSR框架，通过提示引导的上下文感知模态补全和多维表示融合，解决训练时不完整多模态数据下的序列到评分推理问题，并在三个动作质量评估数据集上验证了其有效性。

Comments ICML 2026 [Spotlight]

Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

开放词汇语义分割网络：整合对象级标签与场景级语义特征用于多模态遥感图像

Jinkun Dai, Yuanxin Ye, Peng Tang, Tengfeng Tang, Xianping Ma, Jing Xiao, Mi Wang

机构 * Faculty of Geosciences and Engineering, Southwest Jiaotong University, Chengdu 611756, China（西南交通大学地质工程学院，成都 611756，中国） ； State-Province Joint Engineering Laboratory of Spatial Information Technology for High-Speed Railway Safety, Southwest Jiaotong University, Chengdu 611756, China（高速铁路安全空间信息技术省部共建工程实验室，西南交通大学，成都 611756，中国） ； School of Artificial Intelligence, Wuhan University, Wuhan 430072, China（武汉大学人工智能学院，武汉 430072，中国） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430072, China（武汉大学测绘遥感信息工程国家重点实验室，武汉 430072，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出TSMNet，通过整合文本监督与视觉表示，实现开放词汇语义分割，利用双分支文本编码器提取场景级语义和对象级标签信息，提升遥感图像分割的准确性和可解释性。

Text-Guided Multimodal Unified Industrial Anomaly Detection

基于文本引导的多模态统一工业异常检测

Zewen Li, Shuo Ye, Zitong Yu, Weicheng Xie, Linlin Shen

机构 * School of Computer Science & Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Computing and Information Technology, Great Bay University（海湾大学计算机与信息学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于文本语义的多模态统一工业异常检测框架，解决跨模态对齐和几何建模不足问题，通过几何感知跨模态映射和对象条件文本特征适配器实现多模态特征对齐，实现跨类别的准确异常检测。

Comments 12 pages

GoCoMA: Hyperbolic Multimodal Representation Fusion for Large Language Model-Generated Code Attribution

GoCoMA：超几何多模态表示融合用于大语言模型生成代码归因

Nitin Choudhury, Bikrant Bikram Pratap Maurya, Bhavinkumar Vinodbhai Kuwar, Arun Balaji Buduru

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 GoCoMA通过超几何空间融合代码风格和二进制特征，提升大语言模型生成代码的归因准确性，在两个基准测试中优于单一模态和欧几里得多模态基线。

Comments Accepted to the International Conference on Multimedia & Expo (ICME) 2026

Multimodal Protein Language Models for Enzyme Kinetic Parameters: From Substrate Recognition to Conformational Adaptation

多模态蛋白质语言模型用于酶动力学参数：从底物识别到构象适应

Fei Wang, Xinye Zheng, Kun Li, Yanyan Wei, Yuxin Liu, Ganpeng Hu, Tong Bao, Jingwen Yang

机构 * School of Computer Science and Information Engineering（计算机科学与信息工程学院） ； Institute of Artificial Intelligence（人工智能研究院） ； CVLab, College of Information Technology（CV实验室，信息学院） ； Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室） ； School of Food Biological Engineering（食品生物工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出多阶段多模态条件建模方法，通过ERBA模块在蛋白质语言模型中注入跨模态信息，提升酶动力学参数预测的准确性与生物合理性。

Comments Accepted by CVPR 2026

PanDA: Unsupervised Domain Adaptation for Multimodal 3D Panoptic Segmentation in Autonomous Driving

PanDA: 无监督领域自适应用于自动驾驶中的多模态3D全景分割

Yining Pan, Shijie Li, Yuchen Wu, Xulei Yang, Na Zhao

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Institute for Infocomm Research (I2R), A*STAR, Singapore（新加坡资讯通信研究院（I2R），A*STAR，新加坡） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出PanDA框架，针对多模态3D全景分割的无监督领域自适应问题，通过不对称多模态增强和双专家伪标签细化模块提升鲁棒性和伪标签完整性，实验表明在多种领域转移场景下超越现有SOTA方法。

Comments Accepted at the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2026

ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety

ProjLens: 揭示项目器在多模态模型安全中的作用

Kun Wang, Cheng Qian, Miao Yu, Lilan Peng, Liang Lin, Jiaming Zhang, Tianyu Zhang, Yu Cheng, Yang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） ； Southwest Jiaotong University（西南交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 ProjLens通过分析多模态大语言模型中的后门攻击机制，揭示了项目器在安全漏洞中的关键作用，发现后门注入参数编码于低秩子空间，并通过实验验证了激活机制的差异。

Comments 18 pages ,15 figures

Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis

增强后再平衡模态协作用于鲁棒多模态情感分析

Kang He, Yuzhe Ding, Xinrong Wang, Fei Li, Chong Teng, Donghong Ji

机构 * Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航天信息安全部门与可信计算教育部重点实验室，网络安全科学与工程学院，武汉大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出EBMC框架，通过语义解耦和跨模态增强提升表示质量，结合能量引导模态协调机制和实例感知模态信任蒸馏，解决多模态情感分析中的模态不平衡问题，实验显示其在缺失模态情况下表现优异。

Comments Accepted by CVPR 2026

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

MNAFT：多模态大语言模型的模态神经感知微调用于图像翻译

Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

机构 * School of Computer Science and Technology, Tianjin University, Tianjin, China（天津大学计算机科学与技术学院） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院） ； School of Information Resource Management, Renmin University of China,Beijing, China（中国人民大学信息资源管理学院） ； School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出MNAFT，通过识别视觉和语言模块中语言无关和语言特定的神经元，改进多模态大语言模型在图像翻译中的表现，实验表明其优于现有方法。

Comments Accepted by SCIS (SCIENCE CHINA Information Science)

Collaboration of Fusion and Independence: Hypercomplex-driven Robust Multi-Modal Knowledge Graph Completion

融合与独立的协作：超复数驱动的鲁棒多模态知识图谱补全

Zhiqiang Liu, Yichi Zhang, Mengshu Sun, Lei Liang, Wen Zhang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； ZJU-Ant Group Joint Lab of Knowledge Graph（浙大蚂蚁集团知识图谱联合实验室） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出M-Hyper方法，结合融合与独立模态表示，利用四元数代数实现多模态交互，提升知识图谱补全的鲁棒性和效率。

Comments ACL 2026 (Main)

Generative Modeling of Class Probability for Multi-Modal Representation Learning

多模态表示学习中的类别概率生成建模

Jungkyoo Shin, Bumsoo Kim, Eunwoo Kim

机构 * Department of AI（人工智能系） ； School of CSE（计算机科学与工程学院） ； Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于类别概率分布的多模态表示学习方法CALM，通过生成和对齐类别概率分布提升多模态对齐效果，并引入跨模态概率变分自编码器以增强模态间关系的建模能力。

Comments To appear in CVPR 2025 (Highlight)

Journal ref Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2025, pp. 20737-20746

MAny: Merge Anything for Multimodal Continual Instruction Tuning

MAny：为多模态连续指令微调合并任何内容

Zijian Gao, Wangwang Jia, Xingxing Zhang, Pengfei Qian, Tao Sun, Bo Ding, Yong Dou, Huaimin Wang, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology（国防科技大学并行与分布式计算国家重点实验室） ； State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室） ； School of Computer Science, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多模态连续指令微调中感知漂移和推理崩溃问题，提出MAny框架，通过跨模态投影合并和低秩参数合并实现任务知识融合，提升模型鲁棒性和性能。

Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks

为何多模态上下文学习滞后？揭示内部机制和瓶颈

Yu Wang, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文分析了多模态上下文学习在零样本设置中表现与少样本演示下退化的原因，揭示了模型在视觉与文本表示对齐和任务映射转移方面的不足，并提出改进方法。

Comments ACL Main 2026

RSGMamba: Reliability-Aware Self-Gated State Space Model for Multimodal Semantic Segmentation

RSGMamba：面向多模态语义分割的可靠性感知自门控状态空间模型

Guoan Xu, Yang Xiao, Guangwei Gao, Dongchen Zhu, Guo-Jun Qi, Wenjing Jia

机构 * Faculty of Engineering and Information Technology, University of Technology Sydney（工程与信息技术学院，悉尼技术大学） ； PCA Lab, Key Laboratory of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, School of Computer Science and Engineering, Nanjing University of Science and Technology（教育部高维信息智能感知与系统重点实验室，南京理工大学计算机科学与工程学院） ； Bionic Vision Systems Laboratory, Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所生物视觉系统实验室） ； Research Center for Industries of the Future and the School of Engineering, Westlake University（未来产业研究中心和工程学院，西湖大学） ； OPPO Research, Seattle, WA 98101 USA（OPPO研究，美国华盛顿州西雅图98101） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出RSGMamba框架，通过可靠性感知自门控机制提升多模态语义分割性能，实验表明其在RGB-D和RGB-T基准上取得最优结果，参数量仅48.6M。

Comments 7tables,9 figures

Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection

多模态伪装物体检测的模态无关提示学习

Hao Wang, Jiqing Zhang, Xin Yang, Baocai Yin, Lu Jiang, Zetian Mi, Huibing Wang

机构 * Information Science and Technology College, Dalian Maritime University（大连海事大学信息科学与技术学院） ； Beijing University of Technology（北京理工大学） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种模态无关的提示学习框架，用于多模态伪装物体检测，通过数据驱动内容域与知识驱动提示域的交互，生成统一提示以提升SAM模型性能，并引入轻量级Mask Refine模块以提高检测精度。

Comments 10

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

HAWK：多模态模型中的头部重要性感知视觉标记修剪

Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies, Inc（长鑫存储技术有限公司） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 HAWK通过识别不同注意力头在视觉任务中的重要性，有效保留关键视觉标记，提升多模态模型的推理效率与性能。

Comments CVPR 2026

Routing-Based Continual Learning for Multimodal Large Language Models

基于路由的多模态大语言模型持续学习

Jay Mohta, Kenan Emir Ak, Gwang Lee, Dimitrios Dimitriadis, Yan Xu, Mingwei Shen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出一种基于路由的持续学习方法，用于多模态大语言模型，有效缓解灾难性遗忘并提升跨模态迁移性能，同时保持训练效率。

PanLUNA: An Efficient and Robust Query-Unified Multimodal Model for Edge Biosignal Intelligence

PanLUNA: 一种高效且稳健的多模态模型，用于边缘生物信号智能

Marija Zelic, Anna Tegon, Yawei Li, Thorir Mar Ingolfsson, Luca Benini

机构 * DEI, University of Bologna（博洛尼亚大学DEI） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 PanLUNA是一种紧凑的多模态基础模型，能够高效处理EEG、ECG和PPG信号，实现跨模态早期融合，同时在推理时对缺失模态具有鲁棒性。其在生物信号检测和睡眠分期任务中表现出色。

Comments 5 pages, 5 tables, 1 figure, preprint

VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection

VMAD：视觉增强的多模态大语言模型用于零样本异常检测

Huilin Deng, Hongchen Luo, Wei Zhai, Yang Cao, Yu Kang

机构 * University of Science and Technology of China（中国科学技术大学） ； Northeastern University（东北大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 VMAD通过结合视觉信息与多模态大语言模型，提升零样本异常检测的精度与分析能力，提出缺陷敏感结构学习和局部增强令牌压缩等方法，结合RIAD数据集验证了其有效性。

Progressive Prompt-Guided Cross-Modal Reasoning for Referring Image Segmentation

逐步引导的跨模态推理用于指代图像分割

Jiachen Li, Hongyun Wang, Jinyu Xu, Wenbo Jiang, Yanchun Ma, Yongjian Liu, Qing Xie, Bolong Zheng

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； University of Electronic Science and Technology of China（电子科技大学） ； Wuhan Vocational College of Software and Engineering（武汉软件工程职业学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出PPCR框架，通过语义理解-空间定位-实例分割流程，改进指代图像分割中语言描述与视觉表示的连接，提升分割精度。

Multimodal Forecasting for Commodity Prices Using Spectrogram-Based and Time Series Representations

基于频谱和时间序列表示的商品价格多模态预测

Soyeon Park, Doohee Chung, Charmgil Hong

机构 * Impactive AI 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出SEMF方法，结合频谱和时间序列表示，提升多变量时间序列预测的准确性与鲁棒性，通过多模态融合和频谱编码在多个商品价格预测任务中优于七种基线模型。

Comments AAAI 2026 Summer Symposium Series; 9 pages

VisionTrim: Unified Vision Token Compression for Training-Free MLLM Acceleration

VisionTrim: 一种用于无训练多模态大语言模型加速的统一视觉标记压缩方法

Hanxun Yu, Wentong Li, Xuan Qu, Song Wang, Junbo Chen, Jianke Zhu

机构 * State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； NUAA（南京航空航天大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出VisionTrim，通过整合DVTS和TGVC模块，有效减少视觉标记，提升多模态大语言模型在高分辨率和视频场景中的计算效率。

Comments ICLR2026, Code Link: https://github.com/hanxunyu/VisionTrim

MM-OVSeg:Multimodal Optical-SAR Fusion for Open-Vocabulary Segmentation in Remote Sensing

MM-OVSeg：多模态光学-合成孔径雷达融合用于遥感中的开放词汇分割

Yimin Wei, Aoran Xiao, Hongruixuan Chen, Junshi Xia, Naoto Yokoya

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所先进智能研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MM-OVSeg通过融合光学和SAR数据，提升恶劣天气下的开放词汇分割鲁棒性与泛化能力，采用跨模态统一过程和双编码器融合模块实现多传感器表征对齐与多模态分割。

Comments CVPR2026

Towards Comprehensive Real-Time Scene Understanding in Ophthalmic Surgery through Multimodal Image Fusion

通过多模态图像融合实现眼科手术中的全面实时场景理解

Nikolo Rohrmoser, Ghazal Ghazaei, Michael Sommersperger, Nassir Navab

机构 * Technical University of Munich（慕尼黑工业大学） ； Carl Zeiss AG（卡尔蔡司公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出一种多模态实时网络架构，用于联合仪器检测、关键点定位和工具-组织距离估计，通过多模态图像融合提升手术场景理解的准确性和实时性。

Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs

弥合感知与推理：用于多模态大语言模型中RLVR的标记重加权

Jinda Lu, Junkang Wu, Jinghan Li, Kexin Huang, Shuo Yang, Guoyin Wang, Jiancan Wu, Xiang Wang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Independent Researcher（独立研究员） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出Token-Reweighting策略，通过动态重加权多模态大语言模型中的感知与推理标记，提升RLVR性能，实现视觉 grounding 和推理的协同优化。