多模态大模型

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

InstructVLA: 从理解到操作的视觉-语言-动作指令微调

Shuai Yang, Hao Li, Bin Wang, Yilun Chen, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 InstructVLA通过视觉-语言-动作指令微调，实现了在多模态推理和动作生成之间的平衡，提升了机器人在复杂任务中的操控性能和泛化能力。

Comments 48 pages

RippleGUItester: Change-Aware Exploratory Testing

RippleGUItester: 基于变更的探索性测试

Yanqi Su, Michael Pradel, Chunyang Chen

专题命中 多模态Agent ：multimodal(abstract)

AI总结 RippleGUItester通过基于大语言模型的变更影响分析，结合多模态bug检测，发现由代码变更引入的bug，提升测试效率和准确性。

Estimate Hitting Time by Hitting Probability for Elitist Evolutionary Algorithms

通过击中概率估计精英进化算法的击中时间

Jun He, Siang Yew Chong, Xin Yao

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出通过击中概率的漂移分析方法，用于估计精英进化算法的击中时间，通过引入路径处理多模态适应度景观，简化了击中概率的计算并比较了两种算法的性能。

Journal ref IEEE Transactions on Evolutionary Computation 12 November 2025

Enhancing the Interpretability of SHAP Values Using Large Language Models

利用大语言模型增强SHAP值的可解释性

Xianlong Zeng, Kewen Zhu

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文利用大语言模型提升SHAP值的可解释性，使非技术用户更易理解模型预测。

Comments 8 pages

Beyond Language Modeling: An Exploration of Multimodal Pretraining

超越语言模型：多模态预训练的探索

Shengbang Tong, David Fan, John Nguyen, Ellis Brown, Gaoyue Zhou, Shengyi Qian, Boyang Zheng, Théophane Vallaeys, Junlin Han, Rob Fergus, Naila Murray, Marjan Ghazvininejad, Mike Lewis, Nicolas Ballas, Amir Bar, Michael Rabbat, Jakob Verbeek, Luke Zettlemoyer, Koustuv Sinha, Yann LeCun, Saining Xie

机构 * FAIR, Meta（FAIR、Meta） ； New York University（纽约大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文通过多模态预训练探索，揭示了视觉与语言数据的互补性及统一预训练对世界建模的促进作用，并提出MoE架构解决多模态扩展的不对称性问题。

Comments Project website at https://beyond-llms.github.io/

EIMC: Efficient Instance-aware Multi-modal Collaborative Perception

EIMC: 高效实例感知多模态协作感知

Kang Yang, Peng Wang, Lantao Li, Tianci Bu, Chen Sun, Deying Li, Yongcai Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Sony Research and Development Center China（索尼（中国）研发有限公司） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 EIMC通过实例感知的多模态协作感知方法，提升自动驾驶安全性，减少带宽使用，实现高效且准确的3D感知。

Comments 9 pages, 8 figures, 7 tables

SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data

SGMA: 基于不完整多模态数据的语义引导模态感知遥感语义分割

Lekang Wen, Liang Liao, Jing Xiao, Mi Wang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SGMA通过语义引导和模态感知方法解决不完整多模态数据下的语义分割问题，提升模态间平衡性和一致性。

Q-BERT4Rec: Quantized Semantic-ID Representation Learning for Multimodal Recommendation

Q-BERT4Rec: 量化语义-ID表示学习用于多模态推荐

Haofeng Huang, Ling Gai

机构 * University of Shanghai for Science and Technology（上海科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 Q-BERT4Rec通过统一语义表示与量化建模，提升多模态推荐的性能和可解释性。

Comments Submitted to KDD2026

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle

Shuffle-R1: 通过数据导向的动态洗牌提升多模态大语言模型的强化学习框架

Linghao Zhu, Yiran Guan, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Bin Qin, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 Shuffle-R1通过动态洗牌和轨迹采样提升多模态大语言模型的强化学习效率，实现更高效的训练效果。

Comments This paper has been accepted by ICLR 2026. Conference link: https://iclr.cc/virtual/2026/poster/10007559 OpenReview link: https://openreview.net/forum?id=mYP33u1QBK Project page at: https://xenozlh.github.io/Shuffle-R1/

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

DMTrack: Spatio-Temporal Multimodal Tracking via Dual-Adapter

DMTrack: 基于双适配器的时空多模态跟踪

Weihong Li, Shaohua Dong, Haonan Lu, Yanhao Zhang, Heng Fan, Libo Zhang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系） ； OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 DMTrack通过双适配器架构实现时空多模态跟踪，利用STMA和PMCA模块提升跨模态融合效果，达到先进性能。

Comments Accepted by ICRA 2026

Towards an Incremental Unified Multimodal Anomaly Detection: Augmenting Multimodal Denoising From an Information Bottleneck Perspective

迈向增量统一多模态异常检测：从信息瓶颈视角增强多模态去噪

Kaifang Long, Lianbo Ma, Jiaqi Liu, Liming Liu, Guoyang Xie

机构 * Software College, Northeastern University, China（东北大学软件学院） ； CATL, China（宁德时代） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出IB-IUMAD框架，通过Mamba解码器和信息瓶颈融合模块解决多模态异常检测中的灾难性遗忘问题，提升模型对新兴对象的适应能力。

PanoMHD: Multimodal Modelling of Plasma Dynamics towards Tokamak Control

PanoMHD：面向托卡马克控制的等离子体动力学多模态建模

Hyeongjun Noh, Chweeho Heo, Xiaotian Gao, Yong-Su Na

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 PanoMHD通过多模态建模提升等离子体稳定性预测，实现对托卡马克控制的先进性能。

PSQE: A Theoretical-Practical Approach to Pseudo Seed Quality Enhancement for Unsupervised Multimodal Entity Alignment

PSQE：一种伪种子质量增强的理论-实践方法用于无监督多模态实体对齐

Yunpeng Hong, Chenyang Bu, Jie Zhang, Yi He, Di Wu, Xindong Wu

机构 * Key Laboratory of Knowledge Engineering with Big Data (the Ministry of Education of China), Hefei University of Technology（大数据知识工程重点实验室（教育部）、合肥工业大学） ； Department of Data Science, College of William and Mary（威廉与玛丽学院数据科学系） ； College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 PSQE通过多模态信息和聚类重采样提升伪种子质量，改善无监督多模态实体对齐的精度与图覆盖平衡性。

Comments 2026 SIGKDD Accept

MoToRec: Sparse-Regularized Multimodal Tokenization for Cold-Start Recommendation

MoToRec：基于稀疏正则化的多模态分词用于冷启动推荐

Jialin Liu, Zhaorui Zhang, Ray C. C. Cheung

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 MoToRec通过稀疏正则化的多模态分词方法，解决冷启动推荐中的数据稀疏性和新物品表示问题，提升推荐系统性能。

Comments Accepted to AAAI 2026 (Main Track)

SGPA: Spectrogram-Guided Phonetic Alignment for Feasible Shapley Value Explanations in Multimodal Large Language Models

SGPA: 基于频谱的语音对齐用于多模态大语言模型中可行的谢普利值解释

Paweł Pozorski, Jakub Muszyński, Maria Ganzha

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 eess.AS

AI总结 SGPA通过结合连接主义时间分类和频谱边界细化，实现了多模态大语言模型中可行的音频解释，显著减少了模型评估次数并保持了全局轮廓。

Comments Submitted for admission in Interspeech 2026 conference

CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

CAWM-Mamba：一种用于红外可见图像融合和复合恶劣天气恢复的统一模型

Huichun Liu, Xiaosong Li, Zhuangfan Huang, Tao Ye, Yang Liu, Haishu Tan

机构 * School of Physics（物理学院） ； Optoelectronic Engineering, Foshan University, Foshan 528225, China（光学电子工程学院，佛山大学，佛山528225，中国） ； Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology, Foshan 528225, China（粤港澳联合智能微纳光电子技术实验室，佛山528225，中国） ； School of Mechanical Electronic（机械电子学院） ； Information Engineering, China University of Mining and Technology, Beijing 100083, China（信息工程学院，中国矿业大学，北京100083，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 CAWM-Mamba提出了一种统一模型，用于红外可见图像融合和复合恶劣天气恢复，通过三个关键模块提升多退化场景下的性能。

Unsupervised Deformable Image Registration with Local-Global Attention and Image Decomposition

无监督可变形图像配准与局部-全局注意力及图像分解

Zhengyong Huang, Xingwen Sun, Xuting Chang, Ning Jiang, Yao Wang, Jianfei Sun, Hongbin Han, Yao Sui

机构 * Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究所） ； National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院） ； Department of Radiology, Peking University Third Hospital（北京大学第三医院放射科） ； Department of Pediatrics, Peking University First Hospital（北京大学第一医院儿科） ； Pediatric Epilepsy Center, Peking University First Hospital（北京大学第一医院儿童癫痫中心） ； School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LGANet++，通过局部-全局注意力机制和图像分解技术，实现更准确、鲁棒的无监督可变形图像配准。

3D Modality-Aware Pre-training for Vision-Language Model in MRI Multi-organ Abnormality Detection

面向MRI多器官异常检测的3D模态感知预训练

Haowen Zhu, Ning Yin, Xiaogen Zhou

机构 * School of Electronic, Electrical Engineering and Physics, Fujian University of Technology（福建工程学院电子电气工程学院） ； School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Department of Medical Imaging, Suzhou Traditional Chinese Medicine Hospital, China（苏州中医医院影像科） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MedMAP框架，通过3D MRI的模态感知预训练提升多器官异常检测性能，实验表明其优于现有视觉-语言模型。

HDINO: A Concise and Efficient Open-Vocabulary Detector

HDINO：一种简洁且高效的开放词汇检测器

Hao Zhang, Yiqun Wang, Qinran Lin, Runze Fan, Yong Li

机构 * Chongqing University（重庆大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 HDINO提出了一种简洁高效的开放词汇检测方法，通过两阶段训练策略和轻量级特征融合模块，在无需人工数据编纂的情况下实现了优于现有方法的检测性能。

NeighborMAE: Exploiting Spatial Dependencies between Neighboring Earth Observation Images in Masked Autoencoders Pretraining

NeighborMAE: 利用邻近遥感图像间的空间依赖性在掩码自编码器预训练中进行建模

Liang Zeng, Valerio Marsocci, Wufan Zhao, Andrea Nascetti, Maarten Vergauwen

机构 * KU Leuven（卢森堡大学） ； ESA Φ \Phi -lab（欧洲航天局Φ实验室） ； HKUST(GZ)（香港科技大学（珠海）） ； KTH（皇家理工学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 NeighborMAE通过联合重建邻近遥感图像，利用空间依赖性提升掩码自编码器在遥感图像预训练中的性能。

ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation

ULTRA：统一的多模态控制用于自主人形全身体姿Manipulation

Xialin He, Sirui Xu, Xinyao Li, Runpei Dong, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 ULTRA通过统一多模态控制框架，实现了基于感知和高层任务规范的自主人形全身体姿Manipulation，优于传统跟踪方法。

Comments Project Page: https://ultra-humanoid.github.io/

Study of nuclear magnetic resonance spectra with the multi-modal multi-level quantum complex exponential least squares algorithm

多模多级量子复指数最小二乘算法在核磁共振谱研究中的应用

Antonio Marquez Romero, Josh J. M. Kirsopp, Giuseppe Buonaiuto, Michal Krompiec

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 本文提出利用多模多级量子复指数最小二乘算法提升核磁共振谱的相位分辨率与信号处理精度。

Multimodal Sensing for Robot-Assisted Sub-Tissue Feature Detection in Physiotherapy Palpation

机器人辅助物理治疗触诊中亚组织特征的多模态感知

Tian-Ao Ren, Jorge Garcia, Seongheon Hong, Jared Grinberg, Hojung Choi, Julia Di, Hao Li, Dmitry Grinberg, Mark R. Cutkosky

机构 * Stanford University（斯坦福大学） ； Symbiokinetics Inc（Symbiokinetics公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究提出多模态传感器用于机器人辅助物理治疗中亚组织特征的检测，结合触觉成像与力矩传感器以提高检测精度和触诊控制。

Comments Accepted by AMSE Design of Medical Device 2026

OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets

OCR 或不是？在 MLLMs 时代重新思考文档信息提取：基于真实世界的大规模数据集

Jiyuan Shen, Peiyue Yuan, Atin Ghosh, Yifan Mai, Daniel Dahlmeier

机构 * SAP（SAP公司） ； Stanford University（斯坦福大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了在 MLLMs 时代是否仍需 OCR，通过大规模数据集评估发现，仅图像输入可达到与 OCR 增强方法相当的性能，并展示了通过精心设计的模式、示例和指示可进一步提升 MLLMs 的表现。

xLLM Technical Report

xLLM 技术报告

Tongxuan Liu, Tao Peng, Peijun Yang, Xiaoyang Zhao, Xiusheng Lu, Weizhe Huang, Zirui Liu, Xiaoyu Chen, Zhiwei Liang, Jun Xiong, Donghe Jin, Minchao Zhang, Jinrong Guo, Yingxu Deng, Xu Zhang, Xianzhe Dong, Siqi Wang, Siyu Wu, Yu Wu, Zihan Tang, Yuting Zeng, Yanshu Wang, Jinguang Liu, Meng Kang, Menxin Li, Yunlong Wang, Yiming Liu, Xiaolong Ma, Yifan Wang, Yichen Zhang, Jinrun Yin, Keyang Zheng, Jiawei Yin, Jun Zhang, Ziyue Wang, Xiaobo Lin, Liangyu Liu, Liwei Lan, Yang Liu, Chunhua Peng, Han Liu, Songcheng Ren, Xuezhu Wang, Yunheng Shen, Yi Wang, Guyue Liu, Yitao Hu, Hui Chen, Tong Yang, Hailong Yang, Jing Li, Guiguang Ding, Ke Zhang

机构 * THU（清华大学） ； USTC（University of Science and Technology of China） ； BUAA（Beijing University of Aeronautics and Automation） ； PKU（Peking University） ； TJU（Tianjin University） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 xLLM是一种针对高性能大规模企业级服务设计的高效LLM推理框架，通过解耦服务引擎架构和多层优化提升吞吐量和推理效率。

Comments 39 pages

Sequential Exchange Monte Carlo: A Sampling Method for Bayesian Data Analysis without Parameter Tuning

顺序交换蒙特卡罗：一种无需参数调节的贝叶斯数据分析采样方法

Tomohiro Nabika, Kenji Nagata, Shun Katakami, Masaichiro Mizumaki, Masato Okada

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出顺序交换蒙特卡罗方法，无需额外参数调节即可实现稳健收敛，适用于材料科学中的贝叶斯数据分析。

The More the Merrier: Running Multiple Neuromorphic Components On-Chip for Robotic Control

更多更优：在芯片上运行多个神经形态组件用于机器人控制

Evan Eames, Priyadarshini Kannan, Ronan Sangouard, Philipp Plank, Elvin Hajizada, Gintautas Palinauskas, Lana Amaya, Michael Neumeier, Sai Thejeshwar Sharma, Marcella Toth, Prottush Sarkar, Axel von Arnim

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出了一种在芯片上运行多个神经形态组件的流水线，用于实现视觉机器人控制，展示了其在低功耗和低延迟方面的性能。

Comments IOP Journal of Neuromorphic Computing and Engineering, preliminary acceptance

Femtosecond concerted rotation of molecules on a 2D material interface

飞秒级分子在二维材料界面的协同旋转

Kiana Baumgärtner, Misa Nozaki, Marvin Reuner, Nils Wind, Masato Haniuda, Christian Metzger, Michael Heber, Dmytro Kutnyakhov, Federico Pressacco, Lukas Wenthaus, Keisuke Hara, Kalyani Chordiya, Chul-Hee Min, Martin Beye, Friedrich Reinert, Friedrich Roth, Sanjoy Kr Mahatha, Anders Madsen, Tim Wehling, Kaori Niki, Daria Popova-Gorelova, Kai Rossnagel, Markus Scholz

专题命中 其他多模态 ：multimodal(abstract)

AI总结 该研究通过超快光谱技术揭示了分子在二维材料界面的协同旋转现象，展示了光诱导电荷转移对宏观分子旋转和手性排列的影响，为设计可调界面动力学的分子系统提供了新路径。

Comments 17 pages, 3 figures

Journal ref Nat. Commun. 17, 2110 (2026)