多模态大模型

ProtRLSearch: A Multi-Round Multimodal Protein Search Agent with Large Language Models Trained via Reinforcement Learning

ProtRLSearch: 一种基于大语言模型的多轮多模态蛋白质搜索代理，通过强化学习进行训练

Congying Liu, Taihao Li, Ming Huang, Xingyuan Wei, Peipei Liu, Yiqing Shen, Yanxu Mao, Tiehan Cui

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Hangzhou Institute for Advanced Study（杭州高等研究院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究所） ； Institute of Information Engineering（信息工程研究所） ； Johns Hopkins University（约翰霍普金斯大学） ； Henan University（河南大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 ProtRLSearch通过强化学习训练，利用多模态输入提升蛋白质搜索的准确性和效率，解决传统方法在多模态整合和搜索过程约束上的不足。

Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees

证明-感知：具有组合性符合保证的认证工具使用多模态推理

Arya Fayyazi, Haleh Akrami

机构 * University of Southern California（南加州大学） ； Nuro 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 Proof-of-Perception通过组合性符合保证实现多模态推理的可信工具使用，提升性能和可靠性，同时更高效地利用计算资源。

Journal ref CVPR 2026

CT-Flow: Orchestrating CT Interpretation Workflow with Model Context Protocol Servers

CT-Flow: 通过模型上下文协议服务器协调CT解释工作流

Yannian Gu, Xizhuo Zhang, Linjie Mu, Yongrui Yu, Zhongzhen Huang, Shaoting Zhang, Xiaofan Zhang

机构 * Qing Yuan Research Institute, Shanghai Jiao Tong University, Shanghai, China（清元研究院，上海交通大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Sensetime Research, Shanghai, China（senseTime研究院，上海，中国） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CT-Flow通过模型上下文协议实现3D CT解释工作流的动态协调，提升诊断准确性和工具调用效率。

Comments submitting to ACL 2026

CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization

CodeV: 通过工具感知策略优化实现基于图像的代码推理

Xinhai Hou, Shaoyuan Xu, Manan Biyani, Moyan Li, Jia Liu, Todd C. Hollon, Bryan Wang

机构 * University of Michigan（密歇根大学） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 CodeV通过工具感知策略优化提升视觉推理的忠实度，实现更高准确率和更可靠的工具使用。

TMR-VLA:Vision-Language-Action Model for Magnetic Motion Control of Tri-leg Silicone-based Soft Robot

TMR-VLA：一种用于三腿硅基软机器人磁性运动控制的视觉-语言-动作模型

Ruijie Tang, Chi Kit Ng, Kaixuan Wu, Long Bai, Guankun Wang, Yiming Huang, Yupeng Wang, Hongliang Ren

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 TMR-VLA通过结合视觉、语言和动作模块，实现三腿硅基软机器人的磁性运动控制与导航能力提升。

Comments ICRA 2025

Predictive Importance Sampling Based Coverage Verification for Multi-UAV Trajectory Planning

基于预测重要性采样的多无人机轨迹规划覆盖验证

Snehashish Ghosh, Sasthi C. Ghosh

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出基于预测重要性采样的多无人机轨迹规划覆盖验证方法，通过LSTM-MDN和防御性混合采样提升鲁棒性，实现更高效的覆盖管理。

Comments This article has been submitted to a conference for peer review

SIAgent: Spatial Interaction Agent via LLM-powered Eye-Hand Motion Intent Understanding in VR

SIAgent：通过LLM驱动的眼手运动意图理解实现VR中的空间交互代理

Zhimin Wang, Chenyu Gu, Feng Lu

专题命中 多模态Agent ：multimodal(abstract)

AI总结 SIAgent通过LLM驱动的意图识别与代理执行，实现VR中基于自然眼手运动的高容忍度交互框架。

Comments Virtual reality, spatial interaction, intent recognition, agent-based execution, large language models

MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding

MOON: 基于生成式多模态大语言模型的电商产品理解多模态表示学习

Daoze Zhang, Chenghan Fu, Zhanheng Nie, Jianyu Liu, Wanxian Guan, Yuan Gao, Jun Song, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MOON通过生成式多模态大语言模型改进电商产品理解的多模态表示学习，引入引导的MoE模块、核心语义区域检测和负采样策略，提升零样本性能和泛化能力。

Comments Accepted by WSDM 2026 (oral). 11 pages, 9 figures

CLEAR: Null-Space Projection for Cross-Modal De-Redundancy in Multimodal Recommendation

CLEAR: 多模态去冗余中的跨模态空域投影

Hao Zhan, Yihui Wang, Yonghui Yang, Danyang Yue, Yu Wang, Pengyang Shao, Fei Shen, Fei Liu, Le Wu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.MM

AI总结 CLEAR通过显式减少跨模态冗余提升多模态推荐性能，采用子空间投影方法增强表示学习动态。

STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification

STMI: 基于跨模态超图交互的多模态目标重识别分割引导令牌调节

Xingguo Xu, Zhanyu Liu, Weixiang Zhou, Yuansheng Gao, Junjie Cao, Yuhao Wang, Jixiang Luo, Dell Zhang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 STMI通过分割引导特征调节、语义令牌重新分配和跨模态超图交互，提升多模态目标重识别的性能与鲁棒性。

Comments Accepted to AAAI 2026

Disentangled Multi-modal Learning of Histology and Transcriptomics for Cancer Characterization

解耦的多模态学习：组织学与转录组学用于癌症表征

Yupei Zhang, Xiaofei Wang, Anran Liu, Lequan Yu, Chao Li

机构 * Department of Clinical Neurosciences, University of Cambridge, UK（剑桥大学临床神经科学系） ； Department of Health Technology & Informatics, The Hong Kong Polytechnic University（香港理工大学健康科技与信息学系） ； Department of Statistics and Actuarial Science, The University of Hong Kong（香港大学统计与精算科学系） ； Department of Clinical Neurosciences and Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学临床神经科学系和应用数学与理论物理系；邓迪大学科学与工程学院和医学院） ； School of Science and Engineering and School of Medicine, University of Dundee, UK 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了解耦的多模态学习框架，通过分解组织学和转录组数据以提高癌症表征的准确性和实用性。

Co-Evolutionary Multi-Modal Alignment via Structured Adversarial Evolution

基于结构对抗进化的多模态对齐

Guoxin Shi, Haoyu Wang, Zaihui Yang, Yuxing Wang, Yongzhe Chang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出CEMA框架，通过共进化对抗提升多模态对齐的鲁棒性和安全性。

Comments Preprint

TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

TokenCom: 一种用于多模态和多任务令牌通信的视觉-语言模型

Feibo Jiang, Siwei Tu, Li Dong, Xiaolong Li, Kezhi Wang, Cunhua Pan, Zhu Han, Jiangzhou Wang

机构 * Hunan Provincial Key Laboratory of Intelligent Computing and Language Information Processing, Hunan Normal University（湖南省级智能计算与语言信息处理重点实验室，湖南师范大学） ； School of Information Science and Engineering, Hunan Normal University（信息科学与工程学院，湖南师范大学） ； Changsha Social Laboratory of Artificial Intelligence, Hunan University of Technology and Business（长沙人工智能社会实验室，湖南工业大学） ； School of Computer Science, Hunan University of Technology and Business（计算机科学学院，湖南工业大学） ； Department of Computer Science, Brunel University London（伦敦布鲁内尔大学计算机科学系） ； National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心） ； Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 TokenCom提出了一种新的视觉-语言模型框架TaiChi，通过双视觉分词器和双向注意力网络提升多模态和多任务令牌通信的性能。

MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search

MARS: 通过自适应排名搜索实现多模态收敛的统一

Minkyoung Cho, Insu Jang, Shuowei Jin, Zesen Zhao, Adityan Jothi, Ethem F. Can, Min-Hung Chen, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)

AI总结 MARS通过自适应排名搜索优化多模态大语言模型微调，平衡训练动态并提升性能。

Comments 17 pages; Project Page: this https URL: https://minkyoungcho.github.io/mars/

Bridging the gap between Performance and Interpretability: An Explainable Disentangled Multimodal Framework for Cancer Survival Prediction

弥合性能与可解释性之间的鸿沟：一种可解释的解耦多模态框架用于癌症生存预测

Aniek Eijpe, Soufyan Lakbir, Melis Erdal Cesur, Sara P. Oliveira, Angelos Chatzimparmpas, Sanne Abeln, Wilson Silva

机构 * AI Technology for Life（人工智能技术与生命科学） ； Department of Information and Computing Sciences（信息与计算科学系） ； Department of Biology（生物学系） ； Utrecht University（乌得勒支大学） ； Department of Metabolic Diseases（代谢疾病部门） ； Wilhelmina Children’s Hospital（维廉明娜儿童医院） ； University Medical Center Utrecht（乌得勒支大学医学中心） ； Regenerative Medicine Center Utrecht（乌得勒支再生医学中心） ； Computational Pathology（计算病理学） ； Department of Pathology（病理学系） ； The Netherlands Cancer Institute（荷兰癌症研究所） ； Visualization and Graphics（可视化与图形学） ； The Netherlands Cancer Institute, Amsterdam（荷兰癌症研究所，阿姆斯特丹） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DIMAFx通过解耦多模态表示提升癌症生存预测的性能与可解释性，揭示了多模态交互和生物学信息。

Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining

通过语言枢轴预训练统一异构多模态遥感检测

Yuxuan Li, Yuming Chen, Yunheng Li, Ming-Ming Cheng, Xiang Li, Jian Yang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 BabelRS通过语言枢轴预训练框架统一异构多模态遥感检测，解耦模态对齐与任务学习，提升训练稳定性与检测性能。

Spotlight on Token Perception for Multimodal Reinforcement Learning

多模态强化学习中的token感知聚焦

Siyuan Huang, Xiaoye Qu, Yafu Li, Yun Luo, Zefeng He, Daizong Liu, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出VPPO算法，通过token感知优化提升多模态强化学习的视觉推理能力。

Comments Accepted by ICLR 2026, project page: https://github.com/huaixuheqing/VPPO-RL

RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion

RTGMFF：基于ROI驱动文本生成和多模态特征融合的增强型fMRI脑部疾病诊断

Junhao Jia, Yifei Sun, Yunyou Liu, Cheng Yang, Changmiao Wang, Feiwei Qin, Yong Peng, Wenwen Min

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University（浙江大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Yunnan University（云南大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 RTGMFF通过结合ROI驱动文本生成和多模态特征融合，提升fMRI在脑部疾病诊断中的准确性。

Comments The paper has been accepted by BIBM 2025

Journal ref 2025 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). IEEE, 2025, pp. 2301-2308

Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

重新审视在跨模态不匹配下的LVLMs视觉标记减少

Rui Xu, Yunke Wang, Yong Luo, Bo Du

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出VisionDrop方法，通过视觉-only修剪框架减少LVLMs中的视觉标记，无需额外训练，提升推理效率并保持性能。

Comments AAAI 2026

FujiView: Multimodal Late-Fusion for Predicting Scenic Visibility

FujiView: 多模态晚期融合用于预测风景可见性

Bryceton Bible, Shah Md Nehal Hasnaeen, Hairong Qi

机构 * University of Tennessee, Knoxville（田纳西大学，科文克顿） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 FujiView通过融合摄像头图像与气象数据，实现风景可见性的多模态预测，展示了在短期和长期预测中的不同方法效果。

Comments 9 pages (including references), 8 figures, 2 tables. Accepted to the IEEE/CVF WACV 2026 proceedings. Introduces a large human-labeled Mount Fuji visibility dataset; public release forthcoming

Deep learning-based astronomical multimodal data fusion: A comprehensive review

基于深度学习的天文多模态数据融合：综述

Wujun Shao, Dongwei Fan, Chenzhou Cui, Yunfei Xu, Shirui Wei, Xin Lyu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文综述了基于深度学习的天文多模态数据融合方法，探讨了其在数据融合中的应用、挑战及未来发展方向。

Journal ref Information Fusion 130 (2026) 104103

Multimodal Alignment Improves Generalizability of Genomic Biomarker Prediction in Computational Pathology

多模态对齐提升了计算病理学中基因组生物标志物预测的泛化能力

Ekaterina Redekop, Eric Zimmermann, Ava P Amini, Alex X Lu, Neil Tenenholtz, James Brian Hall, Lorin Crawford, Kristen A Severson

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 MARBLE通过多模态对比预训练策略，将组织病理学图像与基因组生物标志物的表示对齐，提升计算病理学中基因组生物标志物预测的泛化能力。

OmniVLA: Physically-Grounded Multimodal VLA with Unified Multi-Sensor Perception for Robotic Manipulation

OmniVLA：具有统一多传感器感知的物理基础多模态VLA

Heyu Guo, Shanmu Wang, Ruichun Ma, Shiqi Jiang, Yasaman Ghasempour, Omid Abari, Baining Guo, Lili Qiu

机构 * Princeton University（普林斯顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 OmniVLA通过整合多种传感器模态，提升机器人操作的感知能力与任务成功率。

Comments Accepted by ICRA'26

Preoperative-to-intraoperative Liver Registration for Laparoscopic Surgery via Latent-Grounded Correspondence Constraints

腹腔手术中基于潜在证据的预手术到手术过程肝脏注册

Ruize Cui, Jialun Pei, Haiqiao Wang, Jun Zhou, Jeremy Yuen-Chun Teoh, Pheng-Ann Heng, Jing Qin

机构 * The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Land-Reg框架，通过显式学习潜在证据的2D-3D地标对应关系，提升腹腔手术中预手术到术中肝脏的跨模态注册精度与可解释性。

Comments 10 pages, 4 figures

FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead

风梧：将高技能全球中期天气预报推至10天提前期

Kang Chen, Tao Han, Junchao Gong, Lei Bai, Fenghua Ling, Jing-Jia Luo, Xi Chen, Leiming Ma, Tianning Zhang, Rui Su, Yuanzheng Ci, Bin Li, Xiaokang Yang, Wanli Ouyang

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 FengWu通过多模态和多任务框架提升全球中期天气预报能力，首次实现10.75天提前期的高精度预测。

Comments 12 pages

Journal ref Commun. Earth Environ. 6, 518 (2025)

SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning

SSR：通过结构化场景推理推动空间智能的极限

Yi Zhang, Youya Xia, Yong Wang, Meng Song, Xin Wu, Wenjun Wan, Bingbing Liu, AiXue Ye, Hongbo Zhang, Feng Wen

机构 * Foundation Model Department, Huawei（华为基础模型部门） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SSR通过结构化场景推理框架，在减少对齐成本的同时，实现了高效的空间智能，优于更大规模模型。

REMIND: Rethinking Medical High-Modality Learning under Missingness--A Long-Tailed Distribution Perspective

REMIND: 重新思考医疗多模态学习中的缺失性——从长尾分布视角

Chenwei Wu, Zitao Shuai, Liyue Shen

机构 * University of Michigan（密歇根大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 REMIND从长尾分布视角重新思考医疗多模态学习中的高模态缺失问题，提出组专用混合专家架构和分布鲁棒优化策略，有效提升尾部模态组合的性能。

Learning Domain-Aware Task Prompt Representations for Multi-Domain All-in-One Image Restoration

学习多领域任务提示表示以实现多领域一体化图像修复

Guanglu Dong, Chunlei Li, Chao Ren, Jingliang Hu, Yilei Shi, Xiao Xiang Zhu, Lichao Mou

机构 * Sichuan University（四川大学） ； MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出DATPRL-IR，通过多领域任务提示表示学习实现多领域一体化图像修复，优于现有方法并具备强泛化能力

Comments ICLR 2026

FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning

FCN-LLM: 通过图级多任务指令微调赋能LLM理解脑功能连接网络

Xingcan Hu, Wei Wang, Li Xiao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 FCN-LLM通过图级多任务指令微调使LLM理解脑功能连接网络，提升其在临床任务中的泛化能力。

Entropy-Guided Dynamic Tokens for Graph-LLM Alignment in Molecular Understanding

熵引导的动态令牌用于分子理解中的图-语言模型对齐

Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Sun, Boyu Wang, Pingzhao Hu

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 EDT-Former通过熵引导的动态令牌生成，在无需微调LLM主干的情况下实现图编码器与LLM的对齐，提升分子图理解的效率和泛化能力。

Comments Accepted by ICLR 2026