多模态大模型

SafeMind: Benchmarking and Mitigating Safety Risks in Embodied LLM Agents

Ruolin Chen, Yinqian Sun, Jihang Wang, Mingyang Lv, Qian Zhang, Yi Zeng

机构 * Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（脑启发认知AI实验室，自动化研究所，中国科学院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全AI与超对齐关键实验室） ； Beijing Institute of AI Safety and Governance（北京AI安全与治理研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Long-term AI（长期AI） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

LFTR: Learning-Free Token Reduction for Multimodal Large Language Models

Zihui Zhao, Yingxin Li, Yang Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

ReLoop: "Seeing Twice and Thinking Backwards" via Closed-loop Training to Mitigate Hallucinations in Multimodal understanding

Jianjiang Yang, Yanshu li, Ziyan Huang

机构 * University of Bristol（布里斯托大学） ； Brown University（布朗大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

Comments Accepted by conference EMNLP2025

MAESTRO : Adaptive Sparse Attention and Robust Learning for Multimodal Dynamic Time Series

Payal Mohapatra, Yueyuan Sui, Akash Pandey, Stephen Xia, Qi Zhu

机构 * Northwestern University（西北大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

Comments Accepted to Neurips 2025 (Spotlight)

QGuard:Question-based Zero-shot Guard for Multi-modal LLM Safety

Taegyeong Lee, Jeonghwa Yoo, Hyoungseo Cho, Soo Yong Kim, Yunho Maeng

机构 * FnGuide Inc.（FnGuide公司） ； Safe Generative AI Lab, MODULABS（MODULABS安全生成AI实验室） ； A.I.MATICS Inc.（A.I.MATICS公司） ； Ewha Womans University（成均馆大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

Comments Accept to ACLW 2025 (WOAH); fix typo

Journal ref ACL Workshop 2025

Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models

Boyang Zhang, Istemi Ekin Akkus, Ruichuan Chen, Alice Dethise, Klaus Satzke, Ivica Rimac, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心） ； Nokia Bell Labs（诺基亚贝尔实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

机构 * Meta Superintelligence Labs（Meta 超智能实验室） ； University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments Project page: https://junlinhan.github.io/projects/lsbs/

Nephrobase Cell+: Multimodal Single-Cell Foundation Model for Decoding Kidney Biology

Chenyu Li, Elias Ziyadeh, Yash Sharma, Bernhard Dumoulin, Jonathan Levinsohn, Eunji Ha, Siyu Pan, Vishwanatha Rao, Madhav Subramaniyam, Mario Szegedy, Nancy Zhang, Katalin Susztak

专题命中 多模态训练与对齐 ：multimodal(title)

GeoLink: Empowering Remote Sensing Foundation Model with OpenStreetMap Data

Lubian Bai, Xiuyuan Zhang, Siqi Zhang, Zepeng Zhang, Haoyu Wang, Wei Qin, Shihong Du

机构 * School of Earth and Space Sciences, Peking University（地球与空间科学学院，北京大学） ； College of Urban and Environmental Sciences, Peking University（城市与环境科学学院，北京大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems Institute of Automation, CAS（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Intelligent Maintenance and Operations Systems Lab（智能维护与运营系统实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments NeurIPS 2025

Expert Merging: Model Merging with Unsupervised Expert Alignment and Importance-Guided Layer Chunking

Dengming Zhang, Xiaowen Ma, Zhenliang Ni, Zhenkai Wu, Han Shu, Xin Jiang, Xinghao Chen

机构 * Zhejiang University（浙江大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)

LiDAR-BIND-T: Improved and Temporally Consistent Sensor Modality Translation and Fusion for Robotic Applications

Niels Balemans, Ali Anwar, Jan Steckel, Siegfried Mercelis

机构 * IDLab - Faculty of Applied Engineering, University of Antwerp - imec（IDLab - 应用工程学院，安特卫普大学 - imec） ； Cosys-Lab - Faculty of Applied Engineering, University of Antwerp（Cosys-Lab - 应用工程学院，安特卫普大学） ； Flanders Make Strategic Research Centre（弗拉芒制造战略研究中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

SGS: Segmentation-Guided Scoring for Global Scene Inconsistencies

Gagandeep Singh, Samudi Amarsinghe, Urawee Thani, Ki Fung Wong, Priyanka Singh, Xue Li

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

Comments 6 pages, 3 figures

PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model

Yuqing Wang, Zhongling Huang, Shuxin Yang, Hao Tang, Xiaolan Qiu, Junwei Han, Dingwen Zhang

机构 * the BRain and Artificial INtelligence Lab (BRAIN LAB), School of Automation, Northwestern Polytechnical University（人工智能实验室（BRAIN LAB）、自动化学院、西北工业大学） ； the Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院） ； the National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室、计算机科学学院、北京大学） ； the National Key Laboratory of Microwave Imaging Technology, Chinese Academy of Sciences（微波成像技术国家重点实验室、中国科学院） ； the Aerospace Information Research Institute, Chinese Academy of Sciences（航空信息研究所、中国科学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

Comments The manuscript is 15 pages long, includes 13 figures and 5 tables

MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs

Feilong Chen, Yijiang Liu, Yi Huang, Hao Wang, Miren Tian, Ya-Qi Yu, Minghui Liao, Jihao Wu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

MIDAS: Misalignment-based Data Augmentation Strategy for Imbalanced Multimodal Learning

Seong-Hyeon Hwang, Soyoung Choi, Steven Euijong Whang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)

Comments Accepted to NeurIPS 2025

Boosting Process-Correct CoT Reasoning by Modeling Solvability of Multiple-Choice QA

Raphael Schumann, Stefan Riezler

机构 * Heidelberg University（海德堡大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

GaussianLens: Localized High-Resolution Reconstruction via On-Demand Gaussian Densification

Yijia Weng, Zhicheng Wang, Songyou Peng, Saining Xie, Howard Zhou, Leonidas J. Guibas

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV