多模态大模型

Efficient LLM-Jailbreaking via Multimodal-LLM Jailbreak

通过多模态大语言模型 jailbreak 实现高效的 LLM-jailbreaking

Haoxuan Ji, Zheng Lin, Zhenxing Niu, Xinbo Gao, Gang Hua

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract)；image-text(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种通过多模态大语言模型实现高效 LLM-jailbreaking 的方法，结合图像-文本语义匹配提升攻击成功率，并在效率和泛化能力上优于现有方法。

A Comprehensive Survey and Guide to Multimodal Large Language Models in Vision-Language Tasks

多模态大语言模型在视觉-语言任务中的综合综述与指南

Chia Xin Liang, Pu Tian, Caitlyn Heqi Yin, Yao Yua, Wei An-Hou, Li Ming, Xinyuan Song, Tianyang Wang, Ziqian Bi, Ming Liu

机构 * JTB Technology Corp.（JTB技术公司） ； Stockton University（斯托顿大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； AppCubic USA（AppCubic美国公司） ； Nomad Sustaintech LTD（Nomad可持续科技有限公司） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） ； University of Liverpool（利物浦大学） ； Indiana University（印第安纳大学） ； Purdue University（普渡大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型在视觉-语言任务中的应用，探讨了其架构、训练方法及挑战，并提供了理论与实践的全面指南。

Dynamic Multimodal Prototype Learning in Vision-Language Models

视觉-语言模型中的动态多模态原型学习

Xingyu Zhu, Shuo Wang, Beier Zhu, Miaoge Li, Yunfan Li, Junfeng Fang, Zhicai Wang, Dongsheng Wang, Hanwang Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Sichuan University（四川大学） ； National University of Singapore（新加坡国立大学） ； Shenzhen University（深圳大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出ProtoMM框架，通过动态更新视觉粒子和多模态原型学习，提升视觉-语言模型在测试时的适应性能。

Comments ICCV 2025

Cross Modal Fine-Grained Alignment via Granularity-Aware and Region-Uncertain Modeling

跨模态细粒度对齐 via 粒度感知和区域不确定建模

Jiale Liu, Haoming Zhou, Yishu Liu, Bingzhi Chen, Yuncheng Jiang

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出了一种基于粒度感知和区域不确定建模的跨模态细粒度对齐方法，通过显著性感知和不确定性建模提升对齐的鲁棒性和可解释性。

Comments 10 pages, 6 figures, accepted by AAAI 2026

PRIMT: Preference-based Reinforcement Learning with Multimodal Feedback and Trajectory Synthesis from Foundation Models

基于偏好强化学习的多模态反馈与轨迹合成：从基础模型出发

Ruiqi Wang, Dezhong Zhao, Ziqin Yuan, Tianyu Shao, Guohua Chen, Dominic Kao, Sungeun Hong, Byung-Cheol Min

机构 * Purdue University（普渡大学） ； Beijing University of Chemical Technology（北京化工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Sungkyunkwan University（成均馆大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 PRIMT通过多模态反馈和轨迹合成，利用基础模型解决偏好强化学习中的查询模糊性和信用分配问题，提升机器人复杂行为的学习效率。

Scaling Down to Scale Up: Towards Operationally-Efficient and Deployable Clinical Models via Cross-Modal Low-Rank Adaptation for Medical Vision-Language Models

缩小规模以扩大规模：通过跨模态低秩适应实现操作高效且可部署的临床模型

Thuraya Alzubaidi, Farhad R. Nezami, Muzammil Behzad

机构 * King Fahd University of Petroleum（国王法赫德石油与矿物大学） ； Institute for Medical Engineering（医学工程研究所） ； Science, Massachusetts Institute of Technology, US（科学，麻省理工学院，美国） ； Harvard Medical School, Harvard University, US（哈佛医学院，哈佛大学，美国） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, Saudi Arabia（SDAIA-KFUPM人工智能联合研究中心，沙特阿拉伯） 纠错

专题命中 图文多模态 ：cross-modal(title)；分类 cs.CV

AI总结 通过跨模态低秩适应，MedCT-VLM在零样本分类中实现了对CT影像的高效适应，显著提升了病理分类的性能。

DEJIMA: A Novel Large-scale Japanese Dataset for Image Captioning and Visual Question Answering

DEJIMA：一种新的大规模日语数据集用于图像描述和视觉问答

Toshiki Katsube, Taiga Fukuhara, Kenichiro Ando, Yusuke Mukuta, Kohei Uehara, Tatsuya Harada

机构 * The University of Tokyo（东京大学） ； RIKEN（日本资源技术研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 DEJIMA是首个大规模日语图像描述与视觉问答数据集，通过整合网络收集、目标检测和大语言模型优化，提升了日语语言和文化表现力，显著优于现有翻译或人工标注数据集。

Rice-VL: Evaluating Vision-Language Models for Cultural Understanding Across ASEAN Countries

Rice-VL：评估跨东盟国家的视觉语言模型的文化理解能力

Tushar Pranav, Eshan Pandey, Austria Lyka Diane Bala, Aman Chadha, Indriyati Atmosukarto, Donny Soh Cheng Lock

机构 * Singapore Institute of Technology（新加坡理工学院） ； Amazon GenAI（亚马逊人工智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 RICE-VL通过评估视觉语言模型在11个东盟国家的文化理解能力，揭示了模型在文化多样性地区存在的偏见和局限性，强调了开发更具包容性的模型的重要性。

Comments 14 pages

Optimizing LVLMs with On-Policy Data for Effective Hallucination Mitigation

利用策略数据优化LVLMs以实现有效的幻觉缓解

Chengzhi Yu, Yifan Xu, Yifan Chen, Wenyi Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出利用策略数据优化LVLMs，通过幻觉分类器和动态加权DPO算法，显著降低幻觉率并提升模型性能。

DynaStride: Dynamic Stride Windowing with MMCoT for Instructional Multi-Scene Captioning

DynaStride: 基于MMCoT的动态步长窗多场景描述生成

Eddison Pham, Prisha Priyadarshini, Adrian Maliackel, Kanishk Bandi, Cristian Meo, Kevin Zhu

机构 * Algoverse AI Research（Algoverse人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DynaStride通过多模态链式思考和动态步长窗算法，实现无需手动分割的多场景教学视频连贯描述生成，提升描述的连贯性和信息量。

Comments 16 pages, 15 figures, 5 Tables, Accepted at NeurIPS 7HVU Workshop, Accepted at AAAI AI4ED Workshop

Interpreting ResNet-based CLIP via Neuron-Attention Decomposition

通过神经-注意力分解解释基于ResNet的CLIP

Edmund Bu, Yossi Gandelsman

机构 * UC San Diego（圣迭戈大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 通过神经-注意力分解解释CLIP-ResNet中的神经元，实现无训练语义分割和分布偏移监控

Comments Accepted at NeurIPS 2025 Workshop on Mechanistic Interpretability. Project page: https://edmundbu.github.io/clip-neur-attn/

DenseScan: Advancing 3D Scene Understanding with 2D Dense Annotation

DenseScan: 通过2D密集标注提升3D场景理解

Zirui Wang, Tao Zhang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Wuhan University（武汉大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DenseScan通过2D密集标注提升3D场景理解，结合多视角图像和多模态大语言模型生成丰富语义标注，拓展下游任务应用。

Comments Workshop on Space in Vision, Language, and Embodied AI at NeurIPS 2025

Language-Guided Open-World Anomaly Segmentation

语言引导的开放世界异常分割

Klara Reichard, Nikolas Brasch, Nassir Navab, Federico Tombari

机构 * Technical University of Munich（慕尼黑技术大学） ； BMW Group（宝马集团） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 基于CLIP的开放世界异常分割方法，通过零样本学习实现未知物体的分割与命名，提升自动驾驶中的异常检测能力。

AutocleanEEG ICVision: Automated ICA Artifact Classification Using Vision-Language AI

AutocleanEEG ICVision：利用视觉-语言AI实现自动化ICA噪声分类

Zag ElSayed, Grace Westerkamp, Gavin Gammoh, Yanchen Liu, Peyton Siekierski, Craig Erickson, Ernest Pedapati

机构 * School of Information Technology University of Cincinnati Ohio, USA（信息科技学院 奥地利辛辛那提大学 美国俄亥俄州） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 ICVision通过视觉-语言AI实现自动化EEG ICA噪声分类，达到专家级准确度并提供可解释结果。

Comments 6 pages, 8 figures

Journal ref Conference ICMI2026

Look as You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning

看而思：通过强化学习统一推理与视觉证据归因以实现可验证文档RAG

Shuochen Liu, Pengfei Luo, Chao Zhang, Yuhao Chen, Haotian Zhang, Qi Liu, Xin Kou, Tong Xu, Enhong Chen

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 通过强化学习统一推理与视觉证据归因，提升多模态问答的可验证性和准确性。

Comments Poster of AAAI'2026

HARMONY: Hidden Activation Representations and Model Output-Aware Uncertainty Estimation for Vision-Language Models

HARMONY：隐藏的激活表示和模型输出感知的不确定性估计用于视觉-语言模型

Erum Mushtaq, Zalan Fabian, Yavuz Faruk Bakman, Anil Ramakrishna, Mahdi Soltanolkotabi, Salman Avestimehr

机构 * University of Southern California（南加州大学） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 HARMONY通过整合生成token、模型输出不确定性分数和隐藏表示，提升视觉-语言模型的不确定性估计性能。

RobustVLA: Robustness-Aware Reinforcement Post-Training for Vision-Language-Action Models

RobustVLA: 为视觉-语言-动作模型引入鲁棒性感知的强化学习后训练

Hongyin Zhang, Shuo Zhang, Junxi Jin, Qixin Zeng, Runze Li, Donglin Wang

机构 * Westlake University（西湖大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 RobustVLA通过引入鲁棒性感知的强化学习后训练方法，提升视觉-语言-动作模型在环境不确定性下的鲁棒性和可靠性。