多模态大模型

When Alignment Fails: Multimodal Adversarial Attacks on Vision-Language-Action Models

当对齐失败时：针对视觉-语言-动作模型的多模态对抗攻击

Yuping Yan, Yuhan Xie, Yixin Zhang, Lingjuan Lyu, Handing Wang, Yaochu Jin

机构 * TGAI Lab, School of Engineering, Westlake University（西拉库大学工程学院TGAI实验室） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Sony Research, Sony（索尼研究实验室，索尼） ； Xidian University（西安电子科技大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLA-Fool，针对视觉-语言-动作模型的多模态对抗攻击，揭示其在白盒和黑盒环境下具身多模态对齐的脆弱性。

Thinking with Images via Self-Calling Agent

通过自我调用代理进行图像思考

Wenxi Yang, Yuzhong Zhao, Fang Wan, Qixiang Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出sCoT范式，通过自我调用代理实现无需多模态交错的高效视觉推理，实验显示其在HR-Bench 4K上性能提升达1.9%且训练效率提高75%。

Comments Code is available at https://github.com/YWenxi/think-with-images-through-self-calling

AFRAgent : An Adaptive Feature Renormalization Based High Resolution Aware GUI agent

AFRAgent：一种基于自适应特征归一化的高分辨率感知GUI代理

Neeraj Anand, Rishabh Jain, Sohan Patnaik, Balaji Krishnamurthy, Mausoom Sarkar

机构 * Media and Data Science Research, Adobe（Adobe媒体与数据科学研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 AFRAgent通过自适应特征归一化技术，在保持高分辨率细节的同时，实现了更高效的GUI自动化性能，比现有模型小四分之一。

Comments Accepted at WACV 2026 Conference

Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion

重新思考归一化策略和卷积核在多模态图像融合中的作用

Dan He, Guofen Wang, Weisheng Li, Yucheng Shu, Wenbo Li, Lijian Yang, Yuping Huang, Feiyan Li

机构 * Chongqing University of Posts and Telecommunications（重庆邮电大学） ； Chongqing Normal University（重庆师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种改进的UNet架构，通过混合实例和组归一化以及多路径自适应融合模块，提升多模态图像融合的性能和细节保留能力。

l0-Regularized Sparse Coding-based Interpretable Network for Multi-Modal Image Fusion

基于l0正则化稀疏编码的可解释网络用于多模态图像融合

Gargi Panda, Soumitra Kundu, Saumik Bhattacharya, Aurobinda Routray

机构 * Department of EE, IIT Kharagpur, India（印度IIT Kharagpur电子工程系） ； Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur, India（印度IIT Kharagpur幸福科学卓越中心） ； Department of E&ECE, IIT Kharagpur, India（印度IIT Kharagpur电子工程与电子学系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出基于l0正则化稀疏编码的可解释网络FNet，用于多模态图像融合，通过分离独特和共同特征提升融合质量并增强下游任务性能。

Comments Accetped by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

Can LLMs Reason Over Non-Text Modalities in a Training-Free Manner? A Case Study with In-Context Representation Learning

LLMs能否在无训练模式下推理非文本模态？一种基于上下文表示学习的案例研究

Tianle Zhang, Wanlong Fang, Jonathan Woo, Paridhi Latawa, Deepak A. Subramanian, Alvin Chan

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； AI-X, Interdisciplinary Graduate Programme, Nanyang Technological University（南洋理工大学人工智能交叉研究生项目） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科钦医学院） ； Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学医学人工智能中心） ； University of Toronto（多伦多大学） ； Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布里洛妇女医院） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ICRL框架，使LLMs在无训练情况下利用非文本模态表示，通过少量学习实现多模态推理，为适应性泛化提供新方向。

Comments NeurIPS 2025