视觉大模型 / VLM

Adversarial Attacks Already Tell the Answer: Directional Bias-Guided Test-time Defense for Vision-Language Models

对抗攻击已揭示答案：面向视觉语言模型的定向偏差引导测试时防御

Liangsheng Liu, Si Chen, Jiamin Wu, Weiwei Feng, Zhixin Cheng, Xiaotian Yin, Wenfei Yang, Tianzhu Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory（国家深空探测重点实验室，深空探测实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出定向偏差引导防御（DBD），利用对抗样本在CLIP特征空间中沿主导方向偏移的现象，通过估计防御方向并采用DB分数双流重建策略恢复鲁棒表示，在15个数据集上实现最先进对抗鲁棒性且保持干净准确率。

Comments Accepted by ICLR2026

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

评估多模态大语言模型中的随机坍缩与隐式偏差

Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

机构 * Fudan University（复旦大学） ； Beihang University（北航） ； JD.com（京东） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)

AI总结 提出RandomBench基准测试，通过熵和分布偏差指标揭示多模态大语言模型在逻辑中性场景下存在随机坍缩现象，即无法维持均匀随机性。

4DPC$^2$hat: Towards Dynamic Point Cloud Understanding with Failure-Aware Bootstrapping

4DPC$^2$hat: 面向动态点云理解的失败感知自举学习

Xindan Zhang, Weilong Yan, Yufei Shi, Xuerui Qiu, Tao He, Ying Li, Ming Li, Hehe Fan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出首个针对动态点云理解的多模态大语言模型4DPC$^2$hat，通过构建大规模跨模态数据集4DPC$^2$hat-200K和引入Mamba增强的时间推理模块及失败感知自举学习策略，显著提升了动作理解与时间推理能力。

Comments Accept by ICML 2026

RedEdit: Agentic Red-Teaming of Image Safety Classifiers via MCTS-Guided Photo-Editing

RedEdit: 基于MCTS引导的照片编辑的图像安全分类器智能红队测试

Weilin Lin, Ziqi Lin, Zhenxing Zhou, Jianze Li, Tong Zhang, Hui Xiong, Li Liu

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)

AI总结 提出RedEdit，一种基于视觉语言模型提议和蒙特卡洛树搜索规划的黑盒红队代理，通过组合编辑工具序列使不安全图像逃避检测，平均不到两次编辑即可使76.2%的不安全图像绕过分类器，同时保留93.0%的恶意语义。

The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?

性能提升的幻象：为何对比解码无法减轻多模态大语言模型中的对象幻觉？

Hao Yin, Guangzong Si, Zilei Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了对比解码方法在减轻多模态大语言模型（MLLMs）中对象幻觉方面的有效性，发现其性能提升主要源于两个误导性因素，挑战了对比解码策略的有效性。

How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment

他们走了多远？已终止现场实验中隐蔽LLM代理的说服策略

Kokil Jaidka, Saifuddin Ahmed

机构 * Wee Kim Wee school of Communication and Information, Nanyang Technological University（魏家伟通信与信息学院，南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 通过分析Reddit r/ChangeMyView已终止现场实验的公开数据集，研究隐蔽LLM代理在身份丰富的讨论论坛中使用的说服策略，发现其系统性采用身份定位、权威信号、对齐策略和认知偏差触发，构成以说服效率为导向的修辞架构。

Toward Trustworthy Portrait Editing: Evaluation of Demographic Misrepresentation in I2I Models

迈向可信的人像编辑：评估 I2I 模型中的人口统计误表示

Huichan Seo, Minki Hong, Sieun Choi, Jihie Kim, Jean Oh

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文通过控制基准测试，评估了指令引导的图像到图像编辑器中身份保留失败的两个模式（软擦除和刻板印象替换），发现肤色变浅等偏差普遍存在且人口统计不均，并提出提示级约束作为缓解措施。

Comments 22 pages, 10 figures. Huichan Seo, Minki Hong and Sieun Choi contributed equally

Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

Membrane: 一种用于LLM智能体防御的自演化对比安全记忆

Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； Financial Tech Lab, KakaoBank Corp（Kakao银行金融科技实验室） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 提出Membrane，一种基于对比安全记忆（CSM）的自演化护栏，通过将有害交互及其良性对应物蒸馏为对比单元来防御不断演化的越狱攻击，无需重新训练即可实现高F1和低良性拒绝率。

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM

基于激活信息的帕累托引导低秩压缩用于高效LLM/VLM

Ryan Solgi, Parsa Madinei, Jiayi Tian, Rupak Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang

机构 * University of California-Santa Barbara（加州大学圣芭芭拉分校） ； Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本文提出了一种基于激活信息的帕累托引导低秩压缩方法，通过理论分析和算法设计，在保持模型精度的同时提升LLM和VLM的压缩效率和推理速度。

LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")

LEVANTE-bench: 使用认知任务对VLM与儿童进行多尺度比较（或者，“你的VLM比五年级学生聪明吗？”）

Alvin Wei Ming Tan, David Cardinal, Tania Lorido-Botran, Laura Bravo-Sanchez, Sunny Yu, Michael C. Frank

机构 * Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本文提出LEVANTE-bench基准，基于儿童认知任务数据，从多个尺度系统评估视觉语言模型与5-12岁儿童在六项任务上的对齐程度，发现模型与人类认知仅部分对齐。

DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models

DRIFT：一种用于视觉-语言模型中连续输出解码的残差流适配器

Zhuoming Liu, Jinhong Lin, Kwan Man Cheng, Lin Zhang, Shayok Bagchi, Yin Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； West Lafayette Jr./Sr. High School（韦斯特拉法叶高中） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；MLLM(abstract_cn)

AI总结 提出DRIFT框架，通过结合基础预测器和基于流匹配的生成式精化模块，将预训练视觉-语言模型适配到连续解码任务，在视觉定位和机器人控制等任务上优于回归和生成方法。

FUSAR-GPT : A Spatiotemporal Feature-Embedded and Two-Stage Decoupled Visual Language Model for SAR Imagery

FUSAR-GPT : 一种嵌入时空特征和两阶段解耦的视觉语言模型，用于合成孔径雷达图像

Xiaokun Zhang, Yi Yang, Ziqi Ye, Baiyun, Xiaorong Guo, Qingchen Fang, Ruyi Zhang, Xinpeng Zhou, Haipeng Wang

机构 * Fudan University（复旦大学） ； Discipline and Technology Center of Microwave Vision Intelligent Sensing, Fudan University（微波视觉智能感知学科与技术中心，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：visual language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出FUSAR-GPT，一种专门针对合成孔径雷达图像的视觉语言模型，通过嵌入时空特征和两阶段解耦方法，在多个遥感视觉语言基准测试中实现了最先进的性能。

UNIVID: Unified Vision-Language Model for Video Moderation

UNIVID：用于视频审核的统一视觉语言模型

Kejuan Yang, Yizhuo Zhang, Mingyuan Du, Yue Zhang, Dixin Zheng, Kaili Zhao, Yang Xiao, Hanzhong Liang, Kenan Xiao

机构 * Bytedance（字节跳动） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出UNIVID统一视觉语言模型，通过生成可解释的策略感知字幕，实现端到端视频审核，减少违规泄露42.7%和过度审核率37.0%。

Comments 7 pages, 3 figures. Accepted to ACL 2026 Industry Track

Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning

Once-For-All: 一种用于多模态指令微调的“一次训练，随时选择”框架

Mingkang Dong, Hongyi Cai, Xiwen Lei, Jie Li, Tao Zhang, Muxin Pu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出OFA框架，通过一次训练可迁移的选择器，无需重新计算即可从任意数据集或模型中筛选出最具信息量的多模态指令数据，实现高效微调。

Comments 15 pages, 6 figures. Mingkang Dong and Hongyi Cai contributed equally to this work. Muxin Pu is the corresponding author

MUSE: Benchmarking Manufacturable, Functional, and Assemblable Text-to-CAD Generation

MUSE: 面向可制造、功能性和可装配的文本到CAD生成的基准测试

Xiaoyu Dong, Zhi Li, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Curvature Flow Co., Limited（曲率流有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；visual language model(abstract)；分类 cs.AI

AI总结 提出MUSE基准，通过三阶段评估协议（代码检查、几何检查、设计意图对齐）和基于规则的语言模型评判，衡量文本到CAD生成模型在功能、制造和装配方面的实际设计质量。

Comments 26 pages

DisasterBench: A Multimodal Benchmark for UAV-Based Disaster Response in Complex Environments

DisasterBench: 复杂环境中基于无人机灾害响应的多模态基准

Tan Zhang, Quanyou Li, Lu Zhang, Jun Liu, Xiaofeng Zhu, Ping Hu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出DisasterBench多模态基准，涵盖14种灾害场景和9个响应任务，并设计轻量级模型DisasterVL通过三阶段优化在边缘设备上实现高效推理。

HiDe: Rethinking The Zoom-IN method in High Resolution MLLMs via Hierarchical Decoupling

HiDe: 通过分层解耦重新思考高分辨率MLLMs中的Zoom-IN方法

Xianjie Liu, Yiman Hu, Yixiong Zou, Liang Wu, Jian Xu, Bo Zheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HiDe框架，通过分层解耦方法解决高分辨率图像中背景干扰导致的视觉理解问题，提升多模态大语言模型在高分辨率图像任务中的性能。

Comments Accepted by ICML2026

Drive-KD: Multi-Teacher Distillation for VLMs in Autonomous Driving

Drive-KD：自动驾驶中用于视觉语言模型的多教师知识蒸馏

Weitong Lian, Zecong Tang, Haoran Li, Tianjian Gao, Yifei Wang, Zixu Wang, Lingyi Meng, Tengju Ru, Zhejun Cui, Yichen Zhu, Hangshuo Cao, Qi Kang, Tianxing Chen, Kaixuan Wang, Yu Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出Drive-KD框架，通过将自动驾驶分解为感知-推理-规划三元组，并利用知识蒸馏转移能力，构建了专用教师模型，并通过异构梯度投影缓解跨能力梯度冲突，验证了方法在不同模型家族和规模上的泛化能力，展示了蒸馏模型在自动驾驶任务中的优越性能。

Comments Preprint. 23 pages, 14 figures

Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads

多模态大语言模型中通过CoRe头的功能稀疏性机制洞察

Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

机构 * Soochow University（苏州大学） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 通过识别和分析CoRe头，揭示多模态大语言模型在跨模态检索中功能稀疏的结构特性，并验证其必要性及加速推理的潜力。

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

面向沉浸式视频角色扮演的奖励分解强化学习

Miao Wang, Yuling Shi, Yijiang Li, Yeheng Chen, Xiaodong Gu, Bin Li, Bo Gao, Jun Wang, Zengxin Han, Jingtong Wu, Yaduan Ruan

机构 * Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； School of Information Engineering, Beijing Institute of Graphic Communication（北京印刷学院信息工程学院） ； Ant International, Ant Group（蚂蚁集团国际部） ； Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出EBM-RL框架，通过奖励分解的强化学习优化视频角色扮演中的视觉感知、推理与生成过程，提升场景一致性与角色真实性。

SalsaAgent: A multimodal embodied language model for interactive dance generation

SalsaAgent: 一种用于交互式舞蹈生成的多模态具身语言模型

Payam Jome Yazdian, Zoe Stanley, Angelica Lim

机构 * Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出SalsaAgent语言模型，通过非语言运动令牌传递和两阶段令牌到扩散管道，生成与人类领舞者及音乐背景交互的全身萨尔萨舞蹈动作。

Comments Project page: https://pjyazdian.github.io/Salsa-Agent

Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations

grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations

Heajun An, Connor Ng, Sandesh Sharma Dulal, Junghwan Kim, Jin-Hee Cho

机构 * Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。

Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs

在安全对齐的连续视觉指令微调中实现和谐参数适应

Ziqi Wang, Chang Che, Qi Wang, Hui Ma, Zenglin Shi, Cees G. M. Snoek, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文研究了在安全对齐的连续视觉指令微调中如何平衡安全性和任务性能，提出了一种名为和谐参数适应（HPA）的后训练框架，通过参数分区、平衡选择和正交调整来缓解遗忘问题。