多模态大语言模型在智能体化使用工具时无法拒绝有害请求
MLLMs Fail to Refuse when Using Tools Agentically
浏览论文内容
中文总结 AI 辅助
本研究揭示智能体化多模态大语言模型在工具使用场景下拒绝有害请求的能力显著下降，相对拒绝失败率最高增加68.7%，并基于大量响应分析提出两个可能原因。
中文摘要 AI 辅助
智能体化的多模态大语言模型（MLLMs）近期通过调用缩放、标注等工具，推动了视觉推理的前沿发展。尽管智能体化MLLMs取得了显著成功，但本研究揭示了工具使用范式中的一个关键安全缺陷：智能体化使用工具的MLLMs在拒绝有害请求方面的能力有所下降。我们的实验证实，在三个流行的安全基准测试中，所有我们测试的顶级开源和闭源权重MLLMs在工具使用场景下的安全性显著低于非工具场景，相对拒绝失败率最高增加68.7%。基于对超过100,000条响应的分析（包括扩展实验），我们还提出了导致这种安全性能下降的两个可能原因。
英文摘要
Agentic multimodal large language models (MLLMs) have recently pushed the frontier of visual reasoning by calling tools such as zooming and tagging. Despite the recent strong success of agentic MLLMs, this work uncovers a critical safety failure in the tool-use paradigm: agentic tool-using MLLMs become less capable of refusing harmful requests. Our experiments confirm that, across three popular safety benchmarks, all the top open- and closed-weight MLLMs we test exhibit significantly lower safety in tool-using settings than in non-tool settings, with a relative refusal failure rate increase of up to 68.7%. Based on analysis of 100,000+ responses, including extended experiments, we also propose two possible reasons for this safety degradation.
发表机构
- MIT（麻省理工学院）
- NVIDIA（英伟达）
机构由 AI 辅助整理，请以论文原文为准。
