arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2605.24941cs.CRcs.LG
收藏

LLM代理中的记忆诱导工具漂移

Memory-Induced Tool-Drift in LLM Agents

Virginia Tech(弗吉尼亚理工大学)

Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

AI总结:

研究LLM代理中长期记忆存储的个性偏见(如成本意识、不耐烦等)在不适用情境下静默影响工具调用的问题,提出MEMDRIFT基准测试,发现偏置记忆导致工具参数偏离基线,且现有防御措施无法消除该现象。

摘要:

现代LLM代理将用于个性化的长期记忆与用于在现实世界中采取行动的工具调用接口相结合——这一组合支撑着当代生产系统。我们研究了这种组合的一个先前未被检查的失败:当存储在记忆中的个性驱动偏见(成本意识、不耐烦、风险承受能力等)在不适用情境下静默影响工具调用时。我们称此为记忆诱导工具漂移,并通过MEMDRIFT将其操作化,MEMDRIFT是一个包含105个场景的基准测试,涵盖五个偏见维度和七个专业领域,通过自动化对抗性流水线生成。在七个前沿模型(包括具有扩展推理能力的模型)中,偏置记忆使偏转分数(一种由评判者评分的参数偏离无偏基线的度量)在1-5分制上提高高达+3.6分。当记忆管理由三种生产记忆架构处理时,工具漂移持续存在。该现象影响现实世界的工具:扫描288个经过验证的MCP服务器上的6,062个工具,我们标记了608个具有易受影响参数的工具,并在一个经过验证的子集上确认了工具漂移。从机制上讲,偏置记忆充当隐式引导向量,将激活沿与显式行为指令相同的潜在方向推动。它们还将注意力从任务相关上下文重新分配到与目标参数具有表面关键词重叠的记忆条目上。标准防御——基于提示的相关性指令和记忆过滤器——减少了漂移但未能消除它。随着代理以用户名义采取越来越重要的行动,记忆诱导工具漂移代表了当前安全措施未能解决的一个系统性漏洞,这激发了在记忆管理和工具调用生成交叉点上的专用防御。

英文摘要:

LLM agents increasingly combine long-term memory for personalization with tool calling for taking actions. We study a failure of this combination: personality-driven preferences stored in memory (e.g., cost-consciousness, impatience, risk tolerance) silently shifting tool-call parameters in contexts where they do not apply. We call this memory-induced tool-drift and stress-test it with MEMDRIFT, an iteratively refined benchmark of 105 scenarios spanning five bias dimensions and seven professional domains. Measured as excess parameter degradation over a neutral-memory baseline, biased memories in MEMDRIFT induce drift in all eight models we evaluate, raising degradation rates to 0.38--0.83 versus 0.05--0.12 for neutral memories. The drift persists under three widely used memory frameworks. A vulnerability audit of 6,062 tools across 288 MCP servers demonstrates that real-world tools are also susceptible to this failure mode. Mechanistically, we find that biased memories act as implicit steering vectors along the same direction as explicit behavioral instructions and draw attention away from task-relevant context. Neither prompt-based defenses nor relevance filters offer a complete solution, motivating defenses at the intersection of memory management and tool calling.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑