MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models
MemToC:大型语言模型中记忆-工具冲突解决的基准测试
机构 * Central University(中央大学) ; Ural Federal University(乌拉尔联邦大学) ; Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院) ; AIRI(人工智能研究院(AIRI))
专题命中 长上下文与记忆 :LLM(summary_cn,abstract_cn);large language model(title);language model(title);SFT(abstract,abstract_cn)
AI总结 该研究提出MemToC基准,测试工具增强型LLM在记忆与工具返回冲突时的仲裁能力,发现指令调优模型在多数情况遵循工具,微调可改善仲裁但需兼顾工具使用与弃权表现。
Comments 26 pages, 2 figures