Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration
超越内存排行榜:将科学记忆评估为预算上下文恢复
机构 * Quantellence Research(Quantellence研究公司) ; St. Petersburg Department of the Steklov Institute of Mathematics(斯捷克洛夫数学研究所圣彼得堡分部) ; St. Petersburg State University(圣彼得堡国立大学)
专题命中 检索器与排序 :RAG(abstract,abstract_cn);分类 cs.AI
AI总结 研究提出两个全文科学记忆基准测试PAIM和PTr,评估八个内存/检索系统,发现内存排行榜受多种因素影响,如摄取粒度等。结果显示不同系统表现因条件而异,还表明大语言模型评判排名与人工一致,应将科学记忆评估为预算上下文恢复并开源相关资源。
Comments 40 pages, 6 figures, 8 tables