Dawn Song

MemFail: Stress-Testing Failure Modes of LLM Memory Systems

MemFail: LLM记忆系统的故障模式压力测试

Ishir Garg, Neel Kolhe, Dawn Song, Xuandong Zhao

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出MemFail基准测试，通过形式化记忆系统为摘要、存储和检索三个操作并构建对抗性数据集，系统性地评估和诊断LLM记忆系统的故障模式。

InfoSynth: Information-Guided Benchmark Synthesis for LLMs

InfoSynth: 信息引导的大语言模型基准合成

Ishir Garg, Neel Kolhe, Xuandong Zhao, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） 纠错

AI总结 提出基于信息论（KL散度和熵）的InfoSynth框架，自动生成高难度、多样化的Python编程基准，97%的测试用例和解决方案准确。