arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2406.06773cs.CLcs.AI
收藏

评估零样本长上下文 LLM 压缩

Evaluating Zero-Shot Long-Context LLM Compression

Princeton University(普林斯顿大学)

Chenyu Wang, Yihan Wang, Kai Li

AI总结:

该研究考察长上下文下零样本 LLM 压缩的效果,分析计算错误增多的原因并提出解释假设与缓解方案,实验仅基于 LLaMA-2-7B-32K。

摘要:

本研究评估了长上下文条件下零样本压缩技术在大型语言模型(LLM)上的有效性。我们发现,在采用某些压缩方法时,长上下文下计算错误往往会增加。我们提出一个假设,以解释不同 LLM 压缩技术表现出的差异,并探索缓解措施,以减轻部分技术在长上下文下出现的性能下降。这是普林斯顿大学 Kai Li 教授讲授的 COS 598D《机器学习与系统》课程报告。由于计算资源有限,我们的实验仅在 LLaMA-2-7B-32K 上进行。

英文摘要:

This study evaluates the effectiveness of zero-shot compression techniques on large language models (LLMs) under long-context. We identify the tendency for computational errors to increase under long-context when employing certain compression methods. We propose a hypothesis to explain the varied behavior of different LLM compression techniques and explore remedies to mitigate the performance decline observed in some techniques under long-context. This is a course report for COS 598D Machine Learning and Systems by Prof. Kai Li at Princeton University. Due to limited computational resources, our experiments were conducted only on LLaMA-2-7B-32K.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑