Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall
通过压缩镜头:探讨量化对事实知识回忆的影响
机构 * Quality and Usability Lab, Technische Universität Berlin(柏林技术大学质量与可用性实验室) ; German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心) ; Saarland Informatics Campus(萨尔州信息学院) ; LMU Munich(慕尼黑大学) ; Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心) ; Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心) ; Centre for European Research in Trusted AI (CERTAIN)(可信人工智能欧洲研究中心) ; BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院) ; Technical University of Munich(慕尼黑技术大学)
AI总结 研究通过量化技术对大型语言模型的事实知识回忆能力影响,发现量化导致信息损失,但部分模型在低精度下表现更优,BitSandBytes保留最多原始精度的知识回忆能力。
Comments TrustNLP @ ACL 2026; camera-ready version